Thu thập, tập hợp, lập cơ sở dữ liệu (csdl) quản lý kết quả các dự án điều tra cơ bản ngành nông nghiệp nông thôn

Để lưu trữ trong hệ thống toạ độ thống nhất cho các loại bản đồ, quá trình số hoá đều tính đưa về kinh tuyến trục 105º00' múi chiếu 6º Ngoài những bản đồ được lưu dưới dạng in trên giấy

MỞ ĐẦU

I SỰ CẦN THIẾT LẬP DỰ ÁN

Bộ Nông nghiệp và Phát triển nông thôn luôn coi trọng công tác điều tra cơ bản về nông nghiệp, nông thôn trên nhiều lĩnh vực Những năm qua, Bộ đã giao cho các đơn vị trực thuộc triển khai nhiều dự án điều tra cơ bản từ nguồn vốn ngân sách Các kết quả điều tra bước đầu đã cung cấp thông tin kịp thời cho Bộ phục vụ quản lý điều hành chung

Từ năm 2001 - 2005, Viện Quy hoạch và Thiết kế nông nghiệp trực tiếp tổ chức triển khai các dự án điều tra cơ bản (khoảng 25 dự án) do Bộ Nông nghiệp và Phát triển nông thôn giao cho, tập trung vào các lĩnh vực sau đây:

- Tình hình tài nguyên nông nghiệp (số lượng, chất lượng đất, nguồn nước, khí hậu )

- Tình hình sử dụng các nguồn tài nguyên nông nghiệp (hiện trạng sử dụng đất và các nguồn tài nguyên)

- Thực trạng kinh tế xã hội, kinh tế nông nghiệp nông thôn trên cả nước, các vùng kinh tế, một số tỉnh, huyện )

- Thực trạng sản xuất, tổ chức quản lý và hướng phát triển một số ngành hàng, vùng chuyên canh trong nông nghiệp

Kết quả các dự án điều tra cơ bản tại Viện do nhiều đơn vị trực thuộc phối hợp thực hiện, qua thời gian tương đối dài, một số được lưu trữ dưới dạng sản phẩm giấy (bản đồ, tài liệu) Về tài liệu, với khoảng hai mươi nghìn trang được thể hiện dưới nhiều font chữ khác nhau do đặc thù sử dụng của các vùng miền, nên việc theo dõi tập hợp chưa thống nhất Trong quá trình áp dụng công nghệ mới, một số bản đồ đã được chuyển đổi hệ thống phân loại (bản đồ đất), một số đã được

số hóa nhưng chưa được chuẩn hóa về một hệ tọa độ và cấu trúc cơ sở dữ liệu Vì vậy, với khối lượng sản phẩm các dự án điều tra cơ bản được tiến hành khá lớn, song việc tổ chức quản lý, lưu trữ kết quả chưa thống nhất, chưa được khai thác sử dụng rộng rãi và hiệu quả

Theo quy định về quản lý điều tra cơ bản ngành nông nghiệp và phát triển nông thôn hiện hành, việc tiến hành thu thập, thống kê, phân loại xử lý, chuyển sang dạng số hoá và xây dựng cơ sở dữ liệu quản lý tất cả kết quả các dự án điều tra cơ bản do Bộ Nông nghiệp và PTNT giao các đơn vị thực hiện từ 2001- 2005 là rất cần thiết

Để thực hiện các yêu cầu đó, Bộ Nông nghiệp và Phát triển Nông thôn đã có quyết định số 643/QĐ-BNN-KH 13/3/2007 giao cho Viện Quy hoạch và Thiết kế

nông nghiệp thực hiện dự án “Thu thập, tập hợp, lập cơ sở dữ liệu (csdl) quản lý

kết quả các dự án điều tra cơ bản ngành nông nghiệp nông thôn”

Sản phẩm của dự án là kết quả điều tra cơ bản từ cấp hành chính tỉnh, cấp vùng và toàn quốc đã thực hiện được tập hợp chuyển sang dạng số hoá và được lưu trữ và có một cơ sở dữ liệu quản lý toàn bộ số liệu, bản đồ và báo cáo kết quả điều tra Trước mắt, năm 2008 tiến hành cho phần khối lượng do Viện quy hoạch và TKNN thực hiện từ nguồn kinh phí Bộ cấp; những năm tiếp theo tiến hành ở các đơn vị khác (các Viện Quy hoạch, các Trung tâm trực thuộc Bộ)

Trong thời gian 1 năm, đã tổ chức kiểm kê, tập hợp, phân loại, xử lý tài liệu, chuyển sang dạng số hoá và xây dựng cơ sở dữ liệu quản lý kết quả các dự án điều tra cơ bản thực hiện từ năm 2001 – 2005 để quản lý toàn bộ tài liệu số liệu, bản đồ

và kết quả báo cáo Để thuận lợi cho công tác quản lý và khai thác sử dụng có hiệu quả các thông tin quan trọng này, dự án còn tạo lập cơ sở dữ liệu để quản lý, khai thác sử dụng chung cho các cơ quan quản lý của Bộ, được sử dụng trên các máy tính cá nhân thông qua các công cụ lưu trữ

II MỤC TIÊU DỰ ÁN

- Dự án sẽ tiến hành kiểm kê, tập hợp , xử lý phân loại tài liệu, chuyển sang dạng số hoá và xây dựng cơ sở dữ liệu quản lý kết quả các dự án điều tra cơ bản đã thực hiện từ năm 2001 - 2005 do Bộ cấp kinh phí cho Viện Quy Hoạch và thiết kế Nông Nghiệp thực hiện để quản lý toàn bộ số liệu, bản đồ và báo cáo kết quả Nhằm tạo điều kiện thuận lợi cho công tác quản lý và khai thác sử dụng có hiệu quả nguồn thông tin quan trọng này Hệ thống cơ sở dữ liệu này trước mắt sẽ được khai thác nội bộ (Trong Viện Quy Hoạch-Thiết kế Nông Nghiệp và một số cơ quan Bộ) và được sử dụng trên các máy tính cá nhân

III PHẠM VI DỰ ÁN

Tập hợp kiểm kê và quản lý toàn bộ kết quả các dự án điều tra cơ bản ngành nông nghiệp do Viện Quy hoạch & TKNN và ở một số đơn vị khác thực hiện từ năm 2001-2005 bằng nguồn vốn Bộ Nông nghiệp quản lý

IV NỘI DUNG THỰC HIỆN

có 2 nội dung chính:

• Thu thập, thống kê, xử lý kết quả các dự án ĐT cơ bản giai đoạn 2001 –

2005 và bổ sung kết quả năm 2006

• Xây dựng hệ thống cơ sở dữ liệu và phần mềm quản lý CSDL

IV KẾT QUẢ THỰC HIỆN

Kết quả thực hiện của dự án là Hệ thống cơ sở dữ liệu các dự án điều tra cơ bản

ngành nông nghiệp nông thôn giai đoạn 2001-2005 cung cấp các thông tin chủ yếu sau

• Thông tin dưới dạng dữ liệu toàn văn (văn bản) gồm có:

+ Báo cáo toàn văn dưới dạng số của các dự án điều tra cơ bản ngành nông nghiệp nông thôn giai đoạn 2001-2005

+ Số liệu thống kê và một số chỉ tiêu cơ bản về kinh tế xã hội của các vùng

• Thông tin dưới dạng dữ liệu bản đồ

PhÇn i

Thu thËp, thèng kª, ph©n lo¹i xö lý kÕt qu¶ c¸c dù ¸n ®iÒu tra c¬ b¶n giai ®o¹n 2001 - 2005

I HIỆN TRẠNG TƯ LIỆU, TÀI LIỆU BẢN ĐỒ

Từ năm 2001 đến 2005, Viện Quy hoạch và Thiết kế nông nghiệp đã triển

khai nhiều dự án điều tra cơ bản nông nghiệp nông thôn trên nhiều lĩnh vực (có

phụ lục chi tiết kèm theo), với hàng trăm đầu tài liệu, bản đồ và hàng chục nghìn

trang in văn bản Sản phẩm của các dự án này gồm các báo cáo tổng hợp, báo cáo

chuyên đề, số liệu, bảng biểu và bản đồ Các sản phẩm này một số đã được số hoá

và quản lý trên các phần mềm khác nhau (bản đồ trên Mapinfo, ARC/Info), tài liệu

được đánh máy lưu trữ dưới dạng file dữ liệu văn bản nh−ng không đồng nhất về

khuôn dạng; một số được lưu giữ ở dạng giấy Toàn bộ tài liệu bản đồ trên được

lưu giữ thủ công, có một số tài liệu bị thất lạc và xuống cấp theo thời gian (mất

màu, biến dạng màu, mối mọt ), cần phải đánh máy, chế bản và in ấn lại

Thực trạng tài liệu bản đồ cho thấy chất lượng tài liệu bị hư hại như: với tài

liệu giấy thì bị nhạt màu, đổi màu, gấp nếp, rách, thủng lỗ và mất mát, giòn, mốc

ẩm; tài liệu được ghi vào đĩa (mềm, CD) bị gãy, mốc, xước, không đọc được

Sự xuống cấp và hư hỏng tài liệu gốc do điều kiện bảo quản và xử lý chưa

tốt Đây là nguyên nhân khách quan (điều kiện khí hậu, môi trường bảo quản: ánh

sáng, nhiệt độ, nấm mốc, mực in vẽ ) Để giảm thiểu những hư hại này cần có

điều kiện kho bãi được trang bị hiện đại hơn Thiết bị để phục chế tài liệu hiện nay

tại Viện vẫn còn thiếu, lạc hậu; chưa thể khắc phục và hạn chế triệt để

Ngoài ra, phương pháp lưu trữ, sử dụng chưa hợp lý (việc xếp sắp để tìm

kiếm chưa khoa học, lưu trữ bằng công nghệ thông tin còn tản mát; chưa xử lý

virus, làm sạch thường xuyên; quá trình mượn tài liệu để kế thừa, sử dụng làm tài

liệu hỏng, rách ) cũng làm cho tài liệu bản đồ lưu trữ bị xuống cấp

II PHÂN LOẠI XỬ LÝ TÀI LIỆU

II.1 Hiện trạng lưu trữ tài liệu:

Các tài liệu được lưu trữ ở nhiều khuôn dạng khác nhau, có những tài liệu được

lưu giữ ở dạng số, có những tài liệu được lưu giữ trên giấy truyền thống Trong

những tài liệu lưu giữ ở dạng số thì cũng có nhiều khuôn dạng khác nhau Các tài

liệu được phân làm các loại sau

- Tài liệu toàn văn lưu giữ ở dạng số có khuôn dạng *.doc, *.xls

- Tài liệu báo cáo lưu giữ ở trên giấy và được đóng quyển

- Các tập số liệu điều tra cơ bản

- Bản đồ được lưu giữ ở dạng số, khuụn dạng lưu giữ trờn format Mapinfo, một phần ở format Arc/Info, và một số phần mềm GIS khỏc

- Bản đồ được lưu giữ trờn giấy ở cỏc tỷ lệ 1/100.000, 1/50.000, 1/25.000

II.2 Phõn loại tài liệu, bản đồ theo nội dung và danh mục:

Cỏc dự ỏn điều tra cơ bản tập trung vào cỏc lĩnh vực:

- Tỡnh hỡnh tài nguyờn nụng nghiệp (số lượng, chất lượng đất, nguồn nước, khớ hậu )

- Tỡnh hỡnh sử dụng cỏc nguồn tài nguyờn nụng nghiệp (hiện trạng sử dụng đất và cỏc nguồn tài nguyờn)

- Thực trạng kinh tế xó hội, kinh tế nụng nghiệp nụng thụn trờn cả nước, cỏc vựng kinh tế, một số tỉnh, huyện )

- Thực trạng sản xuất, tổ chức quản lý và hướng phỏt triển một số ngành hàng, vựng chuyờn canh trong nụng nghiệp

Số lượng cụ thể của tài liệu được phõn theo nội dung và danh mục bao gồm:

A Các dự án năm 2001: Điều tra sử dụng tài nguyên đất

Điều tra kinh tế-XH

B Các dự án năm 2002: Điều tra tổ chức quản lý sản xuất

C Các dự án năm 2003: Điều tra sử dụng tài nguyên đất

D Các dự án năm 2004: Điều tra sử dụng tài nguyên đất

Điều tra ngành hàng nông nghiệ Điờ̀u tra thực trạng MH tụ̉ chức QL SXNN

E Các dự án năm 2005: Điều tra sử dụng tài nguyên đất

Điều tra ngành hàng nông nghiệp Điờ̀u tra thực trạng MH tụ̉ chức QL SXNN

(Chi tiết theo phụ lục 01)

II.3 Đánh giá chất lượng tài liệu, bản đồ và phương án xử lý, lưu trữ:

Chiếm phần lớn số lượng bản đồ được lưu trữ dưới dạng in giấy đều được vẽ trên những bản đồ nền photo đen trắng hệ thống toạ độ không rõ ràng, một số được

vẽ trên bản đồ nền thành lập theo hệ toạ độ độ cao Nhà nước năm 1972 đặc biệt có những bản đồ được vẽ trên những bản đồ nền thành lập theo hệ hệ thống độ cao Hải Phòng 1962, chất liệu giấy kém, bị ố vàng, mầu sắc không đồng đều; Yếu tố địa vật, địa hình thể hiện không rõ Đối với những bản đồ này : Khi quét bản đồ, phải xử lý kỹ thuật khá công phu (1 tờ bản đồ phải quét ảnh màu sau khi đã quét đi quét lại nhiều lần, mỗi lần quét là 1 lần thay đổi thông số kỹ thuật để tìm ra độ rõ nét nhất) Với những tờ bản đồ thuộc loại này khi số hoá các lớp thông tin phải mất rất nhiều thời gian cho việc xét đoán địa vật, địa hình, yếu tố thuỷ văn và nắn chỉnh hình học

Để lưu trữ trong hệ thống toạ độ thống nhất cho các loại bản đồ, quá trình số hoá đều tính đưa về kinh tuyến trục 105º00' múi chiếu 6º

Ngoài những bản đồ được lưu dưới dạng in trên giấy thì tài liệu bản đồ còn được xây dựng và lưu dưới dạng số, toàn bộ các bản đồ này đều lấy bản đồ nền địa hình xây dựng theo hệ toạ độ độ cao Nhà nước năm 1972 lưới chiếu Gauss làm chuẩn, ưu điểm của các loại bản đồ này là chất lượng thể hiện tốt, địa hình địa vật thể hiện rõ, hệ thống toạ độ đảm bảo chính xác cao Hạn chế của loại bản đồ này là

do được xây dựng trên lưới chiếu Gauss, vì vậy để thống nhất và thực hiện các quy định về hệ thống toạ độ quốc gia theo quyết định số 83/2000/QĐ-TTg ngày 12/7/2000 của Thủ tướng Chính phủ, cần phải tiến hành chuyển đổi toạ độ dữ liệu bản đồ số ở hệ thống toạ độ và hệ quy chiếu (hệ HN-72) và một số toạ độ khác lưu trong cơ sở dữ liệu đưa về hệ thống toạ độ và độ cao quốc gia VN-2000

Qua giai đoạn thu thập tài liệu cho thấy phần lớn các kết quả điều tra khảo sát đều được lưu giữ dưới dạng bản đồ và các báo cáo Những tài liệu này có một

số đặc điểm cơ bản:

- Khuôn dạng khác nhau: Bao gồm cả những dữ liệu đồ hoạ và dữ liệu toàn văn

- Mức độ chi tiết và nội dung thể hiện khác nhau

- Khối lượng thông tin lớn

Với các đặt điểm trên việc Thiết kế kiến trúc hệ thống và cấu trúc hệ thống cơ sở

dữ liệu của dự án “Thu thập, tập hợp, quản lý kết quả các dự án điều tra cơ

bản ngành nông nghiệp nông thôn” phải thoả mãn các yêu cầu đặt ra là :

- Đảm bảo khả năng lưu trữ và xử lý một khối lượng thông tin lớn, trong đó các dữ liệu đồ họa (graphic) chiếm tỷ trọng rất cao

- Hệ thống có khả năng đáp ứng nhu cầu tra cứu, độ tin cậy và bảo mật cao so với các chuẩn thông dụng,

Từ những yếu tố trên dự án “Thu thập, tập hợp, quản lý kết quả các dự án

điều tra cơ bản ngành nông nghiệp nông thôn” đã lựa chọn việc xây dựng kiến

trúc hệ thống trên nền công nghệ GIS Áp công nghệ GIS sẽ phát huy tối đa khả năng sử dụng thông tin của dự án

I.1 lựa chọn công nghệ

3 phương án lựa chọn công nghệ

a) Phương án tự phát triển

Hệ thống sẽ được tự phát triển hoàn toàn, dựa trên những ngôn ngữ lập trình

hệ thống (Visual Basic, Visual C++, Java…) và những thư viện cơ bản của môi trường đồ hoạ

Ưu điểm:

- Hoàn toàn chủ động, tạo ra những sản phẩm theo thiết kế ban đầu;

- Hệ thống dễ dàng cho phát triển, không bị lệ thuộc vào các hãng nước ngoài;

- Giải quyết tốt vấn đề về bản quyền

- Khó khăn để đảm bảo tính mở của hệ thống;

- Khó khăn để theo kịp tốc độ phát triển về công nghệ trên thế giới

b) Phương án tùy biến trên các ứng dụng mở

Hệ thống sử dụng những phần mềm của nước ngoài đã thương mại hoá, có tính mở, cho phép tùy biến ( customization) chỉnh sửa để phù hợp phần mềm có những chức năng phù hợp với yêu cầu thực tế Ví dụ: MapInfo, GeoMedia, ArcGIS(Arc object)

Ưu điểm:

- Hệ thống có tính ổn định và độ tin cậy cao;

- Hệ thống được hỗ trợ lâu dài;

- Hệ thống đảm bảo khả năng luôn luôn theo kịp sự phát triển của công nghệ;

- Hệ thống có tính mở

Nhược điểm:

- Phụ thuộc vào sự phát triển và trợ giúp của hãng bán phần mềm;

- Kinh phí đầu tư toàn hệ thống sẽ rất cao nếu tính đến bản quyền cho từng máy;

- Phải chạy theo các lần nâng cấp của các phiên bản phần mềm

c) Phương án sử dụng thư viện nền

Theo phương án này, hệ thống xây dựng thành các ứng dụng độc lập trên nền các thư viện đã được mua bản quyền của các hãng phát triển công nghệ Ví dụ : MapX của MapInfo, MapObject, ArcGIS Engine của ESRI

Ưu điểm:

- Kết hợp mềm dẻo giữa tính ổn định và độ tin cậy cao của công nghệ nền nước ngoài với khả năng tự xây dựng phát triển các ứng dụng có tính đặc thù

- Phần mềm chạy trong một môi trường chuẩn hóa, tích hợp với các phần mềm khác trong một nền công nghệ

- Giải quyết hài hoà giữa vấn đề kinh phí đầu tư xây dựng toàn hệ thống và vấn đề bản quyền

- Dễ dàng chỉnh sửa, cải tiến hệ thống bằng lực lượng của mình

Nhược điểm:

- Cần có một lực lượng luôn luôn sẵn sàng cho phát triển và bảo trì hệ thống Với đặc thù của công tác quản lý và công nghệ hiện có, phương án (c) là phương án thích hợp cho việc xây dựng Hệ thống của dự án Các phương án (a) và (b) sẽ được sử dụng một cách hợp lý trong từng ứng dụng cụ thể

I.2 Lựa chọn mô hình CSDL và giải pháp phần mềm sử dụng cho việc thiết kế, quản trị cơ sở dữ liệu

Để giải quyết được mục tiêu mà dự án đã đề ra là xây dựng và quản lý hệ thống cơ

sở dữ liệu do vậy yêu cầu đặt ra là phải lựa chọn một mô hình - Hệ quản trị CSDL

đảm bảo giải quyết được 2 yếu tố sau:

+ Quản trị dữ liệu không gian (Spatial Data)

+ Quản trị dữ liệu phi không gian (Non-Spatial Data)

- Hệ quản trị được áp dụng phải giải quyết các vấn đề của một hệ quản trị

(DBMS) cho phần dữ liệu phi không gian và cả dữ liệu không gian vì quản trị Spatial-Data có những đặc thù về lưu trữ, xử lý mà một DBMS thông dụng thực tế không đảm đương nổi (các hệ DBMS dùng mô hình CSDL quan hệ làm nền tảng) Đối với việc quản trị dữ liệu phi không gian thì các hệ GIS hiện nay chưa đáp ứng tốt các yêu cầu đặt ra Do đó cần phải liên kết chúng với nhau để tạo thành một hệ thống quản trị dữ liệu thống nhất

I.2.1 Các kiểu mô hình cơ sở dữ liệu

Các mô hình cơ sở dữ liệu bao gồm các thành phần:

- Thành phần xử lý ứng dụng (Application processing components)

- Thành phần phần mềm cơ sở dữ liệu (Database software components)

- Cơ sở dữ liệu

Các mô hình về cơ bản là một hình thức toán học gồm có 2 phần (Jeffrey D Ullman): Một hệ thống ký hiệu để mô tả dữ liệu; Một tập các phép toán thao tác trên dữ liệu đó

Một số loại mô hình cơ sở dữ liệu đang được ứng dụng:

• Mô hình thực thể - liên hệ (Entity-Relationship model)

Cho phép mô tả các lược sơ đồ khái niệm của một tổ chức mà không cần

chú ý đến tính hiệu quả hoặc thiết kế CSDL vật lý được mong đợi ở các mô hình khác Thông thường người ta thừa nhận rằng “Sơ đồ thực thể-liên hệ” (Entity-Relationship diagram) có thể được chuyển thành lược đồ khái niệm ở một mô hình khác, mà trên đó các hệ thống CSDL thực sự được xây dựng

• Mô hình dữ liệu quan hệ (Relational Data model)

Mô hình quan hệ dù không phải là mô hình được sử dụng trong các DBMS đầu tên, nhưng ngày càng đóng vai trò quan trọng kể từ E Codd đưa ra từ năm

1970 Nói chung nó là mô hình được chọn để cài đặt các CSDL mới Có lẽ lý do quan trọng nhất làm cho nó trở nên phổ biến chính là việc nó hỗ trợ các ngôn ngữ khai báo, khá đơn giản nhưng hiệu quả cùng với các phép toán trên dữ liệu Theo cách này, có thể nhận thấy một điều là không giống như các mô hình khác đang cạnh tranh trên thị trường, mô hình quan hệ thuộc loại hướng giá trị Điều này đến lượt nó lại dẫn đến khả năng định nghĩa các phép toán trên các quan hệ mà kết quả của chúng cũng là các quan hệ Các phép toán này có thể tổ hợp và phân tách dễ dàng nhờ vào một hệ thống ký hiệu đại số gọi là đại số quan hệ (relational algebra)

Nếu so sánh, có thể thấy các ngôn ngữ dựa trên mô hình hướng đối tượng không có các phép toán được tổ hợp dễ dàng do:

- Đối với mọi mô hình dữ liệu, quan hệ là một phương thức rất tốt để diễn tả

câu trả lời Bởi vì các quan hệ không hỗ trợ đặc tính nhận dạng đối tượng, kết quả của một phép toán tự nó không cùng kiểu với CSDL trong một mô hình hướng đối tượng Do đó trong các mô hình này, các phép toán không thể áp dụng cho các kết quả của phép toán khác

- Mô hình hỗ trợ kiểu dữ liệu trừu tượng lại sinh ra một cản trở khác Kết

quả của một phép toán thường thuộc về một kiểu mới Một kiểu như thế lại cần phải định nghĩa các phép toán riêng cho nó, vì thế nó không thể trở thành toán hạng của một phép toán khác ngay lập tức

• Mô hình dữ liệu mạng (Network Data model)

Là mô hình thực thể - liên hệ trong đó các mối liên hệ bị hạn chế kiểu nhị phân và nhiều-một Hạn chế này cho phép chúng ta dùng một mô hình đồ thị có

hướng cho các dữ liệu Ở vị trí của các tập thực thể, mô hình mạng đưa ra kiểu

mẫu tin logic (logical record type) Một kiểu mẫu tin logic là tên gán cho một tập

các mẫu tin, được gọi là mẫu tin logic (logical record) Mẫu tin được cấu tạo bởi các trường (field) chứa các giá trị cơ bản như số nguyên, chuỗi ký tự,… Tập các tên trường và kiểu của chúng cấu tạo nên khuôn dạng mẫu tin (logical record

format)

• Mô hình dữ liệu phân cấp

Một phân cấp (Hierarchy) chính là một mạng có nhiều cây, nghĩa là một tập hợp các cây hay gọi là rừng, trong đó tất cả đường nối chỉ đi theo một hướng từ con đến cha

Bất kỳ một sơ đồ thực thể - liên hệ nào có thể biểu diễn được trong mô hình

quan hệ và mạng cũng đều biểu diễn được trong mô hình phân cấp Tuy nhiên có một điều chưa rõ ràng về ý nghĩa của từ “biểu diễn” ở đây Trong hai mô hình trước, việc chuyển đổi các sơ đồ thực thể - liên hệ đều có đặc tính là các mối liên

hệ có thể được mô phỏng dễ dạng qua các phép toán của mô hình, là phép nối trong mô hình quan hệ và phép toán “theo đường nối” trong mô hình mạng Trong

mô hình phân cấp chúng ta chỉ thực hiện được điều đó khi giới thiệu khai niệm

“kiểu mẫu tin ảo”

• Mô hình hướng đối tượng

Hiện có một số đề xuất và một vài cài đặt cho những mô hình có đặc điểm của các ngôn ngữ vấn tin hướng đối tượng; mang nhiều tên khác nhau như mô hình

dữ liệu “ngữ nghĩa”, “chức năng”, hoặc “dạng thức”,…Tuy nhiên có một điểm chung là chúng đều hỗ trợ:

- Đặc tính nhận dạng theo giá trị (Object Identity): Các thành phần được xử

lý điển hình là những mẫu tin, có địa chỉ duy nhất giống như mô hình mạng và phân cấp

- Đặc tính nhận dạng theo đối tượng (Complex Object): cho phép xây dựng

một kiểu mới bằng các thao tác tạo mẫu tập tin (record formation) hoặc tạo lập tập

tin (set formation)

- Phân cấp theo kiểu (Type hierarchy): cho phép các kiểu có thể có những kiểu con (Subtype) và có thuộc tính riêng

Với mục tiêu sử dụng CSDL nhằm tạo điều kiện thuận lợi cho công tác quản

lý và khai thác, mô hình CSDL được lựa chọn phải đáp ứng các yếu tố:

- Dễ dàng trong thiết kế và quản trị dữ liệu

- Đảm bảo về khả năng dung tích lưu giữ các file raster có kích cỡ lớn

- Thuận tích cho việc lập trình các ứng dụng sau này

Qua các phân tích trên, để đáp ứng mục tiêu của dự án, Mô hình CSDL thực thể - liên hệ là mô hình thích hợp được lựa chọn Sử dụng Phần mềm hệ quản trị cơ sở dữ liệu và Phần mềm hệ thống thông tin địa lý (GIS) để xây dựng

hệ thống:

I.2.2 Lựa chọn giải pháp phần mềm

a Giải pháp phần mềm quản trị cơ sở dữ liệu (Chọn Hệ quản trị dữ liệu)

• Đối với hệ quản trị cơ sở dữ liệu, các phương án được xem xét sử dụng là:

- Hệ quản trị CSDL Oracle Hệ này mạnh song việc sử dụng khá phức tạp, đòi hỏi đội ngũ bảo trì chuyên sâu, có thể có khó khăn đối với các tỉnh hạn chế về nguồn nhân lực Giá thành khá cao, hệ quản trị này có thể dành cho các CSDL có lượng dữ liệu lớn, điều kiện kinh phí và nhân lực kỹ thuật tốt

- Hệ quản trị CSDL SQL Server Thuận lợi trong sử dụng và bảo trì, thích hợp với các CSDL có quy mô vừa Giá thành hợp lý tuy nhiên hệ quản trị này cũng đòi hỏi người sử dụng phải có trình độ cao

- Hệ quản trị CSDL Microsoft Access được sử dụng đối với CSDL có quy

mô trung bình Ưu điểm là cài đặt và sử dụng đơn giản

• Phương án được lựa chọn sử dụng là Mircosoft Acess làm hệ quản trị cơ sở

dữ liệu do:

- Mircosoft Acess là một trong những hệ quả trị cơ sở dữ liệu tốt Việc chọn

hệ cơ sở này dựa trên những tiện lợi mà nó đem lai, thứ nhất có khả năng bảo vệ được dữ liệu bằng cơ chế của nó, thứ hai là nó rất tiện dùng cho các ứng dụng văn phòng, và dữ liệu không quá phức tạp, điều cực kỳ hữu dụng của gói công cụ này chính là việc nó có thể truy cập và chạy thực thi mà không cần cài bộ Office trên máy client Và việc update thông tin trên Acess cũng dễ dàng, không quá phức tạp, kinh phí thực hiện thấp

- Sử dụng Mircosoft Acess làm hệ quản trị cơ sở dữ liệu cho dự án sẽ rất phù hợp khi mà hệ thống được sử dụng ở một số cơ quan bộ và viện Quy hoạch và thiết kế nông nghiệp vì phần mềm sử sử dụng tương đối đơn giản

b Giải pháp phần mềm GIS

• Lựa chọn công cụ

Lựa chọn Mapobjects làm công cụ để quản lý dữ liệu địa lý (GIS) đây là

một sản phẩm phần mềm của dòng sản phẩm ArcGis, chuyên về xử lý bản đồ và quản lý dữ liệu bản đồ, là công cụ mạnh cho phép xây dựng các ứng dụng về xây dựng bản đồ và quản lý bản đồ, hỗ trợ khả năng tạo bản đồ theo nhiều chức năng

dễ dàng tạo các ứng dụng GIS thành lập bản đồ chất lượng cao

Mapobjects có lớp các thành phần phầm mềm xây dựng bản đồ cho phép thao tác trên nó vào các ứng dựng khác; có thể kết hợp với các thành phần từ các sản phẩm khác, như vẽ dạng hình khối, đa phương tiện và các đối tượng cơ sở dữ liệu Các ứng dụng xây dựng phù hợp với các yêu cầu riêng của người sử dụng cuối Mapobject bao gồm ActiveX control (OCX) nhằm gọi và điều khiển bản đồ

và một tập hợp gần 50 đối tượng tự động ActiveX, được sử dụng trong môi trường lập trình windows chuẩn

Những lợi ích khi sử dụng Mapobjects

o Hiệu suất cao

o Dung lượng dữ liệu lớn

o Toàn bộ thông tin không gian được đảm bảo chính xác, Mapobjects đảm bảo lưu trữ nguyên vẹn dữ liệu không gian cũng như đảm bảo nguyên vẹn về hình học của tất cả các dữ liệu không gian Khi kết hợp với các ứng dụng logic geodatabase, nó cho phép dữ liệu quy mô lớn có thể được tiếp cận và duy trì với bất kỳ lượng người sử dụng nào

o Quản lý các thông tin không gian toàn diện trên nhiều dạng dữ liệu (vectors, rasters, số liệu điều tra…)

o Hỗ trợ geodatabase và các mô hình dữ liệu của ESRI

o Giảm chi phí

Chương trình xây dựng với Mapobjects có thể chạy trên win 95, 98, xp và Vista (nếu mua bản quyền Mapobjets chuẩn)

• Một số tính năng cơ bản của phần mềm Mapobjects được sử dụng:

- Hiển thị bản đồ với nhiều lớp layer

- Di chuyển và phóng to thu nhỏ khắp bản đồ

- Vẽ các đặc trưng hình học như điểm, đường, hình elip, hình chữ nhật và các hình khối; ghi text

- Nhận dạng đặc trưng trên bản đồ bằng con trỏ hay đánh dấu

- Chọn các đặc trưng dọc theo đường và trong các hộp, đường, hình khối hay hình tròn

- Chọn các đặc trưng trong một khoảng cách của các đặc trưng khác

- Chọn các các đặc trưng với câu lệnh SQL (Structured Query Language)

- Tính toán thống kê cơ bản trên các đặc trưng đã chọn

- Truy vấn và cập nhập dữ liệu thuộc tính liên kết với đặc trưng được chọn

- Trả về các đặc trưng với các phương thức riêng biệt như là giá trị bản đồ, lớp gián đoạn, mật độ điểm, biểu đồ, các sự kiện bằng giái trị Z

- Ghi nhãn các đặc trưng với Text từ các giá trị trong fields; tạo shapefile mới

- Vẽ ảnh từ ảnh trên không hoặc ảnh không gian

- Đánh địa chỉ vào tìm kiếm địa điểm trên bản đồ

- Dự ảnh dữ liệu của bản đồ có thể thành nhiều hệ tọa độ khác nhau

• Các kiểu dữ liệu dùng trong Mapobject:

ƒ Những dữ liệu sau được Mapobjects hỗ trợ:

- Shapefiles

- ARC/INFO coverages

- Spatial Database Engine™ (SDE™) layers

- Computer-aided design (CAD) drawings

- Vector product format (VPF) files

- Attribute tables

- Grid data

- Image files

ƒ Kiểu của dữ liệu:

- Định dạng Vector hoặc raster có thể được sử dụng nhằm diễn tả đặc trưng hình học

Trong đặc trung hình học, dữ liệu dạng vector được miêu tả nhiều trên bản

đồ như các điểm, đường và các dạng hình khối Các điểm miêu tả đặc trưng hình học quá nhỏ để có thể miêu tả bằng dạng đượng hoặc vùng, các đường miêu tả đặc trưng hình học quá hẹp để có thể thể hiện bằng các vùng, và các vùng thì miêu tả đặc trưng hình học lớn

- Trong dữ liệu Raster, bề mặt của trái đất được chia thành các ô nhỏ, và các đặc trưng miêu tả bằng giá trị của các ô này Mapobjects có hai kiểu layers

là MapLayers và ImageLayers Nguồn data Vector có thể thêm vào như MapLayers, và Raster có thể thêm vào là ImageLayers

I.2.3 Lựa chọn mô hình lưu trữ và mô tả thông tin

Mô hình lưu trữ dữ liệu để đảm bảo cơ sở dữ liệu có thể sử dụng lâu dài và chia xẻ thông tin với các hệ thống GIS khác Chuẩn về mô hình dữ liệu lưu trữ và

mô tả thông tin của dự án bao gồm:

• Hình thức lưu trữ: Áp dụng mô hình lưu trữ dữ liệu tạp chung

• Chuẩn về mô hình dữ liệu: Lựa chọn mô hình dữ liệu vector (có topology) và raster cho dữ liệu địa lý, mô hình cơ sở dữ liệu quan hệ cho dữ liệu thuộc tính

• Chuẩn về format lưu trữ dữ liệu: Toàn bộ dữ liệu được thống nhất với các format sau

- Đối với dữ liệu vector được lưu trữ theo định dạng format ArcGIS

- Đối với dữ liệu raster được lưu trữ theo định dạng format,* JPG, *.TIF

- Đối với dữ liệu toàn văn được lưu trữ theo định dạng format *DBF

II XÂY DỰNG CẤU TRÚC CƠ SỞ DỮ LIỆU

Vấn đề xây dựng cấu trúc cơ sở dữ liệu chuẩn cho các Bộ, Ngành và cơ quan khi xây dựng các ứng dụng GIS đã được đề cập đến trong những năm gần đây, tuy nhiên, hiện tại chưa có chuẩn quốc gia (TCVN) về thông tin địa lý làm cơ sở cho việc xây dựng các ứng dụng GIS và trao đổi dữ liệu giữa các cơ quan sử dụng GIS Việc sử dụng các hệ thống GIS và khuôn dạng dữ liệu cũng rất khác nhau giữa các

Bộ, Ngành Do đó, việc trao đổi dữ liệu địa lý và thiết lập các ứng dụng GIS một cách thống nhất hiện tại chưa có cơ sở để thực hiện

Vì những lý do trên và tham khảo một số cấu trúc đã được xây dựng trước đây

dự án đã lựa chọn phương án xây dựng cấu trúc cơ sở dữ liệu như sau

Cơ sở dữ liệu trong dự án được chia ra làm 2 loại số liệu cơ bản:

- Cấu trúc cho số liệu không gian

- cấu trúc cho số liệu phi không gian

Mỗi loại có những đặc điểm riêng và chúng khác nhau về yêu cầu lưu giữ số liệu, hiệu quả, xử lý và hiển thị Số liệu không gian mô tả số của hình ảnh bản đồ, bao gồm các đối tượng địa lý, quy luật và các ký hiệu dùng để xác định một hình ảnh bản đồ cụ thể trên từng bản đồ… Số liệu phi không gian mô tả những diễn tả đặc tính, số lượng, mối quan hệ của các hình ảnh bản đồ với vị trí địa lý của chúng Các số liệu phi không gian là dữ liệu thuộc tính, liên quan đến vị trí địa lý hoặc các đối tượng không gian và liên kết chặt chẽ với chúng trong hệ thống thông tin địa lý thông qua một cơ chế thống nhất chung

II.1 Xây dựng cấu trúc cơ sở dữ liệu không gian

II.1.1 Xây dựng các chuyên đề dữ liệu và các lớp thông tin cho dữ liệu không gian

Đặc điểm cấu trúc cơ sở dữ liệu của hệ thống: gồm hai phần cơ bản là dữ liệu

bản đồ và dữ liệu thuộc tính Mỗi một loại dữ liệu có đặc trưng riêng, khác nhau về yêu cầu lưu trữ, xử lý và hiển thị

Phân lớp thông tin được lập trên cơ sở phân loại các đối tượng có cùng chung đặc điểm, dựa vào các đối tượng có cùng nội dung thể hiện Trên cơ sở đó cấu trúc hệ thống cơ sở dữ liệu nông nghiệp đã xây dựng thành các chuyên đề thông tin sau:

- Thông tin về chuyên đề hành chính

- Thông tin về chuyên đề địa hình

- Thông tin về chuyên đề bản đồ đất

- Thông tin về chuyên đề sử dụng đất

- Thông tin chuyên đề các vùng dự án

Trong mỗi chuyên đề này có một hoặc nhiều lớp thông tin (coverage hoặc layer)

II.1.2 Xây dựng cấu trúc cơ sở dữ liệu vector (dữ liệu không gian)

Cấu trúc dữ liệu được xây dựng theo lớp thông tin và đặc tính của dữ liệu, trên cơ sở tham khảo một số cấu trúc đã công bố (Cơ sở dữ liệu môi trường)dự án

đã thiết kế cấu trúc cơ sở dữ liệu vector cho hệ thống CSDL như sau

TT Chuyên đề dữ liệu Các lớp thông tin (coverage)

trong chuyên đề Loại dữ liệu không gian

1 Ranh giới hành chính • Các ranh giới hành chính

II.1.3 Xây dựng cấu trúc cơ sở dữ liệu thuộc tính

Loại cấu trúc này bao gồm các loại dữ liệu được liên kết với dữ liệu địa lý (dữ liệu thuộc tính) những mô tả về đặc tính, đặc điểm của các đối tượng địa lý xác định

• Sơ đồ cấu trúc lớp thông tin bản đồ đất và các lớp thông tin khác được thiết

kế như sau:

- Sơ đồ cấu trúc lớp thông tin bản đồ đất:

Lớp đồ hoạ: ĐẤT

Loại đối tượng: Vùng

Nguồn dữ liệu: Viện Quy hoạch và Thiết kế Nông nghiệp

Bảng thuộc tính vùng

Mục tin Tên trường dữ liệu Mô tả mục tin

và mã hiệu Kiểu dữ liệu Ðộ rộng mục tin

Loại đối tượng: Điểm

Nguồn dữ liệu: Viện Quy hoạch và Thiết kế Nông nghiệp

Bảng thuộc tính

Mục tin Tên trường dữ liệu Mô tả mục tin và mã

hiệu

Kiểu dữ liệu

Ðộ rộng mục tin Mạng lưới phẫu diện Tang_dat

pHkcl

OM%

Tong_so%

De_tieu Ldl/100g_dat Thanh_phan_co_gioi

Ghi chú :

• Giải thích minh hoạ định nghĩa cấu trúc bảng thông tin thuộc tính :

- Lớp đồ hoạ: Tên của lớp đồ hoạ

- Loại đối tượng: Phân loại đối tượng đồ hoạ tổ hợp cùng với bảng thuộc tính Có 3 đối tượng đồ hoạ được dùng trong thiết kế này: điểm, đường và vùng

- Nguồn dữ liệu: Bản đồ hay tài liệu trong đó chứa các đối tượng đồ hoạ hay các thuộc tính của chúng thuộc Cơ quan chủ quản tài liệu nào

- Mục tin: Mô tả ngắn gọn các mục thông tin về các đối tượng đồ hoạ lưu trữ

- Ðộ rộng mục tin: Ðộ rộng tính bằng ký tự cần để lưu nội dung mục tin trong bảng cơ sở dữ liệu

- Tên trường dữ liệu: Tên mục tin khai báo trong cấu trúc bảng CSDL

- Tên thay thế (tên khác): được gán cho mục tin Tên này thường là tên của mục tin cùng nội dung nhưng ở bảng khác và là khoá quan hệ

- Kiểu dữ liệu: Là kiểu định dạng lưu thông tin trong hệ thống các kiểu dữ liệu áp cho các mục tin như sau:

ASCII ASCII Nhị phân

ASCII ASCII ASCII ASCII

Công dụng của các kiểu dữ liệu Floating Point (đối với số thập phân) là rất tiết kiệm và chúng được khuyến dụng ở bất cứ lúc nào/đâu có thể

Mục tin định nghĩa lại Mục tin định nghĩa lại là một tên mới, kiểu dữ liệu mới hay độ rộng khác quy

định lại cho mục tin, tổ hợp hay tập con của các mục tin đang tồn tại Ðiều này thường hay áp dụng để tạo các khoá duy nhất nhằm truy nhập dữ liệu trong bảng - từ điển đồ hoạ - Look Up Table (*.LUT)

Tóm tắt Mô tả nội dung của các phụ lớp tóm tắt đi kèm với lớp đồ hoạ

Ghi chú Bất kỳ ghi chú hay chú thích nào về lớp đồ hoạ hay bảng mà không ghi được ở

các mục khác

• Mô tả mục tin và mã hiệu chi tiết của các chuyên đề

- Mô tả mục tin và mã hiệu lớp bản đồ đất

+ Trường ký hiệu đất và tên đất:

PLb Đất phù sa được bồi của hệ thống Sông Cửu Long

Pb Đất phù sa của các sông khác

Ph Đất phù sa không được bồi có tầng Glây và loang lổ của hệ thống sông Hồng

PL Đất phù sa không được bồi có tầng Glây và loang lổ của hệ thống sông Cửu Long

P Đất phù sa không được bồi không có tầng Glây và loang lổ của các sông khác

Phg Đất phù sa Glây của hệ thống sông Hồng

Plg Đất phù sa Glây của hệ thống sông Cửu Long

Pg Đất phù sa Glây của các sông khác

Phf Đất phù sa có tầng loang lổ của hệ thống sông Hồng

Plf Đất phù sa có tầng loang lổ của hệ thống sông Cửu Long

Pf Đất phù sacó tầng loang lổ của các sông khác

Rr Đất đen trên Secpentin

R Đất đen trên sản phẩm bồi tụ của Bazan

Ru Đất nâu thẫm trên sản phẩm phong hoá của đá bọt và Bazan

Rv Đất đen cacbonat

RdV Đât đen trên sản phẩm bồi tụ của cacbonat

Rp Đất đen trên phù sa cổ

Ft Đất nâu tím trên đá macma bazo

Fe Đất nâu tím trên đá sét mầu tím

Fk Đât nâu đỏ trên đá Macma bazo và trung tính

Fd Đất đỏ vàng trên đá trên đá macma bazo và trung tính

Fu Đất nâu vàng trên đá macma bazo và trung tính

Fv Đât đỏ nâu trên đá vôi

Fn Đất nâu vàng trên đá vôi

Fl Đất đỏ vàng biến đổi do trồng lúa nước

Hn Đất mùn nâu đỏ trên đá macma bazo và trung tính

Hv Đất mùn đỏ nâu trên đá vôi

+ Trường thông tin về thành phần cơ giới đất

Trường thông tin này mô tả đặc tính các tính chất lý- hóa - sinh học đất như

độ chặt, độ xốp, cấu trúc, độ thấm, khả năng giữ nước, khả năng vận chuyển ẩm trong đất, tính dẻo, năng lượng bề mặt

0.02-< 0.002

II.2 Xây dựng cấu trúc cơ sở cơ sở dữ liệu phi không gian (dữ liệu toàn văn)

Dữ liệu được lưu theo khuôn dạng *.PDF và được chia thành các bảng, mỗi bảng chứa các thuộc tính của dạng dữ liệu mà bảng ấy lưu

Dữ liệu ở dạng bảng gồm các thuộc tính như là Năm, Tên, Loại,….và kiểu của thuộc tính Tên của các thuộc tính để tiếng việt không dấu và viết liền (hình 1)

Hình 1 – Miêu tả thuộc tính của một bảng dữ liệu

Trong các bảng dữ liệu thường được liên kết bởi khóa là các Năm, hoặc là các Loại (bản đồ - báo cáo – số liệu), chúng được mô tả bảng mối liên kết có thực thể như sau: (hình 2)

H ình 2 – Miêu tả mối quan hệ của các bảng

Từ bảng dữ liệu Table1 muốn truy vấn tới bảng dữ liệu PDF, thực hiện qua khóa “Nam”

• Thông tin chi tiết được thể hiện qua các trường

- Mã dự án

- Tên cơ sở dữ liệu

- Nội dung điều tra

- Đơn vị hành chính (khu vực thực hiện)

Phần iii

xử lý vμ Xây dựng cơ sở dữ liệu

Xử lý và xõy dựng CSDL là cụng đoạn thứ 3 trong quỏ trỡnh xõy dựng hệ thống CSDL Cỏc CSDL trong dự ỏn được phõn loại theo theo dạng thụng tin gồm: CSDL đồ hoạ và CSDL toàn văn (văn bản) CSDL phõn loại theo nguồn thụng tin gồm: Thụng tin đầu vào như dữ liệu bản đồ (thu thập từ bản đồ trờn giấy, bản đồ

số, số liệu đo đạc, ảnh hàng khụng, ảnh vệ tinh); dữ liệu toàn văn (thu thập từ nội dung cỏc bỏo cỏo, điều tra thực địa, sổ sỏch tài liệu, hồ sơ, số liệu điều tra cơ bản);

Cụng đoạn này nhằm chuẩn hoỏ dữ liệu về cựng một khuụn dạng thống nhất

dữ liệu của cỏc khuụn dạng khỏc nhau được đưa về khuụn dạng đó được thiết kế trong hệ thống Ngoài ra cụng đoạn này cũn thực hiện việc biờn tập và nhập dữ liệu

đó được chuẩn hoỏ vào hệ thống cơ sở dữ liệu

Việc xử lý và xõy dựng cơ sở dữ liệu đối với mỗi loại tài liệu cũng cần cú cỏc phương phỏp khỏc nhau để cú thể phự hợp cho từng loại, cỏc thực hiện được thể hiện tại sơ đồ sau:

Tμi liệu ở dạng truyền thống (các bản in trên giấy)

Tài liệu ở dạng số Tài liệu ở dạng số Tμi liệu ở dạng truyền

thống (các bản in trên giấy)

Chuyển đổi mã ký tự Định dạng, nhập liệu Chuyển đổi toạ độ về hệ

thống toạ độ thống nhất

Scan bản đồ

Hiêu chỉnh sửa chữa dữ

liệu không gian và dữ liệu thuộc tính

Ghép ảnh, xử lý, hiệu chỉnh ảnh quyet

I Xây dựng cơ sở dữ liệu địa lý (đồ hoạ):

I.1 Xử lý các bản đồ đã số hoá (xây dựng CSDL dưới dạng vector)

a Chuyển đổi hệ thống toạ độ bản đồ

Toàn bộ bản đồ trong dự án được xây dựng và số hoá từ những năm 2005 về trước cho nên hầu hết các bản đồ đều được xây dựng trên hệ toạ độ và hệ quy chiếu (hệ HN-72) và một số toạ độ khác, ngoài ra còn có những bản đồ được số hoá trên những bản đồ photo cắt dán không có toạ độ Vì vậy, để thống nhất và thực hiện các quy định về hệ thống toạ độ quốc gia theo quyết định số 83/2000/QĐ-TTg ngày 12/7/2000 của Thủ tướng Chính phủ, đã tiến hành chuyển đổi toạ độ dữ liệu bản đồ số ở hệ thống toạ độ và hệ quy chiếu (hệ HN-72) và một

số toạ độ khác lưu trong cơ sở dữ liệu được đưa về hệ thống toạ độ và độ cao quốc gia VN-2000

Khi tính chuyển về toạ độ VN - 2000 các bản đồ số đáp ứng các quy định về chuyển đổi toạ độ là:

• Đảm bảo về độ chính xác

• Đảm bảo về bảo toàn thuộc tính

Các thuộc tính mô tả ở dạng TEXT được giữ nguyên tức cấu trúc và nội dung của cơ sở dữ liệu không được thay đổi

Các thuộc tính mô tả đồ hoạ: Ký hiệu về mô tả màu sắc thể hiện vẫn phải giữ nguyên như bản đồ nguồn trong kết quả nhận được

Để đảm bảo tính chính xác và hiệu quả, dự án này đã sử dụng phần mềm

CIDALA Map Transformation (MapTrans), do Trung tâm Thông tin và Lưu trữ

địa chính xây dựng, cho việc tính chuyển bản đồ địa hình số dưới định dạng (format) DGN, MapInfo từ hệ tọa độ HN-72 sang hệ tọa độ VN-2000 và ngược lại Qua thực tế cho thấy phần mềm vẫn chuẩn xác cho các bản đồ chuyên đề

Hiện tại, đa số các loại bản đồ được sản xuất ở Hệ toạ độ HN-72, lưới chiếu Gauss, ellipsoid Krasovski Sau khi ban hành hệ qui chiếu Quốc gia VN-2000, lưới chiếu UTM, ellipsoid WGS-84 Khi áp dụng Hệ quy chiếu VN-2000 theo Quyết định của Thủ tướng Chính phủ sẽ có yêu cầu chuyển đổi các bản đồ dưới dạng số ở

hệ HN-72 sang VN-2000 bằng công cụ phần mềm

Việc lựa chọn phần mềm MapTrans để tính chuyển nhờ có các ưu điểm sau:

• Thao tác trực tiếp trong môi trường đồ hoạ thành lập bản đồ như các phần mềm MicroStation, MapInfo

• Thao tác trực tiếp với các file bản đồ số (không cần phải chuyển sang các định dạng trung gian) dưới các định dạng thông dụng như DGN (MicroStation), TAB (MapInfo)

• Chuyển toàn bộ toạ độ các điểm của các đối tượng đồ hoạ trên bản đồ từ hệ này sang hệ khác, phép tính chuyển không phụ thuộc vào các điểm nắn như các phương pháp nắn chuyển bản đồ khi sử dụng một số phần mềm quen biết khác (ví

dụ MGE) do vậy độ chính xác không bị suy giảm do các nguồn sai số tích luỹ trong thao tác nắn , các đối tượng đồ hoạ không bị biến dạng do tác động của mô hình nắn chuyển được áp dụng (như Affine 1, Affine 2, Helmert ) Với phương pháp xử lý này thì các mảnh bản đồ số ở HN-72 đã được tiếp biên sẽ không phải tiếp biên lại Đây là lợi thế rất lớn để đảm bảo độ chính xác của bản đồ khi phải ghép nhiều tờ bản đồ ở HN-72 để biên tập một mảnh bản đồ ở hệ VN-2000, do vậy

sẽ giảm đáng kể công biên tập , góp phần nâng cao năng suất lao động

• Giữ nguyên các tính chất đồ hoạ của các đối tượng trên bản đồ sau khi chuyển đổi ( kiểu đối tượng, kích cỡ đối tượng và thuộc tính như màu sắc, kiểu đường hay lực nét )

Trung tâm Thông tin và Lưu trữ địa chính đã tiến hành thử nghiệm và thẩm định độ chính xác của các bản đồ Sau khi chuyển (nguồn dữ liệu: Nhà xuất bản Bản đồ và Viện Nghiên cứu địa chính) cho thấy phần mềm MapTrans đảm bảo được sai số cho phép theo qui định kỹ thuật về số hoá và biên tập bản đồ do Tổng cục Địa chính ban hành (quyết định số 70/2000/QĐ-ĐC ngày 25 tháng 2 năm 2000 của Tổng cục Trưởng Tổng cục Địa chính )

Tuy nhiên, trên thực tế do các hạn chế về mặt tư liệu nên có một số vùng trong lãnh thổ Việt Nam không đạt yêu cầu về độ chính xác khi chuyển đổi các bản

đồ số tỷ lệ lớn từ HN-72 về VN-2000 (các vùng: Tây Quảng Ngãi, Cà Mau, Bình Phước) Việc khắc phục tình trạng này chỉ có thể thực hiện khi lưới địa chính cơ sở trên các vùng trên được tính toán bình sai một cách chính xác trong hệ tọa độ VN-

2000

Các chức năng của phần mềm MapTrans :

- Cho phép chuyển đổi hệ qui chiếu từ hệ HN-72 sang hệ VN-2000 và ngược lại MapTrans có thể chuyển đổi các bản đồ số trên các kinh tuyến trung ương khác nhau, đáp ứng được cả hai loại múi chiếu 6 độ và 3 độ Trong quá trình chuyển đổi, người sử dụng ghi lại các log file chứa toàn bộ các giá trị toạ độ của các điểm trên hệ qui chiếu cũ và mới để kiểm tra

- Cho phép chuyển nhiều file tuần tự để tiện lợi cho người sử dụng Người

sử dụng chỉ cần chỉ định thư mục chứa các file muốn chuyển, phần mềm sẽ tự động tìm kiếm các file bản đồ trong cây thư mục đó (không giới hạn số cấp thư mục) và tiến hành chuyển đổi hệ qui chiếu cho các file đó

Ngoài những bản đồ số hoá có toạ độ địa lý, còn tồn tại những bản đồ số hoá không có toạ độ Đối với các bản đồ này để gắn toạ độ có thể dùng các phương pháp chuyển đổi tất cả các bản đồ số chưa có toạ độ về format Microstation, dùng các công cụ nắn chuyển trong Microstation để nắn chuyển

Có 2 loại dữ liệu vector cần nắn chuyển là:

- Nắn chuyển các dữ liệu sai về toạ độ

- Nắn chuyển biến dạng hình học

b Hiệu chỉnh và sửa chữa các sai số

Sai số dữ liệu là một yếu tố quyết định đến chất lượng CSDL phải đánh giá

và xem xét kỹ khi tiến hành xây dựng cơ sở dữ liệu bản đồ số Đối với những loại ứng dụng khác nhau, sai số dữ liệu cho phép cũng có thể khác nhau Trong các ứng khác nhau thì sai số của dữ liệu được áp dụng theo các tiêu chuẩn của từng lĩnh vực

Đối với các dữ liệu đã thu thập được trong dự án, sau khi tiến hành đánh giá

và xem xét từng loại dữ liệu chúng tôi đã tiến hành hiệu chỉnh, sửa chữa các lỗi sau:

• Hiệu chỉnh sửa chữa về mức độ đầy đủ của dữ liệu: Tiến hành hiệu chỉnh mức độ đầy đủ của đối tượng, thuộc tính đối tượng và quan hệ giữa các đối tượng trong dữ liệu so với quy định và thực tế gồm :

- Mức độ dư thừa thông tin

- Mức độ thiếu thông tin

• Hiệu chỉnh mức độ phù hợp của dữ liệu với mô hình cấu trúc dữ liệu: cụ thể là mức độ tuân thủ các quy định trong mô hình cấu trúc dữ liệu được đánh giá theo 4 tiêu chí sau:

- Quy tắc trong mô hình cấu trúc dữ liệu khái niệm;

- Miền giá trị;

- Quan hệ không gian;

- Mô hình cấu trúc dữ liệu vật lý;

• Hiệu chỉnh sửa chữa độ chính xác vị trí của đối tượng địa lý gồm:

- Độ chính xác tuyệt đối: độ lệch giữa giá trị toạ độ của đối tượng trong dữ liệu so với giá trị toạ độ đúng

- Độ chính xác tương đối: độ lệch vị trí tương đối của đối tượng trong dữ liệu so với các vị trí tương đối đúng tương ứng Vị trí tương đối của đối tượng được hiểu là vị trí của đối tượng đó so với vị trí của đối tượng khác

• Đánh giá độ chính xác thời gian của đối tượng địa lý: được đánh giá thông qua 3 yếu tố:

- Độ chính xác xác định thời gian: tính chính xác và thể hiện dữ liệu thời gian theo hệ quy chiếu thời gian quy định

- Tính nhất quán: tính đúng đắn về trình tự của các sự kiện xảy ra theo thời gian

- Tính hợp lệ: chỉ giới hạn về thuộc tính thời gian của đối tượng trong dữ liệu

• Hiệu chỉnh mức độ chính xác của thuộc tính chủ đề:

- Tiến hành hiệu chỉnh và phân loại đúng các giá trị được gán cho thuộc tính phân loại và các thuộc tính khác của của dữ liệu so với thực tế;

- Tiến hành hiệu chỉnh độ chính xác thuộc tính của các giá trị được gán cho các thuộc tính định tính của dữ liệu

• Khảng định nguồn gốc, xuất xứ của dữ liệu:

- Nguồn thông tin được sử dụng để xây dựng tập dữ liệu

- Quá trình xây dựng, cập nhật tập dữ liệu

I.2 Xử lý và xây dựng các dữ liệu từ các bản đồ được lưu trữ dưới dạng giấy

• Quét ảnh:

Đã tiến hành quét (scan), chuyển các bản đồ được lưu trữ trên giấy, phim, diamat, thành các tập tin dữ liệu dưới dạng ảnh (raster file), có các định dạng khác như: *.TIFF, *.JPG, *.BMP,

Để thuận lợi cho công tác xử lý và quản lý bản đồ dự án đã lựa chọn một số định dạng file phổ biến được sử dụng trong các phần mềm sử lý ảnh là:

*.TIFF, *.TIF (Tagged Image File Format) là dạng phổ biến nhất có khả năng lưu trữ các ảnh quét bằng nhiều độ phân giải, dạng màu và kiểu nén khác nhau, đặc biệt là thích nghi với nhiều trình ứng dụng

*.EPS (Encapsulated Poscipt) thích hợp cho dùng các bản vẽ vector nhưng lại không dùng cho lineart

*.GIF là dạng dùng để lưu trữ các ảnh gồm 256 màu hoặc 256 các bóng xám

*.PSP là dạng ảnh nội của Adobe Photoshop

*.JPEG (JPG) là dạng lưu trữ màu sắc hoặc các files thang độ xám

*.PCX được sử dụng trong nhiều chương trình vẽ khác nhau cũng rất thích hợp cho các ảnh quét và rất thích nghi với cách sử dụng PC (máy tính cá nhân) Các bản đồ giấy được sử dụng trong các dự án là những bản đồ có tỷ lệ trung bình và nhỏ (từ 1/25.000, 1/50.000 hoặc 1/100.000) Các bản đồ này thường

có kích thước từ 1500 mm x 2000 mm đến 2000 mm x 2500 mm vì vậy khi tiến hành quét ảnh, đã sử dụng máy quét chuyên dụng khổ lớn, với độ phân giải cao Ảnh của bản đồ được lưu dưới dạng tập tin ảnh màu với format đã lựa chọn trên, với độ biến dạng ổn định đủ điều kiện cho các khâu xử lý tiếp theo

• Xử lý, hiệu chỉnh ảnh quét (raster):

Hiệu chỉnh ảnh nhằm tăng chất lượng hình ảnh các bước tiến hành:

- Nối các đường đứt nét (các điểm không liên tục)

- Quay ảnh, ghép nhiều phần ảnh thành một ảnh hoàn chỉnh

- Xoá nhiễu, lấp lỗ hổng, phân lớp, làm béo, làm gầy, vuốt trơn đường nét

- Hiệu chỉnh độ sáng tối, tương phản, chuyển đổi ảnh sang các dạng khác nhau

Để xử lý các ảnh bản đồ trên dự án đã sử dụng các phần mềm xử lý ảnh khác như Imaging, Photoshop

- Sơ đồ thực hiện công đoạn xử lý và hiệu chỉnh ảnh:

- Thứ tự thực hiện các chức năng tinh chỉnh theo độ ưu tiên như sau:

Lọc nhiễu Î Lọc biên Î Lọc xương Î Xoay ảnh Î Copy ảnh Î Ghép ảnh

• Nắn bản đồ

Mục đích: Chuyển đổi các ảnh quét đang ở toạ độ hàng cột của các pixel về toạ độ trắc địa (toạ độ thực - hệ toạ độ địa lý hoặc toạ độ phẳng) Đây là bước quan trọng nhất trong quy trình thành lập bản đồ số vì nó ảnh hưởng tới toàn bộ độ chính xác của bản đồ sau khi được số hoá dựa trên nền ảnh, toàn bộ công đoạn nắn bản đồ dự án đã sử dụng các công cụ của Microstation

Tạo lưới Km: Lưới km và lưới kinh vĩ độ được tạo dựa vào toạ độ của các góc khung và khoảng cách giữa các mắt lưới Lưới Km được sử dụng làm cơ sở cho việc chọn các điểm khống chế khi nắn bản đồ Với các lưới Km của bản đồ tỷ

lệ lớn ta có thể tạo bằng các công cụ của Microstation nhưng với lưới Km và kinh

vĩ độ của bản đồ tỷ lệ nhỏ thì bắt buộc phải tạo bằng công cụ Gird Generation của MGE để đảm bảo độ chính xác

Nắn bản đồ: Để nắn các file ảnh đã chuyển định dạng thành (.rle) của Itergraph ta sử dụng công cụ Warp của irasb Quá trình nắn này được dựa trên toạ

độ của các điểm khống chế trên ảnh, toạ độ của các diểm khống chế tương ứng trên file dgn và mô hình được chọn để nắn (các mô hình nắn đã được viết sẵn trong phần mềm irasb) Trong quá trình nắn ảnh, người sử dụng phải đặc biệt quan tâm đến các sai số chuẩn và sai số giữa khoảng cách thật giữa điểm chuyển đổi và điểm

đo người dùng thu thập

II Xử lý các dữ liệu toàn văn:

Tài liệu toàn văn (dưới dạng báo cáo Document và số liệu) là 1 phần quan trọng của cơ sở dữ liệu Sau khi thu thập, phân loại các loại tài liệu, đã tiến hành

xử lý toàn bộ các tài liệu ở dạng này để xây dựng CSDL

II.1 Xử lý tài liệu toàn văn và số liệu đã ở dạng số

Các xử lý này tập trung vào những tài liệu đã được lưu trữ ở khuôn dạng

*.doc, *.xls, *.txt, có 3 bước cơ bản là: Chuyển đổi font, Định dạng khuôn mẫu văn bản, Chuyển đổi lưu trữ ở khuôn dạng *.PDF

File ảnh quét đã được xử lý

a Bước 1: chuyển đổi mã ký tự

Các dự án điều tra cơ bản được thực hiện chủ yếu tại 3 đơn vị sau:

- Viện Quy hoạch và Thiết kế Nông nghiệp

- Phân viện Quy hoạch và Thiết kế Nông nghiệp miền Nam

- Phân viện Quy hoạch và Thiết kế Nông nghiệp miền Trung

Do được thực hiện ở 3 vùng miền khác nhau cho nên các báo cáo số hoá không thống nhất về định dạng font, các font sử dụng trong các báo cáo phía Bắc

là Font ABC, phía Nam là Font VNI, miền Trung đa số là Font Vietware Vì vậy, cần phải chuyển đổi các dạng font về cùng 1 loại

Sơ lược các dạng font đã được dùng:

• Font ABC mã TCVN3 - 5712:

Là loại font 1 Byte được dùng hầu hết tại các tỉnh khu vực phía Bắc và Hà nội Font này tuân thủ theo bảng mã chuẩn quốc gia TCVN 5712 được phát hành năm 1993 và được khuyến cáo dùng trong khối cơ quan nhà nước Hiện nay các mạng lớn tại Việt nam (Mạng Netnam, TTVN, VNN, ViNet ) đều sử dụng Font ABC, Đây là một trong những font chữ có thể được cài đặt cả trong môi trường DOS, Windows và MacIntosh, Unix

Nhược điểm của bộ mã (bộ font) ABC:

- Không thể hiện được đầy đủ 134 ký tự Việt trong cùng 1 font chữ, gây khó khăn trong việc soạn thảo cả chữ hoa và chữ thường Không phân biệt được sự khác nhau giữa chữ hoa và chữ thường

- Bảng mã TCVN 5712 có một số tranh chấp rất trầm trọng với các ứng dụng phổ thông: Trình duyệt Web của Microsoft Internet Explore 5, Outlook5, Phần mềm chế bản MS Publisher 2000 bị mất chữ ‘ư’, do mã 173 của chữ ‘ư’ được dùng làm ký hiệu thể hiện gạch nối Phần mềm soạn thảo văn bản Winword bị mất các ký tự ‘ơ’, ‘ả’ khi copy text qua clipboard, 2 mã tiếng Việt này được Winword dùng vào việc hiển thị ngắt dòng cứng và ngắt dòng mềm Một số các ký tự chế bản khác cũng bị tranh chấp với tiếng Việt TCVN cũng chiếm mất một số ký tự hay dùng khác như dấu (c) copyright, dấu (tm) Trade Mark Các lỗi trên sẽ luôn xuất hiện đối với tất cả các phiên bản tiếp theo của các ứng dụng này Word là chương trình soạn thảo phổ biến nhất hiện nay và Internet Explore 5 là chương trình duyệt Web được dùng rất nhiều trong các ứng dụng trên nền Web trong tương lai, cả 2 ứng dụng này đều có những lỗi với bảng mã TCVN 5712

- Trong nhiều ứng dụng các ký tự Việt không được coi là thành phần cấu tạo

từ, nên thường các từ Việt bị tách ra thành 2 đến 3 từ riêng rẽ (ví dụ từ ‘các’ đối với tiếng Việt là 1 từ, nhưng trong Word lại được coi thành 2 từ riêng mà chữ ‘á’ là dấu phân cách từ)

- Font chữ không được một số phần mềm

- Không hoà đồng được với các ngôn ngữ khác

- Mã của các chữ hoa và chữ thường không cách nhau 32 đơn vị nên không tận dụng được các hàm Upercase hay LowerCase

- Tìm kiếm và sắp xếp không được hỗ trợ ở mức hệ thống nên sẽ gây nhiều khó khăn, không dùng được các hàm chuẩn Đối với từng hệ quản trị cơ sở dữ liệu phải xây dựng các hàm riêng để xử lý phần tìm kiếm sắp xếp tiếng Việt

• Font VNI:

VNI, viết tắt của Vietnam-International, một công ty của Việt kiều Mỹ phát triển các bộ font và bộ mã tiếng Việt theo chuẩn của VNI đề xướng Mã VNI bao gồm mã 1 byte cho môi trường DOS, bảng mã 2 byte cho môi trường Windows/Unix, bảng mã 2 byte cho môi trường Mac và bảng mã 3 byte cho môi trường hỗn hợp Win/Unix/Mac và thư tín điện tử Internetmã 2 Byte (dấu thanh và nguyên âm dời nhau, được tổ hợp trong khi gõ) VNI là loại font ghép, một số con chữ Việt sẽ được biểu hiện bằng 2 bytes, byte đầu tiên là các con chữ trong bảng chữ cái tiếng Anh, byte thứ 2 là dấu Vì tiếng Việt chỉ có 5 dấu nên font này cần rất

ít mã mở rộng để thể hiện tiếng Việt vì vậy có thể biểu diễn được cả chữ hoa và chữ thường trong cùng 1 font chữ Do chỉ cần ít mã để thể hiện chữ Việt nên font này thường tuân thủ khoảng cách giữa chữ hoa và chữ thường là 32 do đó có thể sử dụng được các tính năng Capitalize Font 2 byte được thực hiện nhờ khả năng có

độ rộng âm của font chữ TrueType để chập 2 chữ tiếng Anh và dấu tiếng Việt thành một chữ (thực chất là 2 ký tự) nên 1 con chữ Việt thông thường muốn xoá phải xoá 2 lần, 1 lần cho dấu, 1 lần cho chữ gốc

Nhược điểm của bộ mã (bộ font) VNI:

- Thiếu tính nhất quán, mỗi dấu thanh (huyền, hỏi, sắc ) được mã hoá thành

3 số khác nhau , tuy theo từng con chữ mà dấu thanh đi kèm

- Một con chữ Việt không phải là một thể thống nhất, các phép xoá, dịch chuyển con chỏ đều phải thực hiện 2 lần thay vì phải thực hiện trong 1 lần Trong nhiều trường hợp ký tự dấu thanh có thể lẫn vào phần phụ âm và gây khó khăn trong soạn thảo tiếng Việt

- Tìm kiếp, sắp xếp tiếng Việt gặp nhiều khó khăn, không dùng được các hàm chuẩn Đối với từng hệ quản trị cơ sở dữ liệu phải xây dựng các hàm riêng để

xử lý phần tìm kiếm sắp xếp tiếng Việt

- Font chữ có dấu không đẹp, do các dấu được ghép vào chữ một cách tự động, máy móc trong lúc gõ nên không thể đẹp và hợp lý bằng con chữ có chữ và dấu được thiết kế từ trước (lúc tạo font)

- Font 2 Byte không thể thực hiện được với font Bitmap (các font hệ thống như MS Sans Serif đều là Bitmap) hoặc font có độ rộng cố định (Fixed font) Khi

xử lý (tạo các effect) các đoạn Text mã 2 byte bằng cách co, kéo chữ hoặc giãn cách tự động thì dấu và chữ thường bị tách rời nhau (vì chúng không là 1 thể thống

nhất) Trong một số chương trỡnh qui định rừ tổng số tối đa ký tự của cỏc trường Text, dữ liệu mó 2 byte cú thể vượt quỏ độ dài cho phộp do cú thờm cỏc ký tự dấu

Giải phỏp:

Sự khụng thống nhất về chuẩn font tiếng Việt giữa 3 miền (miền Bắc Font ABC, miền Nam Font VNI, miền Trung Font Vietware) gõy khú khăn trong việc trao đổi dữ liệu, văn bản bỏo cỏo và quản lý cơ sở dữ liệu

- Giải phỏp trọn vẹn cho tất cả cỏc vấn đề núi trờn (khắc phục cỏc lỗi của bộ

mó TCVN 5712 và đưa ra khả năng hoà đồng ngụn ngữ) là lựa chọn chuẩn UNICODE 16-Bit, một bộ mó dựng chung cho tất cả cỏc ngụn ngữ trờn thế giới trong đú cú Việt Nam Unicode là tiờu chuẩn đó được thế giới cụng nhận, được cơ quan về chuẩn của thế giới ISO thụng qua, Unicode tương thớch hoàn toàn với tiờu chuẩn ISO 10646 Unicode cũng được cỏc hóng hàng đầu về CNTT ủng hộ và phỏt triển: Microsoft, IBM, Sun System

Để khắc phục sự thiếu thống nhất sử một bộ font và thực hiện Quyết định số

72/2002/QĐ-TTg 10/06/2002 của Thủ tướng Chính phủ về việc thống nhất dùng Bộ mã các ký tự chữ Việt theo tiêu chuẩn TCVN 6909:2001, dự ỏn đó chuyển đổi toàn

bộ cỏc bỏo cỏo sử dụng cỏc font khỏc nhau về cựng 1 dạng là font Unicode

• Giới thiệu về Bộ mó UNICODE:

Tiếng Việt cú tất cả 134 ký tự đặc thự Việt, do đú 128 giỏ trị của phần mở rộng khụng đủ để mó tất cả cỏc con chữ Việt Vỡ vậy đó xuất hiện nhiều giải phỏp khỏc nhau nhằm mó húa tiếng Việt trong khuụn khổ bảng mó 8-Bit Cú thể chỉ sử dụng chữ thường trong bản mó, tức là chỉ cần 67 giỏ trị, cũn chữ hoa được thể hiện bằng cỏch dựng Font chữ hoa giải phỏp này được dựng trong TCVN 5712-1993 (VN3) mà Font chữ ABC là 1 vớ dụ Giải phỏp tổ hợp là dựng 2 ký tự: ký tự nguyờn õm và ký tự dấu ghộp lồng vào nhau Vớ dụ chữ ‘ỏ’ được tạo thành bởi ký

tự ‘a’ và ký tự dấu sắc (‘) mà font chữ VNI là vớ dụ tiờu biểu Cả 2 giải phỏp này

về tiếng Việt đều cú những ưu điểm và nhược điểm khỏc nhau, (xem thờm phần phõn tớch cỏc ưu nhược điểm này trong Vietkey Help)

Bảng mó 8-bit với 256 giỏ trị khụng thể đủ chỗ để mó cỏc ký tự của cỏc ngụn ngữ dựng chữ tượng hỡnh như tiếng Hỏn, Tiếng Nhật, Hàn quốc Từ trước đến nay đó cú nhiều giải phỏp khỏc nhau để mó hoỏ cỏc ký tự của cỏc ngụn ngữ này trờn mỏy vi tớnh, tuy nhiờn những giải phỏp này thường dựng kỹ thuật tổ hợp hoặc cỏc chuỗi ký tự điều khiển (Esc) khỏ phức tạp và quan trọng hơn cả là cỏc giải phỏp này khụng tương thớch với nhau Do đú việc sử dụng đồng thời cỏc ngụn ngữ trong cựng 1 văn bản và trong cựng 1 font chữ thường khụng thể hoặc rất khú khăn khi thực hiện

Unicode ra đời đó khắc phục cỏc nhược điểm núi trờn và để xõy dựng một

bộ mó chuẩn vạn năng dựng chung cho tất cả mọi ngụn ngữ trờn thế giới

Cộng đồng Unicode được thành lập vào năm 1991 như 1 tổ chức phi lợi nhuận nhằm phát triển chuẩn Unicode, các thành viên của Unicode công xoóc xiông bao gồm các công ty hàng đầu của thế giới trong lĩnh vực phần mềm như Adobe, Aldus, Borland, Digital, GO, IBM, HP, Lotus, Metaphor, Microsoft, NeXT, Novell, Sun, Symantec, Taligent, Unisys, and WordPerfect

Unicode là bộ mã ký tự 16-Bit, tương thích hoàn toàn với chuẩn quốc tế ISO/IEC 10646-1; 1993 Với 65.536 ký tự Unicode hầu như có thể mã hoá tất cả các ngôn ngữ trên thế giới Ngoài ra với cơ chế mở rộng UTF-16 Unicode và chuẩn ISO 10646 còn cho phép mã hoá hơn 1 triệu ký tự mà không cần phải dùng đến mã điều khiển Escape

Phiên bản mới nhất hiện nay là Unicode 2.1 (Bản 3.0 đang chuẩn bị phát hành) bao gồm các ngôn ngữ thuộc họ la-tinh, và Greek, Cyrillic, Armenian, Hebrew, Arabic, Devanagari, Bengali, Gurmukhi, Gujarati, Oriya, Tamil, Telugu, Kannada, Malayalam, Thai, Lao, Georgian, Tibetan, Japanese Kana, the complete set of modern Korean Hangul, and a unified set of Chinese/Japanese/Korean (CJK)

Chuẩn Unicode mô tả các ký tự ngôn ngữ, các dấu chấm câu, dấu phụ, ký hiệu toán học, các dấu mũi tên và các ký hiệu Dingbats Hiện nay Unicode đã định nghĩa khoảng 39 000 ký tự Còn khoảng 18.000 ký tự sẽ được định nghĩa nay mai,

917 504 ký tự có thể được định nghĩa nếu dùng cơ chế mở rộng UTF-16 6.400 chỗ được dành ra cho các hãng sử dụng với các mục đích riêng của mình UTF-16 cũng dành ra 131.072 ký tự để dành cho những mục đích dùng riêng

Các chuẩn mã hoá ký tự không chỉ định nghĩa các mã của các ký tự, giá trị

số, và vị trí của các ký tự mà còn định nghĩa cả cách biểu diễn các mã ký tự dưới dạng bit Unicode và ISO-10646 quy định 2 cơ chế, khuôn dạng chuyển đổi là UTF-8 và UTF-16

ƒ Một số đặc điểm của Unicode:

- Mỗi ký tự trong bảng mã Unicode đều có độ dài cố định là 16 Bit, nhờ đó Việc xử lý các xâu ký tự Unicode rất đơn giản không phức tạp như các giải pháp dùng chuỗi ký tự điều khiển, phải có những thuật toán tương đối phức tạp để nhận diện ký tự trong 1 chuỗi các Byte Trong khi đó với Unicode mỗi ký tự có độ dài đúng 2 Byte nên có thể định vị rất dễ dàng các vị trí của ký tự trong chuỗi Byte cho trước

- Unicode tránh đến mức tối đa việc định nghĩa dư thừa, trùng lặp Ví dụ ký

tự ‘é’ chỉ có 1 mã duy nhất dùng chung cho cả ngôn ngữ tiếng Việt, tiếng Czech, cũng chính vì thế nên hệ thống chữ Việt có các mã nằm rải rác ở nhiều ví trí không liền nhau Tiếng Hán, Nhật và Hàn có khoảng 10 nghìn ký tự trùng nhau nên chúng được dùng chung cho cả 3, tuy nhiên trong Unicode vẫn có các vùng riêng để định nghĩa những ký tự đặc thù của 3 ngôn ngữ này

- Unicode về cơ bản không quy định việc bố trí các ký tự theo quy định sắp xếp của các ngôn ngữ, điều này cũng là hệ quả của việc tránh định nghĩa các ký tự

dư thừa do phải tận dùng các ký tự dùng chung nên không thể bố trí các ký tự theo từng vùng riêng cho từng ngôn ngữ được Hơn nữa thực tế với nhiều ngôn ngữ phải dùng những thuật toán riêng để sắp xếp chứ không thể sắp xếp theo thứ tự của chúng trong bảng chữ cái (tiếng Việt là 1 điển hình) Chính vì vậy bảng mã tiếng Việt trong Unicode có các ký tự Việt nằm rải rác ở nhiều nơi và không theo 1 trình

tự sắp xếp nào

Unicode đã được cài đặt trong các hệ điều hành Windows NT, Windows 9.x, MacIntosh (MacOS 8), BE OS, Linux, SGML, XML, Jade

Windows NT sử dụng Unicode như là nền tảng trong hệ điều hành, các xâu

ku tự được xử lu như là xâu Unicode, Resource, tên File trong NTFS cũng là Unicode Tuy nhiên để tăng tUnh tương thUch Windows NT vẫn ca các hàm API

để xử lu ku tự mã 8-Bit Windows NT 5.0 hỗ trợ hơn 100 ngôn ngữ khác nhau trong đa ca cả tiếng Việt Ngược lại, Windows 9.x không lấy Unicode làm nền tảng nội tại trong hệ điều hành, tuy nhiên Win9.x lại ca 1 số hàm hỗ trợ cho việc

xử lu và hiển thị mã Unicode

Muốn sử dụng được Unicode cần phải có những phần mềm hỗ trợ hiển thị hoặc cho phép gõ ku tự theo chuẩn Unicode, ngoài ra cũng cần phải có Font chữ Unicode được cài đặt trong hệ thống

Hiện nay trong môi trường Windows, bộ MS Office 2000 (Word, Excel, Powerpoint ) hỗ trợ rất tốt bộ mã Unicode Trong môi trường Mạng Internet Expolore 5.0 cũng cho phép hiển thị các trang Web được thiết kế theo chuẩn Unicode

Để khắc phục tình trạng không thống nhất về font dạng, dự án đã tiến hành chuyển đổi mã font chữ: hiện tại đây là cầu nối các chương trình tiếng Việt

với nhau VietSpell là công cụ có thể chuyển các văn bản soạn dạng text từ nhiều

hệ sang mã UNICODE Đây là tiện ích khá mạnh, VietSpell có thể chuyển đổi văn bản soạn thảo bằng Winword giữ nguyên được các thuộc tính trang trí và các định dạng font

b Bước 2: Định dạng cho các dữ liệu toàn văn khi tiến hành nhập liệu

* Format định dạng: Định dạng được áp dụng cho các dữ liệu được xây

dựng trên format *.doc

+ Trường hợp nội dung văn bản có các bảng, biểu không được làm thành các phụ lục riêng thì văn bản có thể được trình bày theo chiều rộng của trang giấy (định hướng bản in theo chiều rộng)

- Định lề trang văn bản (đối với khổ giấy A4)

+ Trang mặt trước: Lề trên: cách mép trên từ 20-25 mm;

- Số hoá số liệu, báo cáo chuyên đề

- Chuyển đổi format để lưư trữ

c Bước 3: Chuyển đổi khuôn dạng tài liệu số hoá (tài liệu văn bản điện tử toàn văn) để lưu trữ và quản lý

Do hầu hết các tài liệu trên được sử dụng công cụ soạn thảo văn bản dựa trên phần mềm Microsoft Word, Microsoft excel và một số tài liệu điện tử được tạo lập

và lưu trữ dưới khuôn dạng tài liệu *.txt của Micrsoft Tuy nhiên để sử dụng và trao đổi những khuôn dạng này có một số nhược điểm sau:

- Tài liệu lưu trữ và trao đổi dưới dạng format *.doc và một số dạng format khác dễ dàng bị thay đổi nội dung, không có khả năng xác thực nguồn gốc tạo lập

- Các tài liệu dưới dạng format *.doc và *.txt… thường chứa các các thông tin ẩn, các macro khả năng lây nhiễm virus là rất lớn do đó không nên dùng các tài liệu có các format trên để lữu trữ, trao đổi với các hệ thống khác (trừ khi các tài liệu đó đang được luân chuyển trong nội bộ cơ quan đơn vị để hoàn thiện và xử lý

- Việc sử dụng khuôn dạng có format *.doc đòi hỏi phải tuân thủ quy trình soạn thảo, số hoá và lữu trữ chuẩn đây là một việc khó khăn cho việc lưu trữ và triển khai ở các bước tiếp theo của dự án

Với các lý do trên, việc chọn dạng tài liệu có khuôn dạng *.doc để lưu trữ

và trao đổi là không phù hợp Dự án đã lựa chọn sử dụng format để lưu trữ và trao đổi đó là format PDF (Portable Document Format)

Lưu trữ và trao đổi bằng Format PDF có các ưu điểm sau:

- Tài liệu có khuôn dạng PDF có thể được hình thành dễ dàng từ các tài liệu

ở khuôn dạng *.doc chuyển đổi và định dạng như tài liệu gốc

- Tài liệu dưới dạng các hình ảnh đặc thù cũng có thể lưu trữ ở khuôn dạng

- Tài liệu dưới dạng *.PDF rất dễ sử dụng và xuất ra máy in

II.2 Xử lý tài liệu toàn văn và số liệu được lưu giữ trên giấy

a Phân loại tài liệu

Trong các tài liệu toàn văn lưu giữ trên giấy được tổng hợp chủ yếu ở các dạng:

- Dạng báo cáo dưới dạng ký tự

- Các sơ đồ, biểu đồ mầu và đen trắng

- Hình ảnh minh hoạ

- Bảng biểu số liệu

Việc phân loại cụ thể từng loại tài liệu nhằm lựa chọn phương pháp xử lý cho phù hợp

b Xử lý số hoá tài liệu

• Để xử lý, số hoá và các tài liệu được lưu giữ trên giấy thì có thể tiến hành bằng hai phương pháp sau

- Phương pháp thứ nhất: Quét hình – scanning cho ra sản phẩm số hoá ở dạng hình ảnh Phương pháp này được áp dụng cho những tài liệu đặc thù cần được giữ nguyên dạng và những tài liệu khó mã hoá hoặc chuyển đổi

- Phương pháp thứ hai: Cho ra một sản phẩm dạng số hoá văn bản bằng cách

mã hoá các ký tự trên các phần mềm chuyên dụng

Đối với các tài liệu có đầy đủ cả 2 dạng là ký tự và hình ảnh hoặc các ký tự đặc biệt như các tài liệu có trong dự án thì cần áp dụng đồng thời cả 2 phương pháp trên và được thực hiện theo các bước sau

+ Bước 1: Tiến hành Quét hình – scanning

Để tiến hành quét hình - scanning, tiến hành phân tách những tài liệu cần được giữ nguyên dạng gốc bao gồm: Các sơ đồ, bản đồ; Biểu đồ; Ảnh cảnh quan; Ảnh phẫu diện đất Các dữ liệu trên được xử lý quét và lưu giữ dưới dạng ảnh, dữ liệu ảnh quét được thống nhất theo khuôn dạng: Độ phân giải: 200 – 300 dpi; Format định dạng ảnh: *.jpg, *.tif; Chất lượng: Rõ nét, chính xác, toàn cảnh (đầy đủ)

+ Bước 2: Số hoá văn bản

Đối với các tài liệu toàn văn ở dạng ký tự (chữ thông thường), sử dụng phần mềm soạn thảo văn bản để tiến hành nhập liệu theo khuôn dạng đã được thống nhất gồm: Format định dạng: *.doc; Định dạng trang văn bản theo các tiêu chí:

Khổ giấy: Văn bản được trình bày trên giấy khổ A4 (210 mm x 297 mm) Kiểu trình bày: Văn bản trình bày theo chiều dài của trang giấy khổ A4 Định lề trang văn bản

+ Bước 3: Tổng hợp chuyển đổi định dạng

Tổ hợp 2 dạng dữ liệu ký tự đã mã hoá và ảnh quét trên về một format thống nhất và chuyển đổi định dạng về format *.PDF theo quy trình giống như đối với việc xử lý dữ liệu toàn văn ở dạng số

• Hệ điều hành: Sử dụng Hệ điều hành Windows

• Phần mềm nền tảng: Microsoft NET Framework v1.1

c Vận hành

• Hệ thống chứa khối lượng thông tin rất lớn (bao gồm cả phần đồ họa và thuộc tính) Vấn đề an toàn và bảo mật dữ liệu cần được quân tâm Các biện pháp đảm bảo an toàn dữ liệu nhằm giải quyết các vấn đề sau:

- Tính tin cậy của dữ liệu: Đảm bảo dữ liệu được lưu trữ trong hệ thống đúng là dữ liệu đã được dưa vào, không bị sửa đổi thay thế, không mâu thuẫn giữa các khối thông tin khác

- Tính bảo mật: Đảm bảo khả năng phân cấp truy cập dữ liệu, người không

đủ thẩm quyền không được phép truy cập vào dữ liệu mình không được phép

- Tính kịp thời: Dữ liệu luôn sẵn sàng để truy cập bất kỳ khi nào có yêu cầu

• Các biện pháp áp dụng để đảm bảo an toàn và bảo mật dữ liệu:

- Biện pháp an toàn vật lý:

+ Hệ thống được bố trí ở những nơi có các thiết bị chống nóng, chống ẩm,

+ Đảm bảo các quy định quản lý và sử dụng máy móc, thiết bị

- Biện pháp an toàn hệ thống:

+ Hệ thống: Thực hiện bảo trì về Hệ điều hành, Cơ sở dữ liệu, Anti

Virus,

+ Bảo đảm việc sao lưu dữ liệu và hệ thống

+ Phần mềm: bảo trì và nâng cấp hệ thống (khi có yêu cầu)

- Biện pháp bảo mật dữ liệu: Được thực hiện cho hệ thống CSDL là phương

pháp xây dựng tầng mã hóa, phân quyền truy cập đến mức dữ liệu Xây dựng tầng

mã hoá có hai giải pháp được triển khai là:

+ Bảo vệ dữ liệu trong CSDL ở mức độ tập tin, chống lại sự truy cập trái phép vào các tập tin CSDL bằng hình thức mã hóa, giải pháp này được áp dụng đối với những tài liệu đơn giản và không cần mức độ bảo mật cao.giải pháp này không cung cấp mức độ bảo mật truy cập đến CSDL ở mức độ bảng (table), cột (column)

và dòng (row)

+ Mã hóa cấp tập tin ở mức ứng dụng Giải pháp này xử lý mã hóa dữ liệu trước khi truyền dữ liệu vào CSDL Những vấn đề về quản lý khóa và quyền truy cập được hỗ trợ bởi ứng dụng Truy vấn dữ liệu đến CSDL sẽ trả kết quả dữ liệu ở dạng mã hóa và dữ liệu này sẽ được giải mã bởi ứng dụng Giải pháp này giải quyết được vấn đề phân tách quyền an ninh và hỗ trợ các chính sách an ninh dựa trên vai trò (Role Based Access Control – RBAC)

- Biện pháp Đăng ký quyền truy nhập với người sử dụng

I.2 Chức năng của hệ thống

• Chức năng chuẩn hóa dữ liệu

- Chuẩn hóa dữ liệu về cùng một khuôn dạng thống nhất (Do dữ liệu

của các format khác nhau về cùng khuôn dạng dữ liệu (CAD, MapInfo, ArcView…))

- Chuyển đổi hệ tọa độ nếu dữ liệu chưa được chuyển về hệ tọa độ

Quốc gia VN – 2000

- Chuyển dữ liệu đã được chuẩn hóa vào cơ sở dữ liệu

- Biên tập và nhập dữ liệu cho các dữ liệu sau khi đã được chuẩn hóa

(tuyên bố đối tượng, nhập dữ liệu thuộc tính nếu chưa có hoặc chưa đầy đủ)

- Quản lý phiên bản dữ liệu

• Chức năng quản lý dữ liệu

- Quản lý dữ liệu thống nhất nhằm đảm bảo tính thống nhất của toàn bộ

hệ thống và an toàn dữ liệu (Do dữ liệu dung lượng lớn và phức tạp)

- Sao lưu khôi phục dữ liệu và chuyển đổi cơ sở dữ liệu từ cơ sở dữ liệu

này sang dạng khác khi có yêu cầu

- Quản lý người sử dụng, cấp quyền khai thác hệ thống

• Chức năng phối dữ liệu

- Phân phối dưới nhiều hình thức và với nhiều phương tiện trao đổi để thuận tiện cho người sử dụng

o Phân phối dữ liệu nguồn trích từ cơ sở dữ liệu bằng phần mềm quản lý

o Phân phối dưới dạng các CD

II phÇn mÒm qu¶n lý c¬ së d÷ liÖu

II.1 Các đặc điểm công nghệ và tính năng ưu việt của phần mềm

a Đặc điểm công nghệ

Ngôn ngữ lập trình: Phần mềm được thiết kế trên cơ sở Mapobjects bằng ngôn ngữ C#, cơ sở dữ liệu Microsoft Office Access, chạy trên môi trường

Windows XP chạy trên môi trường máy đơn lẻ

Một ưu thế của phần mềm là khả năng tiếp cận và sử dụng dữ liệu ở nhiều định dạng, từ hệ thống dữ liệu, đồng thời quản lý dữ liệu cơ sở đảm bảo lưu trữ toàn bộ dữ liệu với đầy đủ khuôn dạng đối với dữ liệu không gian và dữ liệu toàn văn , lưu trữ nguyên vẹn dữ liệu không gian với các thông số như hệ toạ độ không gian lập thể, các lớp, metadata, topology

Phần mềm có các công cụ quản trị mạnh và có chức năng đa dạng hỗ trợ tối

đa cho người dùng Chương trình được thiết kế với rất nhiều chức năng tìm kiếm

đa dạng giúp người dùng có thể tìm kiếm nhanh những thông tin cần tìm kiếm Phấn mềm sử dụng kết hợp kỹ thuật Push(đẩy) và Pull (kéo) dữ liệu trong việc quản lý đa tiến trình làm cho hệ thống vận hành tốc độ cao, tối ưu việc sử dụng tài nguyên và đảm bảo độ ổn định

Giao diện sử dụng kỹ thuật AJAX thân thiện dễ sử dụng

Hỗ trợ tiếng Việt đầy đủ theo chuẩn Unicode

b Các tính năng

- Phần mềm thiết lập có thể quản lý dữ liệu bao gồm dữ liệu không gian (bản đồ) và phi không gian (cơ sở dữ liệu)

- Là công cụ tích hợp và khai thác dữ liệu bản đồ 2D, 3D, dữ liệu ảnh và các

dữ liệu dưới dạng Document

- Khả năng quản lý dữ liệu dung lượng lớn

- Tốc độ xem và cập nhật theo thời gian thực, truy xuất nhanh và hiệu quả

- Nhiều chức năng cao cấp và cung cấp công cụ tìm kiếm, khai thác rất hiệu quả

- Tương thích với các nhiều loại fomat file

- Có thể đơn giản hóa tất cả những công đoạn phức tạp của sản phẩm để

người sử dụng có thể sử dụng dễ dàng và tiết kiệm thời gian lao động

- Giảm thiểu tối đa nhu cầu về dung lượng của đĩa cứng để có thể sử dụng rộng rãi

- Tính năng sắp xếp: giúp người dùng sắp xếp dữ liệu theo nhiều tiêu chí, cho phép dễ dàng phân loại dữ liệu và tổ chức thành các CSDL theo yêu cầu

- Hiển thị các báo cáo, bản đồ theo yêu cầu của người sử dụng