Quy Trình Xây Dựng Cơ Sở Dữ Liệu Tài Nguyên Nước

* Phân tích, đánh giá, xử lý nguồn dữ liệu thu thập được

Các dữ liệu sau khi tiến hành thu thập sẽ được phân nhóm loại dữ liệu thành các gói dữ liệu sau:

+ Dữ liệu về khí tượng, thủy văn.

+ Dữ liệu về nguồn tài nguyên.

+ Dữ liệu về thủy lợi, thủy điện.

Tiếp theo, các dữ liệu dạng bản đồ sẽ gồm dữ liệu số và giấy: phân nhóm dữ liệu tương tự như trên. Sau khi phân loại dữ liệu sẽ tiến hành rà soát, cập nhật thêm dữ liệu mới nhất và tiến hành biên tập, xử lý các dữ liệu đó.

2.1.3. Chuẩn hóa dữ liệu

Chuẩn hóa cơ sở dữ liệu là một phương pháp khoa học để phân tách (scientific method of breaking down) một bảng có cấu trúc phức tạp (complex table structures) thành những bảng có cấu trúc đơn giản (simple table structures) theo những quy luật đảm bảo (certain rule) không làm mất thông tin dữ liệu; kết quả thu được sẽ làm giảm bớt sự dư thừa và loại bỏ những sự cố mâu thuẫn về dữ liệu, tiết kiệm được không gian lưu trữ. Một số dạng chuẩn hóa dữ liệu thông dụng là:

- First Normal Form (1NF): dạng chuẩn 1 nếu và chỉ nếu toàn bộ các thuộc tính đều mang giá trị đơn.

Có thể bạn quan tâm!

Xem toàn bộ 180 trang tài liệu này.

- Second Normal Form (2NF): dạng chuẩn 2 mọi thuộc không khóa đều phụ thuộc đầy đủ vào khóa.

- Third Normal Form (3NF): dạng chuẩn 3 phải đạt chuẩn 2 và mọi thuộc không khóa không phụ thuộc bắc cầu vào thuộc tính khóa.

- Boyce - Codd Normal Form (BCNF): nếu mọi hàm đều phụ thuộc.

Chuẩn hóa cơ sở dữ liệu cần sử dụng phần mềm chuẩn hóa và chuyển đổi dữ liệu sao cho phải đảm bảo khi chuyển đổi vào CSDL phải nguyên dạng

và chuyển đổi tự động. Cần chú ý các yêu cầu sau về chuẩn hóa các lớp đối tượng không gian trong bản đồ số:

- Chuẩn về bộ mã font chữ nhập thông tin thuộc tính cho các đối tượng trong cơ sở dữ liệu: theo bộ mã tiêu chuẩn Việt nam TCVN 6909. Bộ mã tiêu chuẩn TCVN 6909 định nghĩa chuẩn mã hóa tiếng Việt như là một tập con của bộ mã Unicode.

- Chuẩn quan hệ đối tượng không gian: các đối tượng không gian trong cơ sở dữ liệu phải đảm bảo các nguyên tắc sau:

+ Các đối tượng được xác định từ đường biên giới, địa giới của mỗi xã trở vào trong;

+ Không chồng đè đối tượng trong cùng một lớp;

+ Không trùng lặp đối tượng trong cùng một lớp;

+ Thửa đất (khoanh đất) và các đối tượng chiếm đất nhưng không tạo thành thửa đất trên mỗi bản đồ phải đảm bảo luật Topology trong quy phạm bản đồ địa chính và quy phạm bản đồ hiện trạng sử dụng đất.

- Tiếp biên đối tượng trong quá trình chuẩn hóa và tích hợp CSDL:

+ Tiếp biên thửa đất, đối tượng chiếm đất nhưng không tạo thành thửa đất giữa các mảnh bản đồ địa chính trong cùng một đơn vị hành chính và giữa các đơn vị hành chính giáp nhau;

+ Tiếp biên các đối tượng có kiểu dữ liệu đường (Line hoặc linestring) như địa giới hành chính, lòng đường, cầu, đường mép nước… trong một đơn vị hành chính và giữa các đơn vị hành chính giáp nhau;

+ Các yếu tố nội dung bản đồ cùng tỷ lệ sau khi tiếp biên phải khớp với nhau cả về định tính và định lượng (nội dung, lực nét, màu sắc và thuộc tính);

+ Thông tin thuộc tính đối tượng phải thống nhất theo tuyến trong một đơn vị hành chính và giữa các đơn vị hành chính với nhau. (Ví dụ tên đường).

2.2. QUY TRÌNH XÂY DỰNG CƠ SỞ DỮ LIỆU TÀI NGUYÊN NƯỚC

Quy trình xây dựng CSDL tài nguyên nước được thể hiện qua sơ đồ:

Hình 2.1.Sơ đồ quy trình xây dựng CSDL tài nguyên nước

2.2.1. Rà soát, phân tích nội dung thông tin dữ liệu

- Rà soát, đánh giá và phân loại chi tiết dữ liệu đã được chuẩn hóa và chưa được chuẩn hóa và chuẩn bị dữ liệu mẫu.

- Xác định các danh mục, đối tượng quản lý, các thông tin chi tiết cho

từng đối tượng, các quan hệ giữa các đối tượng, các tài liệu quét và tài liệu dạng giấy cần nhập vào CSDL, xác định các khung danh mục dữ liệu trong CSDL và các yếu tố ảnh hưởng đến việc xây dựng CSDL.

- Sản phẩm là các danh mục đối tượng quản lý và các thông tin chi tiết (danh mục ĐTQL, các thông tin chi tiết cho từng đối tượng quản lý, các quan hệ và các yếu tố ảnh hưởng đến việc xây dựng cơ sở dữ liệu).

2.2.2. Thiết kế mô hình cơ sở dữ liệu

- Thiết kế mô hình danh mục dữ liệu (data catalogue), siêu dữ liệu (Metadata) theo chuẩn dữ liệu dựa trên kết quả rà soát, phân tích.

- Thiết kế mô hình cơ sở dữ liệu dựa trên kết quả rà soát, phân tích. Sau đó nhập dữ liệu mẫu để kiểm tra mô hình CSDL.

- Sản phẩm là mô hình CSDL, mô hình danh mục dữ lieu, siêu dữ liệu dưới dạng XML.

2.2.3. Tạo lập dữ liệu cho danh mục dữ liệu, siêu dữ liệu

- Tạo lập nội dung dữ liệu cho danh mục dữ liệu, siêu dữ liệu dựa trên kết quả rà soát, phân tích và thiết kế.

- Sản phẩm là CSDL danh mục dữ liệu, siêu dữ liệu đã nhập đủ nội dung.

2.2.4. Tạo lập dữ liệu cho cơ sở dữ liệu

* Chuyển đổi dữ liệu

- Mục đích: chuyển đổi dữ liệu dạng số (không gian và phi không gian) đã được chuẩn hóa vào cơ sở dữ liệu.

- Các bước thực hiện:

+ Đối với dữ liệu không gian dạng số chưa chuẩn hóa thì việc chuẩn hóa dữ liệu được thực hiện theo quy định chung trước khi thực hiện chuyển đổi vào cơ sở dữ liệu (biên tập bản đồ, chuyển đổi hệ tọa độ...).

+ Đối với dữ liệu phi không gian dạng số chưa được chuẩn hóa:

Chuẩn hóa phông chữ theo tiêu chuẩn TCVN 6909 (nếu có).

Chuẩn hóa dữ liệu phi không gian theo thiết kế mô hình cơ sở dữ liệu.

+ Chuyển đổi dữ liệu dạng số đã chuẩn hóa vào cơ sở dữ liệu.

- Sản phẩm:

+ Dữ liệu dạng số trước khi chuyển đổi.

+ Dữ liệu phi không gian trước khi chuẩn hóa.

+ Cơ sở dữ liệu đã được chuyển đổi.

* Quét (chụp) tài liệu: sản phẩm là danh mục các tài liệu quét và đã được đính kèm vào các lớp, bảng dữ liệu của các đối tượng quản lý.

* Nhập, đối soát dữ liệu

- Mục đích: Nhập, đối soát các dữ liệu từ dạng giấy vào cơ sở dữ liệu đã được thiết kế. Dữ liệu sau khi nhập vào cơ sở dữ liệu phải được đối chiếu kiểm soát để đảm bảo tính chính xác dữ liệu.

- Các bước thực hiện:

+ Đối với các dữ liệu không gian dạng giấy: số hóa theo quy định chuyên ngành sau đó thực hiện bước “chuyển đổi dữ liệu”.

+ Đối với nhập dữ liệu dạng giấy (phi không gian):

Nhập dữ liệu có cấu trúc cho đối tượng phi không gian. Nhập dữ liệu có cấu trúc cho đối tượng không gian.

Nhập dữ liệu phi cấu trúc cho đối tượng phi không gian. Nhập dữ liệu phi cấu trúc cho đối tượng không gian.

+ Đối soát dữ liệu:

Dữ liệu có cấu trúc đã nhập cho đối tượng phi không gian. Dữ liệu có cấu trúc đã nhập cho đối tượng không gian.

Dữ liệu phi cấu trúc đã nhập cho đối tượng phi không gian. Dữ liệu phi cấu trúc đã nhập cho đối tượng không gian.

- Sản phẩm:

+ Dữ liệu dạng giấy dùng để nhập dữ liệu (được lưu trữ ở đơn vị thi công phục vụ kiểm tra, nghiệm thu của chủ đầu tư khi có yêu cầu).

+ Báo cáo đối soát và các vấn đề phát sinh trong quá trình nhập dữ liệu.

+ Cơ sở dữ liệu đã được nhập đầy đủ nội dung.

+ Danh mục dữ liệu để cung cấp, khai thác, sử dụng phục vụ yêu cầu quản lý nhà nước.

2.2.5. Biên tập dữ liệu

- Mục đích: biên tập cơ sở dữ liệu theo quy định.

- Các bước thực hiện:

+ Đối với dữ liệu không gian: Tuyên bố đối tượng.

Sửa lỗi tương quan của dữ liệu không gian (topology).

+ Đối với dữ liệu phi không gian: hiệu đính nội dung.

+ Trình bày hiển thị dữ liệu không gian.

- Sản phẩm:

+ Cơ sở dữ liệu đã được biên tập.

+ File trình bày hiển thị dữ liệu không gian.

2.2.6. Kiểm tra sản phẩm

- Mục đích: kiểm tra cơ sở dữ liệu đã được tạo lập đảm bảo tính đầy đủ chính xác, phù hợp với nội dung đã được phê duyệt.

- Các bước thực hiện:

+ Kiểm tra mô hình cơ sở dữ liệu.

+ Kiểm tra nội dung cơ sở dữ liệu: Kiểm tra dữ liệu không gian.

Kiểm tra dữ liệu phi không gian.

+ Kiểm tra danh mục dữ liệu, siêu dữ liệu.

2.3. XÂY DỰNG CƠ SỞ DỮ LIỆU TÀI NGUYÊN NƯỚC BẰNG PHẦN MỀM ARCGIS

2.3.1. Cấu trúc nội dung của cơ sở dữ liệu

2.3.1.1. Khái quát chung về cấu trúc nội dung của cơ sở dữ liệu

Cấu trúc CSDL tài nguyên nước được thiết kế theo “Khung cơ sở thông tin địa lý phục vụ quản lý tổng hợp đới bờ”12 và “Thông tư số 16/2009 TT/BTNMT Quy định Quy chuẩn kỹ thuật Quốc gia về Môi trường”13. Nội dung của CSDL tài nguyên nước sẽ chú trọng vào các loại dữ liệu tập hợp thành các nhóm chính như sau:

- Loại dữ liệu về khí tượng thủy văn gồm: mưa, nhiệt độ, bốc hơi, độ ẩm gió, nắng; lưu lượng, mực nước. Tất cả các loại số liệu này được lưu trữ theo thời gian theo các bước thời gian như giờ, ngày, tháng, năm… và được lập dưới dạng bảng. Ngoài ra, các số liệu liên quan đến vị trí các trạm khí tượng thủy văn như vị trí, các chức năng hiện hữu… số liệu này có thể liên kết với các bản đồ số.

- Loại dữ liệu về chất lượng nước: loại số liệu này ngoài các số liệu về vị trí của các trạm đo, các số liệu khác cần thiết như: mặn, phù sa, chất hữu cơ chất dinh dưỡng, vi sinh, phân hủy động vật, kim loại nặng, chất khoáng trong nước, phèn, chất độc hại.

- Các loại dữ liệu về công trình thủy lợi: công trình hồ đập, cống, đê giếng, kênh, nhà máy thủy điện, trạm bơm. Và chúng được phân nhóm các chức năng nhiệm vụ như: thủy điện, cấp nước, tưới tiêu, phòng lũ, giao thông thủy, thủy sản, du lịch và tổng hợp.

2.3.1.2. Nguyên tắc chung cơ sở dữ liệu tài nguyên nước

Mô hình cấu trúc CSDL tài nguyên nước tuân theo các nguyên tắc sau:

- Cơ sở dữ liệu tài nguyên nước là tập hợp các thông tin có cấu trúc dữ liệu về tài nguyên nước được sắp xếp, tổ chức để truy cập, khai thác, quản lý và cập nhật thường xuyên bằng phương tiện điện tử;

- Cơ sở dữ liệu tài nguyên nước là thành phần cơ bản của cơ sở dữ liệu tài nguyên môi trường;

- Cơ sở dữ liệu tài nguyên nước có cấu trúc phù hợp với cấu trúc tổng thể của cơ sở dữ liệu tài nguyên môi trường và các cơ sở dữ liệu thành phần;

- Dữ liệu thuộc tính của cơ sở dữ liệu tài nguyên nước được lưu trữ và hiển thị theo bộ mã tiêu chuẩn Việt Nam TCVN 6909. Bộ mã tiêu chuẩn này định nghĩa chuẩn mã hóa tiếng Việt như là một tập con của bộ mã Unicode.

- Cơ sở dữ liệu tài nguyên nước thiết kế theo mô hình cơ sở dữ liệu không gian. Công nghệ ArcGIS của hãng Esri (Mỹ) được sử dụng để thiết kế lưu trữ và quản trị cơ sở dữ liệu tài nguyên nước;

2.3.1.3. Cơ sở khoa học khi xây dựng CSDL tài nguyên nước

Cơ sở khoa học hình thành nên CSDL là theo các chuẩn, chuẩn thông tin địa lý được hiểu là hệ thống các tiêu chuẩn về cách thức, quy định cách mô tả cách biểu thị, cách xây dựng cơ sở dữ liệu từ nhận thức thế giới thực đến cơ sở dữ liệu địa lý được lưu trữ theo cấu trúc, khuôn dạng nào đó.

Chuẩn thông tin địa lý được thiết kế nhằm chuẩn hóa các hoạt động:

- Xây dựng dữ liệu địa lý theo các mục tiêu đã đặt ra.

- Trao đổi và chia sẻ dữ liệu địa lý.

- Cập nhật dữ liệu địa lý.

- Xây dựng các hệ thống ứng dụng.

Hiện nay, tổ chức chuẩn hóa quốc tế ISO (International Organization for tandardization) đã thành lập ủy ban kỹ thuật 211 về thông tin địa lý để xây dựng chuẩn thông tin địa lý. Tại Việt Nam, Bộ Tài nguyên và Môi trường đã