ĐỀ TÀI: XÂY DỰNG HỆ THỐNG THỬ NGHIỆM DỰ BÁO MỰC NƯỚC TRÊN NỀN TẢNG WEBGIS BẰNG MƠ HÌNH MẠNG NƠRON NHÂN TẠO HỒI TIẾP

a Định nghĩa về GIS Từ năm 1980 đến nay đã có rất nhiều các định nghĩa được đưa ra về hệ thống thông tin địa lý GIS, tuy nhiên không có định nghĩa nào khái quát đầy đủ về GIS vì phần lớn

VIỆN HÀN LÂM KHOA HỌC VÀ CÔNG NGHỆ VIỆT NAM

VIỆN CƠ HỌC -

BÁO CÁO KẾT QUẢ THỰC HIỆN ĐỀ TÀI CƠ SỞ

CẤP VIỆN CƠ HỌC NĂM 2019

ĐỀ TÀI XÂY DỰNG HỆ THỐNG THỬ NGHIỆM DỰ BÁO MỰC NƯỚC TRÊN NỀN TẢNG WEBGIS BẰNG

MÔ HÌNH MẠNG NƠRON NHÂN TẠO HỒI TIẾP

Chủ nhiệm Đề tài: TS Nguyễn Chính Kiên

HÀ NỘI – 2019

DANH SÁCH CÁN BỘ THAM GIA THỰC HIỆN ĐỀ TÀI

1 TS Nguyễn Chính Kiên Thủy động lực và Giảm nhẹ thiên

tai trong lưu vực

2 TS Nguyễn Tiến Cường Thủy động lực và Giảm nhẹ thiên

tai trong lưu vực

3 ThS Dương Thị Thanh Hương Thủy động lực và Giảm nhẹ thiên

tai trong lưu vực

4 ThS Nguyễn Tuấn Anh Thủy động lực và Giảm nhẹ thiên

tai trong lưu vực

5 PGS TS Trần Thu Hà Thủy động lực và Giảm nhẹ thiên

tai trong lưu vực

6 ThS Nguyễn Hồng Phong Thủy động lực và Giảm nhẹ thiên

tai trong lưu vực

7 TS Nguyễn Thành Đôn Thủy động lực và Giảm nhẹ thiên

tai trong lưu vực

8 CN Trần Thị Thanh Huyền Thủy động lực và Giảm nhẹ thiên

tai trong lưu vực

MỤC LỤC

DANH MỤC KÝ HIỆU, CHỮ VIẾT TẮT THƯỜNG SỬ DỤNG iii

DANH MỤC CÁC BẢNG iv

DANH MỤC CÁC HÌNH VẼ VÀ ĐỒ THỊ v

MỞ ĐẦU 1

CHƯƠNG I: MÔ HÌNH MẠNG THẦN KINH NHÂN TẠO HỒI TIẾP, WEBGIS VÀ CƠ SỞ DỮ LIỆU 3

1.1 Mạng thần kinh nhân tạo hồi tiếp 3

1.1.1 Khái niệm về mạng thần kinh nhân tạo 3

1.1.2 Khái niệm mạng nơron nhân tạo hồi tiếp 4

1.2 Giới thiệu về WebGIS 12

1.2.1 Khái niệm 12

1.2.2 Đặc điểm của một hệ thống WebGIS 17

1.2.3 Khả năng ứng dụng WebGIS 18

1.3 Cơ sở dữ liệu 18

1.3.1 Lựa chọn hệ quản trị cơ sở dữ liệu 19

1.3.2 Quy trình thiết kế cơ sở dữ liệu 21

CHƯƠNG II: XÂY DỰNG HỆ THỐNG DỰ BÁO 25

2.1 Mođun tính bằng mạng thần kinh nhân tạo hồi tiếp 25

2.1.1 Sơ đồ khối 25

2.1.2 Giao diện hiển thị kết quả tính toán bằng mođun mạng thần kinh nhân tạo 26

2.2 Xây dựng cơ sở dữ liệu về thông tin khí tượng thuỷ văn 27

2.2.1 Thiết kế cơ sở dữ liệu 27

2.2.2 Nhập dữ liệu vào cơ sở dữ liệu 36

2.2.3 Thống kê kết quả nhập liệu lên cơ sở dữ liệu 37

2.3 Xây dựng hệ thống thông tin địa lý trực tuyến WebGIS 40

2.3.1 Phương pháp xử lý dữ liệu bản đồ và kết quả 40

2.3.2 Hệ thống thông tin địa lý trực tuyến 44

2.4 Xây dựng hệ thống dự báo 46

2.4.1 Cấu trúc của hệ thống dự báo 46

2.4.2 Giao diện của hệ thống dự báo 48

2.4.3 Kỹ thuật hỗ trợ 51

CHƯƠNG III: THỬ NGHIỆM HỆ THỐNG DỰ BÁO CHO MỘT SỐ LƯU VỰC 52

3.1 Kết quả dự báo mực nước đồng bằng châu thổ sông Hồng 52

3.2 Kết quả dự báo mực nước cho lưu vực sông Tích – Bùi 58

3.3 Kết quả dự báo mực nước cho lưu vực sông Tam Kỳ 63

KẾT LUẬN VÀ KIẾN NGHỊ 67

TÀI LIỆU THAM KHẢO 68

DANH MỤC KÝ HIỆU, CHỮ VIẾT TẮT THƯỜNG SỬ DỤNG

ANN Artificial Nơron Network - mạng thần kinh nhân tạo

GA Genetic Algorithm - Giải thuật Di truyền

BP Backpropagation - Giải thuật Lan truyền ngược sai số

LSTMs Long Short Term Memory Networks – Bộ nhớ dài hạn RNNs Recurrent Neural Networks - Mạng nơron nhân tạo hồi tiếp

NSE Chỉ số đánh giá Nash-Sutcliffe

DANH MỤC CÁC BẢNG

Bảng 2.1: Cấu trúc bảng dữ liệu lưu vực sông 27

Bảng 2.2: Cấu trúc bảng dữ liệu đê 28

Bảng 2.3: Cấu trúc bảng dữ liệu sông 29

Bảng 2.4: Cấu trúc bảng dữ liệu công trình 29

Bảng 2.5: Cấu trúc bảng dữ liệu mặt cắt sông 30

Bảng 2.6: Cấu trúc bảng dữ liệu độ ẩm 30

Bảng 2.7: Cấu trúc bảng dữ liệu lưu lượng 31

Bảng 2.8: Cấu trúc bảng dữ liệu lượng mưa 32

Bảng 2.9: Cấu trúc bảng dữ liệu độ mặn 32

Bảng 2.10: Cấu trúc bảng dữ liệu nhiệt độ 33

Bảng 2.11: Cấu trúc bảng dữ liệu mực nước 33

Bảng 2.12: Cấu trúc bảng dữ liệu trạm thủy văn 34

Bảng 2.13: Bảng thống kê dữ liệu được nhập vào hệ thống cơ sở dữ liệu 37

Bảng 3.1: Bảng chỉ số NSE các phương án tính cho đồng bằng châu thổ sông Hồng 57

Bảng 3.2: Bảng chỉ số NSE các phương án tính cho lưu vực sông Tích Bùi 62

DANH MỤC CÁC HÌNH VẼ VÀ ĐỒ THỊ

Hình 1.1: Nơron nhân tạo 3

Hình 1.2: Cấu trúc nơron hồi tiếp 5

Hình 1.3: Mô hình mạng nơron hồi tiếp 5

Hình 1.4: Mạng nơron hồi tiếp có chứa một vòng lặp 5

Hình 1.5: Tách vòng lặp mạng nơron hồi tiếp 6

Hình 1.6: Phụ thuộc dữ liệu các lớp gần kề 6

Hình 1.7: Phụ thuộc dữ liệu các lớp không thể ước lượng phía trước 6

Hình 1.8: Mođun lặp lại trong 1 RNNs chuẩn chứa 1 lớp đơn 7

Hình 1.9: Mođun lặp lại trong 1 LSTMs chứa 4 lớp tương tác 7

Hình 1.10: Định hướng phát triển của khoa học GIS 12

Hình 1.11: Các thành phần của GIS 13

Hình 1.12: Kiến trúc 3 tầng của một hệ thống WebGIS 15

Hình 1.13: Thông tin vào/ra quy trình thiết kế cơ sở dữ liệu 22

Hình 1.14: Quy trình thiết kế cơ sở dữ liệu 22

Hình 2.1: Sơ đồ thuật toán mô hình mạng thần kinh nhân tạo LSTMs 25

Hình 2.2: Giao diện hiển thị kết quả tính toán bằng mođun mạng thần kinh nhân tạo và số liệu thực đo 26

Hình 2.3: Nhập dữ liệu mực nước vào hệ quản trị CSDL 36

Hình 2.4: Bản đồ lưu vực sông toàn lãnh thổ Việt Nam 38

Hình 2.5: Bản đồ cao độ một phần vùng châu thổ sông Hồng 39

Hình 2.6: Bản đồ đường giao thông 39

Hình 2.7: Bản đồ chia ô vùng đồng bằng châu thổ sông Hồng 41

Hình 2.8: Bản đồ chia ô ruộng lưu vực Tích Bùi 42

Hình 2.9: Bản đồ chia ô ruộng lưu vực Tam Kỳ 43

Hình 2.10: Bản đồ mạng lưới trạm trên toàn lãnh thổ Việt Nam 44

Hình 2.11: Bản đồ các lưu vực sông trên hệ thống thông tin địa lý trực tuyến 45

Hình 2.12: Danh sách các lưu vực sông trên hệ thống thông tin địa lý 45

Hình 2.13: Các trạm có sự tác động đến trạm thủy văn Hà Nội 46

Hình 2.14: Sơ đồ hoạt động hệ thống dự báo trực tuyến 47

Hình 2.15: Giao diện hiển thị các hệ thống sông Việt Nam 48

Hình 2.16: Bản đồ WebGIS vùng đồng bằng châu thổ sông Hồng 49

Hình 2.17: Bản đồ WebGIS lưu vực sông Tích – Bùi 50

Hình 2.18: Bản đồ WebGIS lưu vực sông Tam Kỳ 50

Hình 3.1: Vị trí địa lý vùng đồng bằng châu thổ sông Hồng – Thái Bình 53

Hình 3.2: Bản đồ vùng đồng bằng châu thổ sông Hồng 54

Hình 3.3: Đồ thị mực nước thực đo và dự báo trạm Hà Nội từ ngày 15/6/2015 đến 15/9/2015 55

Hình 3.4: Đồ thị mực nước thực đo và dự báo trạm Hà Nội từ ngày 15/6/2016 đến 15/9/2016 55

Hình 3.5: Đồ thị mực nước thực đo và dự báo trạm Hà Nội từ ngày 15/6/2017 đến 15/9/2017 56

Hình 3.6: Đồ thị mực nước thực đo và dự báo trạm Hà Nội từ ngày 15/6/2018 đến 15/9/2018 56

Hình 3.7: Đồ thị mực nước thực đo và dự báo trạm Hà Nội từ ngày 15/6/2019 đến 15/9/2019 57

Hình 3.8: Phạm vi nghiên cứu thuộc lưu vực sông Tích – Bùi 58

Hình 3.9: Bản đồ lưu vực sông Tích Bùi 59

Hình 3.10: Đồ thị mực nước thực đo và dự báo trạm Ba Thá từ ngày 15/6/2015 đến 15/9/2015 60

Hình 3.11: Đồ thị mực nước thực đo và dự báo tại trạm Ba Thá từ 15/6/2016 đến 15/9/2016 60

Hình 3.12: Đồ thị mực nước thực đo và dự báo tại trạm Ba Thá từ 15/6/2017 đến 15/9/2017 61

Hình 3.13: Đồ thị mực nước thực đo và dự báo tại trạm Ba Thá từ 15/6/2018 đến 15/9/2018 61

Hình 3.14: Đồ thị mực nước thực đo và dự báo tại trạm Ba Thá từ 15/6/2019 đến 15/9/2019 62

Hình 3.15: Phạm vi nghiên cứu của lưu vực sông Tam Kỳ 64

Hình 3.16: Bản đồ lưu vực sông Tam Kỳ 64 Hình 3.17: Đồ thị mực nước thực đo và dự báo tại trạm Tam Anh năm 2001 65 Hình 3.18: Đồ thị mực nước thực đo và dự báo tại trạm Tam Anh năm 2017 65

MỞ ĐẦU

1 Tính cấp thiết của đề tài

Trong những năm gần đây, các hiện tượng thiên tai xảy ra thường xuyên và có xu thế cực đoan hơn Việc đo đạc, dự báo, cảnh báo lũ lụt là một hoạt động hết sức quan trọng và có ý nghĩa thiết thực giúp cho các ngành sản xuất cũng như ổn định đời sống của người dân cả nước Dự báo thuỷ văn, thủy lực là công việc dự báo trước cho tương lai một cách có khoa học về trạng thái biến đổi các yếu tố thuỷ văn, tuy nhiên sự biến đổi này là một quá trình tự nhiên phức tạp, chịu tác động của rất nhiều yếu tố Tính biến động của các yếu tố này phụ thuộc vào cả không gian và thời gian nên gây khó khăn rất lớn cho quá trình dự báo, tìm ra được mối liên quan giữa các yếu tố Thêm vào đó, do thiếu các trạm quan trắc cần thiết và thiếu sự kết hợp giữa các ngành liên quan cho nên dữ liệu quan trắc thực tế thường là không đầy đủ, không mang tính chất đại diện

Hiện nay, có rất nhiều phương pháp dự báo đã được đưa ra dựa trên mô hình vật

lý và toán học, kết quả của các mô hình nói trên đã đạt được một số thành công đáng ghi nhận Tuy nhiên, các mô hình đều có những ưu và nhược điểm nhất định, vấn đề tìm kiếm phương pháp đủ tốt, đáp ứng các yêu cầu thực tế giải quyết bài toán

dự báo thuỷ văn, thủy lực vẫn là nội dung nghiên cứu thời sự hiện nay Một hướng tiếp cận mới bằng cách sử dụng mô hình mạng thần kinh nhân tạo hồi tiếp để dự báo các yếu tố thủy văn, thủy lực

Bên cạnh đó, cùng với sự phát triển của công nghệ đám mây, phương thức phát triển phần mềm đã có sự chuyển dịch từ hình thức cài đặt máy tính (SaaP - Software as

a Product) được chuyển lên nền tảng đám mây (SaaS - Software as a Service) So với SaaP, SaaS vượt trội hơn hẳn ở 4 điểm: người dùng truy cập được ở mọi nơi, mọi thiết bị; có thể mở rộng nâng cấp linh hoạt theo nhu cầu (tính toán + ứng dụng); người dùng (nhà quản lý + nhà khoa học + người sử dụng kết quả) cộng tác với nhau trên cùng một môi trường và quy trình triển khai dễ dàng nhanh chóng Hệ thống được xây dựng dưới dạng trực tuyến nhằm cung cấp thông tin cho người dùng mọi nơi, mọi lúc bằng nhiều loại thiết bị khác nhau và các kết quả đầu ra được hiển thị trực quan qua các biểu đồ và bản đồ GIS

2 Mục đích nghiên cứu

- Mạng nơron nhân tạo hồi tiếp, cơ sở dữ liệu và WebGIS,

- Xây dựng hệ thống thử nghiệm dự báo mực nước trên nền tảng WebGIS

3 Phương pháp nghiên cứu

- Phân tích, thống kê và tính toán các tư liệu thu thập được,

- Mô hình hóa bài toán dự báo bằng việc xây dựng hệ thống dự báo trực tuyến trên nền WebGIS bằng ngôn ngữ C#

CHƯƠNG I

MÔ HÌNH MẠNG THẦN KINH NHÂN TẠO HỒI TIẾP,

WEBGIS VÀ CƠ SỞ DỮ LIỆU

1.1 Mạng thần kinh nhân tạo hồi tiếp

1.1.1 Khái niệm về mạng thần kinh nhân tạo[5]

Mạng nơron nhân tạo, Artificial Neural Network (ANN) gọi tắt là mạng nơron, là một mô hình xử lý thông tin phỏng theo cách thức xử lý thông tin của các hệ nơron sinh học Nó được tạo nên từ một số lượng lớn các phần tử (gọi là phần tử xử lý hay nơron) kết nối với nhau thông qua các liên kết (gọi là trọng số liên kết) làm việc như một thể thống nhất để giải quyết một vấn đề cụ thể nào đó

Một nơron là một đơn vị xử lý thông tin và là thành phần cơ bản của một mạng nơron Cấu trúc của một nơron được mô tả ở hình 1.1 bên dưới đây:

Hình 1.1: Nơron nhân tạo

Các thành phần cơ bản của một nơron nhân tạo bao gồm:

- Tập các đầu vào: Là các tín hiệu vào (input signals) của nơron, các tín hiệu này thường được đưa vào dưới dạng một vec-tơ m chiều

- Tập các liên kết: Mỗi liên kết được thể hiện bởi một trọng số (gọi là trọng số liên kết – Synaptic weight) Trọng số liên kết giữa tín hiệu vào thứ j với nơron

k thường được kí hiệu là wjk Thông thường, các trọng số này được khởi tạo một cách ngẫu nhiên ở thời điểm khởi tạo mạng và được cập nhật liên tục trong quá trình học mạng

- Bộ tổng (Summing function): Thường dùng để tính tổng của tích các đầu vào với trọng số liên kết của nó Ngưỡng (còn gọi là một độ lệch - bias): Ngưỡng này thường được đưa vào như một thành phần của hàm truyền

- Hàm truyền (Transfer function) – còn gọi là Hàm kích hoạt (Activation function): Hàm này được dùng để giới hạn phạm vi đầu ra của mỗi nơron

Nó nhận đầu vào là kết quả của hàm tổng và ngưỡng đã cho Thông thường, phạm vi đầu ra của mỗi nơron được giới hạn trong đoạn [0,1] hoặc [-1, 1] Các hàm truyền rất đa dạng được liệt kê trong bảng 1.1, có thể là các hàm tuyến tính hoặc phi tuyến Việc lựa chọn hàm truyền nào là tuỳ thuộc vào từng bài toán và kinh nghiệm của người thiết kế mạng

- Đầu ra: Là tín hiệu đầu ra của một nơron, với mỗi nơron sẽ có tối đa là một đầu ra

Như vậy tương tự như nơron sinh học, nơron nhân tạo cũng nhận các tín hiệu đầu vào, xử lý (nhân các tín hiệu này với trọng số liên kết, tính tổng các tích thu được rồi gửi kết quả tới hàm truyền), và cho một tín hiệu đầu ra (là kết quả của hàm truyền)

1.1.2 Khái niệm mạng nơron nhân tạo hồi tiếp

* Mạng nơron hồi tiếp RNNs

Mạng nơron nhân tạo được xây dựng để mô phỏng lại cách hoạt động của bộ não con người Đối với mạng nơron thông thường, mỗi sự kiện đầu vào x được xử lý một

cách độc lập và đưa ra đầu ra y tương ứng mà không có sự trao đổi thông tin thu thập

được tại mỗi đầu vào x trong mạng

Tuy nhiên, bộ não con người hoạt động một cách phức tạp hơn thế nhiều với sự kết hợp của nhiều dạng thông tin và sự kiện với nhau để đưa ra kết luận cuối cùng Bộ não lưu giữ những thông tin trong quá khứ và sử dụng chúng để xử lý những thông tin đang tiếp nhận Đây là một quá trình phức tạp mà những mạng nơron bình thường không thể mô phỏng lại được

Mạng nơron nhân tạo hồi tiếp (Recurrent Neural Networks - RNNs) ra đời nhằm

mô tả quá trình liên kết các sự kiện đó Một trong những yêu cầu khi xây dựng RNNs là dựa trên ý tưởng rằng chúng có thể kết nối thông tin trước với nhiệm vụ hiện tại, bằng việc sử dụng các hàm trễ lưu trữ dữ liệu trong khoảng thời gian nhất định

Hình 1.2: Cấu trúc nơron hồi tiếp

Hình 1.3: Mô hình mạng nơron hồi tiếp

Mạng nơron hồi tiếp là một mạng nơron có chứa một vòng lặp bên trong nó

Hình 1.4: Mạng nơron hồi tiếp có chứa một vòng lặp

Trong hình trên, A là mạng nơron hồi tiếp Nó nhận một đầu vào x t , tiến hành xử

lý và đưa ra đầu ra h t Điểm đặc biệt của A là nó sẽ lưu lại giá trị của h t để sử dụng cho

đầu vào tiếp theo

Có thể coi một mạng nơron hồi tiếp là một chuỗi những mạng con giống hệt nhau, mỗi mạng sẽ truyền thông tin nó vừa xử lý cho mạng phía sau nó Nếu ta tách từng vòng

lặp xử lý trong A ra thành từng mạng con theo cách suy nghĩ như trên thì ta sẽ có một

mạng có kiến trúc như sau:

Hình 1.5: Tách vòng lặp mạng nơron hồi tiếp

Chuỗi lặp lại các mạng này chính là phân giải của mạng nơron hồi tiếp, các vòng lặp khiến chúng tạo thành một chuỗi danh sách các mạng sao chép nhau Chuỗi lặp của mạng nơron hồi tiếp vẫn nhận đầu vào và có đầu ra giống với mạng nơron thông thường

* Vấn đề phụ thuộc lâu dài

Hình 1.7: Phụ thuộc dữ liệu các lớp không thể ước lượng phía trước

* Mạng LSTMs

LSTMs (Long Short Term Memory Networks) được giới thiệu bởi Hochreiter & Schmidhuber (1997), sau đó đã được cải tiến và phổ biến bởi rất nhiều người trong ngành Chúng hoạt động cực kì hiệu quả trên nhiều bài toán khác nhau nên dần đã trở nên phổ biến như hiện nay

LSTMs được thiết kế để tránh được vấn đề độ dài phụ thuộc (long-term dependency) Việc nhớ thông tin trong suốt thời gian dài là đặc tính mặc định của chúng, chứ ta không cần phải huấn luyện nó để có thể nhớ được Tức là ngay nội tại của nó đã có thể ghi nhớ được

mà không cần bất kì can thiệp nào

Mọi mạng hồi tiếp đều có dạng là một chuỗi các mođun lặp đi lặp lại của mạng nơron truyền thống Với mạng RNNs chuẩn, các mođun này có cấu trúc rất đơn giản, thường là một tầng hàm kích hoạt tanh

Hình 1.8: Mođun lặp lại trong 1 RNNs chuẩn chứa 1 lớp đơn

LSTMs cũng có kiến trúc dạng chuỗi như vậy, nhưng các mođun trong nó có cấu trúc khác với mạng RNNs chuẩn Thay vì chỉ có một tầng mạng nơron, chúng có tới 4 tầng tương tác với nhau một cách rất đặc biệt

Hình 1.9: Mođun lặp lại trong 1 LSTMs chứa 4 lớp tương tác

Ở sơ đồ trên, mỗi một đường mang một véc-tơ từ đầu ra của một nút tới đầu vào của một nút khác Các hình tròn biểu diễn các phép toán như phép cộng véc-tơ, nhân liên hợp, còn các chữ nhật được biểu thị các hàm kích hoạt trong từng nơron Các đường hợp nhau kí hiệu việc kết hợp, còn các đường rẽ nhánh ám chỉ nội dung của nó được sao chép và chuyển tới các nơi khác nhau

LSTMs có khả năng bỏ đi hoặc thêm vào các thông tin cần thiết cho trạng thái tế bào, chúng được điều chỉnh cẩn thận bởi các nhóm được gọi là cổng (gate)

Các cổng là nơi sàng lọc thông tin đi qua nó, chúng được kết hợp bởi một tầng mạng sigmoid và một phép nhân

Tầng sigmoid sẽ cho đầu ra là một số trong khoảng [0, 1], mô tả có bao nhiêu thông tin có thể được thông qua Khi đầu ra là 0 thì có nghĩa là không cho thông tin nào qua

cả, trong khi đầu ra là 1 thì có nghĩa là cho tất cả các thông tin đi qua nó

Một LSTMs gồm có 3 cổng như vậy để duy trì và điều hành trạng thái của tế bào

* Bên trong của LSTMs

Bước đầu tiên của LSTMs là quyết định xem thông tin nào cần bỏ đi từ trạng thái

tế bào Quyết định này được đưa ra bởi tầng sigmoid gọi là “tầng cổng quên” (forget gate layer) Nó sẽ lấy đầu vào là ht-1 và xt rồi đưa ra kết quả là một số trong khoảng [0,

1] cho mỗi số trong trạng thái tế bào Ct-1 Đầu ra là 1 thể hiện rằng nó giữ toàn bộ thông tin lại, còn 0 chỉ rằng toàn bộ thông tin sẽ bị bỏ đi

Bước tiếp theo là quyết định xem thông tin mới nào ta sẽ lưu vào trạng thái tế bào Việc này gồm 2 phần Đầu tiên là sử dụng một tầng sigmoid được gọi là “tầng cổng vào” (input gate layer) để quyết định giá trị nào ta sẽ cập nhật Tiếp theo là một tầng tanh tạo ra một véc-tơ cho giá trị mới Čt nhằm thêm vào cho trạng thái Trong bước tiếp theo,

ta sẽ kết hợp 2 giá trị đó lại để tạo ra một cập nhập cho trạng thái

Giờ là lúc cập nhập trạng thái tế bào cũ Ct-1 thành trạng thái mới Ct Ở các bước trước đó đã quyết định những việc cần làm, nên giờ ta chỉ cần thực hiện là xong

Ta sẽ nhân trạng thái cũ với f t để bỏ đi những thông tin ta quyết định quên lúc

trước Sau đó cộng thêm i t∗Čt Trạng thái mới thu được này phụ thuộc vào việc ta quyết định cập nhập mỗi giá trị trạng thái ra sao

Cuối cùng, ta cần quyết định xem ta muốn đầu ra là gì Giá trị đầu ra sẽ dựa vào trạng thái tế bào, nhưng sẽ được tiếp tục sàng lọc Đầu tiên, ta chạy một tầng sigmoid

để quyết định phần nào của trạng thái tế bào ta muốn xuất ra Sau đó, ta đưa nó trạng thái tế bào qua một hàm kích hoạt tanh để có giá trị nó về khoảng [-1, 1], và nhân nó với đầu ra của cổng sigmoid để được giá trị đầu ra ta mong muốn

* Các biến thể của bộ nhớ dài hạn

Những đặc tính vừa mô tả ở trên là của một LSTMs bình thường, tuy nhiên không phải tất cả các LTSMs đều giống như vậy Thực tế, các bài báo về LTSMs đều sử dụng một phiên bản hơi khác so với mô hình LTSMs chuẩn Sự khác nhau không lớn, nhưng chúng giúp giải quyết phần nào đó trong cấu trúc của LTSMs

Một dạng LTSMs phổ biến được giới thiệu bởi Gers & Schmidhuber (2000) được thêm các đường kết nối “peephole connections”, làm cho các tầng cổng nhận được giá trị đầu vào là trạng thái tế bào

Hình trên mô tả các đường được thêm vào mọi cổng, nhưng cũng có những bài báo chỉ thêm cho một vài cổng mà thôi

Một biến thể khác là nối 2 cổng loại trừ và đầu vào với nhau Thay vì phân tách các quyết định thông tin loại trừ và thông tin mới thêm vào, ta sẽ quyết định chúng cùng với nhau luôn Ta chỉ bỏ đi thông tin khi mà ta thay thế nó bằng thông tin mới đưa vào

Ta chỉ đưa thông tin mới vào khi ta bỏ thông tin cũ nào đó đi

Một biến thể khá thú vị khác của LSTMs là Gated Recurrent Unit, hay GRU được giới thiệu bởi Cho, et al (2014) Nó kết hợp các cổng loại trừ và đầu vào thành một cổng

“cổng cập nhật” (update gate) Nó cũng hợp trạng thái tế bào và trạng thái ẩn với nhau tạo ra một thay đổi khác Kết quả là mô hình của ta sẽ đơn giản hơn mô hình LSTMs chuẩn và ngày càng trở nên phổ biến

Trên đây chỉ là một vài biến thế được chú ý nhiều nhất, thực tế có rất nhiều các biến thể khác nhau của LSTMs như Depth Gated RNNs của Yao, et al (2015) Cũng có những biến thể mà chiến lược xử lý phụ thuộc xa hoàn toàn khác như Clockwork RNNs của Koutnik, et al (2014)

Greff, et al (2015) phân tích nhiều biến thể của mạng LSTMs và so sánh cũng như đưa ra các biến thể tốt nhất cho các bài toán khác nhau Ngoài ra, Jozefowicz, et al (2015) thậm chí còn thử hàng chục nghìn kiến trúc RNNs khác nhau và tìm ra một vài

mô hình LSTMs tốt nhất cho một số loại bài toán

1.2 Giới thiệu về WebGIS

1.2.1 Khái niệm

Thông tin đóng một vai trò then chốt trong lịch sử phát triển xã hội loài người Thông tin địa lý, thông tin về vị trí và thuộc tính của các sự vật, sự kiện trong thế giới thực, ngày càng khẳng định tầm quan trọng trong nhiều lĩnh vực Phân tích và xử lý thông tin luôn là vấn đề quan tâm lớn của toàn xã hội Các kết quả phân tích và xử lý thông tin là tiền đề duy nhất cho công tác ra quyết định

Hình 1.10 : Định hướng phát triển của khoa học GIS

Hệ thống thông tin địa lý - GIS (Geographic Information System) ra đời cùngvới sự phát triển của công nghệ máy tính và bắt đầu vào những thập niên 60 GIS làmột công cụ hỗ trợ công tác thu thập, tổ chức lưu trữ dữ liệu địa lý, phân tích và xử lýthông tin địa lý một cách hiệu quả và nhanh chóng Từ khi ra đời GIS đã được nhiềungành, nhiều quốc gia quan tâm nghiên cứu và ứng dụng GIS ngày càng được pháttriển mạnh mẽ với nhiều ứng dụng phong phú trong nhiều lĩnh vực như quản lý tàinguyên thiên nhiên, giám sát môi trường, quản lý đất đai, quy hoạch phát triển kinh tế

xã hội, phục vụ an ninh quốc phòng

Cùng với sự phát triển và mở rộng các ứng dụng trong GIS, khoa học GIS(Geographic Information Science) cũng đã định hướng và phát triển thành một ngànhkhoa học độc lập Bên cạnh đó, với nhu cầu chia sẻ và sử dụng thông tin GIS, dịch vụGIS (Geographic Information Service) cũng đã được hình thành

a) Định nghĩa về GIS

Từ năm 1980 đến nay đã có rất nhiều các định nghĩa được đưa ra về hệ thống thông tin địa lý (GIS), tuy nhiên không có định nghĩa nào khái quát đầy đủ về GIS vì phần lớn chúng đều được xây dựng trên các khía cạnh cụ thể từ ứng dụng, từ chức năng, từ quan điểm hệ thống thông tin… song ta có thể định nghĩa chung rằng:

- Hệ thống thông tin địa lý có những khả năng của một hệ thống máy tính (phần cứng, phần mềm và các thiết bị ngoại vi) dùng để nhập, lưu trữ, truy vấn, xử lý, phân tích và hiển thị hoặc xuất dữ liệu

- Xét trên nhiều góc độ khác nhau, GIS đã làm thay đổi sâu sắc phương thức quản trị dữ liệu và những tiếp cận phân tích dữ liệu

b) Các thành phần của GIS

Hình 1.11 : Các thành phần của GIS

- Thiết bị (hardware) gồm: hệ thống máy tính (Server, Workstation); hệ thống mạng máy tính (LAN, WAN, internet); các thiết bị ngoại vi (GPSs, survey devices, scanners, printers, plotters,…)

- Phần mềm (software): là tập hợp các câu lệnh, chỉ thị nhằm điều khiển phần cứng của máy tính thực hiện một nhiệm vụ xác định, phần mềm hệ thống thông tin địa

lý có thể là một hoặc tổ hợp các phần mềm máy tính Phần mềm được sử dụng trong kỹ thuật GIS phải bao gồm các tính năng cơ bản sau: nhập và kiểm tra dữ liệu (Data input); lưu trữ và quản lý CSDL (Geographic database); xuất dữ liệu (Display and reporting); biến đổi dữ liệu (Data transformation); truy vấn và phân tích (Query and Analysis)

- Chuyên viên (expertise): Đây là một trong những hợp phần quan trọng của công nghệ GIS, đòi hỏi những chuyên viên hướng dẫn sử dụng hệ thống để thực hiện các chức năng phân tích và xử lý các số liệu Đòi hỏi phải thông thạo về việc lựa

chọn các công cụ GIS để sử dụng, có kiến thức về các số liệu đang được sử dụng

và thông hiểu các tiến trình đang và sẽ thực hiện

- Số liệu, dữ liệu địa lý (geographic data): Số liệu được sử dụng trong GIS không chỉ là số liệu địa lý (geo-referenced data) riêng lẻ mà còn phải được thiết kế trong một CSDL (database) Những thông tin địa lý có nghĩa là sẽ bao gồm các dữ kiện

về vị trí địa lý, thuộc tính (attributes) của đối tượng, mối liên hệ không gian (spatial relationships) của các thông tin, và thời gian Có 2 dạng số liệu được sử dụng trong kỹ thuật GIS là:

+ Dữ liệu không gian: là những mô tả hình ảnh bản đồ được số hoá theo một khuôn dạng nhất định mà máy tính hiểu được Hệ thống thông tin địa lý dùng CSDL này để xuất ra các bản đồ trên màn hình hoặc ra các thiết bị ngoại vi khác như máy in, máy vẽ

+ Dữ liệu thuộc tính (Attribute): được trình bày dưới dạng các ký tự hoặc số, hoặc ký hiệu để mô tả các thuộc tính của các thông tin thuộc về địa lý

- Chính sách và quản lý (policy and management): Ðây là thành phần rất quan trọng để đảm bảo khả năng hoạt động của hệ thống, là yếu tố quyết định sự thành công của việc phát triển công nghệ GIS Hệ thống GIS cần được điều hành bởi một bộ phận quản lý, bộ phận này phải được tổ chức vận hành hệ thống GIS một cách có hiệu quả Để hoạt động thành công, hệ thống GIS phải được đặt trong 1 khung tổ chức phù hợp và có những hướng dẫn cần thiết để quản lý, thu thập, lưu trữ và phân tích số liệu, đồng thời có khả năng phát triển được hệ thống GIS theo nhu cầu

c) Định nghĩa và cấu trúc của WebGIS

Ngày nay Hệ thống thông tin địa lý (GIS – Geographic Information System) đã phát triển rất mạnh, nó được ứng dụng vào rất nhiều ngành và lĩnh vực khác nhau như trong quân sự, dự báo thời tiết, bản đồ tìm đường đi, bản đồ địa chất, khoáng sản,… Cùng với sự bùng nổ của mạng internet toàn cầu và phần cứng máy tính, GIS đã phát triển công nghệ cho phép chia sẻ các thông tin qua mạng, người sử dụng ở khắp mọi nơi trên thế giới đều có thể sử dụng các ứng dụng này thông qua internet Vì vậy mà ứng dụng WebGIS đã ra đời là tất yếu của sự phát triển từ sự kết hợp ứng dụng các công nghệ

* Định nghĩa

Theo định nghĩa do tổ chức bản đồ thế giới (Cartophy) đưa ra thì WebGIS được xem như là một hệ thống thông tin địa lý được phân bố qua môi trường mạng máy tính để tích hợp, phân phối và truyền tải thông tin địa lý trực tiếp trên Internet WebGIS là xu hướng phổ biến thông tin mạnh mẽ trên Internet không chỉ dưới góc

độ thông tin thuộc tính thuần túy mà nó kết hợp được với thông tin không gian hữu ích cho người sử dụng WebGIS được xem là một hệ thống thông tin địa lý được phân bố qua các môi trường mạng máy tính để tích hợp, phân phối và truyền tải thông tin địa lý trực tuyến thông qua Internet Người dùng Internet có thể truy cập đến các ứng dụng của GIS mà không phải mua phần mềm Ngoài ra, WebGIS còn cho phép thêm các chức năng của GIS trong các ứng dụng về quản lý, tra cứu thông tin…của giao thông, du lịch, hành chính, nông nghiệp, môi trường, v.v

Do đó WebGIS được hiểu là sự kết hợp giữa mạng Internet và công nghệ GIS mà hình thành nên, WebGIS là hệ thống thông tin địa lý phân tán trên một mạng các máy tính để tích hợp, trao đổi các thông tin địa lý trên mạng Internet

Một hệ thống thông tin địa lý được phân tán trên một mạng các máy tính để tích hợp, trao đổi thông tin địa lý trên mạng Internet được gọi là WebGIS WebGIS có tiềm năng lớn trong công việc làm cho thông tin địa lý trở nên hữu dụng và sẵn sàng tới số lượng lớn người sử dụng trên thế giới Với việc sử dụng bản đồ trực tuyến, giải pháp này sẽ giúp khách hàng có thể cập nhật dữ liệu lên bản đồ để phục vụ cho mục đích quản

lý

* Cấu trúc của hệ thống WebGIS

Hình 1.12: Kiến trúc 3 tầng của một hệ thống WebGIS

Trong cách thực hiện nhiệm vụ phân tích GIS, dịch vụ này gần giống như là kiến trúc Client-Server (khách-chủ) của ứng dụng Web trên mạng Internet Xử lý thông tin

Map Server

CSDL

địa lý được chia ra thành các nhiệm vụ ở phía server (chủ) và phía client (khách) Điều này cho phép người dùng có thể truy xuất, thao tác và nhận kết quả từ việc khai thác dữ liệu GIS từ trình duyệt Web của họ mà không phải trả tiền cho phần mềm GIS cần phải cài đặt trên máy tính của họ trong một hệ thống truyền thống Một client (khách) tiêu biểu là trình duyệt web và server (máy chủ) bao gồm một WebServer có cung cấp một chương trình phần mềm WebGIS Client (khách) thường yêu cầu một ảnh bản đồ hay vài xử lý thông tin địa lý qua Web đến server (chủ) ở xa Server (chủ) chuyển đổi yêu cầu thành mã nội bộ và gọi những chức năng về GIS bằng cách chuyển tiếp yêu cầu tới phần mềm WebGIS Phần mềm này trả về kết quả, sau đó kết quả này được định dạng lại cho việc trình bày bởi trình duyệt Server sau đó trả về kết quả cho client (khách) để hiển thị, hoặc gửi dữ liệu và các công cụ phân tích đến client để dùng ở phía client (khách)

Có thể thấy rằng công nghệ WebGIS có tiềm năng lớn trong việc làm cho thông tin địa lý trở nên hữu dụng và sẵn sàng tới số lượng lớn người dùng trên toàn thế giới và ứng dụng của WebGIS có thể tạo ra một hệ thống có khả năng chạy được trên bất kì trình duyệt web của bất kì máy tính nào nối mạng Internet Quá trình hoạt động của WebGIS được minh họa trong hình 1.12 như sau:

- Người dùng sử dụng trình duyệt web ở phía client (khách)

- Client (khách) gửi yêu cầu của người sử dụng đến WebServer (máy chủ Web) qua giao thức HTTP

- WebServer nhận yêu cầu của người dùng, nếu là yêu cầu về bản đồ thì WebServer sẽ chuyển tiếp nó đến ứng dụng server tương ứng ở đây là MapServer (máy chủ bản đồ)

- MapServer sẽ nhận các yêu cầu cụ thể, gọi các hàm có liên quan để tính toán

xử lý Nếu có yêu cầu về dữ liệu MapServer sẽ gửi yêu cầu tới cơ sở dữ liệu

- Kết quả sẽ được gửi về Client và hiển thị trên trình duyệt Với quy trình hoạt động như vậy hệ thống WebGIS có thể đáp ứng những nhu cầu của người sử dụng đó là:

+ Khả năng phân phối thông tin địa lý rộng rãi trên toàn cầu, cho phép phổ biến quản lý và cung cấp thông tin nhanh chóng hiệu quả

+ Người dùng Internet có thể truy cập đến các ứng dụng GIS mà không phải mua phần mềm, giúp tiết kiệm chi phí cho người sử dụng

+ Đối với phần lớn người dùng không có kinh nghiệm về GIS thì việc sử dụng WebGIS sẽ đơn giản hơn so với việc sử dụng các ứng dụng GIS khác

1.2.2 Đặc điểm của một hệ thống WebGIS

* Cho phép quản lý nhiều bản đồ

- Người dùng có thể chọn và mở bất kỳ một bản đồ, chương bản đồ nào nằm trong CSDL Có thể bật, tắt các lớp, nhóm các lớp thông tin và xem định nghĩa hiển thị lớp, thanh tỷ lệ của một bản đồ

- Thực hiện các thao tác phóng to, thu nhỏ, dịch chuyển, hỏi đáp, tìm kiếm

- Cho phép chọn lọc, tìm kiếm thông tin

- Đo khoảng cách các đối tượng

- Xem thông tin thuộc tính và không gian của một đối tượng

- Tìm kiếm đối tượng trên bản đồ

* Cho phép cập nhật thông tin

- Cập nhật trực tiếp các thông tin thuộc tính của một đối tượng trên trang Web

- Cập nhật các thông tin không gian trên trang Web

- Thêm mới một điểm, một đường, một polyline hay polygon, nhằm phục vụ cho các mục đích thu thập số liệu, điều tra theo dõi trên diện rộng

- Đồng thời người dùng cũng có thể xoá bỏ trực tiếp các đối tượng trên bản đồ bằng một thao tác đơn giản ngay trên giao diện Web

- Khi cần cập nhật, thay đổi thông tin, hệ thống sẽ tự cập nhật và tạo nên biểu đồ tương ứng

* Quản trị hệ thống

- Phân quyền cho người dùng các cấp

- Tính bảo mật hệ thống cao, đảm bảo thông tin trong CSDL được an toàn

- Khả năng lưu vết của hệ thống, tự tạo ra các log file

1.2.3 Khả năng ứng dụng WebGIS

Trên thế giới công nghệ WebGIS đã được ứng dụng ở nhiều nơi và trong nhiều lĩnh vực khác nhau như: bản đồ trực tuyến quản lý đất đai, các bản đồ trực tuyến về cảnh báo thiên tai, lũ lụt

Tuy nhiên, việc sử dụng chưa đem lại hiệu quả cao, vẫn còn tồn tại một số hạn chế WebGIS đã cung cấp các chức năng khai thác thông tin cơ bản như quản lý người sử dụng, cung cấp những công cụ tương tác với bản đồ, tra cứu, tìm kiếm thông tin trên bản đồ nhưng còn hạn chế về cách thiết kế giao diện, hình ảnh bản đồ không được sắc nét sinh động, thiếu mỹ quan Có những WebGIS có rất nhiều lớp thông tin của bản đồ được đưa vào nhưng lại không khai thác được hết các thông tin này Do đó, lớp thông tin vừa cồng kềnh, làm tốc độ tải dữ liệu bị chậm không đem lại hiệu quả sử dụng Có những WebGIS thì chỉ có một vài lớp thông tin bản đồ trong khi các lớp thông tin này thì có nội dung quá sơ sài, thiếu cụ thể nên rất hạn chế trong việc sử dụng tra cứu thông tin

Tại Việt Nam mặc dù các hãng GIS nổi tiếng trên thế giới như ESRI, Intergraph, MapInfo đã vào thị trường trong nước từ khá lâu nhưng số lượng ứng dụng WebGIS trên Internet có được lại rất ít, chưa mang lại hiệu quả như mong muốn Hiện nay, công nghệ WebGIS vẫn còn ở dạng tiềm năng chưa phát triển ở Việt Nam Một số địa phương

đã sử dụng công nghệ này để công khai các thông tin trên bản đồ nhưng vẫn còn nhiều thiếu sót, hạn chế

Trong nghiên cứu này, tác giả sử dụng kết hợp WebGIS với mạng trí tuệ nhân tạo hồi tiếp phục vụ cho việc tính toán các yếu tố thủy lực theo thời gian và hiển thị kết quả trực quan sinh động trên nền bản đồ, giúp người sử dụng xem kết quả một cách nhanh chóng, thuận tiện và dễ dàng sử dụng cho nhiều đối tượng người dùng (nhà quản lý, nhà quy hoạch, cán bộ nghiên cứu, sinh viên…), cho nhiều mục đích sử dụng khác nhau

1.3 Cơ sở dữ liệu

Cơ sở dữ liệu là một hệ thống các thông tin có cấu trúc, được lưu trữ trên các thiết

bị lưu trữ nhằm thỏa mãn yêu cầu khai thác thông tin đồng thời của nhiều người sử dụng hay nhiều chương trình ứng dụng chạy cùng một lúc với những mục đích khác nhau Việc sử dụng hệ thống CSDL này sẽ khắc phục được những khuyết điểm của cách lưu trữ dưới dạng hệ thống tập tin, đó là:

- Giảm trùng lặp thông tin ở mức thấp nhất, đảm bảo tính nhất quán và toàn vẹn dữ liệu,

- Đảm bảo dữ liệu được truy xuất theo nhiều cách khác nhau, từ nhiều người khác nhau và nhiều ứng dụng khác nhau,

- Tăng khả năng chia sẻ thông tin

Tuy nhiên việc sử dụng hệ quản trị CSDL lại có những phiền hà không hề nhỏ sau đây:

- Phải đảm bảo tính chủ quyền của dữ liệu, vì khi sử dụng có tính chất chia sẻ cao,

- Bảo mật quyền khai thác thông tin,

- Bảo đảm vấn đề tranh chấp dữ liệu khi xảy ra,

- Khi gặp các trục trặc sự cố thì phải bảo đảm vấn đề an toàn dữ liệu, không bị mất dữ liệu

1.3.1 Lựa chọn hệ quản trị cơ sở dữ liệu

Việc xây dựng hệ thống lưu trữ và quản lý dữ liệu là hết sức cần thiết vì dữ liệu được đề tài thu thập từ nhiều nguồn khác nhau, từ nhiều định dạng khác nhau và phục

vụ cho nhiều mục đích truy cập sử dụng khác nhau cùng lúc của một số lượng lớn người dùng, cũng như cường độ truy xuất dữ liệu lớn phục vụ cho việc tính toán

Cơ sở dữ liệu của hệ thống là nguồn gốc tạo nên một hệ thống WebGIS quy mô về thông tin và khả năng khai thác các thông tin này Vì vậy việc lựa chọn công nghệ cho việc quản trị cơ sở dữ liệu cũng rất quan trọng và cần tính tới các yếu tố: dễ sử dụng, đảm bảo tính tin cậy, sẵn sàng cao, có khả năng chịu lỗi, khả năng nâng cấp mở rộng lớn Bên cạnh đó, vì dữ liệu được đề tài thu thập từ nhiều nguồn khác nhau, từ nhiều định dạng khác nhau và phục vụ cho nhiều mục đích truy cập sử dụng khác nhau cùng lúc của một số lượng lớn người dùng, cũng như cường độ truy xuất dữ liệu lớn phục vụ cho việc tính toán

Tiêu chuẩn để lựa chọn một cấu trúc CSDL hiệu quả liên quan đến vấn đề khai thác trong tương lai, bao gồm:

- Thời quan truy xuất dữ liệu đáp ứng cho một yêu cầu khai thác ?

- Thời gian phục hồi CSDL khi có sự cố ?

- Chi phí tổ chức và cài đặt CSDL ?

- Dễ bảo trì, nâng cấp, sửa đổi khi phát sinh những nhu cầu mới hay không ?

Đối với việc quản trị cơ sở dữ liệu cho hệ thống cũng có rất nhiều phần mềm ứng dụng mà thích hợp với MapServer như ArcSDE, My SQL, PostgreSQL, Oracle Spatial Sau đây điểm qua một số đặc tính của các hệ quản trị phổ biến:

a) Hệ quản trị cở dữ liệu MySQL

MySQL hỗ trợ nhiều nền tảng khác nhau bao gồm cả Microsoft Windows, các phiên bản Linux, UNIX, và Mac OS X MySQL có phiên bản miễn phí và trả phí dựa trên mục đích sử dụng (không thương mại/thương mại) và tính năng MySQL nhanh, đa luồng, đa người sử dụng, mạnh mẽ với database server

Một số tính năng nổi trội của hệ quản trị cơ sở dữ liệu MySQL như: Hiệu năng cao; Lợi ích lớn; Khả năng mở rộng và linh hoạt, có thể chạy ở bất cứ đâu; Hỗ trợ “giao dịch” mạnh mẽ; Tính bảo mật cao; Bao hàm phát triển ứng dụng; Quản lý dễ dàng; Giá thành rẻ; …

b) Hệ quản trị cở dữ liệu MS SQL Server

MS SQL Server là một RDBMS phát triển bởi Microsoft Ngôn ngữ truy vấn chính

là T-SQL và ANSI SQL

Một số tính năng nổi trội của hệ quản trị cơ sở dữ liệu MS SQL Server như sau: Hiệu năng cao; Có khả năng sử dụng lớn; Phản chiếu trung thực cơ sở dữ liệu; Lưu trữ nhanh trạng thái cơ sở dữ liệu; CLR integration; Service Broker; DDL triggers; Ranking functions; Row version-based isolation levels; XML integration; TRY…CATCH; Database Mail; …

c) Hệ quản trị cở dữ liệu ORACLE

Đây là hệ quản trị cơ sở dữ liệu chủ yếu được sử dụng trong các hệ thống lớn nhiều người dùng Oracle là hệ quản trị cơ sở dữ liệu quan hệ phát triển bởi ‘Oracle Corporation’ Oracle quản lý hiệu quả tài nguyên, thông tin của cơ sở dữ liệu, và xử lý tốt trong quá trình các client gửi yêu cầu và dữ liệu trong mạng Nó là sự lựa chọn tuyệt vời cho các hệ thống quản lý dữ liệu theo mô hình client/server Oracle hỗ trợ tất cả các

hệ điều hành lớn gồm cả client và server bao gồm Windows, Mac OS, BSD và đa số các phiên bản UNIX

Một số tính năng nổi trội của hệ quản trị cơ sở dữ liệu ORACLE như sau: Song song; Kỹ thuật khóa; Quiesce Database; Khả chuyển; Tự quản lý cơ sở dữ liệu; SQL*Plus; ASM; Scheduler; Resource Manager (quản lý tài nguyên); Data Warehousing (Kho chứa dữ liệu); Materialized views; Bitmap indexes; Table compression; Parallel Execution (thực thi song song); Analytic SQL; Data mining (khai phá dữ liệu); Partitioning; …

d) Hệ quản trị cơ sở dữ liệu MS ACCESS

Đây là một trong những sản phẩm của Microsoft Microsoft Access là phần mềm quản lý dữ liệu ở mức độ nhập MS Access là hệ quản trị cơ sở dữ liệu hoàn toàn phù hợp với các dự án nhỏ MS Access sử dụng Jet database engine, dùng ngôn ngữ SQL riêng (đôi khi được gọi là Jet SQL) MS Access đi cùng với gói MS Office MS Access

dễ dàng sử dụng bằng giao diện

Tính năng nổi trội của hệ quản trị cơ sở dữ liệu MS ACCESS như: Người dùng có thể tạo bảng, truy vấn, form và reports kết nối với nhau; Nhập và xuất dữ liệu với nhiều định dạng khác nhau như Excel, Outlook, ASCII, dBase, Paradox, FoxPro, SQL Server, Oracle, ODBC; …

e) Lựa chọn hệ quản trị cơ sở dữ liệu

Sau các phân tích và thử nghiệm, tác giả lựa chọn hệ quản trị CSDL Microsoft SQL Server 2017 là một hệ quản trị CSDL hiện đại, chạy được trên nhiều nền tảng hệ điều hành (kể cả Linux), đồng bộ với nền tảng xây dựng phần mềm đã chọn và bộ công

cụ phát triển, đáp ứng được các yêu cầu đề ra của hệ thống và có giải pháp mở rộng tận dụng dữ liệu dùng chung Microsoft SQL Server 2017 cho phép hàng ngàn người kết nối làm việc cùng một lúc, có khả năng trao đổi dữ liệu với các cơ sở dữ liệu khác, đảm bảo khả năng bảo mật Các cơ sở dữ liệu có có thể có kích cỡ lớn, có thể ứng dụng theo

mô hình kho dữ liệu

1.3.2 Quy trình thiết kế cơ sở dữ liệu

a) Thông tin vào/ra quy trình thiết kế

* Thông tin vào

(1) Yêu cầu về thông tin: Dùng CSDL cho vấn đề gì?

Xuất phát từ người sử dụng có nhu cầu và quan điểm như thế nào? Ta cần phải ghi nhận lại hết Ở đây chỉ giới hạn ở mức dữ liệu

(2) Yêu cầu về xử lý: Mỗi nhóm người sử dụng sẽ nêu ra các yêu cầu xử lý của riêng mình; Tần suất xử lý và khối lượng dữ liệu

(3) Đặc trưng kỹ thuật của hệ quản trị CSDL cần sử dụng để cài đặt CSDL

(4) Cấu hình thiết bị tin học gì để đáp ứng với (1), (2) và (3)

* Thông tin ra

(1) Cấu trúc quan niệm CSDL

(2) Cấu trúc Logic CSDL

(3) Cấu trúc Vật lý CSDL

Hình 1.13: Thông tin vào/ra quy trình thiết kế cơ sở dữ liệu

Hình 1.14: Quy trình thiết kế cơ sở dữ liệu

b) Quy trình thiết kế

* Giai đoạn phân tích nhu cầu

Đây là bước khó nhất trong quá trình thiết kế vì nó được thực hiện thông qua sự tiếp xúc giữa người thiết kế và người sử dụng Nội dung của giai đoạn này là:

Quy trình

Cơ sở dữ liệu

Cấu trúc quan niệm

CSDL Yêu cầu thông tin

Yêu cầu xử lý

Phần mềm

Phần cứng

Cấu trúc Vật lý CSDL

Cấu trúc Logic CSDL

Phân tích nhu cầu Bản đặc tả các nhu cầu Thiết kế quan niệm

Cấu trúc quan niệm

CSDL

Thiết kế logic Cấu trúc logic CSDL

Quy trình thiết kế CSDL

- Thu thập thông tin về dữ liệu và xử lý từ người sử dụng, từ các tài liệu, chứng

từ, biểu mẫu thống kê liên quan đến CSDL và cả những tài liệu của CSDL cũ (nếu có)

- Sau khi thu thập phải tổng hợp và phân tích những nhu cầu đó Kiểm tra xem

có những mâu thuẫn giữa các nhu cầu không?

- Kết quả là phải xác định cho được:

+ Mục tiêu sử dụng, khai thác

+ Nội dung, yêu cầu chi tiết cần thực hiện

- Thời gian đáp ứng và hình thức xử lý:

+ Khối lượng dữ liệu, tần suất khai thác

+ Yêu cầu về tính an toàn và bảo mật

* Giai đoạn thiết kế quan niệm

Xác định nội dung dữ liệu, mối quan hệ giữa các dữ liệu bên trong CSDL Chưa cần quan tâm cách cài đặt Phải xác định đúng và đầy đủ dữ liệu, loại bỏ các

mô hình liên quan đến 1 mảng Cuối cùng cần tích hợp các mô hình đó lại Khi tổng hợp, cần phải xác định tất cả các ràng buộc toàn vẹn và tạo ra từ điển dữ liệu

* Giai đoạn thiết kế logic

Đây là bước chuyển tiếp Đặc biệt cân nhắc dựa trên nhu cầu xử lý, nghiên cứu cách sử dụng dữ liệu thông qua xử lý

Các thông tin cần: Tần suất, khối lượng

Trong giai đoạn thiết kế quan niệm, dữ liệu cần loại bỏ những thông tin trùng lặp Nhưng ở giai đoạn thiết kế logic, cần phải cân nhắc, dựa trên hiệu quả xử lý, để quyết định có hay không có cài đặt thông tin trùng lắp

Cách thực hiện:

- Chọn cấu trúc logic gần với phần mềm sẽ sử dụng cài đặt CSDL

- Ở giai đoạn này, người ta thường thể hiện thông tin theo mô hình Quan hệ

* Giai đoạn thiết kế vật lý

Xây dựng một cấu trúc vật lý phụ thuộc vào phần mềm và cấu hình phần cứng mà

ta đã lựa chọn để cài đặt CSDL

Giai đoạn này, đơn giản hay phức tạp tùy thuộc vào đặc trưng kỹ thuật của phần mềm và phần cứng

Cách thực hiện như sau:

- Chọn lựa phần mềm phù hợp với độ phức tạp của dự án

- Chọn lựa cấu hình phần cứng

- Quyết định những vấn đề liên quan đến An toàn dữ liệu và phục hồi dữ liệu + An toàn dữ liệu: Ai được quyền truy xuất dữ liệu này?

+ Ai được quyền cập nhật dữ liệu này?

+ Phục hồi dữ liệu: Trong mọi sự cố làm hư hỏng dữ liệu, cần phân định

rõ các khối xử lý và lưu trữ tình trạng dữ liệu trước khi thực hiện 1 khối

xử lý, để phục hồi nếu có sự cố

- Cài đặt vật lý: Xác định

+ Danh mục quan hệ: Có thể gộp hay không gộp các quan hệ tùy thuộc vào mục đích Do đó, danh mục quan hệ trong giai đoạn này có thể khác với danh mục quan hệ trong các giai đoạn đầu

+ Danh mục chỉ mục quan hệ chính, phụ + Vị trí chứa đựng CSDL (trên cùng một Sector, 1 trang hay tùy ý) + Trong 1 trang vật lý chứa đựng được bao nhiêu Record

+ Xác định kích thước bộ nhớ để chứa đựng dữ liệu trong khi làm việc

CHƯƠNG II XÂY DỰNG HỆ THỐNG DỰ BÁO

2.1 Mođun tính bằng mạng thần kinh nhân tạo hồi tiếp

2.1.1 Sơ đồ khối

Hình 2.1: Sơ đồ thuật toán mô hình mạng thần kinh nhân tạo LSTMs

Thiết lập các giá trị đầu cho các tham

số (ma trận trọng số, trạng thái nơron

Tham số tối ưu

Dự báo tập dữ liệu tương lai

Tiêu chuẩn hội tụ

Sai

Đúng Bắt đầu

Kết thúc

Hiệu chỉnh các tham số bởi bởi kỹ thuật lan truyền ngược xuyên thời gian

(Back Propagation Through Time - BPTT)

Chi tiết các bước thực hiện đã được trình bày ở phần giới thiệu, tuy nhiên còn một

số kỹ thuật xử lý đã được trình bày chi tiết ở các đề tài trước đã từng được nhóm tác giả thực hiện cũng như không đi sâu trong khuôn khổ đề tài này

2.1.2 Giao diện hiển thị kết quả tính toán bằng mođun mạng thần kinh nhân tạo

Giao diện hiển thị kết quả tính toán bằng mođun mạng thần kinh nhân tạo hiển thị đường quá trình mực nước, mưa thực đo cùng với đường quá trình dự báo mực nước tương ứng của trạm

Dưới đây là giao diện hiển thị kết quả tính toán bằng mođun mạng thần kinh nhân tạo cho một số lưu vực:

Hình 2.2: Giao diện hiển thị kết quả tính toán bằng mođun mạng thần kinh nhân tạo

và số liệu thực đo

2.2 Xây dựng cơ sở dữ liệu về thông tin khí tượng thuỷ văn

2.2.1 Thiết kế cơ sở dữ liệu

Số liệu được thu thập từ nhiều nguồn, nhiều dạng khác nhau, sau đó được xử lý theo cấu trúc dữ liệu đầu vào của bộ cơ sở dữ liệu, có chứa đầy đủ các thông tin về lưu vực sông, các trạm đo (thủy văn và khí tượng), các công trình, số liệu mặt cắt, số liệu mưa, mực nước, lưu lượng Mỗi một yếu tố sẽ có một cấu trúc, các thuộc tính của bảng

cơ sở dữ liệu là khác nhau

Bộ cơ sở dữ liệu được xây dựng cho việc quản lý, sử dụng số liệu để tính toán các phương án một cách thuận tiện và nhanh chóng

Sau khi lựa chọn được hệ quản trị cơ sở dữ liệu Microsoft SQL Server 2017 để quản lý dữ liệu, tác giả tiến hành tổng hợp, phân tích dữ liệu đã thu thập được để thiết

kế cấu trúc của bảng CSDL

Cấu trúc các bảng dữ liệu mà tác giả lưu giữ trong hệ quản trị CSDL được thiết kế theo từng loại dữ liệu và được bố trí theo các trường thuộc tính như dưới đây:

a Cấu trúc bảng dữ liệu lưu vực sông

Bảng 2.1: Cấu trúc bảng dữ liệu lưu vực sông

STT Tên trường Loại dữ liệu Ghi chú

1 BasinID Integer Chỉ số của lưu vực

2 BasinName Text Tên lưu vực

5 BasinArea Real Diện tích lưu vực

6 BasinArea2 Real Diện tích lưu vực trong lãnh thổ VN

7 BasinStatus Integer Hiện trạng lưu vực

Trong đó:

- BasinID: Các lưu vực sông được sắp xếp và đánh số thứ tự tăng dần

- BasinName: Tên gọi của các lưu vực sông được đặt theo danh mục các lưu vực sông tại Việt Nam do nhà nước quy định

- BasinLong: Kinh độ tại vị trí trung tâm của lưu vực sông

- BasinLat: Vĩ độ tại vị trí trung tâm của lưu vực sông

- BasinArea: Tổng diện tích lưu vực sông, tính cả phần diện tích thuộc quốc tế đối với các lưu vực sông liên quốc gia

- BasinArea2: Là phần diện tích lưu vực nằm trong lãnh thổ nước Việt Nam

- BasinStatus: Hiện trạng của các lưu vực sông

+ 0: Lưu vực sông lớn,

+ 1: Lưu vực con thuộc các lưu vực sông lớn

b Cấu trúc bảng dữ liệu đê

Bảng 2.2: Cấu trúc bảng dữ liệu đê

STT Tên trường Loại dữ liệu Ghi chú

1 BankID Integer Chỉ số đê

2 RiverID Integer Chỉ số của sông chứa đê

3 BankTime DateTime Thời gian đo đạc

4 BankDistance Real Khoảng cách giữa hai vị trí

5 BankValue Real Giá trị cao độ

6 BankSide Real Phía sông đo cao độ

Trong đó:

- BankID: Chỉ số đê được sắp xếp và đánh số thứ tự tăng dần

- RiverID: Chỉ số sông chứa dữ liệu đê

- BankTime: Thời gian đo đạc dữ liệu đê

- BankDistance: Khoảng cách giữa hai vị trí đo đạc được cộng dồn theo chiều dài sông và được tính bằng mét

- BankValue: Giá trị cao độ đê được đo đạc

- BankSide: Cao độ đê đo đạc thuộc hai bên bờ sông, trong đó:

+ T: Đê bên tả sông

+ P: Đê bên hữu sông

c Cấu trúc bảng dữ liệu sông

Bảng 2.3: Cấu trúc bảng dữ liệu sông

STT Tên trường Loại dữ liệu Ghi chú

1 RiverID Integer Chỉ số của sông

3 BasinID Integer Chỉ số lưu vực chứa sông

4 RiverNote Text Chú thích

Trong đó:

- RiverID: Chỉ số sông được sắp xếp và đánh số thứ tự tăng dần

- RiverName: Tên gọi sông theo danh mục các lưu vực sông được ban hành

- BasinID: Tên sông thuộc chỉ số lưu vực sông theo bảng dữ liệu lưu vực sông

- RiverNote: Thông tin, tên gọi khác, tên địa phương của sông

d Cấu trúc bảng dữ liệu công trình

Bảng 2.4: Cấu trúc bảng dữ liệu công trình

STT Tên trường Loại dữ liệu Ghi chú

1 ConstructionID Integer Chỉ số của công trình

2 ConstructionName Text Tên công trình

3 ConstructionDetail Text Thông tin chi tiết

Trong đó:

- ConstructionID: Chỉ số công trình được sắp xếp và đánh số thứ tự tăng dần

- ConstructionName: Tên gọi công trình như trạm bơm, cống tưới, tiêu …

- ConstructionDetail: Thông số chi tiết của các công trình