Nghiên cứu xây dựng hệ thống truyền tải trao đổi dữ liệu kèm mã hóa bảo mật ứng dụng trong ngành khí tượng thủy văn

Nghiên cứu xây dựng hệ thống truyền tải trao đổi dữ liệu kèm mã hóa bảo mật ứng dụng trong ngành khí tượng thủy văn Nghiên cứu xây dựng hệ thống truyền tải trao đổi dữ liệu kèm mã hóa bảo mật ứng dụng trong ngành khí tượng thủy văn luận văn tốt nghiệp thạc sĩ

BỘ GIÁO DỤC VÀ ĐÀO TẠO

TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI

VƯƠNG MINH PHƯƠNG

NGHIÊN CỨU XÂY DỰNG HỆ THỐNG TRUYỀN TẢI TRAO ĐỔI

DỮ LIỆU KÈM MÃ HÓA BẢO MẬT ỨNG DỤNG TRONG NGÀNH

KHÍ TƯỢNG THỦY VĂN

LUẬN VĂN THẠC SỸ KỸ THUẬT CHUYÊN NGÀNH KỸ THUẬT VIỄN THÔNG

Hà Nội – 2017

BỘ GIÁO DỤC VÀ ĐÀO TẠO

TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI

VƯƠNG MINH PHƯƠNG

NGHIÊN CỨU XÂY DỰNG HỆ THỐNG TRUYỀN TẢI TRAO ĐỔI

DỮ LIỆU KÈM MÃ HÓA BẢO MẬT ỨNG DỤNG TRONG NGÀNH

KHÍ TƯỢNG THỦY VĂN

LUẬN VĂN THẠC SỸ KỸ THUẬT CHUYÊN NGÀNH KỸ THUẬT VIỄN THÔNG

NGƯỜI HƯỚNG DẪN KHOA HỌC:

PGS TS PHẠM NGỌC NAM

Hà Nội – 2017

MỤC LỤC

CHƯƠNG 1 TÍNH CẤP THIẾT CỦA HỆ THỐNG ĐỒNG BỘ DỮ LIỆU KTTV 1

1.1 Đặt vấn đề 1

1.1.1 Bối cảnh 1

1.1.2 Thực trạng nhu cầu truyền tin và đồng bộ số liệu khí tượng thủy văn 3

1.2 Thực trạng các phần mềm truyền tin và đồng bộ dữ liệu trên thế giới hiện nay 9

1.3 Sự cần thiết phải xây dựng phần mềm đồng bộ dữ liệu KTTV 12

1.3.1 Mục tiêu của đề tài 13

1.3.2 Nội dung nghiên cứu 13

1.4 Kết luật chương 13

CHƯƠNG 2 CÁC GIẢI PHÁP KHOA HỌC VÀ KỸ THUẬT PHÙ HỢP CHO HỆ THỐNG ĐỒNG BỘ KTTV 14

2.1 Socket 14

2.2 Các mô hình lập trình mạng 15

2.2.1 Mô hình client/server 15

2.2.2 Mô hình peer-to-peer 20

2.2.3 So sánh mô hình P2P và client-server 21

2.3 Windows services 22

2.3.1 Windows service là gì 22

2.3.2 Tại sao lại cần phải sử dụng windows services 22

2.4 Kết luân chương 22

CHƯƠNG 3 THIẾT KẾ VÀ XÂY DỰNG HỆ THỐNG ĐỒNG BỘ DỮ LIỆU KTTV 23

3.1 Thiết kế mô hình phân tán cân bằng tải Client-Server 23

3.1.1 Lớp thứ nhất (lớp core) 24

3.1.2 Lớp thứ 2 (lớp chia tải) 24

3.1.3 Lớp thứ 3 (lớp người dùng) 24

3.1.4 Ưu nhược điểm của mô hình 25

3.2 Sơ đồ Usecase 25

3.2.1 Số lượng usercase 25

3.2.2 Mô tả use-case 26

3.2.3 Mô tả chi tiết 30

3.3 Thiết kế xây dựng cơ sở dữ liệu 31

3.3.1 Nội dung cơ sở dữ liệu bao gồm: 31

3.3.2 Một số bảng quan trọng : 31

3.4 Xây dựng phần mềm 35

3.4.1 Sơ đồ khối của phầm mềm 35

3.4.2 Kết quả đạt được 36

3.5 Kết luận chương 38

CHƯƠNG 4 TRIỂN KHAI PHẦN MỀM VÀ CHẠY KIỂM THỬ 39

4.1 Quy trình kiểm thử 39

4.1.1 Cài đặt 39

4.1.2 Kịch bản test 1 41

4.1.3 Kịch bản test 2 41

4.1.4 Kịch bản test 3 42

4.2 Kết quả kiểm thử 42

4.3 Kết luận chương 45

CHƯƠNG 5 KẾT LUẬN VÀ KIẾN NGHỊ 46

5.1 Các điểm đạt được của phần mềm 46

5.2 Các điểm chưa được và hướng nâng cấp sắp tới 46

5.3 Kết luận chương 47

TÀI LIỆU THAM KHẢO 48

PHỤ LỤC I: CHI TIẾT USE-CASE 49

PHỤ LỤC II : CODE MỘT SỐ HÀM QUAN TRỌNG 60

DANH SÁCH HÌNH VẼ

Hình 1-1:Mô hình chia sẻ dữ liệu tại trung tâm TTDL 8

Hình 1-2: Mô hình hoạt động của dropbox 9

Hình 2-1: Các kiểu socket 14

Hình 2-2: Mô hình client-server 15

Hình 2-3: Quá trình trao đổi dữ liệu giữa client và server 17

Hình 2-4: Bảy thao tác để truyền nhận dữ liệu giữa client và server 18

Hình 2-5: Mô hình Peer-2-Peer 20

Hình 3-1: Mô hình chia tải 23

Hình 3-2 Use-Case Kiểm tra kết nối 27

Hình 3-3 User-Case Quản lý phiên làm việc 27

Hình 3-4 User-Case Quản lý hệ thống (bằng file luật) 28

Hình 3-5 Use Case Đồng bộ dữ liệu 28

Hình 3-6 Use Case Phát hiện dữ liệu 29

Hình 3-7 Use-Case Ghi lịch sử 29

Hình 3-8 Use-Case xác thực dữ liệu còn thiếu 30

Hình 3-9 Use-Case Xóa dữ liệu cũ định kỳ 30

Hình 3-10: Sơ đồ khối của phần mềm 35

Hình 3-11: Giao diện khi cài đặt phần mềm 37

Hình 3-12: Phần mềm dưới dạng windows services 37

Hình 3-13: Thư mục làm việc của hệ thống đồng bộ 37

Hình 4-1: Mô hình sẽ áp dụng kiểm thử 40

DANH SÁCH BẢNG BIỂU Bảng 2-1:So sánh giữa mô hình client-server và P2P 21

Bảng 3-1: Liệt kê use-case 25

Bảng 3-2: một số bảng cơ sở dữ liệu quan trọng của hệ thống đồng bộ 31

Bảng 4-1: Thông số đường truyền internet trong mô hình kiểm thử 40

Bảng 4-2:Kết quả kịch bản test 1 trong một phiên 44

Bảng 4-3:Kết quả kịch bản test 2 45

DANH SÁCH TỪ VIẾT TẮT

LỜI NÓI ĐẦU

Hiện nay việc truyền tải, đồng bộ dữ liệu, thông tin là một phần thiết yếu của cuộc sống nhất là trong thời đại bùng nổ thông tin đòi hỏi việc truyền dữ liệu nhanh, chính xác và đảm bảo an toàn bảo mật Đặc biệt Thông tin trong lĩnh vực khí tượng thủy văn được coi là vấn đề sống còn trong bối cảnh các diễn biến về khí hậu xảy ra bất thường và ngày càng nhiều hơn, việc có thông tin dự báo kịp thời chính xác để

có phương hướng xử lý là rất quan trọng Quan trọng cũng không kém là có các dữ liệu thô phục vụ công tác dự báo từ khắp các đài trạm quan trắc trên cả nước gửi về cũng phải đảm bảo chính xác và nhanh chóng

Bản thân người viết cũng đang công tác tại ngành Khí tượng thủy văn, nhận thấy tầm quan trọng của thông tin, dữ liệu đóng vai trò quan trọng và hiện trạng trong ngành đang dùng nhiều phương thức truyền số liệu khác nhau đều chưa đáp ứng được hầu hết các yêu cầu cần thiết, nên người viết đã đề xuất thực hiện đề tài:

Nhiên cứu xây dựng hệ thống truyền tải trao đổi dữ liệu kèm mã hóa bảo mật ứng dụng trong ngành khí tượng thủy văn

Mục tiêu đề tài là xây dựng được hệ thống đồng bộ số liệu giữa các đơn vị trong ngành Khí tượng thủy văn, từ các đài trạm quan trắc trên khắp cả nước để phục vụ công tác dự báo và phòng chống thiên tai Hệ thống phải đảm bảo hoạt động một cách tự động, chạy ổn định liên tục 24/24, hiếm khi xảy ra lỗi, dữ liệu được đảm bảo đầy đủ, độ trễ đường truyền và trễ hệ thống thấp, phục vụ được nhiều đài trạm trong cả nước và quốc tế

Người viết xin chân thành cảm ơn Trung tâm Khí Tượng Thủy Văn Quốc Gia, Trung Tâm Thông Tin và Dữ Liệu đã tạo điều kiện hỗ trợ đồng thời chân thành cám

ơn PGS TS Phạm Ngọc Nam đã hướng dẫn và hỗ trợ người viết thực hiện đề tài này

Học viên

Vương Minh Phương

TÓM TẮT LUẬN VĂN

Đề tài tập trung vào xây dựng hệ thống truyền tải đồng bộ thông tin dữ liệu áp dụng trong ngành khí tượng thủy văn Hệ thống bao gồm phần thiết kế hệ thống, và xây dựng phần mềm hoạt động trong hệ thống đó

Hệ thống bao gồm việc thiết kế mô hình đồng bộ dữ liệu khí tượng thủy văn phục vụ công tác dự báo và cảnh báo Đồng thời thiết kế xây dựng phần mềm đồng

bộ dữ liệu hoạt động trong hệ thống đó.Hệ thống phải đảm bảo số liệu được đồng

bộ đầy đủ chính xác, nhanh chóng, thực hiện trên những tài nguyên sẵn có Phần mềm phải đảm bảo ít lỗi, hoạt động ổn định liên tục 24/24 Phần mềm phải có khả năng tự khôi phục hoạt động khi gặp một số các sự cố hay gặp phải như lỗi không

có kết nối internet, mất điện…

Luận văn gồm 5 chương

 Chương 1: Tính cấp thiết của hệ thống đồng bộ dữ liệu KTTV Chương này

sẽ tập trung vào phân tích tầm quan trọng của hệ thống truyền tin KTTV, hiện trạng hạ tần kỹ thuật và phương thức truyền số liệu KTTV hiện đang sử dụng

 Chương 2: Các giải pháp khoa học kỹ thuật phù hợp cho hệ thống đồng bộ

dữ liệu KTTV Chương này sẽ tập trung vào đưa ra các giải pháp mô hình kỹ thuật có thể áp dụng để xây dựng hệ thống đồng bộ dữ liệu KTTV

 Chương 3: Thiết kế và xây dựng hệ thống đồng bộ dữ liệu KTTV Chương này sẽ tập trung vào xây dựng hệ thống, và phần mềm trên các giải pháp đã đưa ra

 Chương 4: Triển khai phần mềm và kiểm thử hệ thống Chương này sẽ mô tả qui trình kiểm thử hệ thống, đưa ra một số kết quả kiểm thử nhất định

 Chương 5: Kế luận và kiến nghị Chương này sẽ đưa ra các đánh giá về phần mềm sau khi kiểm thử và chạy thực tế một thời gian Các điểm đạt và chưa

đạt của phần mềm đồng thời đưa ra định hướng nâng cấp sắp tới của hệ thống cho phù hợp với nhu cầu và hạ tầng kỹ thuật

CHƯƠNG 1 TÍNH CẤP THIẾT CỦA HỆ THỐNG ĐỒNG BỘ

ha hoa màu bị thiệt hại Tổng thiệt hại lên đén 2.830 tỷ đồng Trong năm 2015 ở nước ta thiên tai xuất hiện với tần suất dầy đặc Nắng nóng gay gắt với nền nhiệt độ cao kỷ lục trong 60 năm qua diễn ra trên diện rộng khiến hàng nghìn người dân khu vực miền Trung lâm vào cảnh thiếu lương thực nước uống.Theo ban chỉ đạo phòng chống lụt bão trung ương (PCLB) cho biết, do ảnh hưởng của biến đổi khí hậu nên

5 năm trở lại đây, thiệt hại về tài sản do thiên tai gây ra ngày càng lớn.Dự báo cho đến những năm tiếp theo thời tiết việt nam vẫn có những diễn biến bất thường theo

xu thế chung của thế giới do hiệu ứng nhà kính cũng như tốc độ tàn phá tự nhiên của con người

Với tình hình thời tiết ngày càng biến đổi phức tạp và nhanh chóng, việc dự báo, cảnh bảo để sớm có biện pháp phòng chống kịp thời là vô cùng quan trọng Nhận thấy tầm quan trong đó, trong rất nhiều năm qua, Việt Nam đã liên tục không ngừng đầu tư trang thiết bị phục vụ việc dự báo cảnh báo thời tiết Đã có rất nhiều các trạm

đo các thiết bị phục vụ công tác dự báo nhằm đưa ra được các số liệu để người dự báo viên có thể dựa vào đó tăng được độ chính xác của bản tin dự báo của mình Do

có rất nhiều loại dữ liệu từ các điểm quan trắc trên khắp cả nước được đưa về để phục vụ công tác dự báo khí tượng thủy văn Dữ liệu từ các trạm khí tượng bề mặt, thám không vô tuyến, đo gió trên cao, thủy văn, hải văn… sau khi quan trắc được các quan trắc viên chuyển thành mã điện chuyển về Ngoài ra còn có các dữ liệu radar thời tiết, ảnh mây vệ tinh, số liệu mưa tự động, được truyền về với tần suất liên tục để phục vụ công tác dự báo được kịp thời, và còn rất nhiều loại số liệu khác

Đó là các loại số liệu trong nước, chúng ta cũng thu dữ liệu từ quốc tế thông qua hệ thống GTS với trên 500 trạm khí tượng mặt đất và 250 trạm thám không vô tuyến truyền về liên tục Ngoài ra còn có các số liệu và sản phẩm dự báo của các nước trên thế giới để tham khảo trong quá trình tác nghiệp dự báo Việc tiếp nhận các loại

số liệu này đảm bảo liên tục chính xác là rất quan trọng, việc gây thất lạc thông tin, truyền thông tin dữ liệu chậm, sai lệch thông tin về trung tâm dự báo làm ảnh hưởng đến công tác dự báo thời tiết là vô cùng nghiêm trọng nhất là khi có diễn biến thời tiết nguy hiểm

Sau khi trung tâm dự báo đưa ra được sản phẩm dự báo, việc truyền tải các sản phẩm dự báo, các bản tin khí tượng, bản tin cảnh báo tới các đơn vị chức năng, các đối tác, để xử lý cũng quan trọng không kém.Có rất nhiều đơn vị quan tâm tới các sản phẩm dự báo để phục vụ nhu cầu, trong nước có thể kể đến như các cơ quan khí tượng tại hơn 63 tỉnh thành trong cả nước, các đơn vị như không quân, hải quân, hàng không Gia Lâm, ủy ban tìm kiếm cứu nạn…ngoài nước có thể kể đến Nhật Bản, Thái Lan, Trung Quốc cũng rất cần số liệu dự báo để làm tư liệu đối chiếu.Sản phẩm dự báo sau khi được làm ra phải được truyền ngay tới các đơn vị chức năng không được chậm trễ, việc chậm trễ hay thất lạc sẽ gây thiệt hại lớn nhất là trong tình hình thiên tai, thời tiết thất thường Bạn thử tưởng tượng nếu bản tin cảnh báo mưa dông sấm sét được truyền đi chậm 4-5 phút là coi như bản tin đó không còn giá trị, bởi vì diễn biến thời tiết nguy hiểm đó xảy ra rất nhanh Nếu không có cảnh báo kịp thời để thông báo đến các đơn vị chức năng thì sẽ gây hậu quả khó lường Qua

đó thấy được tầm quan trong của công tác dự báo cũng như việc truyền nhận thông

tin khí tượng thủy văn Đã có hẳn một trung tâm chuyên trách việc thông tin, truyền tin các sản phẩm KTTV là trung tâm Thông Tin Và Dữ Liệu KTTV Đảng và chính phủ cũng rất quan tâm đến vấn đề truyền tin này nên năm 2014 đã ban hành quyết định 46/2014/QĐ-TTg [1] “Qui định về dự báo cảnh báo và truyền tin thiên tai” và quan trọng hơn luật KTTV đã chính thức có hiệu lực từ ngày 01/7/2016 Trong quyết định 46/2014/QĐ-TTg đã quy định việc phải cung cấp liên tục thông tin của thiên tai xảy ra, trong Điều 4 của Luật KTTV quy định thông tin dự báo, cảnh báo

KTTV phải được truyền phát kịp thời, chính xác đầy đủ Việc xây dựng hệ thống truyền tin khí tượng thủy văn tin cậy ổn định nhanh chóng tỏ ra hết sức cần thiết mang tính sống còn để đảm bảo phục vụ công tác dự báo phòng chống thiên tai

Trong thời đại bùng nổ công nghệ thông tin như hiện nay việc áp dụng các cải tiến sáng chế mới sẽ góp phần tự động hóa cũng như nâng cao hiệu suất và năng lực thông tin đặc biệt trong công tác truyền tin cảnh báo thiên tai, đồng thời cũng nâng

cao tính bảo mật và chính xác của các thông tin cảnh báo Nhận thấy việc có một phần mềm đồng bộ số liệu giữa các đơn vị trong ngành KTTV và các đơn vị cộng tác là cần thiết và quan trọng để đảm bảo tính liên tục và kịp thời của dữ liệu

1.1.2 Thực trạng nhu cầu truyền tin và đồng bộ số liệu khí tượng thủy văn

Như đã trình bày ở trên, nhu cầu truyền tin và đồng bộ số liệu khí tượng thủy văn giữa các đơn vị các đài, trạm quan trắc, và trung tâm dự báo khí tượng thủy văn

là rất lớn, số liệu phải đảm bảo tính liên tục và được đồng bộ tới tất cả các đơn vị tức thì để phục vụ công tác dự báo thời tiết, cảnh báo và phòng chống thiên tai Ngoài ra yêu c ầu bảo mật dữ liệu cũng là vấn đề cấp thiết vì nó liên quan tới bí mật quốc gia

a) Hiện trạng dòng dữ liệu KTTV và nhu cầu

Dữ liệu đầu vào phục vụ công tác dự báo

Theo quyết định điện báo [2] mô tả các số liệu phục vụ công tác dự báo

 Dữ liệu quan trắc nội địa từ các điểm quan trắc trên khắp cả nước được quan trắc viên chuyển thành mã điện được tập trung về các Đài Khu Vực (ĐKV) quản lý, rồi từ các Đài Khu Vực được tập trung về trung tâm Thông Tin Và

Dữ Liệu (TTDL) rồi chuyển qua Trung Tâm Dự Báo (TTDB) để tác nghiệp

dự báo

 Radar thời tiết từ các trạm radar được Đài Khí Tượng Cao Không với tần suất liên tục được chuyển qua TTDL rồi chuyển qua TTDB phục vụ công tác

 Dữ liệu mưa tự động liên tục từ các trạm đo tự động được các ĐKV chuyển

về TTDL rồi chuyển qua TTDB

 Dữ liệu quốc tế được TTDL thu qua mạng viễn thông GTS với trên 500 trạm mặt đất 250 trạm thám không vô tuyến và dữ liệu tính toán từ mô hình toàn cầu sản phẩm của các trung tâm dự báo quốc tế làm số liệu đầu vào cho mô hình dự báo khu vực, sau đó được truyền qua DB Số liệu này cũng được gửi

về liên tục tần suất nhiều

 Dữ liệu ảnh mây vệ tinh được TTDL thu trực tiếp từ vệ tinh khí tượng quốc

tế, các sản phẩm dự báo của một số trung tâm dự báo thời tiết trên thế giới như Nhật Bản, Trung Quốc, Thái Lan sau đó chuyển sang TTDB Số liệu này chuyển về rất nhiều với dung lượng lớn, đặc biệt khi có tình hình thời tiết diễn biến bất thường như bão, áp thấp nhiệt đới

Dữ liệu sản phẩm dự báo được gửi đến các đơn vị cộng tác

 Các bản tin dự báo thời tiết hàng ngày bản tin xu thế thời tiết nhiều ngày, sản phẩm phân tích ảnh mây vệ tinh và radar thời tiết

 Bản tin cảnh báo thời tiết nguy hiểm, bão lũ, thiên tai…

 Bản tin nhận định thời tiết ngắn hạn dài hạn, biến đổi khí hậu

 Các bản tin thủy văn hải văn, mực nước, lượng mưa…

 Các bản tin báo cáo về tình hình thời tiết nguy hiểm, giải thích đánh giá thông tin KTTV

b) Hiện trạng phương thức truyền tin của ngành KTTV

Tại Trung tâm Dự báo KTTV Trung ương

Để đáp ứng cho công tác dự báo, theo dõi thời tiết KTTV, v.v…, tất cả số liệu

về các yếu tố quan trắc khí tượng thủy văn và hải văn trong nước, ngoài nước từ mạng lưới trạm đo, số liệu vệ tinh, mô hình, Radar, thám không, sô liệu đầu vào cho các mô hình số trị thu thập qua Internet… được thu nhận qua hệ thống mạng thông tin chuyên ngành KTTV do Trung tâm TTDL đảm nhận sẽ được xử lý lưu trữ và tự động truyền cho TTDB KTTV để phục vụ dự báo

Các sản phẩm dự báo, mô hình số trị, bản tin dự báo, v.v… được truyền tới máy chủ tại Trung tâm TTDL sau đó truyền, gửi về cho các Đài KTTV khu vực, các Trung tâm KTTV tỉnh và các đơn vị liên quan

Quá trình xử lý, tích hợp chuyển dữ liệu KTTV của Trung tâm DB KTTV qua Trung tâm TTDL được thực hiện tự động qua hệ thống mạng LAN tại Trung tâm TTDL Tuy nhiên, quá trình tự động này vẫn còn một số hạn chế do sử dụng những công nghệ, các hệ thống phần mềm cũ, chưa được phát triển, vì vậy chưa đáp ứng đầy đủ yêu cầu của công tác dự báo KTTV đặc biệt là công tác dự báo các hiện tượng thời tiết nguy hiểm

Tại các Đài Khí tượng Thủy văn khu vực

Đài KTTV khu vực phụ trách thu thập toàn bộ số liệu quan trắc từ các Trung tâm KTTV tỉnh và chuyển phát số liệu về Trung tâm Công nghệ thông tin KTTV để phục vụ nghiệp vụ của Trung tâm Dự báo KTTV Trung ương Bên cạnh đó, Đài KTTV khu vực cũng thu thập các sản phẩm, bản tin dự báo từ Trung tâm TTDL KTTV để phân cấp phục vụ dữ liệu cho các Trung tâm KTTV tỉnh trong vùng Tại các trạm Ra đa thời tiết, do đặc thù của số liệu Rađa là đảm bảo cung cấp số liệu (thời gian thực) kịp thời phục vụ cho công tác chuyên môn đặc biệt trong các điều kiện thời tiết nguy hiểm, bão, lũ, mưa lớn, giông, tố, lốc, Các trạm ra đa thời tiết phải truyền số liệu ảnh trực tiếp cho các đơn vị KTTV nghiệp vụ thông qua các

hệ thống thông tin chuyên ngành có sẵn tại trạm

Hiện nay, quá trình trao đổi dữ liệu này được thực hiện một cách bán tự động, các cán bộ làm công tác thông tin tại đợn vị phải chủ động thu thập và truyền phát

dữ liệu phục vụ dự báo Như vậy, công tác thông tin sẽ không đáp ứng được tính thời gian thực của số liệu và tính cấp thiết của bản tin dự báo, khó đáp ứng được nhu cầu cho xã hội hiện nay Trong tương lai gần, khi cơ sở hạ tầng thông tin của ngành được đầu tư xây dựng với những hệ thống thông tin mới (hệ thống thông tin qua vệ tinh, hệ thống thông tin qua mạng diện rộng, các hệ thống cơ sở dữ liệu, …),

hệ thống hiện tại sẽ không thể đáp ứng được về kỹ thuật và các phương thức truyền

dữ liệu Do đó, hệ thống xử lý, tích hợp chuyển mạch đồng bộ dữ liệu phải cần được đầu tư xây dựng để sẵn sàng cho sự phát triển công nghệ thông tin của ngành phục vụ dự báo, đáp ứng yêu cầu công nghiệp hóa, hiện đại hóa, tự động hóa của ngành KTTV

Tại các Trung tâm KTTV tỉnh

Các Trung tâm KTTV tỉnh chủ yếu thu thập số liệu quan trắc của các trạm do đơn vị quản lý vào thời gian nhất định theo yêu cầu nghiệp vụ của Trung tâm Dự báo KTTV Trung ương Sau khi số liệu được thu thập sẽ được chuyển về Đài KTTV khu vực qua điện thoại, máy vô tuyến điện (ICOM) hoặc đương truyền Internet Tại Trung tâm KTTV tỉnh cũng có thể chuyển số liệu trực tiếp về Trung ương theo mạng thông tin chuyên ngành khi có yêu cầu hoặc do sự cố hệ thống tại Đài KTTV khu vực

Tại Trung tâm KTTV tỉnh công tác thu thập sản phẩm, bản tin, các dữ liệu KTTV từ Đài KTTV khu vực, hoặc trực tiếp từ Trung tâm TTDL KTTV trong một

số trường hợp theo yêu cầu, để phục vụ dự báo cho địa phương bằng các thao tác do các dự báo viên thực hiện Nhìn chung, công tác thu thập, chuyển phát thông tin tới Đài KTTV khu vực và Trung tâm KTTV Trung ương từ Trung tâm KTTV tỉnh là hoàn toàn chủ động do các cán bộ phải dùng các phần mềm kết nối, thu thập, chuyển phát dữ liệu phục vụ dự báo Bởi vậy, dữ liệu phục vụ dự báo tại các thời điểm dự báo bị hạn chế bởi vì các dự báo viên không có đủ thời gian để thu thập hết một lượng lớn dữ liệu tại Đài KTTV Khu vực hoặc tại Trung tâm TTDL KTTV

Tại trung tâm TTDL

Đóng vai trò là cầu nối giữa đơn vị Trung Tâm Dự Báo KTTV và các đơn vị Hình 1 Mô tả chi tiết về hiện trạng mô hình chia sẻ dữ liệu của trung tâm TTDL.Hiện tại, hệ thống mạng tại Trung tâm TTDL KTTV được kết nối với internet qua 2 đường VDC (5MB) và CMC (2MB) Hệ thống mạng LAN giữa Trung tâm TTDL KTTV và Trung tâm Dư báo KTTV Trung ương đã được phân tách rõ ràng về mặt vật lý Tại Trung tâm Dự báo KTTV Trung ương thiết lập một cổng thông tin (10.151.0.9) để trao đổi dữ liệu với Trung tâm TTDL KTTV, Các dữ liệu thu nhận từ Trung tâm TTDL KTTV sẽ được truyền tới Trung tâm Dự báo KTTV Trung ương qua cổng thông tin này và ngược lại Các Đài KTTV Khu vực

và các Trung tâm KTTV Tỉnh trao đổi dữ liệu chủ yếu qua Internet kết nối về Trung tâm TTDL KTTV Tại Trung tâm TTDL KTTV thiết lập máy chủ kiểm tra các thông tin kết nối qua khóa cứng (HardLock) trước khi được quyền truy nhập vào hệ thống Trong hệ thống, thiết lập máy chủ chia sẻ dữ liệu cho các Đài KTTV Khu vực và các Trung tâm KTTV tỉnh tại Trung tâm TTDL KTTV Trên máy chủ này phân chia rõ các loại số liệu và các quyền truy cập theo case thư mục Việc thu thập

và chuyển phát số liệu tại các Đơn vị được thực hiện bởi các Dự báo viên qua phần mềm HMSClients đã được cài đặt và chuyển giao

Bên cạnh việc phục vụ dữ liệu với cho các Đơn vị trong Trung tâm KTTV Quốc gia, Trung tâm TTDL KTTV còn có một máy trạm chuyển số liệu tới máy chủ của Ủy ban Phòng chống lụt báo Trung ương qua kênh thuê riêng 64Kbps và Internet (mới được thiết lập) Ngoài ra, một số đơn vị như Bộ tư lênh Phòng không Không quân, Bộ Tư lệnh Hải quân, Ủy ban Tìm kiếm Cứu nạn, … cũng truy cập và thu thập dữ liệu phục công tác chuyên môn cho đơn vị mình

Đài KTTV khu

vực

Trung tâm CNTT KTTV

Trung tâm DB KTTV TW

Đài KT Cao không

Băng kốc Thái Lan

Mát cơ va Nga

Trung tâm KTTV tỉnh

Trạm KTTV, Radar

UB cứu hộ cứu nạn TƯ

CQ khác

Hình 1-1:Mô hình chia sẻ dữ liệu tại trung tâm TTDL

Như vậy, với hiện trạng hệ thống mạng tại Trung tâm Công nghệ thông tin KTTV như trên hoàn toàn có thể thiết lập hệ thống mạng riêng ảo kết nối các đơn vị nghiệp vụ trong Trung tâm KTTV Quốc gia qua Internet Hệ thống xử lý, chuyển mạch, tích hợp đồng bộ dữ liệu sẽ được xây dựng phát triển đảm bảo tính tự động vận hành của hệ thống và quản trị tập trung tại Trung tâm TTDL như vậy sẽ đảm bảo hệ thống họat động ổn định và nâng cao được hiệu quả công tác dự báo KTTV trong các đơn vị nghiệp vụ

1.2 Thực trạng các phần mềm truyền tin và đồng bộ dữ liệu trên thế giới hiện nay

Các phần mềm truyền số liệu (đồng bộ số liệu) hiện nay không phải là hiếm, có thể liệt kê ra rất nhiều phần mềm có tính năng đồng bộ số liệu như dropbox, google drive, onedrive… Các phần mềm đó được đầu tư qui mô bài bản từ các tập đoàn lớn như google, microsoft… với hệ thông server cực lớn Đa số các hệ thống này đều có nguyên lý hoạt động tương tự nhau, dưới đây sẽ giới thiệu về hệ thống Dropbox

a) Hệ thống dropbox

Dropbox là dịch vụ lưu trữ trực tuyến do công ty Dropbox phát triển Dropbox cung cấp các chức năng chính là lưu trữ đồng bộ dữ liệu trực tuyến bằng công nghệ điện toán đám mây Khả năng đồng bộ theo thời gian thực và tự động thực hiện sao lưu dữ liệu các phần mềm client Hình 2 mô tả mô hình hoạt động của Dropbox với phần mềm dropbox của 1 user được cài ở máy tính ở nhà và ở cơ quan Phần mềm này sẽ được kết nối tới server của Dropbox thông qua internet

Server Dropbox

Hình 1-2: Mô hình hoạt động của dropbox

Dropbox cho phép người dùng tạo nên một thư mục đặc biệt trên máy tính khác nhau và khi người dùng đặt tập tin dữ liệu vào trong thư mục Dropbox trên một máy tính nào đó thì ngay lập tức, chúng sẽ xuất hiện trên bất kì các thiết bị khác mà đã

được cài sẵn phần mềm và tài khoản dropbox của người dùng Khả năng hỗ trợ nhiều client của dropbox là rất lớn, chỉ cần có thiết bị có kết nối internet và tài khoản dropbox là có thể truy cập được nguồn dữ liệu

Các tập tin của người dùng khi được đưa vào thư mục Dropox sẽ được Dropbox sao chép và lưu trữ tự động trên các máy chủ an toàn của họ nên người dùng cũng

có thể truy cập vào chúng từ bất kỳ các máy tính hoặc các thiết bị di động khác của người dùng thông qua trang web của Dropbox Ngay cả khi ở nhà hay khi ở nơi làm việc hoặc ở bất kỳ đâu chỉ cần có internet thì chúng ta đều có thể truy cập tập tin từ thiêt bị của mình Các dữ liệu khi được đưa vào thư mục đồng bộ thì sẽ được upload lên server của Dropbox và khi client online tài khoản dropbox đó ở bất kỳ đâu dữ liệu cũng được tự động tải về

Dropbox hỗ trợ chia sẻ tập tin một cách dễ dàng Chúng ta có thể dễ dàng chia

sẻ một phần hoặc toàn bộ tài liệu bằng cách đặt các thư mục muốn chia sẻ vào dropbox rồi sau đó gửi email mời những người mà mình muốn chia sẻ thư mục đó Chúng ta cũng có thể gửi liên kết tải của những tập tin có trong Dropbox của mình cho người khác

Vì chức năng của dropbox như một dịch vụ lưu trữ nên nó tập trung vào các chức năng đồng bộ hóa và chia sẻ Nó hỗ trợ truy vết lịch sử sửa đổi, nên các tập tin

đã bị xóa từ thư mục Dropbox có thể được phục hồi từ bất kỳ máy tính được đồng

bộ Dropbox hỗ trợ kiểm soát phiên bản của nhiều người dùng cho hép nhóm người dùng có thể chỉnh sửa tập tin mà không bị trường hợp ghi đè tập tin lên nhau Các phiên bản mặc định được lưu trong 30 ngày với số lượng vô hạn Việc quản lý phiên bản được kết hợp với việc sử dụng công nghệ mã hóa Delta Khi một tập tin trong thư mục dropbox bị thay đổi thì dropbox chỉ tải lên các phần tập tin bị thay đổi khi đồng bộ

Dropbox vẫn đang sử dụng hệ thống lưu trữ của Amazon’s simple storage service để lưu trữ tập tin Dropbox cuãng sử dụng truyền tin SSL cho việc đồng bộ

và lưu trữ dữ liệu thông qua mã hóa AES-256

Nói chung các hệ thống đồng bộ dữ liệu của dropbox hay của các công ty lớn hiện nay như Google Drive, One Drive… hoạt động tương đối tốt và ổn định, tuy nhiên các phần mềm đó đều dấy lên các mối quan ngại:

Tính riêng tư của dữ liệu:

Khi các dữ liệu sẽ phải lưu trữ trên server của của các hãng (Dropbox sử dụng

hệ thống máy chủ lưu trữ của Amazon) rồi sau đó mới được đồng bộ tới các đơn vị nhận số liệu (client) điều đó nảy sinh vấn đề rất lớn Các dữ liệu về địa hình, thời tiết, tài nguyên… vốn là dữ liệu phải được đảm bảo tính bảo mật cực cao Bạn không thể chắc chắn rằng các dữ liệu đó có bị sử dụng vì mục đích nào khác hay không Việc để lộ các dữ liệu đó liên quan mật thiết tới an ninh quốc gia nên việc lưu trữ dữ liệu tại một server không do mình quản lý là vấn đề nhạy cảm

Nỗi lo mất dữ liệu

Khi dịch vụ lưu trữ trực tuyến bất ngờ ngừng cung cấp dịch vụ thì người dùng

sẽ phải sao lưu dữ liệu điều này gây rất mất thời gian và công sức Và còn mối quan ngại rằng liệu người dùng có thể sao lưu toàn bộ dữ liệu của họ không hay dữ liệu

có thể bị hủy toàn bộ trong trường hợp dịch vụ này ngưng hoạt động

số liệu KTTV

Từ các mối lo ngại trên chúng ta thấy được sựu cần thiết phải tự xây dựng

hệ thống truyền tin, đồng bộ dữ liệu sử dụng cho ngành KTTV phục vụ công tác dự báo, cảnh báo

1.3 Sự cần thiết phải xây dựng phần mềm đồng bộ dữ liệu KTTV

Cần thiết phải xây dựng hệ thống đồng bộ riêng cho ngành KTTV vì những lý

 Hệ thống truyền tin cũ không còn đảm bảo (tốc độ chậm, truyền tải qua nhiều khâu chung gian gây trễ bản tin, độ bảo mật không cao…)

 Bộ Tài Nguyên và Môi Trường đang triển khai hệ thống mạng diện rộng của ngành Tài Nguyên Môi Trường, cần có kế hoạch phù hợp để kết nối mạng thông tin chuyên ngành KTTV với mạng diện rộng của bộ

 Việc kích hoạt các hệ thống dự phòng trong trường hợp sự cố vẫn chưa được

tự động hóa, còn mang tính chất thủ công, thụ động không đáp ứng kịp thời cho công tác dự báo, cảnh báo của các đơn vị nghiệp vụ

 Cần đảm bảo tính bảo mật dữ liệu và tự chủ trong khâu quản lý, giám sát, truyền nhận số liệu

1.3.1 Mục tiêu của đề tài

 Xây dựng phần mềm Đồng bộ số liệu giữa các đơn vị khai thác số liệu cũng như đơn vị cung cấp số liệu KTTV đảm bảo về tính ổn định tốc độ truyền tải, thời gian trễ thấp, và tính bảo mật đáp ứng nhu cầu của số liệu KTTV

1.3.2 Nội dung nghiên cứu

Nội dung nghiên cứu của đề tài bao gồm

 Các giải pháp khoa học kỹ thuật

 Phân tích thiết kế usecase của hệ thống

 Thiết kế cơ sở dữ liệu

 Xây dựng phần mềm dưới dạng services windows

1.4 Kết luật chương

Nội dung chương này đưa ra cho người đọc cái nhìn tổng quan về thực trạng và nhu cầu truyền dữ liệu KTTV phục vụ cho công tác dự báo thiên tai nước ta hiện nay, đồng thời cũng cho thấy tính cấp thiết của việc tự xây dựng một hệ thống đồng

bộ dữ liệu KTTV

CHƯƠNG 2 CÁC GIẢI PHÁP KHOA HỌC VÀ KỸ THUẬT PHÙ HỢP CHO HỆ THỐNG ĐỒNG BỘ DỮ LIỆU KTTV

Nội dung chương này sẽ tập trung vào các giải pháp khoa học kỹ thuật nhằm giải quyết bài toán đồng bộ dữ liệu KTTV, có rất nhiều giải phải cho vấn đề này.Người viết sẽ tập trung vào giới thiệu một vài giải pháp phổ biến và chọn ra một giải pháp tốt nhất với tình hình thực tế

2.1 Socket

Socket [3] [4]là một giao diện lập trình ứng dụng (API) mạng Thông qua giao diện này chúng ta có thể lập trình điều khiển việc truyền thông giữa 2 máy sử dụng giao thức TCP, UDP… Socket có thể tưởng tượng như là thiết bị truyền thông hai chiều gửi- nhận dữ liệu giữa 2 máy tình với nhau Mỗi tiến trình khi muốn truyền thông bằng socket, đầu tiên phải tạo ra một địa chỉ socket Một địa chỉ socket bao gồm tổ hợp địa chỉ IP và Port, nó chỉ ra tiến trình truyền thông nào (port) và chạy trên máy nào IP sẽ thực hiện truyền thông Để hỗ trợ các nhà sản xuất phần mềm đã xây dựng sẵn một API và gọi là tập hàm thư viện giao diện socket được phân ra làm

3 loại như ở hình 3

Hình 2-1: Các kiểu socket

 Stream socket: Sử dụng giao thức hướng kết nối TCP

 Datagram socket: Sử dụng giao thức không hướng kết nối UDP

 Raw socket: Đây là kiểu socket cho phép truyền thông tới các giao thức ở tầng mạng thấp hơn tầng transportation tiêu biểu nhất là giao thức ICMP hoặc OSPF

2.2 Các mô hình lập trình mạng

2.2.1 Mô hình client/server

Mô hình client/server [5] được sử dụng rất phổ biến trong thực tế Chương trình ứng dụng mạng theo mô hình này gồm 2 phần: phần mềm server (phục vụ) và phần mềm client (máy khách) được thể hiện như hình dưới Một chươn trình server có thể phục vụ nhiều chương trình client đồng thời hoặc tuần tự Mô hình client/server cung cấp một cách tiếp cận tổng quát để chia sẻ tài nguyên trong các hệ thống phân tán Mô hình này có thể được cài đặt bằng rất nhiều môi trường phần cứng và phần mềm khác nhau Các máy tính được sử dụng để chạy các tiến trình client/server có nhiều kiểu khác nhau và không cần thiết phải phân biệt giữa chúng; cả tiến trình client và tiến trình server đều có thể chạy trên cùng một máy tính Một tiến trình server có thể sử dụng dịch vụ của một server khác Dưới đây là hình vẽ mô tả hệ thống theo mô hình client-server:

Server

a) Chương trình client:

Client là một trương trình chạy trên máy cục bộ mà đưa ra yêu cầu dịch vụ đối với Server Chương trình Client có thời gian chạy hữu hạn Nó được khởi đầu bởi người sử dụng (Hoặc bởi một chương trình khác) và kết thúc khi dịch vụ thực hiện

đã hoàn thành Sau khi khởi tạo client thực hiện mở một kênh truyền thông thông kết nối với IP và port xác định trước của server cụ thể mà chương trình Client muốn kết nối tới Cách mở port đó gọi là active open port (mở port chủ động) Sau khi kênh truyền được thiết lập client sẽ gửi yêu cầu tới server và nhận đáp ứng trả về từ server

b) Chương trình server:

Chương trình này có đặc điểm là thời gian chạy vô tận và chỉ dừng bởi người sử dụng hoặc do sự cố máy tính Chương trình này sau khi khởi tạo sẽ thực hiện mở port thụ động (passive open port) để lắng nghe các tín hiệu từ client gửi đến Nếu có tín hiệu gửi đến nó sẽ tiếp nhận thực hiện xử lý đáp ứng yêu cầu đó

c) Cách thức truyền tin Client-Server

Mô hình truyền tin client/server hướng tới việc cung cấp dịch vụ Quá trình trao đổi dữ liệu được mô tả ở hình dưới đây, bao gồm:

1 Truyền một yêu cầu từ tiến trình client tới tiến trình server

2 Yêu cầu được server xử lý

3 Truyền đáp ứng cho client

` Client Server

Xử lý

Bị phong tỏa

Hình 2-3: Quá trình trao đổi dữ liệu giữa client và server

Mô hình truyền tin này liên quan đến việc truyền hai thông điệp và một dạng đồng bộ hóa cụ thể giữa client và server Tiến trình server phải nhận thức được thông điệp được yêu cầu ở bước một ngay khi nó đến và hành động phát ra yêu cầu trong client phải được tạm dừng (bị phong tỏa) và buộc tiến trình client ở trạng thái chờ cho tớ khi nó nhận được đáp ứng do server gửi về ở bước ba

Quá trình giao tiếp client và server có thể diễn ra theo một trong hai chế độ: bị phong tỏa (blocked) và không bị phong tỏa (non-blocked)

Chế độ bị phong tỏa (blocked):

Trong chế độ bị phong tỏa, khi tiến trình client hoặc server phát ra lệnh gửi dữ liệu (send), việc thực thi của tiến trình sẽ bị tạm ngừng cho tới khi tiến trình nhận phát ra lệnh nhận dữ liệu (receive)

Tương tự đối với tiến trình nhận dữ liệu, nếu tiến trình nào đó (client hoặc server) phát ra lệnh nhận dữ liệu, mà tại thời điểm đó chưa có dữ liệu gửi tới thì việc thực thi của tiến trình cũng sẽ bị tạm ngừng cho tới khi có dữ liệu gửi tới

Chế độ không bị phong tỏa (non-blocked)

Trong chế độ này, khi tiến trình client hay server phát ra lệnh gửi dữ liệu thực

sự, việc thực thi của tiến trình vẫn được tiến hành mà không quan tâm đến việc có tiến trình nào phát ra lệnh nhận dữ liệu đó hay không

Tương tự cho trường hợp nhận dữ liệu, khi tiến trình phát ra lệnh nhận dữ liệu,

nó sẽ nhận dữ liệu hiện có, việc thực thi của tiến trình vẫn được tiến hành mà không quan tâm đến việc có tiến trình nào phát ra lệnh gửi dữ liệu tiếp theo hay không

d) Mô hình truyền tin bằng socket giữa client và server

Hình dưới đây mô tả chi tiết 7 thao tác cơ bản để truyền nhận dữu liệu giữa client và server

Hình 2-4: Bảy thao tác để truyền nhận dữ liệu giữa client và server

Như đã biết hai giao thức TCP và UDP là các giao thức tầng giao vận để truyền

dữ liệu Mỗi giao thức có những ưu và nhược điểm riêng Chẳng hạn, giao thức TCP có độ tin cậy truyền tin cao, nhưng tốc độ truyền tin bị hạn chế do phải có giai đoạn thiết lập và giải phóng liên kết khi truyền tin, khi gói tin có lỗi hay bị thất lạc thì giao thức TCP phải có trách nhiệm truyền lại…Ngược lại, giao thức UDP có tốc

độ truyền tin rất nhanh vì nó chỉ có một cơ chế truyền tin rất đơn giản: không cần phải thiết lập và giải phóng liên kết Khi lập trình cho TCP ta sử dụng các socket luồng, còn đối với giao thức UDP ta sẽ sử dụng lớp DatagramSocket và DatagramPacket

Truyền tin hướng liên kết nghĩa là cần có giai đoạn thiết lập liên kết và giải phóng liên kết trước khi truyền tin Dữ liệu được truyền trên mạng Internet dưới

dạng các gói (packet) có kích thước hữu hạn được gọi là datagram Mỗi datagram chứa một header và một payload Header chứa địa chỉ và cổng cần truyền gói tin đến, cũng như địa chỉ và cổng xuất phát của gói tin, và các thông tin khác được sử dụng để đảm bảo độ tin cậy truyền tin, payload chứa dữ liệu Tuy nhiên do các datagram có chiều dài hữu hạn nên thường phải phân chia dữ liệu thành nhiều gói

và khôi phục lại dữ liệu ban đầu từ các gói ở nơi nhận Trong quá trình truyền tin có thể có thể có một hay nhiều gói bị mất hay bị hỏng và cần phải truyền lại hoặc các gói tin đến không theo đúng trình tự Để tránh những điều này, việc phân chia dữ liệu thành các gói, tạo các header, phân tích header của các gói đến, quản lý danh sách các gói đã nhận được và các gói chưa nhận được, … rất nhiều công việc cần phải thực hiện, và đòi hỏi rất nhiều phần mềm phức tạp

Thật may mắn, ta không cần phải tự thực hiện công việc này, Socket là một cuộc cách mạng của Berkeley UNIX Chúng cho phép người lập trình xem một liên kết mạng như là một luồng mà có thể đọc dữ liệu ra hay ghi dữ liệu vào từ luồng này

Về mặt lịch sử Socket là một sự mở rộng của một trong những ý tưởng quan trọng nhất của UNIX: tất cả các thao tác vào/ra giống như vào ra tệp tin đối với người lập trình, cho dù ta đang làm việc với bàn phím, màn hình đồ họa, một file thông thường, hay một liên kết mạng Các Socket che dấu người lập trình khỏi các chi tiết mức thấp của mạng như môi kiểu đường truyền, các kích thước gói, yêu cầu truyền lại gói, các địa chỉ mạng…

Một socket có thể thực hiện bảy thao tác cơ bản:

 Kết nối với một máy ở xa (ví dụ, chuẩn bị để gửi và nhận dữ liệu)

Mạng ngang hàng là một hệ thống phân tán đặc biệt, ở đó mỗi peer có thể giao tiếp với nhau thông qua giao thức định tuyến trong các tầng mạng ngang hàng Mỗi peer giữ một đối tượng dữ liệu (nhạc, ảnh, tài liệu….) Mỗi peer có thể truy vấn tới đối đượng peer gần nó mà có dữ liệu nó cần thông qua kết nối logic trong tần mạng ngang hàng

Overlay network là mạng máy tính được xây dựng trên nền của một mạng khác Các nodes trong mạng overlay được kết nối với nhau bằng kết nối ảo (logical links) mỗi logical links có thể bao gồm rất nhiều các liên kết vật lí của mạng nền Nhiều mạng P2P được gọi là overlay networks vì nó được xây dựng và hoạt động trên nền internet

Tốc độ chia sẻ Cố định phụ thuộc vào băng

thông và tốc độ mạng

Chậm khi ít peer Càng nhiều peer thì tốc độ càng cao

Nguy cơ Nghẽn cổ chai nếu quá nhiều

client và server không đáp ứng được

Kém tin cậy khi các peer

có thể lấy dữ liệu thông qua peer khác

Khả năng mở

rộng

Kém phụ thuộc vào phần cứng

Cao càng nhiều user sử dụng tốc độ càng cao

Do tình hình thực tế khi khảo sát nghiệp vụ và nhu cầu truyền dữ liệu của ngành KTTV Người viết xin chọn mô hình client-server là mô hình sẽ áp dụng trong quá trình xây dựng phần mềm đồng bộ dữ liệu khí tượng thủy văn do:

 Số lượng client hiện tại chưa cao (khoảng dưới 100 user)

 Hạ tầng server được đầu tư tương đối tốt

 Yêu cầu dữ liệu tập trung để xử lý

 Yêu cầu tính chính xác cao không để xảy ra thất thoát dữ liệu

 Nó có thể tự động chạy khi máy tính được boots lên, có thể restart hay pause

mà không cần một sự tác động nào của người dùng tới các công cụ liên quan tới UI, và không cần logon vào Windows

2.3.2 Tại sao lại cần phải sử dụng windows services

Một trong những yêu cầu của hệ thống đồng bộ KTTV là hệ thống phải hoạt động liên tục, dữ liệu được truyền real time Dữ liệu được tự động đồng bộ tới các bên tham gia hệ thống, người dùng cũng không cần thao tác quá nhiều tới hệ thống đồng bộ Một services sẽ được chạy khi windows khởi động mà không cần bất kỳ lệnh đăng nhập hệ thống nào Services đó sẽ chạy ngầm cho đến khi server bị tắt

Để đáp ứng tính realtime của dữ liệu, tránh tính trạng gián đoạn dữ liệu khi server

vô tình gặp sự cố (ví dụ mất điện) và đến khi server đó được bật lên mà lúc đó quản trị viên chưa đăng nhập vào windows

2.4 Kết luân chương

Thông qua việc đề cập và phân tích các giải pháp khoa học kỹ thuật phù hợp với yêu cầu, hiện trạng và nhu cầu đồng bộ dữ liệu KTTV, tác giả đã chọn ra được giải pháp phù hợp cho hệ thống Hệ thống sẽ được xây dựng theo mô hình client-server

và truyền dữ liệu bằng socket TCP, phần mềm hoạt động trong hệ thống được xây dựng dưới dạng Windows Services và được viết bằng ngôn ngữ C#

CHƯƠNG 3 THIẾT KẾ VÀ XÂY DỰNG HỆ THỐNG ĐỒNG

BỘ DỮ LIỆU KTTV

Nội dung chương này sẽ tập trung vào phần thiết kế và xây dựng hệ thống Phần thiết kế hệ thống sẽ bao gồm thiết kế xây dựng mô hình đồng bộ dữ liệu KTTV, thiết kế cơ sở dữ liệu Phần xây dựng hệ thống bao gồm phần viết phần mềm đồng

bộ dữ liệu KTTV trên hệ thống đã được thiết kế

3.1 Thiết kế mô hình phân tán cân bằng tải Client-Server

Do nhược điểm cố hữu của hệ thống đồng bộ hoạt động theo mô hình server là bị nghẽn cổ chai nếu quá nhiều client yêu cầu và server không đáp ứng được ngay lúc đó Giải pháp mô hình phân tán cân bằng tải sẽ giúp khắc phục nhược điểm này Dưới đây là hình vẽ mô tả hệ thống cân bằng tải đã được thiết kế

client-để đáp ứng nhu cầu truyền nhận của trung tâm TTDL và các đơn vị khai thác sử dụng

Server-Client Server-Client

Server-Client

Client Client

3.1.1 Lớp thứ nhất (lớp core)

Lớp này bao gồm server của TTDL và server của TTDB Trong đó server của trung tâm dự báo sẽ kết nối tới server của TTDL để lấy dữ liệu Server TTDL ở lớp này được cấp quyền cao nhất (quản trị) cho phép quản trị các client và server phía dưới Các client lớp dưới muốn tham gia vào hệ thống sẽ phải được server quản trị này cấp phép và server này sẽ quyết định từng loại dữ liệu được trao đổi của các client cấp dưới Server này cũng có quyền xác xác định đường đi của dữ liệu trong

hệ thống để đảm bảo hệ thống hoạt động trơn tru ổn định bằng cách định danh client nào được kết nối với server nào trong hệ thống Lớp này sẽ chia sẻ dữ liệu lẫn nhau

và chia sẻ dữ liệu cho các server ở lớp thứ 2

3.1.3 Lớp thứ 3 (lớp người dùng)

Lớp này bao gồm nhiều server- máy tính của các đơn vị khai thác dữ liệu (ĐKV, trung tâm Tỉnh, Quốc tế, đơn vị cộng tác…) Các đơn vị này sẽ kết nối tới một trong các server ở lớp 2 theo mức ưu tiên đã được qui định bởi Server Core Khi có sự cố xảy ra các máy tính, server của lớp 3 này sẽ tự động chuyển mức ưu tiên sang server khác ở lớp 2 để trao đổi dữ liệu để đảm bảo tính liên tục của dữ liệu

3.1.4 Ưu nhược điểm của mô hình

a) Ưu điểm:

 Giảm tải cho server cntt ở lớp 1 Server này sẽ phải chịu tải cho một số server ở lớp 2

 Các server lớp 2 cũng như lớp 1 sẽ back up lẫn nhau trong trường hợp có sự

cố về đường truyền, điện, sự cố máy tính …các client luôn chắc chắn kết nối được tới 1 trong các server ở lớp 2 để trao đổi dữ liệu

 Quản lý tập trung, dữ liệu sẽ được tập trung tại server ở lớp 1 việc quản lý các kết nối cũng diễn ra ở đó, đảm bảo về mặt lưu trữ số liệu hàng ngày, tránh trường hợp dữ liệu bị phân tán ở nhiều nơi

Bảng 3-1: Liệt kê use-case

Tự động kết nối trở lại 6

9b

Kiểm tra trạng thái của client và server 7

9c

9d

Xử lý yêu cầu truyền nhận file 13

Tạo phiên làm việc

Hủy phiên làm việc

Xác thực kết nối

<<include>>

<<include>>

Hình 3-3 User-Case Quản lý phiên làm việc