Nghiên cứu các kỹ thuật nâng cao hiệu quả đồng bộ dữ liệu khí tượng thủy văn (Luận văn thạc sĩ)

Nghiên cứu các kỹ thuật nâng cao hiệu quả đồng bộ dữ liệu khí tượng thủy vănNghiên cứu các kỹ thuật nâng cao hiệu quả đồng bộ dữ liệu khí tượng thủy vănNghiên cứu các kỹ thuật nâng cao hiệu quả đồng bộ dữ liệu khí tượng thủy vănNghiên cứu các kỹ thuật nâng cao hiệu quả đồng bộ dữ liệu khí tượng thủy vănNghiên cứu các kỹ thuật nâng cao hiệu quả đồng bộ dữ liệu khí tượng thủy vănNghiên cứu các kỹ thuật nâng cao hiệu quả đồng bộ dữ liệu khí tượng thủy vănNghiên cứu các kỹ thuật nâng cao hiệu quả đồng bộ dữ liệu khí tượng thủy vănNghiên cứu các kỹ thuật nâng cao hiệu quả đồng bộ dữ liệu khí tượng thủy vănNghiên cứu các kỹ thuật nâng cao hiệu quả đồng bộ dữ liệu khí tượng thủy văn

HỌC VIỆN CÔNG NGHỆ BƯU CHÍNH VIỄN THÔNG

-

Nguyễn Văn Khoa

NGHIÊN CỨU CÁC KỸ THUẬT NÂNG CAO HIỆU QUẢ ĐỒNG BỘ DỮ LIỆU KHÍ TƯỢNG THỦY VĂN

LUẬN VĂN THẠC SĨ KỸ THUẬT

(Theo định hướng ứng dụng)

HÀ NỘI – 2018

HỌC VIỆN CÔNG NGHỆ BƯU CHÍNH VIỄN THÔNG

-

Nguyễn Văn Khoa

NGHIÊN CỨU CÁC KỸ THUẬT NÂNG CAO HIỆU QUẢ ĐỒNG BỘ DỮ LIỆU KHÍ TƯỢNG THỦY VĂN

Chuyên ngành: Hệ thống thông tin

i

LỜI CAM ĐOAN

Tôi cam đoan đây là công trình nghiên cứu của riêng tôi

Các số liệu, kết quả nêu trong luận văn là trung thực và chưa từng được ai công bố trong bất kỳ công trình nào khác

Tác giả luận văn

Nguyễn Văn Khoa

ii

LỜI CẢM ƠN

Để hoàn thành được luận văn này, ngoài sự nghiên cứu và những cố gắng của bản thân, em xin gửi lời cảm ơn sâu sắc tới Tiến sĩ Hoàng Xuân Dậu, giáo viên trực tiếp hướng dẫn, tận tình chỉ bảo và định hướng cho em trong suốt quá trình nghiên cứu và thực hiện luận văn

Em xin gửi lời cảm ơn chân thành, cảm ơn tất cả các thầy cô giáo của Học viện Công nghệ Bưu chính Viễn thông đã giảng dạy và dìu dắt em trong trong suốt quá trình học tập tại trường

Cuối cùng, em xin gửi lời cảm ơn tới gia đình, bạn bè và những người đã luôn ở bên cổ vũ tinh thần, tạo điều kiện thuận lợi cho em để em có thể học tập tốt

và hoàn thiện luận văn

Em xin chân thành cảm ơn!

iii

DANH MỤC CÁC KÝ HIỆU, CÁC CHỮ VIẾT TẮT

IP Internet Protocol Giao thức liên mạng

KTTV Khí tượng thủy văn

TCP/IP Transmission Control

Protocol/Internet Protocol

Bộ giao thức liên mạng

NIST National Institute of

Standards and Technology

Viện Tiêu chuẩn và Kĩ thuật Quốc gia Hoa Kỳ

CNTT Công nghệ thông tin

Dropbox Phần mềm lưu trữ, đồng bộ

dữ liệu của công ty Dropbox

iv

DANH MỤC CÁC BẢNG

Bảng 3.1: Thư mục dữ liệu tại trung tâm thông tin và dữ liệu KTTV 38

Bảng 3.2: Thư mục dữ liệu tại đài KTTV khu vực Tây Bắc 39

Bảng 3.3: Đánh giá các chức năng thử nghiệm 45

Bảng 3.4: Truyền file thử nghiệm với mô hình đồng bộ dữ liệu ưu tiên 46

Bảng 3.5: Truyền file thử nghiệm với phần mềm đồng bộ tại trung tâm 46

Bảng 3.6: Truyền file thử nghiệm mô hình đồng bộ dữ liệu ưu tiên với bản tin và ảnh radar 47

Bảng 3.7: Truyền file thử nghiệm mô hình đồng bộ dữ liệu ưu tiên với bản tin 47

Bảng 3.8: Truyền file thử nghiệm mô hình đồng bộ dữ liệu ưu tiên với ảnh radar 47

v

DANH MỤC CÁC HÌNH

Hình 0.1: Mô hình hệ thống đồng bộ dữ liệu KTTV hiện có 2

Hình 1.1: Mô hình mạng khách chủ 7

Hình 1.2: Mô hình mạng ngang hàng 8

Hình 1.3:Mô hình hoạt động của Dropbox 9

Hình 2.2: Hàng đợi tổng quát 14

Hình 2.3: Các dạng hệ thống hàng đợi 15

Hình 2.4: Mô tả cách lấy gói tin của hàng đợi ưu tiên 16

Hình 2.5: Tiến trình gửi gói tin của Priority Queueing 17

Hình 2.6: Cây có thứ tự từng phần 21

Hình 2.7: Các giao thức trong lập trình Socket 26

Hình 2.8: Mô hình hoạt động của FTP 28

Hình 2.9: So sánh hiệu năng truyền của kiến trúc Client/Server và P2P 30

Hình 2.10: Sự ảo hóa với nhiều cấp độ 32

Hình 2.11: Mô hình hoạt động của GridFTP 32

Hình 3.1: Mô hình quản trị hệ thống tích hợp, xử lý và chuyển mạch tự động dữ liệu KTTV 35

Hình 3.2: Mô hình hệ thống đồng bộ dữ liệu KTTV 36

Hình 3.3: Mô hình đồng bộ dữ liệu có ưu tiên theo mô hình client/server 40

Hình 3.4: Mô tả truyền một thông điệp có ưu tiên từ server đến client 40

Hình 3.5: Mô tả truyền một thông điệp có ưu tiên từ client đến server 41

Hình 3.6: Tổ chức thư mục tại server 41

Hình 3.7: Tổ chức thư mục tại client 41

Hình 3.8: Mô hình truyền file dữ liệu có ưu tiên 42

Hình 3.9: Mô hình hàng đợi ưu tiên dùng cấu trúc đống 42

Hình 3.10: Giao diện server đồng bộ dữ liệu ưu tiên 44

Hình 3.11: Giao diện client đồng bộ dữ liệu ưu tiên 45

vi

MỤC LỤC

DANH MỤC CÁC KÝ HIỆU, CÁC CHỮ VIẾT TẮT iii

DANH MỤC CÁC BẢNG iv

DANH MỤC CÁC HÌNH v

MỞ ĐẦU 1

Chương1: TỔNG QUAN VỀ HỆ THỐNG ĐỒNG BỘ DỮ LIỆU 4

1.1 Khái quát về hệ thống đồng bộ dữ liệu 4

1.1.1 Giới thiệu 4

1.1.2 Các thành phần 5

1.1.3 Các yêu cầu 6

1.2 Các kỹ thuật đồng bộ dữ liệu 6

1.3 Kết luận chương 12

Chương2: HÀNG ĐỢI CÓ ƯU TIÊN VÀ ĐỒNG BỘ FILE DỮ LIỆU 13

2.1 Hàng đợi có ưu tiên 13

2.1.1 Khái quát về hàng đợi và hàng đợi có ưu tiên 13

2.1.2 Các giải thuật xử lý hàng đợi có ưu tiên 20

2.1.3 Ứng dụng của hàng đợi có ưu tiên: 23

2.2 Đồng bộ file dữ liệu 24

2.2.1 Một số khái niệm 24

2.2.1 Khái quát về đồng bộ file dữ liệu 25

2.2.2 Các kỹ thuật đồng bộ file dữ liệu 25

2.2.3 Một số ứng dụng đồng bộ file dữ liệu 28

2.3 Kết luận chương 33

Chương3: XÂY DỰNG VÀ THỬ NGHIỆM MÔ HÌNH ĐỒNG BỘ DỮ LIỆU CÓ ƯU TIÊN 34

3.1 Hiện trạng hệ thống đồng bộ dữ liệu tại Trung tâm thông tin và dữ liệu KTTV 34

vii

3.1.1 Mô hình và các thành phần của hệ thống đồng bộ dữ liệu hiện

có 35

3.1.2 Các dạng dữ liệu đồng bộ 38

3.1.3 Các tồn tại của hệ thống đồng bộ dữ liệu hiện có 39

3.2 Xây dựng mô hình đồng bộ dữ liệu có ưu tiên 40

3.2.1 Mô hình đồng bộ dữ liệu có ưu tiên 40

3.2.2 Hoạt động của mô hình 42

3.3 Cài đặt và thử nghiệm 43

3.3.1 Các yêu cầu phần cứng và phần mềm 43

3.3.2 Giới thiệu các mô đun chương trình 43

3.3.3 Một số kết quả và đánh giá 44

3.4 Định hướng ứng dụng mô hình đồng bộ dữ liệu có ưu tiên vào hệ thống đồng bộ dữ liệu tại Trung tâm thông tin và dữ liệu KTTV 47

3.5 Kết luận chương 48

KẾT LUẬN 49

DANH MỤC TÀI LIỆU THAM KHẢO 50

ra nhanh chóng, đầy đủ, kịp thời để có thể đảm bảo phục vụ hiệu quả công tác điều hành chỉ đạo, điều hành, cũng như cung cấp dữ liệu cho dự báo KTTV, phục vụ phòng tránh thiên tai của các cơ quan, đơn vị và người dân

Hiện tại, hệ thống mạng tại Trung tâm Khí tượng thủy văn quốc gia đã hỗ trợ tính năng trao đổi, đồng bộ dữ liệu 2 chiều từ giữa Trung tâm Công nghệ thông tin KTTV và các đài KTTV địa phương, cho phép chuyển dữ liệu từ các trạm đo địa phương về trung tâm và chuyển các bản tin dự báo khí tượng thủy văn và một

số dữ liệu vệ tinh xuống các đài khí tượng thủy văn địa phương Tuy nhiên, do tính năng trao đổi, đồng bộ dữ liệu hiện có sử dụng lập trình socket để chuyển tất

cả các loại dữ liệu theo 2 chiều nên hiệu quả không cao, đặc biệt hay xảy ra lỗi trong khi truyền các dữ liệu ảnh vệ tinh có kích thước lớn Hơn nữa, tính năng trao đổi, đồng bộ dữ liệu hiện có không hỗ trợ việc chuyển nhanh các bản tin có độ ưu tiên cao, như các bản tin cảnh báo thiên tai, nên chưa thực sự đáp ứng được yêu cầu quản lý, điều hành Như vậy, việc nghiên cứu giải pháp nâng cao hiệu quả của

hệ thống trao đổi, đồng bộ dữ liệu KTTV là yêu cầu cấp thiết, nhằm đáp ứng yêu

2

cầu trao đổi dữ liệu kịp thời, đầy đủ, đáp ứng tốt hơn yêu cầu quản lý, điều hành của Trung tâm Khí tượng thủy văn quốc gia

Dựa trên phân tích nêu trên, học viên lựa chọn đề tài "Nghiên cứu các kỹ

thuật nâng cao hiệu quả đồng bộ dữ liệu khí tượng thủy văn" làm luận văn tốt

nghiệp cao học của mình với 2 mục tiêu: (1) nghiên cứu kỹ thuật hàng đợi có ưu tiên và ứng dụng trong vận chuyển các bản tin có độ ưu tiên khác nhau và (2) nghiên cứu kỹ thuật hiệu quả cho đồng bộ các file dữ liệu có kích thước lớn, nhằm tăng tốc độ truyền file và giảm tỷ lệ lỗi truyền

Đề tài luận văn tập trung phân tích các tồn tại và đề xuất các kỹ thuật khắc phục trong hệ thống trao đổi dữ liệu hai chiều giữa Trung tâm Công nghệ thông tin KTTV và các Đài KTTV khu vực Các tồn tại bao gồm:

 Không hỗ trợ cơ chế truyền các dữ liệu có ưu tiên: Do hệ thống đồng bộ hiện tại sử dụng một hàng đợi (queue) không có ưu tiên để truyền tất cả các loại dữ liệu theo 2 chiều, nên không có khả năng đáp ứng yêu cầu truyền phát các bản tin KTTV khẩn cấp, hoặc có độ ưu tiên cao Đặc biệt, khi hệ thống đang truyền dữ liệu file ảnh vệ tinh có kích thước lớn, thời gian truyền kéo dài, gây chậm trễ đáng kể cho việc truyền phát các bản tin KTTV khẩn cấp

 Hiệu quả thấp, hay xảy ra lỗi truyền khi truyền dữ liệu file ảnh vệ tinh: Do

hệ thống hiện tại dựa trên lập trình socket nên không được tối ưu hóa cho việc truyền các file dữ liệu ảnh vệ tinh Việc truyền có thể kéo dài và tỷ lệ truyền lỗi tương đối cao (có thể đến 30%) Hơn nữa, hệ thống hiện tại cũng không hỗ trợ cơ chế truyền tiếp (resume) khi gặp trục trặc Do vậy, mọi trường hợp truyền lỗi đều phải truyền lại

Để khắc phục các tồn tại trên, luận văn đề xuất hướng nghiên cứu triển khai như sau:

 Nghiên cứu ứng dụng cơ chế truyền dữ liệu có ưu tiên: Các bản tin dữ liệu được truyền theo ưu tiên, trong đó, các bản tin khẩn cấp có độ ưu tiên cao

 Phương pháp nghiên cứu là nghiên cứu lý thuyết kết hợp với thực nghiệm

và phân tích, đánh giá kết quả

 Đối tượng nghiên cứu: Các kỹ thuật hàng đợi có ưu tiên, các kỹ thuật trao đổi, đồng bộ các file dữ liệu có kích thước lớn

 Phạm vi nghiên cứu: Giới hạn trong hệ thống đồng bộ dữ liệu khí tượng

thủy văn dựa trên hệ thống mạng TCP/IP

Kết quả của luận văn

 Nghiên cứu kỹ thuật hàng đợi có ưu tiên và ứng dụng trong vận chuyển các bản tin có độ ưu tiên khác nhau;

 Nghiên cứu kỹ thuật hiệu quả cho đồng bộ các file dữ liệu có kích thước

lớn, nhằm tăng tốc độ truyền file và giảm tỷ lệ lỗi truyền

Bố cục luận văn gồm 3 chương:

 Chương 1: Tổng quan hệ thống đồng bộ dữ liệu

 Chương 2: Hàng đợi có ưu tiên và đồng bộ file dữ liệu

 Chương 3: Xây dựng mô hình đồng bộ dữ liệu có ưu tiên kết quả và đánh giá mô hình

Ngày nay với sự bùng nổ mạnh mẽ của công nghệ thông tin và truyền thông

đã làm cho xóa bỏ rào cản về khoảng cách địa lý giữa các máy tính trong hệ thống mạng muốn chia sẻ và trao đổi dữ liệu với nhau và việc chia sẻ dữ liệu qua hệ thống mạng ngày càng nhanh và ổn định và toàn vẹn dữ liệu Hệ thống đồng bộ dữ liệu là hệ thống có quá trình trao đổi và đồng bộ hóa thông tin giữa hai nguồn dữ liệu theo thời gian

Hệ thống đồng bộ dữ liệu cá nhân ngày nay càng trở lên gần gũi ứng dụng trong cuộc sống như hãng Google đã cung cấp dịch vụ đồng bộ dữ liệu lên điện toán đám mây là Google driver cho phép người dùng đẩy dữ liệu lên hệ thống mà không sợ mất dữ liệu, ngoài ra dữ liệu có thể truy nhập được ở bất cứ đâu nếu có kết nối internet

Mọi người giờ đây đã không còn phải “gắn bó” với một nơi lưu trữ hoặc thiết bị cụ thể nào mỗi khi muốn hoàn thành công việc trên máy tính xách tay, máy tính bảng hoặc thậm chí là điện thoại thông minh Khó khăn nằm ở chỗ làm sao cho tất cả mọi thứ được đồng bộ hóa để chúng ta có thể truy cập vào cùng một dữ liệu từ một trong các nền tảng trên

Hiệu suất công việc sẽ bị ảnh hưởng khi chúng ta đang làm việc ở quán cafe nhưng lại cần file trình chiếu nằm ở trong máy tính văn phòng Hoặc, khi cần thực hiện một cuộc gọi khẩn cấp, chúng ta sẽ thấy khó khăn bởi số điện thoại của khách hàng này nằm ở chiếc laptop ở nhà và nó vẫn chưa được đồng bộ hóa với chiếc điện thoại đang sử dụng

Giải pháp đồng bộ hóa dữ liệu có thể giúp chúng ta tự động đồng bộ hóa giữa các nền tảng và tránh viễn cảnh gặp rắc rối như bên trên

5

Đồng bộ hóa gồm đồng bộ hóa email, liên lạc và lịch làm việc, đồng bộ file

dữ liệu khi chúng ta dùng dịch vụ đồng bộ của hãng Google với các dịch vụ của Google, ví như Gmail, Google Calendar, và Contacts, Google driver

Với việc đồng bộ hóa email, liên lạc và lịch làm việc, giải pháp tiện lợi nhất

là sử dụng lưu trữ đám mây, ví như OneDrive hoặc Google drive, Dropbox Bằng cách lưu trữ các file này trực tuyến, chúng ta có thể truy cập chúng ở bất kì nơi nào, sử dụng gần như bất kì thiết bị nào có kết nối với Web ngay khi tìm thấy kết nối Internet

Quan trọng hơn, chúng ta có thể làm việc ngoại tuyến khi cần thiết nhưng vẫn có dữ liệu được đồng bộ hóa giữa các nền tảng và thiết bị khác nhau Dropbox cung cấp giải pháp dữ liệu sẽ tự động được đồng bộ hóa từ máy tính đến đám mây

và điện thoại cũng tích hợp với dữ liệu được lưu trữ trên Dropbox hoặc Google driver Người dùng điện thoại di động và máy tính bảng khác vẫn có thể sử dụng trình duyệt để duyệt trang chủ của Dropbox hoặc Google driver

Trong tương lai, có thể chúng ta sẽ có được chuẩn tốt hơn cùng khả năng đồng bộ hóa các file và dữ liệu qua các nền tảng và thiết bị khác nhau đơn giản và

dễ dàng hơn Hiện tại, điều này có thể thực hiện được, nhưng dựa vào thiết bị cần đồng bộ hóa, chúng ta sẽ phải thực hiện một số kỹ thuật để có thể làm việc với chúng

Trước đây ở Trung tâm thông tin và dữ liệu KTTV có các nguồn dữ liệu phân tán ở khắp các nơi trên toàn lãnh thổ Việt Nam do đó quá trình thu nhận dữ liệu từ các nguồn về trung tâm là rất khó khăn khi chưa có hệ thống mạng Internet rộng khắp Ngược lại, dữ liệu từ trung tâm muốn gửi về các địa phương trên toàn lãnh thổ cũng gặp khó khăn như vậy do vị trí địa lý xa xôi Tuy nhiên, nhờ có sự phát triển của công nghệ thông tin, viễn thông và đặc biệt là mạng Internet, việc trao đổi đồng bộ dữ liệu giữa trung tâm và địa phương được thực hiện dễ dàng hơn

1.1.2 Các thành phần

Hệ thống đồng bộ gồm các thành phần chính là:

6

- Dữ liệu đồng bộ:

Dữ liệu đồng bộ gồm file, cơ sở dữ liệu, email, liên lạc và lịch làm việc Đây là các tài nguyên dữ liệu cần được đồng bộ

- Thiết bị nguồn chứa dữ liệu:

Gồm điện thoại di động, máy tính bảng, máy tính cá nhân, máy chủ, điện toán đám mây Đây là các thiết bị chứa dữ liệu nguồn cần đồng bộ

- Thiết bị đích chứa dữ liệu:

Gồm điện thoại di động, máy tính bảng, máy tính cá nhân, máy chủ, điện toán đám mây .Đây là các thiết bị đích chứa dữ liệu đồng bộ

- Hệ thống mạng kết nối cácthiết bị:

Hệ thống mạng gồm mạng LAN, MAN, WAN, mạng internet là cầu nối giữa các thiết bị cần đồng bộ dữ liệu

1.1.3 Các yêu cầu

Các yêu cầu đối với hệ thống đồng bộ dữ liệu gồm:

- Tốc độ đồng bộ: Đảm bảo đồng bộ với tốc độ cao, tận dụng tối đa băng thông có sẵn

- Đảm bảo chất lượng đồng bộ: Các thông điệp, file dữ liệu được đồng bộ đầy đủ, có hỗ trợ cơ chế kiểm tra tính toàn vẹn dữ liệu

- Khả năng chịu lỗi: Có khả năng tự phục hồi, khởi động lại, truyền lại thông điệp, file dữ liệu mỗi khi có lỗi hệ thống, hoặc lỗi đường truyền

- Khả năng mở rộng: Hệ thống phải dễ mở rộng để đáp ứng nhu cầu tăng dung lượng dữ liệu đồng bộ

1.2 Các kỹ thuật đồng bộ dữ liệu

1.2.1 Đồng bộ dữ liệu theo mạng khách chủ

Mạng khách chủ (Client/Server network) là mạng mà trong đó có một số máy chủ (Server) đóng vai trò cung ứng dịch vụ theo yêu cầu của các máy khách

7

(Client) Các máy khách trong mô hình là nơi gửi các yêu cầu xử lý về máy chủ Máy chủ xử lý và gửi kết quả về máy khách Máy khách có thể tiếp tục xử lý các kết quả này để phục vụ cho công việc Đồng bộ dữ liệu theo mạng khách chủ có nghĩa là đồng bộ hóa dữ liệu từ máy chủ chuyển tới máy khách và ngược lại

Ƣu điểm của mạng khách chủ:

+ Cho phép cả điều khiển tập trung và không tập trung các tài nguyên và bảo mật dữ liệu có thể được điều khiển qua một số máy chuyên dụng;

+ Chống quá tải mạng;

+ Đảm bảo toàn vẹn dữ liệu;

+ Giảm chi phí phát triển các hệ thống ứng dụng phần mềm triển khai trên mạng

Nhƣợc điểm của mạng khách chủ:

+ Cần server riêng (có thể là điểm nghẽn cổ chai)

+ Chi phí đắt do cần máy chủ chuyên dụng

+ Phức tạp trong việc bảo trì, duy trì hoạt động của mạng

Hình 1.1: Mô hình mạng khách chủ

1.2.2 Đồng bộ dữ liệu theo mạng ngang hàng

Mạng ngang hàng (Peer to peer network - P2P), còn gọi là mạng đồng đẳng, là một mạng máy tính trong đó hoạt động của mạng chủ yếu dựa vào khả năng tính toán và băng thông của các máy tham gia chứ không tập trung vào một

số nhỏ các máy chủ trung tâm như các mạng thông thường Mạng đồng đẳng có

8

nhiều ứng dụng Ứng dụng thường gặp nhất là chia sẻ tệp tin, tất cả các dạng như

âm thanh, hình ảnh, dữ liệu,

Mạng ngang hàng không có khái niệm máy chủ và máy khách, nói cách khác, tất cả các máy tham gia đều bình đẳng và được gọi là một nút mạng đóng vai trò đồng thời là máy khách và máy chủ đối với các máy khác trong mạng

Mạng ngang hàng bắt đầu xuất hiện từ năm 1999 và đã thu hút sự quan tâm của giới CNTT trong những năm gần đây Đặc biệt việc áp dụng các mô hình P2P trong việc xây dựng những ứng dụng chia sẻ file (file sharing), điện thoại trên nền Internet (Internet-based telephony) đã đạt được nhiều thành công

Ƣu điểm của mạng ngang hàng:

+ Không cần server riêng, các client chia sẻ tài nguyên Khi mạng càng được mở rộng thì khả năng hoạt động của hệ thống càng tốt

+ Chi phí thấp do không cần máy chủ chuyên dụng

9

1.2.3 Đồng bộ dữ liệu dựa trên đám mây[14]

Các dịch vụ lưu trữ và đồng bộ dữ liệu liệu dựa trên nền điện toán đám mây hiện nay được cung cấp khá phổ biến, như Google Drive, Dropbox, onedrive… Các dịch vụ này được đầu tư qui mô và bài bản bởi các tập đoàn lớn như Google, Microsoft… với hệ thống chuỗi máy chủ có công suất lớn Đa số các hệ thống này đều có nguyên lý hoạt động tương tự nhau, dưới đây mô tả hệ thống Dropbox - một trong những dịch vụ lưu trữ đồng bộ dữ liệu dựa trên nền điện toán đám mây được sử dụng rộng rãi

Dropbox là dịch vụ lưu trữ trực tuyến do công ty Dropbox phát triển Dropbox cung cấp các chức năng chính là lưu trữ và đồng bộ dữ liệu trực tuyến bằng công nghệ điện toán đám mây Khả năng đồng bộ theo thời gian thực và tự động thực hiện sao lưu dữ liệu giữa các phần mềm client Hình 1.3 mô tả mô hình hoạt động của Dropbox với phần mềm Dropbox của 1 user được cài ở máy tính ở nhà và ở cơ quan Phần mềm này sẽ được kết nối tới server của Dropbox thông qua internet

Hình 1.3: Mô hình hoạt động của Dropbox

(Nguồn: Phỏng theo mô hình hoạt động của Dropbox)

10

Dropbox cho phép người dùng tạo một thư mục đặc biệt trên máy tính khác nhau và khi người dùng đặt tập tin dữ liệu vào trong thư mục Dropbox trên một máy tính nào đó thì gần như ngay lập tức, chúng sẽ xuất hiện trên bất kì các thiết

bị khác mà đã được cài sẵn phần mềm và tài khoản Dropbox của người dùng Khả năng hỗ trợ nhiều client của Dropbox là rất tốt, chỉ cần có thiết bị có kết nối internet và tài khoản Dropbox là có thể truy cập được nguồn dữ liệu

Các tập tin của người dùng khi được đưa vào thư mục Dropbox sẽ được Dropbox sao chép và lưu trữ tự động trên các máy chủ an toàn của họ nên người dùng cũng có thể truy cập vào chúng từ bất kỳ các máy tính hoặc các thiết bị di động khác của người dùng thông qua trang web của Dropbox Ngay cả khi ở nhà hay khi ở nơi làm việc hoặc ở bất kỳ đâu chỉ cần có internet thì chúng ta đều có thể truy cập tập tin từ thiết bị của mình Dữ liệu khi được đưa vào thư mục đồng bộ thì

sẽ được đẩy lên máy chủ của Dropbox và khi client đăng nhập tài khoản Dropbox

đó ở bất kỳ đâu dữ liệu cũng được tự động tải về

Dropbox hỗ trợ chia sẻ tập tin một cách dễ dàng Chúng ta có thể dễ dàng chia sẻ một phần hoặc toàn bộ tài liệu bằng cách đặt các thư mục muốn chia sẻ vào Dropbox rồi sau đó gửi email mời những người mà mình muốn chia sẻ thư mục

đó Chúng ta cũng có thể gửi liên kết tải của những tập tin có trong Dropbox của mình cho người khác

Chức năng của Dropbox như một dịch vụ lưu trữ nên nó tập trung vào các chức năng đồng bộ hóa và chia sẻ Nó hỗ trợ truy vết lịch sử sửa đổi, nên các tập tin đã bị xóa từ thư mục Dropbox có thể được phục hồi từ bất kỳ máy tính được đồng bộ Dropbox hỗ trợ kiểm soát phiên bản của nhiều người dùng cho phép nhóm người dùng có thể chỉnh sửa tập tin mà không bị trường hợp ghi đè tập tin lên nhau Các phiên bản mặc định được lưu trong 30 ngày với số lượng vô hạn Việc quản lý phiên bản được kết hợp với việc sử dụng công nghệ mã hóa Delta Khi một tập tin trong thư mục Dropbox bị thay đổi thì Dropbox chỉ tải lên các phần tập tin bị thay đổi khi đồng bộ

11

Dropbox hiện đang sử dụng hệ thống lưu trữ của Amazon‟s simple storage service để lưu trữ tập tin Dropbox cũng sử dụng truyền tin SSL cho việc đồng bộ

và lưu trữ dữ liệu thông qua mã hóa AES-256

Ƣu điểm của dịch vụ Dropbox:

+ Hoạt động tương đối tốt và ổn định, có thể truy cập và lấy dữ liệu bất cứ nơi nào có internet, có thể truy cập từ nhiều thiết bị khác nhau, hỗ trợ đa nền tảng,

hỗ trợ chia sẻ dữ liệu khi làm việc nhóm

Nhƣợc điểm của dịch vụ Dropbox:

+ Tính bảo mật của dữ liệu: Khi các dữ liệu được đồng bộ lưu trữ trên máy chủ của Dropbox rồi sau đó mới được đồng bộ tới các đơn vị nhận số liệu (client) điều đó nảy sinh vấn đề rất lớn Các dữ liệu về địa hình, thời tiết, tài nguyên… vốn

là dữ liệu phải được đảm bảo tính bảo mật cực cao Bạn không thể chắc chắn rằng các dữ liệu đó có bị sử dụng vì mục đích nào khác hay không Việc để lộ các dữ liệu đó liên quan mật thiết tới an ninh quốc gia nên việc lưu trữ dữ liệu tại một máy chủ không do mình quản lý là vấn đề nhạy cảm Ngoài ra vấn đề bảo mật dữ liệu khi lưu trữ trên “mây” là phải phụ thuộc hoàn toàn vào phương án bảo mật của nhà cung cấp dịch vụ Nó có thể bớt đi phần nào khi chúng ta chọn nhà cung cấp dịch vụ uy tín Họ sẽ có những giải pháp bảo mật tốt cho dữ liệu của chúng ta tùy vào nhà cung cấp dịch vụ đám mây Tuy nhiên điều đó cũng không làm biến mất hoàn toàn mối lo về vấn đề này đối với số liệu quan trọng như số liệu KTTV

+ Thời gian ngừng hoạt động của hệ thống: Không một nhà cung cấp dịch

vụ đám mây nào có thể đảm bảo với bạn rằng máy chủ của họ sẽ chạy 100% liên tục và không bao giờ phải dừng lại, dù cho có sự cố Khi có sự cố phải chờ các hãng khắc phục thì mới có thể sử dụng trở lại chứ chúng ta không thể tự chủ động khắc phục được Trong khi đó việc truyền tải thông tin khí tượng thủy văn phải được đáp ứng liên tục, kịp thời để tránh gây thiệt hại to lớn về người và của Bạn thử tưởng tượng khi đang có nhu cầu đồng bộ thông tin số liệu gấp mà hệ thống máy chủ dropbox gặp sự cố sẽ gây vấn đề gián đoạn trong truyền tin gây ảnh hưởng nghiệm trong tới công tác truyền tin dự báo KTTV

12

+ Mất dữ liệu: Khi dịch vụ lưu trữ trực tuyến bất ngờ ngừng cung cấp dịch

vụ thì người dùng sẽ phải sao lưu dữ liệu điều này gây rất mất thời gian và công sức Và còn mối quan ngại rằng liệu người dùng có thể sao lưu toàn bộ dữ liệu của

họ không hay dữ liệu có thể bị hủy toàn bộ trong trường hợp dịch vụ này ngưng hoạt động

13

Chương2: HÀNG ĐỢI CÓ ƯU TIÊN VÀ

ĐỒNG BỘ FILE DỮ LIỆU

2.1 Hàng đợi có ưu tiên

2.1.1 Khái quát về hàng đợi và hàng đợi có ưu tiên

2.1.1.1.Khái niệm xếp hàng[3]:

Mô hình tổng quát của lý thuyết xếp hàng là khách hàng đến ở một thời điểm ngẫu nhiên nào đó và yêu cầu được phục vụ theo một loại nào đó Giả thiết thời gian phục vụ có thể là ngẫu nhiên

Hình 2.1: Mô hình tổng quát của lý thuyết xếp hàng

Đặt t n là khoảng thời gian giữa 2 lần đến của khách hàng thứ n và thứ n+1 Ta giả định rằng tất cả các t n (n> 1) là độc lập và có cùng phân bố Vì vậy việc đến của

khách hàng tạo thành 1 hàng kế tiếp nhau với tốc độ đến là ƛ (t1) Ta gọi

Quá trình xếp hàng được phân loại dựa vào các tiêu chí sau:

- Phân bố của quá trình đến (input process) là {Lq (t)} t>=0

- Phân bố của thời gian phục vụ (service distribution) {s n ; n = 1,2, }

- Nguyên tắc phục vụ: Các khách hàng đến được sắp xếp vào hàng đợi đến lượt được phục vụ Để đơn giản ta giả thiết chỉ có một hàng Tuy nhiên trong nhiều trường hợp có thể mở rộng cho nhiều hàng cùng hoạt động song song Nếu độ dài hàng có đặt ngưỡng thì các đơn vị đến hàng khi hàng đầy vượt ngưỡng sẽ bị loại Các khách hàng được chọn để phục vụ theo nguyên tắc "đến trước phục vụ trước" (FIFO), nghĩa là phục vụ cho khách nào đứng đầu hàng

- Cơ cấu phục vụ: Một phương tiện phục vụ bao gồm một hay nhiều Server Các Server có thể kết nối thành chuỗi vì thế mỗi yêu cầu phục vụ được phục vụ theo nhiều cách hoặc lần lượt hoặc song song

2.1.1.2.Các yếu tố cơ bản của hệ thống hàng đợi [3]

Hệ thống hàng đợi tổng quát được minh hoạ như Hình 2.2

15

Hình 2.3: Các dạng hệ thống hàng đợi

Các kênh phục vụ được hiểu là những thiết bị kĩ thuật hoặc con người hoặc những tổ hợp các thiết bị kĩ thuật và con người được tổ chức quản lí một cách thích hợp nhằm phục vụ các yêu cầu các tín hiệu đến hệ thống Chẳng hạn, ở các trạm điện thoại tự động, kênh phục vụ là các đường dây liên lạc cùng các thiết bị

kĩ thuật khác phục vụ cho việc đàm thoại

 Nguyên tắc phục vụ

Nguyên tắc phục vụ của hệ thống là cách thức nhận các yêu cầu vào các kênh phục vụ Nguyên tắc phục vụ cho biết trường hợp nào thì yêu cầu được nhận vào phục vụ và cách thức phân bố các yêu cầu vào các kênh như thế nào Đồng thời nguyên tắc phục vụ cũng cho biết trong trường hợp nào yêu cầu bị từ chối hoặc phải chờ và giới hạn của thời gian chờ

Một số nguyên tắc phục vụ thường được áp dụng trong các hệ thống hàng

đợi là FIFO(First in first out), LIFO(Last in first out), FCFS(First come first serve), có ưu tiên, không ưu tiên,

16

2.1.1.3 Hàng đợi có ƣu tiên Priority Queueing [5]:

a Khái niệm hàng đợi có ưu tiên

Hàng đợi ưu tiên là một kiểu dữ liệu trừu tượng tập hợp đặc biệt, trong đó mỗi phần tử có một độ ưu tiên nào đó Độ ưu tiên của phần tử thường là một số, theo đó, phần tử có độ ưu tiên nhỏ nhất sẽ được „ưu tiên‟ nhất Một cách tổng quát thì độ ưu tiên của một phần tử là một phần tử thuộc tập hợp được xếp theo thứ tự tuyến tính Ví dụ tại bệnh viện, các bệnh nhân xếp hàng để chờ phục vụ nhưng không phải người đến trước thì được phục vụ trước mà họ có độ ưu tiên theo tình trạng khẩn cấp của bệnh

Hình 2.4: Mô tả cách lấy gói tin của hàng đợi ƣu tiên

Tính năng đặc biệt của Priority Queueing là ở bộ lập lịch Priority Queueing lập lịch lưu lượng đảm bảo các phần tử được ưu tiên luôn được phục vụ trước Các mức ưu tiên thường sử dụng gồm: cao, trung bình, bình thường, và thấp Nếu hàng đợi ưu tiên cao luôn có một gói đang chờ, bộ lập lịch luôn luôn lấy các gói trong hàng đợi ưu tiên cao Nếu hàng đợi ưu tiên cao không có gói nào

17

đang chờ nhưng có trong hàng đợi ưu tiên trung bình, một gói trong hàng đợi này

sẽ được lấy và tiến trình cứ như thế tiếp tục

Bộ lập lịch Priority Queueing có một số thuận lợi và hạn chế Các gói trong hàng đợi ưu tiên cao có thể đạt 100% băng thông liên kết, với độ trì hoãn nhỏ và độ biến động trễ nhỏ Thật ra, khi nghẽn mạch, các gói trong hàng đợi ưu tiên thấp tốn nhiều thời gian phục vụ Khi liên kết tắc nghẽn, các ứng dụng người dùng có thể ngừng làm việc nếu các gói đặt trong hàng đợi ưu tiên thấp

Priority Queueing phân lớp các gói dựa trên nội dung của các tiêu đề Nó

sử dụng tối đa 4 hàng đợi Chỉ áp dụng chính sách hủy gói cuối hàng đợi (tail drop), mặt khác sau khi phân lớp các gói, nếu hàng đợi tương ứng đầy, các gói bị

bỏ Mặt khác, chiều dài mỗi hàng đợi là nguyên nhân ảnh hưởng đến độ trễ và mất gói Thật ra, Priority Queueing có thể thiết lập chiều dài hàng đợi trở về giá trị 0, có nghĩa là chiều dài hàng đợi “không giới hạn” (“không giới hạn” có nghĩa

là khi bộ định tuyến ra ngoài vùng nhớ, các gói không thể lập lịch, tuy nhiên chúng ta gặp vấn đề rắc rối hơn việc lập lịch cho gói nếu bộ định tuyến ngoài vùng nhớ.)

Hình 2.5: Tiến trình gửi gói tin của Priority Queueing

Các đặc điểm của Priority Queueing:

1)Priority Queueing có thể phân lớp các gói sử dụng danh sách điều khiển truy

5)Bên trong một hàng đợi, Priority Queueing sử dụng hảng đợi FIFO

6)Khi lập lịch các hàng đợi, Priority Queueing luôn phục vụ các hàng đợi ưu tiên cao trước

2.1.1.4 Các thuật toán lập lịch cho hàng đợi

Lập lịch có nghĩa là tổ chức một hàng đợi các tiến trình sẵn sàng để phân phối thời gian thực hiện các yêu cầu của hệ thống dựa trên độ ưu tiên của các tiến trình; sao cho hiệu suất sử dụng của hệ thống là tối ưu nhất Mỗi tiến trình ở trạng thái sẵn sàng sẽ được gắn với một thứ tự ưu tiên Thứ tự ưu tiên này được xác định dựa vào các yếu tố như: thời điểm hình thành tiến trình, thời gian thực hiện tiến trình, thời gian kết thúc tiến trình Các tiến trình đang chờ được cung cấp để được thực hiện được xếp vào hàng đợi sẵn sàng Các tiến trình khác có thể đang trong quá trình chờ kết thúc hoặc sẽ nằm trong các hàng đợi tương ứng Nội dung tiếp theo của mục này trình bày một số thuật toán lập lịch

a First Come First Served (FCFS)

Trong thuật toán này, độ ưu tiên phục vụ tiến trình căn cứ vào thời điểm hình thành tiến trình Hàng đợi các tiến trình được tổ chức theo kiểu FIFO Mọi tiến trình đều được phục vụ theo trình tự xuất hiện cho đến khi kết thúc hoặc bị ngắt

Ưu điểm của thuật toán này là giờ hệ thống không bị phân phối lại (không

bị ngắt) và chi phí thực hiện thấp nhất (vì không phải thay đổi thứ tự ưu tiên phục

vụ, thứ tự ưu tiên là thứ tự của tiến trình trong hàng đợi)

Nhược điểm của thuật toán là thời gian trung bình chờ phục vụ của các tiến

19

trình là như nhau (không kể tiến trình ngắn hay dài), do đó dẫn tới ba điểm sau:

-Thời gian chờ trung bình sẽ tăng vô hạn khi hệ thống tiếp cận tới hạn khả năng phục vụ của mình

-Nếu độ phát tán thời gian thực hiện tiến trình tăng thì thời gian chờ đợi trung bình cũng tăng theo

-Khi có tiến trình dài, ít bị ngắt thì các tiến trình khác phải chờ đợi lâu hơn

b Round robin

Giải thuật định thời luân phiên (round-robin scheduling algorithm-RR) được thiết kế đặc biệt cho hệ thống chia sẻ thời gian Để cài đặt định thời RR, chúng ta quản lý hàng đợi sẵn sàng như một hàng đợi FIFO của các quá trình Các quá trình mới được thêm vào đuôi hàng đợi Hệ thống chọn quá trình đầu tiên từ hàng đợi sẵn sàng, đặt bộ đếm thời gian để ngắt sau 1 định mức thời gian và gửi tới quá trình

- Thời gian chờ đợi trung bình dưới chính sách RR thường là quá dài

- Nếu thời gian quá ngắn so với thời gian xữ lý của một tiến trình trong danh sách hàng đợi thì việc chờ đợi và xử lý luân phiên sẽ nhiều

c Shortest Remain Time

Trong thuật toán này, độ ưu tiên thực hiện các tiến trình dựa vào thời gian cần thiết để thực hiện nốt tiến trình (bằng tổng thời gian trừ đi thời gian đã thực hiện) Như vậy, trong thuật toán này cần phải thường xuyên cập nhật thông tin về giời gian đã thực hiện của tiến trình Đồng thời, chế độ phân bổ cũng phải được

áp dụng nếu không sẽ làm mất tính ưu việc của thuật toán

20

Ưu điểm:

-Thời gian chờ đợi, tồn tại trong hệ thống của mỗi tiến trình đều ngắn

-Thuật toán tối ưu nhất

Nhược điểm:

-Việc cài đặt thuật toán khá phức tạp

-Cần quản lý chặt chẽ việc điều phối các tiến trình

2.1.2 Các giải thuật xử lý hàng đợi có ưu tiên

2.1.2.2 Sử dụng cây có thứ tự từng phần

a Định nghĩa cấu trúc cây

Cây là một tập hợp T các phần tử (gọi là nút của cây) trong đó có 1 nút đặc biệt được gọi là gốc, các nút còn lại được chia thành những tập rời nhau T1, T2 , ,

Tn theo quan hệ phân cấp trong đó Ti cũng là một cây Mỗi nút ở cấp i sẽ quản lý một số nút ở cấp i+1 Quan hệ này người ta còn gọi là quan hệ cha-con

b Một số khái niệm cơ bản

Bậc của một nút: là số cây con của nút đó

Bậc của một cây: là bậc lớn nhất của các nút trong cây (số cây con tối đa của một nút thuộc cây) Cây có bậc n thì gọi là cây n-phân

Nút gốc: là nút không có nút cha