Nghiên cứu mô hình giám sát trực tuyến cho hệ phân tán quy mô lớn (Luận án tiến sĩ)

Nghiên cứu mô hình giám sát trực tuyến cho hệ phân tán quy mô lớn (Luận án tiến sĩ)Nghiên cứu mô hình giám sát trực tuyến cho hệ phân tán quy mô lớn (Luận án tiến sĩ)Nghiên cứu mô hình giám sát trực tuyến cho hệ phân tán quy mô lớn (Luận án tiến sĩ)Nghiên cứu mô hình giám sát trực tuyến cho hệ phân tán quy mô lớn (Luận án tiến sĩ)Nghiên cứu mô hình giám sát trực tuyến cho hệ phân tán quy mô lớn (Luận án tiến sĩ)Nghiên cứu mô hình giám sát trực tuyến cho hệ phân tán quy mô lớn (Luận án tiến sĩ)Nghiên cứu mô hình giám sát trực tuyến cho hệ phân tán quy mô lớn (Luận án tiến sĩ)Nghiên cứu mô hình giám sát trực tuyến cho hệ phân tán quy mô lớn (Luận án tiến sĩ)

BỘ GIÁO DỤC VÀ ĐÀO TẠO ĐẠI HỌC ĐÀ NẴNG

BỘ GIÁO DỤC VÀ ĐÀO TẠO

LUẬN ÁN TIẾN SĨ KỸ THUẬT

Người hướng dẫn khoa học:

1 PGS.TS Lê Văn Sơn

2 PGS.TSKH Nguyễn Xuân Huy

ĐÀ NẴNG – 2017

Tác giả

NCS Trần Nguyễn Hồng Phúc

M Ụ C L Ụ C

DANH MỤC CÁC TỪ VIẾT TẮT VÀ THUẬT NGỮ TIẾNG ANH i

DANH MỤC CÁC KÝ HIỆU ii

DANH MỤC BẢNG BIỂU iii

DANH MỤC HÌNH VẼ iv

MỞ ĐẦU 1

1 Tính cấp thiết của việc nghiên cứu 1

2 Mục tiêu, đối tượng và phạm vi nghiên cứu 10

3 Phương pháp nghiên cứu 11

4 Các đóng góp chính 12

5 Cấu trúc của Luận án 13

CHƯƠNG 1 TỔNG QUAN VỀ GIÁM SÁT HỆ PHÂN TÁN 15

1.1 Hệ phân tán và các đặc trưng cơ bản 15

1.2 Khảo sát một số mô hình và giải pháp giám sát 18

1.2.1 Các tác vụ cơ bản trong giám sát và mô hình giám sát tham chiếu 18

1.2.2 Hệ thống ZM4/SIMPLE 20

1.2.3 Hệ thống MOTEL 22

1.2.4 Hệ thống MonALISA 23

1.2.5 Hệ thống giám sát PCMONS 25

1.2.6 Công cụ giám sát tích hợp theo đối tượng 27

1.3 Phân tích và đánh giá giám sát hệ phân tán 27

1.3.1 Phân tích và đánh giá giải pháp giám sát 27

1.3.1.1 Giám sát bằng phần cứng 27

1.3.1.2 Giám sát bằng phần mềm 28

1.3.1.3 Giám sát lai 29

1.3.2 Phân tích và đánh giá mô hình hệ thống quản trị 29

1.3.2.1 Mô hình tập trung 29

1.3.2.2 Mô hình phân tán 30

1.3.3 Phân tích và đánh giá chức năng giám sát 30

1.3.4 Phân tích và đánh giá một số cơ sở kỹ thuật giám sát hệ phân tán 31

1.4 Kết chương 32

CHƯƠNG 2 MÔ HÌNH HÓA HỆ PHÂN TÁN QUY MÔ LỚN 35

2.1 Thông tin cơ bản của các đối tượng được giám sát 35

2.2 Đề xuất mô hình kiến trúc và hành vi cơ bản cho đối tượng trong hệ phân tán 39

2.2.1 Mô hình kiến trúc cho đối tượng trong hệ phân tán 39

2.2.2 Mô hình hành vi cho đối tượng trong hệ phân tán 43

2.3 Mô hình hóa cho hệ phân tán quy mô lớn 49

2.3.1 Mô hình kiến trúc hệ phân tán quy mô lớn 52

2.3.2 Mô hình hành vi hệ phân tán quy mô lớn 55

2.4 Kết chương 61

CHƯƠNG 3 MÔ HÌNH GIÁM SÁT TỔNG HỢP KIẾN TRÚC VÀ HÀNH VI CƠ BẢN HỆ PHÂN TÁN QUY MÔ LỚN 63

3.1 Đề xuất mô hình giám sát cho hệ phân tán quy mô lớn 63

3.1.1 Mô hình thực thể giám sát kiến trúc 64

3.1.2 Mô hình thực thể giám sát hành vi 67

3.1.3 Mô hình hệ thống đa tác tử giám sát 71

3.2 Giải pháp giám sát cơ bản 75

3.2.1 Giải pháp giám sát kiến trúc 75

3.2.2 Giải pháp giám sát hành vi 79

3.2.3 Giải pháp hỗ trợ điều chỉnh tải cho máy chủ giám sát 82

3.3 Kết chương 87

CHƯƠNG 4 THỰC NGHIỆM VÀ ĐÁNH GIÁ KẾT QUẢ 89

4.1 Thu thập thông tin kiến trúc CPU 89

4.1.1 Xây dựng kịch bản thực nghiệm 90

4.1.2 Kết quả thực nghiệm và nhận xét đánh giá 93

4.1.3 Kết luận 98

4.2 Giám sát hoạt động của tiến trình 99

4.2.1 Xây dựng kịch bản thực nghiệm 100

4.2.2 Kết quả thực nghiệm, phân tích và đánh giá 103

4.2.3 Kết luận 106

4.3 Giải pháp hỗ trợ điều chỉnh tải cho máy chủ giám sát 106

4.3.1 Xây dựng kịch bản thực nghiệm 107

4.3.2 Kết quả thực nghiệm và nhận xét đánh giá 108

4.3.3 Kết luận 110

4.4 Một số đánh giá triển khai mô hình giám sát 110

4.4.1 Phác đồ giám sát hệ phân tán quy mô lớn 110

4.4.2 Giám sát trực tuyến hoạt động kết nối tương tác giữa các đối tượng 113

4.4.3 Giám sát trạng thái kết nối mạng với giao thức ICMP 116

4.4.4 Giám sát với giao thức SNMP 119

4.5 Kết chương 121

KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 122

DANH MỤC CÔNG TRÌNH KHOA HỌC ĐÃ CÔNG BỐ 124

TÀI LIỆU THAM KHẢO 125

i

DANH M Ụ C CÁC T Ừ VI Ế T T Ắ T VÀ THU Ậ T NG Ữ TI Ế NG ANH

CFSM Communicating Finite State

Machine

Máy trạng thái hữu hạn truyền thông

ICMP Internet Control Message Protocol Giao thức thông điệp điều

khiển Internet ISO International Organization for

Standardization

Tổ chức tiêu chuẩn hóa quốc tế

LSDS Large Scale Distributed System Phân tán quy mô lớn

MIB Management Information Base Cơ sở thông tin quản trị

x y Mô tả liên kết giữa thiết bị x và thiết bị y

PS in Phép chiếu xác định trạng thái ứng với sự kiện vào

PS out Phép chiếu xác định trạng thái ứng với sự kiện phát ra

iii

DANH M Ụ C B Ả NG BI Ể U

Bảng 1.1 Các tác vụ cơ bản trong giám sát 19

Bảng 1.2 Chức năng hệ thống giám sát 31

Bảng 1.3 Mô hình cơ sở giám sát 31

Bảng 1.4 Giải pháp thực thi giám sát 32

Bảng 1.5 Mô hình giám sát 32

Bảng 2.1 Thành phần và thuộc tính giám sát cơ bản 37

Bảng 2.2 Danh sách các mô hình trong giám sát tổng hợp 38

Bảng 3.1 Danh sách thực thể giám sát kiến trúc 65

Bảng 3.2 Danh sách thực thể giám sát hành vi 67

Bảng 3.3 Danh sách tác tử giám sát 71

Bảng 3.4 Tải hệ thống và mức độ sử dụng CPU [79] 83

Bảng 4.1 Thông tin giám sát thành phần cơ bản trong nút mạng 91

Bảng 4.2 Thông tin giám sát thành phần cơ bản trong lớp mạng 91

Bảng 4.3 Bảng tham số mô phỏng thực nghiệm giám sát kiến trúc CPU 92

Bảng 4.4 Bảng kết quả giám sát kiến trúc CPU 94

Bảng 4.5 Bảng tham số thực nghiệm giám sát hoạt động tiến trình 103

Bảng 4.6 Bảng nhận xét giải pháp giám sát hoạt động tiến trình 105

Bảng 4.7 Thông tin liên quan điều chỉnh tải 107

Bảng 4.8 Bảng tham số mô phỏng thực nghiệm điều chỉnh tải 108

Bảng 4.9 Các bước triển khai giám sát hệ phân tán quy mô lớn 111

Bảng 4.10 Bảng nhận xét giải pháp giám sát hoạt động kết nối tương tác 116

Bảng 4.11 Bảng nhận xét giám sát kết nối mạng với ICMP 118

iv

DANH M Ụ C HÌNH V Ẽ

Hình 1 Tình hình kết nối Internet từ giai đoạn 1994 đến hiện nay [80] 1

Hình 2 Sự phát triển lĩnh vực ICT từ giai đoạn 2001 đến 2016 [81] 2

Hình 3 Sự phát triển kỹ thuật mạng di động từ giai đoạn 2007 đến 2016 [81] 3

Hình 4 Tình hình sử dụng Internet từ giai đoạn 2001 đến 2016 [81] 3

Hình 5 Tỷ lệ người sử dụng Internet năm 2016 [81] 4

Hình 6 Thống kê và dự báo lưu lượng IP Internet [81] 4

Hình 7 Sơ đồ logic của hệ thống mạng tại MoBiFone khu vực 3 8

Hình 1.1 Mô hình tham chiếu của Samani và Sloman [49] 19

Hình 1.2 Kiến trúc ZM4 [48] 20

Hình 1.3 Kiến trúc SIMPLE [30] 21

Hình 1.4 Kiến trúc MOTEL [67] 22

Hình 1.5 Kiến trúc MonALISA [52] 24

Hình 1.6 Kiến trúc PCMONS [14] 26

Hình 2.1 Các hoạt động cơ bản của đối tượng được giám sát 36

Hình 2.2 Một số thông tin giám sát cơ bản 37

Hình 2.3 Mô hình kiến trúc một nút mạng 40

Hình 2.4 Mô hình tổ hợp kiến trúc 41

Hình 2.5 Hoạt động tương tác giữa các CFSM 43

Hình 2.6 Quá trình truyền dữ liệu đơn giản 45

Hình 2.7 Quá trình truyền dữ liệu với CFSM 45

Hình 2.8 Quá trình truyền thông tương tác giữa hai máy trạng thái 47

Hình 2.9 Kết quả tổ hợp hoạt động truyền thông 49

Hình 2.10 Mô hình phân cấp hệ thống mạng quy mô lớn 50

Hình 2.11 Không gian địa chỉ phân cấp 51

Hình 2.12 Mô hình quản trị phân cấp của LSDS 52

v

Hình 2.13 Minh họa cho mô hình kiến trúc tổng hợp 54

Hình 2.14 Mô hình hành vi cơ bản 55

Hình 2.15 Mô hình hoạt động các thành phần PROC_CPU_RAM 59

Hình 2.16 Tổ hợp hoạt động các thành phần PROC_CPU_RAM 59

Hình 3.1 Mô hình giám sát tổng quát 63

Hình 3.2 Mô hình giám sát kiến trúc LSDS 65

Hình 3.3 Mô hình giám sát hành vi LSDS 67

Hình 3.4 Máy trạng thái hữu hạn truyền thông giám sát hành vi 69

Hình 3.5 Mô hình hệ thống tác tử giám sát 72

Hình 3.6 Mô hình tương tác của hệ thống giám sát 73

Hình 3.7 Phương pháp thu thập thông tin của ME_AM_MO 75

Hình 3.8 Phương pháp thu thập thông tin hành vi các thành phần cơ bản 79

Hình 3.9 Đánh giá sử dụng CPU [79] 83

Hình 3.10 Giải pháp điều chỉnh tách tải giám sát 85

Hình 3.11 Giải pháp điều chỉnh gộp tải giám sát 85

Hình 4.1 Cấu trúc giám sát thành phần CPU ở mức lớp mạng 90

Hình 4.2 Thông tin giám sát CPU theo mức lớp mạng và nút mạng ở kịch bản 1 95 Hình 4.3 Thông tin giám sát CPU theo mức lớp mạng và nút mạng ở kịch bản 2 96

Hình 4.4 Gói tin giám sát CPU theo mức lớp mạng và nút mạng ở kịch bản 1 97

Hình 4.5 Kiến trúc kết nối mạng của hệ thống xử lý dữ liệu cước 100

Hình 4.6 Quản lý hành vi tiến trình login 101

Hình 4.7 Quản lý hành vi tiến trình import 102

Hình 4.8 Màn hình giám sát hệ thống xử lý dữ liệu cước 104

Hình 4.9 Thời gian thực hiện xử lý dữ liệu cước 104

Hình 4.10 Màn hình mô phỏng thực nghiệm điều chỉnh giám sát 108

Hình 4.11 Kết quả trước và sau khi thực hiện điều chỉnh tải 109

Hình 4.12 Thông tin giám sát truyền thông trên hệ thống 112

Hình 4.13 Kết quả truyền thông trên hệ thống sau khi thực hiện gom nhóm 113

vi

Hình 4.14 Máy trạng thái giám sát hoạt động kết nối tương tác 114

Hình 4.15 Giám sát hoạt động kết nối tại MoBiFone khu vực 3 115

Hình 4.16 Mô hình hoạt động ICMP với công cụ hệ thống 117

Hình 4.17 Mô hình giám sát kết nối mạng tại MoBiFone khu vực 3 117

Hình 4.18 Mô hình ứng dụng giao thức SNMP tại MoBiFone khu vực 3 120

Luận án đủ ở file: Luận án full