Tìm hiểu, nghiên cứu hệ thống phát hiện xâm nhập dựa trên khai phá dữ liệu

34 CHƯƠNG III: MƠ HÌNH HỆ THỐNG PHÁT HIỆN XÂM NHẬP DỰA TRÊN KHAI PHÁ DỮ LIỆU SỬ DỤNG KỸ THUẬT PHÂN LỚP .... Số hóa bởi Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn DANH MỤC VIẾT T

Trang 1

Số hóa bởi Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn

ĐẠI HỌC THÁI NGUYÊN

TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN & TRUYỀN THÔNG

Trang 2

LỜI CAM ĐOAN

Tôi xin cam đoan số liệu và kết quả nghiên cứu trong luận văn này là trung thực và chƣa đƣợc sử dụng để bảo vệ học hàm, học vị nào

Tôi xin cam đoan: Mọi sự giúp đỡ cho việc thực hiện luận văn này đã đƣợc cám ơn, các thông tin trích dẫn trong luận văn này đều đã đƣợc chỉ rõ nguồn gốc

Thái nguyên, ngày tháng năm

TÁC GIẢ LUẬN VĂN

Trần Huy Phong

Trang 3

LỜI CẢM ƠN

Trong thời gian nghiên cứu và thực hiện luận văn này, em đã may mắn được các thầy cô chỉ bảo, dìu dắt và được gia đình, bạn bè quan tâm, động viên Em xin bày tỏ lời cảm ơn sâu sắc nhất tới tất cả các tập thể, cá nhân đã tạo điều kiện giúp

đỡ em trong suốt quá trình thực hiện nghiên cứu luận văn này

Trước hết em xin trân trọng cảm ơn Ban giám hiệu trường Đại học Công nghệ thông tin và truyền thông, Phòng Đào tạo và Khoa Sau đại học của nhà trường cùng các thầy cô giáo, những người đã trang bị kiến thức cho em trong suốt quá trình học tập

Với lòng biết ơn chân thành và sâu sắc nhất, em xin trân trọng cảm ơn thầy giáo- TS Trần Đức Sự, người thầy đã trực tiếp chỉ bảo, hướng dẫn khoa học và giúp đỡ em trong suốt quá trình nghiên cứu, hoàn thành luận văn này

Xin chân thành cảm ơn tất cả các bạn bè, đồng nghiệp đã động viên, giúp đỡ nhiệt tình và đóng góp nhiều ý kiến quý báu để em hoàn thành luận văn này

Do thời gian nghiên cứu có hạn, luận văn của em chắc hẳn không thể tránh khỏi những sơ suất, thiếu sót, em rất mong nhận được sự đóng góp của các thầy cô giáo cùng toàn thể bạn đọc

Xin trân trọng cảm ơn!

Thái nguyên, ngày……tháng….năm……

TÁC GIẢ LUẬN VĂN

Trần Huy Phong

Trang 4

MỤC LỤC

MỞ ĐẦU 1

1 Lý do chọn đề tài: 1

2 Mục tiêu nghiên cứu: 2

3 Đối tượng và phạm vi nghiên cứu: 2

4 Ý nghĩa thực tiễn của luận văn: 2

5 Phương pháp nghiên cứu: 3

CHƯƠNG I: TỔNG QUAN VỀ HỆ THỐNG PHÁT HIỆN XÂM NHẬP 4

1.1 Khái niệm về hệ thống phát hiện xâm nhập 4

1.2 Chức năng và vai trò của hệ thống phát hiện xâm nhập 5

1.2.1 Chức năng nhiệm vụ của IDS 5

1.2.2 Vai trò của hệ thống phát hiện xâm nhập 8

1.3 Mô hình kiến trúc của hệ thống phát hiện xâm nhập 9

1.3.1 Các thành phần cơ bản: 9

1.3.2 Kiến trúc của hệ thống IDS: 11

1.4 Phân loại các hệ thống phát hiện xâm nhập 13

1.4.1 Hệ thống phát hiện xâm nhập máy chủ (HIDS) 14

1.4.2 Hệ thống phát hiện xâm nhập mạng (NIDS) 16

1.5 Các kỹ thuật phát hiện xâm nhập của hệ thống IDS 18

1.5.1 Phát hiện dựa vào dấu hiệu ( Signature-base detection) 18

1.5.2 Phát hiện dựa trên sự bất thường (Abnormaly - base detection) 19

1.5.3 Kỹ thuật phát hiện dựa vào phân tích trạng thái giao thức 19

1.5.4 Phát hiện dựa trên mô hình 20

1.6 Hệ thống phát hiện xâm nhập dựa trên khai phá dữ liệu 20

CHƯƠNG II: KHAI PHÁ DỮ LIỆU 23

2.1 Khái niệm về khai phá dữ liệu 23

2.2 Các bài toán chính trong khai phá dữ liệu 25

2.2.1 Phân lớp (Classification) 25

2.2.1.1 Quá trình phân lớp 25

2.2.1.2 Dự đoán 27

2.2.2 Phân cụm (Clustering) 27

2.2.3 Hồi quy và dự báo ( Regression and Prediction) 27

2.2.3.1 Hồi quy 27

2.2.3.2 Dự báo 28

2.2.4 Tổng hợp (summarization) 28

2.2.5 Mô hình hoá sự phụ thuộc (dependency modeling) 28

2.2.6 Phát hiện sự biến đổi và độ lệch (change and deviation dectection) 29

2.3 Ứng dụng và phân loại khai phá dữ liệu 29

2.3.1 Ứng dụng 29

Trang 5

Số hĩa bởi Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn

2.3.2 Phân loại 30

2.4 Những thách thức và khĩ khăn trong khai phá dữ liệu 31

2.4.1 Những thách thức trong khai phá dữ liệu 31

2.4.2 Những khĩ khăn trong khai phá dữ liệu 31

2.4.2.1 Các vấn đề về cơ sở dữ liệu 31

2.4.2.2 Một số vấn đề khác 34

CHƯƠNG III: MƠ HÌNH HỆ THỐNG PHÁT HIỆN XÂM NHẬP DỰA TRÊN KHAI PHÁ DỮ LIỆU SỬ DỤNG KỸ THUẬT PHÂN LỚP 36

3.1 Đánh giá các kỹ thuật phân lớp 36

3.1.1 Khái niệm phân lớp 36

3.1.1.1 Khái niệm 36

3.1.1.2 Mục đích của phân lớp 37

3.1.1.3 Các tiêu chí để đánh giá thuật tốn phân lớp 38

3.1.1.4 Các phương pháp đánh giá độ chính xác của mơ hình phân lớp 39

3.1.2 Phân lớp dựa trên phương pháp học Nạve bayes 39

3.1.2.1 Giới thiệu 39

3.1.2.2 Bộ phân lớp Nạve bayes 40

3.1.3 Phân lớp dựa trên cây quyết định (Decision Tree) 41

3.1.3.1 Khái niệm cây quyết định 41

3.1.3.2 Giải thuật qui nạp cây quyết định (ID3) 42

3.1.3.3 Độ lợi thơng tin (Information Gain) trong cây quyết định 43

3.1.3.4 Nội dung giải thuật học cây quyết định cơ bản ID3 43

3.1.3.5 Những thiếu sĩt của giải thuật ID3 46

3.1.3.6 Các vấn đề cần xem xét khi phân lớp dựa trên cây quyết định 46

3.2 Xây dựng mơ hình phát hiện xâm nhập trái phép sử dụng các kỹ thuật phân lớp 48

3.2.1 Mơ hình bài tốn 48

3.2.1.1 Thu thập dữ liệu 49

3.2.1.2 Trích rút và lựa chọn các thuộc tính 52

3.2.1.3 Xây dựng bộ phân lớp 55

3.2.2 Tiến hành thực nghiệm 55

3.2.2.1 Phân lớp đa lớp 55

3.2.2.2 Bộ phân lớp nhị phân 56

3.3 Phân tích đánh giá kết quả 58

KẾT LUẬN 60

Trang 6

DANH MỤC VIẾT TẮT

IDS Intrusion Detection System Hệ thống phát hiện xâm nhập

NIDS Network-base IDS

HIDS Host-based IDS

KDD Knowledge Discovery and

OLAP On Line Analytical Processing Công cụ phân tích trực tuyến

DARPA Defense Advanced

Research Projects Agency

Cơ quan dự án phòng thủ tiên tiến

CPU Central Processing Unit Đơn vị xử lý trung tâm

DoS Denial-of-Service Tấn công từ chối dịch vụ

MADAMID Mining Audit Data for

Automated Models for Instruction Detection

Khai phá dữ liệu đƣợc sử dụng trong

mô hình tự động để phát hiện xâm nhập

WEKA Waikato Enviroment for

krowledge Analysis

Trang 7

DANH MỤC HÌNH VẼ

Hình 1.1- IDS-giải pháp bảo mật bổ sung cho Firewall 5

Hình 1.2 - Quá trình thực hiện của IDS 7

Hình 1.3 - Mơ tả chính sách bảo mật 8

Hình 1.4 - Các thành phần chính của IDS 10

Hình 1.5- Một ví dụ về IDS 11

Hình 1.6 - Giải pháp kiến trúc đa tác nhân 12

Hình 1.7 - Phân loại hệ thống phát hiện xâm nhập 13

Hình 1.8 - Mơ hình HIDS 14

Hình 1.9 - Mơ hình Network IDS 17

Hình 1.10 - Mơ tả dấu hiệu xâm nhập 18

Hình 1.11 - Quá trình khai phá dữ liệu nhằm xây dựng mơ hình phát hiện xâm nhập trái phép [9] 21

Hình 2.1 - Các bước xây dựng một hệ thống khai phá dữ liệu 24

Hình 2.2 - Quá trình học 26

Hình 2.3 - Quá trình phân lớp 26

Hình 3.1 Ước lượng độ chính xác mơ hình phân lớp với phương pháp holduot 39 Hình 3.2 - Các bước xây dựng mơ hình xâm nhập trái phép 48

Hình 3.3 - Quá trình khai phá tri thức 49

Hình 3.4 - Mơ hình DoS attack 50

DANH MỤC BẢNG Bảng 3.1 - Dữ liệu chơi tenis 45

Bảng 3.2 - Mơ tả lớp tấn cơng từ chối dịch vụ (DoS) 50

Bảng 3.3 - Bảng mơ tả lớp tấn cơng trinh sát hệ thống Probe 51

Bảng 3.4 - Bảng mơ tả lớp tấn cơng chiếm quyền hệ thống U2R 51

Bảng 3.5 - Bảng mơ tả lớp tấn cơng khai thác điểm yếu từ xa R2L 52

Bảng 3.6- Mơ tả 41 thuộc tính của tập dữ liệu KDD Cup 1999 53

Bảng 3.7 – Phân phối số lượng bản ghi 54

Bảng 3.8- Độ chính xác bộ phân lớp đa lớp 56

Bảng 3.9- Thống kê kết quả trên bộ phân lớp nhị phân sử dụng cây quyết định 57 Bảng 3.10 - Thống kê kết quả trên bộ phân lớp nhị phân sử dụng Nạve Bayes 57 DANH MỤC BIỂU ĐỒ Biểu đồ 3.1 - Biểu đồ so sánh độ chính xác (%) của hai thuật tốn 58

Biểu đồ 3.2 - Biểu đồ so sánh thời gian xây dựng mơ hình (giây) của hai thuật tốn 59

Trang 8

MỞ ĐẦU

1 Lý do chọn đề tài:

Kể từ khi mạng Internet ra đời đến nay, thế giới đã chứng kiến sự thay đổi vô cùng to lớn và kì diệu về nhiều mặt của đời sống con người Nền kinh tế thế giới và đời sống xã hội đã có nhiều sự biến đổi và ngày càng phụ thuộc vào công nghệ thông tin nói chung cũng như công nghệ Internet nói riêng Điều đó cũng dẫn đến một mặt trái, đó là càng ngày càng nhiều các thông tin quan trọng của các cơ quan,

tổ chức hay cá nhân lưu trữ trên các mạng máy tính, mà đa số các mạng máy tính này lại không đảm bảo độ an toàn, bảo mật thông tin tuyệt đối

Đi cùng với sự phát triển đó là những nguy cơ tấn công và xâm nhập mạng không ngừng gia tăng Các đối tượng tấn công và hình thức tấn công mạng ngày một đa dạng, tinh vi và phức tạp hơn

Vấn đề bảo mật, an toàn cho các hệ thống thông tin nói chung và hệ thống mạng nói riêng là một vấn đề cấp bách và rất đáng được quan tâm Bởi vậy, để bảo

vệ các hệ thống thông tin người ta sử dụng nhiều các giải pháp kỹ thuật khác nhau như hệ thống tường lửa, mã hoá, mạng riêng ảo (VPN), phòng chống virus…Trong

đó phát hiện xâm nhập trái phép (IDS) là một trong những công nghệ quan trọng nhất nhằm giúp các tổ chức phát hiện và ngăn chặn kịp thời các tấn công trong thời gian thực, cũng như dự đoán được các nguy cơ tấn công trong tương lai [3], [5] Chính vì vậy, nghiên cứu về hệ thống IDS sẽ giúp chúng ta nâng cao khả năng xây dựng hệ thống phòng thủ cho việc giám sát an ninh mạng

Hai phương pháp cơ bản để phát hiện xâm nhập trái phép là dựa trên tập luật

và dựa trên các dấu hiệu bất thường [1], [2], [6], [7] Phương pháp dựa trên tập luật

có thể phát hiện các tấn công dựa trên một cơ sở dữ liệu các dấu hiệu đã được định nghĩa trước Phương pháp này thường có độ chính xác cao cũng như ít đưa ra các cảnh báo nhầm Tuy nhiên, vấn đề của phương pháp này là không thể phát hiện được các tấn công mới chưa được định nghĩa hoặc cập nhật trong cơ sở dữ liệu Phương pháp dựa trên các dấu hiệu bất thường có thể giúp xác định các tấn công mới nhưng thường cho độ chính xác thấp hơn so với phương pháp dựa trên tập luật

Trang 9

Hiện nay, Khai phá dữ liệu đã cĩ nhiều bước phát triển vượt bậc và cĩ nhiều ứng dụng kỹ thuật bằng các thuật tốn khác nhau trong thực tế Khai phá dữ liệu là một phương pháp tiếp cận mới trong việc phát hiện xâm nhập Xây dựng mơ hình

hệ thống phát hiện xâm nhập dựa trên khai phá dữ liệu là một hướng phát triển mới

và hiệu quả trong xây dựng hệ thống IDS

Xuất phát từ những yêu cầu và lý do trên, em lựa chọn đề tài luận văn là: "Tìm hiểu, nghiên cứu hệ thống phát hiện xâm nhập dựa trên khai phá dữ liệu"

Luận văn nghiên cứu khai phá dữ liệu và nghiên cứu ứng dụng mơ hình hệ thống phát hiện xâm nhập trái phép dựa trên khai phá dữ liệu; Từ đĩ đánh giá hiệu năng của

hệ thống phát hiện xâm nhập đối với các thuật tốn phân lớp khác nhau trong thực tế

2 Mục tiêu nghiên cứu:

- Nghiên cứu tổng quan về hệ thống phát hiện xâm nhập

- Nghiên cứu một số thuật tốn khai phá dữ liệu

- Ứng dụng một số thuật tốn khai phá dữ liệu trong phát hiện xâm nhập, so sánh sự hiệu quả của các thuật tốn

- Đánh giá hiệu năng cho mơ hình đĩ bằng các thuật tốn phân lớp khác nhau như: Nạve Bayes, Decision Tree

3 Đối tượng và phạm vi nghiên cứu:

- Nghiên cứu mơ hình hệ thống IDS hiện nay và đánh giá ưu, nhược điểm của IDS

- Nghiên cứu các bài tốn, kỹ thuật khai phá dữ liệu

- Ứng dụng của khai phá dữ liệu trong hệ thống phát hiện xâm nhập

- Một số thuật tốn phân lớp dữ liệu

- Đánh giá hiệu năng các kỹ thuật phân lớp cho hệ thống phát hiện xâm nhập dựa trên khai phá dữ liệu

4 Ý nghĩa thực tiễn của luận văn:

- Nghiên cứu ứng dụng mơ hình hệ thống phát hiện xâm nhập dựa trên khai phá dữ liệu giải quyết các vấn đề tồn tại của hệ thống IDS hiện nay

- Đánh giá hiệu quả phân lớp cho mơ hình Đồng thời đề xuất lựa chọn các kỹ thuật phân lớp phù hợp với từng loại tấn cơng cụ thể cho hệ thống phát hiện xâm nhập dựa trên khai phá dữ liệu đã đề xuất

Trang 10

5 Phương pháp nghiên cứu:

Việc giám sát các hành động trên mạng có thể thu thập và phân tích để phát hiện ra các tấn công mạng Các hành động này có thể tìm thấy trong các tệp log của ứng dụng như tạo, xóa file, truy cập vào tệp có mật khẩu, gọi các lệnh của hệ thống

Việc phân tích phát hiện các tấn công dựa trên tập dữ liệu về các hành động này có thể thực hiện thông qua các thuật toán phân lớp dữ liệu, để phân lớp thành các lớp tấn công đã biết trước hoặc lớp truy cập bình thường

Nghiên cứu các tài liệu liên quan trong lĩnh vực khai phá dữ liệu và phát hiện xâm nhập Tìm hiểu, nghiên cứu các kỹ thuật phát hiện xâm nhập dựa trên phương pháp thống kê và khai phá dữ liệu

Trên cơ sở nghiên cứu và phân tích tập dữ liệu DARPA [15] Phân tích bằng

lý thuyết và thực nghiệm để xác định các thuộc tính quan trọng của tập dữ liệu có ảnh hưởng đến một hành động tấn công cụ thể, từ đó trích rút và chuyển đổi thành định dạng phù hợp cho các thuật toán học phân lớp

Nghiên cứu xây dựng các thực nghiệm sử dụng phần mềm Weka [14], đánh giá hiệu quả của các thuật toán học phân lớp trên tập dữ liệu DARPA

Trang 11

CHƯƠNG I: TỔNG QUAN VỀ HỆ THỐNG PHÁT HIỆN XÂM NHẬP

Hệ thống phát hiện xâm nhập trái phép ra đời cách đây khoảng hơn 30 năm và

nó đã trở nên rất có ích cho việc bảo vệ các hệ thống mạng máy tính, bằng cách đưa

ra các cảnh báo khi có dấu hiệu tấn công vào hệ thống, từ đó cho phép người quản trị có thể xử lý kịp thời nhằm hạn chế các rủi ro do các tấn công gây ra Chương này

sẽ trình bày tổng quan về IDS hiện nay, để làm cơ sở cho nghiên cứu tiếp theo trong luận văn

1.1 Khái niệm về hệ thống phát hiện xâm nhập

Hệ thống phát hiện xâm nhập (Intrusion Detection System - IDS) cung cấp

thêm cho việc bảo vệ an toàn thông tin mạng một mức độ cao hơn Nó được đánh giá về giá trị không giống như firewall và VPN là ngăn ngừa các cuộc tấn công mà IDS cung cấp sự bảo vệ bằng cách trang bị cho bạn thông tin về cuộc tấn công Bởi vậy, một IDS có thể thoả mãn nhu cầu về an toàn hệ thống của bạn bằng cách cảnh báo cho bạn về khả năng các cuộc tấn công (và thỉnh thoảng thì ngoài những thông báo chính xác thì chúng cũng đưa ra một số cảnh báo chưa đúng) Nhìn chung, IDS không tự động cấm các cuộc tấn công hoặc là ngăn chặn những người khai thác một cách thành công, tuy nhiên, một sự phát triển mới nhất của IDS đó là hệ thống ngăn chặn xâm nhập (the intrusion prevention systems) đã có để thực hiện nhiều vai trò hơn và có thể ngăn chặn các cuộc tấn công khi nó xảy ra

Hệ thống phát hiện xâm nhập (IDS) là hệ thống phần cứng, phần mềm hoặc kết hợp cả hai được sử dụng để phát hiện các hành động truy nhập trái phép, có chức năng giám sát lưu thông mạng, tự động theo dõi các sự kiện xảy ra trên hệ thống máy tính, phân tích để phát hiện ra các vấn đề liên quan đến an ninh, bảo mật

và đưa ra cảnh báo cho nhà quản trị

Trang 12

Hình 1.1- IDS-giải pháp bảo mật bổ sung cho Firewall

Hệ thống phát hiện xâm nhập thường thực hiện việc giám sát, theo dõi và thu thập thông tin từ nhiều nguồn khác nhau Sau đó sẽ phân tích, đánh giá nhằm phát hiện việc xâm nhập đã được thực hiện, đang xuất hiện hoặc khả năng đối phó với những xâm nhập khi đã bị xâm nhập trong các mạng và các hệ thống thông tin Đồng thời tìm ra dấu hiệu của sự xâm nhập hay tấn công hệ thống và thông báo đến người quản trị hệ thống

IDS được coi là công cụ bảo mật vô cùng quan trọng, nó được lựa chọn là giải pháp bảo mật được bổ sung cho Firewall Một IDS có khả năng phát hiện ra các đoạn mã độc hại hoạt động trong hệ thống mạng, có khả năng vượt qua được Firewall Nó có thể kết hợp với Firewall hoặc một số công cụ khác để đưa ra cách đối phó với những đoạn mã độc đó

1.2 Chức năng và vai trò của hệ thống phát hiện xâm nhập

1.2.1 Chức năng nhiệm vụ của IDS

Hệ thống phát hiện xâm nhập cho phép các tổ chức bảo vệ hệ thống của họ khỏi những đe dọa với việc gia tăng kết nối mạng và sự tin cậy của hệ thống thông tin Những đe dọa đối với an ninh mạng ngày càng trở nên cấp thiết đã đặt ra câu hỏi cho các nhà an ninh mạng chuyên nghiệp có nên sử dụng hệ thống phát hiện xâm nhập trừ khi những đặc tính của hệ thống phát hiện xâm nhập là hữu ích cho

họ, bổ sung những điểm yếu của hệ thống khác…

Trang 13

Ngày nay, IDS đã trở nên rất có ích và hiệu quả trong việc phòng chống và giảm thiểu các nguy cơ tấn công, bảo vệ an toàn cho các hệ thống thông tin Hệ

thống phát hiện xâm nhập trái phép IDS có các chức năng quan trọng nhất là: Giám

sát – Cảnh báo – Bảo vệ

+ Giám sát: Lưu lượng mạng và các hoạt động khả nghi

+ Cảnh báo: Báo cáo về tình trạng mạng cho hệ thống và nhà quản trị

+ Bảo vệ: Dùng những thiết lập mặc định và sự cấu hình từ nhà quản trị mà có

những hành động thiết thực chống lại kẻ xâm nhập và phá hoại bảo vệ sự toàn vẹn các hệ thống và các file dữ liệu quan trọng

- Ngoài ra IDS còn có các chức năng mở rộng:

+ Phân biệt: Phân biệt được những dấu hiệu xâm nhập (tấn công, xuất xứ từ

ngoài tổ chức) và lạm dụng (tấn công, có nguồn gốc trong tổ chức)

+ Phát hiện: Những dấu hiệu bất thường dựa trên những gì đã biết hoặc nhờ

vào sự so sánh thông lượng mạng hiện tại với thông lượng gốc (baseline)

Thêm vào đó, hệ thống phát hiện xâm nhập IDS còn có chức năng:

- Ngăn chặn sự gia tăng của những tấn công

- Bổ sung những điểm yếu mà các hệ thống khác chưa làm được

- Đánh giá chất lượng của việc thiết kế hệ thống

- Lưu giữ thông tin liên quan đến các đối tượng quan sát

- Kiểm tra tính hiệu quả của firewall giữa các mạng

- Phong tỏa và kiểm tra đột nhập vào nút xác định của Internet

- Xuất báo cáo

Bên cạnh các chức năng trên, thì nhiệm vụ chính của hệ thống phát hiện xâm nhập trái phép là bảo vệ cho một hệ thống máy tính bằng cách phát hiện các dấu hiệu tấn công Việc phát hiện các tấn công phụ thuộc vào số lượng và kiểu hành động thích hợp Để ngăn chặn xâm phạm tốt cần phải kết hợp tốt giữa “mồi và bẫy” được trang bị cho việc nghiên cứu các mối đe dọa

Trang 14

Hình 1.2 - Quá trình thực hiện của IDS Việc làm lệch hướng sự tập trung của kẻ xâm nhập vào tài nguyên được bảo

vệ là một nhiệm vụ quan trọng khác Toàn bộ hệ thống cần phải được kiểm tra một cách liên tục Dữ liệu được tạo ra từ các hệ thống phát hiện xâm nhập được kiểm tra một cách cẩn thận để phát hiện các dấu hiệu tấn công (sự xâm phạm)

Việc phòng chống xâm nhập đòi hỏi một sự kết hợp tốt được lựa chọn của

"mồi và bẫy" nhằm điều tra các mối đe dọa, nhiệm vụ chuyển hướng sự chú ý của

kẻ xâm nhập từ các hệ thống cần bảo vệ sang các hệ thống giả lập là nhiệm vụ của một dạng IDS riêng biệt (HoneypotIDS) Một khi xâm nhập đã được phát hiện, hệ thống IDS phát các cảnh báo đến người quản trị về sự kiện này Bước tiếp theo được thực hiện, hoặc bởi các quản trị viên hoặc bởi chính hệ thống IDS, bằng cách

áp dụng các biện pháp đối phó (chấm dứt phiên làm việc, sao lưu hệ thống, định tuyến các kết nối đến Honeypot IDS hoặc sử dụng các cơ sở hạ tầng pháp lý…) tùy thuộc vào chính sách an ninh của mỗi tổ chức

Hệ thống IDS là một thành phần của chính sách bảo mật Trong số các nhiệm

vụ IDS khác nhau, nhận dạng kẻ xâm nhập là một trong những nhiệm vụ cơ bản Nó

có thể hữu ích trong các nghiên cứu giám định sự cố và tiến hành cài đặt các bản patches thích hợp để cho phép phát hiện các cuộc tấn công trong tương lai nhắm vào mục tiêu cụ thể

Ngăn chặn (Prevention)

Giám sát xâm nhập (Intrusion Monitoring)

Kiểm tra xâm nhập (Intrusion Detection)

Trang 15

1.2.2 Vai trò của hệ thống phát hiện xâm nhập

Hình 1.3 - Mô tả chính sách bảo mật

Hệ thống phát hiện xâm nhập giúp giám sát lưu thông mạng, các hoạt động khả nghi và cảnh báo cho hệ thống, nhà quản trị Nó cũng có thể phân biệt giữa những tấn công từ bên trong (từ những người trong công ty) hay tấn công từ bên ngoài (từ các hacker) Vai trò của hệ thống phát hiện xâm nhập ngày càng trở nên quan trọng và rất được quan tâm

Hệ thống phát hiện xâm nhập dùng để lắng nghe, dò tìm các gói tin qua hệ thống mạng để phát hiện những dấu hiệu bất thường trong mạng Thông thường những dấu hiệu bất thường là những dấu hiệu của những cuộc tấn công xâm nhập mạng IDS sẽ phát những tín hiệu cảnh báo tới người quản trị mạng

* Phát hiện các nguy cơ tấn công và truy nhập trái phép

- Đây là vai trò chính của một hệ thống phát hiện xâm nhập IDS, nó có nhiệm

vụ xác định những tấn công và truy nhập trái phép vào hệ thống mạng bên trong

- Hệ thống IDS có khả năng hỗ trợ phát hiện các nguy cơ an ninh đe dọa mạng mà các hệ thống khác (như bức tường lửa) không có, kết hợp với hệ thống ngăn chặn xâm nhập (IPS) giúp cho hệ thống chặn đứng, hạn chế các cuộc tấn công, xâm nhập từ bên ngoài

Trang 16

* Tăng khả năng hiểu biết về những gì đang hoạt động trên mạng

IDS cung cấp khả năng giám sát xâm nhập và khả năng mô tả an ninh để cung cấp kiến thức tổng hợp về những gì đang chạy trên mạng từ góc độ ứng dụng cũng như góc độ mạng cùng với khả năng liên kết với phân tích, điều tra an ninh nhằm đưa ra các thông tin về hệ thống nhờ đó giúp người quản trị nắm bắt và hiểu

rõ những gì đang diễn ra trên mạng

* Khả năng cảnh báo và hỗ trợ ngăn chặn tấn công

- IDS có thể hoạt động trong các chế độ làm việc của một thiết bị giám sát thụ động (sniffer mode) hỗ trợ cho các thiết bị giám sát chủ động hay như là một thiết bị ngăn chặn chủ động (khả năng loại bỏ lưu lượng khả nghi)

- IDS hỗ trợ cho các hệ thống an ninh đưa ra các quyết định về lưu lượng dựa trên địa chỉ IP hoặc cổng cũng như đặc tính của tấn công

- IDS còn có thể cảnh báo và ghi lại các biến cố cũng như thực hiện bắt giữ gói lưu lượng khi phát hiện tấn công để cung cấp cho nhà quản trị mạng các thông tin để phân tích và điều tra các biến cố

- Ngay sau khi các phép phân tích và điều tra được thực hiện, một quy tắc loại bỏ lưu lượng sẽ được đưa ra dựa trên kết quả phân tích, điều tra đó

- Tổ hợp của những thuộc tính và khả năng này cung cấp cho nhà quản trị mạng khả năng tích hợp IDS vào mạng và tăng cường an ninh đến một mức độ mà trước đây không thể đạt đến bằng các biện pháp đơn lẻ như bức tường lửa

1.3 Mô hình kiến trúc của hệ thống phát hiện xâm nhập

Ngày nay người ta phân biệt các hệ thống IDS khác nhau thông qua việc phân tích và kiểm tra khác nhau của các hệ thống Mỗi hệ thống có những ưu điểm cũng như khuyết điểm riêng

1.3.1 Các thành phần cơ bản:

Kiến trúc của một hệ thống IDS bao gồm các thành phần chính cơ bản sau:

- Thành phần thu thập thông tin (information collection)

- Thành phần phân tích thông tin (detection)

- Thành phần phản hồi (respotion)

Trang 17

Trong ba thành phần này thì thành phần phân tích thông tin là quan trọng nhất và trong thành phần này sensor đóng vai trò quyết định Sensor được tích hợp với thành phần thu thập dữ liệu Cách thu thập này được xác định bởi chính sách tạo

sự kiện để định nghĩa chế độ lọc thông tin sự kiện Bộ tạo sự kiện cung cấp một số chính sách thích hợp cho các sự kiện, có thể là một bản ghi các sự kiện của hệ thống Số chính sách này cùng với thông tin chính sách có thể được lưu trong hệ thống được bảo vệ hoặc bên ngoài

- Sensor/ Agent: giám sát và phân tích các hoạt động “Sensor” thường được dùng cho dạng NIDS trong khi “Agent” thường được dùng cho dạng HIDS

- Management Server: là một thiết bị trung tâm dùng thu nhận các thông tin từ Sensor/ Agent và quản lý chúng

- Database: dùng lưu trữ thông tin từ Sensor/ Agent hay Management Server

- Console: là chương trình cung cấp giao diện cho IDS users/ Admins Có thể cài đặt trên một máy tính bình thường dùng để phục vụ cho tác vụ quản trị, hoặc để giám sát, phân tích

Hình 1.4 - Các thành phần chính của IDS

Trang 18

1.3.2 Kiến trúc của hệ thống IDS:

Bộ cảm biến (sensor) là yếu tố cốt lõi trong một hệ thống phát hiện xâm nhập,

nó có trách nhiệm phát hiện các xâm nhập nhờ chứa những cơ cấu ra quyết định đối với sự xâm nhập Sensor nhận dữ liệu thô từ ba nguồn thông tin chính: kiến thức cơ bản (knowledge base) của IDS, syslog và audit trail Các thông tin này tạo cơ sở cho quá trình ra quyết định sau này

Hình 1.5- Một ví dụ về IDS

Bộ cảm biến được tích hợp với thành phần sưu tập dữ liệu, bộ tạo sự kiện Cách sưu tập này được xác định bởi chính sách tạo sự kiện để định nghĩa chế độ lọc thông tin sự kiện Bộ tạo sự kiện (hệ điều hành, mạng, ứng dụng) cung cấp một số chính sách thích hợp cho các sự kiện, có thể là một bản ghi các sự kiện của hệ thống hoặc các gói mạng Số chính sách này cùng với thông tin chính sách có thể được lưu trong

hệ thống được bảo vệ hoặc bên ngoài

Trong những trường hợp nhất định, dữ liệu không được lưu trữ mà được chuyển trực tiếp đến các phân tích (thông thường áp dụng với các gói packet)

Vai trò của bộ cảm biến là dùng để lọc thông tin và loại bỏ dữ liệu không tương thích đạt được từ các sự kiện liên quan với hệ thống bảo vệ, vì vậy có thể phát hiện được các hành động nghi ngờ Bộ phân tích sử dụng cơ sở dữ liệu chính sách phát hiện cho mục này Ngoài ra còn có các thành phần dấu hiệu tấn công, các hành vi thông thường, các tham số cần thiết (ví dụ: các ngưỡng) Thêm vào đó, cơ

Trang 19

sở dữ liệu giữ các tham số cấu hình, gồm có các chế độ truyền thông với công cụ đáp trả Bộ cảm biến cũng có cơ sở dữ liệu của riêng nó, gồm dữ liệu lưu về các xâm nhập phức tạp tiềm ẩn (tạo ra từ nhiều hành động khác nhau)

Giải pháp kiến trúc đa tác nhân được đưa ra năm 1994 là AAFID (các tác nhân tự trị cho việc phát hiện xâm phạm) Nó sử dụng các tác nhân để kiểm tra một khía cạnh nào đó về các hành vi hệ thống ở một thời điểm nào đó Ví dụ: một tác nhân có thể cho biết một số không bình thường các telnet session bên trong hệ thống nó kiểm tra Tác nhân có khả năng đưa ra một cảnh báo khi phát hiện một sự kiện khả nghi Các tác nhân có thể được nhái và thay đổi bên trong các hệ thống khác (tính năng tự trị)

Vai trò của tác nhân là để kiểm tra và lọc tất cả các hành động bên trong vùng được bảo vệ và phụ thuộc vào phương pháp được đưa ra – tạo phân tích bước đầu

và thậm chí đảm trách cả hành động đáp trả Mạng các tác nhân hợp tác báo cáo đến máy chủ phân tích trung tâm là một trong những thành phần quan trọng của IDS (IDS có thể sử dụng nhiều công cụ phân tích tinh vi hơn, đặc biệt được trang bị sự phát hiện các tấn công phân tán)

Hình 1.6 - Giải pháp kiến trúc đa tác nhân

Các vai trò khác của tác nhân liên quan đến khả năng lưu động và tính roaming của nó trong các vị trí vật lý Thêm vào đó, các tác nhân có thể đặc biệt dành cho việc phát hiện dấu hiệu tấn công đã biết nào đó Đây là một hệ số quyết định khi nói đến nghĩa vụ bảo vệ liên quan đến các kiểu tấn công mới

Trang 20

Một phần trong các tác nhân, hệ thống có thể có các bộ phận thu phát để kiểm tra tất cả các hành động được kiểm soát bởi các tác nhân ở một host cụ thể nào đó Các bộ thu nhận luôn luôn gửi các kết quả hoạt động của chúng đến bộ kiểm tra duy nhất Các bộ kiểm tra nhận thông tin từ các mạng (không chỉ từ một host), điều đó

có nghĩa là chúng có thể tương quan với thông tin phân tán Thêm vào đó một số bộ lọc có thể được đưa ra để chọn lọc và thu thập dữ liệu

1.4 Phân loại các hệ thống phát hiện xâm nhập

* Phát hiện xâm nhập:

- Là quy trình chính thức được đặc trưng bằng việc thu thập các thông tin về

các mẫu sử dụng không bình thường cũng như làm gì, làm như thế nào, điểm yếu nào đã bị khai thác, nó xảy ra như thế nào và xảy ra khi nào

- Phát hiện xâm nhập là tập hợp các kỹ thuật và phương pháp được sử dụng để phát hiện các hành vi đáng ngờ cả ở cấp độ mạng và máy chủ Một IDS nghe ngóng tất cả các luồng thông tin vào trong các mạng nội bộ để xác định xâm nhập nào đã

bị vi phạm, đang xảy ra, hay đã xảy ra và khả năng phản ứng với xâm nhập, cũng như cảnh báo cho người thích hợp

Hình 1.7 - Phân loại hệ thống phát hiện xâm nhập

Trang 21

* Hệ thống phát hiện xâm nhập trái phép có thể được mô tả dựa trên nguồn dữ liệu xử lý Theo cách mô tả này, có thể phân hệ thống thành hai loại chính là: host-based IDS và network-based IDS

1.4.1 Hệ thống phát hiện xâm nhập máy chủ (HIDS)

Những hệ thống HIDS (Host Intrusion Detection System) được cài đặt như là những agent (tác nhân) trên một host, kiểm soát lưu lượng vào ra trên một máy tính,

có thể được triển khai trên nhiều máy tính trong hệ thống mạng HIDS thường được đặt trên các host xung yếu của tổ chức, và các server trong vùng DMZ - thường là mục tiêu bị tấn công đầu tiên

Bằng cách cài đặt một IDS trên máy tính chủ, ta có thể quan sát tất cả những hoạt động hệ thống, như các file log những thông điệp báo lỗi trên hệ thống máy chủ và những lưu lượng mạng thu thập được Trong khi những đầu dò của mạng có thể phát hiện một cuộc tấn công, thì chỉ có hệ thống dựa trên máy chủ mới có thể xác định xem cuộc tấn công có thành công hay không Thêm nữa là, hệ thống dựa trên máy chủ có thể ghi nhận những việc mà người tấn công đã làm trên máy chủ bị tấn công (compromised host)

Hình 1.8 - Mô hình HIDS

Trang 22

Nhiệm vụ chính của HIDS là giám sát các thay đổi trên hệ thống, bao gồm một số các lựa chọn sau:

- Kiểm tra các tiến trình

- Kiểm tra các entry của Registry

- Kiểm tra mức độ sử dụng CPU

- Kiểm tra tính toàn vẹn và truy cập trên hệ thống file

- Một vài thông số khác

Các thông số này khi vượt qua một ngưỡng định trước hoặc những thay đổi khả nghi trên hệ thống file sẽ gây ra báo động

* Lợi thế của HIDS:

- Có khả năng xác định các người dùng liên quan đến sự kiện

- HIDS có khả năng phát hiện các cuộc tấn công diễn ra trên một máy; Trong khi đó NIDS không có khả năng này

- Có khả năng phân tích các dữ liệu đã được mã hoá

- Cung cấp các thông tin về host trong lúc cuộc tấn công diễn ra trên host

* Hạn chế của HIDS:

- Thông tin từ HIDS là không đáng tin cậy ngay khi sự tấn công vào host này thành công

- Khi hệ điều hành bị thoả hiệp do tấn công, tức là HIDS cũng mất tác dụng

- HIDS phải được thiết lập trên từng host cần giám sát

- HIDS không có khả năng phát hiện các cuộc thăm dò mạng (Nmap, Netcat…)

- HIDS cần tài nguyên trên host để hoạt động

- HIDS có thể không phát huy được hiệu quả khi bị tấn công từ chối dịch vụ DoS

- Đa số chạy trên hệ điều hành Windows Tuy nhiên cũng đã có một số ứng dụng chạy trên hệ điều hành LINUX và những hệ điều hành khác

- Vì HIDS cần được cài đặt trên các máy chủ nên sẽ gây khó khăn cho nhà quản trị khi phải nâng cấp phiên bản, bảo trì phần mềm và cấu hình Gây mất nhiều thời gian và phức tạp Thường hệ thống chỉ phân tích được những lưu lượng trên máy chủ nhận được, còn các lưu lượng chống lại một nhóm máy chủ, hoặc các hành

Trang 23

động thăm dò như quét cổng thì chúng không phát huy được tác dụng Nếu máy chủ

bị thoả hiệp hacker có thể tắt được HIDS trên máy đó Khi đó HIDS sẽ bị vô hiệu hoá Do đó HIDS phải cung cấp đầy đủ khả năng cảnh báo Trong môi trường hỗn loạn, phức tạp điều này có thể trở thành vấn đề nếu HIDS phải tương thích với nhiều hệ điều hành Do đó, lựa chọn HIDS cũng là vấn đề quan trọng

1.4.2 Hệ thống phát hiện xâm nhập mạng (NIDS)

NIDS (Network-based Intrusion Detection System) là một giải pháp độc lập

để xác định các truy nhập trái phép bằng cách kiểm tra các luồng thông tin trên mạng và giám sát nhiều máy trạm, NIDS truy nhập vào luồng thông tin trên mạng bằng cách kết nối vào các Hub, Switch được cấu hình Port mirroing hoặc Network tab để bắt các gói tin, phân tích nội dung gói tin và từ đó sinh ra các cảnh báo

NIDS được đặt giữa kết nối hệ thống mạng bên trong và mạng bên ngoài để giám sát toàn bộ lưu lượng vào ra Có thể là một thiết bị phần cứng riêng biệt được thiết lập sẵn hay phần mềm cài đặt trên máy tính (Snort)

NIDS sử dụng bộ dò và bộ cảm biến cài đặt trên toàn mạng Những bộ dò này theo dõi trên mạng nhằm tìm kiếm những lưu lượng trùng với những mô tả sơ lược được định nghĩa hay là những dấu hiệu Những bộ cảm biến thu nhận và phân tích lưu lượng trong thời gian thực Khi ghi nhận được một mẫu lưu lượng hay dấu hiệu,

bộ cảm biến gửi tín hiệu cảnh báo đến ban quản trị và có thể được cấu hình nhằm tìm ra biện pháp ngăn chặn những xâm nhập xa hơn NIDS là tập nhiều sensor được đặt ở toàn mạng để theo dõi những gói tin trong mạng so sánh với với mẫu đã được định nghĩa để phát hiện đó là tấn công hay không

Trang 24

Hình 1.9 - Mô hình Network IDS

* Lợi thế của Network IDS:

- Quản lý được cả một phân đoạn mạng (network segment)

- "Trong suốt" với người sử dụng lẫn kẻ tấn công

- Cài đặt và bảo trì đơn giản, không ảnh hưởng tới mạng

- Tránh DoS ảnh hưởng tới một host nào đó

- Có khả năng xác định lỗi ở tầng Network (trong mô hình OSI)

- Độc lập với hệ điều hành (OS)

* Hạn chế của Network IDS:

- Có thể xảy ra trường hợp báo động giả (false positive), tức là không có dấu hiệu bất thường mà IDS vẫn báo

- Không thể phân tích các lưu lượng (traffic) đã được mã hoá (encrypt) như: SSL, SSH, IPSec…

- NIDS đòi hỏi phải được cập nhật các dấu hiệu (signature) mới nhất để thực

sự hoạt động có hiệu quả

- Có độ trễ giữa thời điểm bị tấn công với thời điểm phát báo động Khi báo động được phát ra, hệ thống có thể đã bị tổn hại

- Không cho biết việc mạng bị tấn công có thành công hay không, để người quản trị tiến hành bảo trì hệ thống

Trang 25

- Giới hạn băng thông do những bộ dò mạng phải nhận tất cả các lưu lượng mạng, sắp xếp lại những lưu lượng đó cũng như phân tích chúng

- Có thể xảy ra hiện tượng nghẽn cổ chai khi lưu lượng mạng hoạt động ở mức cao

1.5 Các kỹ thuật phát hiện xâm nhập của hệ thống IDS

IDS sử dụng nhiều kỹ thuật khác nhau để phát hiện các hành động xâm nhập

hệ thống trái phép

Những kỹ thuật cơ bản như: Dựa trên dấu hiệu, sự kiện bất thường, dựa vào phân tích trạng thái giao thức và dựa trên mô hình Thông thường IDS sử dụng nhiều phương pháp phát hiện xâm nhập và đôi khi cũng sử dụng phương pháp riêng

lẻ kết hợp nhằm phát hiện chính xác các hành động xâm nhập

1.5.1 Phát hiện dựa vào dấu hiệu ( Signature-base detection)

Dấu hiệu là một mẫu tương ứng với các đe doạ đã biết được thống kê các đặc trưng và lưu lại trên hệ thống Hệ thống sẽ thu thập các thông tin liên quan và so sánh với các dấu hiệu tấn công được lưu trữ trong cơ sở dữ liệu để xác định xem hành động đó có nguy hiểm hay không

Ví dụ sau đây mô tả cách IDS phát hiện xâm nhập dựa vào dấu hiệu

* Cố gắng telnet với tên người dùng "root", điều này vi phạm chính sách an toàn của hệ thống

* Thư điện tử có đính kèm file "auto.exe" và file này có đặc điểm của mã độc hại đã biết

Hình 1.10 - Mô tả dấu hiệu xâm nhập

Trang 26

Kỹ thuật này rất hiệu quả trong việc phát hiện các đe doạ đã biết nhưng lại không hiệu quả trong việc phát hiện những nguy cơ chưa được biết Ví dụ kẻ tấn

công sửa tên file thành "auto21123.exe", thì việc tìm kiếm dấu hiệu trên với mã độc

hại này sẽ không có hiệu quả

Phát hiện dựa vào dấu hiệu là một kỹ thuật đơn giản vì nó chỉ so sánh hành động hiện tại với danh sách dấu hiệu đã biết bằng cách so sánh các toán tử Kỹ thuật này ít được dùng trong mô hình mạng lớn hay các giao thức ứng dụng bởi vì nó không thể theo dõi và hiểu được trạng thái của tất cả các thành phần phức tạp trong

hệ thống Bên cạnh đó kỹ thuật này không có khả năng ghi nhớ những yêu cầu trước

đó khi có một yêu cầu hiện tại Do đó việc phát hiện tấn công dựa trên phương pháp này có độ tin cậy không cao

1.5.2 Phát hiện dựa trên sự bất thường (Abnormaly - base detection)

Phát hiện dựa vào sự bất thường là quá trình so sánh hành động được coi là bình thường với các sự kiện đang diễn ra nhằm phát hiện ra sự bất thường Với kỹ thuật này IDS dựa vào profile miêu tả hành động bình thường của nhiều đối tượng như người dùng, máy chủ, các kết nối mạng, hay ứng dụng Profile này được tạo ra bằng cách giám sát các hành động thông thường trong một khoảng thời gian để đưa

ra đặc điểm nổi bật của hành động đó

Kỹ thuật này chỉ có độ chính xác cao khi IDS được gắn vào một hệ thống mạng

cụ thể và có thời gian đủ lâu để học tất cả các hành động bình thường của hệ thống

Profile sử dụng bởi phương pháp này có hai loại là static và dynamic Static profile không thay đổi cho đến khi được tái tạo, chính vì vậy dần dần nó sẽ trở nên không chính xác, và cần phải được tái tạo định kỳ Dynamic profile được tự động điều chỉnh mỗi khi có các sự kiện bổ sung được quan sát, nhưng chính điều này cũng làm cho nó trở lên dễ bị ảnh hưởng bởi các phép thử dùng kỹ thuật giấu (evasio techniques) Ưu điểm chính của phương pháp này là nó rất có hiệu quả trong việc phát hiện ra các mối nguy hại chưa được biết đến

1.5.3 Kỹ thuật phát hiện dựa vào phân tích trạng thái giao thức

Phân tích trạng thái giao thức (stateful protocol analysic) là quá trình phân tích

Trang 27

hành vi của giao thức được sử dụng trên cơ sở đã biết các định nghĩa về hoạt động hợp lệ của giao thức để nhận ra hành vi tấn công Kỹ thuật này dựa vào profile liên quan đến giao thức mà IDS hỗ trợ "Trạng thái" trong phân tích trạng thái giao thức nghĩa là IDS

có khả năng hiểu và theo dõi trạng thái của mạng, truyền tải và các giao thức ứng dụng

Điều ngăn cản chính của phương pháp này chính là việc tập trung tài nguyên, bởi vì sự phức tạp trong quá trình phân tích và thực hiện giám sát trạng thái cho nhiều phiên làm việc đồng thời Một vấn đề khác là phương pháp này không thể phát hiện được các tấn công có đặc trưng mà hành vi thông thường của giao thức được thừa nhận, như việc thực hiện nhiều hành động trong một khoảng thời gian ngắn như tấn công từ chối dịch vụ Hơn nữa, chuẩn giao thức được sử dụng trong IDS có thể xung đột với cách thực hiện của giao thức hiện có trong mạng

1.5.4 Phát hiện dựa trên mô hình

Phương pháp phát hiện dựa trên mô hình sử dụng các kỹ thuật học máy, khai phá

dữ liệu, trí tuệ nhân tạo để xây dựng các mô hình, các luật phát hiện tấn công một cách

tự động từ các tập dữ liệu mô phỏng tấn công Sau đó các mô hình được sử dụng trong các hệ thống IDS để dự đoán các tấn công mới Phương pháp này có ưu điểm là cho phép phát hiện được các tấn công mới, tuy nhiên hạn chế của nó là đưa ra nhiều cảnh báo nhầm hơn các phương pháp trên

1.6 Hệ thống phát hiện xâm nhập dựa trên khai phá dữ liệu

Khai phá dữ liệu là một phương pháp tiếp cận mới trong việc phát hiện xâm

nhập Khai phá dữ liệu được định nghĩa [12]: "Sự khám phá ra các mẫu, các mối

quan hệ, các biến đổi, những sự bất thường, những qui luật, những cấu trúc và sự kiện quan trọng mang tính chất thống kê trong dữ liệu" Trong đó tồn tại nhiều thuật

toán được sử dụng trong các bước khai phá dữ liệu bao gồm phân lớp, phân tích hồi qui, phân cụm, khai phá luật kết hợp Khai phá dữ liệu trong phát hiện xâm nhập trái phép nhằm trích lọc tri thức từ một tập dữ liệu lớn các thông tin truy cập trên mạng,

để phân tích và biểu diễn nó thành mô hình phát hiện xâm nhập trái phép Phương pháp tiếp cận này quy việc phát hiện xâm nhập như là tiến trình phân tích dữ liệu, trong đó các phương pháp tiếp cận trước là những quá trình kỹ nghệ tri thức

Trang 28

Hình 1.11 - Quá trình khai phá dữ liệu nhằm xây dựng mô hình phát hiện xâm

nhập trái phép [9]

Phương pháp khai phá dữ liệu để phát hiện xâm nhập lần đầu tiên được phát hiện bởi MADAMID (Mining Audit Data for Automated Models for Instruction Detection - Khai phá dữ liệu được sử dụng trong mô hình tự động để phát hiện xâm nhập)[8]

Quá trình khai phá dữ liệu trong việc xây dựng những mô hình phát hiện xâm

nhập được miêu tả ở Hình 1.10 [9] Dữ liệu thô đầu tiên được chuyển đổi thành thông

tin gói dữ liệu mạng với mã ASCII mà lần lượt nó được chuyển đổi thành thông tin ở mức truy cập Những bản ghi ở mức truy cập này chứa trong đó những thuộc tính kết nối như là dịch vụ, thời gian kết nối… Thuật toán khai phá dữ liệu được áp dụng cho những dữ liệu này để tạo ra các mô hình phát hiện xâm nhập Các thuật toán khai phá

dữ liệu được dùng trong phương pháp này là RIPPER "Thuật toán phân lớp dựa vào luật", siêu phân lớp, thuật toán hồi qui, luật kết hợp Các thuật toán này được áp dụng

để kiểm soát dữ liệu, tính toán các mô hình mà thu thập chính xác hành vi thực tế việc xâm nhập trái phép cũng như các hoạt động bình thường

Thuật toán RIPPER [10] được dùng để học mô hình phân lớp để xác định diễn biến bình thường và diễn biến bất thường trong hệ thống Kỹ thuật hồi qui và tương quan được dùng để xây dựng các mẫu liên tiếp từ các bản ghi dữ liệu thu thập Những mẫu liên tiếp này biểu diễn lại những tổng hợp thống kê về mạng và hoạt động của hệ thống bằng cách đo lường sự tương quan giữa tính chất của hệ thống và dãy đồng loạt

Trang 29

các sự kiện xảy ra cùng lúc Từ các mẫu liên tiếp được xây dựng các mẫu phù hợp của các hoạt động bình thường, các mẫu xâm nhập trái phép được bổ sung tạo ra cơ

sở dữ liệu học Cơ sở dữ liệu này cho phép việc học mô hình xâm nhập hiệu quả hơn nhằm để phát hiện xâm nhập bằng các thuật toán khai phá dữ liệu khác nhau

Phân tích và khai phá dữ liệu thu thập kết hợp với luật kết hợp và thuật toán phân lớp để phát hiện ra các cuộc tấn công trên dữ liệu thô Luật kết hợp được sử dụng để thu thập những tri thức cần thiết về bản ghi có thể cải thiện hiệu quả việc phân lớp Hệ thống này có hai giai đoạn, giai đoạn huấn luyện và giai đoạn phát hiện Trong cơ sở dữ liệu ở giai đoạn huấn luyện của các tập mẫu thường xuyên được tạo cho các mẫu tấn công miễn phí từ việc sử dụng duy nhất việc tấn công miễn phí tập dữ liệu Điều này phục vụ như là sơ lược lại mà các mẫu dữ liệu thường xuyên tìm thấy sau đó sẽ được so sánh Tiếp theo một cửa sổ trượt, sử dụng thuật toán trực tuyến để tìm bộ mẫu thường xuyên trong kết nối D cuối cùng và so sánh chúng với những tập dữ liệu được lưu trữ trong cơ sở dữ liệu tấn công miễn phí, loại bỏ những dữ liệu được coi là bình thường Tại giai đoạn phân lớp là chỉ được huấn luyện để học mô hình phát hiện xâm nhập Tại giai đoạn phát hiện một thuật toán tự động được dùng để đưa ra tập mẫu mà được xem là đáng ngờ và được dùng bởi thuật toán phân lớp đã học để phân lớp các mẫu như tấn công, báo động giả hoặc không xác định Các tấn công không xác định là những cuộc tấn công không có khả năng để phát hiện như báo động giả hoặc biết được các cuộc tấn công Thử nghiệm phương pháp này chỉ để phát hiện các cuộc tấn công bình thường

Kết chương: Chương I, em đã trình bày một cách tổng quát những vấn đề về

hệ thống phát hiện xâm nhập, như: Khái niệm; Chức năng và vai trò của IDS; Mô hình kiến trúc của hệ thống phát hiện xâm nhập; Phân loại các hệ thống IDS; Các kỹ thuật phát hiện xâm nhập của hệ thống IDS; Hệ thống phát hiện xâm nhập dựa trên khai phá dữ liệu

Trang 30

CHƯƠNG II: KHAI PHÁ DỮ LIỆU

Kỹ thuật phát hiện tri thức và khai phá dữ liệu đã và đang được nghiên cứu, ứng dụng trong nhiều lĩnh vực khác nhau trên thế giới Tại Việt Nam, kỹ thuật này tương đối mới mẻ, nhưng cũng đang được nghiên cứu và dần đưa vào ứng dụng Chương này,

em tập trung vào nghiên cứu những vấn đề chính về khai phá dữ liệu như: Khái niệm; các bài toán chính trong khai phá dữ liệu; ứng dụng và phân loại khai phá dữ liệu; đồng thời đưa ra những thách thức và khó khăn trong khai phá dữ liệu để làm cơ sở cho nghiên cứu tiếp theo trong luận văn

2.1 Khái niệm về khai phá dữ liệu

Khai phá dữ liệu được định nghĩa cụ thể theo [12] “Sự khám phá ra các mẫu, các mối quan hệ, các biến đổi, những sự bất thường, những qui luật, những cấu trúc và sự kiện quan trọng mang tính chất thống kê trong dữ liệu”

Các dữ liệu này được thu từ nhiều nguồn, đa số là từ các phần mềm nghiệp

vụ hay từ các công cụ lưu trữ thông tin trên web

Đây là những khối dữ liệu khổng lồ nhưng những thông tin mà nó thể hiện

ra thì lộn xộn và “nghèo” đối với người dùng Kích thước của khối dữ liệu khổng

lồ đó cũng tăng với tốc độ rất nhanh chiếm nhiều dung lượng lưu trữ Khai phá dữ liệu sẽ giúp trích xuất ra các mẫu điển hình có giá trị và biến chúng thành những tri thức hữu ích

Hiện nay, ngoài thuật ngữ khai phá dữ liệu, người ta còn dùng một số thuật ngữ khác có ý nghĩa tương tự như: khai phá tri thức từ cơ sở dữ liệu, trích lọc dữ

liệu, phân tích dữ liệu/mẫu, khảo cổ dữ liệu (data archaeology), nạo vét dữ liệu (data dredredging) Trên thực tế, nhiều người coi khai phá dữ liệu và một thuật

ngữ thông dụng khác là khám phá tri thức trong CSDL (Knowledge Discovery in

Databases-KDD) là như nhau Còn một số người chỉ coi khai phá dữ liệu là một

bước trong trong quá trình khám phá tri thức trong cơ sở dữ liệu

Trang 31

Quá trình này gồm một số bước lặp được thể hiện trong hình sau:

Hình 2.1: Các bước xây dựng một hệ thống khai phá dữ liệu

Ý nghĩa cụ thể của các bước như sau:

- Lựa chọn dữ liệu liên quan đến bài toán quan tâm

- Tiền xử lý dữ liệu, làm sạch dữ liệu, chiếm tới gần 60% nỗ lực

- Chuyển đổi dữ liệu về dạng phù hợp thuận lợi cho việc khai phá

- Khai phá dữ liệu, trích xuất ra các mẫu dữ liệu

- Đánh giá mẫu

- Sử dụng tri thức khai phá được

* Một số định nghĩa mang tính mô tả của nhiều tác giả về khai phá dữ liệu

- Định nghĩa của Ferruzza: “Khai phá dữ liệu là tập hợp các phương pháp

được dùng trong tiến trình khám phá tri thức để chỉ ra sự khác biệt các mối quan hệ

và các mẫu chưa biết bên trong dữ liệu”

- Định nghĩa của Parsaye: “Khai phá dữ liệu là quá trình trợ giúp quyết định,

trong đó chúng ta tìm kiếm các mẫu thông tin chưa biết và bất ngờ trong CSDL lớn”

- Định nghĩa của Fayyad: “Khai phá tri thức là một quá trình không tầm

thường nhận ra những mẫu dữ liệu có giá trị, mới, hữu ích, tiềm năng và có thể hiểu được”

Trang 32

2.2 Các bài toán chính trong khai phá dữ liệu

Quá trình khai phá dữ liệu là quá trình phát hiện ra mẫu thông tin Trong đó, giải thuật khai phá tìm kiếm các mẫu đáng quan tâm theo dạng xác định như các luật, phân lớp, hồi quy, cây quyết định,

2.2.1 Phân lớp (Classification)

Là việc xác định một hàm ánh xạ từ một mẫu dữ liệu vào một trong số các lớp

đã được biết trước đó Mục tiêu của thuật toán phân lớp là tìm ra mối quan hệ nào đó giữa thuộc tính dự báo và thuộc tính phân lớp Như thế quá trình phân lớp có thể sử dụng mối quan hệ này để dự báo cho các mục mới Các kiến thức được phát hiện biểu diễn dưới dạng các luật theo cách sau: “Nếu các thuộc tính dự báo của một mục thoả mãn điều kiện của các tiền đề thì mục nằm trong lớp chỉ ra trong kết luận”

Ví dụ: Một mục biểu diễn thông tin về nhân viên có các thuộc tính dự báo là:

họ tên, tuổi, giới tính, trình độ học vấn, … và thuộc tính phân loại là trình độ lãnh đạo của nhân viên

Phân lớp dữ liệu gồm hai quá trình Trong quá trình thứ nhất một công cụ phân lớp sẽ được xây dựng để xem xét nguồn dữ liệu Đây là quá trình học, trong đó một thuật toán phân lớp được xây dựng bằng cách phân tích hoặc “học” từ tập dữ liệu huấn luyện được xây dựng sẵn bao gồm nhiều bộ dữ liệu Một bộ dữ liệu X biểu diễn bằng một vector n chiều, X = (x1, x2,…, xn), đây là các giá trị cụ thể của một tập n thuộc tính của nguồn dữ liệu {A1, A2,…, An} Mỗi bộ được giả sử rằng

nó thuộc về một lớp được định nghĩa trước với các nhãn xác định

Trang 33

Hình 2.2 - Quá trình học

Hình 2.3- Quá trình phân lớp

Quá trình đầu tiên của phân lớp có thể được xem như việc xác định ánh xạ hoặc hàm y = f(X), hàm này có thể dự đoán nhãn y cho bộ X Nghĩa là với mỗi lớp dữ liệu chúng ta cần học (xây dựng) một ánh xạ hoặc một hàm tương ứng

Trong bước thứ hai, mô hình thu được sẽ được sử dụng để phân lớp Để đảm bảo tính khách quan nên áp dụng mô hình này trên một tập kiểm thử hơn là làm trên tập dữ liệu huấn luyện ban dầu Tính chính xác của mô hình phân lớp trên tập dữ liệu kiểm thử là số phần trăm các bộ dữ liệu kiểm tra được đánh nhãn đúng bằng cách so sánh chúng với các mẫu trong bộ dữ liệu huấn luyện

Nếu như độ chính xác của mô hình dự đoán là chấp nhận được thì chúng ta có thể

sử dụng nó cho các bộ dữ liệu với thông tin nhãn phân lớp chưa xác định

Trang 34

2.2.1.2 Dự đoán

Dự đoán dữ liệu là một quá trình gồm hai bước, nó gần giống với quá trình phân lớp Tuy nhiên để dự đoán, chúng ta bỏ qua khái niệm nhãn phân lớp bởi vì các giá trị được dự đoán là liên tục (được sắp xếp) hơn là các giá trị phân loại Ví dụ thay vì phân loại xem một khoản vay có là an toàn hay rủi do thì chúng ta sẽ dự đoán xem tổng số tiền cho vay của một khoản vay là bao nhiêu thì khoản vay đó là an toàn

Có thể xem xét việc dự đoán cũng là một hàm y = f(X), trong đó X là dữ liệu đầu vào, và đầu ra là một giá trị y liên tục hoặc sắp xếp được Việc dự đoán và phân lớp có một vài điểm khác nhau khi sử dụng các phương pháp xây dựng mô hình Giống với phân lớp, tập dữ liệu huấn luyện sử dụng để xây dựng mô hình dự đoán không được dùng để đánh giá tính chính xác Tính chính xác của mô hình dự đoán được đánh giá dựa trên việc tính độ lệch giá các giá trị dự đoán với các giá trị thực

sự nhận được của mỗi bộ kiểm tra X

2.2.2 Phân cụm (Clustering)

* Khái niệm: Là việc mô tả chung để tìm ra các tập hay các nhóm, loại mô tả

dữ liệu Các nhóm có thể tách nhau hoặc phân cấp hay gối lên nhau Có nghĩa là dữ liệu có thể vừa thuộc nhóm này lại vừa thuộc nhóm khác Các ứng dụng khai phá dữ liệu có nhiệm vụ phân nhóm như phát hiện tập các khách hàng có phản ứng giống nhau trong CSDL tiếp thị; xác định các quang phổ từ các phương pháp đo tia hồng ngoại… Liên quan chặt chẽ đến việc phân nhóm là nhiệm vụ đánh giá dữ liệu, hàm mật độ xác suất đa biến, các trường trong CSDL

2.2.3 Hồi quy và dự báo ( Regression and Prediction)

2.2.3.1 Hồi quy

Là việc học một hàm ánh xạ từ một mẫu dữ liệu thành một biến dự đoán có giá trị thực Nhiệm vụ của hồi quy tương tự như phân lớp, điểm khác nhau chính là ở chỗ thuộc tính để dự báo là liên tục chứ không phải rời rạc Việc dự báo các giá trị số thường được làm bởi các phương pháp thống kê cổ điển, chẳng hạn như hồi quy tuyến tính Tuy nhiên, phương pháp mô hình hoá cũng được sử dụng, ví dụ: cây quyết định

Ứng dụng của hồi quy là rất nhiều, ví dụ: dự đoán số lượng sinh vật phát quang hiện thời trong khu rừng bằng cách dò tìm vi sóng bằng các thiết bị cảm biến

Trang 35

từ xa; ước lượng sác xuất người bệnh có thể chết bằng cách kiểm tra các triệu chứng; dự báo nhu cầu của người dùng đối với một sản phẩm…

2.2.3.2 Dự báo

Dự báo là một chủ đề rộng và đi từ dự báo về lỗi của các thành phần hay máy móc đến việc nhận ra sự gian lận và thậm chí là cả dự báo về lợi nhuận của công ty nữa Được sử dụng kết hợp với các kỹ thuật khai phá dữ liệu khác, dự báo gồm có việc phân tích các xu hướng, phân loại, so khớp mẫu và mối quan hệ Bằng cách phân tích các sự kiện hoặc các cá thể trong quá khứ, ta có thể đưa ra một dự báo về một sự kiện

Khi sử dụng quyền hạn thẻ tín dụng, chẳng hạn, bạn có thể kết hợp phân tích cây quyết định của các giao dịch riêng lẻ trong quá khứ với việc phân loại và các sự

so khớp mẫu lịch sử để nhận biết liệu một giao dịch có gian lận hay không Rất có thể là việc thực hiện một sự so khớp giữa việc mua vé các chuyến bay đến Mỹ và các giao dịch tại Mỹ cho thấy giao dịch này hợp lệ

2.2.4 Tổng hợp (summarization)

Là công việc liên quan đến các phương pháp tìm kiếm một mô tả tập con dữ liệu[1],[2],[5] Kỹ thuật tổng hợp thường áp dụng trong việc phân tích dữ liệu có tính thăm dò và báo cáo tự động Nhiệm vụ chính là sản sinh ra các mô tả đặc trưng cho một lớp Mô tả loại này là một kiểu tổng hợp, tóm tắt các đặc tính chung của tất cả hay hầu hết các mục của một lớp Các mô tả đặc trưng thể hiện theo luật có dạng sau:

“Nếu một mục thuộc về lớp đã chỉ trong tiền đề thì mục đó có tất cả các thuộc tính đã nêu trong kết luận” Lưu ý rằng luật dạng này có các khác biệt so với luật phân lớp Luật phát hiện đặc trưng cho lớp chỉ sản sinh khi các mục đã thuộc về lớp đó

2.2.5 Mô hình hoá sự phụ thuộc (dependency modeling)

Là việc tìm kiếm một mô hình mô tả sự phụ thuộc giữa các biến, thuộc tính theo hai mức: Mức cấu trúc của mô hình mô tả (thường dưới dạng đồ thị) Trong đó, các biến phụ thuộc bộ phận vào các biến khác Mức định lượng mô hình mô tả mức

độ phụ thuộc Những phụ thuộc này thường được biểu thị dưới dạng theo luật “nếu thì” (nếu tiền đề là đúng thì kết luận đúng) Về nguyên tắc, cả tiền đề và kết luận đều có thể là sự kết hợp logic của các giá trị thuộc tính Trên thực tế, tiền đề thường

Định dạng
Số trang	70
Dung lượng	1,55 MB