Nghiên cứu cải thiện khả năng phát hiện tấn công mạng bằng kỹ thuật DEEP LEARNING (Luận văn thạc sĩ)Nghiên cứu cải thiện khả năng phát hiện tấn công mạng bằng kỹ thuật DEEP LEARNING (Luận văn thạc sĩ)Nghiên cứu cải thiện khả năng phát hiện tấn công mạng bằng kỹ thuật DEEP LEARNING (Luận văn thạc sĩ)Nghiên cứu cải thiện khả năng phát hiện tấn công mạng bằng kỹ thuật DEEP LEARNING (Luận văn thạc sĩ)Nghiên cứu cải thiện khả năng phát hiện tấn công mạng bằng kỹ thuật DEEP LEARNING (Luận văn thạc sĩ)Nghiên cứu cải thiện khả năng phát hiện tấn công mạng bằng kỹ thuật DEEP LEARNING (Luận văn thạc sĩ)Nghiên cứu cải thiện khả năng phát hiện tấn công mạng bằng kỹ thuật DEEP LEARNING (Luận văn thạc sĩ)Nghiên cứu cải thiện khả năng phát hiện tấn công mạng bằng kỹ thuật DEEP LEARNING (Luận văn thạc sĩ)Nghiên cứu cải thiện khả năng phát hiện tấn công mạng bằng kỹ thuật DEEP LEARNING (Luận văn thạc sĩ)Nghiên cứu cải thiện khả năng phát hiện tấn công mạng bằng kỹ thuật DEEP LEARNING (Luận văn thạc sĩ)
Trang 1HỌC VIỆN CÔNG NGHỆ BƯU CHÍNH VIỄN THÔNG
-
TÔ TRỌNG TÍN
NGHIÊN CỨU CẢI THIỆN KHẢ NĂNG PHÁT HIỆN TẤN CÔNG MẠNG BẰNG KỸ THUẬT DEEP LEARNING
Chuyên ngành: HỆ THỐNG THÔNG TIN
Mã số: 8480104
TÓM TẮT LUẬN VĂN THẠC SĨ
Tp HỒ CHÍ MINH - NĂM 2018
Trang 2Luận văn được hoàn thành tại:
HỌC VIỆN CÔNG NGHỆ BƯU CHÍNH VIỄN THÔNG
Người hướng dẫn khoa học: PGS.TS Trần Văn Lăng
Phản biện 1: Phản biện 2:
Luận văn sẽ được bảo vệ trước Hội đồng chấm luận văn thạc
sĩ tại Học viện Công nghệ Bưu chính Viễn thông
Vào lúc: giờ ngày tháng năm
Có thể tìm hiểu luận văn tại:
- Thư viện của Học viện Công nghệ Bưu chính Viễn thông
Trang 3MỞ ĐẦU
Hệ thống phát hiện tấn công mạng (Intrusion Detection System) là một công cụ mạnh mẽ và hiệu quả trong công việc phát hiện và phòng chống tấn công trước các hành vi truy cập mạng của người sử dụng Năm 1997 khái niệm về hệ thống IDS được phổ biến
ra toàn thế giới, các hệ thống IDS lúc đó phân tích và dự báo các cuộc tấn công mạng chủ yếu qua cơ cở dữ liệu bằng cách so sánh các bảng ghi có sẵn trong CSDL và lưu lượng mạng, để việc phát hiện tấn công đạt hiệu quả cao thì CSDL này cần phải thường xuyên được cập nhật (được thực hiện bằng phương pháp thủ công hoặc tự động trong khoảng thời gian nhất định) điều đó tạo nên sự khó khăn trong điều kiện bùng nổ lưu lượng mạng như hiện nay Thêm vào đó các phương pháp tấn công và virus ngày càng tinh vi khiến việc tạo nên các “bảng chỉ dẫn” cho hệ thống IDS gặp nhiều khó khăn trong việc cập nhật, từ năm 2003, các chuyên gia về an toàn máy tính và các học giả đã nghiên cứu ứng dụng kỹ thuật học máy vào công đoạn phân tích các luồng dữ liệu lưu thông thay thế cho việc so sánh thụ động trong các phiên bản
cũ, việc này đem lại tốc độ, sự chính xác và quan trọng hơn chính là khả năng dự đoán các cuộc tấn công của hệ thống IDS Năm 2006 - Geoffrey Hinton đã đưa ra thuật ngữ "deep learning" để giải thích các thuật toán mới cố gắng để mô hình dữ liệu trừu tượng hóa ở mức cao bằng cách sử dụng nhiều lớp xử lý với cấu trúc phức tạp hoặc bằng các cách khác bao gồm nhiều biến đổi phi tuyến Deep learning hay
“học sâu” là một họ của phương pháp máy học nhưng chúng phân tích sâu vào cấu trúc xử lý dữ liệu của các kỹ thuật máy học đã có hơn là
Trang 4tạo ra một kiến trúc hoàn toàn mới và kỹ thuật deep learning phổ biến nhất được xây dựng trên mô hình neural network Ưu điểm của kỹ thuật deep learning là chúng xử lý được thông tin ở dạng dữ liệu thô,
vì cấu trúc gồm nhiều lớp xử lý nên mỗi lớp sẽ đóng vai trò như một feature, dữ liệu không cần thiết sẽ dần bị lọc bớt khi truyền qua đó ngoài ra bản thân các lớp xử lý sử dụng các thuật toán thống kê với quy mô lớn chạy xuyên suốt quá trình xử lý nên chúng có thể tự động điều chỉnh kết quả đầu ra để cải thiện khả năng dự đoán
Với những ưu điểm và tiện lợi của mạng neural sâu, tôi chọn
đề tài “NGHIÊN CỨU CẢI THIỆN KHẢ NĂNG PHÁT HIỆN TẤN CÔNG MẠNG BẰNG KỸ THUẬT DEEP LEARNING“ để
nghiên cứu và thử nghiệm một hướng tiếp cận mới về máy học vào công việc phát hiện tấn công mạng
Trang 5CHƯƠNG 1 - TỔNG QUAN HỆ THỐNG PHÁT HIỆN
XÂM NHẬP 1.1 Tổng quan về tấn công mạng
1.1.1 Khái niệm về tấn công mạng
Tấn công mạng là tác động hoặc là trình tự liên kết giữa các tác động với nhau để phá hủy, dẫn đến việc hiện thực hóa các nguy cơ bằng cách lợi dụng đặc tính dễ bị tổn thương của các hệ thống thông tin Tấn công phổ biến nhất của hacker hiện nay hướng tới các website,
cơ sở dữ liệu nhằm lợi dụng các loại lỗ hổng bảo mật để cài phần mềm gián điệp, điều khiển từ xa, xâm nhập, nhằm phá hoại, lấy cắp thông tin với mục đích chính trị và kinh tế, làm ảnh hưởng tới các tổ chức doanh nghiệp
1.1.2 Các kiểu tấn công mạng
1.2 Tổng quan về hệ thống phát hiện xâm nhập IDS
IDS là hệ thống phát hiện các dấu hiệu của tấn công xâm nhập, đồng thời có thể khởi tạo các hành động trên thiết bị khác để ngăn chặn tấn công Khác với tường lửa, IDS không thực hiện các thao tác ngăn chặn truy xuất mà chỉ theo dõi các hoạt động trên mạng để tìm ra các dấu hiệu của tấn công và cảnh báo cho người quản trị mạng Bên cạnh
đó IDS sẽ đánh giá sự xâm nhập đáng ngờ khi nó đã, đang và sắp diễn
ra đồng thời phát ra cảnh báo, nó theo dõi được các cuộc tấn công bằng cách rà soát và tìm kiếm dấu hiệu tấn công từ nội dung gói tin lưu thông bên trong một hệ thống Chức năng ban đầu của IDS chỉ là phát hiện các dấu hiện xâm nhập, do đó IDS chỉ có thể tạo ra các cảnh báo tấn công khi tấn công đang diễn ra hoặc thậm chí sau khi tấn công đã
Trang 6hoàn tất Càng về sau, nhiều kỹ thuật mới được tích hợp vào IDS, giúp
nó có khả năng dự đoán được tấn công (prediction) và thậm chí phản
ứng lại các tấn công đang diễn ra (Active response)
1.2.1 Các thành phần chính của IDS
Hình 1.1: Các thành phần Ids
1 Trung tâm điều khiển (The Command Console)
Trung tâm điều khiển là nơi mà IDS được giám sát và quản lí
Nó duy trì kiểm soát thông qua các thành phần của IDS, và Trung tâm
điều khiển có thể được truy cập từ bất cứ nơi nào
2 Bộ cảm biến (Network Sensor)
Bộ cảm biến là chương trình chạy trên các thiết bị mạng hoặc
máy chuyên dụng trên các đường mạng thiết yếu Bộ cảm biến có một
vai trò quan trọng vì có hàng nghìn mục tiêu cần được giám sát trên
mạng Khi hệ thống mạng dùng các hub, ta có thể đặt các bộ cảm biến
trên bất kì port nào của hub vì mọi luồng traffic được gửi ra tất cả các
port trên hub, và có thể phát hiện ra các luồng traffic bất thường
Nhưng khi hệ thống cần sử dụng các switch, các switch chỉ gửi gói tin
đến chính xác địa chỉ cần gửi trên từng port Để giải quyết vấn đề này,
Trang 7một kỹ thuật thông dụng là sử dụng những con switch có port mở rộng (expansion port) – khá nhiều thiết bị mạng ngày nay có cái này, và ta kết nối IDS vào port này Port này được gọi là Switched Port Analyzer (SPAN) port SPAN port cần được cấu hình bởi các chuyên gia bảo mật để nhân bản mọi luồng dữ liệu của switch
3 Thành phần cảnh báo
Thành phần cảnh báo có chức năng gửi những cảnh báo tới người quản trị Trong các hệ thống IDS hiện đại, lời cảnh báo có thể ở dưới nhiều dạng như: cửa sổ pop-up, tiếng chuông, email, SNMP
1.2.2 Chức năng của IDS
1.2.3 Quy trình hoạt động của IDS
Hình 1.2: Quy trình hoạt động IDS
Trang 81.2.4 Phân loại IDS
Hệ thống IDS được chia làm 2 loại cơ bản:
- Network-based IDS (NIDS): Hệ thống IDS dựa trên mạng
sẽ kiểm tra các giao tiếp trên mạng với thời gian thực (real-time) Nó kiểm tra các giao tiếp, quét header của các gói tin và có thể kiểm tra nội dung của các gói đó để phát hiện ra các đoạn mã nguy hiểm
- Host-based IDS (HIDS): Bằng cách cài đặt một phần mềm trên máy chủ, IDS dựa trên máy chủ quan sát tất cả những hoạt động
về hệ thống và các file log, lưu lượng mạng thu thập Hệ thống dựa trên máy chủ cũng theo dõi OS, những cuộc gọi hệ thống, lịch sử và những thông điệp báo lỗi trên hệ thống máy chủ
1.3 Tiểu kết chương
Chương 1 đã nêu lên những nội dung cơ bản về các cuộc tấn công mạng và IDS, phân loại tấn công và đặc điểm nhận biết tấn công mạng, vai trò, đặc điểm và khả năng phát hiện và phòng chống xâm nhập, giám sát lưu lượng, giám sát trạng thái hoạt động của thiết bị và dịch vụ trong hệ thống mạng
Trang 9CHƯƠNG 2 - MÔ HÌNH MẠNG NEURAL
VÀ PHƯƠNG PHÁP HỌC SÂU 2.1 Tổng quan về mạng Neural
Mạng neural nhân tạo (Artificial Neural Network) bao gồm các neural ( còn gọi là một đơn vị xử lý hay một node) được nối với nhau bởi các liên kết neural Mỗi liên kết kèm theo một trọng số nào
đó đặc trưng cho tính kích hoạt/ ức chế giữa các neural Nhiệm vụ chung của quá trình huấn luyện mạng là cập nhật các trọng số khi có thêm các thông tin về mẫu học
Thông thường các neural có nhiều đầu vào Một neural có R đầu vào p1,p2 ,pR sẽ có các trọng số tương ứng w1,w2, ,wR tạo thành một ma trận W và được gọi là ma trận trọng số Các neural này có thể sinh ra một output hoặc không trong ANN Mối quan hệ giữa hàm kích hoạt bên trong và kết quả (output) được thể hiện bằng hàm chuyển đổi (Transfer Function) hay gọi là hàm kích hoạt (Activation Function)
Khi activation function f(.) được áp dụng cho một ma trận (hoặc vector), ta hiểu rằng nó được áp dụng cho từng thành phần của
ma trận đó Sau đó các thành phần này được sắp xếp lại đúng theo thứ
tự để được một ma trận có kích thước bằng với ma trận input Việc lựa chọn Activation Function có tác động lớn đến kết quả của ANN vì kết quả xử lý tại các Neural (Output) đôi khi rất lớn, vì vậy activation function được sử dụng để xử lý output này trước khi chuyển đến layer tiếp theo
2.1.1 Phân loại mạng Neural
2.1.2 Thuật toán học trong mạng Neural
Trang 10Tiến trình học là tiến trình quan trọng của con người, nhờ học
mà bộ não ngày càng tích luỹ những kinh nghiệm để thích nghi với môi trường và xử lý tình huống tốt hơn Mạng neural được xây dựng lại từ cấu trúc bộ não thì cần phải có khả năng nhận biết dữ liệu thông qua tiến trình học, với các thông số tự do của mạng có thể thay đổi liên tục bởi những thay đổi của môi trường và mạng neural ghi nhớ giá trị
đó
Trong quá trình học, giá trị đầu vào được đưa vào mạng và theo dòng chảy trong mạng tạo thành giá trị ở đầu ra Tiếp đến là quá trình so sánh giá trị tạo ra bởi mạng neural với giá trị ra mong muốn Nếu hai giá trị này giống nhau thì không thay đổi gì cả Tuy nhiên, nếu
có một sai lệch giữa hai giá trị này vượt quá giá trị sai số mong muốn thì mạng neural sẽ tiến hành chỉnh sửa trọng số sao cho đầu ra đạt được giá trị mong muốn theo một phương pháp nào đó, phương pháp chỉnh sửa này được gọi là các thuật toán học Đây là một quá trình lặp liên tục và có thể không dừng khi không tìm ra các giá trị W sao cho đầu ra tạo bởi mạng neural bằng đúng đầu ra mong muốn Do đó trong thực tế người ta phải thiết lập tiêu chuẩn dựa trên một giá trị sai số nào
đó của hai giá trị này hay dựa trên một số lần lặp xác định
Dựa theo cách học mà chúng ta có thể phân ra làm 2 loại đó chính là học có giám sát (supervised) và học không có giám sát (unsupervised)
- Học có giám sát : Trong học giám sát, các quy tắc học được cung cấp bằng một tập mẫu chuẩn (tập huấn luyện)
{p ,t}, {p,t}, , {p,t}
Trang 11Trong đó pq là một đầu vào của mạng và tq là đầu ra đúng tương ứng Khi đầu vào được áp dụng vào mạng, đầu ra của mạng được so sánh với đích Quy tắc học sau đó được áp dụng để điều chỉnh các trọng số và độ lệch của mạng cốt làm cho đầu ra của mạng gần đích đúng của đầu vào
- Học không có giám sát : Trong phương pháp học này, mạng neural không được hướng dẫn trước về cách nhận biết các đối tượng, mạng phải tự phân tích các đặc trưng, tính chất của đối tượng để phân loại chúng Điều này đặc biệt có ích trong các bài toán lượng tử hóa vectơ
2.1.3 Thuật toán lan truyền ngược ( Back propagation)
Thuật toán học Back Propagation là thuật toán học tập tiêu chuẩn cho mạng neural đa lớp Phương pháp này tính toán gradient của hàm tổn thất với tất cả các trọng số có liên quan trong mạng neural
đó Gradient này được đưa vào phương pháp tối ưu hóa, sử dụng nó
để cập nhật các trọng số, để cực tiểu hóa hàm tổn thất Thuật toán lan truyền ngược yêu cầu một đầu ra mong muốn, đã biết cho mỗi giá trị đầu vào để tính toán gradient hàm tổn thất Do đó, nó thường được xem là một phương pháp học có giám sát, là một tổng quát hóa của quy tắc delta cho các mạng dẫn tiến đa tầng, có thể thực hiện bằng cách sử dụng quy tắc dây chuyền để tính toán lặp đi lặp lại các gradient cho mỗi lớp Truyền ngược yêu cầu các hàm kích hoạt được sử dụng bởi các neural nhân tạo (hay "node") khả vi
- Tập mẫu học:
Mạng được cung cấp một tập mẫu chuẩn Q = {p(q), t(q)}
Trang 12+ Mẫu đầu vào p(q) = [p1, p2, pR]T, q = 1,2, , Q ( R là số đầu vào, Q là số mẫu học)
+ Mẫu đầu ra t(q) = [t1,t2, tS]T ( S là số đầu ra ) Đầu ra thực
Xét mạng truyền thẳng với M lớp, m =1,2, ,M Đặt netm
i và
am
i lần lượt là đầu vào và đầu ra của neural thứ i trong lớp m Mạng
có R đầu vào và S đầu ra Ký hiệu wijm là trọng số liên kết giữa neural thứ j lớp m-1 với neural thứ i lớp m
Input: Tập mẫu học {p(q) , t(q)} trong đó ta thêm vào mỗi vectơ
p(q) một phần tử biểu diễn độ lệch pR+1 = -1
Bước 0: Khởi tạo Chọn > 0 và Emax Khởi tạo các trọng
số bằng các giá trị ngẫu nhiên nhỏ Đặt E = 0, q = 1
Bước 1: Bước lặp Đưa mẫu vào thứ q cho lớp vào (m = 1)
am
i = p(q)
i với mọi i Bước 2: Lan truyền thuận
Lan truyền tín hiệu qua mạng thông qua công thức:
am = f( netm) = f(wm-1
ịj a)
Trang 13với mọi i, m, cho đến khi nhận được tất cả các đầu ra am
Bước 4: Lan truyền ngược sai số
Lan truyền ngược sai số để cập nhật các trọng số và tính toán tín hiệu sai số mi cho lớp trước đó
∆mWij = ηm δim -1 ai
Wm
ij(new) = f ( netim-1 ) = f ( ∑jm Wij δim ) m= M, M-1, ,2 Bước 5: Kiểm tra xem tất cả các mẫu học đã được học hay chưa Nếu q < Q thì q = q+1, chuyển đến bước 1 Ngược lại thì chuyển đến bước 6
Bước 6: Kiểm tra xem tổng sai số E hiện tại có chấp nhận được hay không Nếu E < Emax thì đã học xong, kết thúc quá trình huấn luyện Ngược lại, đặt E = 0, q = 1, bắt đầu vòng huấn luyện mới bằng các chuyển về bước 1
+ Đánh giá :
Mạng neural nhiều lớp truyền thẳng là cách biểu diễn các đối tượng dựa trên các giá trị thuộc tính của chúng tương đối hiệu quả, tuy rằng chưa vét cạn hết mọi khía cạnh khác nhau về đối tượng đó Cách tiếp cận mạng loại này tỏ ra khá hiệu quả khi các quan sát có miền giá trị liên tục Do vậy, có thể xem là tốt hơn so với những cách tiếp cận truyền thống dựa trên logic mệnh đề và cây quyết định
Trang 142.3 Học sâu ( Deep Learning )
2.3.1 Khái niệm cơ bản
Học sâu là một lớp của các thuật toán máy học mà trong đó (1) nhiều lớp các đơn vị xử lý phi tuyến và (2) học có giám sát hoặc không có giám sát để biểu diễn đặc tính ở mỗi lớp, với các lớp hình thành một hệ thống các tính năng phân cấp từ thấp đến cao cấp Các thành phần trong một lớp của các đơn vị xử lý phi tuyến sử dụng một thuật toán học sâu tùy theo vấn đề cần được giải quyết Các lớp được
sử dụng trong học sâu bao gồm các lớp ẩn của một mạng neural nhân tạo và tập các công thức mệnh đề phức tạp
Đối với các nhiệm vụ học có giám sát, các phương pháp học sâu sẽ tránh rút trích đặc điểm (feature engineering) bằng cách dịch các dữ liệu đầu vào thành các đại diện trung gian nhỏ gọn giống như các thành phần chính vì thế ta lấy được các cấu trúc lớp mà loại bỏ sự thừa thải trong feature
2.3.2 Kiến trúc mạng neural hồi quy (RNN)
Mạng neural sâu (DNN) là một mạng neural nhân tạo với nhiều đơn vị lớp ẩn giữa lớp đầu vào và đầu ra, các mạng neural sâu
có thể mô hình mối quan hệ phi tuyến phức tạp Ví dụ như phát hiện
và phân tích đối tượng để tạo ra các mô hình hỗn hợp trong đó đối tượng này được thể hiện như một thành phần được xếp lớp của các dữ liệu nguyên thủy, các lớp phụ cho phép lấy các thành phần của các đặc điểm từ các lớp thấp hơn, đem lại tiềm năng của mô hình hóa dữ liệu phức tạp với các đơn vị ít hơn so với một mạng lưới nông