PHÁT TRIỂN MỘT SỐ TIỆN ÍCH GIÁM SÁT AN NINH MẠNG DỰA TRÊN CÔNG NGHỆ MÃ NGUỒN MỞ

MỤC LỤC LỜI CẢM ƠN iii DANH MỤC TỪ VIẾT TẮT iv DANH MỤC HÌNH VẼ v DANH MỤC BẢNG vi LỜI NÓI ĐẦU vii Chương 1: Tổng quan về giám sát an ninh mạng 9 1.1. Giới thiệu 9 1.2. Hệ thống giám sát an ninh mạng 10 1.3. Lợi ích của một hệ thống giám sát an toàn mạng – SIEM 11 1.3.1. Quản lý tập trung 11 1.3.2. Giám sát an toàn mạng 12 1.3.3. Cải thiện hoạt động xử lý sự cố hiệu quả 14 1.4. Một số sản phẩm giám sát an ninh mạng 14 1.4.1. Công cụ SPlunk 14 1.4.2. Loggly 17 1.4.3. SyslogNg 19 1.4.4. Logzilla (Php SyslogNg) 20 1.4.5. HP ArcSight Logger 22 1.4.6. Nagios 22 Chương 2: Tìm hiểu công cụ giám sát an ninh mạng SPLUNK 25 2.1. Tổng quan Splunk 25 2.1.1. Giới thiệu SPlunk 25 2.2. Sức mạnh của Splunk trong giám sát an ninh mạng 28 2.2.1 Quản lý các ứng dụng: 28 2.2.2 Quản lý hoạt động IT 29 2.2.3 An ninh trong lĩnh vực IT 34 2.3. Các thành phần của splunk 36 2.3.1. Thành phần thu thập log 36 2.3.2 Thành phần xử lý dữ liệu đầu vào 40 2.3.3 Thành phần đánh chỉ mục và lưu trữ 50 2.3.4 Thành phần cảnh báo 63 Chương 3: Xây dựng ứng dụng giám sát website dựa trên Splunk 67 3.1. Giới thiệu 67 3.2 Thiết kế giao diện và chức năng 67 3.2.1. Thiết kế giao diện 67 3.2.2. Thiết kế chức năng 68 3.3 Xây dựng thủ tục phát hiện tấn công 71 3.4 Thử nghiệm hệ thống 72 3.4.1 Mô hình thử nghiệm 72 3.4.2 Kết quả thử nghiệm 74 KẾT LUẬN 75 TÀI LIỆU THAM KHẢO 76   LỜI CẢM ƠN Qua hơn 3 tháng làm việc hết mình tôi đã hoàn thành đồ án tốt nghiệp của mình. Tôi xin được gửi lời cảm ơn sâu sắc đến TS. Lương Thế Dũng đã tận tình chỉ bảo, giúp đỡ tôi trong quá trình làm đồ án. Trong quá trình học tập tại trường tôi xin cảm ơn thầy cô và bạn bè cùng khóa đã tạo điều kiện để tôi có thể hoàn thành tốt chương trình học. Tôi cũng xin cám ơn gia đình và bạn bè đã luôn bên tôi, quan tâm, động viên giúp đỡ tôi trong mọi hoàn cảnh khó khăn. Đồ án được hoàn thành trong thời gian ngắn, chắc sẽ còn nhiều thiếu sót. kính mong thầy cô và các bạn có những đóng góp tích cực để tôi có thể hoàn thiện và phát triển hơn nữa đề tài của mình. Tôi xin chân thành cảm ơn   DANH MỤC TỪ VIẾT TẮT Từ viết tắt Từ đầy đủ DDOS Distributed Denial of Service SPL Search Processing Language NSM Network Security Monitoring JSON JavaScript Object Notation SNMP Simple Network Management Protocol SIEM Security Information and Event Management IDXP Intrusion Detection Exchange Protocol  

KHOA AN TOÀN THÔNG TIN

MỤC L

LỜI CẢM ƠN iii

DANH MỤC TỪ VIẾT TẮT iv

DANH MỤC HÌNH VẼ v

DANH MỤC BẢNG vi

LỜI NÓI ĐẦU vii

Chương 1: Tổng quan về giám sát an ninh mạng 9

1.1 Giới thiệu 9

1.2 Hệ thống giám sát an ninh mạng 10

1.3 Lợi ích của một hệ thống giám sát an toàn mạng – SIEM 11

1.3.1 Quản lý tập trung 11

1.3.2 Giám sát an toàn mạng 12

1.3.3 Cải thiện hoạt động xử lý sự cố hiệu quả 14

1.4 Một số sản phẩm giám sát an ninh mạng 14

1.4.1 Công cụ SPlunk 14

1.4.2 Loggly 17

1.4.3 Syslog-Ng 19

1.4.4 Logzilla (Php Syslog-Ng) 20

1.4.5 HP ArcSight Logger 22

1.4.6 Nagios 22

Chương 2: Tìm hiểu công cụ giám sát an ninh mạng SPLUNK 25

2.1 Tổng quan Splunk 25

2.1.1 Giới thiệu SPlunk 25

2.2 Sức mạnh của Splunk trong giám sát an ninh mạng 28

2.2.1 Quản lý các ứng dụng: 28

2.2.2 Quản lý hoạt động IT 29

2.2.3 An ninh trong lĩnh vực IT 34

2.3 Các thành phần của splunk 36

2.3.1 Thành phần thu thập log 36

2.3.2 Thành phần xử lý dữ liệu đầu vào 40

2.3.3 Thành phần đánh chỉ mục và lưu trữ 50

2.3.4 Thành phần cảnh báo 63

Chương 3: Xây dựng ứng dụng giám sát website dựa trên Splunk 67

3.1 Giới thiệu 67

3.2 Thiết kế giao diện và chức năng 67

3.2.1 Thiết kế giao diện 67

3.2.2 Thiết kế chức năng 68

3.3 Xây dựng thủ tục phát hiện tấn công 71

3.4 Thử nghiệm hệ thống 72

3.4.1 Mô hình thử nghiệm 72

3.4.2 Kết quả thử nghiệm 74

KẾT LUẬN 75

TÀI LIỆU THAM KHẢO 76 Y

LỜI CẢM ƠN

Qua hơn 3 tháng làm việc hết mình tôi đã hoàn thành đồ án tốt nghiệpcủa mình Tôi xin được gửi lời cảm ơn sâu sắc đến TS Lương Thế Dũng đãtận tình chỉ bảo, giúp đỡ tôi trong quá trình làm đồ án

Trong quá trình học tập tại trường tôi xin cảm ơn thầy cô và bạn bè cùngkhóa đã tạo điều kiện để tôi có thể hoàn thành tốt chương trình học Tôi cũngxin cám ơn gia đình và bạn bè đã luôn bên tôi, quan tâm, động viên giúp đỡtôi trong mọi hoàn cảnh khó khăn

Đồ án được hoàn thành trong thời gian ngắn, chắc sẽ còn nhiều thiếu sót.kính mong thầy cô và các bạn có những đóng góp tích cực để tôi có thể hoànthiện và phát triển hơn nữa đề tài của mình

Tôi xin chân thành cảm ơn!

DANH MỤC TỪ VIẾT TẮT

DDOS Distributed Denial of Service

JSON JavaScript Object Notation

SNMP Simple Network Management Protocol

SIEM Security Information and Event Management

IDXP Intrusion Detection Exchange Protocol

DANH MỤC HÌNH VẼ

Hình 1.1 Phương pháp thu thập dữ liệu 12

Hình 1.2 Công cụ Splunk 14

Hình 1.3 Mô hình triển khai Splunk cho doanh nghiệp 17

Hình 1.4 Mô hình hoạt động của Logzilla 20

Hình 1.5 Mô hình triển khai Nagios 24

Hình 2.1 Các loại data, log mà Splunk xử lý được 26

Hình 2.2 Mô hình Splunk phổ biến 27

Hình 2.3 Mô hình thu thập log tập trung 39

Hình 2.4 Mô hình thu thập log cân bằng tải 40

Hình 2.5 Sao chép và lưu trữ dữ liệu 63

Hình 3.1 Giao diện trang quản trị 1 67

Hình 3.2 Giao diện trang quản trị 2 67

Hình 3.3 Tính năng hiển thị trạng thái Status 68

Hình 3.4 Tính năng hiển thị pageviews 68

Hình 3.5 Tính năng hiển thị top clientip 69

Hình 3.6 Tính năng hiển thị vị trí truy nhập 69

Hình 3.7 Email cảnh báo có tấn công Sql injection 70

Hình 3.8 Hiển thị thông báo khi có tấn công trong Splunk 70

Hình 3.9 Email cảnh báo có đăng nhập trái phép 71

Hình 3.10 Log có chứa tấn công SQL injection 71

Hình 3.11 Mô hình thử nghiệm 72

Hình 3.12 Giao diện trang chủ của website cần giám sát 73

Hình 3.13 Mô hình đẩy log giửa webserver và moniter 74

DANH MỤC BẢ

Bảng 2.1 So sánh các công cụ forwarder 37

Bảng 2.2 Ngôn ngữ và bộ mã Splunk hỗ trợ 43

Bảng 2.3 Các trường trong Index 47

Bảng 2.4 Vị trí các thư mục chứa index 58 Y

LỜI NÓI ĐẦU

Đảm bảo an toàn cho hệ thống thông tin là việc làm hết sức quan trọngđối với các doanh nghiệp, do công nghệ hiện nay hầu như công việc được giảiquyết dễ dàng hơn qua hệ thống máy tính Lưu trữ, truy xuất dữ liệu cũng tiệnlợi hơn do đó hầu hết dữ liệu của công ty đều lưu trữ trên máy tính Chính vìthế mà ngày càng nhiều những hành vi xâm phạm đến hệ thống máy tính đểđánh cắp thông tin, phá hoại hệ thống làm ngưng trệ hoạt động, hay nhữnghoạt động vô tình nào đó cũng có thể gây tổn hại đến hệ thống Những hànhđộng này có thể là ở bên ngoài hay chính nhân viên trong công ty điều nàycần thiết phải có thành phần ghi lại dấu vết các hành vi trong hệ thống để cóthể kiểm tra người truy cập, các hành động diễn ra làm bằng chứng pháp lísau này

Hệ thống giám sát an ninh mạng ra đời giúp giải quyết các vấn đề liênquan đến việc lưu trữ và xử lí các sự kiện của hệ thống, dịch vụ, thiết bị ,đặc biệt là việc quản lí tập trung của nó mang lại rất nhiều tiện ích cho ngườiquản trị như có thể kiểm soát được thông tin của cả hệ thống chỉ trên mộtmáy, cho ra các sơ đồ trực quan để dễ dàng so sánh các hành động… Trongthời gian làm đồ án em đã tìm hiểu được các vấn đề về hệ thống giám sát anninh mạng và xây dựng được ứng dụng giám sát website dựa trên một hệthống giám sát an ninh mạng cụ thể

Mục đích nghiên cứu

Tìm hiểu về hệ thống giám sát an ninh mạng nói chung và nghiên cứusâu về công nghệ nền tảng phục vụ cho giám sát an ninh mạng Splunk nóiriêng, từ đó xây dựng ứng dụng giám sát website dựa trên nền tảng Spunk

Đối tượng nghiên cứu

- Hệ thống giám sát an ninh mạng

- Công cụ giám sát an ninh mạng Splunk

-Ứng dụng Splunk vào giám sát website

Phương pháp nghiên cứu

- Thu thập thông tin từ các bài báo trong đó có phân tích, tổng hợp từ cácchuyên gian an ninh về vấn đề an ninh mạng trên thế giới và Việt Nam

-Tìm hiểu thông tin qua tài liệu về các nguy cơ mất an toàn trong hệthống thông tin

- Nghiên cứu tài liệu từ trang document của Splunk để có thể hiểu đượcquá trình vận hành của hệ thống thu thập log này và tiến hành cài đặt vậnhành thử nghiệm

Ý nghĩa khoa học và thực tiễn của đồ án

Về mặt lý thuyết:

- Có cái nhìn khái quát về hệ thống giám sát an ninh mạng

- Tìm hiểu được một số hệ thống giám sát an ninh mạng hiện nay

- Nắm được quá trình hoạt động , các thành phần của công cụ giám sátSplunk

Về mặt thực tiễn:

- Xây dựng một hệ thống giám sát an ninh mạng qua đó xây dựng đượcứng dụng giám sát website tập trung

Bố cục đồ án

Chương 1: Tổng quan về hệ thống giám sát an ninh mạng

Chương 2: Công cụ giám sát an ninh mạng Splunk

Chương 3: Xây dựng ứng dụng giám sát an ninh mạng dựa trên Splunk

Chương 1: Tổng quan về giám sát an ninh mạng

1.1 Giới thiệu

Hiện tại chúng ta có thể không khỏi bỡ ngỡ trước độ phức tạp của hệthống mạng các thiết bị như router, switch, hub đã kết nối vô số các máy conđến các dịch vụ trên mạng chủ cũng như ra ngoài Internet Thêm vào đó là rấtnhiều các tiện ích bảo mật và truyền thông được cài đặt bao gồm cả tường lửa,mạng riêng ảo, các dịch vụ chống spam thư và virus Sự hiểu biết về cấu trúccủa hệ thống cũng như có được khả năng cảnh báo về hệ thống là một yếu tốquan trọng trong việc duy trì hiệu suất cũng như tính toàn vẹn của hệ thống

Có hàng ngàn khả năng có thể xảy ra đối với một hệ thống và quản trị viênphải đảm bảo được rằng các nguy cơ xảy ra được thông báo một cách kịp thời

và chính xác

Một hệ thống mạng thường có người dung bên trong và bên ngoài , baogồm nhân viên, khách hàng, đối tác và các bên liên quan Tối ưu hiệu suấtmạng ảnh hưởng đến tổ chức theo các cách khác nhau Ví dụ, nếu nhân viênkhông thể truy cập các ứng dụng và thông tin mà họ cần dùng để làm việc thì

sẻ ảnh hưởng đến năng suất công việc Hoặc khi khách hàng không thể hoànthành giao dịch trực tuyến, điều này có nghĩa là mất doanh thu và có ảnhhưởng tới uy tín của tổ chức Ngay cả khi các bên liên quan như các nhà đầu

tư không thể tìm kiếm, xem xét các thông tin của tổ chức cũng gây ảnh hưởngtới tổ chức

Đối với một hệ thống mạng, điều quan trọng là có được thông tin chínhxác vào đúng thời điểm Tầm quan trọng chính là nắm bắt được thông tintrạng thái của thiết bị vào thời điểm hiện tại, cũng như biết được thông tin vềcác dịch vụ, ứng dụng của hệ thống

Khi có sự cố xảy ra, ta cần phải được cảnh báo ngay lập tức, hoặc thôngqua các cảnh báo bằng âm thanh, qua màn hình hiển thị, qua email tự độngtạo ra bởi các chương trình giám sát Ta biết càng sớm những gì đang diễn ra

và có càng nhiều thông tin đầy đủ trong các cảnh báo thì càng sớm có thểkhắc phục được sự cố đó

Để hiểu được về hệ thống, ta cần một giải pháp giám sát để có thể cungcấp các thông tin quan trọng trong thời gian thực và ở bất cứ đâu cũng như bất

cứ thời điểm nào

1.2 Hệ thống giám sát an ninh mạng

Giám sát an ninh mạng (Network Security Monitoring – NSM) là việcthu thập các thông tin trên các thành phần của hệ thống, phân tích các thôngtin, dấu hiệu nhằm đánh giá và đưa ra các cảnh báo cho người quản trị hệthống

Hệ thống giám sát anh ninh mạng đóng vai trò quan trọng, không thểthiếu trong hạ tầng công nghệ thông tin(CNTT) của các cơ quan, đợn vị, tổchức Hệ thống này cho phép thu thập, chuẩn hóa, lưu trữ và phân tích tươngquan toàn bộ các sự kiện mạng được sinh ra trong hệ thống CNTT của tổchức

Ngoài ra, hệ thống giám sát an ninh mạng phát hiện kịp thời các tấncông mạng, các điểm yếu , lỗi hổng bảo mật của các thiết bị, ứng dụng vàdịch vụ trong hệ thống Phát hiện kịp thời sự bùng nổ virus trong hệ thốngmạng, các máy tính bị nhiễm mã độc, các máy tính bị nghi ngờ là thành viêncủa mạng máy tính ma(botnet)

Để công tác giám sát an ninh mạng đạt hiệu quả cần phải xác định đượccác yếu tố cốt lõi, cơ bản nhất của giám sát như:

Xác định các đơn vị, hệ thống, thiết bị, dịch vụ cần giám sát

Xác định trang thiết bị, giải pháp phần mềm thương mại phục vụ giámsát

Xác định phần mềm nội bộ và phần mềm nguồn mở phục vụ giám sát.Xác định các thiết bị, công cụ, giải pháp hỗ trợ phân tích kết quả giámsát

Hệ thống giám sát an ninh mạng có thể được xây dựng theo một trong bagiải pháp sau:

Giải pháp quản lý thông tin an ninh: tập trung vào việc thu thập, lưu trữ

và biểu diễn nhật ký

Giải pháp quản lý sự kiện an ninh: tập trung vào việc phân tích và xử lýcác nhật ký đã được thu thập để đưa ra cảnh báo cho người dùng

Giải pháp quản lý và phân tích sự kiện an ninh: là sự kết hợp của cả haigiải pháp trên nhằm khắc phục những hạn chế vốn có.

Hệ thống giám sát mạng có thể giám sát các mạng có kích thước lớn,nhỏ, trung bình Một số loại mạng như là : Wireless or wired, Lan, VPN,WAN

Thị trường kinh doanh luôn đòi hỏi các chức năng trang web mới để sửdụng nội bộ và bên ngoài Giám sát cho phép các nhà quản lý phân bổ nguồnlực để duy trì tính toàn vẹn của hệ thống

Một hệ thống giám sát sẽ giúp định hướng trong môi trường phức tạp,đưa ra các cảnh báo, người quản lý có thể sử dụng các báo cáo này để :

- Xác nhận việc tuân thủ quy định và chính sách

- Tiết kiệm chi phí tiềm lực bằng cách tìm nguồn dữ liệu dư thừa

- Giải quyết việc bị lấy cắp thông tin

- Trợ giúp xác định năng suất của nhân viên

- Xác định liên kết mạng diện rộng yếu và thắt cổ chai

- Xác định độ trể truyền tải dữ liệu

- Tìm bất thường trong mạng nội bộ có thể cho biết một mối đe dọa anninh

Đối tượng của giám sát an ninh mạng là tất cả các thành phần, thiết bịtrong hệ thống mạng

ký (log) này về máy chủ SIEM Một máy chủ SIEM nhận dữ liệu nhật ký từrất nhiều thiết bị khác nhau và sau đó sẽ thực hiện thống kê, phân tích, báo

cáo để tạo ra một báo cáo duy nhất cho thấy sự tương quan giữa các sự kiện

an ninh của các thiết bị

Một tổ chức không có các hệ thống tập trung dữ liệu nhật ký sẽ cần rấtnhiều công sức trong việc tập hợp báo cáo Trong môi trường như vậy, cầnphải tạo ra báo cáo riêng về tình trạng hoạt động cho mỗi thiết bị đầu cuối,hoặc lấy dữ liệu định kì bằng cách thủ công từ mỗi thiết bị rồi tập hợp chúnglại và phân tích để thành một báo cáo Khó khăn xảy ra là không nhỏ do sựkhác biệt hệ điều hành, ứng dụng và các phần mềm khác nhau dẫn đến cácnhật ký sự kiện an ninh được ghi lại khác nhau Chuyển đổi tất cả thông tin đóthành một định dang chung đòi hỏi việc phát triển hoặc tùy biến mã nguồnrất lớn

Hình 1.1 Phương pháp thu thập dữ liệu.

Một lí do khác cho thấy tại sao SIEM rất hữu ích trong việc quản lý vàbáo cáo tập trung là việc hỗ trợ sẵn các mẫu báo cáo phù hợp với các chuẩnquốc tế như Health Insurance Portability and Accountability Act (HIPAA),Payment Card Industry Data Security Standard (PCI DSS) và Sarbanes-OxleyAct (SOX) Nhờ SIEM, một tổ chức có thể tiết kiệm đáng kể thời gian, nguồnlực để đạt được đủ các yều cầu về báo cáo an ninh định kỳ

1.3.2 Giám sát an toàn mạng

Lí do chính cho việc triển khai SIEM là hệ thống này có thể phát hiện racác sự cố mà các thiết bị thông thường không phát hiện được Thứ nhất, rất

hợp khả năng phát hiện sự cố Dù có thể quan sát các sự kiện và tạo ra cácnhật ký, chúng luôn thiếu khả năng phân tích để xác định các dấu hiệu củahành vi độc hại.

Lý do thứ hai nâng cao khả năng phát hiện của SIEM là chúng có thểcho thấy sự tương quan sự kiện giữa các thiết bị Bằng cách thu thập sự kiệncủa toàn tổ chức, SIEM có thể thấy được nhiều phần khác nhau của các cuộctấn công thông qua nhiều thiết bị và sau đó tái cấu trúc lại chuỗi sự kiện vàxác định cuộc tấn công ban đầu là gì và nó đã thành công hay chưa Nói theocách khác, trong khi một giải pháp ngăn chặn xâm nhập IPS có thể thấy đượcmột phần của một cuộc tấn công và hệ điều hành của máy chủ mục tiêu cũngcho thấy được một phần khác của cuộc tấn công đó, một SIEM có thể kiểmtra dữ liệu nhật ký của tất cả sự kiện này và xác định máy chủ mục tiêu đó đã

bị nhiễm mã độc, hay tấn công thành công hay chưa, từ đó có thể thực hiệncách li chúng ra một mạng riêng và xử lí cuộc tấn công

Cần hiểu rằng SIEM không thay thế các sản phẩm kiểm soát an ninhphát hiện tấn công như hệ thống ngăn chặn xâm nhập IPS, công nghệ tườnglửa và phần mềm diệt virus Một SIEM độc lập không có tác dụng gì ngoàitheo dõi các sự kiện an ninh đang diễn ra SIEM được thiết kế để sử dụng các

dữ liệu nhật ký được ghi lại bởi các phần mềm khác nhau từ đó phân tíchtương quan và đưa ra các cảnh báo

Ngoài ra, rất nhiều sản phẩm SIEM có khả năng ngăn chặn các cuộc tấncông mà chúng phát hiện khi các cuộc tấn công đang diễn ra SIEM không tựmình trực tiếp ngăn chặn các cuộc tấn công, thay vào đó nó kết nối vào hệthống an ninh khác của doanh nghiệp như tường lửa và chuyển chúng đếnphần cấu hình để ngăn chặn hành vi độc hại Điều này cho phép SIEM ngănchặn các cuộc tấn công không nhận biết được bởi các thành phần an ninhkhác của doanh nghiệp

Để có những bước tiến xa hơn, một tổ chức cần tìm kiếm và thu thập cácIEM (các thông tin về các mối nguy hại, hình thức tấn công…) từ các nguồnbên ngoài đáng tin cậy Nếu SIEM phát hiện bất cứ hành vi độc hại nào đãbiết liên quan đến thiết bị đầu cuối, nó sẽ phản ứng ngăn chặn các kết nối

hoặc làm gián đoạn, cách ly thiết bị đang tương tác với thiết bị khác nhằmngăn ngừa cuộc tấn công từ điểm đầu tiên.

1.3.3 Cải thiện hoạt động xử lý sự cố hiệu quả

Một lợi ích khác của các sản phẩm SIEM là gia tăng đáng kể hiệu quảviệc xử lý sự cố, tiết kiệm đáng kể thời gian và nguồn lực đối cho các nhânviên xử lý sự cố SIEM cải thiện điều này bằng cách cung một một giao diệnđơn giản để xem xét tất cả dữ liệu nhật ký an ninh từ nhiều thiết bị đầu cuối

- Cung cấp cơ chế tự động nhằm ngăn chặn các cuộc tấn công đang diễn

ra và cách ly các thiết bị đầu cuối đã bị xâm hại

- Lợi ích của các sản phẩm SIEM khiến chúng trở nên cần thiết hơn baogiờ hết, đặc biệt đối với các cơ quan nhà nước, ngân hàng, các doanh nghiệptài chính, các tập đoàn công nghệ…

- Sản phẩm SIEM cho phép tổ chức có được bức tranh toàn cảnh về các

sự kiện an ninh xảy ra Bằng cách tập hợp các dữ liệu nhật ký an ninh từ cáctrạm kiểm soát an ninh, hệ điều hành của thiết bị đầu cuối, ứng dụng và cácphần mềm khác, SIEM có thể phân tích một lượng lớn dữ liệu nhằm xác địnhcác cuộc tấn công và xâm hại ẩn dấu đằng sau các dữ liệu này

1.4 Một số sản phẩm giám sát an ninh mạng

1.4.1 Công cụ SPlunk

Hình 1.2 Công cụ Splunk.

Splunk là một phần mềm giám sát mạng dựa trên sức mạnh của việcphân tích Log Splunk thực hiện các công việc tìm kiếm, giám sát và phântích các dữ liệu lớn được sinh ra từ các ứng dụng, các hệ thống và các thiết bị

hạ tầng mạng Nó có thể thao tác tốt với nhiều loại dịnh dạng dữ liệu khácnhau (Syslog, csv, apache-log, access_combined…) Splunk được xây dựngdựa trên nền tảng Lucene and MongoDB với một giao diện web hết sức trựcquan

CHÍNH SÁCH BẢN QUYỀN: Splunk cung cấp 2 bộ miễn phí và trả

TÍNH NĂNG:

- Định dạng Log: Hỗ trợ hầu như tất cả các loại log của hệ thống, thiết bị

hạ tầng mạng, phần mềm, Firewall, IDS/IPS, Log Event, Register của cácmáy trạm …

- Các hình thức thu thập dữ liệu: Splunk có thể thực hiện việc thu thậplog từ rất nhiều nguồn khác nhau Từ một file hoặc thư mục (kể cả file nén)trên server, qua các kết nối UDP, TCP từ các Splunk Server khác trong môhình Splunk phân tán, từ các Event Logs, Registry của Windows …Splunkkết hợp rất tốt với các công cụ thu thập log khác

- Cập nhật dữ liệu: Splunk cập nhật dữ liệu liên tục khi có thay đổi trongthời gian thực Giúp cho việc phát hiện và cảnh báo trong thời gian thực

- Đánh chỉ mục dữ liệu: Splunk có thể đánh chỉ mục dữ liệu với một khốilượng dữ liệu rất lớn trong một khoảng thời gian ngắn Giúp việc tìm kiếmdiễn ra nhanh chóng và thuận tiện

- Tìm kiếm thông tin: Splunk làm việc rất tốt với dữ liệu lớn và cập nhậtliên tục Nó cung cấp cơ chế tìm kiếm với một “Splunk Language” cực kỳthông minh bao gồm các từ khóa, các hàm và cấu trúc tìm kiếm giúp người sửdụng có thể truy xuất mọi thứ, theo rất nhiều tiêu chí từ tập dữ liệu rất lớn

Những nhà quản trị mạng cao cấp và chuyên nghiệp thường gọi Splunk vớicái tên “Splunk toàn năng” hay “Splunk as Google for Log files” để nói lênsức mạnh của Splunk.

- Giám sát và cảnh báo: Splunk cung cấp cho người dùng một cơ chếcảnh báo dựa trên việc tìm kiếm các thông tin do chính người sử dụng đặt ra.Khi có vấn đề liên quan tới hệ thống phù hợp với các tiêu chí mà người dùng

đã đặt ra thì hệ thống sẽ cảnh báo ngay tới người dùng (cảnh bảo trực tiếp quagiao diện, giử Email)

- Khắc phục sự cố: Splunk còn cung câp một cơ chế tự động khắc phụcvới các vấn đề xảy ra bằng việc tự động chạy các file Script mà người dùng tựtạo (Ví dụ như: Chặn IP, đòng Port …) khi có các cảnh báo xảy ra

- Hiển thị thông tin: Splunk cung cấp một cơ chế hiển thị rất trực quangiúp người sử dụng có thể dễ dàng hình dung về tình trạng của hệ thống, đưa

ra các đánh giá về hệ thống Splunk còn từ động kết xuất ra các báo cáo vớinhiều loại định dạng một cách rất chuyên nghiệp

- Phát triển: Cũng cung cấp các API hỗ trợ việc tạo các ứng dụng trênSplunk của người dùng Một số bộ API điển hình như Splunk SDK (Cung cấpcác SDK trên nền tảng Python, Java, JS, PHP), Shep (Splunk HadoopIntergration – Đây là sự kết hợp giữa Splunk và Hadoop), Shuttl (Là một sảnphẩm hỗ trợ việc sao lưu dữ liệu trong Splunk), Splunkgit (Giúp bạn hìnhdung dữ liệu tốt hơn), Splunk power shell resource Kit (Bộ công cụ hỗ trợviệc mở rộng và quản lý hệ thống)

- Để phát huy hết được sức mạnh của Splunk cần có thời gian tìm hiểu

và sử dụng Nó chưa có cơ chế giúp tự động phát hiện ra các tấn công hay cácvấn đề từ bên ngoài Nhưng điều này phụ thuộc vào kinh nghiệm sử dụng vàvốn hiểu biết của người quản trị

- Đề triển khai được một hệ thống sử dụng Splunk hiệu quả chúng tacũng cần có một hệ thống riêng, đây cũng là một trở ngại không nhỏ với các

hệ thống có quy mô trung bình và nhỏ

TRIỂN KHAI:

- Với một hệ thống lớn để triển khai được Splunk chúng ta cần phải cómột Server riêng để tập trung Log Tuy nhiên Splunk làm không tốt việc tậptrung Log từ các Server hay thiết bị khác Vì thế chúng ta cần sử dụng một sốcông cụ khác để thực hiện việc tập trung Log và về Splunk Server Cụ thể là

ta có thể kết hợp với syslog, Snare (for Windows), sử dụng qua Heroku …

- Triển khai hệ thống phân tán: Splunk hỗ trợ người dùng thiết lập một

hệ thống phân tán khi lượng dữ liệu là quá lớn vượt qua khả năng lưu trữ và

Là một dịch vụ giúp người dùng dễ dàng để triển khai một hệ thống giám sát

an ninh mạng Cụ thể là mọi dữ liệu về Log sẽ được chuyển đến LogglyServer quan các client như snare hoặc một công cụ do Loggly cung cấp Dữliệu được chuyển về server của Loggly sẽ được xử lý, phân tích và đưa ra cáccảnh báo tới các nhà qsssuản trị

CHÍNH SÁCH BẢN QUYỀN

Loggly là một dịch vụ trả phí Người sử dụng cần phải trả phí để sử dụng(Có miễn phí dùng thử 30 ngày)

TÍNH NĂNG: Loggy cung cấp các chức năng gần giống với Splunk với

việc tìm kiếm thông tin trên Log, hiển thị dưới dạng biểu đồ một cách trựcquan, cảnh báo tới người sử dụng khi hệ thống có vấn đề

- Hỗ trợ định dạng: Khác với Splunk, Loggly chỉ hoạt động tốt vớiSyslog Muốn xử dụng các loại Log khác chúng ta cần phải convert chúng vềSyslog để sử dụng

- Thu thập thông tin: Loggly xây dựng trên mô hình SaaS (Software as aService) Nên để thu thập Log chúng ta chỉ cần cấu hình hệ thống với mộtclient được cung cấp để gửi Syslog tới và xử lý tại Server của Splunk

- Đánh chỉ mục dữ liệu: Loggly có thể thực hiện việc đánh chỉ mục dữliệu một cách nhanh chóng và tối ưu

- Tìm kiếm thông tin: Loggly cung cấp một cơ chế tìm kiếm thông minh

và nhanh chóng có thể xác định sự cố và có thể thiết lập các cảnh báo Tuykhông đầy đủ các tính năng như tìm kiếm với Splunk nhưng cơ chế Logglycũng giúp người quản trị có thể tìm kiếm và thiết lập các vấn đề mà ngườiquản trị mong muốn

- Cảnh báo và giám sát: Loggly cung cấp một giao diện hiển thị tìnhtrạng, kết quả tìm kiếm bằng biểu đồ rất trực quan giúp người quản trị dễdàng hình dung hệ thống Cũng giống như Splunk cơ chế cảnh báo củaLoggly cũng hoạt động dựa trên việc thiết lập tìm kiếm thông tin trên Log,cảnh báo tới người dùng khi có một (nhiều) các bản ghi phù hợp với cú pháptìm kiếm theo những cấu hình của người sử dụng

- Loggly không hỗ trợ các tính năng tự động khắc phục lỗi (tự độngchạy script đã cấu hình sẵn để khắc phục lỗi)

TRIỂN KHAI

- Triển khai hệ thống với Loggly rất đơn giản bằng việc chúng ta chỉ cầnđăng ký một tài khoản, thực hiện cấu hình để gửi Syslog tới Loggly Server làchúng ta đã có thể sử dụng đầy đủ các tính năng của Loggly.

- Rất thích hợp với những hệ thống ở quy mô nhỏ và vừa

1.4.3 Syslog-Ng

Syslog-ng là một công cụ thu thập Log rất hiệu quả và linh hoạt là sự lựachọn của rất nhiều nhà quản trị mạng trong việc xây dựng một hệ thống logtập trung Syslog-ng được xây dựng dựa trên chuẩn syslog trên nền tảng Unix

và các hệ điều hành tương tự Gồm xây dựng với 2 thành phần Syslog-ngclient và Syslog-ng Server Các Client thực hiện việc thu thập log quan trọnggửi tới máy chủ tập trung và lưu trữ

CHÍNH SÁCH BẢN QUYỀN: Syslog-ng là một phần mềm mã nguồn

mở được phát triển trên nền tảng của Syslogd Hiện nay nó có hai phiên bản

và được phát triên bởi Balabit IT Security Ltd

- Phiên bản miễn phí: Syslog-ng Open Source Edition (OSE)

- Phiên bản trả phí độc quyền: Premium Edition (PE)

TÍNH NĂNG

- Thu thập dữ liệu: Syslog-client thực hiện việc tập trung log từ các host

và gửi về Syslog server Syslog-ng thực hiện việc thu thập log từ các serverkhác nhau dựa trên giao thức TCP, đảm bảo không bị mất mát thông tin trênđường truyền Syslog-ng cung cấp một cơ chế truy xuất log an toàn dựa trênSSL/TLS

- Định dạng log: Theo mặc định Syslog-ng chỉ hỗ trợ chuẩn, Syslogtrong Unix Theo mặc đinh Windows không hỗ trợ Syslog.Tuy nhiên chúng ta

có thể sử dụng một số biện pháo để chuyển các loại log về dạng Syslog.Syslog-ng cũng hoạt động rất tốt trên những môi trường (hệ điều hành, phầncứng) khác nhau: Linux, BSD, Sun Solaris, HP-UX, AIX và Unix khác

- Lưu trữ: Với Syslog-ng, ta có thể lưu trữ dữ liệu vào cơ sở dữ liệu chophép tìm kiếm và truy vấn dễ dàng Syslog-ng hỗ trợ các hệ CSDL: MSSQL,MYSQL, Oracle và PostgreSQL

- Lọc và phân loại: Syslog-ng cung cấp cơ chế lọc nhằm phân loại cácLog message và cũng hạn chế lượng dữ liệu đổ về server log từ các client Cơ

chế lọc của Syslog-ng dựa trên các thông số khác nhau như source host, ứngdụng, sự ưu tiên trong Log message.

- Cơ chế thu thập Log: Syslog-ng client được đặt trên các các client sẽthực hiệc việc thu tập các loại Log trên client đó Sau đó dữ liệu sẽ được điqua bộ phận lọc của syslog-ng (gồm những luật đã được cấu hình trước) Sau

đó mới được gửi đến các Server log hoặc chuyển đến một Relay server rồimới chuyển tới Log Server

NHƯỢC ĐIỂM:

- Syslog-ng không phải là 1 phần mềm phân tích cho nên syslog-ng chỉ

có thể lọc những log message phù hợp với 1 số tiêu chí định trước

Syslog-ng khôSyslog-ng thể làm tốt nhiệm vụ phân tích và cảnh báo các Syslog-nguy cơ đến Syslog-ngườiquản trị

Là phần mềm mã nguồn mở hỗ trợ việc quản lý Log tập trung được pháttriển dự trên PHP-Syslog-ng Logzilla có thể quản lý với hàng triệu thôngđiệp Log, hàng ngàn thiết bị cùng lúc Được xây dựng trên nền web với mộtgiao diện quản lý trực quan và thuận tiện cho người dùng Là sự lựa chọn củanhiều nhà quản lý và giám sát anh ninh mạng.

TÍNH NĂNG

- Thu thập dữ liệu: LogZilla mặc định không hỗ trợ việc thu thập Log từcác thiết bị hay các Server khác nó tập trung vào việc thực hiện trên Log đã

có dựa trên việc thu thập Log của Syslog-ng

- Hỗ trợ định dạng Log: Theo mặc định LogZilla chỉ hỗ trợ Syslog chuẩnSyslog giống như Syslog-ng Tuy nhiên, nó có thể hỗ trợ quản lý các sự kiệntrong Windows

- Tìm kiếm thông tin: LogZilla cung cấp một giao diện tìm kiêm theo từkhóa và theo một số thuộc tính khá trực quan và thông minh Tuy không đượcđánh giá cao như SPLUNK nhưng LogZilla cũng được các nhà quản trị mạngđánh giá khá cao về chức năng tìm kiếm các thông tin trong Log

- Cảnh báo và giám sát mạng: LogZilla hỗ trợ việc phát hiện các sự kiệnmột cách nhanh chóng trong thời gian thực Có thể nhanh chóng phát hiện cácđiểm suy thoái của các thiết bị và máy chủ LogZilla cũng hỗ trợ việc cảnhbáo qua Email

- Trích xuất thông tin: LogZilla cũng hỗ trợ việc tạo kết xuất ra các báocáo theo các định dạng: Excel và CSV LogZilla còn hỗ trợ việc hiển thị dướimột số dạng biểu đồ giúp người quản trị dễ dàng hình dung hệ thống một cáchtrực quan

TRIỂN KHAI

- LogZilla nhìn chung chỉ thực hiện việc tìm kiếm và quản lý các thôngtin đã có trên Log một cách nhanh chóng Ta cần thiết phải kết hợp với cáccông cụ khác để tập trung và xử lý Log hiệu quả hơn (Syslog-ng)

- Để triển khai LogZilla ta cần kết hợp với một hệ thống thu thập Logkhác thực hiện công việc thu thập thông tin từ các máy chủ và thiết bị kháctrên mạng

TRIỂN KHAI

- Triển khai một hệ thống LogZilla hoạt động tương đối dễ dàng ta chỉcần thực hiện cấu hình trên Syslog-ng Server để đọc các dữ liệu mà Syslog-ng

đã lưu trữ

1.4.5 HP ArcSight Logger

HP ArcSight Logger là một sản phẩm trong bộ sản phẩm ArcSight của

Hp Nó cung cấp một giải pháp hiệu quả về trong việc quản lý log Nó có khảnăng thu thập, phân tích và lưu trữ với một khối lượng Log lớn với nhiều loạiđịnh dạng khác nhau Nó hỗ trợ việc triển khai hệ thống dưới nhiều hình thứcnhư thiết bị, phần mềm, máy ảo hoặc các dịch vụ đám mây

CHÍNH SÁCH BẢN QUYỀN: HP ArcSight Logger cung cấp 2 phiên

bản dùng thử và trả phí

- Với phiên bản trả phí, có đầy đủ các tính năng của HP ArcSight Logger

và không giới hạn về khối lượng dữ liệu

- Phiên bản dùng thử được hỗ trợ xử lý với dữ liệu 750 MB/ngày Hạnchế một số chức năng: Hỗ trợ triển khai hệ thống phân tán và Support từ cácchuyên gia của hệ thống của HP

TÍNH NĂNG

- Hỗ trợ nhiều loại định dạng Log: Syslog, Eventlog, Device Log …

- Phân tích toàn diện dữ liệu

- Cảnh báo và giám sát hệ thống trong thời gian thực

- Đánh chỉ mục dữ liệu, tìm kiếm và kết xuất báo cáo

- Đi sâu vào việc phân tích ngữ cảnh từ các thông tin nhận được

và dịch vụ theo định kỳ và gửi thông tin trạng thái về Nagios Server sau đó

thông tin sẽ được đưa lên với một giao diện Web (Sử dụng Nagvis) và có thểgửi thông tin về trạng thái tới nhà quản trị qua email, SMS… khi có sự cố xảy

ra Việc theo dõi có thể được cấu hình một cách chủ động hoặc bị động dựatrên mục đích sử dụng của người quản trị

CHÍNH SÁCH BẢN QUYỀN: Cung cấp 2 phiên bản miễn phí và trả

- Việc giám sát các dịch vụ là song song

- Có khả năng phát hiện và phân biệt được host nào là down và host nào

- Nagios có thể hoạt động tốt với Splunk Hỗ trợ việc tìm kiếm và cảnhbáo hiệu quả hơn

- Nagios cũng hỗ trợ việc xây dựng một hệ thống phân tán giúp cân bằngtải và hoạt động ổn định hơn trong các hệ thống lớn

- Một số Plug-in điển hình: NRPE(giám sát thông tin từ xa), NSCA(hỗtrợ việc giám sát chủ động), NDOUtils (Hỗ trợ việc lưu trữ dữ liệu),

PNP4Nagios (Hỗ trợ việc phân tích dữ liệu), Nagvis(Hỗ trợ việc hiển thị vàbiểu diễn trạng thái) …

Hình 1.5 Mô hình triển khai Nagios

Chương 2: Tìm hiểu công cụ giám sát an ninh mạng SPLUNK

2.1 Tổng quan Splunk

2.1.1 Giới thiệu SPlunk

Splunk là hệ thống có thể captures, trích ra các dữ liệu thời gian thực cóliên quan tới nhau từ đó nó có thể tạo ra các đồ thị, các báo cáo, các cảnh báo

và các biểu đồ

Mục đích của Splunk là giúp cho việc xác định mô hình dữ liệu và thuthập dữ liệu máy trên toàn hệ thống dễ dàng hơn.Nó cung cấp số liệu, chẩnđoán các vấn đề xảy ra , phục vụ tốt cho hoạt động kinh doanh Splunk có thểtìm kiếm các sự kiện đã và đang xảy ra, đồng thời cũng có thể báo cáo vàphân tích thống kê các kết quả tìm được Nó có thể nhập các dữ liệu của máydưới dạng có cấu trúc hoặc không cấu trúc

Hoạt động tìm kiếm và phân tích sử dụng SPL(Search ProcessingLanguage), được tạo để quản lý Big Data Do được phát triển từ Unix Piping

và SQL nên Splunk có khả năng tìm kiếm dữ liệu, lọc, sửa đổi, chèn và xóa

dữ liệu

- Splunk cung cấp 1 giao diện chung cho tất cả dữ liệu IT như tìm kiếm

dữ liệu, những cảnh báo, những báo cáo(report), hay chúng ta có thể chia sẻ

dữ liệu đó cho một ai đó Splunk cung cấp giải pháp tìm kiếm tối ưu

- Splunk tìm kiếm những dữ liệu có liên quan với nhau, giúp thu hẹpphạm vi tìm kiếm , tiết kiệm thời gian, và làm cho công tác quản trị mạng tốthơn

- Splunk còn được goi là Google của log, có công cụ search mạng mẽ nóchấp nhận dữ liệu ở bất kỳ định dạng nào

Hình 2.1 Các loại data, log mà Splunk xử lý được.

- Splunk tự động list ra thời gian cụ thể của từng sự kiện xảy trong hệthống mà nó đang giám sát

- Cảnh báo trong thời gian thực Ta có thể chỉnh tùy chọn, định nghĩa cácloại cảnh báo và có thể chỉ định ai nhận được cảnh báo đó

- Splunk cung cấp thông tin tìm kiếm thông minh: Kết quả tìm kiếmđược sắp xếp hợp lý, có liên quan với nhau, khả năng hiển thị thời gian thực,phân tích lịch sử các sự kiện đã xảy ra

- Splunk có thể lưu trữ khối lượng dự liệu lớn của hệ thống IT và dữ liệunày có thể có cấu trúc bất kỳ, song tốc độ truy vấn dữ liệu nhanh

- Tìm kiếm phân tán sử dụng Map Reduce( 1 phần mềm của Google,phục vụ cho việc tính toán phân tán các tập dữ liệu lớn trên các cụm máy tính)

Sơ đồ Splunk phổ biến

Hình 2.2 Mô hình Splunk phổ biến.

Mô hình trên bao gồm các thành phần như:

- Nhiều thiết bị Forwarders trung gian phục vụ cho quá trình load, tínhsẵn sang cao, và cải thiện tốc độ xử lý các event sắp tới

- Một Indexer liên kết với nhiều hệ thống Với nhiều peer(indexer) cải thiện hiệu năng của quá trình nhập dữ liệu và tìm kiếm Nógiúp giảm thời gian tìm kiếm và cung cấp tính dự phòng cao

search Có nhiều đầu tìm kiếm Những hệ thống riêng biệt này sẽ phân phối bất

kỳ yêu cầu tìm kiếm trên tất cả các search-peer đã cấu hình trước đó để cảithiện hiệu năng tìm kiếm

- Đầu tìm kiếm riêng biệt được thể hiện ở đây để hỗ trợ ứng dụngSplunk’s Enterprise Security(ES)

- Server triển khai Hệ thống nay có thể được tích hợp với các dịch vụSplunk khác, hoặc triển khai độc lập Nếu muốn triển khai hệ thống lớn, một

hệ thống độc lập là rất quan trọng

2.2 Sức mạnh của Splunk trong giám sát an ninh mạng

2.2.1 Quản lý các ứng dụng:

Giải quyết vấn đề nhanh hơn, giảm thời gian bị downtime:

-Troublesshoot vấn đề 1 cách nhanh chóng, giảm chi phí và giảm thờigian để điều tra và khắc phục sự cố tới 70%

-Giảm sự phức tạp bằng cách cung cấp cho các nhà phát triển được truycập vào log của ứng dụng thông qua 1 vị trí trung tâm mà không cần quyềntruy cập vào hệ thống đó

-Giám sát toàn bộ môi trường ứng dụng của chúng ta trong thời gianthực để ngăn chặn các vấn đề ảnh hưởng tới người dung, giữ lại log từ các sựkiện định kỳ để ngăn ngừa mất mát

-Nắm được hoạt động của toàn bộ ứng dụng:

-Truy vết và giám sát các giao dịch của ứng dụng thông qua các tầng củakiến trúc phân tán và từ nhiều nguồn dữ liệu

-Phát hiện các bất thường hoặc các vấn đề trong hoạt động, thời gian đápứng và chủ động giải quyết chúng trước khi nó ảnh hưởng tới người dung ứngdụng

-Theo dõi số liệu hoạt động quan trọng như thời gian đáp ứng end, độ dài thông điệp hàng đợi và đếm số lần giao dịch thất bại để đảm bảoứng dụng đáp ứng được nhu cầu cần thiết

end-to Nắm được toàn bộ hoạt động của ứng dụng trong thời gian thực trêntoàn bộ cơ sở hạ tầng ứng dụng của chúng ta

-Đạt được cái nhìn toàn diện về cách mà người dung sử dụng dịch vụ củachúng ta, từ đó có thể cung cấp dịch vụ tốt hơn

-Làm phong phú hệ thống của chúng ta bằng cách thêm các nguồn phiCNTT như giá cả cơ sở dữ liệu, thông tin khách hàng và thông tin vị trí

Tại sao Splunk là giải pháp tốt cho việc quản lý ứng dụng

Không giống các công cụ quản lý truyền thống, splunk có thể index,phân tích, khai thác dữ liệu từ bất kỳ tầng ứng dụng nào Nó cung cấp 1 gócnhìn trung tâm về toàn bộ hệ thống cơ sở hạ tầng của chúng ta

Ngôn ngữ tìm kiếm trong splunk giúp người sử dụng so sánh các sựkiện, các giao dịch và chỉ số hoạt động quan trọng khác

Quyền điều khiển được trao cho nhiều nhóm trong một tổ chức Nhữnghiểu biết về dữ liệu ứng dụng có thể kết hợp với thông tin có cấu trúc nhưthông tin user hoặc giá cả thông tin để doanh nghiệp quyết định tốt hơn.

Nhà sản xuất quản lý hoạt động ứng dụng AppDynamics và Extrahop đãphát triển ừng dụng Splunk đểngiúp khách hàng quản lý tốt hơn các dữ liệuứng dụng như log, các sự kiện, hoạt động của cơ sở hạ tầng và nhiều hơn thếnữa

2.2.2 Quản lý hoạt động IT

Trung tâm IT dữ liệu trên toàn thế giới đang trở nên cực kỳ phức tạp, vớihàng trăm công nghệ khác nhau và thiết bị ở nhiều layer Ảo hóa và điện toánđám mây cũng đang trở nên phức tạp, đặc biệt là các vấn đề liên quan đếnhiệu suất hoạt động Đội ngũ quản trị và quản lý CNTT lãng phí nhiều thờigian trong việc di chuyển từ một giao diện điều khiển tới giao diện điều khiểnkhác , cố gắng theo dõi các dữ liệu cần thiết để đảm bảo hiệu suất và tính sẵnsàng cao

Splunk cung cấp 1 cách tiếp cận tốt hơn mà không cần phải phân tích cúpháp hay tùy chỉnh nó Splunk thu thập và lập indexes chứa tất cả dữ liệuđược tạo ra bởi hệ thống IT của chúng ta (hệ thống mạng, server, OS, ảo hóa,v.v.) Nó hoạt động với bất kỳ dữ liệu mà máy tạo ra, bao gồm log, file cấuhình, số liệu hiệu suất, SNMP trap và các ứng dụng log tùy chỉnh

Giải quyết vấn đề nhanh hơn , giảm thời gian Downtime:

- Giúp nắm bắt được hoạt động ảo hóa, hệ thống cloud private và public

từ 1 giao diện trung tâm Giúp tìm được nguồn gốc của vấn đề nhanh hơn70% mà không cần phải tìm kiếm trong hệ thống ,server hay máy ảo

- Quản lý hệ thống của chúng ta trong thời gian thực, ngăn ngừa vấn đềxảy ra trước khi nó ảnh hưởng tới người dùng và có thêm kinh nghiệm xử lýcác sự kiện xảy ra định kỳ để tránh mất mát Chỉ cần 1 người quản lý cóquyền truy cập trực tiếp, đảm bảo an toàn cho dữ liệu, giúp tránh leo thangđặc quyền

Tương quan các sự kiện ở tất cả các tầng layer của hệ thống:

Tìm các liên kết giữa người sử dụng, hiệu suất các sự kiện lien quan tới

cơ sở hạ tầng được cung cấp bởi splunk Kết hợp phân tích dữ liệu thời gian

thực tương quan , so sánh với hàng triệu terabytes dữ liệu lịch sử Phân tíchphát hiện thành phần khả nghi có thể giúp dự đoán và ngăn ngừa mất máthoặc vấn đề về hiệu năng.

Tồn tại dữ liệu từ khắp nơi trên mỗi tầng của trung tâm dữ liệu Quản lýmôi trường của chúng ta để nhận biết được sự thay đổi, so sánh ngay lập tức

để biết độ thiếu hụt hiệu năng của hệ thống, những vấn đề có sẵn hoặc vấn đềbảo mật, an ninh

Giảm chi phí cung cấp dịch vụ CNTT:

Sử dụng sức mạnh và khả năng mở rộng của splunk không chỉ cho hoạtđộng quản lý CNTT mà còn dùng để hỗ trợ kiểm toán, an ninh Giảm sốlượng các công cụ và kỹ năng cần thiết để duy trì quản lý cơ sở hạ tầng phứctạp của chúng ta

Phân tích hoạt động IT:

Splunk dùng trong hoạt động phân tích IT cung cấp những hiểu biết toàndiện theo nhiều tầng giúp cho định hướng của doanh nghiệp tốt hơn tùy theotừng trường hợp cụ thể

Chủ động trong việc nhận diện và khắc phục lỗi dịch vụ để đảm bảo sựhài long của khách hàng và giúp tăng số lượng khách hàng sử dụng

Đạt hiệu quả trong quá trình hoạt động do nắm bắt được những nguyhiểm tiềm tàng trong quá trình hoạt động kinh doanh Giúp đạt được các mụctiêu kinh doanh bằng cách cung cấp tầm nhìn toàn diện trên toàn hệ thốngcông nghệ không đồng nhất, các dịch vụ, cách quản lý, lên kế hoạch về dunglượng, phân tích mức sử dụng của người dùng và nhiều hơn nữa

Giám sát cơ sở hạ tầng:

Máy chủ: Với Splunk, chúng ta có thểChủ động giám sát các máy chủ vàhiểu biết sâu hơn về hiệu suất, cấu hình, truy cập và các lỗi phát sinh Tươngquan hiệu suất máy chủ, các lỗi và dữ liệu sự kiện với người dùng, ảo hóa vàứng dụng thành phần để ngăn ngừa và khắc phục lỗi Phân tích và tối ưu hóachi phí cho việc theo dõi dung lượng máy chủ, báo cáo an ninh trong thờigianthực

Hệ thống lưu trữ: Với Splunk, chúng ta có thểTương quan log, số liệuhiệu suất và các sự kiện từ hệ thống lưu trữ của chúng ta với máy chủ, mạng

và dữ liệu từ các ứng dụng để giải quyết các vấn đề và làm tăng sự hài longcủa khách hàng Sử dụng công cụ phân tích mạnh mẽ để khắc phục sự cốtrong thời gian thực và phân tích hiệu suất hệ thống lưu trữ của chúng ta.Giảmthơi gian phát triển và cắt giảm chi phí bằng việc dễ dàng tích hợp với các nhàcung cấp dịch vụ lưu trữ, như NetApp và EMC.

Hệ thống mạng: Với Splunk, chúng ta có thể:

Giám sát và theo dõi dữ liệu mạng từ các thiết bị không dây, switch,router, firewall và trên những thiết bi khác bằng cách sử dụng SNMP,Netflow, syslog, PCAP,v.v

Chủ động nhận diện các vấn đề an ninh mạng và thực hiện phân tích vấn

đề Tương quan dữ liệu mạng với các ứng dụng, hệ thống lưu trữ và phân tíchmáy chủ để giữ cho mạng của chúng ta an toàn và hoạt động mọi lúc Đạtđược chỉ số ROI tối đa bằng cách tối ưu hóa dung lượng mạng lưới của chúng

ta, xác định độ trễ, quản lý bang thông, xác định top 10 tài nguyên mạngthường được sử dụng và mô hình sử dụng

Splunk cho hệ điều hành

Splunk và ứng dụng của splunk có thể giúp chúng ta:

Tương quan số liệu hệ thống và dữ liệu sự kiện với cá dữ liệu ở các tầngcông nghệ khác một cách dễ dàng Tìm liên kết giữa vấn đề hiệu suất ứngdụng và hệ điều hành, ảo hóa, hệ thống lưu trữ, mạng, và cơ sở hạ tầng máychủ

Nắm được toàn bộ hoạt động hệ thống bằng cách cung cấp bảng điềukhiển trung tâm sức khỏe hệ thống xuyên suốt môi trường không đồng bộ.Nắm được năng lực hạn chế của hệ thống hoặc tình trạng nhàn rỗi

Theo dõi những thay đổi và đảm bảo an ninh cho môi trường của chúng

ta bằng cách giám sát môi trường để phát hiện những hoạt động bất ngờ, thayđổi vai trò của người sử dụng, truy cập trái phép,v.v

Quản lý ảo hóa

Cơ sở hạ tầng ảo hóa tạo ra môi trường năng động, nơi mà tài nguyênmáy tính như máy chủ, storage, phần cứng mang được ảo hóa từ các ứngdụng, hệ điều hành và người sử dụng Môi trường ảo phức tạp đòi hỏi cách

tiếp cận mới với các dịch vụ IT truyền thống như xử lý sự cố hiệu suất, quản

lý và phân tích rủi ro

Ứng dụng ảo hóa của Splunk kết hợp sức manh và tính năng của SplunkEnterprise được thiết kế dành riêng cho công nghệ ảo hóa Nó giúp tăng tốc

dữ liệu thu thập được cơ sở hạ tầng ảo Kết hợp dữ liệu hạ tầng ảo hóa với dữliệu tầng công nghệ khác sẽ cho 1 góc nhìn bao quát hơn về hệ thống trungtâm dữ liệu

Splunk App cho ảo hóa có thể tương thích và thu thập dữ liệu ảo hóa từcác công nghệ ảo hóa như WMware vSphere, Citrix XenServer và MicrosoftHyper-V, và công nghệ ảo hóa máy tính bàn như Citrix XenApp và CitrixXenDesktop

Nó tạo các báo cáo đa dạng , đồng nhất về các công nghệ ảo hóa từ tất cảcác lớp ứng dụng và cơ sở hạ tầng của chúng ta

Giúp chủ động ngăn chặn , quản lý vấn đề hiệu suất, tắc nghẽn cổ chai,những sự kiện bất ngờ, những thay đổi và lỗi an ninh bảo mật nguy hiểm Nóphân tích và báo cáo chính xác giúp cho người dùng có trải nghiệm tối ưu.Tương quan dữ liệu ảo hóa, giúp việc tìm ra các sự kiện có liên quan mộtcách dễ dàng hơn, tương quan các vấn đề về hiệu năng, mạng và kiến trúc hệthống máy chủ

Giữ lại số liệu về hiệu suất hoạt động của máy để theo dõi và phân tích.Thu thập dữ liệu có chiều sâu từ máy chủ, máy ảo, hệ thống máy tính Cungcấp khả năng hiển thị hoạt động và phân tích hoàn chỉnh bằng cách xác địnhkhả năng của máy chủ, các máy ảo nhàn rỗi, các máy chủ sử dụng đúng mức,sức chứa dữ liệu, theo dõi thống kê hiệu suất để tìm mô hình sử dụng và tránhkhả năng tắt nghẽn có thể

Theo dõi những thay đổi và báo cáo về tài sản theo dõi chi tiêt sự thayđổi mà người dùng thực hiện, tự đông hóa các tác vụ của vSphere cũng nhưbáo cáo tình trạng các thành phần ảo Cải thiện an ninh bằng cách giám sátmôi trường để tìm các hoạt động đáng ngờ, vai trò của người sử dụng bị thayđổi, truy cập trái phép và nhiều hơn nữa

Với VMware vSphere

- Splunk App cho VMware cung cấp khả năng hiển thị các hoạt động 1cách chi tiết, hiệu suất, log, các tác vụ, sự kiện và lưu đồ từ máy chủ, các máy

ảo và các trung tâm ảo hóa Cung cấp hình ảnh bao quát và chính xác về tìnhtrạng sức khỏe của môi trường ảo hóa, chủ động xác định các vấn đề về hiệusuất, bảo mật, khả năng hoạt động và những thay đổi của máy ảo

- Nắm được thông tin sức khỏe máy ảo trong thời gian thực Có thể xácđịnh lập tức khu vực máy ảo, máy chủ có vấn đề Phân tích dữ liệu theo thờigian để xác định xem nó có ảnh hưởng đến cấu hình tài nguyên Nhận báo cáochi tiết dựa trên mỗi 20s Khám phá lỗi và các trường hợp ngoại lệ bằng việcchỉ ra các sự kiện có liên quan tới nhau bằng dữ liệu log VC và ESXi trongmột giao diện điều khiển duy nhất

-Có thể biết được tình trạng sức khỏe của từng máy ảo Tăng tốc độtroubleshoot nhờ vào việc so sánh giữa các máy ảo với nhau

-Chủ động trong việc quản lý hành vi mờ ám của user, các cuộc tấn côngtiềm năng bằng những báo cáo an ninh

-Nắm bắt được thông tin CPU, bộ nhớ , ổ đĩa và dung lượng disk sửdụng trong thời gian thực Chủ động cảnh báo khi thiếu hụt dung lượng xảy

ra Lấy lại không gian lưu trữ không sử dụng để cho người dùng

có trải nghiệm tối ưu Sử dụng xu hướng theo thời gian và tối ưu hóa dựatrên tiêu thụ Dự báo thông tin CPU, bộ nhớ, nhu cầu ổ cứng cần thiết và hiệunăng của từng máy chủ, máy ảo VMs thông qua lịch sử sử dụng tài nguyêncủa máy ảo

Với Citrix XenServer và Microsoft Hyper-V:

-Cung cấp góc nhìn theo thời gian thực về các yếu tố như hiệu năng, chỉ

số tiêu thụ tài nguyên , cấu trúc liên kết trên nền tảng máy chủ ảo hóa bằngcách sử dụng một khuôn khổ báo cáo chung Nó bao gồm một chuỗi các biểu

đồ liên quan đến hoạt động IT, giám sát hoạt động, lên kế hoạch khả năngchịu tải, và thay đổi theo dõi

-Dashboard Out-of-the-box cho 1 cái nhìn cụ thể trong thời gian thực vềtình trạng sức khỏe của máy ảo và máy chủ

-Đào sâu vào lưu đồ để cho cái nhìn chuyên sâu về hiệu năng, log, thayđổi về cấu hình, các cảnh báo và hơn nữa

-Truy cập vào lịch sử dữ liệu cho việc phân tích và xử lý sự cố.

-Cấu hình cảnh báo dựa trên kịch bản có sẵn cho các vấn đề thường gặpnhư bộ nhớ, CPU, dung lượng ổ đĩa thấp

-Giám sát và theo dõi tài nguyên mà máy ảo tiêu thụ để hỗ trợ cho việclên kế hoạch về khả năng hoạt động của máy ảo

-Cho góc nhìn 360 độ về khả năng hiển thị máy ảo với dữ liệu từ tầngcông nghệ khác giúp giải quyết và xử lý xự cố nhanh hơn

2.2.3 An ninh trong lĩnh vực IT

Mối đe dọa an ninh ngày một tăng:

Hiện tại các phần mềm malware đã trở nên “tàng hình”, và thường trônggiống như một dịch hay 1 ứng dụng bình thường nào đó Nó được xây dựng

để lây lan trên toàn bộ hệ thống Kẻ tấn công có thể tùy ý nghiên cứu chỉnhsửa hệ thống của chúng ta, nếu bị phát hiện, kẻ tấn công có thể kích hoạtmalware khác để tiếp tục thu thập dữ liệu Splunk có thể thu thập và index bất

kì dữ liệu nào mà không quan tâm đến định dạng hoặc kích cỡ và thực hiệntìm kiếm tự động trên hàng petabyte dữ liệu Splunk có một ngôn ngữ lệnhphân tích mạnh mẽ, thông minh, giúp các nhà phân tích đặt ra những câu hỏi

về bảo mật dựa trên dữ liệu của chúng ta Cách tiếp cân đặc biệt này giúpchúng ta chủ động trong việc tìm cá mối đe dọa bằng cách kiểm tra hoạt độngcủa dữ liệu trong môi trường hoạt động bình thường

Quản lý log:

Phần mềm Splunk giúp khách hàng cải thiện vấn đề phân tích dữ liệu log

để quản lý việc kinh doanh của họ tốt hơn Splunk tự động index dữ liệu, bất

kể có cấu trúc hay không cấu trúc , cho phép chúng ta nhanh chóng tìm kiếm,báo cáo, và chẩn đoán các hoạt động và các vấn đề an ninh một cách ít tốnkém hơn Với Spunk-việc quản lý log của chúng ta sẽ dễ hơn bao giờ hết.Ứng dụng Splunk dành cho an ninh:

Với ứng dụng an ninh của Splunk chúng ta có thể sử dụng số liệu thống

kê trên bất kỳ dữ liệu nào để tìm kiếm các mối đe dọa tiềm ẩn, trong khi vẫn

có thể giám sát liên tục các mối đe dọa đa4 bị phát hiện bởi những sản phẩm

an ninh truyền thống

Ứng dụng an ninh Splunk chạy ở phía trên Splunk Enterprise và cungcấp công cụ để giám sát, cảnh báo và phân tích cần thiết để xác định và giảiquyết các mối đe dọa đã biết và chưa biết Nó phù hợp với đội ngũ an ninhnhỏ hoặc một trung tâm hoạt động bảo mật.

Bảng điều khiển an ninh cung cấp một cách xem hoàn toàn tùy biến vớicác từ khóa bảo mật quan trọng trong lĩnh vực an ninh domain Ứng dụng anninh Splunk chứa 1 thư viện dựng sẵn các số liệu an ninh để hỗ trợ ngườidùng nhận diện được các tình huống và giám sát liên tục các nguy cơ bảo mậttrên domain Và tất cả thông tin đó đều được thể hiện rõ trên bảng điều khiểnDash board

Tính năng xem xét lại các sự kiện đã xảy ra: Cung cấp chi tiết quy trìnhcông việc phân tích cần thiết để các ưu tiên của vụ việc, bối cảnh của sự cố,loại của nó và các máy chủ có liên quan Chỉ một click chuột và chúng ta cóthể thấy được các dữ liệu thô mà ứng dụng an ninh splunk lưu trữ Tính năngbảo vệ tài sản và điều tra nhận dạng mối nguy hiểm cung cấp cho nhà phântích an ninh khả năng xem xét các mối đe dọa dựa trên một loạt các sự kiện anninh Đơn giản chỉ cần chọn một khung thời gian sự kiện hoặc nhiều sự kiệnđại diện cho những hoạt động đáng ngờ và Splunk sẽ tự động hiển thị một bảntóm tắt mô hình an ninh Với 1 cú click chuột, chúng ta có thể xem tất cả các

dữ liệu thô được đặt ra theo thứ tự thời gian, đưa ra 1 cái nhìn trực tiếp chođồng nghiệp hoặc tạo ra một tìm kiếm mới để xem các sự kiện đã xuất hiệnnày có tiế tục xuất hiện hay không

Phân tích và dư đoán: Bảng điều khiển phân tích cung cấp một điểm.Nhấp vào điểm đó sẽ hiện các giải pháp để biết được hướng đi tương lai củađiểm đó và dự báo giá trị dựa trên mô hình dữ liệu Chỉ cần chọn kiểu dữ liệu,bất kỳ đối tượng chứa kiểu dữ liệu đó, kiểu hàm trình diễn, thuộc tính và chu

kỳ phân tích mà chúng ta muốn tạo

Danh sách các mối đe dọa: Splunk cung cấp dịch vụ out-of-the-box hỗtrợ cho 18 mã nguồn mở đe dọa tới dữ liệu nhằm tăng thêm tính bảo mật cho

hệ thống của chúng ta Splunk cho phép chúng ta thêm mã nguồn mở củariêng chúng ta và nguồn cung cấp dữ liệu thanh toán chỉ với vài click chuột

mà không cần một cam kết dịch vụ Splunk còn công tác với trung tâm bảo

mật Norse Security, 1 trung tâm bảo mật uy tín toàn cầu Splunk còn chokhách hàng cảm giác trải nghiệm dịch vụ an ninh Splunk cho hệ thống doanhnghiệp trong vòng 30 ngày.

2.3 Các thành phần của splunk

2.3.1 Thành phần thu thập log

Đối với bộ công cụ splunk thì thành phần thu thập log được chia làm baloại là: universal forwarder, heavy forwarder, light forwarder

Universal forwarder là một streamlined:

Nó là phiên bản chuyên dụng của splunk mà chỉ chứa các thành phầnthiết yếu để chuyển dữ liệu từ máy nguồn đến máy server Đây là phiên bảnkhá gọn nhẹ để tích hợp trên các nguồn sinh log chính vì thế mà nó không baogồm các tính năng như lập chỉ mục cho dữ liệu và tìm kiếm dữ liệu Đó cũngchính là điểm khác biệt lớn nhất của Universal forwarder với các phiên bảnđầy đủ của Splunk riêng biệt

Hai loại còn lại là heavy và light forwarder: đều là các phiên bản đầy đủcủa splunk nhưng bị vô hiệu hóa một số tính năng

Heavy forwarder:

Có kích thước nhỏ hơn một Splunk indexer nhưng vẫn giữ được hầu hếtcác tính năng ngoại trừ việc tìm kiếm các kết quả phân phối Và một số thànhphần ví dụ Splunk web nếu cần thiết có thể bị vô hiệu hóa để giảm bớt kíchthước Một heavy forwarder phân tích dữ liệu trước khi chuyển và có thể địnhtuyến dữ liệu dựa trên các đặc điểm như nguồn và các loại sự kiện Nó cũng

có thể đánh chỉ mục cho dữ liệu trên máy cục bộ cũng như chuyển dữ liệu đếnmột splunk đặc biệt khác Nhưng tính năng này mặc định bị vô hiệu hóa nênphải bật lên nếu muốn sử dụng

Light forwarder:

Bị vô hiệu hóa hầu hết các tính năng do đó có kích thước nhỏ, chúng chỉchuyển các dữ liệu không được phân tích Từ phiên bản 4.2 công cụ này đượcthay thế bởi universal forwarder

Dưới đây là bảng so sánh ba công cụ, với các mô hình chuyển dữ liệu vàloại dữ liệu được giới thiệu sau đó

Tính năng và

khả năng

Universal forwarder

Light forwarder Heavy forwarder

Loại splunk Hoạt động chuyên

dụng

Là bản splunk đầy

đủ có một số tính năng bị vô hiệu hóa

Là bản splunk đầy

đủ với hầu hết các tính năng bị vô hiệu hóa

Kích thước

(memory, CPU) Nhỏ nhất Nhỏ

Trung bình đến lớn (phụ thuộc vào kích hoạt các tính năng)

Xử lí dữ liệu

đầu vào

Tất cả các loại (có thể yêu cầu cài đặt python) Tất cả các loại Tất cả các loại

Chuyển tiếp tới

indexAndForward trong outputs.conf

Tìm kiếm và

cảnh báo

Bảng 2.1 So sánh các công cụ forwarder.

Những loại dữ liệu được chuyển đó là dữ liệu thô, dữ liệu chưa đượcphân tích, dữ liệu đã được phân tích Mỗi công cụ chuyển tiếp dữ liệu chophép chuyển các loại dữ liệu khác nhau Với universal và light forwarder làmviệc với dữ liệu thô và dữ liệu chưa được phân tích Còn heavy forwarderlàm việc với dữ liệu thô hoặc dữ liệu đã được phân tích.

Với dữ liệu thô thì luồng dữ liệu được chuyển tiếp như dữ liệu TCP đơnthuần Dữ liệu không được chuyển đổi sang định dạng của splunk Thiết bịchuyển tiếp chỉ lựa chọn dữ liệu và đẩy chúng đi Với việc chuyển dữ liệunhư thế này hữu ích cho việc chuyển dữ liệu sang hệ thống không phải làsplunk

Với dữ liệu không được phân tích thì universal forwarder thực hiện cáctiến trình tối thiểu Mặc dù dữ liệu không được phân tích nhưng nó vẫn đượcđịnh dạng các thẻ để xác định nguồn, loại nguồn, host Nó cũng chia cácluồng dữ liệu thành các block có kích thước 64K Thực hiện việc gắn nhãnthời gian lên luồng dữ liệu để bộ phận tiếp nhận có thể phân biệt được dữ liệukhi mà nó không có một mốc thời gian cụ thể Universal forwarder không xácđịnh, kiểm tra, và gán thẻ lên các sự kiện cá nhân

Đối với dữ liệu đã được phân tích công cụ heavy forwarder chuyển đổi

dữ liệu thành các dạng dữ liệu riêng biệt Nó sẽ gán thẻ và chuyển dữ liệu đếnsplunk indexer Nó cũng có thể kiểm tra các sự kiện Bởi vì dữ liệu đã đượcphân tích, sau đó bộ phận forwarder có thể thực hiện việc định tuyến dữ liệudựa trên sự kiện dữ liệu, chẳng hạn như giá trị của các trường

Mô hình chuyển tiếp log cũng được chia thành nhiều loại như dữ liệu tậptrung, cân bằng tải…

- Mô hình chuyển tiếp dữ liệu tập trung:

Là một trong những mô hình phổ biến với nhiều thiết bị forwarder từ cácnguồn khác nhau gửi đến một splunk server Mô hình này thường thường làcác universal forwarder chuyển tiếp dữ liệu chưa phân tích từ máy trạm hoặccác thiết bị không phải là splunk server tới máy chủ splunk trung tâm để tổnghợp và đánh chỉ mục cho dữ liệu