XÂY DỰNG HỆ THỐNG GIÁM SÁT AN NINH MẠNG VÀ ỨNG PHÓ SỰ CỐ TẬP TRUNG SỬ DỤNG SPLUNK VÀ FALCON ORCHESTRATOR

Splunk là hệ thống có thể captures, trích ra các dữ liệu thời gian thực có liên quan tới nhau từ đó nó có thể tạo ra các đồ thị, các báo cáo, các cảnh báo và các biểu đồ. Mục đích của Splunk là giúp cho việc xác định mô hình dữ liệu và thu thập dữ liệu máy trên toàn hệ thống dễ dàng hơn. Nó cung cấp số liệu, chẩn đoán các vấn đề xảy ra, phục vụ tốt cho hoạt động kinh doanh. Falcon Orchestrator là một công cụ mã nguồn mở được xây dựng dựa trên CrowdStrike’s Falcon Connect APIs. Có khả năng tự động hóa quy trình làm việc và khả năng quản lý các sự cố an ninh, cũng như khả năng điều tra số forensic và đưa ra các biện pháp khắc phục sự cố tức thời.

BAN CƠ YẾU CHÍNH PHỦ

SỬ DỤNG SPLUNK VÀ FALCON ORCHESTRATOR

Ngành: Công nghệ thông tinChuyên ngành: An toàn thông tin

Mã số: 52.48.02.01

BAN CƠ YẾU CHÍNH PHỦ

SỬ DỤNG SPLUNK VÀ FALCON ORCHESTRATOR

Ngành: Công nghệ thông tinChuyên ngành: An toàn thông tin

MỤC LỤC

DANH MỤC KÍ HIỆU VÀ VIẾT TẮT

DDOS Distributed Denial of Service

LAN Local Area Network

WAN wide Area Network

VPN Virtual Private Network

IDXP Intrusion Detection Exchange Protocol

JSON JavaScript Object Notation

NSM Network Security Monitoring

SEM Sercurity Event Management

SIM Sercurity Information Management

SIEM Security Information and Event Management

SNMP Simple Network Management Protocol

SPL Search Processing Language

FTP File Tranfer Protocol

DNS Domain Name Server

DHCP Dynamic Host Configuration Protocol

IDS Intrusion Detection System

ETL Extract, Transform, Load

DANH MỤC HÌNH VẼ

LỜI NÓI ĐẦU

Ngày nay, đối với một hệ thống mạng, để có thể duy trì mạng hoạt động tốtthì có rất nhiều thứ phải quản trị như là hiệu năng mạng, lưu lượng mạng, các ứngdụng chạy trên mạng, người sử dụng mạng, an ninh mạng Security InformationEvent Management (SIEM) là một giải pháp hoàn chỉnh, đầy đủ cho phép các tổchức thực hiện việc giám sát các sự kiện an toàn thông tin cho một hệ thống Đây

là công nghệ được các chuyên gia bảo mật rất quan tâm trong thời gian gần đây Hệthống quản lý sự kiện và giám sát an ninh mạng giúp người quản trị quản lý cácthiết bị, dò quét các lổ hổng trong hệ thống, thu thập các dữ liệu từ các thiết bị vàcác ứng dụng khác nhau, dữ liệu sau đó được chuẩn hóa sang một định dạng chuẩnriêng, phân tích tương quan các thông tin sự kiện an ninh với nhau theo ngữ cảnh

và cảnh báo cho các quản trị viên cảnh báo trong trường hợp bị tấn công Bên cạnh

đó hệ thống quản lý sự kiện và giám sát an ninh mạng đáp ứng các tuân thủ về hoạtđộng công nghệ thông tin và cung cấp sẵn các báo cáo theo đúng chuẩn quốc tếquy định về an toàn thông tin Bên cạnh đó vấn đề giải quyết và khắc phục sự cố

an ninh mạng cũng đang là vấn đề cấp bách cần triển khai tại các tổ chức doanhnghiệp vừa và lớn Hệ thống ứng phó sự cố (Incident Response) tập trung có thểgiải quyết nhanh chóng vấn đề an ninh giảm thiểu hậu quả của vụ tấn công diễn ra

mà không làm ảnh hưởng đến dây truyền làm việc của hệ thống, đảm bảo giảmthiểu tối đa rủi ro Hệ thống có thể can thiệp từ xa tới các máy trạm nhằm ngănchặn các tấn công đang diễn ra, dựa trên các phân tích từ các chuyên viên an ninhmạng Việc kết hợp hệ thống giám sát và hệ thống ứng phó sự cố tập trung là môhình đang được đặc biệt quan tâm hiện nay

Đồ án này đề cập đến việc sử dụng kết hợp hai công cụ Splunk và FalconOrchestrator để xây dựng một hệ thống giám sát an ninh mạng và ứng phó sự cốtập trung Nội dung đề tài được truyền tải xuyên suốt qua 3 chương chính xoayquanh việc triển khai một hệ thống giám sát và ứng phó tập trung về cả con ngườilẫn công nghệ:

Chương 1: Tổng quan về giám sát sự kiện an ninh mạng tập trung (SIEM) Trong chương này sẽ trình bày tổng quan hệ thống giám sát an ninh mạng

nói chung, tiếp đến là chi tiết về kiến trúc hoạt động của SIEM

Chương 2: Công cụ giám sát an ninh mạng Splunk Trong chương này sẽ

đi sâu vào hệ thống giám sát Splunk từ đó triển khai ứng dụng vào việc giám sát hệthống

Chương 3: Công cụ Falcon Orchestrator Trình bày tổng quan về Incident

response từ con người đến công cụ, sau cùng là chức năng và kiến trúc của FalconOrchestrator Từ đó áp dụng triển khai kết hợp với Splunk để tạo ra hệ thống tậptrung như đã đề ra

Qua hơn 3 tháng nghiên cứu và tìm hiểu hết mình với các tài liệu trên mạng

và sự tận tình chỉ bảo của giáo viên hướng dẫn, em đã hoàn thành nội dung và cácyêu cầu của đồ án đề ra Em xin được gửi lời cảm ơn sâu sắc đến ThS NguyễnĐức Ngân và KS Nguyễn Mạnh Thắng đã tận tình chỉ bảo, giúp đỡ em trong quátrình làm đồ án

Đồ án được hoàn thành trong thời gian ngắn, không thể tránh khỏi những saisót mong được các thầy, cô đóng góp ý kiến và chỉ bảo để đồ án được hoàn thiệnhơn

Em xin chân thành cảm ơn!

SINH VIÊN THỰC HIỆN ĐỒ ÁN

Ngô Văn Thỉnh

CHƯƠNG 1 TỔNG QUAN VỀ GIÁM SÁT

SỰ KIỆN AN NINH MẠNG TẬP TRUNG

(SIEM)

1.1 Hệ thống giám sát an ninh mạng

Giám sát an ninh mạng (Network Security Monitoring – NSM) là việc thuthập các thông tin trên các thành phần của hệ thống, phân tích các thông tin, dấuhiệu nhằm đánh giá và đưa ra các cảnh báo cho người quản trị hệ thống Hệ thốnggiám sát anh ninh mạng đóng vai trò quan trọng, không thể thiếu trong hạ tầngcông nghệ thông tin (CNTT) của các cơ quan, đơn vị, tổ chức Hệ thống này chophép thu thập, chuẩn hóa, lưu trữ và phân tích sự kiện tương quan toàn bộ các sựkiện mạng được sinh ra trong hệ thống CNTT của tổ chức Ngoài ra, hệ thống giámsát an ninh mạng phát hiện kịp thời các tấn công mạng, các điểm yếu, lỗ hổng bảomật của các thiết bị, ứng dụng và dịch vụ trong hệ thống Phát hiện kịp thời sựbùng nổ virus trong hệ thống mạng, các máy tính bị nhiễm mã độc, các máy tính bịnghi ngờ là thành viên của mạng máy tính ma (botnet) Để công tác giám sát anninh mạng đạt hiệu quả cần phải xác định được các yếu tố cốt lõi, cơ bản nhất củagiám sát như:

- Xác định các đơn vị, hệ thống, thiết bị, dịch vụ cần giám sát

- Xác định trang thiết bị, giải pháp phần mềm thương mại phục vụ giámsát

- Xác định phần mềm nội bộ và phần mềm nguồn mở phục vụ giám sát

- Xác định các thiết bị, công cụ, giải pháp hỗ trợ phân tích kết quả giámsát

Hệ thống giám sát an ninh mạng có thể được xây dựng theo một trong bagiải pháp sau:

- Giải pháp quản lý thông tin an ninh: tập trung vào việc thu thập, lưutrữ và biểu diễn nhật ký

- Giải pháp quản lý sự kiện an ninh: tập trung vào việc phân tích và xử

lý các nhật ký đã được thu thập để đưa ra cảnh báo cho người dùng

- Giải pháp quản lý và phân tích sự kiện an ninh: là sự kết hợp của cảhai giải pháp trên nhằm khắc phục những hạn chế vốn có

Hệ thống giám sát mạng có thể giám sát các mạng có kích thước lớn, nhỏ,trung bình Một số loại mạng như là: Wireless or wired, LAN, VPN, WAN

Thị trường kinh doanh luôn đòi hỏi các chức năng trang web mới để sử dụngnội bộ và bên ngoài Giám sát cho phép các nhà quản lý phân bổ nguồn lực để duytrì tính sẵn sàng của hệ thống

Một hệ thống giám sát trong môi trường phức tạp sẽ giúp định hướng, đưa racác cảnh báo, người quản lý có thể sử dụng các báo cáo này để:

- Xác nhận việc tuân thủ quy định và chính sách

- Tiết kiệm chi phí tiềm lực bằng cách tìm nguồn dữ liệu dư thừa

- Giải quyết việc bị lấy cắp thông tin

- Trợ giúp xác định năng suất của nhân viên

- Xác định liên kết mạng diện rộng yếu và thắt cổ chai

- Xác định độ trễ truyền tải dữ liệu

- Tìm bất thường trong mạng nội bộ có thể cho biết một mối đe dọa anninh

Đối tượng của giám sát an ninh mạng là tất cả các thành phần, thiết bị trong

Với mỗi thiết bị có những đặc điểm riêng và các loại log cũng khác nhau.Như log của các thiết bị mạng như: Router, Swich, log của các thiết bị phát hiệnxâm nhập: IDS, IPS, Snort… Log của các Web Server, Application Server, LogEvent, Log Registry của các Server Windows, Unix/Linux

Phân tích dữ liệu

Khi đã thu thập được những thông tin về hệ thống thì công việc tiếp theo làphân tích thông tin, cụ thể là việc thực hiện chỉ mục hóa dữ liệu, phát hiện nhữngđiền bất thường, những mối đe dọa của hệ thống Dựa trên những thông tin về lưulượng truy cập, trạng thái truy cập, định dạng request….

Cảnh báo

Sau khi đã thực hiện việc phân tích dữ liệu từ các thông tin thu thập đượcviệc tiếp theo là thực hiện đánh giá, đưa thông tin cảnh báo tới người quản trị vàthực hiện những công tác nhằm chống lại những mối đe dọa, khắc phục các sự cố

có thể xảy ra Cảnh báo có thể thông qua email, SMS, hoặc thực thi các mã scriptnhằm hạn chế hậu quả của sự cố Khi xảy ra sự cố, hệ thống sẽ tự động gửi email,sms cho người quản trị và cũng có thể chạy script để thêm một địa chỉ IP có biểuhiện tấn công và vào danh sách đen của Firewall

1.2 Tổng quan về hệ thống SIEM

Sercurity information event management (SIEM) là một giải pháp hoànchỉnh cho phép các tổ chức thực hiện việc giám sát các sự kiện an toàn thông tincho một hệ thống SIEM là sự kết hợp một số tính năng của quản lí thông tin anninh (SIM) và quản lí sự kiện an ninh (SEM) Trong đó hệ thống SIEM có thểđược tách làm hai chức năng:

Sercurity event management (SEM): Thu thập các event log data do cácthành phần (thiết bị, ứng dụng) trong hệ thống tạo ra Sau đó tập trung hóa việc lưutrữ và xử lý, phân tích các sự kiện rồi lập báo cáo, đưa ra thông báo, cảnh báo liênquan đến an ninh của hệ thống

Sercurity information management (SIM): Thông tin được lưu trữ từ SIM,được sử dụng để báo cáo dữ liệu log cho bất kì thời gian nhất định

SIM và SEM thường bị nhầm lẫn với nhau nhưng thực ra giữa chúng tồn tạinhững điểm giống và khác nhau cơ bản sau:

SEM giám sát hệ thống và phân tích các event gần như trong thời gian thực

để giúp phát hiện các mối đe dọa an ninh, các dấu hiện bất thường nhanh nhất cóthể nhưng cũng chính vì thế mà lượng dữ liệu sự kiện đổ về nó rất nhiều và nókhông cung cấp khả năng lưu trữ lâu dài cho các dữ liệu log

Ngược lại, SIM tuy không có khả năng thu thập và xử lý các sự kiện trongthơi gian thực nhưng lại mạnh về quản lý log và có thể lưu trữ một lượng lớn dữ

Security Information and Event Management (SIEM) là sự kết hợp của SEM

và SIM lại với nhau nhằm khắc phục những hạn chế của chúng

- Thu thập log: Thu thập dữ liệu từ nhiều nguồn, bao gồm cả mạng, bảomật, máy chủ, cơ sở dữ liệu, ứng dụng…cung cấp khả năng hợp nhất

dữ liệu được giám sát tránh để mất các sự kiện quan trọng

- Tương quan giữa các sự kiện: Tìm kiếm các thuộc tính chung và liênkết các sự kiện với nhau

- Nhóm các sự kiện giống nhau

- Phân tích và luồng thông tin

- Lưu trữ log và các sự kiện lâu dài phục vụ cho mục đích điều tra vềsau

1.3 Hoạt động của hệ thống quản lý sự kiện và giám sát an ninh mạng SIEM

SIEM có thể được so sánh với một máy tính phức tạp trong đó SIEM có một

số bộ phận chuyên biệt, thực hiện một công việc cụ thể và cần phải hoạt động cùngnhau đúng cách nếu không toàn bộ hệ thống sẽ bị lỗi Có những khác biệt về tiêuchuẩn của SIEM, với các bộ phận cụ thể bổ sung, nhưng một SIEM đơn giản cóthể được chia thành sáu phần và mỗi phần làm một công việc riêng biệt Mỗi thànhphần trong hệ thống này có thể hoạt động độc lập với các thành phần khác nhưngnếu tất cả không cùng hoạt động cùng lúc thì người quản trị sẽ không có một hệthống SIEM hoạt động hiệu quả Bằng sự hiểu biết từng phần của SIEM và cáchthức hoạt động, người quản trị có thể quản lý một cách hiệu quả và khắc phục sự

cố các vấn đề khi phát sinh

Kiến trúc của SIEM bao gồm các thành phần [1]:

• Thiết bị nguồn

• Thu thập log

• Phân tích, chuẩn hóa log

• Kỹ thuật tương quan sự kiện

• Lưu trữ log

• Giám sát

1.3.1 Thiết bị nguồn

Hình 1-1: Thành phần thiết bị nguồn trong kiến trúc SIEM

Thành phần đầu tiên của SIEM là các thiết bị đầu vào cung cấp dữ liệu choSIEM nằm ở vị trí đấu tiên trong kiến trúc của SIEM được biểu thị trên Hình 1-1.Thiết bị nguồn có thể là một thiết bị thực tế trong hệ thống mạng như Router,Switch hoặc một số loại máy chủ và cũng có thể là các bản ghi nhật ký từ một ứngdụng hoặc chỉ là bất kỳ dữ liệu nào khác Việc biết về những gì mình có trong hệthống là rất quan trọng trong việc triển khai SIEM Hiểu rõ những nguồn mà ngườiquản trị muốn lấy các bản ghi nhật ký trong giai đoạn đầu sẽ giúp họ tiết kiệmđược công sức, số tiền đáng kể và giảm sự phức tạp trong triển khai

Hệ điều hành

Microsoft Windows và các biến thể của Linux và UNIX, AIX, Mac OS lànhững hệ điều hành thường hay được sử dụng Hầu hết các hệ điều hành vê cơ bảncông nghệ khác nhau và thực hiện chuyên một nhiệm vụ nào đó nhưng một trongnhững điều mà tất cả đều có điểm chung là chúng tạo ra các bản ghi nhật ký Cácbản ghi nhật ký sẽ cho thấy hệ thống của người quản trị đã làm gì: Ai là ngườiđăng nhập, làm những gì trên hệ thống? Các bản ghi nhật ký được tạo ra bởi một

hệ điều hành về hệ thống và người sử dụng hoạt động sẽ rất hữu ích khi tiến hànhứng phó sự cố an ninh hoặc chẩn đoán vấn đề hay chỉ là việc cấu hình sai

Thiết bị

Hầu hết các thiết bị là các hộp đen, các quản trị hệ thống không có quyềntruy cập trực tiếp vào hệ thống để thực hiện một số việc quản lý cơ bản Nhưng cóthể quản lý các thiết bị thông qua một giao diện Giao diện này có thể dựa trênweb, dòng lệnh hoặc chạy qua một ứng dụng được tải về máy trạm của quản trịviên Hệ điều hành các thiết bị mạng chạy có thể là một hệ điều hành thôngthường, chẳng hạn như Microsoft Windows hoặc phiên bản của Linux, nhưng nó

không bao giờ có thể truy cập trực tiếp vào hệ thống điều hành cơ bản của nó màchỉ có thể truy cập vào thông qua dòng lệnh hoặc giao diện web được sử dụng đểquản lý Các thiết bị lưu trữ các bản ghi nhật ký của chúng trên hệ thống hoặcthường có thể được cấu hình để gửi các bản ghi ra thông qua syslog hoặc FTP.

Ứng dụng

Chạy trên các hệ điều hành là những ứng dụng được sử dụng cho một loạtcác chức năng Trong một hệ thống người quản trị có thể có hệ thống tên miền(DNS), dịch vụ cấp phát địa chỉ động (DHCP), máy chủ web, hệ thống thư điện tử

và vô số các ứng dụng khác Các bản ghi ứng dụng chứa thông tin chi tiết về tìnhtrạng của ứng dụng, ví dụ như thống kê, sai sót, hoặc thông tin tin nhắn Một sốứng dụng sinh ra bản ghi nhật ký sẽ có ích cho người quản trị? Người quản trịđược yêu cầu để duy trì, lưu trữ các bản ghi nhật ký theo sự tuân thủ của pháp luật

Xác định bản ghi nhật ký cần thiết

Sau khi xác định các thiết bị nguồn trong hệ thống, người quản trị cần xemxét việc thu thập các bản ghi nhật ký từ các thiết bị nào là cần thiết và quan trọngcho SIEM Người quản trị muốn chắc chắn để lấy các bản ghi từ các nguồn có thểcung cấp các thông tin quan trọng để bảo đảm tốt hơn cho hệ thống và có thể hỗ trợchuẩn đoán các vấn đề phát sinh xảy ra trên hệ thống mạng Một số điểm cần chú ýtrong việc thu thập các bản ghi nhật ký như sau:

• Thiết bị nguồn nào được ưu tiên? Dữ liệu nào là quan trọng mà ngườiquản trị cần phải thu thập?

• Kích thước các bản ghi nhật ký sinh ra trong khoảng thời gian nhấtđịnh là bao nhiêu? Những thông tin này dùng để xác định SIEM cầnbao nhiêu tài nguyên cho chúng, đặc biệt là không gian lưu trữ

• Tốc độ các thiết bị nguồn này sinh ra các bản ghi nhật ký là bao lâu?Thông tin này cùng với kích thước bản ghi nhật ký để lựa chọn việc

sử dụng đường truyền mạng khi thu thập các bản ghi

• Cách thức liên kết giữa các thiết bị nguồn với SIEM?

• Có cần các bản ghi nhật ký theo thời gian thực hay thiết lập quá trìnhthực hiện tại một thời điểm cụ thể trong ngày?

Các thông tin trên rất có ích trong việc xác định nguồn thiết bị cần thiết choSIEM của người quản trị Chúng có quá nhiều nhưng nó là cần thiết để xác địnhchính xác hơn điều gì là cần thiết cho SIEM Số lượng người sử dụng, lịch bảo trì

hệ thống và nhiều yếu tố khác có thể tác động đáng kể đến số lượng các bản ghi

1.3.2 Thu thập log

Hình 1-2: Thành phần thu thập log trong kiến trúc SIEM

Bước tiếp theo trong thiết bị hoặc ứng dụng là bằng cách nào đó để thu thậpđược nhật ký từ các thiết bị khác nhau, nó nằm tại bước thứ hai trong kiến trúc của

hệ thống quản lý sự kiện và giám sát an ninh mạng được biểu thị như Hình 1-2 Cơchế thu thập các bản ghi nhật ký phụ thuộc vào từng thiết bị nhưng cơ bản nhất cóhai phương thức chính như sau: Đẩy nhật ký (Pull log) và tự lấy nhất ký (Pushlog), ngoài ra còn có xây dựng nhật ký để thu thập (Prebuilt Log collection), tự tạonhật ký thu thập (Custom Log Collection), kết hợp nhiều cách thu thập nhật ký(Mixed Environments) [1]

Đẩy nhật ký

Push log: Các bản ghi nhật ký sẽ được các thiết bị nguồn gửi về SIEM

Phương pháp này có lợi ích: Dễ dàng cài đặt và cấu hình Thông thường,người quản trị chỉ cần thiết lập một bộ tiếp nhận và sau đó kết nối thiết bị nguồnđến bộ phận tiếp nhận này Ví dụ như syslog Khi cấu hình thiết bị nguồn sử dụngsyslog, người quản trị có thể thiết lập địa chỉ IP hoặc DNS tên của một máy chủsyslog trên mạng và thiết bị sẽ tự động gửi các bản ghi của nó thông qua syslog.Tuy nhiên phương pháp này cũng còn một số nhược điểm Ví dụ, sử dụng syslogtrong môi trường UDP Bản chất vốn có của việc sử dụng syslog trong môi trườngUDP có nghĩa là không bao giờ có thể đảm bảo rằng các gói tin đến đích, vì UDP

là một giao thức không hướng kết nối Nếu một tình huống xảy ra trên mạng chẳnghạn như khi một loại virus mạnh trên mạng, người quản trị có thể không nhận đượcgói tin syslog Một vấn đề có thể phát sinh là nếu không đặt quyền điều khiển truycập thích hợp trên máy thu nhận các bản ghi nhật ký thì khi cấu hình sai hoặc cóphần mềm độc hại có thể làm tràn ngập các thông tin sai lệch Điều đó làm cho các

sự kiện an ninh khó được phát hiện Nếu là một cuộc tấn công có chủ ý nhằm

liệu rác vào SIEM Do vậy sự hiểu biết về các thiết bị gửi các bản ghi nhật ký choSIEM là điều rất quan trọng.

Lấy nhật ký

Pull log: Các bản ghi nhật ký sẽ được SIEM đi tới và lấy về

Không giống như phương pháp Push log, trong đó thiết bị nguồn gửi các bảnghi nhật ký cho SIEM mà không cần bất kỳ sự tương tác từ SIEM Pull log đòi hỏiSIEM bắt đầu kết nối với các thiết bị nguồn và chủ động lấy các bản ghi từ cácthiết bị nguồn đó Một ví dụ nếu các bản ghi nhật ký được lưu trữ trong tập tin vănbản chia sẻ trên một mạng SIEM sẽ thiết lập một kết nối lấy các thông tin đượclưu trữ và đọc các file bản ghi từ các thiết bị nguồn

Đối với phương pháp Push Log, các bản ghi nhật ký của thiết bị nguồnthường gửi các bản ghi đến SIEM ngay sau khi nó được tạo ra Nhưng với phươngpháp Pull Log thì một kết nối sẽ được tạo ra để SIEM tiếp cận với các thiết bịnguồn và kéo các bản ghi nhật từ các thiết bị nguồn về Chu kỳ của việc kết nối đểlấy các bản ghi nhật của Pull Log có thể là vài giây hoặc theo giờ Khoảng thờigian này người quản trị có thể cấu hình theo tùy chọn hoặc để cấu hình mặc địnhcho SIEM

Xây dựng sẵn nhật ký để thu thập

Tùy thuộc vào SIEM, thường có các phương pháp được xây dựng sẵn có đểlấy được các bản ghi từ các thiết bị hoặc các ứng dụng Ví dụ, người quản trị có thểcho một máy chủ SIEM chạy cơ sở dữ liệu Oracle cung cấp cho các thông tin cơ sở

dữ liệu SIEM SIEM sẽ có những phương pháp xác thực và quy tắc (logic) đượcxây dựng để lấy thông tin từ cơ sở dữ liệu Oracle

Ví dụ này làm cho việc lấy các bản ghi từ các thiết bị nguồn được dễ dànghơn Nhưng đối với một ứng dụng nào đó mà người quản trị muốn lấy những bảnghi nhật ký nhưng không có phương pháp hay quy tắc logic nào được xác địnhtrước đó thì hơi khó Trong trường hợp này, cần thay đổi các bản ghi từ các địnhdạng tập tin gốc thành một cái gì đó mà SIEM có thể hiểu được Một ví dụ là nếungười quản trị đang chạy một ứng dụng trên một máy chủ và ứng dụng lưu trữ cácbản ghi của nó trong một định dạng tập tin trên máy chủ Người quản trị có thể sửdụng một ứng dụng khác để đọc tập tin này và gửi các bản ghi thông qua syslog.Trong trường hợp máy chủ Windows, một cách khác để làm việc với các bản ghikhông chuẩn sẽ được để viết nhật ký để Windows Event Log và kéo WindowsEvent Log vào SIEM

Tự thu thập nhật ký

Với các thiết bị khác nhau trong mạng có thể có một số nguồn bản ghi nhật

ký không có phương pháp thu thập nhật ký chuẩn cung cấp sẵn bởi SIEM Ngườiquản trị cần có phương thức để lấy các bản ghi nhật ký từ một nguồn bằng việc xâydựng phương pháp riêng để thu thập các bản ghi nhật ký Việc xây dựng phươngthức riêng để lấy bản ghi nhật kỳ và phân tích có thể tốn nhiều công sức và thờigian, nhưng nếu được thực hiện đúng cách, nó sẽ có nghĩa là các bản ghi sẽ đượckéo trực tiếp từ các thiết bị vào SIEM Một lợi ích khác của việc xây dựng phươngpháp thu thập riêng là người quản trị có thể kiểm soát tất cả các quá trình phân tích

và tìm kiếm

Kết hợp nhiều cách để thu thập

Hầu hết các môi trường mạng sẽ có nhiều thiết bị, có nghĩa là người quản trị

sẽ cần nhiều phương pháp thu thập nhật ký Ví dụ như Cisco ASA sẽ lưu trữ cácbản ghi log trong nội bộ, do đó ta có thể sử dụng syslog để gửi các bản ghi nhật kýtới hệ thống khác Snort IDS có thể lưu trữ các bản ghi log của mình bằng cơ sở dữliệu MySQL trong khi các máy chủ RedHat lưu các bản ghi log trong một tập tintrên chính máy chủ Sau đó Windows Server lưu trữ các bản ghi log trong các nhật

ký sự kiện trên máy chủ nội bộ Bốn loại khác nhau của các nhật ký có thể yêu cầubốn phương pháp khác nhau để đẩy nhật ký về SIEM

Đối với Cisco ASA và máy chủ Linux, người quản trị có thể có các thiết bịnguồn gửi nhật ký thông qua syslog đến SIEM Ta sẽ cần phải cấu hình truy cậpvào cơ sỡ dữ liệu MySQL để lấy các bản ghi Snort IDS Cuối cùng ta sẽ kéo các sựkiện của Windows Server Trong ví dụ này ta đã sử dụng kết hợp 3 phương phápkhác nhau để thu thập nhật ký từ các thiết bị Ta có thể kết hợp các thiết bị sử dụng

để giảm thiểu các phương pháp thu thập nhật ký

1.3.3 Phân tích và chuẩn hóa log

Vô số các bản ghi nhật ký được gửi từ các thiết bị và ứng dụng trong môitrường đến SIEM, điều gì sẽ xảy ra tiếp theo? Tại thời điểm này, tất cả các bản ghiđang ở định dạng gốc ban đầu, do đó người quản trị không thực hiện được bất cứđiều gì ngoại trừ lưu nó vào một nơi nào đó Nhưng để các bản ghi nhật ký hữu íchtrong SIEM người quản trị cần định dạng lại chúng sang một định dạng chuẩn duynhất Việc thay đổi tất cả các loại bản ghi nhật ký khác nhau thành các bản ghi cócùng một định dạng duy nhất được gọi là chuẩn hóa Việc chuẩn hóa các bản ghinhật ký giúp cho SIEM có thể thống nhất các bản ghi nhật ký, nhanh chóng phântích cũng như tương quan sự kiện an ninh sau nay Đó là bước thứ ba trong kiếntrúc của hệ thống quản lý sự kiện và giám sát an ninh mạng được hiển thị nhưtrong Hình 1-3.

Đối với các hệ thống khác nhau thì sẽ có các bản ghi nhật ký là khác nhau,như một là Windows Event Log (Hình 1-4) và một là nhật ký đăng nhập trên ASA(Hình 1-5), cả hai cho thấy một người dùng đăng nhập vào thiết bị Cách đăngnhập hệ thống là khác nhau nhưng hành động tương tự Tuy nhiên ban đầu nhật kýcủa chúng là hai định dạng khác nhau

Hình 1-4: Log trên hệ thống windows

Hình 1-5: Log đăng nhập trên ASA syslog

Hình 1-6: Chuẩn hóa log

Có thể thấy, hai bản ghi từ các thiết bị khác nhau bây giờ đã có khả năng đọccác định dạng tương tự Đây là kết quả cuối cùng cho tất cả các bản ghi khác nhaukhi được đẩy lên SIEM Chuẩn hóa các sự kiện chỉ làm cho đơn giản hóa việc đọccác bản ghi và giúp người quản trị xem nó một cách dễ dàng hơn

1.3.4 Kỹ thuật tương quan sự kiện

Hình 1-7: Thành phần tương quan sự kiện trong SIEM

Kỹ thuật tương quan sự kiện được biểu thị như Hình 1-7 nằm trong bước thứbốn của kiến trúc của SIEM Các quy luật cho phép mở rộng việc chuẩn hóa cácbản ghi các sự kiện an ninh từ các nguồn khác nhau trong việc kích hoạt cảnh báotrong SIEM Cách viết các quy luật trong SIEM bắt đầu thường khá đơn giản,nhưng có thể trở nên cực kỳ phức tạp Người quản trị thường viết các quy tắc sửdụng một biểu thức Boolean logic để xác định điều kiện cụ thể được đáp ứng vàkiểm tra xem có phù hợp trong các dữ liệu

Hình 1-8: Quá trình đăng nhập tài khoản quản trị

Khi kích hoạt một thông báo tắt khi có bất kỳ ai đăng nhập vào hệ thống,tương tự như Hình 1-8 Nếu ta có một loạt các máy chủ khác hệ điều hành trongmôi trường, ta sẽ phải tìm các yếu tố khác nhau trong các bản ghi và nó phụ thuộcvào từng loại hệ điều hành Đối với máy chủ Windows, cần tìm kiếm tài khoản

"Administrator” và trên máy chủ Linux cần tìm kiếm với tên đăng nhập "root" đểchỉ ra tài khoản đã đăng nhập vào hệ thống Với SIEM, thay vì có nhiều quy tắckích hoạt cho từng loại khác nhau của thông tin đăng nhập quản trị, ta có thể viếtmột luật duy nhất bằng cách sử dụng các hàm của SIEM để kích hoạt một quy tắcdựa trên các giá trị

Sự tương quan là một tập hợp các quy tắc Tương quan sự kiện an ninh giúpliên kết các sự kiện an ninh từ các nguồn khác nhau thành một sự kiện an ninhchính xác Tương quan các sự kiện an ninh được thực hiện nhằm đơn giản hóa cácthủ tục ứng phó sự cố cho cho hệ thống, bằng việc thể hiện một sự cố duy nhấtđược liên hệ từ nhiều sự kiện an ninh đến từ các thiết bị nguồn khác nhau

Hình 1-9: Sự kiện cơ bản trong SIEM

Nếu nhìn vào ví dụ trong Hình 1-9, nó cho thấy nhiều sự kiện an ninh đăngnhập vào SIEM trong khoảng thời gian 10 giây Nhìn vào điều này có thể nhìn thấy

sự thất bại đăng nhập và đăng nhập thành công từ nhiều địa chỉ đến từ một số địachỉ đích Nếu nhìn kỹ, có thể thấy một địa chỉ nguồn duy nhất đăng nhập nhiều lầnvào một địa chỉ đích, và sau đó đột ngột thấy một đăng nhập thành công Điều này

có thể là một cuộc tấn công brute-force tới máy chủ Nhưng trừ khi người quản trị

có một trí nhớ rất tốt mới nhận ra điều đó Thường là họ có thể đã quên các sự kiện

an ninh đầu tiên xảy ra

Mở rộng theo ví dụ này và thay vì chỉ 10 sự kiện an ninh trong một khoảngthời gian 10 giây mà là có 1000 sự kiện an ninh trong 10 giây Hãy chọn ra những

sự kiện an ninh từ trong hệ thống có thể hiển thị một sự kiện an ninh nguy cơ nguyhại là điều cực kỳ khó khăn Người quản trị cần một cách để loại bỏ tất cả cácthông tin sự kiện an ninh không liên quan trong các bản ghi nhật ký và chỉ cần theodõi các thông tin sự kiện an ninh mà có thể chỉ ra một nguy hại qua nhiều sự kiện

an ninh

Hình 1-10: Ví dụ về tương quan sự kiện

Nói về các sự kiện trong Hình 1-10, người quản trị sẽ cần phải viết một quytắc kích hoạt từ các sự kiện đã tạo nên các hoạt động đăng nhập/ đăng xuất Diễn tảcho quy tắc tương quan này có thế giống như đoạn mã trình bày bên dưới, tùythuộc vào hệ thống SIEM tổ chức của người quản trị sử dụng

If [(failed logins >= 3) and then (Successful Login)] from the same source within 20 seconds = Possible Brute Force Compromise

1.3.5 Lưu trữ log

Hình 1-11: Thành phần lưu trữ log trong SIEM

Để làm việc với khối lượng lớn các bản ghi khi đi vào SIEM, người quản trịcần lưu trữ chúng để cho các mục đích duy trì và truy vấn lịch sử, nó nằm ở vị tríthứ 5 trong kiến trúc của hệ thống SIEM được biểu thị như Hình 1-11 có ba cách

mà SIEM có thể lưu trữ các bản ghi của nó: Lưu trữ trong cơ sở dữ liệu, lưu trữtrong tập tin văn bản hoặc trong một tập tin nhị phân

Lưu trữ bằng hệ quản trị cơ sở dữ liệu

Lưu trữ các bản ghi nhật ký trong cơ sở dữ liệu là cách lưu trữ các bản ghinhật ký hay được dùng nhất trong SIEM Cơ sở dữ liệu thường là một nền tảng cơ

sở dữ liệu chuẩn như Oracle, MySQL, Microsoft SQL hoặc một trong các ứngdụng cơ sở dữ liệu lớn khác đang được sử dụng trong doanh nghiệp Phương phápnày cho phép khá dễ dàng tương tác với dữ liệu vì các truy vấn cơ sở dữ liệu là mộtphần của ứng dụng cơ sở dữ liệu Hiệu suất cũng khá tốt khi truy cập vào các bảnghi nhật ký trong cơ sở dữ liệu, phụ thuộc vào phần cứng cơ sở dữ liệu đang chạy,nhưng các ứng dụng cơ sở dữ liệu phải được tối ưu hóa để chạy với SIEM Sửdụng cơ sở dữ liệu là một giải pháp tốt cho việc lưu trữ nhật ký, nhưng một số vấn

đề có thể phát sinh tùy thuộc vào cách SIEM triển khai cơ sở dữ liệu tương ứng với

nó

Lưu trữ dưới dạng tập tin văn bản

Một tập tin văn bản chuẩn để lưu trữ các thông tin trong một định dạng cóthể đọc được Các thông tin cần phải có một ranh giới phân cách có thể là dấuphẩy, tab hoặc một số kí hiệu khác Vì vậy thông tin có thể được phân tích và đọcđúng Phương pháp lưu trữ này không được sử dụng thường xuyên Hành động viết

và đọc từ tập tin văn bản dường như chậm hơn so với các phương pháp khác Thật

sự không có nhiều lợi ích khi sử dụng một tập tin văn bản để lưu trữ dữ liệu, nhưng

nó dễ dàng cho các ứng dụng bên ngoài để truy cập dữ liệu này Nếu các bản ghinhật ký được lưu trữ trong một tập tin văn bản, thì sẽ không khó khăn khi viết một

mã riêng để mở các tập tin và lấy thông tin để cung cấp cho cho một ứng dụngkhác Một lợi ích khác là khi lưu dưới dạng tập tin văn bản, con người có thể đọcđược và dễ dàng để nhà phân tích tìm kiếm và hiểu nó Người quản trị có thể mởcác tập tin và sử dụng lệnh “grep” hoặc một số công cụ tìm kiếm tập tin văn bảnkhác để tìm ra thông tin tìm kiếm mà không cần mở một giao diện điều khiển

Lưu trữ dưới dạng tập tin nhị phân

Định dạng tập tin nhị phân là sử dụng một tập tin với định dạng tùy chỉnh đểlưu trữ thông tin duới dạng nhị phân SIEM biết làm thế nào để đọc và ghi vàonhững tập tin này.

1.3.6 Giám sát

Hình 1-12: Thành phần giám sát trong SIEM

Khi đã có tất cả các bản ghi nhật ký trong SIEM và các sự kiện an ninh đãđược xử lý, điều cần làm tiếp theo như thế nào để sử dụng hữu ích với các thôngtin từ các bản ghi nhật ký khác nhau SIEM có một giao diện điều khiển dựa trênweb hoặc ứng dụng tải về máy trạm Cả hai giao diện sẽ cho phép tương tác vớicác dữ liệu được lưu trữ trong SIEM Giao diện điều khiển này cũng được sử dụng

để quản lý, giám sát SIEM Quá trình giám sát sự kiện nằm ở vị trí thứ 6 trong kiếntrúc của SIEM được biểu thị như Hình 1-12

Giao diện ứng dụng này cho phép xử lý sự cố hoặc cung cấp cái nhìn tổngquan về môi trường của người quản trị Bình thường khi muốn xem các thông tinhoặc xử lý sự cố các kỹ sư sẽ phải đi đến các thiết bị khác nhau và xem các bản ghinhật ký trong định dạng gốc của nó Nhưng với SIEM sẽ đơn giản và tiện lợi hơnnhiều Nó có thể xử lý tại một nơi duy nhất, phân tích tất cả các bản ghi nhật kýkhác nhau dễ dàng bởi vì SIEM đã chuẩn hóa các thông tin dữ liệu đó Trong quản

lý và giám sát giao diện điều khiển của SIEM, người quản trị có thể phát triển nộidung và quy định được sử dụng để tìm ra thông tin từ các sự kiện an ninh được xử

lý Giao diện điều khiển này là một cách để giao tiếp với các dữ liệu được lưu trữtrong SIEM

1.4 Kết luận chương 1

Phần đầu của chương đã trình bày khái quát về một hệ thống giám sát anninh mạng nói chung (NSM) Từ những nhu cầu cần thiết của một hệ thống giámsát an ninh mạng đến quy trình chung của hệ thống Nhưng các hệ thống giám sátnói chung còn khá rời rạc chưa có sự liên kết thống nhất với nhau Việc áp dụng

một hệ thống giám sát tập trung SIEM là nhu cầu cấp thiết hiện nay Mô hình giảipháp của SIEM gồm 03 thành phần chính: thu thập nhật ký ATTT; phân tích và lưutrữ; quản trị tập trung Ngoài ra, nó còn có các thành phần khác như: thành phầncảnh báo, hệ thống DashBoard theo dõi thông tin, các báo cáo phong phú đáp ứngcác tiêu chuẩn quản lý, thành phần lưu trữ có khả năng lưu trữ dữ liệu lâu dài Cóthể thấy các hoạt động của SIEM khá là phức tạp gồm các hoạt động chuyên biệt

cụ thể và chúng cần hoạt động cùng nhau đúng cách Trong chương tiếp theo sẽtrình bày việc triển khai và áp dụng SIEM sử dụng Splunk

CHƯƠNG 2 CÔNG

CỤ GIÁM SÁT AN NINH MẠNG SPLUNK

2.1 Giới thiệu chung Splunk

Splunk là hệ thống có thể captures, trích ra các dữ liệu thời gian thực có liênquan tới nhau từ đó nó có thể tạo ra các đồ thị, các báo cáo, các cảnh báo và cácbiểu đồ Mục đích của Splunk là giúp cho việc xác định mô hình dữ liệu và thuthập dữ liệu máy trên toàn hệ thống dễ dàng hơn Nó cung cấp số liệu, chẩn đoáncác vấn đề xảy ra, phục vụ tốt cho hoạt động kinh doanh Splunk có thể tìm kiếmcác sự kiện đã và đang xảy ra, đồng thời cũng có thể báo cáo và phân tích thống kêcác kết quả tìm được Nó có thể nhập các dữ liệu của máy dưới dạng có cấu trúchoặc không cấu trúc Hoạt động tìm kiếm và phân tích sử dụng SPL (SearchProcessing Language), được tạo để quản lý Big Data Do được phát triển từ UnixPiping và SQL nên Splunk có khả năng tìm kiếm dữ liệu, lọc, sửa đổi, chèn và xóa

dữ liệu

Splunk cung cấp một giao diện chung cho tất cả dữ liệu IT như tìm kiếm dữliệu, những cảnh báo, những báo cáo (report), hay ta có thể chia sẻ dữ liệu đó chomột ai đó

Splunk cung cấp giải pháp tìm kiếm tối ưu Splunk tìm kiếm những dữ liệu

có liên quan với nhau, giúp thu hẹp phạm vi tìm kiếm, tiết kiệm thời gian, và làmcho công tác quản trị mạng tốt hơn

Hình 2-13: Các loại data, log mà Splunk xử lý được.

- Splunk còn được gọi là Google của log, có công cụ search mạnh mẽ

- Splunk có thể lưu trữ khối lượng dự liệu lớn của hệ thống IT và dữliệu này có thể có cấu trúc bất kỳ, song tốc độ truy vấn dữ liệu nhanh

- Tìm kiếm phân tán sử dụng Map Reduce (1 phần mềm của Google,phục vụ cho việc tính toán phân tán các tập dữ liệu lớn trên các cụmmáy tính)

Sơ đồ Splunk phổ biến

Hình 2-14: Mô hình sử dụng Splunk phổ biến hiệu quả

Mô hình trên bao gồm các thành phần như:

• Nhiều thiết bị Forwarders trung gian phục vụ cho quá trình load, tínhsẵn sàng cao, và cải thiện tốc độ xử lý các event sắp tới

• Một Indexer liên kết với nhiều hệ thống Với nhiều search-peer(indexer) cải thiện hiệu năng của quá trình nhập dữ liệu và tìm kiếm

Nó giúp giảm thời gian tìm kiếm và cung cấp tính dự phòng cao

• Có nhiều đầu tìm kiếm Những hệ thống riêng biệt này sẽ phân phốibất kỳ yêu cầu tìm kiếm trên tất cả các search-peer đã cấu hình trước

đó để cải thiện hiệu năng tìm kiếm Đầu tìm kiếm riêng biệt được thểhiện ở đây để hỗ trợ ứng dụng Splunk’s Enterprise Security (ES)

• Server triển khai Hệ thống nay có thể được tích hợp với các dịch vụSplunk khác, hoặc triển khai độc lập Nếu muốn triển khai hệ thốnglớn, một hệ thống độc lập là rất quan trọng

2.2 Các chức năng quan trọng của splunk

2.2.1 Quản lý các ứng dụng

Giải quyết vấn đề nhanh hơn, giảm thời gian bị downtime

Troublesshoot vấn đề 1 cách nhanh chóng, giảm chi phí và giảm thời gian đểđiều tra và khắc phục sự cố tới 70%

Giảm sự phức tạp bằng cách cung cấp cho các nhà phát triển được truy cậpvào log của ứng dụng thông qua 1 vị trí trung tâm mà không cần quyền truy cậpvào hệ thống đó

Giám sát toàn bộ môi trường ứng dụng của ta trong thời gian thực để ngănchặn các vấn đề ảnh hưởng tới người dùng, giữ lại log từ các sự kiện định kỳ đểngăn ngừa mất mát

Nắm được hoạt động của toàn bộ ứng dụng

Truy vết và giám sát các giao dịch của ứng dụng thông qua các tầng của kiếntrúc phân tán và từ nhiều nguồn dữ liệu

Phát hiện các bất thường hoặc các vấn đề trong hoạt động, thời gian đáp ứng

và chủ động giải quyết chúng trước khi nó ảnh hưởng tới người dùng, ứng dụng

Theo dõi số liệu hoạt động quan trọng như thời gian đáp ứng end-to-end, độdài thông điệp hàng đợi và đếm số lần giao dịch thất bại để đảm bảo ứng dụng đápứng được nhu cầu cần thiết

Nắm được toàn bộ hoạt động của ứng dụng trong thời gian thực trên toàn bộ

cơ sở hạ tầng ứng dụng

Đạt được cái nhìn toàn diện về cách mà người dùng sử dụng dịch vụ, từ đó

có thể cung cấp dịch vụ tốt hơn

Làm phong phú hệ thống bằng cách thêm các nguồn phi CNTT như giá cả

cơ sở dữ liệu, thông tin khách hàng và thông tin vị trí

Không giống các công cụ quản lý truyền thống, splunk có thể index, phântích, khai thác dữ liệu từ bất kỳ tầng ứng dụng nào Nó cung cấp 1 góc nhìn trungtâm về toàn bộ hệ thống cơ sở hạ tầng

Ngôn ngữ tìm kiếm trong splunk giúp người sử dụng so sánh các sự kiện,các giao dịch và chỉ số hoạt động quan trọng khác

Quyền điều khiển được trao cho nhiều nhóm trong một tổ chức Những hiểubiết về dữ liệu ứng dụng có thể kết hợp với thông tin có cấu trúc như thông tin user

2.2.2 Quản lý hoạt động IT

Trung tâm IT dữ liệu trên toàn thế giới đang trở nên cực kỳ phức tạp, vớihàng trăm công nghệ khác nhau và thiết bị ở nhiều layer Ảo hóa và điện toán đámmây cũng đang trở nên phức tạp, đặc biệt là các vấn đề liên quan đến hiệu suấthoạt động Đội ngũ quản trị và quản lý CNTT lãng phí nhiều thời gian trong việc dichuyển từ một giao diện điều khiển tới giao diện điều khiển khác, cố gắng theo dõicác dữ liệu cần thiết để đảm bảo hiệu suất và tính sẵn sàng cao

Splunk cung cấp 1 cách tiếp cận tốt hơn mà không cần phải phân tích cúpháp hay tùy chỉnh nó Splunk thu thập và lập indexes chứa tất cả dữ liệu được tạo

ra bởi hệ thống IT của ta (hệ thống mạng, server, OS, ảo hóa, v.v.)

Nó hoạt động với bất kỳ dữ liệu mà máy tạo ra, bao gồm log, file cấu hình,

số liệu hiệu suất, SNMP trap và các ứng dụng log tùy chỉnh

Giải quyết vấn đề nhanh hơn, giảm thời gian Downtime

- Giúp nắm bắt được hoạt động ảo hóa, hệ thống cloud private và public từ

1 giao diện trung tâm Giúp tìm được nguồn gốc của vấn đề nhanh hơn70% mà không cần phải tìm kiếm trong hệ thống, server hay máy ảo

- Quản lý hệ thống của ta trong thời gian thực, ngăn ngừa vấn đề xảy ratrước khi nó ảnh hưởng tới người dùng và có thêm kinh nghiệm xử lý các

sự kiện xảy ra định kỳ để tránh mất mát Chỉ cần 1 người quản lý cóquyền truy cập trực tiếp, đảm bảo an toàn cho dữ liệu, giúp tránh leothang đặc quyền

Tương quan các sự kiện ở tất cả các tầng layer của hệ thống

Tìm các liên kết giữa người sử dụng, hiệu suất các sự kiện liên quan tới cơ

sở hạ tầng được cung cấp bởi splunk kết hợp phân tích dữ liệu thời gian thực tươngquan, so sánh với hàng triệu terabytes dữ liệu lịch sử Phân tích phát hiện thànhphần khả nghi có thể giúp dự đoán và ngăn ngừa mất mát hoặc vấn đề về hiệunăng

Tồn tại dữ liệu từ khắp nơi trên mỗi tầng của trung tâm dữ liệu Quản lý môitrường để nhận biết được sự thay đổi, so sánh ngay lập tức để biết độ thiếu hụt hiệunăng của hệ thống, những vấn đề có sẵn hoặc vấn đề bảo mật, an ninh

Giảm chi phí cung cấp dịch vụ CNTT

Sử dụng sức mạnh và khả năng mở rộng của splunk không chỉ cho hoạt độngquản lý CNTT mà còn dùng để hỗ trợ kiểm toán, an ninh Giảm số lượng các công

cụ và kỹ năng cần thiết để duy trì quản lý cơ sở hạ tầng phức tạp

Phân tích hoạt động IT

Splunk dùng trong hoạt động phân tích IT cung cấp những hiểu biết toàndiện theo nhiều tầng giúp cho định hướng của doanh nghiệp tốt hơn tùy theo từngtrường hợp cụ thể

Chủ động trong việc nhận diện và khắc phục lỗi dịch vụ để đảm bảo sự hàilòng của khách hàng và giúp tăng số lượng khách hàng sử dụng

Đạt hiệu quả trong quá trình hoạt động do nắm bắt được những nguy hiểmtiềm tàng trong quá trình hoạt động kinh doanh Giúp đạt được các mục tiêu kinhdoanh bằng cách cung cấp tầm nhìn toàn diện trên toàn hệ thống công nghệ khôngđồng nhất, các dịch vụ, cách quản lý, lên kế hoạch về dung lượng, phân tích mức

sử dụng của người dùng và nhiều hơn nữa

Giám sát cơ sở hạ tầng

Máy chủ: Với Splunk, ta có thể chủ động giám sát các máy chủ và hiểu biết

sâu hơn về hiệu suất, cấu hình, truy cập và các lỗi phát sinh Tương quan hiệu suấtmáy chủ, các lỗi và dữ liệu sự kiện với người dùng, ảo hóa và ứng dụng thành phần

để ngăn ngừa và khắc phục lỗi Phân tích và tối ưu hóa chi phí cho việc theo dõidung lượng máy chủ, báo cáo an ninh trong thời gian thực

Hệ thống lưu trữ: Với Splunk, ta có thể tương quan log, số liệu hiệu suất và

các sự kiện từ hệ thống lưu trữ với máy chủ, mạng và dữ liệu từ các ứng dụng đểgiải quyết các vấn đề và làm tăng sự hài lòng của khách hàng Sử dụng công cụphân tích mạnh mẽ để khắc phục sự cố trong thời gian thực và phân tích hiệu suất

hệ thống lưu trữ Giảm thời gian phát triển và cắt giảm chi phí bằng việc dễ dàngtích hợp với các nhà cung cấp dịch vụ lưu trữ, như NetApp và EMC

Hệ thống mạng: Với Splunk, ta có thể giám sát và theo dõi dữ liệu mạng từ

các thiết bị không dây, switch, router, firewall và trên những thiết bị khác bằngcách sử dụng SNMP, Netflow, syslog, PCAP,…

Chủ động nhận diện các vấn đề an ninh mạng và thực hiện phân tích vấn đề.Tương quan dữ liệu mạng với các ứng dụng, hệ thống lưu trữ và phân tích máy chủ

để giữ cho mạng của ta an toàn và hoạt động mọi lúc

Splunk cho hệ điều hành

Splunk và ứng dụng của splunk có thể giúp ta:

Tương quan số liệu hệ thống và dữ liệu sự kiện với các dữ liệu ở các tầng

Nắm được toàn bộ hoạt động hệ thống bằng cách cung cấp bảng điều khiểntrung tâm sức khỏe hệ thống xuyên suốt môi trường không đồng bộ

Nắm được năng lực hạn chế của hệ thống hoặc tình trạng nhàn rỗi

Theo dõi những thay đổi và đảm bảo an ninh cho môi trường của ta bằngcách giám sát môi trường để phát hiện những hoạt động bất ngờ, thay đổi vai tròcủa người sử dụng, truy cập trái phép,…

Quản lý ảo hóa

Cơ sở hạ tầng ảo hóa tạo ra môi trường năng động, nơi mà tài nguyên máytính như máy chủ, storage, phần cứng mang được ảo hóa từ các ứng dụng, hệ điềuhành và người sử dụng Môi trường ảo hóa phức tạp đòi hỏi cách tiếp cận mới vớicác dịch vụ IT truyền thống như xử lý sự cố hiệu suất, quản lý và phân tích rủi ro

Ứng dụng ảo hóa của Splunk kết hợp sức mạnh và tính năng của SplunkEnterprise được thiết kế dành riêng cho công nghệ ảo hóa Nó giúp tăng tốc dữ liệuthu thập được cơ sở hạ tầng ảo Kết hợp dữ liệu hạ tầng ảo hóa với dữ liệu tầngcông nghệ khác sẽ cho 1 góc nhìn bao quát hơn về hệ thống trung tâm dữ liệu

Splunk App cho ảo hóa có thể tương thích và thu thập dữ liệu ảo hóa từ cáccông nghệ ảo hóa như WMware vSphere, Citrix XenServer và Microsoft Hyper-V,

và công nghệ ảo hóa máy tính bàn như Citrix XenApp và Citrix XenDesktop

Nó tạo các báo cáo đa dạng, đồng nhất về các công nghệ ảo hóa từ tất cả cáclớp ứng dụng và cơ sở hạ tầng của ta

Giúp chủ động ngăn chặn, quản lý vấn đề hiệu suất, tắc nghẽn cổ chai,những sự kiện bất ngờ, những thay đổi và lỗi an ninh bảo mật nguy hiểm Nó phântích và báo cáo chính xác giúp cho người dùng có trải nghiệm tối ưu

Tương quan dữ liệu ảo hóa, giúp việc tìm ra các sự kiện có liên quan mộtcách dễ dàng hơn, tương quan các vấn đề về hiệu năng, mạng và kiến trúc hệ thốngmáy chủ

Giữ lại số liệu về hiệu suất hoạt động của máy để theo dõi và phân tích Thuthập dữ liệu có chiều sâu từ máy chủ, máy ảo, hệ thống máy tính Cung cấp khảnăng hiển thị hoạt động và phân tích hoàn chỉnh bằng cách xác định khả năng củamáy chủ, các máy ảo nhàn rỗi, các máy chủ sử dụng đúng mức, sức chứa dữ liệu,theo dõi thống kê hiệu suất để tìm mô hình sử dụng và tránh khả năng tắc nghẽn cóthể

Theo dõi những thay đổi và báo cáo về tài sản Theo dõi chi tiêt sự thay đổi

mà người dùng thực hiện, tự đông hóa các tác vụ của vSphere cũng như báo cáo

tình trạng các thành phần ảo Cải thiện an ninh bằng cách giám sát môi trường đểtìm các hoạt động đáng ngờ, vai trò của người sử dụng bị thay đổi, truy cập tráiphép và nhiều hơn nữa.

Với VMware vSphere

Splunk App cho VMware cung cấp khả năng hiển thị các hoạt động 1 cáchchi tiết, hiệu suất, log, các tác vụ, sự kiện và lưu đồ từ máy chủ, các máy ảo và cáctrung tâm ảo hóa Cung cấp hình ảnh bao quát và chính xác về tình trạng sức khỏecủa môi trường ảo hóa, chủ động xác định các vấn đề về hiệu suất, bảo mật, khảnăng hoạt động và những thay đổi của máy ảo

Nắm được thông tin sức khỏe máy ảo trong thời gian thực Có thể xác địnhlập tức khu vực máy ảo, máy chủ có vấn đề Phân tích dữ liệu theo thời gian để xácđịnh xem nó có ảnh hưởng đến cấu hình tài nguyên Nhận báo cáo chi tiết dựa trênmỗi 20s Khám phá lỗi và các trường hợp ngoại lệ bằng việc chỉ ra các sự kiện cóliên quan tới nhau bằng dữ liệu log VC và ESXi trong một giao diện điều khiểnduy nhất

Có thể biết được tình trạng sức khỏe của từng máy ảo Tăng tốc độtroubleshoot nhờ vào việc so sánh giữa các máy ảo với nhau

Chủ động trong việc quản lý hành vi mờ ám của user, các cuộc tấn công tiềmnăng bằng những báo cáo an ninh

Nắm bắt được thông tin CPU, bộ nhớ, ổ đĩa và dung lượng disk sử dụngtrong thời gian thực Chủ động cảnh báo khi thiếu hụt dung lượng xảy ra Lấy lạikhông gian lưu trữ không sử dụng để cho người dùng có trải nghiệm tối ưu Sửdụng xu hướng theo thời gian và tối ưu hóa dựa trên tiêu thụ Dự báo thông tinCPU, bộ nhớ, nhu cầu ổ cứng cần thiết và hiệu năng của từng máy chủ, máy ảoVMs thông qua lịch sử sử dụng tài nguyên của máy ảo

Với Citrix XenServer và Microsoft Hyper-V

Cung cấp góc nhìn theo thời gian thực về các yếu tố như hiệu năng, chỉ sốtiêu thụ tài nguyên, cấu trúc liên kết trên nền tảng máy chủ ảo hóa bằng cách sửdụng một khuôn khổ báo cáo chung Nó bao gồm một chuỗi các biểu đồ liên quanđến hoạt động IT, giám sát hoạt động, lên kế hoạch khả năng chịu tải, và thay đổitheo dõi

Dashboard Out-of-the-box cho 1 cái nhìn cụ thể trong thời gian thực về tình

Đào sâu vào lưu đồ để cho cái nhìn chuyên sâu về hiệu năng, log, thay đổi

về cấu hình, các cảnh báo và hơn nữa

Truy cập vào lịch sử dữ liệu cho việc phân tích và xử lý sự cố

Cấu hình cảnh báo dựa trên kịch bản có sẵn cho các vấn đề thường gặp như

bộ nhớ, CPU, dung lượng ổ đĩa thấp

Giám sát và theo dõi tài nguyên mà máy ảo tiêu thụ để hỗ trợ cho việc lên kếhoạch về khả năng hoạt động của máy ảo

Cho góc nhìn 360 độ về khả năng hiển thị máy ảo với dữ liệu từ tầng côngnghệ khác giúp giải quyết và xử lý xự cố nhanh hơn

2.2.3 An ninh trong lĩnh vực IT

Mối đe dọa an ninh ngày một tăng

Hiện tại các phần mềm malware đã trở nên “tàng hình”, và thường trônggiống như một dịch hay 1 ứng dụng bình thường nào đó Nó được xây dựng để lâylan trên toàn bộ hệ thống Kẻ tấn công có thể tùy ý nghiên cứu chỉnh sửa hệ thốngcủa ta, nếu bị phát hiện, kẻ tấn công có thể kích hoạt malware khác để tiếp tục thuthập dữ liệu Splunk có thể thu thập và index bất kì dữ liệu nào mà không quan tâmđến định dạng hoặc kích cỡ và thực hiện tìm kiếm tự động trên hàng petabyte dữliệu Splunk có một ngôn ngữ lệnh phân tích mạnh mẽ, thông minh, giúp các nhàphân tích đặt ra những câu hỏi về bảo mật dựa trên dữ liệu Cách tiếp cận đặc biệtnày giúp ta chủ động trong việc tìm các mối đe dọa bằng cách kiểm tra hoạt độngcủa dữ liệu trong môi trường hoạt động bình thường

Quản lý log

Phần mềm Splunk giúp khách hàng cải thiện vấn đề phân tích dữ liệu log đểquản lý việc kinh doanh của họ tốt hơn Splunk tự động index dữ liệu, bất kể cócấu trúc hay không cấu trúc, cho phép ta nhanh chóng tìm kiếm, báo cáo, và chẩnđoán các hoạt động và các vấn đề an ninh một cách ít tốn kém hơn Với Spunk-việc quản lý log sẽ dễ hơn bao giờ hết

Ứng dụng Splunk dành cho an ninh

Với ứng dụng an ninh của Splunk ta có thể sử dụng số liệu thống kê trên bất

kỳ dữ liệu nào để tìm kiếm các mối đe dọa tiềm ẩn, trong khi vẫn có thể giám sátliên tục các mối đe dọa đã bị phát hiện bởi những sản phẩm an ninh truyền thống

Ứng dụng an ninh Splunk chạy ở phía trên Splunk Enterprise và cung cấpcông cụ để giám sát, cảnh báo và phân tích cần thiết để xác định và giải quyết các

mối đe dọa đã biết và chưa biết Nó phù hợp với đội ngũ an ninh nhỏ hoặc mộttrung tâm hoạt động bảo mật

Bảng điều khiển an ninh cung cấp một cách xem hoàn toàn tùy biến với các

từ khóa bảo mật quan trọng trong lĩnh vực an ninh domain Ứng dụng an ninhSplunk chứa 1 thư viện dựng sẵn các số liệu an ninh để hỗ trợ người dùng nhậndiện được các tình huống và giám sát liên tục các nguy cơ bảo mật trên domain Vàtất cả thông tin đó đều được thể hiện rõ trên bảng điều khiển Dashboard

Tính năng xem xét lại các sự kiện đã xảy ra

Cung cấp chi tiết quy trình công việc phân tích cần thiết để các ưu tiên của

vụ việc, bối cảnh của sự cố, loại của nó và các máy chủ có liên quan Chỉ một clickchuột là ta có thể thấy được các dữ liệu thô mà ứng dụng an ninh splunk lưu trữ.Tính năng bảo vệ tài sản và điều tra nhận dạng mối nguy hiểm cung cấp cho nhàphân tích an ninh khả năng xem xét các mối đe dọa dựa trên một loạt các sự kiện

an ninh Đơn giản chỉ cần chọn một khung thời gian sự kiện hoặc nhiều sự kiện đạidiện cho những hoạt động đáng ngờ và Splunk sẽ tự động hiển thị một bản tóm tắt

mô hình an ninh Với 1 cú click chuột, ta có thể xem tất cả các dữ liệu thô được đặt

ra theo thứ tự thời gian, đưa ra 1 cái nhìn trực tiếp cho đồng nghiệp hoặc tạo ra mộttìm kiếm mới để xem các sự kiện đã xuất hiện này có tiếp tục xuất hiện hay không

đe dọa tới dữ liệu nhằm tăng thêm tính bảo mật cho hệ thống Splunk cho phép tathêm mã nguồn mở của riêng mình và nguồn cung cấp dữ liệu thanh toán chỉ vớivài click chuột mà không cần một cam kết dịch vụ Splunk còn công tác với trungtâm bảo mật Norse Security, một trung tâm bảo mật uy tín toàn cầu

2.3 Các thành phần của splunk

2.3.1 Thành phần thu thập log

Đối với bộ công cụ splunk thì thành phần thu thập log được chia làm ba loạilà: universal forwarder, heavy forwarder, light forwarder

Nó là phiên bản chuyên dụng của splunk mà chỉ chứa các thành phần thiếtyếu để chuyển dữ liệu từ máy trạm đến máy server Đây là phiên bản khá gọn nhẹ

để tích hợp trên các nguồn sinh log chính vì thế mà nó không bao gồm các tínhnăng như lập chỉ mục cho dữ liệu và tìm kiếm dữ liệu Đó cũng chính là điểm khácbiệt lớn nhất của Universal forwarder với các phiên bản đầy đủ của Splunk riêngbiệt Hai loại còn lại là heavy và light forwarder: đều là các phiên bản đầy đủ củasplunk nhưng bị vô hiệu hóa một số tính năng

Light forwarder

Bị vô hiệu hóa hầu hết các tính năng do đó có kích thước nhỏ, chúng chỉchuyển các dữ liệu không được phân tích Từ phiên bản 4.2 công cụ này được thaythế bởi universal forwarder

Những loại dữ liệu được chuyển đó là dữ liệu thô, dữ liệu chưa được phântích và dữ liệu đã được phân tích Mỗi công cụ chuyển tiếp dữ liệu cho phépchuyển các loại dữ liệu khác nhau Với universal và light forwarder làm việc với

dữ liệu thô và dữ liệu chưa được phân tích Còn heavy forwarder làm việc với dữliệu thô hoặc dữ liệu đã được phân tích

Với dữ liệu thô thì luồng dữ liệu được chuyển tiếp như dữ liệu TCP đơnthuần Dữ liệu không được chuyển đổi sang định dạng của splunk Thiết bị chuyểntiếp chỉ lựa chọn dữ liệu và đẩy chúng đi Với việc chuyển dữ liệu như thế này hữuích cho việc chuyển dữ liệu sang hệ thống không phải là splunk

Với dữ liệu không được phân tích thì universal forwarder thực hiện các tiếntrình tối thiểu Mặc dù dữ liệu không được phân tích nhưng nó vẫn được định dạngcác thẻ để xác định nguồn, loại nguồn, host Nó cũng chia các luồng dữ liệu thànhcác block có kích thước 64K Thực hiện việc gắn nhãn thời gian lên luồng dữ liệu

để bộ phận tiếp nhận có thể phân biệt được dữ liệu khi mà nó không có một mốc

thời gian cụ thể Universal forwarder không xác định, kiểm tra, và gán thẻ lên các

sự kiện cá nhân

Đối với dữ liệu đã được phân tích công cụ heavy forwarder chuyển đổi dữliệu thành các dạng dữ liệu riêng biệt Nó sẽ gán thẻ và chuyển dữ liệu đến splunkindexer Nó cũng có thể kiểm tra các sự kiện Bởi vì dữ liệu đã được phân tích, sau

đó bộ phận forwarder có thể thực hiện việc định tuyến dữ liệu dựa trên sự kiện dữliệu, chẳng hạn như giá trị của các trường

Mô hình chuyển tiếp log cũng được chia thành nhiều loại như dữ liệu tậptrung, cân bằng tải…

Mô hình chuyển tiếp dữ liệu tập trung

Là một trong những mô hình phổ biến với nhiều thiết bị forwarder từ cácnguồn khác nhau gửi đến một splunk server Mô hình này thường là các universalforwarder chuyển tiếp dữ liệu chưa phân tích từ máy trạm hoặc các thiết bị khôngphải là splunk server tới máy chủ splunk trung tâm để tổng hợp và đánh chỉ mụccho dữ liệu

Hình 2-15: Mô hình thu thập log tập trung

Mô hình dữ liệu tập trung chỉ phù hợp với một hệ thống nhỏ còn đối với một

hệ thống máy chủ lớn với lượng log gửi về nhiều khả năng chịu tải của máy chủ sẽphải rất lớn do đó người ta nghĩ đến giải pháp cân bằng tải để tăng khả năng lưutrữ, cũng như giảm rủi ro và nâng cao hiệu năng tìm kiếm

Mô hình cân bằng tải

Công cụ chuyển tiếp sẽ định tuyến dữ liệu tuần tự đến các máy indexer theo

Hình 2-16: Mô hình thu thập log cân bằng tải

Mô hình định tuyến và lọc dữ liệu thì công cụ chuyển tiếp sẽ định tuyến dữliệu đến một hệ thống splunk riêng hoặc một hệ thống thứ ba dựa trên thông tin vềnguồn, loại nguồn hoặc các mẫu có sẵn trong bản thân các sự kiện Tất nhiên hệthống này yêu cầu bộ công cụ heavy forwarder do cần phải phân tích dữ liệu để lấythông tin Ta có thể lọc dữ liệu gửi đi theo yêu cầu ví dụ như chỉ gửi đi những logchứa xâu kí tự error

2.3.2 Thành phần xử lý dữ liệu đầu vào

Những loại dữ liệu được đưa vào splunk bao gồm: các sự kiện của mạng,nguồn dữ liệu từ hệ điều hành windows, các nguồn khác

Nhiều nguồn dữ liệu có thể được lấy từ các file và các thư mục vì vậy ta cóthể sử dụng chức năng giám sát các file hoặc thư mục để lấy dữ liệu mà ta quantâm

Các sự kiện của mạng

Splunk có thể đánh chỉ mục dữ liệu từ bất kì cổng mạng nào Ví dụ, Splunk

có thể đánh chỉ mục cho dữ liệu từ syslog-nd hoặc bất kì ứng dụng khác có chứcnăng chuyển dữ liệu theo định dạng TCP Nó cũng có thể đánh chỉ mục cho dữ liệu

ở dạng UDP nhưng ta nên sử dụng TCP để nâng cao độ tin cậy của dữ liệu

Nó cũng có thể nhận và xử lý các sự kiện SNMP, các cảnh báo được đưa ra

từ các thiết bị từ xa

Nguồn dữ liệu từ windows

Các phiên bản splunk cho windows định nghĩa một loạt các input (đầu vào)riêng biệt cho windows Nó cũng cung cấp việc đánh số trang trong hệ thống

windows như: Dữ liệu Windows event log, dữ liệu Windows Registry, dữ liệuWMI, dữ liệu Active Directory, dữ liệu từ các tiện ích được thiết lập giám sát.

Nguồn dữ liệu khác

Splunk cũng hỗ trợ các loại nguồn dữ liệu như: Hàng đợi First-in, First-out,đầu vào từ các script: lấy dữ liệu từ các API và các giao diện từ các dữ liệu từ xakhác, các tin nhắn hàng đợi, module đầu vào: xác định khả năng đầu vào để mởrộng các khung Splunk

Ngoài những dữ liệu được đưa vào từ các công cụ forwarder người dùng cóthể cấu hình để thêm dữ liệu mà ta mong muốn

Sau khi đã nhận được dữ liệu Splunk tiến hành xử lí các sự kiện đượcchuyển vào Các sự kiện là các bản ghi của hành động được lưu trữ lại trong tập tinnhật ký, lưu trữ trong các index Các sự kiện cung cấp thông tin về các hệ thống,tạo ra các file nhật ký Dưới đây là một sự kiện của hành động đăng xuất được ghilại:

172.26.34.223 - - [01/Jul/2005:12:05:27 -0700] "GET /trade/app? action=logout HTTP/1.1" 200 2953

Quá trình xử lí các sự kiện bao gồm

- Định dạng bộ kí tự cho dữ liệu đầu vào để phù hợp với định dạng màSplunk có thể xử lý

- Quá trình phân mảnh các sự kiện

- Gán nhãn thời gian cho các sự kiện

- Trích xuất dữ liệu để tạo các trường đánh chỉ mục

Định dạng bộ kí tự

Người quản trị có thể cấu hình ngôn ngữ cho nguồn dữ liệu Splunk cungcấp một bộ kí tự để hỗ trợ cho việc chuẩn hóa quốc tế cho việc phát triển Splunk

Nó hỗ trợ nhiều ngôn ngữ bao gồm cả những định dạng không thuộc chuẩn UTF8

Theo mặc định Splunk áp dụng bộ kí tự UTF-8 cho các nguồn Nếu mộtnguồn dữ liệu không thuộc định dạng UTF-8 hoặc không phải tệp tin ASCII thìSplunk sẽ cố gắng chuyển đổi sang định dạng UTF-8 nếu không ta phải định nghĩaviệc thiết lập kí tự bằng cách đặt từ khóa CHARSET trong file props.conf

Các kí tự đã được hỗ trợ trong splunk bao gồm:

- UTF-8

- UTF-16LE