Nghiệp vụ thông minh cho bài toán quản trị công nghệ thông tin

Mặc dù hoạt động ITGov áp dụng thành công trong nhiều lĩnh vực song việc tận dụng được các công cụ BI để thực hiện các chức năng quản trị như lưu trữ dữ liệu, xử lý dữ liệu và chuyển đổi

NGHIỆP VỤ THÔNG MINH CHO BÀI TOÁN QUẢN TRỊ

CÔNG NGHỆ THÔNG TIN

LUẬN VĂN THẠC SĨ KHOA HỌC CÔNG NGHỆ THÔNG TIN

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI

-Nguyễn Thúy Quỳnh

NGHIỆP VỤ THÔNG MINH CHO BÀI TOÁN QUẢN TRỊ

CÔNG NGHỆ THÔNG TIN

Chuyên ngành: Công nghệ thông tin

LUẬN VĂN THẠC SỸ KHOA HỌC CÔNG NGHỆ THÔNG TIN

TS Vũ Thị Hương Giang

LỜI CAM ĐOAN Tôi là Nguyễn Thúy Quỳnh, học viên lớp CH 2009, trường Đại học

Bách Khoa Hà Nội xin cam kết Luận văn này là công trình nghiên cứu của bản thân dưới sự hướng dẫn khoa học của TS Vũ Thị Hương Giang, Viện Công nghệ thông tin và Truyền thông, Trường Đại học Bách Khoa, Hà Nội

Các kết quả trong Luận văn là trung thực và không sao chép từ bất kỳ công trình nào khác

Hà Nội, ngày 15 tháng 3 năm 2012

Học viên: Nguyễn Thúy Quỳnh Lớp : CH 2009

LỜI CẢM ƠN

Tôi xin bày tỏ lòng biết ơn sâu sắc tới TS Vũ Thị Hương Giang, Viện Công nghệ thông tin và Truyền thông, Trường Đại học Bách Khoa, Hà Nội đã động viên và tận tình hướng dẫn tôi trong suốt quá trình thực hiện luận văn Những ý kiến quý báu của TS đã đã định hướng và góp phần lớn tạo nên kết quả của đề tài

Xin trân trọng cảm ơn tập thể các thầy, cô giáo trường Đại học Bách khoa Hà Nội nói chung và Viện Công nghệ thông tin và Truyền thông nói riêng đã tận tình giảng dạy, truyền đạt cho tôi những kiến thức trong suốt những năm học qua

Cuối cùng, tôi xin chân thành cảm ơn bạn bè, người thân và gia đình đã hết lòng giúp đỡ, hỗ trợ về vật chất lẫn tinh thần giúp tôi yên tâm làm việc và nghiên cứu trong suốt quá trình học tập và thực hiện luận văn

MỤC LỤC

LỜI CAM ĐOAN i

LỜI CẢM ƠN ii

LỜI CẢM ƠN ii

MỤC LỤC iii

DANH MỤC TỪ VIẾT TẮT v

DANH MỤC BẢNG vi

DANH MỤC HÌNH vii

DANH MỤC HÌNH vii

MỞ ĐẦU 1

Chương 1 - TỔNG QUAN 3

1.1 Quản trị công nghệ thông tin 3

1.1.1 Khái niệm 3

1.1.2 Các công cụ quản trị công nghệ thông tin trong doanh nghiệp 4

1.1.2.1 ISO/IEC 38500:2008 4

1.1.2.2 COBIT 8

Kết luận 10

1.2 Trí tuệ nghiệp vụ (Business Intelligence - BI) 11

1.2.1 Khái niệm 11

1.2.2 Các thành phần của một hệ thống BI 12

1.2.2.1 Kho dữ liệu (Data warehouse) 14

1.2.2.2 OLAP (Online Analysis Processing) 22

1.3 Ứng dụng BI vào bài toán ITGov 29

1.4 Ứng dụng BI vào bài toán ITGov trong lĩnh vực quản lý thông tin chất lượng môi trường 31

Chương 2 – BÀI TOÁN QUẢN TRỊ HỆ THỐNG THÔNG TIN CHẤT LƯỢNG MÔI TRƯỜNG 33

2.1 Hiện trạng thu thập và xử lý thông tin chất lượng môi trường 33

2.2 Hiện trạng sử dụng công nghệ thông tin hỗ trợ thu thập, xử lý số liệu 35

2.2 Đề xuất mô hình ứng dụng BI trong bài toán quản trị hệ thống thông tin chất lượng môi trường 38

2.2.1 Cách tiếp cận 39

2.2.2 Mô hình ứng dụng BI vào hệ thống thông tin chất lượng môi trường 40

Chương 3 – ĐỀ XUẤT MÔ HÌNH LƯU TRỮ VÀ PHÂN TÍCH DỮ LIỆU VỀ

CHẤT LƯỢNG MÔI TRƯỜNG 45

3.1 Mô hình dữ liệu 45

3.2 Kiến trúc lưu trữ và khai thác dữ liệu 48

3.3 Kiến trúc phân tích dữ liệu 49

3.4 Kiến trúc hỗ trợ ra quyết định 51

3.4.1 Công thức tính toán chỉ số chất lượng không khí (AQI) [12] 52

3.4.1.1 Giới thiệu chung: 52

3.4.1.2 Các bước tính 52

3.4.1.3 Thang đo các ngưỡng cảnh báo 54

3.4.2 Công thức tính toán chỉ số chất lượng nước (WQI) [13] 55

3.42.1 Giới thiệu chung: 55

3.4.2.2 Các bước tính 55

3.4.2.3 Thang đo các ngưỡng cảnh báo 58

3.4.3 Các yêu cầu đối với việc giám sát số liệu quan trắc thời gian thực tại các trạm tự động 59

Chương 4 – XÂY DỰNG PHẦN MỀM MINH HỌA NGHIỆP VỤ THÔNG MINH TRONG QUẢN TRỊ HỆ THỐNG THÔNG TIN CHẤT LƯỢNG MÔI TRƯỜNG 60

4.1 Giải pháp kỹ thuật 60

4.2 Tổ chức lưu trữ dữ liệu 61

4.3 Xây dựng phần mềm 80

4.3.1 Mô hình phần mềm ứng dụng 80

4.3.2 Các yêu cầu về tính năng và giao diện của phần mềm ứng dụng 81

4.3.3 Giải pháp về mặt công nghệ 81

4.3.4 Mô hình chức năng của phần mềm ứng dụng 81

4.4 Triển khai thử nghiệm 82

4.4.1 Yêu cầu và cấu hình máy cài đặt 82

4.4.2 Giới thiệu chức năng hệ thống 83

4.4.3 Đánh giá chung về kết quả thu được 86

KẾT LUẬN VÀ KIẾN NGHỊ 89

TÀI LIỆU THAM KHẢO 91

DANH MỤC BẢNG

Bảng 1.1: Bảng so sánh các mô hình lưu trữ dữ liệu trong OLAP 29

Bảng 3.1: Thang đo các ngưỡng cảnh báo của chỉ số AQI 54

Bảng 3.2 Bảng quy định các giá trị qi, BPi 56

Bảng 3.3: Bảng quy định các giá trị BPi và qi đối với DO% bão hòa 57

Bảng 3.4: Bảng quy định các giá trị BPi và qi đối với thông số pH 57

Bảng 3.5 : Thang đo ngưỡng cảnh báo chỉ số chất lượng nước WQI 58

Bảng 4.1 Bảng chiều điểm quan trắc WH_DIEMQUANTRAC_DIM trong cube quan trắc tự động 63

Bảng 4.2 Bảng chiều giờ phút giây WH_GIOPHUTGIAY_DIM trong cube quan trắc tự động 64

Bảng 4.3 Bảng chiều ngày WH_NGAY_DIM trong cube quan trắc tự động 65

Bảng 4.5 Bảng chiều thành phần môi trường WH_TPMT_DIM trong cube quan trắc tự động 67

Bảng 4.6 Bảng chiều trạm quan trắc WH_TRAMQUANTRAC_DIM trong cube quan trắc tự động 68

Bảng 4.7 Bảng sự kiện WH_SOLIEUTUDONG_FACT trong cube quan trắc tự động 68

Bảng 4.8 Bảng chiều điêm quan trắc WH_DIEMQUANTRAC_DIM trong cube quan trắc thu mẫu 71

Bảng 4.9 Bảng chiều đợt quan trắc WH_DOTQUANTRAC_DIM trong cube quan trắc thu mẫu 72

Bảng 4.10 Bảng chiều giờ phút giây WH_GIOPHUTGIAY_DIM trong cube quan trắc thu mẫu 73

Bảng 4.11 Bảng chiều ngày WH_NGAY_DIM trong cube quan trắc thu mẫu 73

Bảng 4.13 Bảng chiều thông số quan trắc WH_THONGSO_DIM trong cube quan trắc thu mẫu 76

Bảng 4.14 Bảng chiều thu mẫu WH_THUMAU_DIM trong cube quan trắc thu mẫu 77

Bảng 4.15 Bảng chiều thu mẫu WH_TPMT_DIM trong cube quan trắc thu mẫu 77

Bảng 4.16 Bảng chiều trạm quan trắc WH_TRAMQUANTRAC_DIM trong cube quan trắc thu mẫu 78

Bảng 4.17 Bảng sự kiện số liệu thu mẫu WH_SOLIEUTHUMAU_FACT trong cube quan trắc thu mẫu 78

DANH MỤC HÌNH

Hình 1.1: Mô hình quản trị cộng tác về IT 6

Hình 1.4: Các quy trình chuyển hoá dữ liệu thành thông tin dựa trên các thành phần của một hệ thống BI 13

Hình 1.7: Lược đồ hình sao của kho dữ liệu 16

Hình 1.8: Lược đồ hình bông tuyết của kho dữ liệu 17

Hình 1.5: Kiến trúc kho dữ liệu 18

Hình 1.6: Kiến trúc tiến trình ETL 20

Hình 1.9: Khối dữ liệu – đối tượng của hệ thống OLAP 23

Hình 1.10: Mô hình dữ liệu MOLAP 26

Hình 1.11: Mô hình dữ liệu ROLAP 27

Hình 1.12: Mô hình dữ liệu HOLAP 28

Hình 2.1: Mô hình truyền số liệu từ các trạm quan trắc tự động, cố định về CSDL Quan trắc 36

Hình 2.2: Mô hình Ứng dụng dịch vụ web (web service) 3 lớp 37

Hình 2.3: Các thành phần của một hệ thống BI trong bài toán quản trị Hệ thống thông tin chất lượng môi trường 39

Hình 2.4: Kiến trúc BI thông thường đối với dữ liệu có cấu trúc 41

Hình 3.5: Quy trình xử lý thông tin trong hệ thống ứng dụng BI vào bài toán thông tin chất lượng môi trường 42

Hình 3.1: Kiến trúc kho dữ liệu 45

Hình 3.2: Lược dữ liệu quan trắc thu mẫu trong kho dữ liệu 47

Hình 3.3: Lược dữ liệu quan trắc tự động trong kho dữ liệu 47

Hình 3.4: Kiến trúc lưu trữ và khai thác dữ liệu 48

Hình 3.5: Mô hình Data Warehouse và OLAP tại Trung tâm dữ liệu 50

Hình 3.4: Kiến trúc hỗ trợ ra quyết định 51

Hình 4.2: Giải pháp kỹ thuật xây dựng kho dữ liệu và các ứng dụng OLAP 60

Hình 4.3: Lược đồ hình sao lưu trữ số liệu quan trắc tự động (Automatic data) trong kho dữ liệu 62

Hình 4.4: Lược đồ hình sao lưu trữ số liệu quan trắc thu mẫu (Manual data) trong kho dữ liệu 70

Hình 4.5: Mô hình ứng dụng 3 lớp 80

Hình 4.6: Mô hình chức năng của phần mềm ứng dụng 81

Hình 4.7: Chức năng tính toán và hiển thị số chất lượng không khí & cảnh báo tới người dùng 84

Hình 4.8: Chức năng thông kê số liệu & tiện ích download dữ liệu theo ngày 85

Hình 4.9: Chức năng giám sát kết quả quan trắc trên biểu đồ, số dữ liệu giám sát theo ngày và theo nhóm thông số 86

MỞ ĐẦU

Quản trị công nghệ thông tin (Information Technology Governance - ITGov) là trách nhiệm của ban giám đốc và các nhà quản lý điều hành Nó bao gồm sự quản lý, cấu trúc tổ chức và quy trình để đảm bảo rằng một hệ thống công nghệ thông tin của tổ chức đó cũng như các chiến lược và mục tiêu của nó được duy trì

Nghiệp vụ thông minh hay trí tuệ nghiệp vụ (Bussiness Intelligence - BI) là quá trình tập hợp những thông tin hữu ích để trả lời các câu hỏi và xác định xu hướng phát triển hoặc mô hình mẫu nhằm hỗ trợ các bên liên quan trong việc đưa ra các quyết định Có thể nói điểm mấu chốt của BI là việc giúp đỡ ra quyết định theo các chiến lược kinh doanh đã định sẵn

Mặc dù hoạt động ITGov áp dụng thành công trong nhiều lĩnh vực song việc tận dụng được các công cụ BI để thực hiện các chức năng quản trị như lưu trữ dữ liệu, xử lý dữ liệu và chuyển đổi chúng một cách hiệu quả trong việc thông tin, báo cáo và hỗ trợ ra những quyết định mang tính định hướng vẫn chưa thực sự hiệu quả và bài bản Do đó, việc kết hợp các công cụ BI và việc ITGov đang là bài toán cấp thiết được đặt ra

Như vậy, việc xây dựng mô hình ứng dụng các kỹ thuật BI trong bài toán ITGov là cần thiết và có ý nghĩa thực tiễn Đó chính là lý do tác giả chọn

đề tài “Nghiệp vụ thông minh trong bài toán quản trị công nghệ thông tin” với mục tiêu:

1) Tìm hiểu mối liên quan và đề xuất ứng dụng BI vào bài toán ITGov; 2) Ứng dụng mô hình BI trong bài toán quản trị Hệ thống thông tin chất lượng môi trường

Để đạt được mục tiêu đề ra, trên cơ sở tổng hợp các kiến thức liên quan đến lĩnh vực ITGov và BI, luận văn sẽ tập trung đề xuất mô hình ứng dụng

các kỹ thuật BI hỗ trợ quyết định vào bài toán ITGov trong lĩnh vực thông tin báo cáo chất lượng môi trường

Luận văn gồm 4 chương :

Chương I : Tổng quan về quản trị công nghệ thông tin, các chuẩn và công cụ hỗ trợ

Chương II : Bài toán quản trị hệ thống thông tin chất lượng môi trường;

Chương III : Đề xuất mô hình lưu trữ và phân tích dữ liệu về chất lượng môi trường;

Chương IV: Xây dựng phần mềm ứng dụng Bi trong quản trị hệ thống thông tin chất lượng môi trường;

Các kết quả nghiên cứu, một số hạn chế và định hướng phát triển được trình bầy trong phần cuối luận văn

Chương 1 - TỔNG QUAN Chương này trình bày tóm tắt những nghiên cứu về các khái niệm liên

quan tới quản trị công nghệ thông tin (Information Technology Governance – ITGov), các chuẩn, các công cụ hỗ trợ ITGov trong doanh nghiệp Đồng thời, chương này cũng đề cập đến khái niệm nghiệp vụ thông minh (Bussiness Intelligence – BI), các thành phần chính và quy trình hỗ trợ việc ra quyết định Cuối chương là những đánh giá về tính khả thi, tính hữu dụng khi ứng dụng

Từ góc nhìn của nhà quản lý, “ITGov là là sự chịu trách nhiệm của ban

lãnh đạo và người quản lý điều hành Nó được xem là thành phần không thể thiếu của quản trị cộng tác trong một tổ chức bao gồm ban lãnh đạo, cơ cấu

tổ chức và quy trình nghiệp vụ nhằm đảm bảo hệ thống CNTT của tổ chức sẽ duy trì và mở rộng chiến lược và mục tiêu của cả tổ chức đó” [2]

Từ góc nhìn kỹ thuật, “ITGov là cách thức tổ chức và quy trình điều

hành và giám sát doanh nghiệp nhằm đạt được mục tiêu của doanh nghiệp đó thông qua việc gia tăng các giá trị trong khi cân bằng với các rủi ro thông qua CNTT và quy trình xử lý của nó” [2]

Có nhiều cách tiếp cận khác nhau, song trong phạm vi nghiên cứu này, luận văn đề cập tới khái niệm ITGov được Viện Quản trị Công nghệ thông tin (Information Technology Govemance Instistude – ITGI) Hoa Kỳ đề xuất:

“Quản trị CNTT là trách nhiệm của ban giám đốc và các nhà quản lý điều hành Nó bao gồm sự quản lý, cấu trúc tổ chức và quy trình để đảm bảo rằng một hệ thống CNTT của tổ chức đó cũng như các chiến lược và mục tiêu của nó được duy trì” [1]

1.1.2 Các công cụ quản trị công nghệ thông tin trong doanh nghiệp

Trên thế giới có nhiều chuẩn và công cụ hỗ trợ ITGov như ITIL[12], ToGAF[12], eTOM[12], MOF[12], COBIT[12], ISO/IEC 38500:2008[3] Trong phạm vi nghiên cứu, luận văn sẽ phân tích kỹ hai công cụ là chuẩn ISO/IEC 38500:2008 và COBIT

Trong khi ISO/IEC 38500:2008 hướng dẫn thực hiện ITGov trong doanh nghiệp theo ISO thì COBIT đưa ra những thành phần, những quy trình

và đối tượng cần kiểm soát để ứng dụng trong hoạt động ITGov sao cho hiệu quả trong thực tiễn

1.1.2.1 ISO/IEC 38500:2008

ISO/ IEC 38500:2008[3] được xây dựng bởi Tổ chức tiêu chuẩn Úc (dưới tên AS:8015:2005) và được Tổ chức chuẩn quốc tế ISO chuẩn hóa và chính thức thông qua năm 2008 Chuẩn ISO/IEC 38500 cung cấp một khung hiệu quả để ITGov với mục đích đạt được hiệu quả và sự đồng thuận trong việc sử dụng IT của mọi thành viên trong mỗi đơn vị bất kể loại hình hay quy

mô tổ chức của đơn vị đó

ISO/ IEC 38500:2008 đảm bảo sự chủ động trong các hoạt động quản trị công nghệ thông tin của các đối tượng liên quan trong tổ chức, thông tin và hướng dẫn ban giám đốc trong việc quản trị và cung cấp mục tiêu cơ bản để

đánh giá và cộng tác về ITGov thông qua sáu nguyên lý và một mô hình ứng dụng quản trị cộng tác về IT

1 Sáu nguyên lý quản trị cộng tác về công nghệ thông tin

Mục tiêu của các nguyên lý này là hướng dẫn tổ chức và hỗ trợ ra quyết định nói chung trong một đơn vị, một tổ chức Tuy không quy định rõ cách thức hoặc thời điểm triển khai các nguyên lý này, song để đạt được hiệu quả

sử dụng IT, hỗ trợ tốt việc đạt được các mục tiêu của doanh nghiệp, ISO/ IEC 38500:2008 khuyến cáo các nhà quản lý điều hành nên đảm bảo rằng các nguyên lý sau được áp dụng

Nguyên lý 1 - Tính chịu trách nhiệm (Responsibility): Các cá nhân

hoặc nhóm làm việc phải hiểu và chấp nhận trách nhiệm của họ trên cả 2 khía cạnh nhu cầu và đáp ứng về IT Song song với trách nhiệm thực thi các hoạt động, họ cũng có quyền thực hiện các hoạt động đó

Nguyên lý 2 - Chiến lược (Strategy): Chiến lược phát triển tổ chức tạo

ra khả năng phát triển IT trong hiện tại và tương lai; chiến lược phát triển IT bền vững trong hiện tại và và các nhu cầu về nghiệp vụ còn tiếp diễn trong tương lai của tổ chức

Nguyên lý 3 - Tích lũy (Acquisition): Sự tích lũy về IT được tạo ra bởi

các lý do hợp lý, trên cơ sở các phân tích liên tục và phù hợp với việc ra các quyết định tường minh và sáng suốt Điều này tạo sự cân bằng thích đáng giữa lợi nhận, cơ hội, chi phí, rủi ro trong ngắn và dài hạn

Nguyên lý 4 - Hiệu năng (Performance): IT thích hợp với mục đích hỗ

trợ tổ chức, cung cấp các dịch vụ, các mức dộ và chất lượng dịch vụ cần đáp ứng nhu cầu nghiệp vụ hiện tại và tương lai

Nguyên lý 5 - Tính hợp lệ (Conformance): IT tuân theo mọi nguyên

tắc và quy định bắt buộc Các luật và thông lệ phải được định nghĩa rõ ràng, đưa vào triển khai và phải được tuân thủ

Nguyên lý 6 - Hành vi con người (Human behaviour): Các luật,

thông lệ và các quyết định minh chứng cho sự tôn trọng các hành vi trong tổ chức, bao gồm yêu cầu liên quan và yêu cầu hiện tại trong mọi quy trình thực hiện bởi các thành viên trong tổ chức

sự hỗ trợ của IT nhằm đảm bảo các kết quả đạt được không đi ngược lại với các kế hoạch đã đặt ra Theo đó, các đề xuất hỗ trợ nghiệp vụ liên quan tới các

dự án công nghệ thông tin và truyền thông (ICT) hoặc các hoạt động về ICT

sẽ được đánh giá chi tiết Trên cơ sở những đánh giá này, ban giám đốc sẽ đưa ra những quyết sách phù hợp đối với các đề xuất Đôi khi những quyết định này có thể dẫn tới các điều chỉnh về chính sách hoặc kế hoạch của cả tổ chức Các dự án ICT hoặc các hoạt động về ICT sau khi được thông qua sẽ được giám sát hiệu năng và tính phù hợp của chúng với tiến trình thực hiện mục tiêu đã đặt ra

Quá trình giám sát, đánh giá và định hướng được lặp lại nhiều lần nhằm giảm thiểu các rủi ro, chi phí thực hiện và tăng tính thực thi của các dự án, các quy trình ứng dụng ICT Ngoài ra, ISO/ IEC 38500:2008 cũng đưa ra các tiêu chí cụ thể, hướng dẫn thực hiện 3 tác vụ đánh giá, định hướng và giám sát như sau:

Đánh giá: Các tiêu chí đánh giá gồm có: việc thông qua dự án có phù

hợp với việc sử dụng IT hiện tại và tương lai, bao gồm các chiến lược, đề xuất

và sắp xếp các khoản chi phí; mức độ ảnh hưởng các yếu tố ngoại vi như công nghệ thay đổi, xu hướng phát triển kinh tế xã hội… tới dự án; việc triển khai

dự án có nằm trong trọng tầm phát triển của tổ chức đề duy trì lợi thế cạnh tranh vốn có

Định hướng: Trên cơ sở những đánh giá, việc định hướng bao gồm lên

kế hoạch đưa dự án mới vào hoạt động; chuyển đổi trạng thái đề xuất sang trạng thái hoạt động; lường trước tác động của nó tới những hoạt động thực tế cũng như tới hạ tầng IT; giải quyết các xung đột hoặc khó khăn phát sinh, thay đổi lại các quy định, chiến lược nếu có…

Giám sát: Việc giám sát thực hiện dựa trên tiêu chí hợp lệ và hiệu năng

của dự án, đảm bảo rằng việc thực thi dự án phù hợp với các kế hoạch và bám sát với các mục tiêu nghiệp vụ; chúng thích hợp với các bổn phận (như các quy định, luật lệ…) của tổ chức

1.1.2.2 COBIT

Được xây dựng bởi Hiệp hội điều khiển và kiểm toán hệ thống thông tin (Information Systems Audit and Control Association – ISACA), COBIT[12] được phát triển như một chuẩn ứng dụng nói chung và phục vụ tối đa các công cụ CNTT trong lĩnh vực bảo mật và kiểm soát thông tin Từ năm 1996 tới nay, COBIT đã được nâng cấp qua 4 phiên bản song đều dựa trên một nguyên tắc, đó là tận dụng tối đa các quy trình và tài nguyên IT nhằm hỗ trợ được quá trình ITGov và các mục tiêu nghiệp vụ trong thực tiễn Mối quan hệ giữa các khía cạnh của ITGov như các quy trình xử lý, tài nguyên IT (như các ứng dụng, thông tin, hạ tầng IT, nhân lực) và các yêu cầu nghiệp vụ được mô tả trong hình 1.2 [13]:

Hình 1.2 – Mối quan hệ giữa ITGov và các yêu cầu nghiệp vụ

Để đạt được các yêu cầu nghiệp vụ như tính hiệu lực, hiệu quả, tính hợp lệ, tính toàn vẹn, tính sẵn có, sự tuân thủ và tin cậy; COBIT chia quy trình xử lý thành các lĩnh vực (domains), các quy trình (processes) và các hoạt động (activities) trên các đối tượng cần quản lý COBIT hoàn chỉnh xác định

4 lĩnh vực với tổng số 34 quy trình kiểm soát và 318 đối tượng kiểm soát Ngoài ra, COBIT cung cấp hướng dẫn trong ITGov của các tổ chức, đặt dưới

sự kiểm soát, giám sát để đạt được các mục tiêu đưa ra và theo dõi hiệu quả thực hiện của mỗi giai đoạn ứng dụng IT

COBIT được sử dụng rộng rãi trong lĩnh vực ITGov, hỗ trợ tốt các quả trình xử lý nhằm đạt được các mục tiêu nghiệp vụ COBIT trợ giúp việc hoạch định kế hoạch và tổ chức thực hiện; định ra kết quả cần đạt được và việc triển khai thực hiện (bao gồm các quy trình hỗ trợ, bảo mật và các kế hoạch duy trì); nó bao gồm việc chuyển giao và hỗ trợ; thực hiện giám sát và đánh giá các nhu cầu hiện có, mức độ đáp ứng của hệ thống IT với các mục tiêu của tổ chức, đảm bảo chúng phù hợp với các quy định của tổ chức Hình 1.3 mô tả kiến trúc tổng quát của COBIT trong việc hỗ trợ ITGov trong một

vụ, kế hoạch chiến lược, truyền thông chiến lược, quản lý chiến lược, quản lý rủi ro và quản lý tài nguyên, tất cả đảm bảo rằng hạ tầng công nghệ và nhân lực đều được đặt đúng vị trí của nó;

Tích lũy và thực thi (Acquisition and Implementation - AI): Để đưa ra

được chiến lược của mình, CNTT cần đưa ra những định nghĩa, phát triển và triển khai các giải pháp, áp dụng vào các quy trình nghiệp vụ trong thực tiễn Thêm vào đó, CNTT cần quản lý vòng đời hoạt động của cả hệ thống thông qua việc duy trì, bổ sung và loại bỏ các thành phần không cần thiết;

Chuyển giao và hỗ trợ (Delivery and Support – DS): Đây có thể xem là

bước cơ bản nhất, CNTT cung cấp các dịch vụ tới người dung Các dịch vụ và

hỗ trợ kỹ thuật bao gồm hiệu năng thực thi và bảo mật, ngoài ra, không thể thiếu là vấn đề đào tạo, chuyển giao

Giám sát (Monitoring – M): Mọi quy trình CNTT phải được đánh giá

bằng chất lượng và tuân thủ đúng các yêu cầu kiểm soát

Kết luận

Như vậy, mục này đã đề cập tới khái niệm ITGov và hai công cụ mạnh phục vụ công tác ITGov hiện nay là ISO/IEC 38500 và COBIT Có thể thấy, ITGov là tổng hòa của sự quản lý, cấu trúc tổ chức và quy trình để tăng hiệu quả của việc sử dụng IT gia tăng giá trị và giảm thiểu rủi ro cho các tổ chức, các doanh nghiệp Việc ITGov chỉ có kết quả nếu thực hiện tốt công tác hoạch định các kế hoạch triển khai, định ra một cách rõ ràng các vai trò, trách nhiệm

về thông tin, ứng dụng và hạ tầng thông tin để triển khai các quy trình nghiệp

vụ trên cơ sở các công cụ, các chuẩn hỗ trợ

Ngoài ra, thực tiễn cũng cho thấy ITGov nên được nhìn nhận dưới góc

độ sử dụng IT để tạo ra những giá trị phù hợp với chiến lược tổng thể của tổ chức Với cách tiếp cận này, tất cả các biên liên quan sẽ phải tham gia vào quá trình tạo quyết định; tạo ra sự chia sẻ trách nhiệm trong cả hệ thống và

đảm bảo rằng IT liên quan tới các quyết định được tạo ra và được nghiệp vụ dẫn dắt chứ không phải ngược lại

1.2 Trí tuệ nghiệp vụ (Business Intelligence - BI)

1.2.1 Khái niệm

BI tượng trưng cho các công cụ và hệ thống đóng vai trò quan trọng trong xử lý các kế hoạch mang tính chiến lược Hệ thống này cho phép các công ty có thể thu thập, lưu trữ, truy cập và phân tích các dữ liệu tổng hợp để tạo ra các quyết định Thông thường hệ thống này minh họa cho các lĩnh vực thông tin khách hàng, hỗ trợ khách hàng, tìm kiếm thị trường, phân loại thị trường, lợi nhuận, phân tích thống kê, kiểm kê và phân phối Phần lớn các công ty thu thập một khối lượng dữ liệu lớn từ chính bản thân hoạt động nghiệp vụ của họ Để theo sát được các thông tin, các tổ chức thường sử dụng rộng rãi một số chương trình như Excel, Access và các ứng dụng CSDL khác cho các phòng ban khác nhau Việc sử dụng nhiều loại phần mềm sẽ rất khó khăn khi thu nhận thông tin kịp thời và thực hiện các phân tích dữ liệu.[6]

BI mang những ý nghĩa khác nhau đối với những người khác nhau Đối với một doanh nhân, BI mang ý nghĩa tìm kiếm thị trường, theo khía cạnh cạnh tranh thông minh.Với những đối tượng khác “báo cáo” còn có nghĩa nhiều hơn một thuật ngữ, ngay cả khi trí tuệ nghiệp vụ vượt ra ngoài việc truy cập một báo cáo thống kê “Báo cáo” và “phân tích” là những thuật ngữ thường xuyên được sử dụng để mô tả nghiệp vụ thông minh Những người khác sử dụng các thuật ngữ như “phân tích kinh doanh” hoặc “hỗ trợ quyết định” với các mức độ phù hợp khác nhau Song bất kể thuật ngữ nào được sử dụng, điều quan trọng là chúng quen thuộc nhất với người dùng và điều này mang một ý nghĩa tích cực Bất kể bạn dùng thuật ngữ nào, giá trị sau cùng của trí tuệ nghiệp vụ được lưu giữ lại trong suy nghĩ: “BI cho phép mọi thành viên với tất cả các cấp độ trong một tổ chức có thể truy cập và phân tích dữ

liệu để quản lý nghiệp vụ đó, tăng hiệu suất, khám phá các cơ hội và hoạt động hiệu quả”

Trên góc nhìn của các doanh nghiệp, BI là quy trình và công nghệ mà các doanh nghiệp dùng để kiểm soát khối lượng dữ liệu khổng lồ, khai phá tri thức giúp cho các doanh nghiệp có thể đưa các các quyết định hiệu quả hơn trong hoạt động kinh doanh của mình BI cung cấp một cách nhìn toàn cảnh hoạt động của doanh nghiệp từ quá khứ, hiện tại và các dự đoán tương lai Mục đích của BI là hỗ trợ cho doanh nghiệp ra quyết định tốt hơn Vì vậy một

hệ thống kinh doanh thông minh còn được gọi là hệ thống hỗ trợ quyết định (Decision Support System -DSS)

Nhưng chung nhất, BI là quá trình tập hợp những thông tin hữu ích để trả lời các câu hỏi và xác định xu hướng phát triển hoặc mô hình mẫu nhằm

hỗ trợ các bên liên quan trong việc đưa ra các quyết định Có thể nói điểm mấu chốt của BI là việc giúp đỡ ra quyết định theo các chiến lược đã định sẵn

BI cung cấp các thông tin mang tính điều kiện được đưa ra vào những thời điểm thích hợp, tại những địa điểm thích hợp, theo những hình thức phù hợp nhằm hỗ trợ tối đa cho các nhà quản lý Mục tiêu để tăng tính tức thời và chất lượng của thông tin đầu vào cho quá trình ra quyết định, do đó tăng tính thuận tiện cho công việc quản lý [7]

Một hệ thống BI là hệ thống mang tính giải pháp nhằm biến đổi các dữ liệu thuần tuý thành thông tin và tri thức, ứng dụng trong việc ra quyết định,

tư duy chiến lược và các giải pháp mang tính hành động trong một tổ chức

Từ khía cạnh kỹ thuật, hệ thống BI đề xuất một tập các công cụ, công nghệ và các phần mềm được sử dụng để lưu trữ nhiều loại dữ liệu từ các nguồn khác nhau, tích hợp chúng lại và phân tích chúng để tạo ra các giá trị mới Hình 1.4

mô tả quy trình nghiệp vụ chuyển hoá dữ liệu thông thường thành thông tin, phục vụ ra quyết định và các thành phần cần thiết để tạo ra quá trình chuyển hoá đó.[14]

Hình 1.4: Các quy trình chuyển hoá dữ liệu thành thông tin dựa trên các

thành phần của một hệ thống BI

Dữ liệu sau khi thu thập, hợp nhất sẽ được phân tích và lập báo cáo hoặc được khai phá thông qua các luật kết hợp để trở thành thông tin và tri thức phục vụ cho quá trình ra quyết định, gia tăng ưu thế cạnh tranh của một

tổ chức hay một đơn vị Các công cụ phục vụ quá trình chuyển đổi dữ liệu thành thông tin hỗ trợ quyết định gồm có:

Kho dữ liệu: Công cụ trích xuất, chuyển đổi và tải dữ liệu (Extraction – Transformation – Load, ETL) có trách nhiệm chuyển đổi dữ liệu từ các nguồn khác nhau về kho dữ liệu Tại đây, kho dữ liệu chứa các dữ liệu được tập hợp

lại qua quá trình ETL Dữ liệu từ kho lưu trữ sẽ được phân tích, tạo sẵn các khối dữ liệu phục vụ quá trình phân tích bằng công cụ phân tích dữ liệu trực tuyến (OLAP);

Công cụ phân tích dữ liệu trực tuyến (OLAP): cho phép người sử dụng truy cập, phân tích và mô hình hoá các vấn đề nghiệp vụ, chia sẻ thông tin được lưu trữ trong kho dữ liệu Dữ liệu qua quá trình phân tích hoàn toàn đủ điều kiện để biến thành thông tin dưới dạng các bảng biểu, các con số định lượng để người dùng ra các quyết định với độ rủi ro thấp hơn, đáp ứng các yêu cầu nhất định trong những bài toán thực tế đặt ra;

Công cụ khai phá dữ liệu (Data mining): là quá trình trích xuất các thông tin có giá trị dựa trên các mô hình, phương pháp tổng hợp, các quy tắc

và luật đối với dữ liệu

Tóm lại, các thành phần quan trọng nhất trong một hệ thống BI bao gồm các công nghệ cốt yếu liên quan tới quá trình thu thập và lưu trữ dữ liệu (công cụ ETL và kho dữ liệu) và các công cụ phân tích và trình diễn dữ liệu (kỹ thuật OLAP và khai phá dữ liệu)

Trong phạm vi nghiên cứu, Luận văn sẽ tập trung giới thiệu 2 thành phần chính làm nên kiến trúc một BI cơ bản đó là Kho dữ liệu (Data warehouse - DW) – phục vụ công tác lưu trữ và Kỹ thuật phân tích dữ liệu trực tuyến (OLAP) – phục vụ việc phân tích, lập báo cáo và hỗ trợ ra quyết định Các đặc tính kỹ thuật của kho dữ liệu và OLAP sẽ được giới thiệu chi tiết trong các phần tiếp theo

1.2.2.1 Kho dữ liệu (Data warehouse)

1 Định nghĩa

Định nghĩa do W.H.Inmon đề xướng: kho là tập hợp dữ liệu tương đối

ổn định (không hay thay đổi),cập nhật theo thời gian, được tích hợp theo hướng chủ đề nhằm hỗ trợ quá trình tạo quyết định về mặt quản lý.[9]

2 Các đặc trưng của kho dữ liệu

Kho dữ liệu có năm đặc tính cơ bản, đó là hướng chủ đề, tính tích hợp, tính bền vững, gắn với thời gian và dữ liệu tổng hợp:

Hướng chủ đề (Consistency): kho dữ liệu được tổ chức xung quanh

các chủ đề chính như khách hàng, sản phẩm, sản xuất Tập trung vào việc

mô hình hóa và phân tích dữ liệu cho các nhà ra quyết định mà không tập trung vào các xử lý thông thường Cung cấp cho người dùng một khung nhìn toàn vẹn, đơn giản và đầy đủ về các sự kiện quanh các chủ đề

Tính tích hợp (thuật ngữ tiếng anh): Dữ liệu trong kho dữ liệu được

xây dựng bằng cách tổng hợp dữ liệu từ nhiều nguồn khác nhau và các nguồn

có tổ chức khác nhau : CSDL, các tệp excel, các tệp không có cấu trúc hoặc các tệp gốc Khi đưa vào kho dữ liệu, các dữ liệu được làm sạch và tích hợp

dữ liệu nhằm đảm bảo tính nhất quán của dữ liệu

Tính bền vững (Atomicity): Dữ liệu trong kho dữ liệu được chuyển

đổi từ môi trường tác nghiệp và được lưu trữ trong một thời gian dài, khi dữ liệu được chuyển đổi vào đây thì các thao tác cập nhật và xóa dữ liệu thường không xảy ra Dữ liệu trong kho dữ liệu chỉ có hai thao tác đó là thêm mới và đọc dữ liệu

Gắn với thời gian (Isolation): Phạm vi về thời gian của dữ liệu được

lưu trữ trong kho dữ liệu dài hơn so với các hệ thống tác nghiệp, nếu như dữ liệu tác nghiệp chỉ có giá trị hiện thời kho dữ liệu cung cấp thông tin lịch sử lâu dài vì thế nó cung cấp một cái nhìn đầy đủ và nhiều thông tin hơn Trong kho dữ liệu thời gian được lưu trữ như một thành phần của khóa chính để đảm bảo tính duy nhất của dữ liệu và cung cấp một đặc trưng thời gian của dữ liệu

Dữ liệu trong kho luôn gắn với một giá trị thời gian nhất định

Dữ liệu tổng hợp (Durable): Dữ liệu được tích hợp vào các bảng tổng

hợp trong kho dữ liệu nhằm phục vụ cho các mục đích xử lý và phân tích

Ngoài ra còn có các bảng ghi dữ liệu chi tiết các sự kiện nhằm cung cấp các thông tin chi tiết

4 Mô hình tổ chức logic lưu trữ dữ liệu

Có hai mô hình tổ chức logic để lưu trữ dữ liệu trong một kho dữ liệu là lược đồ hình sao (mô tả trong hình 1.6) và lược đồ hình bông tuyết (hình 1.7)

Cụ thể như sau:

[9]Lược đồ hình sao: Trong mô hình dữ liệu này, phạm vi dữ liệu

được tổ chức trong các bảng chiều, mỗi chiều ứng với một đặc trưng của dữ liệu (khách hàng, sản phẩm , bán hàng, thời gian…), các bảng sự kiện biểu diễn các sự kiện xảy ra và các thông tin chi tiết về các sự kiện đó

Ưu điểm của mô hình này là tính trực quan, đơn giản phù hợp với cách nhìn nhận về dữ liệu của người sử dụng; dễ dàng truy vấn, hỗ trợ đa dạng các loại truy vấn; giảm thiểu kết nối nhiều bảng do phi chuẩn, tăng tốc độ truy vấn và việc lưu trữ các cột tổng hợp có tác dụng làm tăng tốc độ xử lý truy vấn

Hình 1.7: Lược đồ hình sao của kho dữ liệu

[9]Lược đồ hình bông tuyết: Đây là mô hình tương tự mô hình sao tuy

nhiên nó mở rộng hơn mô hình sao, trong mô hình này một chiều của dữ liệu

có thể gồm nhiều bảng, và trong đó có 1 bảng sự kiện, bảng sự kiện này chính

là một chiều trong mô hình lớn hơn

Hình 1.8: Lược đồ hình bông tuyết của kho dữ liệu

3.Kiến trúc của kho dữ liệu

Kiến trúc của kho dữ liệu cơ bản gồm có ba thành phần : Dữ liệu nguồn, khu vực xử lý và kho dữ liệu

Hình 1.5: Kiến trúc kho dữ liệu

Nguồn dữ liệu của kho dữ liệu bao gồm các dữ liệu từ rất nhiều nguồn

khác nhau và có cấu trúc dữ liệu khác nhau: dữ liệu từ hệ thống tác nghiệp: Đây là nguồn dữ liệu chính để xây dựng kho dữ liệu, chứa các dữ liệu chi tiết hiện tại của hệ thống tác nghiệp; dữ liệu từ hệ thống phân tích : Đây là dữ liệu được tổng hợp từ dữ liệu nguồn đã cũ và tổ chức lại theo nhiều phương pháp khác nhau; dữ liệu từ bên ngoài: đây là các dữ liệu từ các nguồn ngoài hệ thống của công ty, có thể do các tổ chức khác thu thập và tạo ra, nó được sử dụng cho các yêu cầu phân tích dữ liệu

Dữ liệu từ các hệ thống nguồn thường hỗn tạp và chứa nhiều cấu trúc khác nhau ví dụ: các cơ sở dữ liệu, từ các file excel, các file thô, hay dạng XML Vì thế trước khi đưa vào kho dữ liệu cần phải chuyển đổi và tích hợp

dữ liệu

Khu vực xử lý: Các bước xử lý trong khu vực này bao gồm: quá trình

làm sạch dữ liệu, chuyển đổi dữ liệu Quá trình làm sạch dữ liệu vào mục đích

là để kiểm tra dữ liệu đầu vào và loại bỏ các dữ liệu sai định dạng hoặc lỗi Nhiệm vụ của bước này bao gồm: sử dụng các luật về dữ liệu (Data Quality rules) để kiểm tra dữ liệu đầu vào, chỉnh sửa lỗi dữ liệu, cảnh báo về lỗi dữ liệu đầu vào Quá trình chuyển đổi dữ liệu nhằm đảm bảo tính nhất quán trước khi chuyển vào kho dữ liệu Quá trình này bao gồm các bước sau: sử dụng các luật về chuyển đổi dữ liệu để chuyển đổi; chuyển đổi kiểu dữ liệu cho phù hợp với cơ sở dữ liệu đích; chuyển đổi dữ liệu vào một lược đồ nhất quán Thông thường người ta sử dụng các công cụ trích xuất, chuyển đổi và nạp dữ liệu (ETL) Có ba kiểu ETL là kiểu push, kiểu pull và kiểu server

trung gian (mô tả trong hình 1.6) Với kiểu push, ETL nằm trên máy chủ chứa

nguồn dữ liệu, máy chủ này độc lập với máy chủ chứa kho dữ liệu Mỗi khi cập nhật dữ liệu mới tiến trình ETL sẽ xử lý tại nguồn dữ liệu sau đó đẩy dữ liệu mới đã được xử lý cho kho dữ liệu Mô hình này thường được sử dụng nếu nguồn dữ liệu là từ một server và máy nguồn đủ mạnh để xử lý tiến trình ETL Thông thường mô hình này sử dụng khi dữ liệu nguồn không quá phức

tạp và khối lượng dữ liệu không quá lớn Với kiểu pull, ETL được cài trên

máy chủ chứa kho dữ liệu, độc lập với máy chủ chứa nguồn dữ liệu Mỗi khi cập nhật dữ liệu tiến trình này sẽ kết nối tới các nguồn dữ liệu và lấy dữ liệu

về xử lý sau đó nạp vào kho dữ liệu Ở kiến trúc này dữ liệu nguồn có thể từ nhiều nơi khác nhau, tuy nhiên máy chứa kho dữ liệu cần phải có đủ năng lực

xử lý tiến trình ETL Cũng như kiển push kiểu kiến trúc này cũng được sử

dụng khi khối lượng dữ liệu và khối lượng thao tác không quá lớn.Với kiểu

máy chủ trung gian, máy chủ cài ETL và máy chủ chứa kho dữ liệu nằm độc

lập với máy chủ chứa nguồn dữ liệu Tiến trình này sẽ đến lấy dữ liệu từ nguồn dữ liệu sau đó xử lý và nạp vào kho dữ liệu Kiểu kiến trúc này thường được áp dụng cho các kho dữ liệu lớn, ở đây tiến trình ETL sẽ được chạy trên một máy độc lập đủ năng lực xử lý

Hình 1.6: Kiến trúc tiến trình ETL

Tiến trình ETL gồm có ba bước chính là trích xuất, chuyển đổi và nạp

dữ liệu vào kho dữ liệu Bước trích xuất: dữ liệu nguồn từ rất nhiều nguồn

khác nhau và có thể có rất nhiều cấu trúc dữ liệu khác nhau như nhiều loại cơ

sở dữ liệu, từ file excel hay từ file thô Vì thế nhiệm vụ chính của bước này là

trích xuất dữ liệu từ hệ thống nguồn để xử lý Bước chuyển đổi: đây là quá

trình rất phức tạp dùng để chuyển đổi dữ liệu nguồn một mô hình khác phù hợp và chuyển vào cơ sở dữ liệu đích Ở bước này sẽ phải sử dụng các phép chuyển đổi như: chọn các cột dữ liệu phù hợp (chỉ chọn các cột cần thiết ); chuyển đổi dữ liệu; tạo ra các cột tính toán mới; lọc dữ liệu; sắp xếp dữ liệu; thực hiện các phép tổng hợp (tính tổng các cột, đếm số dòng, tính trung bình); tạo ra các giá trị mới (tạo khóa tự tăng); tìm kiếm hay so sánh dữ liệu - đây là bước quan trọng nhất trong tiến trình ETL , nó thực hiện hầu hết các nhiệm vụ

của tiến trình ETL Bước nạp dữ liệu vào kho dữ liệu: đây là quá trình đẩy dữ

liệu sau khi đã được chuyển đổi vào kho dữ liệu Dữ liệu sau khi đã được chuyển đổi sẽ được nạp vào kho dữ liệu

Khu vực kho dữ liệu: Kho dữ liệu là cơ sở dữ liệu được tổ chức lại

theo mô hình hình sao hay mô hình bông tuyết Mô hình được phi chuẩn hóa, chấp nhận sự dư thừa dữ liệu trong lưu trữ dữ liệu chính vì thế mô hình dữ liệu đơn giản hơn nên việc truy vấn dễ dàng hơn và tốc độ xử lý cũng nhanh hơn mô hình dữ liệu được chuẩn hóa Ngoài ra kho dữ liệu còn chứa các dữ liệu khác như:

Siêu dữ liệu: Đây là dữ liệu chứa định nghĩa của dữ liệu được lưu trữ trong kho dữ liệu Siêu dữ liệu định nghĩa nên các thành phần của kho dữ liệu, cách thức dữ liệu được tải vào kho dữ liệu, lưu lại quá trình hoạt động của kho dữ liệu

Bảng sự kiện tổng hợp : Các bảng tổng hợp này lưu dữ các dữ liệu tính toán được nhằm trả lời một cách nhanh nhất các câu hỏi của người dùng đưa

ra Đây là dữ liệu có thể tính toán được từ các bảng khác tuy nhiên để tăng tốc

độ xử lý dữ liệu này được lưu trữ để không phải tính toán lại mỗi khi có truy vấn

45 Nhận xét

Thông qua những phân tích về đặc tính, mô hình và kiến trúc, có thể thấy kho dữ liệu phù hợp với các hệ thống có nguồn dữ liệu phức tạp, đa dạng; dữ liệu với khối tượng lớn, có tính lịch sử Về mặt tổ chức, kho dữ liệu

là lưu trữ dữ liệu theo cách thức khoa học, ưu việt hơn rất nhiều so với cách lưu trữ của CSDL quan hệ, do đó giảm thiểu thời gian truy vấn thông tin Về chức năng, kho dữ liệu hỗ trợ việc thống kê, phân tích và so sánh tốt do lưu các giá trị gắn kèm nhãn thời gian Với những ưu điểm trên, kho dữ liệu có thể sử dụng vào nhiều mục đích khác nhau trong đó có việc đóng vai trò như

một thành phần của hệ thống BI Hơn thế nữa, kho dữ liệu sẽ trở thành công

Trong khi kho dữ liệu hoặc kho dữ liệu theo chủ đề (data mart) lưu trữ

dữ liệu cho phân tích, thì OLAP cho phép các ứng dụng client truy xuất hiệu quả dữ liệu này OLAP cung cấp nhiều lợi ích cho người phân tích, ví dụ như: cung cấp mô hình dữ liệu đa chiều trực quan cho phép dễ dàng lựa chọn, định hướng và khám phá dữ liệu; cung cấp một ngôn ngữ truy vấn phân tích, cung cấp sức mạnh để khám phá các mối quan hệ trong dữ liệu kinh doanh phức tạp; tính toán trước đối với các truy vấn thường xuyên nhằm làm cho thời gian trả lời rất nhanh đối với các truy vấn đặc biệt; cung cấp các công cụ mạnh giúp người dùng tạo các khung nhìn mới của dữ liệu dựa trên một tập các hàm tính toán đặc biệt

OLAP được đặt ra để xử lý các truy vấn liên quan đến lượng dữ liệu rất lớn mà nếu cho thực thi các truy vấn này trong hệ thống xử lý giao dịch trực tuyến (On-line Transaction Processing - OLTP) sẽ không thể cho kết quả hoặc

sẽ mất rất nhiều thời gian

2 Cách thức tổ chức của OLAP

Hệ thống OLAP là một hệ thống quản lý dữ liệu giàu năng lực Nó cho phép người sử dụng phân tích dữ liệu qua việc cắt lát (slice) dữ liệu theo nhiều khía cạnh khác nhau, đi sâu xuống (drill down) mức chi tiết hơn hay

cuộn lên (drill up) mức tổng hợp hơn của dữ liệu Bản chất cốt lõi của OLAP

là dữ liệu được lấy ra từ kho dữ liệu hoặc từ datamart, sau đó được chuyển thành mô hình đa chiều và được lưu trữ trong một khối dữ liệu đa chiều

Đối tượng chính của OLAP là khối, một sự biểu diễn đa chiều của dữ liệu chi tiết và tổng thể Một khối bao gồm một bảng sự kiện, một hoặc nhiều chiều, các đơn vị đo (Measures) và các phân hoạch (Partitions)

Hình 1.9: Khối dữ liệu – đối tượng của hệ thống OLAP

Cube: là phần tử chính trong xử lý phân tích trực tuyến, là tập con

(subset) dữ liệu từ kho dữ liệu, được tổ chức và tổng hợp trong các cấu trúc đa chiều Để xác định một khối, ta chọn một bảng sự kiện và các đơn vị đo lường đồng nhất (các cột số theo sự quan tâm của người dùng khối) trong bảng sự kiện đó Sau đó, chọn các chiều, mỗi chiều gồm một hay nhiều cột từ bảng liên quan khác Các chiều cung cấp mô tả rõ ràng bởi các đơn vị đo lường được chia ra của người dùng khối Ví dụ: một khối cho phân tích đa dạng sinh học bao gồm các đơn vị đo lường SoLuong từ bảng Dadangsinhhoc_Fact, và các chiều Vung_Dim, Loai_Dim, và Thoigian_Dim Mỗi chiều có thể chứa một hệ thống các cấp độ để chỉ sự phân chia rõ ràng của người dùng Ví dụ:

Chiều Vung_Dim có thể gồm hệ thống các cấp độ: Châu lục, nước, vùng, tỉnh, thành Mỗi cấp độ trong chiều lại chi tiết hơn mức cha của nó Ví dụ: lục địa chứa các quốc gia, các bang hay các tỉnh chứa các thành phố Tương tự, hệ thống chiều thời gian có thể gồm có các cấp độ năm, quý, tháng và ngày

Chiều: Các chiều là cách mô tả chủng loại mà theo đó các dữ liệu số

trong khối được phân chia để phân tích Khi xác định một chiều, chọn một hoặc nhiều cột của một trong các bảng liên kết (bảng chiều) Nếu ta chọn các cột phức tạp thì tất cả cần có quan hệ với nhau, chẳng hạn các giá trị của chúng có thể được tổ chức theo hệ thống phân cấp đơn Để xác định hệ thống phân cấp, sắp xếp các cột từ chung nhất tới cụ thể nhất Ví dụ: một chiều thời gian (Time) được tạo ra từ các cột Năm, Qúy, Tháng, Ngày (Year, Quarter, Month và Day) Mỗi cột trong bảng chiều góp phần vào một cấp độ cho chiều Các cấp độ được sắp đặt theo nét riêng biệt và được tổ chức trong hệ thống cấp bậc mà nó thừa nhận các con đường hợp logic cho việc đào sâu (drill down) Ví dụ: dimension thời gian được miêu tả ở trên cho phép người dùng khối đào sâu (drill down) từ năm tới qúy, từ qúy tới tháng và từ tháng tới ngày Mỗi drill down cung cấp nét đặc trưng hơn

Chiều có phân cấp: Phân cấp là cột sống của việc gộp dữ liệu hay nói một cách khác là dựa vào các phân cấp mà việc gộp dữ liệu mới có thể thực hiện được Phần lớn các chiều đều có một cấu trúc đa mức hay phân cấp Nếu chúng ta muốn tạo ra những quyết định về giá sản phẩm để tối đa doanh thu thì chúng ta cần quan sát ở những dữ liệu về doanh thu sản phẩm được gộp theo giá sản phẩm, tức là chúng ta đã thực hiện một cách gộp Khi cần tạo những quyết định khác thì chúng ta cần thực hiện những phép gộp tương ứng khác Như vậy có thể có quá nhiều tiến trình gộp Thế nên các tiến trình gộp này cần phải được thực hiện một cách rất dễ dàng, linh hoạt để có thể hỗ trợ

những phân tích không hoạch định trước Điều này có thể được giải quyết trên

cơ sở có sự trợ giúp của những phân cấp rộng và sâu:

- Drill up và Drill down dựa trên phân cấp chiều

- Dựa trên phân cấp theo chiều, từ một mức dưới, chúng ta có thể cuộn lên (Drill up) các mức trên, thực hiện một phép gộp, để có được kết qủa tổng hợp hơn Và từ một mức trên, có thể khoan đi sâu xuống (Drill down) các mức dưới, để có các kết quả chi tiết hơn

Các đơn vị đo lường (Measures): Các đơn vị đo của khối là các cột

trong bảng sự kiện Các đơn vị đo lường xác định những giá trị số từ bảng sự kiện mà được tổng hợp phân tích như định giá, trị giá, hoặc số lượng

Các phân hoạch (Partitions): Tất cả các khối đều có tối thiểu một

phân hoạch để chứa dữ liệu của nó; một phân hoạch đơn được tự động tạo ra khi khối được định nghĩa Khi ta tạo một phân hoạch mới cho một khối, phân hoạch mới này được thêm vào trong tập hợp các phân hoạch đã tồn tại đối với khối Khối phản ánh dữ liệu đã được kết nối có trong tất cả các phân hoạch của nó Một bảng phân hoạch của khối là vô hình đối với người dùng Các phân hoạch tiêu biểu cho một công cụ mạnh, mềm dẻo cho việc quản trị các khối OLAP, đặc biệt các khối lớn Ví dụ: một khối chứa thông tin thương mại

có thể chứa trong một hoặc nhiều phân hoạch cho dữ liệu của những năm trước và các phân hoạch cho mỗi quý của năm hiện tại Cuối năm các bảng phân hoạch của bốn quý có thể được hợp nhất trong một phân hoạch đơn cho năm đó Các bảng phân hoạch có thể được lưu trữ với các sự lựa chọn kết hợp khác nhau theo phương thức lưu trữ, định vị dữ liệu nguồn và thiết kế kết hợp Tính mềm dẻo này cho phép ta thiết kế các chiến lược lưu trữ khối thích hợp với các yêu cầu của ta

3 Các mô hình của OLAP

Mô hình OLAP đa chiều (Multidimensional OLAP): thực hiện lưu

trữ dữ liệu cơ sở (là dữ liệu từ các bảng của kho dữ liệu hoặc kho dữ liệu theo chủ đề) và thông tin tổng hợp (là các độ đo được tính toán từ các bảng) trong các cấu trúc đa chiều gọi là các cube dữ liệu Các cấu trúc này được lưu bên ngoài cơ sở dữ liệu data mart hoặc kho dữ liệu Lưu trữ các cube trong cấu trúc MOLAP là tốt nhất cho các truy vấn tổng hợp dữ liệu thường xuyên mà cần thời gian hồi đáp nhanh Hình 1.10 mô tả mô hình dữ liệu của một hệ thống MOLAP:

Hình 1.10: Mô hình dữ liệu MOLAP

Mô hình MOLAP cho phép thực hiện các truy vấn phân tích dữ liệu tốt nhất vì các đặc điểm sau: thông tin tổng hợp và dữ liệu cơ sở được lưu trữ trong cấu trúc đa chiều; thao tác kết nối là một trong những thao tác tốn chi phí nhất của mô hình quan hệ, thì không thực hiện trong MOLAP; MOLAP

sử dụng các thuật toán nén dữ liệu cho phép lưu trữ với ít không gian hơn; MOLAP sử dụng ánh xạ chỉ mục cho hiệu quả thực thi tốt hơn; MOLAP có thể được nạp trước vào bộ nhớ truy cập nhanh (cache), do đó MOLAP lấy dữ liệu trong cube rất nhanh bằng cách sử dụng các xử lý truy vấn tốc độ cao và

dữ liệu từ bộ nhớ truy cập nhanh (data cache); MOLAP không xử dụng cơ chế khoá vì dữ liệu là chỉ đọc; dữ liệu có thể dễ dàng sao chép đến client cho phân tích không trực tuyến

Mô hình OLAP quan hệ (Relational OLAP- ROLAP): Lưu trữ các

khối trong cấu trúc ROLAP là tốt nhất cho các truy vấn dữ liệu không thường xuyên Ví dụ như nếu 80% người dùng truy vấn chỉ dữ liệu trong vòng một năm trở lại đây, các dữ liệu cũ hơn một năm sẽ được đưa vào một cấu trúc ROLAP để giảm không gian đĩa bị chiếm dụng, hơn nữa còn để loại trừ dữ liệu trùng lặp Hình 1.11 mô tả mô hình dữ liệu của một hệ thống ROLAP

Hình 1.11: Mô hình dữ liệu ROLAP

Lưu trữ dữ liệu trong cấu trúc ROLAP cung cấp nhiều lợi ích như: ROLAP cho phép Cube Builder tự động tạo chỉ mục; ROLAP ánh xạ các tổng hợp có sẵn từ kho dữ liệu chủ đề (data mart) hoặc kho dữ liệu, OLAP Manager được phép xử dụng các tổng hợp có sẵn để tổng hợp mà không cần tính toán lại cho mỗi truy vấn; ROLAP tạo đòn bẩy cho hệ quản trị cơ sở dữ liệu quan hệ nhằm cho các nhà quản trị hệ thống duy trì nó hiệu quả hơn; ROLAP hỗ trợ Microsoft SQL Server, Oracle, Access và Open Database Connectivity (ODBC)

Mô hình OLAP lai (Hybrid OLAP - HOLAP): là mô hình OLAP

được tạo ra bằng sự kết hợp giữa MOLAP và ROLAP Lưu trữ các cube trong cấu trúc HOLAP là tốt nhất cho các truy vấn tổng hợp dữ liệu thường xuyên dựa trên một lượng lớn dữ liệu cơ sở Ví dụ, chúng ta sẽ lưu trữ dữ liệu bán hàng theo hàng quý, hàng năm trong cấu trong MOLAP và dữ liệu hàng tháng, hàng tuần và hàng ngày trong cấu trúc ROLAP Hình 1.12 mô tả mô hình dữ liệu của một hệ thống HOLAP

Hình 1.12: Mô hình dữ liệu HOLAP

Việc sử dụng cấu trúc HOLAP để lưu trữ có nhiều lợi ích như: truy xuất dữ liệu trong cube nhanh hơn bằng cách sử dụng xử lý truy vấn tốc độ cao của MOLAP; tiêu thụ ít không gian lưu trữ hơn MOLAP; tránh trùng lặp

dữ liệu

4 Nhận xét chung về OLAP:

Trong khi kho dữ liệu và kho dữ liệu theo chủ đề lưu trữ dữ liệu cho phân tích, thì OLAP cho phép các ứng dụng client truy xuất hiệu quả dữ liệu này do OLAP cung cấp nhiều lợi ích cho người phân tích Đối với kho dữ liệu,

số lượng truy vấn đưa vào và thời gian hồi đáp quan trọng hơn số lượng giao

dịch đưa vào Trong khi đó, OLAP là một trong những công cụ cho phép thực hiện hiệu quả các truy vấn này

Với 3 mô hình tổ chức của OLAP là MOLAP, ROLAP và HOLAP, như đã phân tích ở trên, mỗi mô hình đều có những ưu/ nhược điểm riêng Các ưu/ nhược điểm của từng mô hình được tổng hợp trong bảng 1.1 sau:

Bảng 1.1: Bảng so sánh các mô hình lưu trữ dữ liệu trong OLAP

Lưu trữ dữ liệu cơ sở Khối Bảng quan hệ Bảng quan hệ

Lưu trữ thông tin tổng hợp Khối Bảng quan hệ Khối

Hiệu suất thực hiện truy vấn Nhanh nhất Chậm nhất Nhanh

Tiêu thụ không gian lưu trữ Nhiều Thấp Trung bình

Với phân tích lợi điểm trong 3 mô hình tổ chức của OLAP, OLAP được đặt ra để xử lý các truy vấn liên quan đến lượng dữ liệu rất lớn mà nếu thực thi các truy vấn này trong hệ thống xử lý giao dịch trực tuyến (On-line Transaction Processing - OLTP) sẽ không thể cho kết quả hoặc sẽ mất rất nhiều thời gian

Như vậy, trong phần này, luận văn đã có những phân tích chi tiết về đặc điểm của 2 thành phần cấu thành một hệ thống BI là kho dữ liệu và OLAP Với thiết kế này, giải pháp BI mang lại hoàn toàn có thể đáp ứng nhu cầu tổ chức và quản lý dữ liệu một cách khoa học; nhu cầu phân tích, khai thác thông tin; cụ thể hoá và đưa ra những thông tin mang tính định lượng trợ giúp việc đánh giá, hỗ trợ các quyết định với độ rủi ro thấp hơn, đáp ứng các yêu cầu nhất định trong những bài toán nghiệp vụ cụ thể

1.3 Ứng dụng BI vào bài toán ITGov

Thực tiễn cho thấy quy trình ITGov mang lại hiệu quả rất tốt cho các

dự án đơn lẻ, nhưng ITGov chưa đặt trọng tâm vào việc đảm bảo các vấn đề liên quan khác trong một tổ chức, một đơn vị BI giúp xóa bỏ khoảng trống

này Nhiều tổ chức hiện nay đã đưa các ứng dụng BI vào áp dụng trong ITGov như bước tiến trong việc ứng dụng phân loại mức độ ưu tiên cho việc thực thi các quyết định tạo ra những nhân tố mới, khác biệt, từ đó gia tăng các lợi thế cạnh tranh [7]

Hình 1.13 mô tả mô hình ứng dụng BI trong bài toán ITGov, đề xuất bởi trường đại học Illinois, Hoa Kỳ:

Hình 1.13 Ứng dụng BI trong hệ thống ITGov

BI là quy trình xử lý trong đó các tập các dữ liệu nghiệp vụ sẽ đuợc tập

hợ lại, xử lý và chuyển hoá thành thông tin và từ đó chuển hoá lên mức cao hơn là tri thức nhằm hỗ trợ việc ra quyết định trong một tổ chức Trong khi đó, ITGov đóng vai trò quyết định trong quy trình xử lý nghiệp vụ của một doanh nghiệp Nó đảm bảo rằng hệ thống thông tin được đảm bảo và mở rộng trong phạm vi chiến lược và mục tiêu của cả tổ chức

Có thể nhận thấy khi kết hợp BI với hệ thống ITGov, bài toán IT được

mở rộng ra, nó không chỉ gói gọn trong các chương trình hay dự án đơn lẻ mà

nó đã đề cập tới các mức cao hơn, đi sâu vào các nghiệp vụ, mang tính thực tiễn cao như lĩnh vực tài chính, ngân hàng, quản trị khách hàng, quản lý các

dịch vụ và sản phẩm với nét đặc trưng “trí tuệ” của BI và hỗ trợ mạnh mẽ của

hạ tầng công nghệ của ITGov Việc kết hợp giữa BI và ITGov đã giải quyết được vấn đề cốt lõi của quản lý thông tin là khả năng đáp ứng việc nâng cao chất lượng số liệu, hiểu được mối quan hệ và cách thức sử dụng thông tin, quy trình sản sinh thông tin từ dữ liệu trong bối cảnh nghiệp vụ của một tổ chức, một đơn vị

1.4 Ứng dụng BI vào bài toán ITGov trong lĩnh vực quản lý thông tin chất lượng môi trường

Hệ thống BI là tổng hợp của tập hợp dữ liệu, lưu trữ dữ liệu và quản lý tri thức với các công cụ phân tích để trình bày những thông tin phức tạp và có tính so sánh cao tới các nhà lập kế hoạch và những người ra quyết định Như vậy, hệ thống BI cung cấp các thông tin mang tính điều kiện được đưa ra vào những thời điểm thích hợp, tại những địa điểm thích hợp, theo những hình thức phù hợp nhằm hỗ trợ tối đa cho các nhà quản lý Mục tiêu là để tăng tính tức thời và chất lượng của thông tin đầu vào cho quá trình ra quyết định, do

đó tăng tính thuận tiện cho công việc quản lý

Đối với lĩnh vực môi trường, đối tượng chính cần quản lý là các thông tin về ô nhiễm môi trường Bài toán cần đặt ra là đánh giá chính xác mức độ ô nhiễm, phát hiện kịp thời và thông báo tới cấp quản lý và người dân Được ra đời gần 20 năm nay, cũng như nhiều ban ngành khác, ngành môi trường đã ứng dụng IT vào công tác quản lý của ngành Song, việc đầu tư này vẫn chưa thực sự đáp ứng nhu cầu nêu trên Hiện đang thiếu những công cụ nghiệp vụ chuyên nghiệp và có tính ứng dụng cao nhằm đáp ứng nhu cầu tổ chức và quản lý dữ liệu từ nhiều nguồn khác nhau một cách khoa học; nhu cầu phân tích, khai thác thông tin; cụ thể hoá và đưa ra những thông tin mang tính định lượng trợ giúp việc đánh giá diễn biến chất lượng môi trường khi có dấu hiệu