Bài viết Kho dữ liệu trong phân tích và quản trị dữ liệu thông minh tại các cơ quan - doanh nghiệp (Enterprise data warehouse in smart data analytics and management) giới thiệu giải pháp tổ chức hình thành hệ thống Kho dữ liệu (Data Warehouse) tại các cơ quan, doanh nghiệp phục vụ cho việc quản trị dữ liệu thông minh và phân tích dữ liệu thông minh hỗ trợ cho việc hoạch định chiến lược quản trị và quản lý một cách khoa học và hiệu quả trên cơ sở khai phá kho dữ liệu. Mời các bạn cùng tham khảo!
Trang 1KHO DỮ LIỆU TRONG PHÂN TÍCH VÀ QUẢN TRỊ DỰ LIỆU THÔNG
MINH TẠI CÁC CƠ QUAN - DOANH NGHIỆP (Enterprise Data Warehouse in Smart Data Analytics and Management)
VÕ XUÂN THỂ
Khoa Công nghệ Thông tin Trường Đại học Tài chính – Marketing
Email: vxthe@ufm.edu.vn
Tóm tắt: Bài viết này giới thiệu giải pháp tổ chức hình thành hệ thống Kho dự liệu (Data
Warehouse) tại các cơ quan, doanh nghiệp phục vụ cho việc quản trị dữ liệu thông minh và phân tích dữ liệu thông minh hỗ trợ cho việc hoạch định chiến lược quản trị và quản lý một cách khoa học và hiệu quả trên cơ sở khai phá kho dữ liệu Đây là một giải pháp thuộc lĩnh vực Khoa học dữ liệu – Data Science – cung cấp nền tảng khoa học mới và hiện đại trong lĩnh vực quản trị - quản
lý và là cơ sở hình thành BigData – một trong những nền tảng của Cách mạng công nghiệp lần thứ 4 (CMCN 4.0) Nền tảng chính của việc quản trị dữ liệu thông minh nhờ Data Warehouse là
Mô hình CSDL đa chiều (Dimensional Modeling) và luồng công việc tích hợp dữ liệu (Data Integration Workflows) thông qua OLTP (On-Line Transaction Processing: Xử lý giao dịch trực tuyến) Nền tảng chính của việc phân tích dữ liệu thông minh nhờ Data Warehouse là hệ thống công cụ xử lý phân tích dữ liệu trực tuyến (On-Line Analytical Processing: OLAP)và ngôn ngữ vấn tin phân tích với các dạng SQL Subtotal, SQL Analytic và Materialized View
Từ khóa: Kho dữ liệu – Data Warehouse, Phân tích dữ liệu thông minh – Smart Data
analytics, Quản trị dữ liệu thông tin – Smart Data Management
1 GIỚI THIỆU CHUNG
Kho dự liệu (còn gọi là Nhà kho dữ liệu: Data Warehouse) là mô hình nền tảng tổ chức hình thành hệ thống dữ liệu lâu dài phục vụ cho việc quản trị dữ liệu thông minh
và phân tích dữ liệu thông minh hỗ trợ cho việc hoạch định chiến lược quản trị và quản
lý một cách khoa học và hiệu quả trên cơ sở khai phá kho dữ liệu tại các cơ quan, doanh nghiệp Đây cũng là nền tảng hình thành BigData
Kho dự liệu cung cấp một giải pháp thuộc lĩnh vực Khoa học dữ liệu – Data Science – là nền tảng khoa học mới và hiện đại trong lĩnh vực quản trị - quản lý và là cơ sở hình thành BigData – một trong những nền tảng của Cách mạng công nghiệp lần thứ 4 (CMCN 4.0)
1 Nền tảng chính của việc quản trị dữ liệu thông minh nhờ Data Warehouse là
+ Mô hình CSDL đa chiều (Dimensional Modeling) và
Trang 2+ Luồng công việc tích hợp dữ liệu (Data Integration Workflows) thông qua OLTP (On-Line Transaction Processing: Xử lý giao dịch trực tuyến)
2 Nền tảng chính của việc phân tích dữ liệu thông minh nhờ Data Warehouse là
+ Hệ thống công cụ xử lý phân tích dữ liệu trực tuyến (On-Line Analytical Processing: OLAP) và
+ ngôn ngữ vấn tin phân tích với các dạng SQL Subtotal, SQL Analytic và Materialized View
Bài viết này nhằm giới thiệu tổng quan và minh họa tổ chức cài đặt Kho dữ liệu trong thực tiễn nhằm giúp người đọc có cái nhìn tổng quan về Kho dữ liệu trong phân tích và quản trị dữ liệu thông minh
Đối tượng tham khảo bài viết này gồm: các giảng viên đại học, người học, nhà nghiên cứu thuộc chuyên ngành Khoa học dữ liệu và Khoa học máy tính nói chung
2 GIỚI THIỆU VỀ KHO DỮ LIỆU
2.1 “Kho dữ liệu” (Data Warehouse: DWH) 1
“Kho dữ liệu” còn gọi là “Nhà kho dữ liệu” là một lĩnh vực Khoa học dữ liệu nghiên cứu và ứng dụng các mô hình tổ chức hệ thống dữ liệu tích hợp (Integrated) từ nhiều nguồn khác nhau từ các các Hệ quản trị Cơ sở dữ liệu khác nhau; trên cơ sở đó hình thành một cơ sở dữ liệu có cố lượng (nhiều table với lượng mẫu tin) rất lớn Hệ thống
dữ liệu này phục vụ cho cơ chế phân tích đánh giá các dữ liệu tích hợp (Factors) theo nhiều chiều (Dims) khác nhau phục vụ cho hoạch định chiến lược, chiến thuật hoạt động của các cơ quan – doanh nghiệp, như Hình 2 Như vậy có thể xem Data warehouse là cơ
sở nền tảng cho Data Mining (Khai phá dữ liệu)
Hình 2 Mô hình kho dữ liệu
1 Có nhiều khái niệm về DWH ( theo nhiều góc độ khác nhau ), đây là khái niệm được tổng hợp và biên tập bởi tác giải bài viết này
Trang 3Theo khái niệm của wikipedia: Kho dữ liệu (tiếng Anh: data warehouse) là kho lưu trữ dữ liệu lưu trữ bằng thiết bị điện tử của một tổ chức Các kho dữ liệu được thiết kế
để hỗ trợ việc phân tích dữ liệu và lập báo cáo
Định nghĩa cổ điển này về kho dữ liệu tập trung vào việc lưu trữ dữ liệu Tuy nhiên, các phương tiện cho việc lấy và phân tích, trích rút, biến đổi, nạp dữ liệu, và quản lý dữ liệu từ điển cũng được coi là các thành phần cốt yếu của một hệ thống kho dữ liệu Nhiều người sử dụng thuật ngữ "kho dữ liệu" với ngữ cảnh rộng hơn Một định nghĩa mở rộng cho kho dữ liệu bao gồm cả các công cụ thông minh, các công cụ để trích, biến đổi và nạp dữ liệu vào kho, và các công cụ để quản lý và lấy siêu dữ liệu (meta data)
Trong quá trình hoạt động kinh doanh, các dữ liệu của doanh nghiệp phát sinh ngày càng nhiều Người ta muốn tận dụng nguồn dữ liệu này để sử dụng cho những mục đích
hỗ trợ cho công việc kinh doanh ví dụ như cho mục đích thống kê hay phân tích Quá trình tập hợp và thao tác trên các dữ liệu này có những đặc điểm sau:
1 Dữ liệu tích hợp (Atomicity): Dữ liệu tập hợp từ nhiều nguồn khác nhau Điều này sẽ dẫn đến việc quá trình tập hợp phải thực hiện việc làm sạch, sắp xếp, rút gọn dữ liệu
2 Theo chủ đề (Consistency): Không phải tất cả các dữ liệu đều được tập hợp, người ta chỉ lấy những dữ liệu có ích
3 Biến thời gian (Isolation): Các dữ liệu truy suất không bị ảnh hưởng bởi các dữ liệu khác hoặc tác động lên nhau
4 Dữ liệu cố định (Durable): Khi một Transaction hoàn chỉnh, dữ liệu không thể tạo thêm hay sửa đổi
2.2 Kiến trúc cơ bản của kho dữ liệu
Mô hình data warehouse 3 tầng (lớp) như Hình 3:
1 Tầng đáy (hình thành DWH): Là nơi cung cấp dịch vụ lấy dữ liệu từ nhiều nguồn khác sau đó chuẩn hóa, làm sạch và lưu trữ dữ liệu đã tập trung
2 Tầng giữa (duy trì hoạt động DWH = xử lý khai thác sử dụng): Cung cấp các dịch
vụ để thực hiện các thao tác với kho dữ liệu gọi là dịch vụ OLAP (OLAP server)
Trang 4Có thể cài đặt bằng Relational OLAP, Multidimensional OLAP hay kết hợp cả hai mô hình trên Hybrid OLAP
3 Tầng trên cùng (hỗ trợ người sử dụng khai thác sử dụng DWH): nơi chứa các câu truy vấn, báo cáo, phân tích
Hình 3 Kiến trúc 3 tầng của Kho dữ liệu
2.3 Lý do phải sử dụng Kho dữ liệu?
Kho dữ liệu là công cụ hiệu quả không thế thiếu trong các cơ quan – doanh nghiệp hiện nay Có nhiều lý do mà các cơ quan – doanh nghiệp hiện nay phải tổ chức Kho dữ liệu, như Hình 4:
1 Đối với các tổ chức có lượng dữ liệu ngày càng lớn thì càng khó truy cập và sử dụng
dữ liệu
2 Dữ liệu trong nhiều định dạng khác nhau, tồn tại trên nhiều nền tảng khác nhau, và lưu trữ trong nhiều tập tin khác nhau, cấu trúc cơ sở dữ liệu khác nhau được phát triển bởi các nhà cung cấp khác nhau
3 Tổ chức phải viết và duy trì hàng trăm chương trình để trích xuất, chuẩn bị, hợp nhất
dữ liệu để sử dụng cho nhiều chương trình khác nhau dùng để phân tích và báo cáo
4 Người ra quyết định muốn khai thác sâu hơn vào các dữ liệu
5 Điều này dẫn đến các yêu cầu phát triển chương trình trích xuất mới hơn Quá trình này rất tốn kém, không hiệu quả và tốn thời gian Data warehouse cung cấp một phương pháp tiếp cận tốt hơn
6 Kho dữ liệu thực hiện quá trình truy cập dữ liệu từ các nguồn không đồng nhất; làm sạch, lọc và chuyển đổi dữ liệu; lưu trữ dữ liệu theo cấu trúc để dễ dàng truy cập, hiểu
rõ và sử dụng
Trang 57 Dữ liệu sau đó được dùng để truy vấn, báo cáo và phân tích dữ liệu
8 Khối lượng dữ liệu trong kho dữ liệu có thể rất lớn, đặc biệt khi xem xét các yêu cầu phân tích dữ liệu mang tính lịch sử
9 Chương trình phân tích dữ liệu đòi hỏi phải quét qua khối lượng dữ liệu rất lớn, có thể dẫn đến kết quả không tốt cho các ứng dụng hoạt động
10 Do đó có một yêu cầu tách riêng hai môi trường để giảm thiểu xung đột và sự
xuống cấp của hiệu suất trong môi trường hoạt động
Hình 4 Mục đích sử dụng Kho dữ liệu trong các cơ quan - đaonh nghiệp
2.4 Công cụ và Ngôn ngữ hỗ trợ kho dữ liệu
• Ngôn ngữ xử lý phân tích trực tuyến (OLAP - On-Line Analytical Processing), rất phù hợp với kho dữ liệu, ngôn ngữ này tương tự với ngôn ngữ truy vấn SQL và tập trung vào các câu lệnh sau:
1 Thu nhỏ (roll-up): ví dụ: nhóm dữ liệu theo năm thay vì theo quý
2 Mở rộng (drill-down): ví dụ: mở rộng dữ liệu, nhìn theo tháng thay vì theo quý
3 Cắt lát (slice): nhìn theo từng lớp một Ví dụ: từ danh mục bán hàng của Q1, Q2, Q3, Q4 chỉ xem của Q1
4 Rút ngắn (dice): bỏ bớt một phần của dữ liệu (tương ứng thêm điều kiện vào câu lệnh WHERE trong SQL)
So sánh giữa OLAP với OLTP như Hình 5
Trang 6Hình 5 So sánh OLAP với OLTP
• Công cụ ETL(Extract, Transform, Load: Trích xuất, Biến đổi, Nạp dữ liệu): hỗi trợ tầng đáy trong nạp dữ liệu từ nhiều nguồn vào kho dữ liệu và tiền xử lý
(Preprocessing), như Hình 6
Hình 6 Công cụ ETL nạp dữ liệu và tiền xử lý Kho dữ liệu
2.5 Mối quan hệ giữa kho dữ liệu và khai phá dữ liệu
Cả hai đều có thể sử dụng độc lập với nhau, tuy nhiên khi kết hợp được kho dữ liệu với khai phá dữ liệu thì lợi ích rất lớn lý do như:
1 Dữ liệu của kho dữ liệu rất phù hợp cho việc khai phá dữ liệu do đã được tập hợp và làm sạch
2 Cơ sở hạ tầng của kho dữ liệu hỗ trợ rất tốt cho các việc như xuất, nhập cũng như các thao tác cơ bản trên dữ liệu
3 OLAP về cung cấp các tập lệnh rất hữu hiệu trong phân tích
2.6 Các lĩnh vực ứng dụng
Kho dữ liệu có rất nhiều ứng dụng trong thực tiễn phân tích dữ liệu và hoạch định chiến lược – chiến thuật hoạt động hoặc kinh doanh của các cơ quan – doanh nghiệm và
có thể chia thành ba nhóm ứng dụng chính:
1 Xử lý thông tin như tạo ra các báo cáo và trả lời các câu hỏi định trước
2 Phân tích và tổng hợp dữ liệu, kết quả được thể hiện bằng các báo cáo và bảng biểu
3 Dùng trong các mục đích kế hoạch như khai phá (còn gọi là khai khoáng) dữ liệu
Trang 7Các lĩnh vực hiện tại có ứng dụng kho dữ liệu bao gồm:
1 Phân tích hoạch định kinh doanh
2 Thương mại điện tử
3 Quản lý quan hệ khách hàng (CRM - Customer Relationship Management)
4 Chăm sóc sức khỏe
5 Viễn thông
2.7 Các mô hình thiết kế Kho dữ liệu
Có nhiều mô hình thiết kế Kho dữ liệu
1 Subject Oriented – Hướng chủ đề
- Kho dữ liệu được thiết kế để hỗ trợ trong việc phân tích dữ liệu
- Được tổ chức xung quanh các chủ đề chính như: khách hàng, sản phẩm, bán hàng,…
- Loại bỏ những dữ liệu không hữu ích cho trình ra quyết định
Mô hình này giúp cho người dùng hướng theo một chủ đề nhất định giúp xác định được những thông tin cần thiết trong hoạt động của mình
2 Integrated – Hướng tích hợp
- Dữ liệu của kho dữ liệu rất đa dạng
- Dữ liệu được tập hợp từ nhiều nguồn khác nhau:
Mô hình này dựa trên Cở sở dữ liệu quan hệ (Relational Databases), flat files, các bảng ghi toàn tác trực tuyến Điều này sẽ dấn đến việc trong quá trình tập hợp dữ liệu phải thực hiện việc tiền xử lý, tức là: làm sạch, sắp xếp, rút gọn dữ liệu
3 Non Volatile – Hướng ổn định
- Dữ liệu được lấy từ nhiều nguồn dữ liệu của hệ thống tác nghiệp có sẵn
- Kho dữ liệu tách rời với vật lý, trực tiếp từ môi trường tác nghiệp, nên dữ liệu
trong kho dữ liệu là dữ liệu chỉ đọc, không chỉnh sửa hoặc thêm mới được
4 Time Variant – Hướng biến đổi theo thời gian
- Dữ liệu bao gồm quá khứ và hiện tại
- Mỗi dữ liệu trong kho dữ liệu đều được gắn với thời gian và có tính lịch sử
Dữ liệu trong kho dữ liệu rất lớn và không được thêm, xóa, sửa dữ liệu
2.8 Các bước cơ bản trong tiến trình tích hợp dữ liệu
Từ các nguồn không đồng nhất, ta tiến hành các bước tích hợp kho dữ liệu như sau:
Trang 8Bước 1 Trích xuất dữ liệu: thu thập dữ liệu lớn từ nhiều nguồn từ đa nền tảng
Bước 2 Làm sạch: tìm lỗi và sửa sai Data Base nguồn
Bước 3 So khớp mẫu: Lọc và chuyển đổi dữ liệu = chuyển đổi từ định dạng cơ sở dữ
liệu sang định dạng kho (DWH)
Bước 4 Lưu trữ dữ liệu theo cấu trúc: sắp xếp, hợp nhất và tổng hợp, nhằm dễ truy
cập, dễ hiểu và dễ sử dụng
2.9 Khai thác sử dụng Kho dữ liệu
Một số cấu trúc khai thác sử dụng kho dữ liệu thông dụng:
Vấn tin với các phép toán tổng hợp của SQL trên kho dữ liệu: SQL Subtotal, bao gồm: + Mệnh đề GROUP BY
+ Các mở rộng của các hệ quản trị cơ sở dữ liệu để hỗ trợ cho kho dữ liệu, gồm:
Mệnh đề SQL CUBE
Mệnh đề SQL ROLLUP
Mệnh đề SQL GROUPING SETS
Kết hợp các phép toán SUBTOTAL
Vấn tin với các hàm phân tích của SQL trên kho dữ liệu: SQL Analytic, gồm:
Mô hình xử lý và cú pháp cơ bản
Cú pháp mở rộng và các hàm xếp hạng (rank)
So sánh cửa sổ (Window Comparisons)
Các hàm so sánh tỷ lệ
Vấn tin dùng Materialized View để phân tích trên kho dữ liệu, gồm: Truy vấn dùng Materialized View với khung nhìn (views)
Hệ thống OLAP (On-Line Analytical Processing: công cụ xử lý phân tích trực tuyến), gồm:
+ Cube (khối) Khối dữ liệu + Tạo khối (cube) cho dữ liệu với
Các bảng đa chiều(dimension table) và
Bảng sự kiện (fact table)
+ Một số thao tác (lệnh) cơ bản của OLAP:
Thu nhỏ (roll-up): VD: nhóm dữ liệu theo năm thay vì theo quý
Trang 9Mở rộng (drill-down): VD: mở rộng dữ liệu, nhìn theo tháng thay vì theo quý
Cắt lát (slice): nhìn theo từng lớp một
Ví dụ: từ danh mục bán hàng của Q1, Q2, Q3, Q4 chỉ xem của Q1
Rút ngắn (dice): bỏ bớt một phần của dữ liệu (thêm điều kiện WHERE vào câu
lệnh trong SQL)
3 MINH HỌA MỘT MÔ HÌNH KHO DỮ LIỆU
3.1 Giới thiệu mô hình Data nguồn
Xét mô hình phân tích kho dữ liệu: Quản lý khám chữa bệnh bằng Thể bảo hiểm y tế: Gồm 2 Data Base
[1] Data Base: Quản lý Thẻ BHYT như Hình 7: QLBHYT
Hình 7 Cơ sở dữ liệu ngồm: Quản lý thẻ Bảo hiểm y tế
[2] Data Base: Quản lý Khám chữa bệnh dùng Thẻ Bảo hiểm Y Tế như Hình 8: QLKCB
Hình 8 Cơ sở dữ liệu nguồn: Quản lý khám chữa bệnh bằng bảo hiểm y tế
Một số giải thích:
+ Nếu DOTKHAM có MATHE_BHYT <> NULL = Bệnh nhân sử dụng Thẻ BHYT
+ Chi phí thuốc = SL * GIA (thuốc)
+ Chi phí dịch vụ = SL * GIA (Dịch vụ)
+ Nếu không dùng dịch vụ thì Chi phí dịch vụ = 0, Nếu không cấp thuốc thì Chi phí thuốc = 0
Trang 103.2 Các yêu cầu đặt ra
Phân tích tổng chi phí Khám chữa bệnh (Fact: Factor) dùng BHYT theo các Dim
(Dimension)
+ Theo Loại Đơn vị
+ Theo Ngày
+ Theo Cơ sở y tế
+ Theo Quận
3.3 Phân tích Kho dữ liệu
Xuất phát từ Factor TongChiPhiDichVu, TongChiPhiThuoc, TongSoLuotKham, ta thấy: TongChiPhiThuoc = được tính theo trình tự
DOTKHAM.STT:
Tiền (chi phí) thuốc [Tien]= CAPTHUOC.SL * DMTHUOC.GIA / MSTHUOC, STT Tổng Tiền (chi phí) thuốc theo từng lượt khám [TienSTT] = SUM(Tien) / STT
Tông Tiền (chi phí) thuốc theo từng KV làm cơ sở nạp vào BIDS phân tích số liệu nhà kho TongChiPhiDichVu = tính theo trình tự tương tự trên
CÀI ĐẶT Views
TÍNH TIỀN THUỐC CHO TỪNG ĐỢT KHÁM (STT)
w_TienThuocMsThuoc: Tính tiền thuốc theo từng loại thuốc (MSTHUOC) của mỗi đợt
khám (STT) = dùng 3 Tables[k, c, t]
SELECT k.STT, t.MSTHUOC, c.SL, t.GIA, c.SL * t.GIA AS Tien
FROM dbo.DOTKHAM AS k INNER JOIN
dbo.CAPTHUOC AS c ON k.STT = c.STT INNER JOIN
dbo.DMTHUOC AS t ON c.MSTHUOC = t.MSTHUOC
GROUP BY k.STT, t.MSTHUOC, c.SL, t.GIA
w_TienThuocSTT: Tính tiền thuốc theo từng đợt khám (STT) = dùng 1 Table + View nêu
trên [k, t]
SELECT k.STT, SUM(t.Tien) AS TienThuocSTT
FROM dbo.DOTKHAM AS k INNER JOIN
dbo.w_TienThuocMsThuoc AS t ON k.STT = t.STT
GROUP BY k.STT