Luận văn nghiên cứu giải pháp kho dữ liệu trong sql server 2008 và Áp dụng trong thương mại

Ngoài ra cũng trình bảy một số công cụ được sử dụng trong việc xây dựng kho dữ liêu như: SSI8 dùng cho tích hợp, SSRS dủng cho bảo cáo, SSAS dủng cho phân tích đữ liệu và SSMS đúng cho

Trang 1

DALHOC QUGC GIA HA NỘI

TRUONG DAI HOC CONG NGHE

TRAN VAN THANH

NGHIÊN CỨU GIẢI PHÁP KHO Di LIEU TRONG SQL SERVER 2008 VA AP DUNG TRONG THUONG MAI

LUẬN VĂN THẠC SĨ

Trang 2

TRAN VAN THANH

SQL SERVER 2008 VÀ ÁP DỰNG TRƠNG THƯƠNG MAT

Xgành: Công nghệ thông tin Chuyên ngành: Hệ thẳng Thông tin

Mã số: 60 48 05

LUẬN VĂN THẠC SĨ

NGƯỜI HƯỚNG DẪN KHOA HỌC: PGS T§ Đỗ Trung Tuân

Hà Nội — 2011

Trang 3

Mục lục

BANG DANI SACU CAC TU! VIEL TAY

DANH SACH HINH VE

DANII SACII BANG BIT

LOI MG DAU eeccccccseesescsteeessssceeegsssseee

Chuong 1 TONG QUAN VE KHO DU LIEU

1.1 Các khải niệm:

1.1.1 Kho dữ liệu

1.1.2 Mục địch của kho dữ liệu

1.1 3 Dic tinh của kho đữ liện

1.1.4 Phân biệt kho dữ liệu với cơ sở dữ liệu tắc nghiệp

Kiền trúc kho dữ liệu

1.2.1 Nguồn đữ liệu sexy

1.2.2 Kho dit liệu

Kho dit ligu chuyén biét

1.2.4 Kho siêu đữ liệu

1.2 5 Vùng chứa tạm

1.26 Người dùng

1.3 Qui trình xây dựng kho đữ liệu

1.3.1 Qui trình xây dựng kho đữ liệu

1.3 2 Chỉ liết các bước xây dung kho đứ liệu

1.4 Tổng kết ehương

Chương 2 CÔNG NGHỆ KHO DỮ LIỆU TRONG SQL SURVLR

2.1 Lý do sử đựng công nghệ kho dữ liệu của Microsoft

2.2 Giải pháp tổng thể kho dữ liệu của Mierosof

Cài tiến cho kho đữ liệu trong SQL Server 2008

3.4.4 Bộ công cụ phát triển trí tué doanh nghiép

3.4.5 Công cụ quản lý SQI Server

2.4.6 Dịch vụ tác nhân SQL Server

2.5 Qui trình xây dựng kho đữ liệu của Microsofl

2.6 Tổng kết chương

Chương 3 XÂY DỰNG KHO ĐỪ LIỆU situ TI

3.1 Giới thiệu về siêu thị

Trang 4

3.5 Xây dựng kho dữ liệu siêu thị

3.5.1 Kiến trúc tổng thẻ kho dữ liệu

3.5.5 Thiết kế khỏi đữ liệu

3.5.6 Khai thác khối dữ liệu _

3.5.7 Tạo các mẫu báo cáo phân tich

3.5.8 Tạo lịch thực hiện công việc tự động

Chương 4 KET QUA CAI IAT THU NGHTEM %

4.1 Mỗi trưởng cải đặt

4.3 Kết quả chạy thử nghiệm 2522202022022

4.3.1 Thời gian chạy tích hợp đữ liệu -.sccccccceeccerre 70

4.3.2 Thời gian cập nhật khôi dữ liệu 3 ủ isms

4.3.3 Thoi gian phan tich $6 HU .s :-sssssssssssseesseeseseetsncseetnsteeenssees TL

4.4.1 Các mẫu bảo cáo ccc ¬ 71

đI4.2./Gãp:tiÑ BHNH HERoucxsnsesonngRiestoA8i0.00008ngiiia1dnunsnassossaaulfE:

Trang 5

BANG DANH SACH CAC TU VIET TAT

BIDS Business Intelligent Development Studio | Trinh phat trién tri tué doanh

nghiép

XML Extensible Markup Language Ngôn ngữ đánh dâu mở rộng

ETL Extract - Transform - Load Trich rút — Biển đổi ~ Nạp

MOLAP | Multidimensional OLAP OLAP đa chiều

OLAP _ | Online Analytical Processsing Xử lý phân tích trực tuyển

OLTP | Online Transaction Processing Xử lý giao dịch trực tuyển

ops Operational Database Store Kho dữ liệu tác nghiệp

RDBMS | Relational DataBase Management Hệ quản trị CSDL quan hé

System

scD Slowly Changing Dimension Chiều thay đổi chậm

SSAS SQL Server Analysis Services Dịch vụ phân tích của SQL

Server SSIS SQL Server Integration Service Dịch vụ tích hợp của SQL Server SSMS _ | SQL Server Management Studio Trình quản lý của SQL Server

SSRS SQL Server Reporting Services Dịch vụ bảo cáo của SQL Server

UDM Unified Dimensional Model Mô hình chiều thông nhật

Trang 6

Hình 1.2 Kiến trúc kho dữ liệu : Ñ si sescaessvis Ld

Hình 2.2 Kiền trúc dịch vụ tích hợp SSIS

Hình 2.3 Ví dụ về một luông đữ liệu

Hình 2.4 Kiên trúc dịch vụ báo cáo SSRS

Hình 2.5 Kiến trúc dịch vụ phân tích SSAS

Hình 2.6 Mân hình khỏi tạo mẫu dự án DW/BI trong BIDS

Hinh 2.7 Màn hình quản lý của SQL Server

Hình 2.8 Mản hình tạo công việc

Hình 2.9 Qui trình xây đựng kho dữ liệu của 1 Microsoft

Hinh 3.1, Mé hình hoat déng eta phém mém quan ly siêu

Hình 3.2, Các chiều phân tích theo các chủ đẻ

Hinh 3.3 Sơ đỏ quan hệ các bảng đữ liệu nguồn

Hình 3.4 Kiến trúc tỏng thê kho đữ liệu siêu thị Hư

Hình 3.5 tu trúc các bảng dữ liệu của SieuThi DWV

Hình 3.6 lu trúc các bảng dữ liệu của SieuThi_DM

Hình 3.7 Sơ đồ tỏ chức lưu trữ cho SieuThi_DM

Hình 3.8 Gói tich hop PKG_STG Controller

Hinh 3.9 Goi tich hop PKG_DW_Controller

Hinh 3.10, Goi tich hop PKG_DM _Controller

Hinh 3.11 Man hinh ket néi dén SieuThi_ DM

Hình 3.13 Màn hình cấu trúc khói Cube POSRetail

Hình 3.14 Câu hình khỏi dữ liệu Cube POSRetail

đến khối dữ liêu từ Excel

Hình 3.17 Màn hình hiện danh sách các trường của PivotTable

Hình 3.18 Mẫu phân tích trong Excel sử dụng PivotTable

Hình 3.19 Màn hình SieuThi_Tob của tác nhân SQL Server

Hình 4.1 Màn hình lịch sử chạy Job_SieuThi_01

Hình 4.2 Danh sách các bảo cáo

Hình 4.3 Báo cáo “BCOI - Doanh thu ban hang theo các năm”

Hình 4.4 Báo cáo “BCI1 - Top 10 mặt hàng doanh số cao thong! hang’ a

Hình 4.5 Mẫu phân tích số lượng bản theo hàng hóa vả thời gian 72

Hình 4.6 Mẫu phân tích doanh thu theo tháng giữa các năm 73

Trang 7

DANH SACH BANG BIEU

Bang 3.1 Danh sach cac bang trong kho dit héu SieuThi_SRC

Bang 3.2 Danh sach cac bang trong kho dữ liệu SieuThi DW

Bang 3.3 Danh sach cac bang trong kho dit liéu SieuThi_DM

Bang 3.4 Danh sách các gói tích hợp cho SieuThi_STG

Bang 3.5 Danh sách các gỏi tích hợp cho 8ieuThi_DW

Bảng 3.6 Danh sách các gói tich hop cho SieuThi_DM

Bảng 4.1 Số bản ghỉ của các bảng trong SieuThi_SRC

Bảng 4.2 Số bản ghi của các bảng trong SieuThi_DW

Bảng 4.3 Số bản ghi của các bảng trong SieuThi DM

Trang 8

nghiệp sẽ là xu thê tất yếu trong những năm tới ở Việt nam Thực ra, kho đữ liệu đã được áp dụng khả phỏ biến tại các nước phát triển như Mỹ, Úc, Đức, Nhật Tại Việt nam thì cho đến nay kho dữ liệu cũng đã được bắt đầu áp dụng cho một số ngành đi

tiên phong trong lĩnh vực CNTT như Ngân hàng, Tải chính và Bưu chính Viên thông Nhưng nhìn chung số lượng doanh nghiệp có kho dữ liệu là chưa nhiêu, vì các doanh

nghiệp van đang phải ưu tiên phân mềm phục vụ tác nghiệp như kế toán, nhân sự, tiên

lương, bản hàng, đặt hàng, hoạch định doanh nghiệp, phần mềm lõi, phân mềm quan

lý quan hệ khách hàng Nhưng trong vải năm tới, khi các phan mềm tác nghiệp đã được áp dụng phỏ biên vả chạy ôn định thi việc lâm thế nào đề khai thác được khói dữ liệu tác nghiệp đã cỏ một cách hiệu quả nhất là điều ma các doanh nghiệp sẽ rất quan

tâm

Nhận thây được xu thể nảy, nên tên đề tải đã được đăng kỷ lá “Nghiên cứu giải

pháp kho dữ liệu trong SQL Server 2008 và áp dụng trong Thương mại” cho luận văn

tốt nghiệp Hy vọng đây là cơ hội tốt đẻ nghiên cửu va tim hiểu tổng quan về kho dữ

liệu và qui trình xây dựng nó, đề nghiên cửu các giải pháp công nghệ cho kho dữ liệu

của Microsoft nỏi chung và của SQL Server 2008 nỏi riêng, và cuối cùng lả việc áp dụng những gì nghiên cứu được đề xây dựng thử nghiệm kho dữ liệu cho bài toản thực

tế trong lĩnh vực thương mại

Nhờ sự giúp đỡ của bạn bè mà một phần dữ liệu đề thử nghiệm vả một số yêu câu vẻ kho dữ liệu của siêu thị bán lẻ 7-Ä⁄ar? đã được thu thập Vì vậy, bải toản áp

dụng thử nghiệm lả xây dựng kho dữ liệu cho siêu thị 7-Mari

Ngoài phần mở đâu phần kết luận, nội dung luận văn được chia thành 4 chương

như sau:

Chương 1 Tông quan về kho đữ liệu, chương nảy trình bảy một cách tổng thẻ vẻ các khải niêm kho dữ liệu, cầu trúc kho dữ liêu, qui trình xây dựng kho đữ liêu, và

cách thức khai thác kho đữ liệu

Chương 2 Tìm hiểu công nghệ kho dữ liệu trong SQL Server, chương này trình bảy giải pháp công nghệ kho dữ liệu của Microsoft, má đặc biệt là cia SQL Server

2008 Ngoài ra cũng trình bảy một số công cụ được sử dụng trong việc xây dựng kho

dữ liêu như: SSI8 dùng cho tích hợp, SSRS dủng cho bảo cáo, SSAS dủng cho phân tích đữ liệu và SSMS đúng cho việc theo dõi và quan lý

Chương 3 Xây dựng kho dữ liệu siêu thị, chương nảy chủ yếu tập trung trình bày

những gì liên quan đền việc xây dựng kho dữ liệu siêu thị Nội dung bao gồm phạm vĩ

và yêu càu bải toán, cầu trúc đữ liệu nguồn và đích, chỉ tiết các gỏi tích hợp dữ liệu cải

Trang 9

đặt bởi SSIS, chỉ tiết khỏi đữ liệu cải đặt bởi SSAS và cuối củng các mâu các báo cáo

và phân tích nhằm khai thác kho dữ liệu

Chương 4 Kết quả cài đặt thử nghiệm Chương này tóm tắt các phan đã được cải

đặt và chạy thử nghiệm như: dữ liệu nguồn vả đích, thời gian chạy các gói tích hợp, thời gian cập nhật khói dữ liệu, thời gian đáp ứng khi phân tích, và các mẫu phân tích

và bảo cáo

Phân kết luận trinh bảy tổng hợp các kết quả thực hiện luận văn cũng như các phần cần mở rộng khi áp dụng cho thực tế

Trang 10

Dinh nghia: kho dit liéu (Data Warehouse - DW) la tuyén tap các CSDL tích hợp,

hướng chủ đề, được thiết ké dé hé tro cho chite nang tro giip quyét dinh, ma méi đơn

"

vị dữ liệu đều liên quan tới một khoảng thời gian cụ thể

Thực ra, cũng có nhiêu định nghĩa vẻ kho đữ liệu khác nhau, nhưng tất cả đều hướng đến mục đích là hỗ trợ cho chức năng trợ giúp quyết định

Ngoài việc chứa đựng một CSDL quan hệ, kho dữ liệu còn bao gồm các bước

tích hợp đữ liệu, công nghệ OLAP, các công cụ phân tích, và các ứng dụng cho việc

thu thập và cung cấp dữ liêu tới người sử dụng,

1.12 Mục địch của kho dữ liệu

Mục tiêu chỉnh của kho dữ liệu là nhằm đáp ứng các van dé cơ bản sau:

e_ Tích hợp dữ liêu từ nhiều nguồn khác nhau;

đữ liêu theo những hướng chủ đề nhất định;

e Sử dụng cho các hệ thống hỗ trợ quyết định, các hệ thống thông tin tác

nghiệp hoặc hồ trợ cho các truy vẫn đặc biệt,

1.1.3 Đặc tỉnh của kho dữ liệu

Kho đữ liệu có các đặc tính như Z#inh 1.1, gồm bồn đặc tính sau:

Hình 1.1 Đặc tính của kho dữ liệu

Trang 11

Kho dữ liệu được tỏ chức xung quanh các chủ dé chỉnh như khách hàng, tài

chính, bán hàng, mua hảng tập trung vào việc mô hình hỏa và phân tích dữ liệu cho

những người đưa ra quyết định, mả không tập trung vào các hoạt động xử lý tác

e CSDL tác nghiệp lại cản những dữ liêu chỉ tiết, phục vụ trực tiếp cho những yêu cầu xử lý theo các chức năng của lĩnh vực ứng dụng hiện thời

Do vậy môi quan hệ của dữ liệu trong những hệ thông này cũng khác, đỏi hỏi phải có tính chính xác và có tính thời sự

1.1.3.2 Tính tích hợp

Tỉnh tích hợp được thẻ hiện bằng việc tích hợp dữ liệu từ các nguồn dữ liệu hỗn

tạp khác nhau Các kỹ thuật làm sạch vả tích hợp dữ liệu được áp dụng để đảm bảo sự

đồng nhất trong các quy ước tên, cầu trúc mã hóa, các đơn vị đo thuộc tính giữa các nguồn khác nhau Kho dữ liệu phải đưa các dữ liệu từ các nguồn khác nhau về định dang phủ hợp Ngoài ra cũng cần phải giải quyết những vẫn đề như xung đột tên va

mâu thuần giữa các đơn vị đo

1.1.3.3 Tính ôn định

Tính ôn định thể hiện ở chỗ dữ liệu trong kho đữ liệu chỉ đọc và khai thác, không, được sửa đổi bởi người sử dụng đầu cuối Nó chỉ cho phép thực hiện hai thao tác cơ

bản:

«_ Truy cập dữ liệu từ kho dữ liệu

Thông tin trong kho dữ liệu được nạp vảo sau khi dữ liệu trong hệ thống tác nghiệp đã xong giao dịch Tỉnh không biến động thẻ hiện ở chỗ dữ liệu được lưu trữ

lâu dài trong kho đữ liệu Mặc đủ có thêm dữ liệu mới nhập vào nhưng dữ liệu cũ

Trang 12

trong kho vẫn không bị xoá và sửa đôi, điều đỏ cho phép cung cấp thông tin về một khoảng thời gian dài, cung cap đủ số liêu cản thiết cho các mô hình nghiệp vụ phân

tích, đự bảo

Tuy nhiên, trong thực tế nêu các bảng dữ liệu cỏ kích thước quá lớn thì cũng phải

có kế hoạch đề lưu trữ bớt các đữ liệu trong quả khứ, thời gian có thể sau 5-10 năm tuy theo yêu câu nghiệp vu báo cáo liên quan Sau khi lưu trữ dữ liệu cũ thi có thể xoá đi

trữ thành hàng loạt các bản chụp ảnh, mỗi bản ghi phản ảnh giả trị của dữ liệu tại một

thời điểm nhất định Điều này cho phép người sử dụng có thể lây lại đữ liêu lịch sử và

so sảnh đữ liệu cho các giai đoạn khác nhau Yếu tỏ thời gian dong vai trỏ như một phần của khoả đẻ đảm bảo tỉnh duy nhật của một hảng và cung cấp đặc trưng về thời

gian cho dữ liệu

1.1.4 Phân biệt kho dữ liệu với cơ sở dữ liệu tác nghiệp

Trên cơ sở các đặc trưng của kho dữ liệu thì có thể phân biệt kho dữ liệu với những CSDL tác nghiệp như sau:

đỗ của người sử dụng đâu cuối

e Kho dữ liệu thường quản lý một khối lượng lớn thông ti hơn so với

CSDL tác nghiệp

e Kho đữ liệu có thê lưu trữ các thông tin tông hợp theo một chủ đẻ nghiệp

vụ nảo đó sao cho tạo ra các thông tin phục vụ hiệu quả cho việc phân tích

của người sử đụng

e_ Kho dữ liệu thông thường chửa các dữ liệu lịch sử kết nổi nhiều năm của

các thông tin tác nghiệp, khác với dữ liệu trong CSDL tác nghiệp thường,

là mới, có tỉnh thời sự trong khoảng thời gian ngắn

e Kho dữ liệu chỉ chứa các dữ liệu của CSDL tác nghiệp mà đã được chắt

lọc và tông hợp, chỉ chứa những dữ liệu cản thiết cho công tác quản lý hay trợ giúp quyết định

Trang 13

1.2 Kiến trúc kho dữ liệu

Kiến trúc đây đủ của kho dữ liêu bao gồm năm tầng nhu Hinh 1.2 bên dưới Nhưng thực tế không phải lúc nào cũng cần có đây đủ cả nim tang nay, Tang Staging Area va Data Mart c6 thé bo di tay theo yéu cau cu thé cua timg dự án

Data Staging Data Sources “Aros Warehouse Mars Users

a ra) ng hey ‘0 area) (or acta) Mạng ương,

Hình 1.2 Kiến trúc kho dữ liệu

1.2.1 Nguén dit ligu

Nguồn đữ liệu cho kho dữ liệu có thể một trong cac dang sau:

e CSDL của cac phan mém ứng dụng hoặc của các hệ thông tác nghiệp

được lưu trữ bởi một hệ quản trị CSDL như Oracle, SQL Server, Access,

DB2

Kho dữ liệu hay còn gọi là kho dữ liêu mức doanh nghiệp lả thành phần chứa dữ

liệu lịch sử của nhiêu chủ đẻ khác nhau, nỏ bao gồm cả dữ liệu thô và đữ liệu đã được tổng hợp ở một mức thập Cụ thẻ như sau:

©_ Dữ liệu thô: đây là phần chứa toàn bộ dữ liệu ở mức chỉ tiết nhất được lẫy

từ dữ liêu nguồn sau khi đã loại bỏ những dữ liệu không cản thiết và biển

Trang 14

nay thường tổ chức phi chuẩn và được dùng cho mục đích phân tích bảo

cáo cũng như đầu vào dữ liệu cho việc xây dựng các kho dữ liêu chuyên biệt

1.2.3 Kho dữ liệu chuyên biệt

Kho dữ liêu chuyên biệt là thành phần chửa dữ liệu tổng hợp theo một chủ đề nào

đỏ như bán hàng, tôn kho, đặt hàng, thu nợ nhằm phục vụ cho việc truy vân, báo cáo

và phân tích dữ liệu một cách đề dàng và nhanh chóng cỏ kết quả Trong thảnh phẩn

nay mô hình dữ liệu thường được tổ chức dưới dạng lược đỗ hình sao, bao gồm bảng,

dữ liêu thông kê nằm ở trung tâm gọi là bảng sự kiên vả các chiêu thông kê gọi là bảng chiều nằm ở xung quanh

Vi du: luge dé hinh sao vé ban hang nhu Hinh 1.3 6 dudi

DsteTine Samp Tim: BnaáonldesifutfK] Day The tp,

Lscsiss1asszenldesisf7E]

Erodad DnerionIdalfi|FE) Orgswstie Cinascion iste FE)

[LOCATION DIMENSION | |sie:psmr [TIME DREN:

[Location Dimenzion Idantifice(PK] Bote Time Stamp [Time Dimension identifier PK)

Month Day Number

rektienbor

Day OF Wek,

Calendar Date Bate Tine Stamp

Kho siêu dữ liệu là thành phần chứa đữ liệu đình nghĩa về cầu trúc kho dữ liệu, định nghĩa về các công việc (Job) cho quả trình tích hợp, chứa các dữ liệu về người sử dụng và quyền hạn Nó có thể được lưu trữ trong một cơ sở đữ liệu quan hệ hoặc dưới dạng hệ thông tập tin có cầu trúc

1.2.5 Vùng chứa tạm

'Vùng chứa tạm là thành phần chứa dữ liệu trung gian phục vu cho qua trình tích

hợp đữ liệu được hiệu quả hơn, nó không cỏ ý nghĩa với người dùng đâu cuối Vùng,

Trang 15

thực hiện như ví dụ ở #ình 7.4 bên dưới

(Chuyến đỗi góc nhìn nghiệp vụ) (Phân tích đa chiều)

Hình 1.4 Ví dụ phân tích dữ liệu bởi người dùng 1.3 Qui trình xây dựng kho dữ liệu

1.31 Qui trình xây đựng kho dữ liệu

Việc xây dựng và phát triển kho dữ liệu là một việc không đơn giản, nó đòi hỏi

phải cỏ một phương pháp tiếp cận thích hợp Hiện nay cỏ nhiều cách tiếp cân khác

nhau nhưng đều dựa trên ba kiểu cơ bản sau:

©_ Tiếp cận theo hưởng tăng dần

« _ Tiếp cân theo hướng từ trên xuồng

©_ Tiếp cận theo hướng từ dưới lên Mỗi cách tiếp cận đều cỏ các ưu và nhược điềm riêng, cách tiếp cân như Hinh 1.5 sau đây là một phương pháp tiếp cận phô biển hiện nay

Trang 16

e Lập kẻ hoạch xây dựng kho dữ liệu: kết quả là phải đưa ra được tập các

yêu câu cho việc xây dựng kho dữ liệu và kẻ hoạch thực hiện

người sử dụng

©_ Lập kế hoach cai dat vat ly: bao gém việc lựa chọn kiến trúc tỉnh toán cho

hệ thống máy chủ phục vụ cho kho dữ liệu vả lập kế hoạch lưu trữ dữ liệu

e Xây dựng qui trình tích hợp cho kho dữ liệu: xây dựng ra các công việc đề

thực hiện việc tích hợp đữ liệu từ nguồn vào kho dữ liệu

1.32 Chỉ tiết các bước xây dựng kho dữ liệu

1.3.2.1 Lập kế hoạch xây dựng kho dữ liệu

Việc lập kế hoạch xây dựng kho dữ liêu bao gồm các nội dung cơ bản sau:

quản lý chỉ phí

Trang 17

15

mà kho đữ liệu sẽ mang lại, định nghĩa các chủ đè mà kho dữ liệu sẽ

về hiệu năng và kích cỡ của chúng,

1.3.2.2 Xác định các yêu cầu khai thác thông tin từ kho dữ liệu

Mục đích chính của việc xây dựng và phát triển kho đữ liêu là phục vụ cho vai

trỏ khai thác thông tin của người dùng, vi vậy việc xác định được yêu cầu khai khác

thông tin của người sử dụng là rất quan trọng và nó là căn cứ để đánh giá mức độ thành công của kho dữ liệu Công việc nảy bao gồm các nội dung cơ bản sau:

e Xác đỉnh các dang người sử dụng của kho dữ liệu: thông thường cỏ bồn

dạng người sử dụng kho dữ liêu là lãnh đạo, quản lý phỏng ban, chuyên viên phân tích và cán bộ tin học

©- Xác định tập hợp các yêu cầu của người sử dụng: xác định các nghiệp vụ,

các thuộc tính các phân cấp mà nguời dùng cân khai thác

e Xác định yêu cau khai thác thông tin của người sử dụng: xác định các mức

độ yêu cầu phân tích là tổng hợp, chỉ tiết, bất thường cũng như cách

thức khai thác

©_ Xác định các công việc quản lý việc khai thác của người sử dụng: yêu cầu

cho việc truy cập và khai thác thông tin của người sử dụng phải được quản

lý sao cho vừa đâm bao được tính dé dang cho người đủng nhưng vẫn vừa

đảm bảo được tỉnh an toàn và bảo mật của hệ thống

Xây dựng mô hình kho dữ liệu

Việc xây đựng mô hình kho dữ liệu sẽ được thực hiện qua bôn bước cơ bản sau:

©_ Xác định mô hình nghiệp vụ;

¢ Tao mé hinh logic;

Tao mé hinh vat lý

Tuần tự các bước được thẻ hiện trong Hinh 1.6 bên dưới

Trang 18

Hình 1.6 Các bước xây dựng mô hình kho dữ liệu

Việc xác định mô hình nghiệp vụ dựa trên các bước sau:

Xác định các yêu cầu nghiệp vụ

Xác định các đại lượng tính toán như số lượng, thảnh tiên, khuyên mãi

3Xác định các chiếu đủ liệu dhủ hàng hoá, khách: bàng, kênh báu: Hằng,

vùng miễn, thời gian

Xác định các định nghĩa nghiệp vụ vả các qui tắc nghiệp vụ

Xác định nguồn dữ liệu chính: nguồn dữ liệu có liên quan đến các nghiệp

vụ cản thiết cho kho dữ liệu

Xác định nguồn dữ liệu khác: nguồn đữ liệu từ bên ngoải, đữ liệu không,

phải dạng CSDL quan hé

'Tạo mô hình logic: thực hiện sau khi xác định được các chủ dé cho kho dữ liệu

thi cân xác định mô hình logie của kho đữ liệu Có ba loại kiểu mô hình thường dùng

cho kho dữ liệu là: mô hình chuẩn hoá, mô hình phí chuẩn hoá vả mô hình hình sao Chi tiết cho từng mô hình như sau:

Mô hình chuẩn hoá: tức là dữ liệu được tổ chức theo chuân, thường lả theo chuẩn 3NF giống như khi tổ chức dữ liệu trong OLTP

Mô hình phi chuân: dữ liêu được lưu trữ đây trong các bảng Mục địch là phi chuẩn hoá các bảng dé thém hau hết các cột được truy nhập vào một

Trang 19

Tạo mô hinh mức tổng hợp: mô hình này chứa các loại bảng dữ liệu sau:

¢ Bang téng hợp: chứa dữ liệu tổng hop ở mức cao thường là tổng hợp dữ

liệu từ bảng sự kiện theo một hoặc vài chiều

e Bảng tính trước: chứa dữ liệu đã được tỉnh toán sẵn nhằm phục vụ cho mục đích khai thác nảo đó, thường dữ liêu cho các bảng bảy không cho

phép lên mức cao hơn nữa và đẻ cỏ được dữ liệu này phải thực hiện việc tỉnh toán phức tạp

thời gian, giổng như việc chụp ảnh, tại các thời điểm khác nhau thỉ tập dữ liệu cũng khác nhau Các bảng này thường chứa các tập dữ liệu được lặp

chứa số dư của từng loại tiên theo ngảy, bảng chứa số lượng khách hang

đang ở trạng thái hoạt động theo tửng vủng vả theo từng ngày, các bảng nảy được sinh ra tuỷ theo yêu câu khai thác dữ liệu #in# 7.7 bên dưới là

ví dụ về mô hình mức tổng hợp

Hình 1.7 Vĩ dụ về các bảng tông hợp

Tạo mô hình vật lý: đây chính là bước chuyên đổi từ mô hình logic sang mô hình

vật lý, tức lả thực hiện cải đặt các bảng dữ liệu lên một cơ sở dữ liệu cụ thể Các công

việc phải làm trong bước nảy bao gồm:

Trang 20

Ví dụ: tên bảng chiều thì bắt đầu bằng tiên tổ DIM_, tén bang su kién thi bắt đầu bằng F4CT_, tén index thi bat dau bang IDX_

«_ Thiết lập các chỉ mục: cho mục địch thực hiện truy vẫn được nhanh hơn

e_ Thiết lập các phân vùng: cho mục đích truy vấn được nhanh vả dễ bảo trì

kho dữ liệu sau nay

e Cấu hình tôi ưu cho kho dữ liệu: bằng cách thiết lập các tham số cho CSDL dé tang hiệu năng thực hiện truy vân và đảm bảo an toản cho kho

dữ liệu

©_ Câu hình cho kho dỡ liệu chạy ở chế độ song song

1.3.2.4 Lập kế hoạch cài đặt vật ly

Việc cài đặt vật lý cho kho dữ liêu cũng cần được xem xét một cách kỹ lưỡng khi

tiễn hành xây đựng kho dữ liệu, nó bao gồm nhiều công việc khác nhau như chuẩn bi

cơ sở hạ tằng mạng máy tính, máy chủ thiết bị lưu trữ, thiết bị sao lưu, thiết bị bảo

mật Nhưng chủ yếu sẽ tập trung vào hai yêu tỏ quan trọng khi cài đặt vật lý là: chọn

lựa mô hình vật lý và lập giải pháp lưu trữ cho kho dữ liệu

Chọn lựa mô hình vật lý: việc xác định mô hình vật lý thường theo một trong các

mô hình phô biển sau

e Mô hình SMP (Symmetrie Multi-Processing): tức là kiến trúc mà nhiều

CPU trên củng một máy chủ củng chia sẽ một bộ nhớ và hệ thông đĩa, chỉ

tiết như /7inÿ 1.8 bên dưới

Hình 1.8 Mô hình SMP

® Mô hình Cluster: là mô hình mà gồm có nhiều máy chủ được nồi với nhau thành một khôi thông nhất vả cùng chia sé chung hệ thông đĩa ngoải, như Hình 1.9, cùng tham gia vào xử lý các công việc với nhau Ở góc độ người dùng cỏ thể xem các máy chủ này tương đương như một máy chủ Các máy chủ nảy thường được nối với nhau thông qua một thiết bị hỗ trợ băng

thông rông

Trang 21

Hình 1.9 Mô hình Cluster

Lập giải pháp lưu trữ: việc thiết lập giải pháp lưu trữ bao gồm các công việc sau:

s_ Lập kể hoạch tạo phân vùng cho các bảng có kích thước lớn: việc tao phan

vùng phải cân nhắc nên tạo theo dọc hay ngang, cũng như theo kiêu phạm

vi, băm, liệt kê hoặc lả kết hợp

œ Lập kế hoạch tạo chỉ mục xem xét nên lập chỉ mục cho các bang nao,

trường nao, đối với một chỉ mục phải cân nhắc là nên chọn kiêu chỉ mục

la BTree hay Bitmap

1.3.2.5 Xây dựng qui trình tích hợp dữ liệu

Sau khi cỏ được các mô hình vật lỷ của kho dữ liệu thì sẽ tiền hành xây dựng qui

trình tích hợp đữ liệu cho kho dữ liệu, nhiệm vụ chính của bước này là phải lấy dữ liệu

nguồn, biên đổi đữ liệu nguồn thành đữ liệu cỏ giá trị và nạp nó vảo dữ liệu địch

Qui trình tích hợp được thực hiện tuần tự qua các bước sau:

©_ Trích dữ liệu: tiễn hành đọc các dữ liệu nguồn một cách có chọn lọc, dữ

liệu ở đây có thẻ là dữ liệu đang sử dụng cho tác nghiệp, dữ liệu đang

được lưu trữ, và dữ liệu từ bên ngoài tổ chức

e Biển đổi dữ liệu: quá trình biên đổi dữ liệu có thể đơn giản hoặc phức tạp tuỷ thuộc và dữ liệu nguồn và dữ liệu đích

kho dữ liệu đích Quá trình nạp dữ liệu cỏ thẻ thực hiện theo từng hàng hoặc theo từng bó

1.3.2.6 Quản trị kho đữ liệu

Trang 22

Sau khi kho dữ liệu được đưa vào sử dụng thì yêu cầu rất quan trọng là nỏ phải

được quản lý và theo dõi thưởng xuyên, sao cho đảm bảo thông suốt cho người dùng

khai thác thông tin hiệu quả nhất Việc quản trị kho dữ liệu bao gồm các tác vụ sau:

Quản lý về an toàn, bảo mật và độ tru tiên

Quản lý sự truy cập từ nhiều người khác nhau

Kiểm tra chất lượng dữ liêu thường xuyên

Kiểm tra quả trình tích hợp thường xuyên

Quan ly va cap nhật kho siêu dữ liệu

Giám sát vả lập các báo cáo về tình hình sử dụng và trạng thái của kho dữ

liệu như thời gian sử đụng, số người khai thác, thời gian đáp ứng các yêu

cầu

Quân lý qui trình sao lưu

Lập kế hoạch sẵn sảng phục hỏi kho đữ liệu khi có sự cổ Lập kế hoạch đề nâng cấp và mở rộng hệ thông đĩa, bộ nhớ, băng thông san sang cho sự gia tăng kích cỡ của kho dữ liệu theo thời gian

Lap kẻ hoạch lưu trữ bớt các dữ liệu cũ không cản thiết cho việc khai thác

ra các thiết bị lưu trữ ngoài kho đữ liệu

Lập kế hoạch mở rộng phạm vi dữ liệu của kho dữ liệu khi yêu cầu nghiệp

vụ thay đôi 1.3.2.7 Hỗ trợ khai thác kho dữ liệu

Cải đích chính của việc xây dựng kho đữ liệu lả cung cấp thông tim hỗ trợ cho

các nhà quản lý đưa ra các quyết định chiên lược hiệu quả hơn Nên phải có kẻ hoạch

trang bị các công cụ và đảo tạo sử dụng nhằm nâng cao khả năng khai thác kho dữ

liệu

Chương này chủ yêu trình bảy một cách cô dong các nội dung cơ bản vẻ kho dữ liệu, với mục đỉch chỉ đưa ra các nội dung cơ bản làm nền tảng cho các chương tiếp theo Các nội dung được trình bảy bao gôm các khái niêm, các đặc tính, kien tric tong thể, và qui trình thực hiện việc xây dựng kho dữ liệu

Trang 23

21

Chương 2 CÔNG NGHỆ KHO DU LIEU TRONG SQL SERVER

2.1 Lý do sử dụng công nghệ kho dữ liệu của Microsoft

Để xây dựng kho dữ liệu có thể sử dụng nhiều công cụ của các hãng khác nhau

trén thi trudng nhu Oracle, IBM, Microsoft, SAP, Business Objects, SAS Cac hang

lớn như Oraele, IBM, và Microsoft đều có giải pháp và bộ công cụ đầy đủ cho việc thiết kế và xây dựng kho dữ liệu Mỗi hãng đều có những ưu điểm vả nhược điểm nhật định, nên tủy vào điều kiện cụ thẻ của từng dự án mả cân nhắc chọn giải pháp và bộ

công cụ của hãng nảo cho phủ hợp

Phạm vi của luận văn nảy chỉ tập trung vào việc sử dụng công nghệ của hang Microsoft, mả công nghệ nên tảng là dựa trên SQL Server 2008, cho việc xây dựng

kho đữ liệu Sau day là một số ưu điểm của công nghệ của Microsoft cho việc xây

dựng kho dữ liệu

©_ Tỉnh toản diện: thẻ hiện việc ở cung cấp đây đủ từ mức hệ điều hành, hệ

quản trị CSDL, vả môi trường phát triển, đến công chía sẻ thông tin, bộ

công cụ hỗ trợ văn phòng mà đặc biệt là bảng tỉnh Excel Hoàn toản cỏ thẻ

xây dựng một kho dữ liệu hoặc giải pháp trí tuệ doanh nghiệp hoàn chỉnh

mả chỉ cần sử dụng bộ công cụ phan mem của Microsoft Ngoài ra, cũng yên tâm rằng công cụ phần phản mềm nảy hoản toàn tương thích với nhau

và hoạt động một cách hiệu quả

chỉ phí hỗ trợ kỹ thuật, chỉ phí đảo tạo, chỉ phí phát triển, và chỉ phí vận

hành hệ thống Thông thường, chỉ phí cho để có bản quyền hệ quản trị

CSDL SQL Server của Microsoft thường it hơn các hãng khác Việc quản trị SQL Server cũng dễ hơn các hệ quản trị CSDL khác nên giảm được số

lượng nhân lực và thời gian đào tạo đáng kể Ngoài ra, ngày nay công

nghệ lập trình Me sử dụng CSDL SQL Server lả khá pho bien tai cac

doanh nghiệp nên họ co thé tan dung được nguồn nhân lực nảy cho việc tiếp nhận và phát triển mở rộng cho kho đữ liệu

duy nhất các công cụ của Microsoft nhưng các công cụ nảy hoản toàn có thể được thay thể bởi các công cụ của các nhà phát triển thử ba

e Tinh hiéu nang cao va mở rộng: tính đên thời điểm hiện nay thì kho dữ

liệu được xây dựng dựa trên công nghệ của Microsoft có dung lượng đến

10 terabytes khá phỏ biên va đã cỏ một số kho dữ liệu ma dung lượng đạt

đến mức 50 terabytes Microsoft cũng đã và đang mở rộng các dòng sản

Trang 24

pham ctia SQL Server cho phép xử lỷ song song nhằm hướng đến kho dữ

liệu mức hàng trăm terabytes

Microsoft đã đây mạnh đầu tư vảo lĩnh vực trí tuệ doanh nghiệp, ban thin SQL

Server 2008 đã tích hợp bộ công cụ phát triển ứng dụng trí tuệ doanh nghiệp một cách

đây đủ từ việc tích hợp dữ liêu, đền việc lập báo cáo, phân tích số liệu, vả quản ly

2.2 Giải pháp tổng thể kho dữ liệu của Microsoft

Những năm gần đây Microsoft đã tập trung vảo giải pháp trí tuệ doanh nghiệp

nói chung hay hẹp hơn là giải pháp kho đữ liệu, họ xác định day là một trong những

hướng chính mả hãng sẽ tiếp tục theo đuổi Giải pháp tổng thể của Microsoft cho DW/BI được thể hiện như #inh 2.1 bên dưới

“Tầng khai thác

END USER TOOLS & PERFORVANCE MANAGEMENT APPS

Tang nén ting (cil yéu ave ten

eae dich vu cde SOL

Sever

Tang ditigu ngubn |

Hình 2.1 Giải pháp DW/BI của Microsoft

Tầng dữ liệu nguồn: là tảng chứa dữ liệu nguồn cho kho dữ liệu, có thé lay dir liệu từ nhiều ứng dụng khác nhau như Microsoft Dynamic, Siebel, SAP va tir nhiéu

hệ quản trị CSDL khác nhau như Oraele, DB2, Informix

Tâng nên tảng: là tẳng chứa toàn bộ công cụ nên tảng cho trí tuê doanh nghiệp Tang nay bao gồm các công cụ và dịch vụ sau:

dữ liêu, tức tạo các gói dủng cho việc việc trích rút, thực hiện các phép

biến đổi, và cuối củng là nạp vào đích

Trang 25

2

©_ Dịch vụ phân tích SSAS: hỗ trợ công nghệ OLAP cho phép tạo, khai thác

và quản lý các khối đa chiều chứa dữ liệu tổng hợp từ các nguồn dữ liệu khác nhau Ngoài ra cũng cho phép thiết kẻ, tạo vả trình bảy trực quan mô

hình khai phá dữ liệu Những mô hình nay được xây dựng từ các nguồn

dữ liệu khác nhau bằng cách sử dụng nhiều thuật toán khai phá dữ liệu

chuẩn

‘Tang khai thác: là tầng chứa các công cụ dùng cho người sử dụng đầu cuối thực

hiện việc khai thác kho đữ liệu như sử dụng Exeel hay PerformaneePoimt đề tạo các

bảng điều khiến, thẻ tính điểm Ngoài ra tầng nảy cũng là môi

va chia sé cac bang tinh, bao cao, bang điều khiến cho những

người sit dung dau cudi trên mang Intranet hoặc Internet thông qua phản mềm

SharePoint

2.3 Cải tiền cho kho dữ liệu trong SQL Server 2008

SQL Server 2008 đã có những cải tiên đáng kẻ đành cho kho đữ liệu và theo họ cho biết có thể đáp ứng 95% các yêu cầu của kho dữ liệu trên thị trường hiện nay Sau đây là một số thay đổi của SQL Server 2008 cho kho dữ liệu:

©_ Cho phép tạo các bảng sự kiên với kích thước rất lớn lên tới 100 tỷ hang

e_ Cung cấp câu lệnh thao thác gộp, câu lệnh nảy thực hiện các thao tác đổi với các bảng đữ liêu với hiệu năng rất tốt ngoải ra cũng nhờ gộp các thao tác thêm mới, sửa và xóa vào một câu lệnh nên giúp việc viết các câu lệnh sảng sửa và nhanh hơn

e_ Cải tiến câu lệnh chèn vào bảng một tập các hảng dữ liệu từ câu lệnh chọn nhằm tăng tốc độ thực hiện và giảm thiểu bộ nhớ lâm việc

sự thay đổi của một bảng theo thời gian và cho phép lấy ra tập dữ liệu thay

đổi trong một khoảng thời gian chỉ ra Tính năng nảy thường áp dụng cho

các bảng dữ liêu nguồn mả chưa cỏ cột ghi lại sự thay đôi đữ liệu theo thời

gian

e_ Cai tiên công cụ tra cứu dùng cho tích hợp, cho phép sử dụng bộ nhớ đệm một cách tối đa tại máy chủ tích hợp

Trang 26

trình thực thi

© Cho phép thực hiện sao lưu nén: tỉnh năng sao lưu nén không chỉ giảm kích thước đáng kể mả còn giảm cả thời gian thực hiện so với sao lưu thông thường Ngoài ra SQL Server 2008 còn cho phép sao lưu CSDL lên

đến 200GB bằng câu lệnh của chỉnh nỏ

e Ai tiền khả năng quản lý tài nguyên như bộ nhớ, bộ vi xử lý, và các tiên trình Cho phép thực hiện cau hinh tai nguyên sử dụng cho từng người

dùng, ứng dụng và phiên làm việc

2.4 Các công cụ cho kho dữ liệu trong SQL Server 2008

SQL Server 2008 khéng chi la mét hé quan tri CSDL (RDBMS) hay dùng trong

các ứng dụng tác nghiệp mà còn là bộ công cu đây đủ hồ trợ cho việc xây dựng kho dữ liệu Cụ thẻ SQL Server 2008 hô trợ các công cụ và địch vụ cho việc xây dựng kho đữ

liệu như sau:

e Hệ quản trị CSDL quan hé: ding dé cai dit CSDL quan hệ cho kho dữ liệu

©_ Dịch vụ tích hợp dữ liệu: sử dụng đề tạo các gói đề tích hợp dữ liệu

©_ Dịch vụ phân tích: sử dụng cho việc thiết kế cải đặt các khối đữ liệu, dùng cho việc phân tích đữ liệu theo đa chiều

trên Ngoài SSMS còn cho phép tạo các công việc và thiết lập lịch biểu để thực thi tự động cho các công việc, cũng như cho phép theo dõi và điều khiển các công việc

©_ Công cụ phát triển BI của SQL Server: lả một phần nằm trong bộ công cụ phát triển ứng dụng Visual Studio 2008 của Mierosoft hỗ trợ cho việc phát triển các ứng dung BI nỏi chung vả kho dữ liệu nói riêng

Trang 27

SSIS lả nên tảng cho việc tích hợp dữ liệu, cung cáp các chức năng giúp cho việc

phát triển qui trình tích hợp dữ liệu khi xây dựng kho đữ liệu được nhanh và hiệu quả

hon SSIS cung cấp một giao diện phát triển bằng đỏ họa, người dùng có thê kéo và thả các đổi tượng của SSIS hay cũng có thể kết hợp lập trình bằng mã lệnh trong giao

điện soạn thảo

Kiến trúc của dịch vụ tích hợp SSIS như Hinh 2.2 sau day

Trang 28

Kien tnie ctia SSIS chita bén thanh phan co ban:

Dịch vụ SSIS lả một dịch vụ của Windows được cài đặt khi tiền hành cài đặt

thành phần SSIS của SQL Server 2008, nó theo dõi việc thực thị của các gỏi

Lõi thời gian chạy và các chương trình hỗ trợ cho nỏ sẽ thực thi các gói tích hợp

SSIS Chủng sẽ quản lý, ghi nhật ký, gỡ rồi, câu hình kết nói và thực hiện các thao tác

của gói Hơn nữa nó còn quản lý các sự kiện sinh ra trong thởi gian chay vả thực hiện

việc gửi thư điện tử hoặc ghi nhật ký

Gói: gói là thành phân lõi của SSIS Một gói cỏ thể xem như một chương trình thực thí của hệ điều hành Wmdows Về cơ bản, gói là tập các nhiệm vụ được thực hiện

theo một cách có trật tự Một gói có thé duge ghi vao CSDL MSDB, mét CSDL hé

thống mặc định của SQL Server, hoặc là ghi ra dưới dạng một tập tin có đuôi là đtsx

Tác vụ: một tác vụ là đơn vị công việc Tác vụ trong một gói cũng giồng như một phương thức thực hiện trong ngôn ngữ lập trình Cỏ thể là việc di chuyển tập tin, nạp

nội dung tập tin và CSDL, gửi một thư điện tử Tác vụ thường được cung cấp sẵn bởi

8SIS nhưng cũng có thể tạo ra các tác vụ riêng bằng cách sử dụng ngôn ngữ lập trình C# hoac VB.net dua trén mô hình đổi tượng của SSIS Một sỏ tác vụ phố bien được cung cấp sẵn trong SSIS như sau:

đổi và nạp vào đích Execute Package Task: cho phép thue thi mét gói trong gói hiện hành, tạo cho gói SSIS có tỉnh mô đun hỏa

một nhiệm vụ nảo đấy Ví dụ: thực hiện chia nhỏ một một tập tin thảnh

nhiều tập tin con, trước khi xử lỷ từng tập tin con

®_ Execute SQL Task: thực thì một cầu lệnh SQL hoặc một thủ tục lưu trữ

Trang 29

27

hoặc định dạng lại tập tin XML

Các phần tử luông dữ liệu: khi tạo một tác vụ luỏng dữ liệu, thi BIDS sẽ hiện ra các phân tử luông đữ liệu sử dụng cho việc thiết kẻ Thẻ luồng điều khiển chứa các luồng chính của gói, còn thẻ luỗng dữ liệu sẽ chứa các bước biển đổi về dữ liệu Có thể tạo nhiều luồng dữ liệu trong thẻ Ì

điều khiển, và khi kích vảo một luồng dữ liệu mảo đây dữ liệu thì thẻ luỗng điều khiển sẽ hiện ra tất cả các bước biến đổi cho luỗng,

dữ liệu đây Hình 2.3 dưới đây là ví dụ vẻ nội dung của một luông dữ liệu

Tierrieet Cok mm 1

AZ] cones coumn 2

G8 Fiat ete Dectinstion t Hình 2.3 Vĩ dụ vẻ một luỗng dữ liệu

Nguồn: nguồn lả nơi đề chỉ ra vị trí của nguồn dữ liệu sẽ được lây vào trước khi

xử lý Nguồn thông thường chỉ đến một kết nói của gỏi SSIS Sau đây lả một số nguồn phé bien duoc str dung trong SSIS:

¢ OLE DB: ket nổi đến một nguồn dữ liệu OLE DB như SQL Server,

Aeccess, Oracle, hoặc DB 2

Trang 30

¢ XML: lay dit liéu tir mot tap tin XML,

e ADO.NET: cho phép kết nổi đến nguồn dữ liệu thông qua ODBC

Dich: trong một luông dữ liệu thì đích có thể từ một nguồn hoặc một phép bién đổi Một số loại đích hỗ trợ trong SSIS như sau:

e Excel: ghi dit ligu ra m6t tap tin Excel đã có trước

¢ Flat file: ghi dữ liêu ra tập tin phẳng, tức có phân cách hoặc chiêu đải cô

định

Các phép biên đổi: các phép biến đổi là thành phan chỉnh của luỏng dữ liệu dùng,

để thay đổi đữ liệu theo ý của bạn Ví dụ: bạn muốn dữ liệu được tổng hop vả sắp xếp thi sé can hai phép biên đôi Các phép biến đổi của SSIS thường được thực hiện trong

bộ nhở nên thường nhanh hơn việc đọc đĩa Sau day là một số phép biến đổi cơ bản cung cấp sẵn trong SSIS:

đương câu lệnh CASE trong T-SQL

chuyên tên “xuan” thánh “xuân” hoặc “thanhf” sang "thảnh”

Trang 31

29

Slowly Changing Dimension: day la phép bién déi g6p các thao tác thêm mới và cập nhật dữ liệu cho các bảng chiều trong kho dữ liệu

342 Dịch vụ Bảo cáo

Dịch vụ bảo cáo cho phép tạo bảo cáo lây từ nhiều nguồn dữ liệu khác nhau, hiển thị các dữ liệu một cách đa dạng như bảng biểu, ma trận, danh sách, đồng hé do, va biểu đổ, và cũng như xuất ra một số đình dạng thông dụng chẳng hạn như Word, Excel, PDF, XML, và HTML mả không cân viết mã lệnh Dịch vụ bao cáo cung cấp nhiều chức năng đề tự động hoá việc phân phối các báo cáo dựa trên lịch, và tích hợp

với Microsoft Office SharePoint Server Hơn nữa, dịch vụ báo cáo có một tập các thư

viện lập trình mả cỏ thể gọi từ các các dịch vụ web, giúp bạn có thẻ tự động hoa hau hết các phần của báo cáo của bạn thông qua qua ngôn ngữ kich bản hoặc ngôn ngữ lập

trình

Dịch vụ SSRS trong SQLL Server 2008 có những cải tiền sau:

e Công cụ câu hình dich vụ bảo cáo được gói gọn lại, chỉ cần một công cụ duy nhất có thẻ thiết lập câu hình cho môi trường báo cáo

e_ Kiến trúc mới hỗ trợ tốt hơn cho dich vụ thông tin Internet, và cải thiện

đáng kể khả năng phân trang và bộ nhớ đệm cho các bảo cáo

¢ Cai tien dang kể nhất là các tính năng Tablix, đây là một tính năng mạnh cho phép kết hợp bảng vả ma trận trong một vủng của bảo cáo Trong quả khứ, để đưa ra báo cáo loại này phải tạo ra nhiêu báo cáo vả viết mã dé an

và hiện các phần hiển thị và các cột

Kiến trúc của dịch vụ cáo thể hiện như Hình 2.4 bên dưởi

Trang 32

Browser Report Report 0uslom

Builder Designer Applications

ODBC, Oracle, SAR || Authentication ||

Custom) <~—>| HTTP Listener |

a

(HTML, Excel, Word, Ror Ound Proos3sbij' (E-mail, File Share,

Reporting Services Database

Hình 2.4 Kiến trúc dịch vụ báo cáo SSRS

Ngày nay hâu hết các doanh nghiệp lưu trữ một lượng lớn dữ liệu, mà các dữ liệu nảy có thể làm cơ sở cho nhiều quyết định quan trọng ảnh hưởng đến việc thực hiện vả

chỉ đạo của doanh nghiệp Tuy nhiên, trước khi cỏ dịch vụ báo cáo gắn với với SQL Server 2000 ra đời thì việc tạo ra các báo cáo dựa trên đữ liệu này thường sử dụng các công cụ của bên thứ ba nên đắt tiền, mả các bên thứ ba thường xuyên sử dụng các định

dạng độc quyên cho các báo cáo và khó có thẻ tích hợp được Một trong những mục tiêu của dịch vụ bao cao là cung cấp một nên tảng duy nhất, tiêu chuẩn cho kha ning thiết kế, sáng tạo, triển khai, và quản lý của tất cả các báo cáo Đềng thời, cũng thúc day sự tương thích giữa các mỗi trường báo cáo khác nhau bằng cách áp dụng một ngôn ngữ dựa trên chuẩn ngôn ngữ XML đề định nghĩa các báo cáo, hay còn được là

là ngôn ngữ định nghĩa báo cáo RDL

Report Server Service: đây là dịch vụ của Windows mà đưa ra các chức năng sử

dụng cho các địch vụ web và ứng dụng web quản lý báo cáo Nó cũng có nhiệm vụ xử

lý các yêu cầu từ người dùng, sinh ra các bảo vả quân lý các tác vụ Chỉ tiết các thành

phan bén trong Report Server Service nhu sau:

© Report Manager: quan ly bao cao 1a céng cu dua trén nen web str dung cho việc xem và trình diễn báo cáo, đăng ký bảo cáo, thay đôi tính chất báo cáo, an ninh, câu hình, và một loạt các nhiệm vụ khác Quản lý bảo

cáo đã không còn lưu trữ trong IIS, mả đã trở thánh một phản của cốt lõi

cua Report Server Service.

Trang 33

cho nỏ mà không dùng nhật ký mặc định của HS

Metadata Catalog: lưu trữ tất cả các thông tin liên quan đến báo cáo, chẳng hạn

như định nghĩa báo cáo, cãc nguồn dữ liệu, các thông sỏ báo cáo, bảo cáo lưu trữ, thiết lập bảo mật, lập kế hoạch vả phân phát thông tin, và thực hiện báo cáo thông tin đăng nhập

Report Builder: là một ứng dụng đô họa truy cập thông qua thành phân quản lý

bao cao, Cho phép người sử dụng thiết kế các báo cáo đơn giản và bất thường Đặc biệt phủ hợp cho người sử dụng cuối mà không có môi trường phát triển bảo cáo day

đủ các tính năng

Report Designer: là công cụ đồ họa được nhúng vào bộ công cụ BIDS và cũng có

thể chạy như một ứng dụng độc lập, cho phép thiết kế vả triển khai bảo cáo chỉ bằng

cách kéo và thả

243 Dịch vụ phân tích

SSAS trong là một trong những dịch vụ chính của SQL Server 2008 dùng đẻ xây

dựng các chiều và các khói dữ liệu cho kho dữ liệu, trong phiên bản mới nảy con hỗ trợ một số thuật toán khai phá đữ liệu, điều nảy cung cấp cho người quản lý có cải nhìn sâu hơn về dữ liêu của họ Ngoải ra, SSAS cũng là một phần nên tảng của BI

SSAS trong SQL Server 2008 đã được tái kiên trúc nhằm nâng cao khả năng mở

rộng vả tính tin cậy, trong môi trường doanh nghiệp, và khả năng bảo mật dữ liệu

SSAS cung cập khả năng tích hợp nhiêu đối tượng của SSAS nhằm tăng khả năng mở rộng Ngoài ra dịch vu nay còn cung cấp các thuật toán đề quản lý hiệu quả các khỏi

kích thước lớn SSAS cung cấp đa dạng các công cụ đề tạo lập OLAP một cách hiệu quả và quản lý một cách đễ dàng

SSAS hé tro chuan XML, cé nghia viée trao đổi dữ liệu giữa SSAS với các máy

khách là XML, sự thay đổi này nâng cao khả năng tương tác giữa các máy khách và may chủ Việc lưu trữ siêu dữ liệu trong cũng được thực hiện dưới dạng XML Ngoải

Trang 34

ra, trong phiên bản 2008 con cho phép người đủng tủy chọn việc lưu trữ đữ liệu và dữ liệu tông hợp dưới dạng đối tượng của SSAS hay dạng CSDL quan hệ Việc lưu trữ dữ liệu theo định dạng đổi tượng của SSAS có thể xử lý tốt hơn và truy vẫn nhanh hơn

dạng cơ sở dữ liệu quan hê Có 3 cách lưu trữ dữ liêu chính trong SSAS

® MOLAP: đây là mô hình lưu trữ mả dữ liệu theo định dạng của SSAS

Cách lưu trữ này cho hiệu quả truy vấn tốt nhất và có thể xử lý các tỉnh toán phức tạp Điểm yêu của cách lưu trữ này là tốn dung lượng và không

thể xem được đữ liệu mới cho đến khi làm mới lại khối dữ liệu

® ROLAP: đây là cách lưu trữ mả dữ liệu chính được lưu trữ trong CSDL

quan hệ Cách truy vẫn trên SSAS được thay đôi sang kiểu truy vân trên CSDL quan hệ mỗi khi thực thi điều này làm giảm hiệu năng của truy vẫn, các truy vẫn thường rất châm so với mô hình trên Điểm mạnh của cách

lưu trữ nảy là dung lượng khối dữ liệu chỉ giới hạn bởi dung lượng của cơ

sở đữ liệu quan hệ

thường được lưu trữ dưới dạng CSDL quan hệ trong khi các dữ liệu tổng, hợp được lưu trữ dưới dạng đôi tượng SSAS Nêu dữ liệu yêu cầu là dạng, tổng hop thi sé thực hiện truy van tai SSAS còn nêu đữ liệu yêu câu là dạng chỉ tiết truy vấn sẽ được dịch vả truy vẫn tại CSDL quan hè Điều này làm tăng tốc độ xử lý của mô hình ROLAP và tận dụng được kha

năng lưu trữ của mô hinh ROLAP

Kiến trúc của dịch vụ phân tích trong SQL Server 2008 nhu Hinh 2.5 bén dudi

Data Sources ‘Analysis Services

Hình 2.5 Kiến trúc dịch vụ phân tích SSAS

Thành phần chính của dịch vụ phân tích là mô hình chiều thông nhất (UDM)

Đây là mô hình chiều đại điện cho kho dữ liệu quan hệ vả kho dữ liệu đa chiều UDM

cung cấp một câu nói, hay có thẻ hiểu là một giao điện chuẩn đề nói các đầu cuối khác

Trang 35

33

nhau như Excel hay dịch vụ báo cáo với các ngồn dữ liệu hỗn tạp Thay vì sử dụng các

ngôn ngữ gốc đề truy cập các nguồn dữ liệu thì UDM cho phép người dùng sử dụng

các lệnh của UDM

Một số lượng lớn các tỉnh năng của dịch vụ phân tích xây dựng trong UDM Những tính năng này bao gồm các hệ thống phân cấp, sự phân loại, biểu diễn thời

gian, biên dịch ngôn ngữ thâm chỉ cả các chức năng cao cấp như bộ đệm chủ động

và phân tích cũng là một phần của UDM và coi như có sẵn trong dịch vụ báo cáo

Ngày nay, XMUL va dich vụ web đã trở nên pho biến và quan trọng, nên dịch vụ

phân tích cũng theo xu hưởng kỹ thuật này Máy chủ dịch vụ phân tích hoạt động giỏng như một dịch vụ web và không có gì ngạc nhiên khi thay ngôn ngữ dé quản ly máy chủ dịch vụ phân tích cũng dựa trên XML Tắt cả các giao tiếp giữa máy khách va máy chủ phân tích đêu qua chuân XML/A

Dich vu phan tich trong SQL Server 2008 không lưu trữ tất cä các chiêu vào bộ nhớ Giống như một hệ điều hành chỉ giữ một số trang trong bộ nhớ còn lại một số trang hoán đổi sang đĩa cửng, dịch vụ phân tích cũng sử dụng cả bộ nhớ vật lý và

không gian đĩa Lợi ích của phương pháp nảy là dịch vụ phân tích hỗ trợ kích thước

các chiêu gân như không có giới hạn Ví dụ, dịch vụ phân tích trong SQL Server 2000

sẽ bị hạn chế bởi dung lượng bộ nhớ trong còn dịch vụ phân tích trong SQL Server

2008 có thê tận dụng lợi thế của bộ nhớ đệm trên đĩa nên không bị giới hạn bởi dung

lượng bộ nhở trong

2244 Bộ công cụ phát triển trí tuệ doanh nghiệp

Khi dịch vụ báo cảo của SQL Server 2000 được phát hành, Visual Studio là cách

duy nhất đề người dùng có thẻ tạo vả quản lý bảo cáo Tuy nhiên, nhiều nhà phát triển

không chuyên nghiệp ngại sử dụng bởi khác với giao diện quen thuộc của họ Khi

SQL Server 2005 được phát hành, Microsoft đã đáp ứng mỗi quan tâm của người sử

dụng và cung cap một giao diện mới không chỉ cho việc tạo và quản lý các báo cao ma

còn được sử dụng cho các các tác vụ phân tích và tích hợp dữ liệu Vi vậy, BIDS đã được phát hành và tử đây người dùng đã có một công cụ chuyên nghiệp cho nhu cảu

BI ctia ho

Thực tế thì SQL Server 2008 đã chứa săn một phần bộ Visual Studio 2008, tức là

không phải chửa cả bộ Visual Studio 2008 day đủ bao gồm các mâu vả trình biên dịch Visual Basic, C#, ASP.NET Nhiéu nha quan tri sé ngac nhién khi thay Visual Studio

2008 cũng cải đặt trên máy của họ sau khi cải đặt bộ SQL Server 2008 Bắt kể cho đủ bạn khởi động BIDS tir SQL Server 2008 hoặc từ Visual Studio 2008 thì cũng triệu gọi

cùng một ứng dụng đẻ chạy Nêu bộ Visual Studio 2008 không được cải đặt, thì chỉ có

mẫu dự án cho BI được cải đặt khi cải SQL Server 2008 Mau du an cho BI bao gồm

Trang 36

ba mảng chính: tích hợp đữ liệu, phân tích dữ liệu và báo cáo ##inÖ 2.6 bên dưới là mân hình khởi tạo mẫu dự án DW/BI trong BIDS

ss Sevens Poet ŸJ ingot Araiss Seoa# 209 0

- IubaJ ki 5evloss CanueclblsP _JTnlegalon 5awrez Projer+

Dareput Server Profeck Wizard Birsport Model Project

eno Server Prot

My Templates love Grine leagble

[ESSimmuusnsnHr = = O*~«<«<;<S;<7<; SS*=<=~=~St

Mame: II Protects raœđ

‘Location Co\Users\Admnistrator\Pocunents\ Visual Studio 200#ipravects x Browse»

24.5 Cong cu quan li SOL Server

Công cụ quản lý SQI Server là một môi trường tích hợp cho việc truy cập, cầu

hình, quản lý, quản trị và phát triền các thành phân của SQL Server SSMS kết hợp cả giao điện đồ họa và ngôn ngữ kịch ban dé truy cap SQL Server cho cac nha phát triển

va quan tri co các mức ky năng khác nhau

Trong phiên bản SQL Server 2008, SSMS kết hợp các tính năng Enterprise

Manager, Query Analyzer, va Analysis Manager trong cae phién ban true ctia SQL

Server vào chỉ một môi trường duy nhật Hơn nữa, SSMS lắm việc củng với tất cả các

thành phân của SQL Server như: dịch vụ báo cáo, dịch vụ tích hợp, vả dịch vụ phân

tích

Một tỉnh năng chủ yếu cia SSMS la Object Explorer, né cho phép ngudi ding 6

thể duyệt, chọn vả thực hiện các thao tác trên tật cả các đổi tương trong máy chủ SQL

Server Hình 2.7 dưới đây là màn hình chính của SSMS của SQL Server.

Trang 37

Hinh 2.7 Man hinh quan ly cua SQL Server

2.4.6 Dich vu tác nhân SOL Server

SOI Server 4gent là thành phần chạy dưới dạng một địch vụ của Windows No

được tích hợp vào màn hình đỏ họa của SSMS cho phép người sử dụng có thẻ tạo các

công việc đề thực hiện một số tác vụ nảo đấy vả tạo lịch biểu đề thực hiện tự động hóa

các công việc Ngoài ra, nó cũng còn cho phép theo dõi các tiền trình đang thực hiện

và lịch sử đã thực hiện của các công việc Mân hình tạo mới công việc như Hình 2.8

Trang 38

Khi xay dung kho dit ligu dua trén SQL Server 2008 thi SOL Server Agent duoc

áp dụng cho việc thực thi tự động một số công việc cơ bản như sau:

e_ Chạy và theo đối các gói tích hợp dữ liệu hoặc các thủ tục;

2.5 Qui trình xây dựng kho dữ liệu của Microsoft

Xây dựng kho dữ liệu lả phức tạp bao gồm nhiều công đoạn và phương pháp đẻ

xây dựng hệ thông đó phải đơn giản hỏa đề giảm bớt bớt sự phúc tạp Theo dé xuất

của Microsoft thì vòng đời của kho dữ liệu gồm 13 bước chính, mỗi bước là một hộp,

mả những bước này quyết định sự thành công của việc xây dựng kho dữ liệu Các

bước này được thẻ hiện ở #finb 2.9 bên dưới

Architecture |-» Selection &

(đảng tường

tips] p, tiền | Project — | eecuirements¢ a} Dimensional i sonal 3) | Plannin Modelin ero | Panning | Ê Deinlion oe

eae + Application | ————>| Application eon

| Specitication Development Ani cacti Ware Bas Big a ae BTR A NH

Hình 2.9 Qui trình xây dựng kho dữ liệu của Microsoft

Đầu tiên chủ ý rằng hộp định nghia yéu cau nghiệp vụ được đặt ở vị trí trung, tâm, đầy là bước làm cơ sở cho ba khôi theo sau Đồng thời cũng có mũi tên chỉ ngược

về hộp kế hoạch dự án bởi vì cỏ thể phải thay đổi lại kế hoạch dự án khi hiểu rõ hơn

yêu câu nghiệp vụ và thứ tự ưu tiên

Tiếp đến lả ba khỏi ở giữa vỏng đời tập trung cho ba nội dung công việc riêng

biệt sau:

¢ Khéi trên cùng liên quan đến kỹ thuật, tức lập kế hoạch cho bước chon lựa

các công cụ của công nghệ Microsoft mà sẽ được sử dụng trong dự án

cũng như việc cải đặt vả câu hình các công cụ này

e Khoi ở giữa liên quan đến đữ liêu, bao gồm việc thiết kế mô hình da chiều, thiết kế vật lý, thiết kế và phát triển qui trình tích hợp Khôi bước

Trang 39

37

nay có thể hiểu là các bước xây dựng kho đữ liệu, nhưng kho dữ liệu sẽ

coi như không thảnh công nêu không thực hiện các bước cỏn lại

Các khối sẽ được kết hợp lại khi thực hiện điển khai hệ thông Đây là một móc thời gian đặc biệt nhạy cảm bởi vì nó sẽ là cơ hội để tạo án tượng tốt đầu tiên cho khách hàng Việc bảo trì DW/BI bắt đầu sau khi triển khai xong, và việc nảy có thể

thực hiện bởi con người và công cụ Giai đoạn đăng trưởng của dự an có mũi tên quay

lại giai đoạn đầu tiên với ngụ ý rằng phương pháp tiếp cân gia tăng là yêu tổ cơ bản của việc cung cấp các giá trị doanh nghiệp

Dưới củng toàn bộ vòng đời là hộp quản jý đự án Điều quan trọng nhất càn nhớ

ở đây là cần một quản lý dự án và người nảy cỏ trách nhiệm là người quản lý toản bộ

dự án ở mức cao Tiếp theo là các trưởng nhỏm, trưởng nhỏm lý tưởng nhất là tìm những người có thể giao tiếp hiệu quả với các kỹ sư công nghệ và những người kinh doanh, bao gồm cả các giảm đóc điều hành cao nhất trong doanh nghiệp

Chương này chủ yêu trình bày kiến trúc và công nghệ kho dữ liệu của SQL server 2008 Kiến trúc DW/BI của Microsoft gồm ba tầng: tảng dữ liệu nguồn hỗ trợ nhiều loại CSDL nguồn khác nhau, tằng nên tảng bao gồm các công cụ va dich vụ của SQL Server hé tro cho việc xây dựng kho dữ liệu, và tầng khai thác gồm các công cụ tạo và chia sẻ báo cáo Ngoài ra trong chương này cũng trình bảy các kiến thức chung, nhất vẻ các dịch vụ và công cụ mà được sử dụng khi xây dựng thử nghiệm kho đữ liêu

siêu thị

Tiêu đề	Luận Văn Nghiên Cứu Giải Pháp Kho Dữ Liệu Trong SQL Server 2008 Và Áp Dụng Trong Thương Mại
Tác giả	Tran Van Thanh
Người hướng dẫn	PGS. TĐ. Đỗ Trung Tấn
Trường học	Trường Đại Học Công Nghệ Hà Nội
Chuyên ngành	Công nghệ Thông tin
Thể loại	Luận văn Thạc sĩ
Năm xuất bản	2011
Thành phố	Hà Nội

Định dạng
Số trang	78
Dung lượng	4,65 MB