ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ Phạm Văn Vinh THIẾT KẾ DATA WAREHOUSE VÀ ỨNG DỤNG TRONG HỆ THỐNG THÔNG TIN NGÀNH ĐIỆN LUẬN VĂN THẠC SĨ Hà Nội - 2008... ĐẠI HỌC QUỐC GIA
Trang 1ĐẠI HỌC QUỐC GIA HÀ NỘI
TRƯỜNG ĐẠI HỌC CÔNG NGHỆ
Phạm Văn Vinh
THIẾT KẾ DATA WAREHOUSE VÀ ỨNG DỤNG TRONG HỆ THỐNG THÔNG TIN NGÀNH ĐIỆN
LUẬN VĂN THẠC SĨ
Hà Nội - 2008
Trang 2ĐẠI HỌC QUỐC GIA HÀ NỘI
TRƯỜNG ĐẠI HỌC CÔNG NGHỆ
Phạm Văn Vinh
THIẾT KẾ DATA WAREHOUSE VÀ ỨNG DỤNG TRONG HỆ THỐNG THÔNG TIN NGÀNH ĐIỆN
Ngành: Công Nghệ thông Tin
Mã số: 1.01.10
LUẬN VĂN THẠC SĨ
NGƯỜI HƯỚNG DẪN KHOA HỌC PGS.TS HOÀNG XUÂN HUẤN
Hà Nội - 2008
Trang 3Lời cam đoan
Với mục đích học tập, nghiên cứu để nâng cao kiến thức và trình độ chuyên môn nên tôi đã làm luận văn này một cách nghiêm túc và hoàn toàn trung thực
Trong luận văn, tôi có sử dụng một số tài liệu tham khảo của một số tác giả Tôi đã nêu ra trong phần tài liệu tham khảo ở cuối luận văn
Tôi xin cam đoan và chịu trách nhiệm về nội dung và sự trung thực trong luận văn tốt nghiệp Thạc sĩ của mình!
Học viên, Phạm Văn Vinh
Trang 4Lời cảm ơn
Trước tiên, em xin bày tỏ lời cảm ơn sâu sắc nhất tới thầy giáo hướng dẫn PGS.TS Hoàng Xuân Huấn là người đã tận tình hướng dẫn, chỉ bảo, giúp đỡ em rất nhiều trong quá trình tìm hiểu nghiên cứu để hoàn thành luận văn tốt nghiệp này
Em xin chân thành cảm ơn các thầy cô giáo Đại học Công Nghệ - Đại học Quốc Gia
Hà Nội đã dạy bảo, trang bị cho em những kiến thức cơ bản trong suốt thời gian nghiên cứu và học tập tại trường của em
Em xin chân thành cảm ơn các cô, các chú, các anh, các chị trong Trung tâm công nghệ thông tin - Điện lực Việt Nam cùng toàn thể các bạn bè đã tạo mọi điều kiện và đóng góp những ý kiến bổ ích trong thời gian em làm luận văn tốt nghiệp
Trang 5MỤC LỤC
DANH SÁCH HÌNH VẼ 16 DÁNH SÁCH BẢNG BIỂU 17 BẢNG TỪ VIẾT TẮT Error! Bookmark not defined.
TỪ KHOÁ Error! Bookmark not defined.
MỞ ĐẦU Error! Bookmark not defined CHƯƠNG 1: GIỚI THIỆU CHUNG VỀ DATA WAREHOUSEError! Bookmark
not defined
1.1 Giới thiệu Error! Bookmark not defined 1.2 Khái niệm về data warehouse Error! Bookmark not defined 1.3 Lợi ích sử dụng data warehouse Error! Bookmark not defined 1.4 Các thành phần trong môi trường data warehouseError! Bookmark not defined.
1.4.1 Khối các nguồn dữ liệu Error! Bookmark not defined 1.4.2 Khối tạo dựng data warehouse Error! Bookmark not defined 1.4.3 Thành phần lưu trữ dữ liệu Error! Bookmark not defined 1.4.4 Thành phần phân phát thông tin Error! Bookmark not defined 1.4.5 Thành phần siêu dữ liệu Error! Bookmark not defined 1.4.6 Thành phần quản lý và kiểm soát Error! Bookmark not defined 1.4.7 Thành phần ứng dụng Error! Bookmark not defined 1.5 Một số khái niệm liên quan Error! Bookmark not defined 1.5.1 Cơ sở dữ liệu đa chiều Error! Bookmark not defined 1.5.2 Kho dữ liệu tác nghiệp Error! Bookmark not defined 1.5.3 Kho dữ liệu hướng chủ đề Error! Bookmark not defined 1.6 Hệ thống xử lý giao dịch trực tuyến và data warehouseError! Bookmark not defined.
CHƯƠNG 2: KIẾN TRÚC DATA WAREHOUSE Error! Bookmark not defined 2.1 Kiến trúc data warehouse Error! Bookmark not defined 2.2 Các mô hình của data warehouse Error! Bookmark not defined 2.3 Mô hình dữ liệu đa chiều Error! Bookmark not defined 2.3.1 Lược đồ dữ liệu trong data warehouse Error! Bookmark not defined 2.3.2 Định nghĩa lược đồ Error! Bookmark not defined.
Trang 62.3.3 Độ phân cấp Error! Bookmark not defined CHƯƠNG 3: OLAP VÀ DATA WAREHOUSE Error! Bookmark not defined 3.1 Giới thiệu về OLAP Error! Bookmark not defined 3.2 Đặc trưng của OLAP Error! Bookmark not defined 3.3 Phân tích đa chiều Error! Bookmark not defined 3.4 Các toán tử trong OLAP Error! Bookmark not defined 3.4.1 Toán tử cuốn lên Error! Bookmark not defined 3.4.2 Toán tử khoan sâu Error! Bookmark not defined 3.4.3 Toán tử cắt lát và thu nhỏ Error! Bookmark not defined 3.4.4 Toán tử xoay Error! Bookmark not defined 3.4.5 Một số toán tử khác Error! Bookmark not defined 3.5 Các mô hình trong OLAP Error! Bookmark not defined 3.5.1 Mô hình MOLAP Error! Bookmark not defined 3.5.2 Mô hình ROLAP Error! Bookmark not defined 3.5.3 Lựa chọn mô hình ROLAP hay MOLAP Error! Bookmark not defined 3.5.4 Cách triển khai OLAP Error! Bookmark not defined CHƯƠNG 4: THIẾT KẾ VẬT LÝ DATA WAREHOUSEError! Bookmark not
defined
4.1 Các yếu tố khi thiết kế vật lý Error! Bookmark not defined 4.1.1 Các đối tượng thiết kế vật lý Error! Bookmark not defined 4.1.2 Từ thiết kế logic tới thiết kế vật lý Error! Bookmark not defined 4.1.3 Các thành phần của mô hình vật lý Error! Bookmark not defined 4.1.4 Ý nghĩa các chuẩn Error! Bookmark not defined 4.2 Các bước thiết kế vật lý Error! Bookmark not defined 4.2.1 Xây dựng tiêu chuẩn Error! Bookmark not defined 4.2.2 Lập kế hoạch tổng thể Error! Bookmark not defined 4.2.3 Xác định lược đồ phân chia dữ liệu Error! Bookmark not defined 4.2.4 Thiết lập khả năng nhóm dữ liệu Error! Bookmark not defined 4.2.5 Thiết lập cách đánh chỉ số Error! Bookmark not defined 4.2.6 Xác định cấu trúc lưu trữ Error! Bookmark not defined.
Trang 74.2.7 Hoàn thiện mô hình vật lý Error! Bookmark not defined 4.3 Cấu trúc vật lý Error! Bookmark not defined 4.3.1 Cấu trúc dữ liệu lưu trữ Error! Bookmark not defined 4.3.2 Tối ưu lữu trữ Error! Bookmark not defined 4.3.3 Sử dụng công nghệ RAID Error! Bookmark not defined 4.3.4 Dự đoán kích thước lưu trữ Error! Bookmark not defined 4.4 Đánh chỉ mục cho data warehouse Error! Bookmark not defined 4.4.1 Tổng quan về chỉ mục Error! Bookmark not defined 4.4.2 Chỉ mục B-tree Error! Bookmark not defined 4.4.3 Chỉ mục Bitmap Error! Bookmark not defined 4.4.4 Chỉ mục cho bảng sự kiện Error! Bookmark not defined 4.4.5 Chỉ mục cho bảng chiều Error! Bookmark not defined 4.5 Các kỹ thuật cải tiến hiệu năng Error! Bookmark not defined 4.5.1 Phân loại dữ liệu Error! Bookmark not defined 4.5.2 Phân cụm dữ liệu Error! Bookmark not defined 4.5.3 Xử lý song song Error! Bookmark not defined CHƯƠNG 5: XÂY DỰNG DATA WAREHOUSE CHO EVNError! Bookmark not
defined
5.1 Tổng quan về hệ thống Error! Bookmark not defined 5.1.1 Giới thiệu về EVN Error! Bookmark not defined 5.1.2 Mô hình tập đoàn Error! Bookmark not defined 5.1.3 Một số thống kê tình hình sản xuất hiện tại Error! Bookmark not defined 5.1.4 Yêu cầu về hệ thống hỗ trợ ra quyết định Error! Bookmark not defined 5.1.5 Mô tả hệ thống Error! Bookmark not defined 5.2 Minh chứng trên số liệu EVN Error! Bookmark not defined 5.2.1 Định hướng Error! Bookmark not defined 5.2.2 Mô tả hệ thống mức khái niệm Error! Bookmark not defined 5.2.3 Mô tả hệ thống mức chi tiết Error! Bookmark not defined 5.2.4 Giới thiệu một số công cụ hỗ trợ Error! Bookmark not defined 5.2.5 Kết quả thực hiện Error! Bookmark not defined.
Trang 8CHƯƠNG 6: KẾT QUẢ VÀ BÀN LUẬN Error! Bookmark not defined 6.1 Các kết quả đạt được Error! Bookmark not defined 6.2 Hướng nghiên cứu tiếp theo Error! Bookmark not defined TÀI LIỆU THAM KHẢO 18
Trang 9DANH SÁCH HÌNH VẼ
Hình 1: Tính chủ đề trong data warehouse Error! Bookmark not defined Hình 2: Tích hợp trong data warehouse Error! Bookmark not defined Hình 3: Dữ liệu không thay đổi Error! Bookmark not defined Hình 4: Các thành phần trong data warehouse Error! Bookmark not defined Hình 5: Các chu kỳ nạp dữ liệu Error! Bookmark not defined Hình 6: Thành phần phân phát thông tin Error! Bookmark not defined Hình 7: Khối dữ liệu đa chiều Error! Bookmark not defined Hình 8: Data warehouse và OLTP Error! Bookmark not defined Hình 9: Kiến trúc data warehouse Error! Bookmark not defined Hình 10: Mô hình cơ bản của data warehouse Error! Bookmark not defined Hình 11: Mô hình data warehouse và tiến trình thu thập dữ liệuError! Bookmark not defined.
Hình 12: Mô hình đầy đủ về data warehouse Error! Bookmark not defined Hình 13: Hộp lập phương cho lược đồ dữ liệu 3 chiều Error! Bookmark not defined Hình 14: Hộp lập phương cho lược đồ dữ liệu 4 chiều Error! Bookmark not defined Hình 15: Mạng mô tả dữ liệu đa chiều Error! Bookmark not defined Hình 16: Lược đồ hình sao Error! Bookmark not defined Hình 17: lược đồ bông tuyết Error! Bookmark not defined Hình 18: lược đồ chòm sao Error! Bookmark not defined Hình 19: Các mức phân cấp dữ liệu Error! Bookmark not defined Hình 20: Mức phân cấp chiều thời gian Error! Bookmark not defined Hình 21: Mô hình khối dữ liệu Error! Bookmark not defined Hình 22: Các toán tử trong OLAP Error! Bookmark not defined Hình 23: Mô hình MOLAP Error! Bookmark not defined Hình 24: Mô hình ROLAP Error! Bookmark not defined.
Trang 10Hình 25: Sự tương quan giữa MOLAP và ROLAP Error! Bookmark not defined Hình 26: Kiến trúc triển khai OLAP Error! Bookmark not defined Hình 28: Quy trình thiết kế Error! Bookmark not defined Hình 29: Các thành phần của mô hình vật lý Error! Bookmark not defined Hình 30: Tương quan giữa mô hình logic và mô hình vật lýError! Bookmark not defined.
Hình 27: Các bước thiết kế vật lý Error! Bookmark not defined Hình 31: Mô hình lưu trữ dữ liệu Error! Bookmark not defined Hình 32: Cấu trúc của chỉ mục B-Tree Error! Bookmark not defined Hình 33: Cấu trúc của chỉ mục Bitmap Error! Bookmark not defined Hình 34: Mô hình tập đoàn EVN Error! Bookmark not defined Hình 35: Sơ đồ tổng quan data warehouse EVN Error! Bookmark not defined Hình 36: Lược đồ dữ liệu trong data warehouse EVN Error! Bookmark not defined Hình 37: chiều dữ liệu trong data warehouse EVN Error! Bookmark not defined Hình 38: Ánh xạ thu thập dữ liệu cho chiều thời gian: DTHOIGIANError! Bookmark not defined.
Hình 39: Ánh xạ thu thập dữ liệu cho chiều công ty: DCONGTYError! Bookmark not defined.
Hình 40: Ánh xạ thu thập dữ liệu cho bảng sự kiện: CMIS_CUBEError! Bookmark not defined.
Hình 41: Báo cáo đa chiều từ data warehouse EVN đã xây dựngError! Bookmark not defined.
Hình 42: Báo cáo đa chiều với toán tử khoan sâu cho chiều thời gianError! Bookmark not defined.
Hình 43: Sơ đồ đa chiều mô tả sản lượng tiêu thụ điện của các điện lựcError! Bookmark not defined.
Hình 44: Dữ liệu và sơ đồ cho một báo cáo đa chiều Error! Bookmark not defined.
Trang 11DÁNH SÁCH BẢNG BIỂU
Bảng 1: Data warehouse và kho dữ liệu tác nghiệp Error! Bookmark not defined Bảng 2: Data warehouse và kho dữ liệu hướng chủ đề Error! Bookmark not defined Bảng 3: Khung nhìn dữ liệu đa chiều đơn giản Error! Bookmark not defined Bảng 4: Khung nhìn dữ liệu đa chiều chi tiết Error! Bookmark not defined Bảng 5: Đặc trưng cơ bản của phân tích đa chiều Error! Bookmark not defined Bảng 6: Đặc trưng nâng cao của phân tích đa chiều Error! Bookmark not defined.
TÀI LIỆU THAM KHẢO
Tiếng Việt
[1] PGS.TS Hoàng Xuân Huấn, Bài giảng môn Hệ hỗ trợ ra quyết định
[2] PGS.TS Hoàng Xuân Huấn (2006), Suy nghĩ về chủ nghĩa xã hội và đổi mới kinh
tế-xã hội ở nước ta: Báo quản lý kinh tế số 7 - 3+4/2006, Viện nghiên cứu kinh tế quản lý trung ương, bộ kế hoạch và đầu tư
[3] PTS Đỗ Việt Nga (1999), Thiết kế hệ thống trong xây dựng data warehouse và hệ
thống thông tin lớn
[4] Tài liệu mô tả hệ thống thông tin quản lý đầu tư - Tập đoàn Điện lực Việt Nam [5] Tài liệu mô tả hệ thống thông tin quản lý khách hàng - Tập đoàn Điện lực Việt Nam [6] Tài liệu mô tả hệ thống thông tin quản lý nhà máy điện - Tập đoàn Điện lực Việt Nam
[7] Tài liệu mô tả hệ thống thông tin tài chính - Điện lực Tập đoàn Việt Nam
[8] Trang web EVN, http://www.evn.com.vn/
Tiếng Anh
[9] Paulraj Ponniah, Data Warehousing Fundamentals: A Comprehensive Guide for IT Professionals John Wiley & Sons, Inc 2001
[10] Yuan Ji, Towards Framework for the Virtual data warehouse Course-based MS Report April 20, 2001
Trang 12[11] Oracle software: Oracle® Warehouse Builder 10g Release 1 (10.1), User’s Guide Part No B12146-01 2003
[12] Oracle software: Oracle® Business Intelligence 10g Release 2 (10.1.2.1) Concepts Guide B16378-01 2003
[13] Oracle software: Oracle® Database Data Warehousing Guide 10g Release 1 (10.1)
2003
[14] Jiawei Han and Micheline Kamber (2001), Data Mining : Concepts and
Techniques, Hacours Science and Technology Company, USA
[15] Gavin Powell(2006), Beginning Database Design, Wiley Publishing, USA
[16] James McGovern, Scott W Ambler, Michael E Stevens, James Linn, Vikas Sharan,
Elias K Jo(2003), Practical Guide to Enterprise Architecture, Prentice Hall, USA
[17] Keith Andrews (2006), Human Computer Interaction, Keith Andrews, Austria [18] Rebecca M Riordan(2005), Designing Effective Database Systems, Addison
Wesley Professional, USA
[19] Steve McConnell (2003), Professional Software Development: Shorter Schedules,
Higher Quality Products, More Successful Projects, Enhanced, Addison Wesley, USA
[20] Wendy Boggs Michael Boggs (2002), Mastering UML with Rational Rose 2002,
SYBEX, USA
[21] Freitas and S.H Lavington (1998), Mining very large Database with Parllel
Processing Kluwer Academic Publishers
[22] William H Inmon (1992), Building the Data Warehouse QED Technical
Publishing Group
[16] Planet Source Code, http://www.planet-source-code.com