Xin cảm ơn các bạn bè, đồng nghiệp và nhất là các thành viên trong gia đình đã tạo mọi điều kiện tốt nhất, giúp đỡ, động viên, ủng hộ và cổ vũ tôi trong suốt quá trình học tập và nghiê[r]
Trang 1ĐẠI HỌC QUỐC GIA HÀ NỘI
TRƯỜNG ĐẠI HỌC CÔNG NGHỆ
NGUYỄN VĂN ĐỨC
Xây dựng kho dữ liệu đảm bảo hiệu năng cho ngân hàng BIDV và thử nghiệm với hệ thống báo
cáo phân tích khách hàng
LUẬN VĂN THẠC SĨ CÔNG NGHỆ THÔNG TIN
Hà nội - 2015
HÀ NỘI 2015
Trang 2ĐẠI HỌC QUỐC GIA HÀ NỘI
TRƯỜNG ĐẠI HỌC CÔNG NGHỆ
NGUYỄN VĂN ĐỨC
Xây dựng kho dữ liệu đảm bảo hiệu năng cho ngân hàng BIDV và thử nghiệm với hệ thống báo
cáo phân tích khách hàng
Chuyên ngành : KỸ THUẬT PHẦN MỀM
LUẬN VĂN THẠC SĨ CÔNG NGHỆ THÔNG TIN
Người hướng dẫn khoa học:
PGS TS TRƯƠNG ANH HOÀNG
Hà nội - 2015
HÀ NỘI 2015
Trang 3LỜI CẢM ƠN
Trước tiên tôi xin được bày tỏ sự trân trọng và lòng biết ơn đối với PGS TS Trương Anh Hoàng, Giảng viên Khoa Công nghệ thông tin - Trường Đại học Công nghệ - ĐHQGHN Trong thời gian học tập và làm luận văn tốt nghiệp, thầy đã dành nhiều thời gian quý báu, tận tình chỉ bảo và hướng dẫn tôi trong việc nghiên cứu, thực hiện luận văn Tôi xin được cảm ơn các GS, TS, các thầy cô giáo đã giảng dạy tôi trong quá trình học tập và làm luận văn Các thầy cô đã giúp tôi hiểu sâu sắc và thấu đáo hơn lĩnh vực mà mình nghiên cứu để có thể vận dụng các kiến thức đó một cách hiệu quả nhất vào trong công tác của mình
Xin cảm ơn các bạn bè, đồng nghiệp và nhất là các thành viên trong gia đình đã tạo mọi điều kiện tốt nhất, giúp đỡ, động viên, ủng hộ và cổ vũ tôi trong suốt quá trình học tập
và nghiên cứu để hoàn thành tốt bản luận văn tốt nghiệp này
Tác giả
Nguyễn Văn Đức
Trang 42
LỜI CAM ĐOAN
Tôi xin cam đoan rằng, đây là công trình nghiên cứu của tôi trong đó có sự giúp đỡ rất lớn của thầy hướng dẫn và các đồng nghiệp ở cơ quan Các nội dung nghiên cứu và kết quả trong đề tài này là hoàn toàn trung thực
Trong luận văn, tôi có tham khảo đến một số tài liệu của một số tác giả đã được liệt
kê tại phần Tài liệu tham khảo ở cuối luận văn
Hà Nội, ngày……tháng……năm 2015
Tác giả
Nguyễn Văn Đức
Trang 5MỤC LỤC
DANH MỤC CÁC KÝ HIỆU VÀ CHỮ VIẾT TẮT 6
DANH MỤC BẢNG BIỂU 7
DANH MỤC HÌNH VẼ, ĐỒ THỊ 8
MỞ ĐẦU 10
Chương 1 HỆ THỐNG KHO DỮ LIỆU 12
1.1 Tổng quan kho dữ liệu 12
1.2 Kiến trúc chung của kho dữ liệu 13
1.3 Mô hình logic của kho dữ liệu 14
1.4 Mô hình dữ liệu đa chiều 14
1.5 Hiện trạng hệ thống kho dữ liệu trong ngân hàng 15
1.5.1 Tổng quan hệ thống báo cáo trong ngân hàng 15
1.5.2 Kiến trúc của kho dữ liệu trong ngân hàng 15
1.5.3 Đánh giá các mặt hạn chế của hệ thống kho dữ liệu hiện tại 17
1.5.3.1 Cơ sở dữ liệu dùng cho bài toán kho dữ liệu 17
1.5.3.2 Công cụ trích lọc dữ liệu 17
1.5.3.3 Công cụ phân phối báo cáo 18
1.5.3.4 Mô hình thiết kế kho dữ liệu 18
Chương 2 XÂY DỰNG HỆ THỐNG KHO DỮ LIỆU ĐÁP ỨNG HIỆU NĂNG XỬ LÝ CHO NGÂN HÀNG 20
2.1 Mục tiêu 20
2.2 Một số giải pháp công nghệ về kho dữ liệu 20
2.3 Thiết kế, xây dựng mô hình hệ thống kho dữ liệu mới 21
Trang 64
2.4 Các thành phần cần nâng cấp, bổ sung 22
2.4.1 Hệ thống cơ sở dữ liệu chuyên dụng cho bài toán kho dữ liệu 22
2.4.2 Hệ thống công cụ trích lọc dữ liệu 24
2.4.2.1 Tầm quan trọng của quá trình trích lọc dữ liệu 24
2.4.2.2 Hệ thống trích lọc dữ liệu IBM DataStage 26
2.4.3 Hệ thống phân phối báo cáo tập trung 29
2.4.3.1 Các công cụ chính của IBM Cognos 30
2.4.3.2 Một số đặc trưng cơ bản của IBM Cognos 33
2.4.4 Mô hình thiết kế tổng thể cho kho dữ liệu 34
2.4.4.1 Kiến trúc tổng quan của IBM Banking Data Model 35
2.4.4.2 Những điểm nổi bật của IBM Banking Model 39
2.5 Kết quả thử nghiệm 40
2.5.1 Thực nghiệm so sánh tốc độ trên các cơ sở dữ liệu 40
2.5.2 Thực nghiệm với hệ thống công cụ trích lọc dữ liệu 43
2.5.3 Nhận xét thực nghiệm 44
2.6 Kết luận 45
Chương 3 THỬ NGHIỆM VỚI BÀI TOÁN PHÂN TÍCH KHÁCH HÀNG 46
3.1 Mục tiêu 46
3.2 Yêu cầu chức năng 46
3.3 Thiết kế tổng thể 46
3.3.1 Mô hình logic 46
3.3.2 Thiết kế bảo mật 48
3.4 Thiết kế dữ liệu chuyên đề Phân tích khách hàng 48
3.4.1 Thiết kế dữ liệu chỉ tiêu 48
Trang 73.4.2 Thiết kế mô hình dữ liệu đa chiều với công cụ IBM Cognos Framework
Manager 49
3.4.3 Thiết kế job trích xuất dữ liệu từ kho dữ liệu vào kho dữ liệu chuyên đề Phân tích khách hàng 50
3.4.4 Thiết kế lớp bảo mật phân quyền theo người dùng 53
3.4.5 Triển khai dữ liệu đa chiều lên máy chủ Cognos 53
3.4.6 Khai thác dữ liệu đa chiều 53
3.4.7 Kết quả thử nghiệm 55
KẾT LUẬN 56
TÀI LIỆU THAM KHẢO 58
PHỤC LỤC 59
Trang 86
DANH MỤC CÁC KÝ HIỆU VÀ CHỮ VIẾT TẮT
AS400
Hệ thống máy chủ của IBM triển khai Core Banking cho ngân hàng
ASTs The Application Solution Templates Model
BDW IBM Banking Data Warehouse
BI Business Intelligence
BIDV Ngân hàng TMCP Đầu tư và Phát triển Việt Nam
Core Banking Hệ thống ngân hàng lõi
DataMart Dữ liệu chuyên đề
DTS Data Transformation Services
DWH Data Warehosuse
EDM Enterprise Data Model
Engine
Phần mở rộng có thể thêm vào để biến hệ thống xử lý hiện tại thành hệ thống tính toán lớn hơn
ETL Extract Transform Load
FSDM Financial Services Data Model
ODBC Microsoft Open Database Connectivity
OLAP Online Analytical Processing
OLTP Online Transaction Processing
STG Staging Area
Trang 9DANH MỤC BẢNG BIỂU
Bảng 2.14 Bảng kết quả thực nghiệm 1 41
Bảng 2.15 Bảng kết quả thực nghiệm 2 41
Bảng 2.16 Bảng kết quả thực nghiệm 3 42
Bảng 2.18 Bảng kết quả thực nghiệm mô hình ET-L và E-T-L 43
Trang 108
DANH MỤC HÌNH VẼ, ĐỒ THỊ
Hình 1.1 Kiến trúc cơ bản của kho dữ liệu 14
Hình 1.2 Mô hình dữ liệu đa chiều 15
Hình 1.3 Kiến trúc kho dữ liệu trong ngân hàng 16
Hình 2.1 Mô hình tổng thể kho dữ liệu mới 22
Hình 2.2 Mô hình xử lý theo ET-L 26
Hình 2.3 Mô hình xử lý theo EL-T 26
Hình 2.4 Mô hình xử lý theo E-T-L 27
Hình 2.5 E-T-L thiết kế theo công cụ IBM DataStage 28
Hình 2.6 Hệ thống DataStage mở rộng cấu phần Engine 29
Hình 2.7 Các công cụ của hệ thống phân phối báo cáo tập trung 30
Hình 2.8 Công cụ Framework Manager 33
Hình 2.9 Mô hình mở rộng của hệ thống IBM Cognos 34
Hình 2.10 Kiến trúc tổng quát của IBM Banking Data Model 35
Hình 2.11 Kiến trúc tổng quát của FSDM 36
Hình 2.12 Khu vực mẫu theo các mảng nghiệp vụ trong ngân hàng 38
Hình 2.13 Khu vực mẫu theo các mảng báo cáo tuân thủ 39
Đồ thị 2.17 Kết quả của 3 lần thực nghiệm về thời gian truy vấn dữ liệu 42
Đồ thị 2.19 Kết quả của 3 lần thực nghiệm theo mô hình E-T-L và ET-L về thời gian ảnh hưởng tới máy chủ nguồn 44
Hình 3.1 Nhóm chuyên đề lợi nhuận trong mô hình kho dữ liệu 47
Hình 3.2 Bài toán phân tích khách hàng trong mô hình kho dữ liệu mới 47
Hình 3.3 Mô hình thực thể trong thiết kế dữ liệu đa chiều 49
Hình 3.4 Thiết kế dữ liệu đa chiều 50
Trang 11TÀI LIỆU THAM KHẢO
[1] W H .Inmon, Building the Data Warehouse 1st Edition, 1992
[2] SilverLake, Technical Document Data Warehouse., 2004
[3] Đ T Tuấn, Cơ sở dữ liệu quan hệ, NXB Giáo dục, 1998
[4] Microsoft, "Introduction to New Data Warehouse," [Online] Available: https://technet.microsoft.com/en-us/library [Accessed 8 2015]
[5] Oracle, "Oracle Data Warehouse," [Online] Available:
https://www.oracle.com/database/data-warehouse/index.html [Accessed 8 2015] [6] IBM, "IBM Banking Data Warehouse," [Online] Available:
http://www-03.ibm.com/software/products/en/banking [Accessed 8 2015]
[7] IBM, "Data warehousing," [Online] Available:
http://www-03.ibm.com/software/products/en/category/SWM00 [Accessed 8 2015] [8] IBM, "IBM InfoSphere Information Server Deployment Architectures," [Online] Available: http://www.redbooks.ibm.com/redbooks/pdfs/sg248028.pdf [Accessed 9 2015]
[9] IBM, "IBM Cognos Business Intelligence V10.1" [Online] Available:
http://www.redbooks.ibm.com/redbooks/pdfs/sg247912.pdf [Accessed 10 2015] [10] IBM, "IBM Banking and Financial Markets Data Warehouse," [Online] Available: http://www-03.ibm.com/software/products/en/ibm-banking-financial-markets-dw [Accessed 9 2015]