TỔNG QUAN VỀ KHO DỮ LIỆU
Các khái niệm
Công nghệ kho dữ liệu (Data Warehouse Technology) do Theo John Ladley định nghĩa là tập hợp các phương pháp, kỹ thuật và công cụ hỗ trợ lẫn nhau nhằm cung cấp thông tin cho người sử dụng, dựa trên việc tích hợp dữ liệu từ nhiều nguồn và môi trường khác nhau.
Theo William H Inmon, cha đẻ của công nghệ DWH, kho dữ liệu là một tập hợp dữ liệu ổn định, được cập nhật theo thời gian và tích hợp theo hướng chủ đề, nhằm hỗ trợ quá trình ra quyết định trong quản lý.
Kho dữ liệu thường rất lớn tới hàng trăm GB hay thậm chí hàng Terabyte
Kho dữ liệu được thiết kế để tối ưu hóa việc truy cập từ nhiều nguồn và kiểu dữ liệu khác nhau, cho phép tích hợp các ứng dụng công nghệ hiện đại cùng với các hệ thống có sẵn Dữ liệu phát sinh từ hoạt động hàng ngày, được thu thập và xử lý để phục vụ cho các nghiệp vụ cụ thể của tổ chức, thường được gọi là dữ liệu tác nghiệp (operational data) và quá trình này được gọi là xử lý giao dịch trực tuyến (OLTP) Ngược lại, kho dữ liệu được sử dụng cho phân tích, mang lại thông tin có giá trị cao, với các hệ thống thông tin xử lý loại dữ liệu này được gọi là xử lý phân tích trực tuyến (OLAP).
Kho dữ liệu là tập hợp các cơ sở dữ liệu lớn, bao gồm dữ liệu từ nhiều phân hệ của hệ thống, nhằm lưu trữ và phân tích để cung cấp dịch vụ thông tin cho tổ chức Dữ liệu thường phát sinh từ các hoạt động hàng ngày và được thu thập, xử lý cho công việc nghiệp vụ, gọi là dữ liệu tác nghiệp, với quá trình thu thập này được gọi là xử lý giao dịch trực tuyến (OLTP) Ngược lại, kho dữ liệu phục vụ cho phân tích với thông tin chi tiết, thông qua hệ thống xử lý phân tích trực tuyến (OLAP).
Tóm lại, có nhiều định nghĩa về kho dữ liệu, nhưng tất cả đều nhằm mục đích hỗ trợ cho chức năng ra quyết định.
Kho dữ liệu không chỉ bao gồm một cơ sở dữ liệu quan hệ mà còn tích hợp nhiều bước quan trọng như công nghệ OLAP, các công cụ phân tích, và ứng dụng để thu thập và cung cấp dữ liệu cho người dùng.
Dòng dữ liệu trong một tổ chức (cơ quan, xi nghiệp, công ty, v.v.) có thể mô tả khái quát như sau:
Hình 1.1 Luồng dữ liệu trong một tổ chức [6]
Dữ liệu cá nhân không nằm trong phạm vi quản lý của hệ thống kho dữ liệu, mà bao gồm thông tin được trích xuất từ các hệ thống dữ liệu tác nghiệp, kho dữ liệu và các kho dữ liệu cục bộ liên quan thông qua các phép gộp, tổng hợp hoặc xử lý.
Dữ liệu tác nghiệp (Hiện tại, dữ liệu chi tiết)
KHO DỮ LIỆU (Dữ liệu lịch sử)
Dữ liệu chủ đề (Dữ liệu tập con, Dữ liệu chọn lọc, dữ liệu tính lịch sử)
Mục tiêu chính của kho dữ liệu là nhằm đáp ứng các tiêu chuẩn cơ bản:
1 Phải có khả năng đáp ứng mọi yêu cầu về thông tin của người sử dụng
2 Hỗ trợ để các nhân viên của tổ chức thực hiện tốt, hiệu quả công việc của minh, như có những quyết định hợp lý, nhanh và bán được nhiều hàng hơn, năng sản cao hơn, thu được lợi nhuận cao hơn, v.v
3 Giúp cho tổ chức, xác định, quản lý và điều hành các dự án, các nghiệp vụ một cách hiệu quả và chính xác
4 Tích hợp dữ liệu và các siêu dữ liệu từ nhiều nguồn khác nhau
Muốn đạt được những yêu cầu trên thì DW phải:
• Nâng cao chất lượng dữ liệu bằng các phương pháp làm sạch và tinh lọc dữ liệu theo những hướng chủ đề nhất định
• Tổng hợp và kết nối dữ liệu
• Đồng bộ hoá các nguồn dữ liệu với DW
• Phân định và đồng nhất các hệ quản trị cơ sở dữ liệu tác nghiệp như là các công cụ chuẩn để phục vụ cho DW
• Quản lí siêu dữ liệu
• Cung cấp thông tin được tích hợp, tóm tắt hoặc được liên kết, tổ chức theo các chủ đề
• Dùng trong các hệ thống hỗ trợ quyết định (Decision suport system - DSS), các hệ thống thông tin tác nghiệp hoặc hỗ trợ cho các truy vấn đặc biệt
Mục tiêu cơ bản của mọi tổ chức là lợi nhuận và điều này được mô tả như
Hình 1.2 Mối quan hệ giữa các cách quan sát về hệ thống[6]
Kho dữ liệu có các đặc tính như Hình 1.3, gồm bốn đặc tính sau:
Hình 1.3 Đặc tính của kho dữ liệu[4]
Kho dữ liệu được xây dựng dựa trên các chủ đề chính như khách hàng, tài chính, bán hàng và mua hàng, nhằm mục đích mô hình hóa và phân tích dữ liệu phục vụ cho những người ra quyết định, thay vì tập trung vào các hoạt động xử lý giao dịch hàng ngày.
Các chi phí trong sản xuất
Lợi tức Chi phí Đề xuất
Xác định giá Cố định Biến đổi
Nội dung dữ liệu được lưu trữ trong kho dữ liệu và CSDL tác nghiệp cũng khác nhau:
Kho dữ liệu không lưu trữ chi tiết mà chỉ tập trung vào việc lưu trữ các dữ liệu tổng hợp, phục vụ chủ yếu cho phân tích và hỗ trợ quyết định.
CSDL tác nghiệp yêu cầu dữ liệu chi tiết để phục vụ cho các chức năng ứng dụng hiện tại, vì vậy mối quan hệ giữa các dữ liệu trong hệ thống cần đảm bảo tính chính xác và tính thời sự.
Tính tích hợp được thể hiện qua việc hợp nhất dữ liệu từ các nguồn khác nhau, yêu cầu áp dụng các kỹ thuật làm sạch và tích hợp để đảm bảo sự đồng nhất về tên gọi, cấu trúc mã hóa và đơn vị đo Kho dữ liệu cần chuyển đổi các dữ liệu từ nhiều nguồn về định dạng phù hợp, đồng thời giải quyết các vấn đề như xung đột tên và mâu thuẫn giữa các đơn vị đo.
Tính ổn định của kho dữ liệu được thể hiện qua việc dữ liệu chỉ có thể được đọc và khai thác, không cho phép người sử dụng cuối sửa đổi Kho dữ liệu chỉ cho phép thực hiện hai thao tác cơ bản.
• Nạp dữ liệu vào kho dữ liệu
• Truy cập dữ liệu từ kho dữ liệu
Dữ liệu trong kho dữ liệu được nạp sau khi hoàn thành giao dịch trong hệ thống tác nghiệp, thể hiện tính không biến động nhờ vào việc lưu trữ lâu dài Dù có dữ liệu mới được thêm vào, dữ liệu cũ vẫn được giữ nguyên, cho phép cung cấp thông tin qua các khoảng thời gian dài và đủ số liệu cần thiết cho các mô hình phân tích và dự báo nghiệp vụ.
Khi các bảng dữ liệu trở nên quá lớn, cần có kế hoạch lưu trữ dữ liệu cũ, thường là sau 5-10 năm tùy theo yêu cầu báo cáo Việc lưu trữ này giúp giảm dung lượng lưu trữ cần thiết và tăng tốc độ truy cập dữ liệu Sau khi lưu trữ, dữ liệu cũ có thể được xóa hoặc chuyển sang nơi khác để tối ưu hóa hiệu suất.
Kiến trúc kho dữ liệu
Kiến trúc kho dữ liệu bao gồm năm tầng, như mô tả trong Hình 1.5 Tuy nhiên, không phải lúc nào cũng cần thiết phải triển khai đầy đủ cả năm tầng này.
Staging Area và Data Mart có thể bỏ đi tùy theo yêu cầu cụ thể của từng dự án
Hình 1.5 Kiến trúc kho dữ liệu[4]
Nguồn dữ liệu cho kho dữ liệu có thể một trong các dạng sau:
• CSDL của các phần mềm ứng dụng hoặc của các hệ thống tác nghiệp được lưu trữ bởi một hệ quản trị CSDL như Oracle, SQL Server, Access, DB2…
• Các tập tin phẳng, các tập tin nhật ký, bảng tính Excel…
Kho dữ liệu, hay kho dữ liệu mức doanh nghiệp, là thành phần lưu trữ dữ liệu lịch sử từ nhiều chủ đề khác nhau, bao gồm cả dữ liệu thô và dữ liệu đã được tổng hợp ở mức thấp.
Dữ liệu thô là phần chứa toàn bộ thông tin chi tiết nhất được lấy từ nguồn dữ liệu, sau khi đã loại bỏ các dữ liệu không cần thiết và thực hiện các biến đổi Trong phần này, dữ liệu thường được tổ chức theo chuẩn 3NF (Third Normal Form).
Dữ liệu tổng hợp là phần chứa thông tin được tổ chức theo nhiều chiều khác nhau, phù hợp với mục đích cụ thể của từng tổ chức Các bảng dữ liệu này thường không tuân theo chuẩn mực và được sử dụng cho phân tích báo cáo cũng như làm đầu vào cho việc xây dựng các kho dữ liệu chuyên biệt.
Kho dữ liệu chuyên biệt chứa dữ liệu tổng hợp theo các chủ đề như bán hàng, tồn kho, đặt hàng và thu nợ, nhằm hỗ trợ truy vấn, báo cáo và phân tích dữ liệu nhanh chóng và hiệu quả Mô hình dữ liệu trong kho này thường được tổ chức theo lược đồ hình sao, với bảng sự kiện nằm ở trung tâm và các bảng chiều xung quanh.
Hình 1.6 Ví dụ về lược đồ hình sao[5]
Kho siêu dữ liệu là thành phần quan trọng chứa thông tin về cấu trúc của kho dữ liệu, định nghĩa các công việc tích hợp, và dữ liệu liên quan đến người sử dụng cùng quyền hạn Nó có thể được lưu trữ trong cơ sở dữ liệu quan hệ hoặc dưới dạng hệ thống tập tin có cấu trúc.
Vùng chứa tạm là thành phần lưu trữ dữ liệu trung gian, giúp cải thiện hiệu quả của quá trình tích hợp dữ liệu, mặc dù nó không có ý nghĩa trực tiếp với người dùng cuối Dữ liệu tạm có thể được lưu trữ trong cơ sở dữ liệu quan hệ hoặc dưới dạng hệ thống tập tin phẳng.
Người dùng có thể sử dụng các công cụ khai thác kho dữ liệu, hoạt động trên nền tảng web hoặc desktop, để thực hiện các nhiệm vụ như truy vấn, phân tích, báo cáo và khai phá dữ liệu Phân tích số liệu có thể được minh họa qua ví dụ trong Hình 1.7 [5] dưới đây.
Qui trình xây dựng kho dữ liệu
1.3.1 Qui trình xây d ự ng kho d ữ li ệ u
Việc xây dựng và phát triển kho dữ liệu là một quá trình phức tạp, đòi hỏi phương pháp tiếp cận phù hợp Hiện nay, có nhiều cách tiếp cận khác nhau, nhưng tất cả đều dựa trên ba kiểu cơ bản.
• Tiếp cận theo hướng tăng dần
• Tiếp cận theo hướng từ trên xuống
• Tiếp cận theo hướng từ dưới lên
Mỗi cách tiếp cận đều có các ưu và nhược điểm riêng, cách tiếp cận như Hình
1.8 sau đây là một phương pháp tiếp cận phổ biến hiện nay
Hình 1.8 Qui trình xây dựng kho dữ liệu[4]
Như vậy, để xây dựng và phát triển kho dữ liệu cần phải thực hiện các công việc cơ bản sau:
Khi lập kế hoạch xây dựng kho dữ liệu, mục tiêu quan trọng là xác định rõ các yêu cầu cần thiết cho việc xây dựng kho dữ liệu và thiết lập một kế hoạch thực hiện chi tiết.
• Phân tích yêu cầu người sử dụng: để tập hợp được tất cả các yêu cầu của người sử dụng
• Xây dựng mô hình kho dữ liệu: định nghĩa mô hình nghiệp vụ, tạo mô hình logic và tạo mô hình dữ liệu vật lý
Lập kế hoạch cài đặt vật lý bao gồm việc lựa chọn kiến trúc tính toán phù hợp cho hệ thống máy chủ phục vụ kho dữ liệu và xây dựng kế hoạch lưu trữ dữ liệu hiệu quả.
Xây dựng quy trình tích hợp cho kho dữ liệu là việc thiết lập các công việc cần thiết để thực hiện quá trình tích hợp dữ liệu từ các nguồn vào kho dữ liệu.
• Quản trị kho dữ liệu: cài đặt đưa vào sử dụng kho dữ liệu, quản lý khai thác và cập nhật dữ liệu liên tục cho kho dữ liệu
1.3.2 Chi ti ế t các b ướ c xây d ự ng kho d ữ li ệ u
1.3.2.1 Lập kế hoạch xây dựng kho dữ liệu
Việc lập kế hoạch xây dựng kho dữ liệu bao gồm các nội dung cơ bản sau:
Lập kế hoạch tài chính là bước quan trọng, bao gồm việc ước lượng tổng chi phí cần thiết cho việc xây dựng và phát triển kho dữ liệu Đồng thời, cần xác định rõ ai sẽ là người cung cấp và quản lý các khoản chi phí này.
Lập kế hoạch cho nghiệp vụ là bước quan trọng, trong đó cần xác định rõ các mục đích mà kho dữ liệu sẽ mang lại và định nghĩa các chủ đề chính mà kho dữ liệu sẽ tập trung vào.
Lập kế hoạch kỹ thuật cho kho dữ liệu là bước quan trọng, bao gồm việc xác định các yêu cầu kỹ thuật cần thiết Điều này bao gồm thiết kế kiến trúc tổng thể của kho dữ liệu, mô tả chức năng của từng thành phần, và yêu cầu cụ thể về phần mềm, phần cứng cùng tài nguyên mạng Ngoài ra, cần ước lượng hiệu năng và kích thước của các thành phần này Các bước lập kế hoạch khi xây dựng kho dữ liệu được trình bày trong hình 1.9.
Hình 1.9 Các bước trong kế hoạc xây dựng DW[4]
1.3.2.2 về vấn đề bảo mật và phân quyền truy cập nghiêm ngặt trong liến trúc DWH
Kho dữ liệu là một hệ thống thông tin lớn, do đó việc quản lý dữ liệu đóng vai trò quan trọng, đặc biệt khi phải xử lý khối lượng lớn dữ liệu lịch sử và hiện tại Những dữ liệu này đa dạng về kiểu loại và được lưu trữ trong nhiều hình thức khác nhau.
Xác định chiến lược phát triển hệ
Lựa chọn phương pháp và mô hình
Xác định phạm vi của hệ thống Xây dựng kiến trúc cho hệ thống Tập hợp Metadata
Lập kế hoạch và xác định mục tiêu cho hệ thống này là rất quan trọng để tạo ra môi trường hoạt động cho các khối chức năng Các chức năng như nạp vào, nạp lại, trích xuất dữ liệu, đảm bảo an toàn, lưu trữ và khôi phục dữ liệu trong Data Warehouse đều được hỗ trợ bởi lớp quản lý dữ liệu.
• Sao lại các dữ liệu thích hợp từ nguồn dữ liệu đã chọn phục vụ cho việc tinh chế và gia công lại dữ liệu trong Data Warehouse
• Giám sát và đáp ứng các đòi hỏi cho các dữ liệu mới rút từ các nguồn dữ liệu khác nhau
• Bảo quản các dữ liệu trong các nguồn dữ liệu tác nghiệp và nạp lại hoặc cập nhập và làm sạch dữ liệu
Lớp quản lý dữ liệu đóng vai trò quan trọng trong việc thống nhất các phương pháp quản lý, thủ tục và phép toán nhằm đảm bảo an toàn, phân quyền truy cập, lưu trữ và khôi phục dữ liệu Ngoài ra, lớp này còn quản lý việc xử lý song song các truy vấn và phục hồi dữ liệu, giúp tối ưu hóa quá trình truy cập.
An toàn dữ liệu là yếu tố quan trọng trong kho dữ liệu, phụ thuộc vào loại thông tin Khi dữ liệu chuyển từ mức chi tiết (atomic) đến mức tóm tắt nhẹ, yêu cầu về an toàn sẽ giảm đối với những dữ liệu ít quan trọng hơn An toàn dữ liệu được đảm bảo ở hai mức: an toàn mức bảng và an toàn mức cột.
1.3.2.3 Xác định các yêu cầu khai thác thông tin từ kho dữ liệu
Mục đích chính của việc xây dựng kho dữ liệu là phục vụ cho việc khai thác thông tin của người dùng Do đó, xác định yêu cầu khai thác thông tin của người sử dụng là rất quan trọng, và đây là căn cứ để đánh giá mức độ thành công của kho dữ liệu Công việc này bao gồm nhiều nội dung cơ bản.
Có bốn dạng người sử dụng kho dữ liệu chính, bao gồm lãnh đạo, quản lý phòng ban, chuyên viên phân tích và cán bộ tin học.
• Xác định tập hợp các yêu cầu của người sử dụng: xác định các nghiệp vụ, các thuộc tính các phân cấp mà nguời dùng cần khai thác
Xác định yêu cầu khai thác thông tin của người sử dụng là bước quan trọng, bao gồm việc nhận diện các mức độ yêu cầu phân tích như tổng hợp, chi tiết và bất thường, cùng với phương pháp khai thác phù hợp.
Quản lý việc khai thác thông tin của người sử dụng là rất quan trọng, yêu cầu truy cập và khai thác thông tin cần được điều chỉnh để đảm bảo tính dễ dàng cho người dùng, đồng thời vẫn duy trì an toàn và bảo mật cho hệ thống.
1.3.2.4 Xây dựng mô hình kho dữ liệu
Việc xây dựng mô hình kho dữ liệu sẽ được thực hiện qua bốn bước cơ bản sau:
• Xác định mô hình nghiệp vụ;
• Tạo mô hình mức tổng hợp;
• Tạo mô hình vật lý
Tuần tự các bước được thể hiện trong Hình 1.10 bên dưới
Hình 1.10 Các bước xây dựng mô hình kho dữ liệu[4]
Việc xác định mô hình nghiệp vụ dựa trên các bước sau:
• Xác định các yêu cầu nghiệp vụ
• Xác định các đại lượng tính toán như số lượng, thành tiền, khuyến mãi
• Xác định các chiều dữ liệu như hàng hoá, khách hàng, kênh bán hàng, vùng miền, thời gian
• Xác định các định nghĩa nghiệp vụ và các qui tắc nghiệp vụ
• Xác định nguồn dữ liệu chính: nguồn dữ liệu có liên quan đến các nghiệp vụ cần thiết cho kho dữ liệu
• Xác định nguồn dữ liệu khác: nguồn dữ liệu từ bên ngoài, dữ liệu không phải dạng CSDL quan hệ
Lý do sử dụng công nghệ kho dữ liệu của Microsoft
Xây dựng kho dữ liệu có thể sử dụng nhiều công cụ từ các hãng khác nhau như Oracle, IBM, Microsoft, SAP, Business Objects và SAS Các công ty lớn như Oracle, IBM và Microsoft cung cấp giải pháp và bộ công cụ toàn diện cho việc thiết kế và xây dựng kho dữ liệu Mỗi hãng có những ưu và nhược điểm riêng, do đó, cần cân nhắc lựa chọn giải pháp và công cụ phù hợp dựa trên điều kiện cụ thể của từng dự án.
Luận văn này tập trung vào việc ứng dụng công nghệ của Microsoft, với nền tảng SQL Server 2008, trong việc xây dựng kho dữ liệu Dưới đây là một số ưu điểm của công nghệ Microsoft trong việc phát triển kho dữ liệu.
Chi phí đầu tư cho hệ quản trị CSDL SQL Server của Microsoft thường thấp hơn so với các nhà cung cấp khác, bao gồm các khoản như bản quyền phần mềm, hỗ trợ kỹ thuật, đào tạo, phát triển và vận hành hệ thống Quản trị SQL Server dễ dàng hơn, giúp giảm thiểu số lượng nhân lực và thời gian đào tạo Hơn nữa, với sự phổ biến của công nghệ lập trình, doanh nghiệp có thể tận dụng nguồn nhân lực sẵn có để phát triển và mở rộng kho dữ liệu.
Tính toàn diện của bộ công cụ phần mềm Microsoft cho phép cung cấp đầy đủ các thành phần từ hệ điều hành, hệ quản trị cơ sở dữ liệu, đến môi trường phát triển và cổng chia sẻ thông tin Người dùng có thể dễ dàng xây dựng một kho dữ liệu hoặc giải pháp trí tuệ doanh nghiệp hoàn chỉnh chỉ với các công cụ này, đặc biệt là bảng tính Excel Điều này mang lại sự yên tâm về khả năng tích hợp và hỗ trợ trong công việc.
Kho dữ liệu của Microsoft hiện có dung lượng lên đến 10 terabytes và một số kho dữ liệu đã đạt 50 terabytes Công ty đang mở rộng các sản phẩm SQL Server để hỗ trợ xử lý song song, với mục tiêu phát triển kho dữ liệu có dung lượng hàng trăm terabytes.
Mặc dù có thể xây dựng một kho dữ liệu hoàn chỉnh chỉ với các công cụ của Microsoft, nhưng các công cụ này có thể được tích hợp hoặc thay thế một phần bởi các công cụ của các nhà phát triển thứ ba.
Microsoft đã tăng cường đầu tư vào trí tuệ doanh nghiệp, với SQL Server 2008 tích hợp đầy đủ bộ công cụ phát triển ứng dụng, bao gồm tích hợp dữ liệu, lập báo cáo, phân tích số liệu và quản lý.
Giải pháp tổng thể kho dữ liệu của Microsoft
Trong những năm gần đây, Microsoft đã chú trọng vào giải pháp trí tuệ doanh nghiệp, đặc biệt là kho dữ liệu, xác định đây là một trong những hướng phát triển chính trong tương lai Giải pháp tổng thể của Microsoft cho DW/BI được minh họa như Hình 2.1 bên dưới.
Hình 2.1 Giải pháp DW/BI của Microsoft[13]
Tầng dữ liệu nguồn là nơi lưu trữ dữ liệu đầu vào cho kho dữ liệu, cho phép thu thập thông tin từ nhiều ứng dụng khác nhau như Microsoft Dynamic, Siebel, SAP, cũng như từ các hệ quản trị cơ sở dữ liệu đa dạng như Oracle, DB2, và Informix.
Tầng nền tảng: là tầng chứa toàn bộ công cụ nền tảng cho trí tuệ doanh nghiệp Tầng này bao gồm các công cụ và dịch vụ sau:
Hệ quản trị cơ sở dữ liệu SQL Server là phần quan trọng trong việc lưu trữ, xử lý và bảo đảm an ninh cho dữ liệu Nó cung cấp khả năng kiểm soát truy cập và xử lý giao dịch nhanh chóng, đáp ứng hầu hết các yêu cầu về dữ liệu.
Dịch vụ tích hợp dữ liệu SSIS là nền tảng quan trọng để phát triển giải pháp tích hợp dữ liệu, cho phép tạo ra các gói nhằm thực hiện việc trích xuất, biến đổi và nạp dữ liệu vào các đích mong muốn.
Dịch vụ báo cáo SSRS trong SQL Server 2008 Reporting Services cung cấp nền tảng Data Warehouse cho nhân viên quản lý thông tin, giúp họ dễ dàng truy cập vào dữ liệu nghiệp vụ Dịch vụ này cho phép tạo ra các báo cáo từ nhiều nguồn dữ liệu khác nhau, xuất bản báo cáo dưới nhiều định dạng và quản lý việc sử dụng một cách tập trung.
Dịch vụ phân tích SSAS trong SQL Server 2008 cung cấp tính linh hoạt và phong phú của mô hình báo cáo quan hệ, kết hợp với khả năng phân tích mạnh mẽ và giao diện thân thiện với người dùng Nó hỗ trợ công nghệ OLAP, cho phép quản lý các khối đa chiều chứa dữ liệu tổng hợp từ nhiều nguồn khác nhau Ngoài ra, SSAS còn cho phép thiết kế và trình bày trực quan các mô hình khai phá dữ liệu được xây dựng từ nhiều nguồn dữ liệu thông qua các thuật toán khai phá tiêu chuẩn.
Tầng khai thác chứa các công cụ cho người sử dụng đầu cuối thực hiện khai thác kho dữ liệu, như Excel và PerformancePoint, để tạo bảng tính, báo cáo, bảng điều khiển và thẻ tính điểm Tầng này cũng cung cấp môi trường phân phối và chia sẻ các tài liệu này cho người dùng qua mạng Intranet hoặc Internet thông qua phần mềm SharePoint.
Cải tiến cho kho dữ liệu trong SQL Server 2008
SQL Server 2008, phiên bản mới của Microsoft SQL Server, mang đến nền tảng dữ liệu toàn diện, bảo mật và đáng tin cậy hơn cho các ứng dụng quan trọng Nó giúp nhà phát triển tạo ra ứng dụng mới có khả năng lưu trữ và sử dụng mọi loại dữ liệu trên mọi thiết bị, đồng thời hỗ trợ người dùng trong việc ra quyết định Với những cải tiến đáng kể cho kho dữ liệu, SQL Server 2008 có thể đáp ứng 95% yêu cầu của thị trường.
• Cho phép tạo các bảng sự kiện với kích thước rất lớn lên tới 100 tỷ hàng
Cải tiến câu lệnh chèn vào bảng bằng cách sử dụng một tập hợp các hàng dữ liệu từ câu lệnh chọn giúp tăng tốc độ thực hiện và giảm thiểu bộ nhớ làm việc.
Câu lệnh thao tác gộp cho phép thực hiện các thao tác trên bảng dữ liệu với hiệu suất cao, đồng thời kết hợp các thao tác thêm mới, sửa và xóa vào một câu lệnh duy nhất, giúp việc viết câu lệnh trở nên rõ ràng và nhanh chóng hơn.
Hỗ trợ khả năng bắt các sự thay đổi (Change Data Capture - CDC) cho cơ sở dữ liệu nguồn trên SQL Server 2008, cho phép tự động đánh dấu sự thay đổi của bảng theo thời gian Tính năng này giúp lấy ra tập dữ liệu thay đổi trong khoảng thời gian chỉ định, đặc biệt hữu ích cho các bảng dữ liệu nguồn không có cột ghi lại sự thay đổi dữ liệu theo thời gian.
• Cải tiến công cụ tra cứu dùng cho tích hợp, cho phép sử dụng bộ nhớ đệm một cách tối đa tại máy chủ tích hợp
• Cho phép nén dữ liệu lưu trữ cho các bảng sự kiện giúp có thể giảm dung lượng lưu trữ xuống được từ 2-7 lần
• Cải tiến công nghệ phân vùng và xử lý song song giúp có thể đáp ứng câu truy vấn nhanh hơn 3-5 lần so với phiên bản 2005
Cải thiện hiệu suất thực thi câu lệnh truy vấn cho giản đồ hình sao bằng cách áp dụng công nghệ chỉ mục Bitmap đã giúp giảm đáng kể thời gian thực thi.
Sao lưu nén trong SQL Server 2008 không chỉ giúp giảm kích thước dữ liệu mà còn tiết kiệm thời gian thực hiện so với phương pháp sao lưu thông thường Đặc biệt, tính năng này cho phép sao lưu cơ sở dữ liệu lên đến 200GB bằng các câu lệnh tích hợp sẵn.
Cải tiến khả năng quản lý tài nguyên như bộ nhớ, bộ vi xử lý và các tiến trình giúp tối ưu hóa hiệu suất hệ thống Điều này cho phép cấu hình tài nguyên sử dụng cho từng người dùng, ứng dụng và phiên làm việc một cách linh hoạt và hiệu quả.
Các công cụ cho kho dữ liệu trong SQL Server 2008
SQL Server 2008 không chỉ là một hệ quản trị cơ sở dữ liệu (RDBMS) phổ biến trong các ứng dụng tác nghiệp, mà còn cung cấp bộ công cụ toàn diện cho việc xây dựng kho dữ liệu Nó hỗ trợ nhiều công cụ và dịch vụ cần thiết cho quá trình xây dựng kho dữ liệu hiệu quả.
• Hệ quản trị CSDL quan hệ: dùng để cài đặt CSDL quan hệ cho kho dữ liệu
• Dịch vụ tích hợp dữ liệu: sử dụng để tạo các gói để tích hợp dữ liệu
• Dịch vụ báo cáo: sử dụng cho việc cài đặt, quản lý và trình bày các báo cáo
• Dịch vụ phân tích: sử dụng cho việc thiết kế cài đặt các khối dữ liệu, dùng cho việc phân tích dữ liệu theo đa chiều
Công cụ quản lý cho phép theo dõi và quản lý toàn bộ các dịch vụ, bao gồm SSMS, giúp tạo các công việc và thiết lập lịch biểu để thực thi tự động Bên cạnh đó, nó cũng hỗ trợ theo dõi và điều khiển các công việc một cách hiệu quả.
Công cụ phát triển BI của SQL Server là một phần trong bộ công cụ phát triển ứng dụng Visual Studio 2008 của Microsoft, hỗ trợ phát triển các ứng dụng BI và kho dữ liệu.
Trong các phần tiếp theo, chúng tôi sẽ trình bày chi tiết về kiến trúc và các tính năng cơ bản của những dịch vụ chính được sử dụng để xây dựng và quản lý kho dữ liệu.
SSIS là nền tảng tích hợp dữ liệu, giúp phát triển quy trình tích hợp dữ liệu cho kho dữ liệu nhanh chóng và hiệu quả Giao diện phát triển đồ họa của SSIS cho phép người dùng kéo và thả các đối tượng, đồng thời hỗ trợ lập trình bằng mã lệnh trong giao diện soạn thảo Kiến trúc dịch vụ tích hợp SSIS được minh họa trong hình.
Hình 2.2 Kiến trúc dịch vụ tích hợp SSIS
Kiến trúc của SSIS chứa bốn thành phần cơ bản:
• Lõi thời gian chạy và các thực thi thời gian chạy của SSIS;
• Luồng dữ liệu và các thành phần của luồng dữ liệu;
• Người sử dụng đầu cuối SSIS
Dịch vụ SSIS là một dịch vụ của Windows, được cài đặt cùng với thành phần SSIS của SQL Server 2008, có chức năng theo dõi việc thực thi của các gói.
Lõi thời gian chạy và các chương trình hỗ trợ thực thi gói tích hợp SSIS, bao gồm quản lý, ghi nhật ký, gỡ rối và cấu hình kết nối Nó cũng quản lý các sự kiện trong thời gian chạy, thực hiện gửi thư điện tử hoặc ghi nhật ký.
Gói trong SSIS là thành phần cốt lõi, tương tự như một chương trình thực thi trên hệ điều hành Windows Nó bao gồm một tập hợp các nhiệm vụ được thực hiện theo trình tự có tổ chức Gói có thể được lưu trữ trong cơ sở dữ liệu MSDB.
CSDL hệ thống mặc định của SQL Server, hoặc là ghi ra dưới dạng một tập tin có đuôi là dtsx
Tác vụ là đơn vị công việc trong SSIS, tương tự như phương thức trong ngôn ngữ lập trình Nó có thể bao gồm việc di chuyển tập tin, nạp nội dung tập tin và cơ sở dữ liệu, hoặc gửi thư điện tử SSIS cung cấp sẵn nhiều tác vụ, nhưng người dùng cũng có thể tạo ra các tác vụ riêng bằng C# hoặc VB.net dựa trên mô hình đối tượng của SSIS Một số tác vụ phổ biến trong SSIS bao gồm việc xử lý dữ liệu và tương tác với các nguồn dữ liệu khác nhau.
• Bulk Insert Task: nạp dữ liệu vào một bảng sử dụng câu lệnh BULK INSERT SQL
• Data Flow Task: đây là tác vụ đặc biệt dùng để lấy dữ liệu từ nguồn, biến đổi và nạp vào đích
• Execute Package Task: cho phép thưc thi một gói trong gói hiện hành, tạo cho gói SSIS có tính mô đun hóa
Chức năng Execute Process Task cho phép thực thi một chương trình bên ngoài cho một nhiệm vụ cụ thể, như việc chia nhỏ một tập tin thành nhiều tập tin con trước khi tiến hành xử lý từng tập tin đó.
• Execute SQL Task: thực thi một câu lệnh SQL hoặc một thủ tục lưu trữ
• File System Task: tác vụ này cho phép thao tác với tập tin và thư mục Các thao tác như tạo mới, đổi tên, sao chép hoặc xóa
• FTP Task: gửi nhận tập tin thông qua một dịch vụ truyền tập tin
• Script Task: chạy một đoạn mã nguồn bằng VB.NET hoặc C#
• Send Mail Task: thực hiện gửi thư điện tử
• Analysis Services Processing Task: thực hiện các thao tác cho các khối dữ liệu
• Web Service Task: thực hiện một phương thức nào đấy của một dịch vụ web
XML Task là một tác vụ nhằm thực hiện các thao tác trên tập tin XML, bao gồm phân tích, xử lý, ghép, chia tách và định dạng lại nội dung của tập tin này.
Khi tạo tác vụ luồng dữ liệu, BIDS sẽ hiển thị các phần tử cần thiết cho thiết kế Thẻ luồng điều khiển chứa các luồng chính của gói, trong khi thẻ luồng dữ liệu bao gồm các bước biến đổi dữ liệu.
Trong thẻ luồng điều khiển, người dùng có thể tạo nhiều luồng dữ liệu Khi nhấn vào một luồng dữ liệu cụ thể, thẻ luồng điều khiển sẽ hiển thị tất cả các bước biến đổi liên quan đến luồng dữ liệu đó Hình 2.3 dưới đây minh họa nội dung của một luồng dữ liệu.
Hình 2.3 Ví dụ về một luồng dữ liệu
Nguồn trong SSIS là vị trí xác định nguồn dữ liệu trước khi xử lý, thường chỉ đến một kết nối của gói SSIS Một số nguồn phổ biến được sử dụng trong SSIS bao gồm cơ sở dữ liệu SQL Server, tệp Excel, và tệp văn bản.
• OLE DB: kết nối đến một nguồn dữ liệu OLE DB như SQL Server, Access, Oracle, hoặc DB 2
Excel là một bảng tính cho phép thực hiện các câu lệnh truy vấn SQL nhằm lấy dữ liệu cần thiết từ bảng tính.
• Flat File: kết nối đến tập tin mà các các cột dữ liệu được phân cách bởi các dấu phân cách hoặc chiều dài các cột là cố định
• XML: lấy dữ liệu từ một tập tin XML
• ADO.NET: cho phép kết nối đến nguồn dữ liệu thông qua ODBC
• Đích: trong một luồng dữ liệu thì đích có thể từ một nguồn hoặc một phép biến đổi Một số loại đích hỗ trợ trong SSIS như sau:
• Excel: ghi dữ liệu ra một tập tin Excel đã có trước
• Flat file: ghi dữ liệu ra tập tin phẳng, tức có phân cách hoặc chiều dài cố định
• OLE: ghi dữ liệu dữ liệu ra SQL Server, Access, Oracle, hoặc DB2
• SQL Server: Ghi dữ liệu ra một SQL Server, cách này sẽ nhanh và hiệu quả
Qui trình xây dựng kho dữ liệu của Microsoft
Quá trình xây dựng kho dữ liệu rất phức tạp, bao gồm nhiều công đoạn và phương pháp, vì vậy cần đơn giản hóa để giảm bớt sự phức tạp Theo Microsoft, vòng đời của kho dữ liệu gồm 13 bước chính, mỗi bước đóng vai trò quan trọng quyết định sự thành công của việc xây dựng kho dữ liệu Các bước này được minh họa trong Hình 2.9 dưới đây.
Trong quy trình xây dựng kho dữ liệu của Microsoft, hộp định nghĩa yêu cầu nghiệp vụ nằm ở vị trí trung tâm, đóng vai trò quan trọng cho ba khối tiếp theo Đồng thời, có mũi tên chỉ ngược về hộp kế hoạch dự án, cho thấy rằng kế hoạch dự án có thể cần điều chỉnh khi hiểu rõ hơn về yêu cầu nghiệp vụ và thứ tự ưu tiên.
Tiếp đến là ba khối ở giữa vòng đời tập trung cho ba nội dung công việc riêng biệt sau:
Khối trên cùng liên quan đến kỹ thuật, bao gồm việc lập kế hoạch cho việc lựa chọn các công cụ công nghệ Microsoft sẽ được sử dụng trong dự án, cùng với việc cài đặt và cấu hình các công cụ này.
Khối giữa liên quan đến dữ liệu bao gồm thiết kế mô hình đa chiều, thiết kế vật lý và phát triển quy trình tích hợp Các bước này là cần thiết để xây dựng kho dữ liệu hiệu quả, vì kho dữ liệu sẽ không thành công nếu thiếu các bước còn lại.
• Khối cuối cùng liên quan đến ứng dụng BI, tức gồm việc thiết kế và phát triển ứng dụng BI cho người dùng nghiệp vụ
Khi triển khai hệ thống, các khối sẽ được kết hợp lại, đánh dấu một thời điểm nhạy cảm để tạo ấn tượng tốt đầu tiên cho khách hàng Sau khi hoàn tất triển khai, việc bảo trì DW/BI sẽ bắt đầu, có thể thực hiện bởi con người hoặc công cụ Giai đoạn tăng trưởng của dự án liên kết trở lại với giai đoạn đầu tiên, nhấn mạnh rằng phương pháp tiếp cận gia tăng là yếu tố cốt lõi trong việc cung cấp giá trị doanh nghiệp.
Hộp quản lý dự án đóng vai trò quan trọng trong toàn bộ vòng đời của dự án, với trách nhiệm chính thuộc về người quản lý dự án, người sẽ giám sát toàn bộ tiến trình ở cấp độ cao Các trưởng nhóm cũng cần thiết, và lý tưởng nhất là họ nên có khả năng giao tiếp hiệu quả với cả kỹ sư công nghệ và các nhà kinh doanh, bao gồm cả giám đốc điều hành cấp cao trong doanh nghiệp.
Trong chương 2, bài viết đã giới thiệu kiến trúc và công nghệ kho dữ liệu của SQL Server 2008, bao gồm ba tầng: tầng dữ liệu nguồn hỗ trợ nhiều loại cơ sở dữ liệu khác nhau, tầng nền tảng với các công cụ và dịch vụ của SQL Server để xây dựng kho dữ liệu, và tầng khai thác với các công cụ tạo và chia sẻ báo cáo Chương này cũng đề cập đến các dịch vụ và công cụ hỗ trợ xây dựng kho dữ liệu, như Hệ QTCSDL SQL Server 2008, dịch vụ tích hợp dữ liệu SSIS, dịch vụ báo cáo SSRS, dịch vụ phân tích SSAS, công cụ quản lý SSMS, công cụ phát triển kho dữ liệu BIDS, và công cụ phân tích dữ liệu PivotTable của Excel.
Chương 3 XÂY DỰNG KHO DỮ LIỆU TỔ CHỨC
3.1 Giới thiệu về Tổ chức Tài chính vi mô
Tổ chức tài chính vi mô (MFI) cung cấp dịch vụ tài chính như vay, tiết kiệm và bảo hiểm vi mô cho người nghèo Do đó, việc xây dựng kho dữ liệu phục vụ cho phân tích và báo cáo của MFI là cần thiết trong những năm tới tại Việt Nam.
Trong những năm qua, tài chính vi mô đã phát triển mạnh mẽ tại Việt Nam, giúp hàng triệu người nghèo và có thu nhập thấp tiếp cận dịch vụ tài chính, từ đó góp phần tích cực vào công cuộc xóa đói giảm nghèo và cải thiện đời sống Ngày 30/3/2012, Thống đốc Ngân hàng Nhà nước ban hành Quyết định số 572/QĐ-NHNN phê duyệt Kế hoạch xây dựng và phát triển hệ thống tài chính vi mô đến năm 2020 Kế hoạch này nhằm hỗ trợ vốn cho người nghèo, doanh nghiệp siêu nhỏ và nhỏ, phục vụ phát triển kinh tế, đồng thời thực hiện chiến lược quốc gia về xóa đói giảm nghèo bền vững và bảo đảm an sinh xã hội Ngoài ra, kế hoạch cũng đề ra các giải pháp giám sát chặt chẽ để đảm bảo hoạt động của các Tổ chức Tài chính vi mô phát triển an toàn và bền vững.
Học viện Ngân hàng (HVNH) đã phát triển phần mềm Tài chính vi mô mFinance, một giải pháp toàn diện cho các Tổ chức Tài chính vi mô (TCVM) Phần mềm này sử dụng công nghệ hiện đại để xử lý các nghiệp vụ đặc thù của TCVM, giúp tối ưu hóa hoạt động của các tổ chức này Việc áp dụng mFinance không chỉ mang lại giá trị lớn cho các TCVM mà còn góp phần vào sự phát triển kinh tế của đất nước.
Hình 3.1 Mô hình giải pháp tổng thể
Các tính năng nổi bật của hệ thống:
• Được thiết kế và phát triển: Tuân thủ các văn bản pháp lý theo Quy định của NHNN Việt Nam
Quản lý hiệu quả mô hình tổ chức với nhiều chi nhánh, phòng ban và điểm giao dịch là rất quan trọng Phần mềm quản lý cần hoạt động trên mạng nội bộ của tổ chức hoặc qua Internet và mạng WAN riêng, cho phép nhiều người cùng làm việc đồng thời.
Bảo mật và an toàn dữ liệu là yếu tố thiết yếu trong quản lý người dùng, bao gồm việc thay đổi mật khẩu và ghi lại nhật ký truy cập tự động để theo dõi các thao tác của người dùng Hệ thống cũng cần có khả năng tự động sao lưu dữ liệu và phục hồi dữ liệu đã sao lưu Do đó, vấn đề này cần được nhấn mạnh và viết riêng thành một phần cuối của bài viết.
• Phân hệ quản lý khách hàng & thành viên: Quản lý chi tiết toàn bộ các thành viên của tổ chức, …
Phân hệ kế toán đảm nhiệm việc quản lý hệ thống tài khoản, định nghĩa các bút toán cho các giao dịch, thực hiện bút toán lẻ và bút toán điều chỉnh, đồng thời cung cấp nhiều báo cáo tài chính kế toán cần thiết.
Phân hệ tín dụng vi mô quản lý toàn diện các hợp đồng tín dụng và khế ước, bao gồm thực hiện tạm ứng phát vốn, dự thu lãi, thu lãi, thu gốc, gia hạn nợ, và xử lý nợ quá hạn.
• Phân hệ tiết kiệm vi mô: Thực hiện tạm ứng, hoàn tiết kiệm, dự chi lãi, lãi nhập gốc,
Phân hệ tín dụng thông thường cung cấp nhiều phương thức cho vay đa dạng như cho vay từng lần, trả góp, và cho vay đồng tài trợ Các hình thức cho vay bao gồm góp ngày, góp tuần, và linh hoạt theo ngày, tuần, tháng, hay quý, với lãi suất có thể thay đổi.
Giới thiệu về Tổ chức Tài chính vi mô
Tổ chức tài chính vi mô (MFI) cung cấp dịch vụ tài chính như vay, tiết kiệm và bảo hiểm cho người nghèo Do đó, việc xây dựng kho dữ liệu để phục vụ cho phân tích và báo cáo là cần thiết cho các MFI tại Việt Nam trong những năm tới.
Trong những năm qua, hoạt động tài chính vi mô đã phát triển mạnh mẽ trên toàn quốc, giúp hàng triệu người nghèo và có thu nhập thấp tiếp cận dịch vụ tài chính, từ đó góp phần tích cực vào công cuộc xóa đói giảm nghèo và cải thiện đời sống Ngày 30/3/2012, Thống đốc Ngân hàng Nhà nước ban hành Quyết định số 572/QĐ-NHNN phê duyệt kế hoạch phát triển hệ thống tài chính vi mô tại Việt Nam đến năm 2020 Kế hoạch này nhằm xây dựng Tổ chức Tài chính vi mô như một giải pháp hỗ trợ vốn cho người nghèo, người có thu nhập thấp và các doanh nghiệp nhỏ, phục vụ cho phát triển kinh tế và thực hiện chiến lược quốc gia về xóa đói giảm nghèo bền vững Đồng thời, kế hoạch cũng đề ra các giải pháp giám sát chặt chẽ hoạt động của Tổ chức Tài chính vi mô, đảm bảo sự phát triển an toàn và bền vững dựa trên cơ sở pháp lý đầy đủ.
Học viện Ngân hàng (HVNH) đã phát triển phần mềm Tài chính vi mô mFinance, một giải pháp toàn diện cho các Tổ chức Tài chính vi mô (TCVM) Phần mềm này được xây dựng trên nền tảng công nghệ hiện đại, giúp xử lý các nghiệp vụ đặc thù của TCVM Việc ứng dụng mFinance vào hoạt động của các tổ chức này không chỉ tạo ra giá trị lớn mà còn góp phần vào sự phát triển kinh tế của đất nước.
Hình 3.1 Mô hình giải pháp tổng thể
Các tính năng nổi bật của hệ thống:
• Được thiết kế và phát triển: Tuân thủ các văn bản pháp lý theo Quy định của NHNN Việt Nam
Quản lý hiệu quả mô hình cho tổ chức có nhiều chi nhánh, phòng ban và điểm giao dịch là rất quan trọng Phần mềm cần hoạt động trên mạng nội bộ của tổ chức hoặc qua Internet, đảm bảo khả năng sử dụng mạng WAN riêng, cho phép nhiều người cùng làm việc đồng thời.
Bảo mật và an toàn dữ liệu là yếu tố quan trọng trong quản lý người dùng, bao gồm các chức năng như thay đổi mật khẩu và ghi lại nhật ký truy cập tự động để theo dõi các thao tác của người dùng Hệ thống cũng cần tự động sao lưu dữ liệu và cho phép phục hồi dữ liệu đã sao lưu khi cần thiết Do đó, cần nhấn mạnh tầm quan trọng của vấn đề này và dành riêng một phần để thảo luận chi tiết hơn ở cuối bài viết.
• Phân hệ quản lý khách hàng & thành viên: Quản lý chi tiết toàn bộ các thành viên của tổ chức, …
Phân hệ kế toán đóng vai trò quan trọng trong việc quản lý hệ thống tài khoản, định nghĩa và thực hiện các bút toán cho các giao dịch, bao gồm bút toán lẻ và bút toán điều chỉnh Hệ thống này còn cung cấp nhiều báo cáo tài chính kế toán cần thiết cho việc theo dõi và đánh giá tình hình tài chính của doanh nghiệp.
Phân hệ tín dụng vi mô giúp quản lý toàn diện các hợp đồng tín dụng và khế ước, bao gồm việc thực hiện tạm ứng phát vốn, dự thu lãi, thu lãi, thu gốc, gia hạn nợ và xử lý nợ quá hạn.
• Phân hệ tiết kiệm vi mô: Thực hiện tạm ứng, hoàn tiết kiệm, dự chi lãi, lãi nhập gốc,
Phân hệ tín dụng thông thường cung cấp nhiều phương thức cho vay linh hoạt, bao gồm cho vay từng lần, trả góp, và hạn mức Các hình thức cho vay đa dạng như cho vay đồng tài trợ, cho vay ủy thác, và các kỳ hạn góp theo ngày, tuần, tháng, hoặc quý, cùng với khả năng thay đổi lãi suất linh hoạt, đáp ứng nhu cầu của khách hàng.
Phân hệ tiết kiệm tự nguyện cung cấp nhiều hình thức huy động linh hoạt, bao gồm các kỳ hạn tiết kiệm theo tuần, tháng, quý và năm Khách hàng có thể lựa chọn phương thức trả lãi trước hoặc sau, với các tùy chọn lãi suất đa dạng như lãi bậc thang và in số tiết kiệm.
• Báo cáo: Báo cáo ngày, tháng, quý, năm, các Báo cáo tài chính và nhiều các báo quản trị theo đặc thù của Tổ chức Tài chính vi môi, …
Chức năng dự thu và dự chi cho phép theo dõi tài chính theo tuần, tháng, quý và năm, từ đó đánh giá chính xác kết quả thu nhập và chi phí tại mọi thời điểm.
• Hệ thống được phát triển trên ngôn ngữ lập trình C#.NET, cơ sở dữ liệu SQL
2008 của Micorsoft và sử dụng bộ mã chữ Việt Unicode theo tiêu chuẩn quốc qia TCVN 6909:2001
• Tương thích với Hệ điều hành Windows XP, Windows Vista, Windows 7, Windows Server 2000/2003/2008
Phần mềm có thể triển khai online thông qua mạng internet, hình 3.2 mô hình triển khai online
Mô hình triển khai hệ thống:
Hình 3.2 Mô hình triển khai online
Phần mềm có thể triển khai offline thông qua mạng lan, hình 3.3 mô hình triển khai offline:
Hình 3.3 Mô hình triển khai ofline
Yêu cầu xây dựng kho dữ liệu
Ngành công nghiệp xây dựng và triển khai Kho dữ liệu đã phát triển gần 20 năm và trở nên trưởng thành trên thị trường công nghệ toàn cầu Qua nghiên cứu, tôi nhận thấy rằng Kho dữ liệu của bất kỳ tổ chức hay doanh nghiệp nào đều tuân theo quy luật phát triển và kiến trúc chung của các Kho dữ liệu quốc tế Do đó, mô hình kiến trúc tổng thể cho Kho dữ liệu trong lĩnh vực Tài chính và Ngân hàng, đặc biệt trong việc xây dựng kho dữ liệu khách hàng cho Tổ chức Tài chính vi mô, sẽ tuân thủ theo mô hình kiến trúc tổng thể đã được xác định.
Hình 3.4 Mô hình kiến trúc tổng thể của kho dữ liệu
Nhu cầu thông tin đa dạng và yêu cầu báo cáo tình hình hoạt động sản xuất kinh doanh, tài chính, lỗ/lãi, tài sản, tín dụng và nhân sự tạo ra hàng trăm đến hàng nghìn bảng biểu trong quy trình nghiệp vụ tài chính và ngân hàng, phục vụ cho nhiều đối tượng người sử dụng khác nhau.
1 Lãnh đạo: Cần các thông tin tổng thể về hoạt động của ngân hàng, hỗ trợ quyết định, hoạch định chính sách
2 Các phòng ban chức năng: Tổng hợp, phân tích thông tin theo các yêu cầu nghiệp vụ cụ thể
3 Chi nhánh: Tình hình hoạt động của chi nhánh
4 Khách hàng: Các thông tin hỗ trợ, tra cứu, …
Bên cạnh đó còn phục vụ với các tiêu chí được phân loại:
1 Theo phân hệ nghiệp vụ:
2 Theo tính chất thông tin:
- Thông tin tra cứu, chi tiết
- Thông tin phân tích, tổng hợp
- Bên trong tổ chức: từ các hệ thống nội bộ
- Bên ngoài tổ chức: từ thị trường, đối tác
- Định kỳ (ngày, tháng, quý, …)
Phần mềm Tài chính vi mô của Học viện Ngân hàng hiện đang hoạt động ổn định với dữ liệu tích lũy nhiều năm, chủ yếu phục vụ cho việc đào tạo Mặc dù phần mềm cho phép in các báo cáo nghiệp vụ như thu chi, tồn kho và kế toán theo mẫu có sẵn, nhưng vẫn chưa đáp ứng được yêu cầu về báo cáo động và phân tích dữ liệu đa chiều, đặc biệt là thông tin khách hàng Do đó, Tổ chức Tài chính vi mô Học viện Ngân hàng cần xây dựng một kho dữ liệu để đáp ứng những yêu cầu này.
1 Lưu trữ tất cả các dữ liệu thô trong vòng 5-10 năm để có thể thực hiện tra cứu đối chiếu số liệu sau này Kể cả cho việc mở rộng việc khai phá dữ liệu trong tương lai gần
2 Cho phép phân tích số liệu khách hàng theo các chiều sau:
• Trình độ học vấn khách hàng
• Trình độ chuyên môn kỹ thuật khách hàng
• Theo thời gian tham gia tổ chức
• Các sản phẩm dịch vụ tiết kiệm
• Độ tiếp cận của khách hàng đối với dịch vụ tín dụng vi mô
• Tổng giá trị vay và lãi xuất trung bình các khoản vay
• Mục đích sử dụng các khoản vay
• Hình thức trả gốc các khoản vay
• Hình thức trả lãi các khoản vay
• Nguồn trả nợ của các khoản vay
• Có/không khó khăn khi trả nợ?
4 Theo tính chất thông tin
6 Cho phép sử dụng Excel để thực hiện phân tích và báo cáo
7 Cho phép thực hiện việc phân tích và báo cáo từ xa qua qua giao diện dựa trên nền web
Nhu cầu của Tổ chức tài chính vi mô cần được xây dựng dựa trên nhiều chủ đề khác nhau, với mỗi chủ đề yêu cầu phân tích từ nhiều góc độ khác nhau.
Phạm vi thực hiện trong luận văn
Xây dựng kho dữ liệu cho Tổ chức Tài chính vi mô cần tập trung vào chủ đề khách hàng, giúp người quản lý nắm bắt thông tin quan trọng Các chỉ số như tỉ lệ khách hàng theo sản phẩm khoản vay, tiết kiệm, giới tính, trình độ học vấn và nhóm sẽ giúp phân tích sâu hơn Dựa trên các báo cáo và phân tích này, người quản lý có thể điều chỉnh chiến lược một cách hiệu quả.
Trong luận văn này, nội dung chủ yếu tập trung vào khách hàng, nhưng thiết kế kho dữ liệu được xây dựng theo cấu trúc tổng thể để dễ dàng mở rộng cho các chủ đề khác trong tương lai Luận văn đã trình bày rõ ràng các công việc đã thực hiện.
Xây dựng một kho dữ liệu chung là cần thiết, bao gồm các chiều dữ liệu theo chủ đề nghiệp vụ, chủ đề khách hàng, tính chất thông tin, nguồn thông tin và chu kỳ Đồng thời, kho dữ liệu này cũng cần tích hợp tất cả các dữ liệu thô từ phần mềm Tài chính vi mô liên quan đến khách hàng.
• Xây dựng kho dữ liệu chuyên biệt: chỉ tập trung cho chủ đề khách hàng
Xây dựng quy trình tích hợp dữ liệu cho kho dữ liệu là bước quan trọng để chuyển dữ liệu từ phần mềm quản lý Tài chính vi mô vào kho dữ liệu của Tổ chức Tài chính vi mô, sau đó là kho dữ liệu chuyên biệt dành cho khách hàng.
• Xây dựng khối dữ liệu khách hàng nhằm mục đích sử dụng cho việc phân tích số liệu liên quan tới khách hàng
• Sử dụng chức năng PivotTable trong Excel 2007 để tạo một số mẫu phân tích phổ biến nhất cho người dùng dựa trên khối dữ liệu
Tạo mẫu báo cáo và phân tích trên cổng thông tin quản lý nhằm cho phép người dùng truy cập từ xa qua giao diện web.
• Cài đặt lịch thực hiện tự động cho tất cả các công việc dùng cho việc tích hợp dữ liệu và cập nhật khối dữ liệu khách hàng.
Dữ liệu nguồn cho kho dữ liệu
Dữ liệu cho kho dữ liệu chủ yếu lấy từ cơ sở dữ liệu của phần mềm quản lý Tổ chức Tài chính vi mô hiện đang áp dụng Dưới đây là danh sách các bảng dữ liệu nguồn có thể sử dụng để minh họa cho kho dữ liệu.
Bảng 3.1 Danh sách các bảng có thể sử dụng trong kho dữ liệu MFI_SRC
STT TÊN BẢNG MÔ TẢ BẢNG
1 KH_TTINH Định nghĩa các đối tượng sử dụng bổ sung
2 KH_KHANG_HSO Thông tin khách hàng và thành tiên
3 KH_KHANG_KCN Thông tin khách hàng thuộc khu vực, cụm, nhóm nào
4 KH_CHUYEN_DBAN Thông tin chuyển địa bàn
5 BL_SAN_PHAM Thông tin chung về sản phẩm
6 BL_TIEN_GUI Giao dịch tiền gửi
7 TD_VONG_VAY Vòng vay dành cho TCVM, hình thành hạn mức vay theo sản phẩm
8 TD_SAN_PHAM Sản phẩm tín dụng
9 TD_HDTDVM Hợp đồng tín dụng vi mô
Xây dựng kho dữ liệu Tổ chức Tài chính vi mô
3.5.1 Ki ế n trúc t ổ ng th ể kho d ữ li ệ u
Kho dữ liệu Tổ chức Tài chính vi mô sẽ được tổ chức theo kiến trúc như Hình
Hình 3.5 Kiến trúc tổng thể kho dữ liệu Tổ chức Tài chính vi mô
Kiến trúc kho dữ liệu bao gồm các thành phần như sau:
• MFI_SRC: là nguồn dữ liệu của kho dữ liệu, chính là CSDL tác nghiệp của phần mềm quản lý Tổ chức Tài chính vi mô
• MFI_STG: là CSDL tạm dùng cho việc tích hợp dữ liệu cho kho dữ liệu
MFI_DW là kho dữ liệu chung, chứa toàn bộ các bảng tham chiếu và bảng giao dịch được lấy từ cơ sở dữ liệu tác nghiệp.
MFI_DM là kho dữ liệu chuyên biệt dành cho khách hàng, được tổ chức theo mô hình hình sao, bao gồm cả các bảng chiều và bảng sự kiện, nhằm phục vụ cho việc phân tích số liệu hiệu quả.
• PKG_STG_Controller: là gói SSIS để chuyển dữ liệu từ MFI_SRC vào MFI_STG
• PKG_DW_Controller: là gói SSIS để chuyển dữ liệu từ MFI_STG vào MFI_DW
• PKG_DM_Controller: là gói SSIS để chuyển dữ liệu từ MFI_DW vào MFI_DM
• Cube_POSRetail: là khối dữ liệu được tạo bởi BIDS, dữ liệu đầu vào cho nó là kho dữ liệu chuyên biệt khách hàng MFI_DM
Tập tin AS_POSRetail.xlsx chứa các mẫu phân tích khách hàng của MFI, với việc sử dụng công cụ PivotTable trong Excel để thực hiện phân tích Công cụ này cho phép kết nối trực tiếp đến khối dữ liệu Cube_POSRetail.
Các báo cáo là danh sách các báo cáo được tạo ra từ công cụ Report Designer hoặc bộ công cụ Report Builder, hoạt động trên nền tảng web và được tích hợp trong Report Manager.
Cổng quản lý báo cáo, hay còn gọi là Report Manager của SQL Server 2008, là cổng thông tin thiết yếu cho việc phân phối báo cáo, mẫu phân tích trên Excel và các tài liệu liên quan.
Việc thiết kế cấu trúc chi tiết cho các bảng của kho dữ liệu tác nghiệp
MFI_DW và kho dữ liệu chuyên biệt MFI_DM nên tuân theo các qui ước chung sau đây:
Tất cả các bảng tham chiếu và chiều đều áp dụng phương pháp ghi lại sự thay đổi theo kiểu 2 (SCD – Type 2) nhằm đảm bảo tính lịch sử của dữ liệu Khi một đối tượng thay đổi thông tin, một bản ghi mới sẽ được tạo ra để lưu trữ thông tin mới nhất mà không ghi đè lên bản ghi cũ, và bản ghi mới này sẽ được đánh dấu là bản ghi hiện hành.
• *_DW_ID: chỉ ra đây là cột khóa thay thế, chính là một số tự nhiên tự tăng
• *_SRC_CODE: chỉ ra đây là cột mã tự nhiên, thường lấy từ cột mã hoặc khóa chính của dữ liệu tác nghiệp
• CURR_IND: là cột để xác định bản ghi có còn là hiện hành không, vì sử dụng kiểu 2 như ở trên
• EFF_FROM_DATE: ngày bản ghi bắt đầu có hiệu lực, thường là ngày được thêm vào bảng
Trường EFF_TO_DATE đại diện cho ngày mà bản ghi hết hiệu lực; giá trị mặc định thường là NULL, cho thấy bản ghi vẫn còn hiệu lực Khi có một bản ghi mới với các thuộc tính khóa nghiệp vụ tương tự được thêm vào, bản ghi cũ sẽ được cập nhật với giá trị ngày giờ hệ thống cho trường EFF_TO_DATE.
• LAST_UPDATE_DATE: ngày mà bản ghi được cập nhật
3.5.2.2 Cấu trúc kho dữ liệu (MFI_DW)
Cấu trúc dữ liệu của kho dữ liệu tác nghiệp MFI_DW được thiết kế theo chuẩn 3NF, tương tự như cơ sở dữ liệu tác nghiệp Sự khác biệt là các bảng danh mục, hay còn gọi là bảng tham chiếu, đã được bổ sung các cột khóa thay thế nhằm đảm bảo tính lịch sử của dữ liệu.
3.5.2.3 Cấu trúc kho dữ liệu chuyên biệt (MFI_DM)
Cấu trúc dữ liệu của kho dữ liệu SieuThi_DM được tổ chức theo lược đồ hình sao, điều này khác biệt so với cơ sở dữ liệu tác nghiệp chuẩn 3NF.
1 Dữ liệu lưu trữ trong kho dữ liệu tích hợp gồm hai lớp:
• Dữ liệu tích hợp (raw data) và dữ liệu tổng hợp
Dữ liệu tổng hợp theo chủ đề hoặc mục đích sử dụng, như lập dự báo và hỗ trợ ra quyết định, được tạo ra từ Dữ liệu tích hợp và CSDL thành phần Điều này dựa trên nhu cầu khai thác thông tin và là nền tảng cho kho dữ liệu chuyên đề.
- Dữ liệu tổng hợp theo chủ đề là dữ liệu tổng nên lấy từ dữ liệu tác nghiệp
- Dữ liệu tổng hợp theo chủ đề giúp trả lời ngay tức thời về các yêu cầu số liệu tổng nhóm theo một hay nhiều chiều của dữ liệu
Dữ liệu tổng hợp đơn giản được trích xuất từ dữ liệu fact và được tổ chức theo đơn vị thời gian, chẳng hạn như tổng số tiền huy động từ khách hàng cá nhân hoặc khách hàng doanh nghiệp.
Dữ liệu tổng hợp cao cấp được hình thành từ các số liệu tổng hợp hiện có, chẳng hạn như tổng số tiền huy động theo năm Loại dữ liệu này thường sử dụng thông tin lịch sử lâu dài, trong đó chỉ cần những số liệu tổng hợp cao và chi tiết không còn phù hợp.
Một số bảng sự kiện có thể được kết hợp để tạo thành các bảng tổng, chẳng hạn như tổng số tiền huy động của từng chi nhánh và phòng giao dịch trong tháng.
CSDL tổng hợp doanh số từ nhiều nguồn khách hàng có thể tạo ra hàng chục đến hàng trăm bảng dữ liệu, ảnh hưởng đến không gian lưu trữ Tuy nhiên, nếu thiết kế bảng dữ liệu tổng hợp một cách hợp lý, tốc độ tra cứu sẽ được cải thiện đáng kể nhờ giảm thiểu tính toán ngẫu nhiên trong quá trình tra cứu.
2 Dữ liệu tổng hợp theo chủ đề cũng chứa các trường dữ liệu là khoá liên kết đến các dimension, thiết kế CSDL Chủ đề cần đáp ứng các yêu cầu:
Tổng kết chương
Chương này tập trung vào việc nghiên cứu giải pháp xây dựng kho dữ liệu khách hàng cho Tổ chức Tài chính vi mô, bao gồm cấu trúc cơ sở dữ liệu của kho dữ liệu MFI_DW và kho dữ liệu chuyên biệt.
MFI_DM cung cấp các gói tích hợp dữ liệu và các khối dữ liệu, cùng với các mẫu báo cáo phân tích dựa trên những khối dữ liệu này Cuối cùng, hệ thống hỗ trợ lịch thực hiện tự động cho các gói tích hợp và làm mới khối dữ liệu.
![Hình 1.1. Luồng dữ liệu trong một tổ chức [6] - Nghiên cứu giải pháp kho dữ liệu trong sql server 2008 và áp dụng quản lý khách hàng cho tổ chức tài chính vi mô](https://123doc.top/img.php?url=https%3A%2F%2F123docz.com%2Fimage%2Fdoc_normal.png)