(LUẬN VĂN THẠC SĨ) Xây dựng kho dữ liệu cho hệ thống tổng hợp thông tin kinh tế xã hội

của Bộ XD, từ đó hình thành các kho dữ liệu về các số liệu chỉ tiêu tổng hợp KTXH và các thông tin báo cáo, nhằm:... Mục tiêu Việc xây dựng kho dữ liệu cho HTTT tổng hợp KTXH phải đảm b

TRƯỜNG ĐẠI HỌC CÔNG NGHỆ

Đầu tiên, tôi xin gửi lời cảm ơn sâu sắc nhất tới TS Nguyễn Tuệ, người hướng dẫn khoa học, đã tận tình chỉ bảo, giúp đỡ tôi thực hiện luận văn

Tôi xin chân thành cảm ơn TS Nguyễn Văn Hùng, người tạo điều kiện và giúp đỡ tôi tìm hiểu thực tế bài toán để hoàn thành luận văn

Tôi xin chân thành cảm ơn các thầy cô trường Đại học Công nghệ, Đại học Quốc gia Hà Nội đã giảng dạy và truyền đạt kiến thức cho tôi

Cuối cùng, tôi xin cảm ơn những người thân và các bạn bè đồng nghiệp đã chia sẻ, giúp đỡ tôi hoàn thành luận văn này

Mặc dù đã hết sức cố gắng với tất cả sự nỗ lực của bản thân, nhưng chắc luận văn vẫn còn những thiếu sót Kính mong nhận được những ý kiến đóng góp của quý Thầy, Cô và bạn bè đồng nghiệp

Tôi xin chân thành cảm ơn!

Hà Nội, ngày 30/11/2009 Học viên thực hiện Nguyễn Thị Thu Hằng

thông tin kinh tế - xã hội” là công trình nghiên cứu của riêng tôi, không sao

chép của bất kỳ ai Nội dung của luận án đƣợc trình bày từ những kiến thức tổng hợp của cá nhân, tổng hợp từ các nguồn tài liệu có xuất xứ rõ ràng và trích dẫn hợp pháp Kết quả nghiên cứu đƣợc trình bày trong luận văn này chƣa từng đƣợc công bố tại bất kỳ công trình nào khác

Tôi xin chịu hoàn toàn trách nhiệm, và nếu sai, tôi xin chịu mọi hình thức kỷ luật theo quy định

Hà Nội, ngày 30 tháng 11 năm 2009

Học viên thực hiện

Nguyễn Thị Thu Hằng

LỜI CAM ĐOAN 3

MỤC LỤC 4

BẢNG CÁC KÝ HIỆU VÀ TỪ VIẾT TẮT 6

DANH MỤC HÌNH VẼ VÀ BẢNG BIỂU 7

MỞ ĐẦU 9

CHƯƠNG 1 – LÝ THUYẾT XÂY DỰNG KHO DỮ LIỆU 12

1.1 Các khái niệm cơ bản về kho dữ liệu 12

1.1.1 Kho dữ liệu – data warehouse 12

1.1.2 Các loại dữ liệu trong Data Warehouse 15

1.2 Thiết kế kho dữ liệu 16

1.2.1 Các giai đoạn thiết kế kho dữ liệu 16

1.2.2 Mô hình dữ liệu 16

CHƯƠNG 2 – MÔ TẢ, ĐÁNH GIÁ, PHÂN TÍCH QUY TRÌNH NGHIỆP VỤ CỦA HỆ THỐNG TỔNG HỢP KINH TẾ - XÃ HỘI 22

2.1 Quy trình xác định, tạo lập, lưu trữ, cung cấp thông tin tổng hợp KTXH 22 2.1.1 Quy trình xác định, tạo lập và lưu trữ thông tin tổng hợp KTXH tại các đơn vị trực thuộc Bộ XD 22

2.1.2 Quy trình cung cấp và tổ chức khai thác thông tin tổng hợp KTXH tại các đơn vị trực thuộc Bộ XD 23

2.2 Quy trình cung cấp và tổ chức khai thác thông tin tổng hợp KTXH 24

2.2.1 Xác định nội dung và các hình thức cung cấp, khai thác thông tin 24

2.2.2 Cung cấp thông tin tới các địa chỉ cần thiết qua đường truyền mạng 25 2.2.3 Cung cấp thông tin tổng hợp KTXH phục vụ công tác điều hành quản lý 25

2.3 Qui trình thực hiện chế độ thông tin báo cáo 26

2.3.1 Quy trình nghiệp vụ tổng quát 26

2.3.2 Quy trình làm báo cáo tại tại Bộ Xây dựng 26

2.4 Mô tả thông tin dữ liệu 28

2.4.1 Mô hình dữ liệu 28

2.4.2 Hệ thống chỉ tiêu tổng hợp chung của Bộ Xây Dựng 29

2.4.3 Hệ thống chỉ tiêu tổng hợp của các đơn vị 43

CHƯƠNG 3 - XÂY DỰNG KHO DỮ LIỆU THỬ NGHIỆM 54

3.1 Giới thiệu công cụ OLAP trong SQL Server 2005 54

3.1.1 Giới thiệu OLAP 54

3.1.2 Giới thiệu dịch vụ OLAP của Microsoft SQL Server 55

3.1.3 Các mô hình lưu trữ 56

3.1.4 Kiến trúc khối (cube) của OLAP 59

3.2.1 Dữ liệu nguồn 63

3.2.2 Thiết kế các chiều lưu trữ dữ liệu 65

3.3 Cài đặt kho dữ liệu thử nghiệm 66

3.3.1 Khởi tạo và cài đặt Project 66

3.3.2 Khai thác kho dữ liệu 69

KẾT LUẬN 73

TÀI LIỆU THAM KHẢO 74

6

BẢNG CÁC KÝ HIỆU VÀ TỪ VIẾT TẮT

Từ viết tắt Từ tiếng anh Từ hoặc cụm từ

7

DANH MỤC HÌNH VẼ VÀ BẢNG BIỂU

Danh mục hình vẽ

Hình 1.1 – Mô phỏng sơ đồ hình sao của một CDSL 18

Hình 1.2 – Mô phỏng sơ đồ tuyết rơi (mở rộng của sơ đồ hình sao) 19

Hình 1.3 – Mô phỏng các chiều trong kinh doanh 20

Hình 2.1 – Quy trình xác định, tạo lập, lưu trữ thông tin cấp sở 23

Hình 2.2 – Quy trình thu thập số liệu tại cấp Bộ 24

Hình 2.3 – Mô hình tạo báo cáo ở văn phòng Bộ XD 27

Hình 2.4 – Mô hình tổ chức dữ liệu của Hệ thống tại cấp Bộ 28

Hình 3.1 – Mối quan hệ của nhiều loại công nghệ trong Analysis Services (dịch vụ phân tích) của SQL Server 2005 55

Hình 3.2 – Kiến trúc dịch vụ OLAP 56

Hình 3.3 – Mô hình Multidimensional OLAP 57

Hình 3.4 – Mô hình Relation OLAP 58

Hình 3.5 – Mô hình Hybird OLAP 59

Hình 3.6 – Mô hình kiến trúc của dịch vụ OLAP 61

Hình 3.7 – Kiến trúc thành phần Server 62

Hình 3.8 – Kiến trúc thành phần Client 63

Hình 3.9 – Mô hình Data Mart của hệ thống TH KT-XH 66

Hình 3.10 – Khung nhìn dữ liệu của Data Mart hệ thống 67

Hình 3.11 – Cấu trúc khối (cube) TH_KTXH.cube 67

Hình 3.12 – Kết quả triển khai project TH_KTXH trong Analysis Service 68

Hình 3.13 – Báo cáo về tình hình thực hiện quản lý quy hoạch phát triển vật liệu xây dựng trong phạm vi cả nước của Vụ Vật liệu xây dựng từ năm 2000 đến 2008 69

Hình 3.14 – Báo cáo quản lý quy hoạch phát triển vật liệu xây dựng trong phạm vi cả nước của Vụ Vật liệu xây dựng từ năm 2000 đến 2008 – sử dụng dịch vụ Reporting Services 70

Hình 3.15 – Báo cáo sản lượng Xi măng các loại từ năm 2000 đến 2008 – sử dụng dịch vụ Reporting Services 71

9

MỞ ĐẦU

Thế kỷ 21 là thời đại của nền kinh tế trí thức Mọi hoạt động của chúng ta muốn đạt hiệu quả cao, giành được thắng lợi trong thế cạnh tranh gay gắt thì nhất thiết phải có những phương pháp để có được những thông tin, tri thức cần thiết một cách nhanh và chính xác

Việc áp dụng công nghệ thông tin vào thực tiễn sản xuất nghiệp vụ đã mang lại những hiệu quả và lợi ích to lớn Công nghệ ngày càng được phát triển, hoàn thiện hơn để đáp ứng những yêu cầu ngày càng cao của thực tế nghiên cứu, quản lý sản xuất và nghiệp vụ Sự mở rộng qui mô áp dụng từ những ứng dụng đơn lẻ đến các hệ thống thông tin cỡ lớn đã dẫn đến những thành công vượt bậc trong nghiệp vụ Các hệ thống thông tin từ chỗ chỉ giải quyết những

xử lý công việc hàng ngày nay đã tiến tới đáp ứng được những yêu cầu ở mức

độ cao hơn Các nhà quản lý điều hành không những biết được công việc đang diễn ra như thế nào mà còn biết cái gì sẽ xảy ra sau đó, có nghĩa là thông tin mang tính phân tích và hệ thống thông tin có khả năng hỗ trợ quyết định Hiện nay, phương pháp xây dựng kho dữ liệu đã phát triển cả về lý thuyết cũng như thực tế Lý thuyết xây dựng kho dữ liệu đã được hình thành rõ nét, bên cạnh đó các nhà cung cấp phần mềm cũng đã đưa ra các công cụ để xây dựng, lưu trữ, duy trì và phát triển kho dữ liệu Một kho dữ liệu có thể giúp đỡ các nhà quản lý, các doanh nghiệp … có khả năng quản lý dữ liệu, khai thác thông tin để đưa ra những quyết định nhanh chóng và phù hợp

Quá trình tìm hiểu thực tế việc tin học hóa quán lý hành chính nhà nước cho thấy việc tổng hợp và quản lý các thông tin về kinh tế - xã hội hàng ngày, để cung cấp thông tin cho “quá trình phân tích, hoạch định chiến lược và hỗ trợ

ra quyết định” là một nhu cầu bức thiết của những người quản lý, là thách thức, bài toán thực tế đang được tìm hướng giải quyết

Đề tài này dựa trên những lý thuyết, phương pháp luận, công cụ xây dựng kho

dữ liệu, từ đó triển khai xây dựng một kho dữ liệu thực tế, nhằm hướng tới giải quyết yêu cầu của bài toán nói trên Luận văn gồm 3 chương:

Chương 1: Lý thuyết xây dựng kho dữ liệu Chương này trình bày những

khái niệm cô đọng nhất về Data warehouse và các bước thiết kế kho dữ liệu cho Hệ thống

Chương 2 Mô tả, đánh giá, phân tích quy trình nghiệp vụ của Hệ thống Tổng

hợp thông tin kinh tế - xã hội phục vụ điều hành cho Bộ Xây Dựng

Chương 3 Xây dựng kho dữ liệu thử nghiệm Chương này trình bày việc

xây dựng kho dữ liệu thử nghiệm dựa trên SQL Server 2005

cá nhân nước ngoài hoạt động trên lãnh thổ Việt Nam

Quá trình tìm hiểu thực tế cho thấy mỗi Ủy ban nhân dân tỉnh hoặc các bộ, ngành đều có nhu cầu nắm bắt, tổng hợp và quản lý các thông tin về kinh tế -

xã hội hàng ngày, để cung cấp thông tin cho “quá trình phân tích, hoạch định chiến lược và hỗ trợ ra quyết định”

Hệ thống Tổng hợp thông tin kinh tế xã hội đã được tìm hiểu, khảo sát và triển khải thử tại nhiều địa phương như Thanh Hóa, Hà Nam, Lạng Sơn … các bộ ngành như bộ Xây dựng … Từ khảo sát thực tế đã chỉ ra những bất cấp trong việc thu thập và lưu trữ thông tin kinh tế - xã hội hàng ngày của các UBND, các bộ các ngành Việc thu thập thông tin thủ công, thông tin được lưu trong các file tài liệu rời rạc hoặc những CSDL riêng biệt, gây khó khăn cho việc tổng hợp số liệu, thống kê số liệu, dẫn đến việc phân tích thông tin,

hỗ trợ các quyết định chiến lược của các cấp lãnh đạo chưa thực sự nhanh chóng và hiệu quả

Để giải quyết những bất cập và đáp ứng nhu cầu thực tế, đã có nhiều đề án cụ thể được đưa ra xem xét, một trong số các đề án giải quyết những hạn chế nêu

trên là xây dựng kho dữ liệu Khối lượng công việc rất lớn, có phạm vi rộng

và thời gian thực hiện khéo dài Do vậy, bài toán trong luận án này sẽ tìm hiểu, đi sâu và xây dựng kho dữ liệu cho HTTT tổng hợp KTXH phục vụ điều hành của Bộ Xây Dựng

HTTT tổng hợp KTXH phục vụ điều hành quản lý tại Bộ XD có nhiệm vụ xác định, tạo lập, lưu trữ, xử lý và quản lý các thông tin tổng hợp liên quan đến tất cả các lĩnh vực hoạt động KTXH như kinh tế tổng hợp, kinh tế ngành,

tổ chức cán bộ, của Bộ XD, từ đó hình thành các kho dữ liệu về các số liệu chỉ tiêu tổng hợp KTXH và các thông tin báo cáo, nhằm:

11

 Cung cấp thông tin tổng hợp phục vụ chỉ đạo điều hành của lãnh đạo, các hoạt động chuyên môn, nghiệp vụ của các bộ phận và các chuyên viên tại văn phòng Bộ XD, tại các cục, vụ, viện, và các đơn vị trực thuộc Bộ XD (kể cả các sở XD thuộc các tỉnh/ thành phố trong cả nước)

 Phục vụ việc thực hiện chế độ thông tin báo cáo từ các đơn vị lên văn phòng Bộ XD và từ Bộ lên Chính phủ

Mục tiêu

Việc xây dựng kho dữ liệu cho HTTT tổng hợp KTXH phải đảm bảo được các yêu cầu cơ bản:

 Xác định đầy đủ nội dung thông tin tổng hợp KTXH

 Chuẩn hoá hệ thống chỉ tiêu, hệ thống mẫu biểu số liệu (BMSL), thống nhất các loại số liệu, các thông tin danh mục dùng chung;

 Có khả năng trích lọc, chuyển đổi, kết xuất, tích hợp dữ liệu từ các CSDL chuyên ngành của các đơn vị (nếu có) vào Kho dữ liệu thông tin tổng hợp KTXH

 Lưu trữ, quản lý toàn bộ các số liệu chỉ tiêu, dữ liệu báo cáo của các đơn vị cấp cục, vụ, viện và của Bộ, hình thành các kho dữ liệu về số liệu chỉ tiêu,

về các thông tin báo cáo, được phân loại một cách có hệ thống và thống nhất Các kho dữ liệu sẽ được tổ chức theo mô hình thống nhất để có thể tích hợp chúng với nhau một cách thuận tiện và dễ dàng

 Trên cơ sở các kho dữ liệu về thông tin tổng hợp KTXH, tổ chức các hình thức khai thác thông tin dưới dạng thông tin kết xuất theo khuôn dạng định sẵn và các dạng thông tin kết xuất động theo yêu cầu, cung cấp các công

cụ thống kê, phân tích, dự báo liên quan đến các lĩnh vực KTXH để hỗ trợ

ra quyết định, xuất bản thông tin lên

Phạm vi thực hiện

Bài toàn xây dựng kho dữ liệu cho hệ thống thông tin tổng hợp kinh tế - xã hội sẽ được cụ thể hóa bằng việc xây dựng kho dữ liệu thử nghiệm cho hệ thống thông tin tổng hợp KT – XH phục vụ điều hành của Bộ Xây dựng Bài toán sẽ đi tìm hiểu và phân tích các quy trình xác định, tạo lập, lưu trữ và khai thác thông tin trong hệ thống tổng hợp KTXH, tìm hiểu các loại, kiểu dữ liệu được lưu trữ để từ đó xây dựng cơ sở dữ liệu cho kho dữ liệu

Công cụ sử dụng trong việc xây dựng kho dữ liệu được sử dụng trong bài toán

là hệ quản trị cơ sở dữ liệu Microsoft SQL Server 2005

12

CHƯƠNG 1 – LÝ THUYẾT XÂY DỰNG KHO DỮ LIỆU

1.1 Các khái niệm cơ bản về kho dữ liệu

1.1.1 Kho dữ liệu – data warehouse

1.1.1.1 Định nghĩa kho dữ liệu – data warehouse

Kho dữ liệu (Data Warehouse - DW) là tuyển tập các cơ sở dữ liệu tích hợp, hướng chủ đề, được thiết kế để hỗ trợ cho chức năng trợ giúp quyết định, mà mỗi đơn vị dữ liệu đều liên quan tới một khoảng thời gian cụ thể

Công nghệ “Kho dữ liệu” (Data Warehouse Technology) là tập các phương pháp, kỹ thuật và các công cụ có thể kết hợp, hỗ trợ nhau để cung cấp thông tin cho người sử dụng trên cơ sở tích hợp từ nhiều nguồn dữ liệu, nhiều môi trường khác nhau (Theo John Ladley)

Công nghệ DW ra đời nhằm đáp ứng mọi yêu cầu về thông tin của người sử dụng, hỗ trợ để các nhân viên của "tổ chức" thực hiện tốt, hiệu quả công việc của minh, như có những quyết định hợp lý, nhanh và bán được nhiều hàng hơn, năng sản cao hơn, thu được lợi nhuận cao hơn, v.v Giúp cho tổ chức, xác định, quản lý và điều hành các dự án, các nghiệp vụ một cách hiệu quả và chính xác, ngoài ra DW tích hợp dữ liệu và các siêu dữ liệu từ nhiều nguồn khác nhau

Kho dữ liệu thường rất lớn tới hàng trăm GB hay thậm chí hàng Terabyte Kho dữ liệu được xây dựng để tiện lợi cho việc truy cập theo nhiều nguồn, nhiều kiểu dữ liệu khác nhau sao cho có thể kết hợp được cả những ứng dụng của các công nghệ hiện đại và kế thừa được từ những hệ thống đã có sẵn từ trước [1]

1.1.1.2 Đặc tính của kho dữ liệu

Dữ liệu trong DW có những đặc tính cơ bản sau:

 Hướng chủ đề (Object Oriented)

Dữ liệu được tập hợp, phân lớp, lưu trữ và xử lý theo từng chủ đề, để dễ dàng xác định được những thông tin cần thiết trong từng hoạt động Các dữ liệu của mỗi chủ đề chính trong tổ chức được liên kết với các khóa đại diện

và đưa vào cùng một vị trí

 Tích hợp (Integrated) Một tổ chức có rất nhiều dữ liệu từ nhiều hệ thống khác nhau Dữ liệu tập hợp trong kho dữ liệu được thu thập từ nhiều nguồn và trộn ghép với nhau tạo thành một thể thống nhất.Việc hợp nhất các dữ liệu này trở thành một

13

tập hợp dữ liệu có nghĩa cho việc phân tích là rất khó khăn Dữ liệu tích hợp phải đảm bảo tính nhất quán, đôi khi chấp nhận sự dư thừa dữ liệu để tăng hiệu quả của các truy vấn

 Tính ổn định, không biến động (non- volatility)

Dữ liệu trong DW là dữ liệu chỉ đọc và chỉ có thể được kiểm tra, không được sửa đổi bởi người sử dụng đầu cuối Nó chỉ cho phép thực hiện hai thao tác cơ bản: nạp dữ liệu vào kho và truy cập vào vào các vùng trong

DW

Tính không biến động thể hiện ở chỗ: Dữ liệu được lưu trữ lâu dài trong kho dữ liệu Mặc dù có thêm dữ liệu mới nhập vào nhưng dữ liệu cũ trong kho vẫn không bị xoá, điều đó cho phép cung cấp thông tin về một khoảng thời gian dài, cung cấp đủ số liệu cần thiết cho các mô hình nghiệp vụ phân tích, dự báo, từ đó có được những quyết định hợp lý, phù hợp với các qui luật tiến hoá của tự nhiên

 Tính thời gian cụ thể Một kho dữ liệu bao hàm một khối lượng lớn dữ liệu lịch sử Dữ liệu được lưu trữ thành một loạt các bản sao, mỗi bản sao phản ánh những giá trị của

dữ liệu tại một thời điểm nhất định, thể hiện một khung nhìn của một vùng chủ đề trong một giai đoạn Do vậy, DW cho phép khôi phục lại dữ liệu lịch sử và so sánh một cách chính xác các giai đoạn khác nhau Yếu tố thời gian đóng vai trò như một phần của khóa để đảm bảo tính đơn nhất của mỗi bản ghi và cung cấp đặc trưng về thời gian cho dữ liệu

Dữ liệu trong kho dữ liệu tác nghiệp cần phải chính xác ở chính thời điểm truy cập, còn ở DW chỉ cần có hiệu lực trong khoảng thời gian nào đó, trong khoảng 5 đến 10 năm hoặc lâu hơn Dữ liệu của CSDL tác nghiệp thường sau một khoảng thời gian nhất định thì sẽ trở thành dữ liệu lịch sử

và chúng sẽ được chuyển thành kho dữ liệu Đó chính là những dữ liệu hợp

lý về những chủ điểm cần lưu trữ

1.1.1.3 Các yêu cầu chức năng của kho dữ liệu

 Khả năng cân bằng (scalable) : Kho dữ liệu có khả năng lưu trữ và quản lý một số lượng khổng lồ các giao dịch và dữ liệu tổng hợp Kho dữ liệu có thể lớn lên theo thời gian, có thêm dữ liệu mới hoặc giữ lại dữ liệu lịch sử cho một thời gian dài mà không bị quá tải, vẫn đảm bảo tính ổn định hoạt động

 Khả năng quản trị (manageable): Kho dữ liệu có khả năng quản trị việc tạo quyết định

 Khả năng mềm dẻo (Flexible): hỗ trợ nhiều cách truy nhập dữ liệu chi tiết,

dữ liệu tổng hợp theo phân tích nhiều chiều

 Khả năng tích hợp (Integrated): kho dữ liệu phải có khả năng tích hợp đầy

đủ với các hệ thống sẵn có, môi trường tác nghiệp Do vậy, có thể tải dữ liệu từ nhiều nguồn

 Khả năng truy cập sử dụng được (Accessible): Kho dữ liệu phải có khả năng truy cập sử dụng được, từ các công cụ mềm dẻo tới phạm vi rộng rãi người sử dụng

 Khả năng tin cậy (Reliable): dữ liệu tải từ nhiều nguồn khác nhau phải được hợp nhất, chuấn hóa bảo đảm tính toàn vẹn dữ liệu và hợp lệ tại một thời điểm bất kỳ

1.1.1.4 Kho dữ liệu cục bộ - Datamart

Kho dữ liệu cục bộ (Datamart – DM) là CSDL có những đặc điểm giống với kho dữ liệu nhưng với quy mô nhỏ hơn và lưu trữ dữ liệu về một lĩnh vực, một chuyên ngành Datamart là kho dữ liệu hướng chủ đề Các Datamart có thể được hình thành từ một tập con dữ liệu của kho dữ liệu hoặc cũng có thể được xây dựng độc lập và sau khi xây dựng xong, các datamart có thể được kết nối tích hợp lại với nhau tạo thành kho dữ liệu Vì vậy có thể xây dựng kho dữ liệu bắt đầu bằng việc xây dựng các Datamart hay ngược lại xây dựng kho dữ liệu trước sau đó tạo ra các Datamart

Datamart (DM) là một kho dữ liệu thứ cấp các dữ liệu tích hợp của DW Datamart được hướng tới một phần của dữ liệu thường được gọi là một vùng chủ đề (Subject Area - SA) được tạo ra và giành cho một nhóm người sử dụng Dữ liệu trong Datamart cho thông tin về một chủ đề xác định, không phải về toàn bộ các hoạt động nghiệp vụ đang diễn ra trong một tổ chức Thể hiện thường xuyên nhất của datamart là một kho dữ liệu riêng rẽ theo phương diện vật lí, thường được lưu trữ trên một server riêng, trong một mạng cục bộ phục vụ cho một nhóm người nhất định Đôi khi datamart một cách đơn giản với công nghệ OLAP tạo ra các quan hệ theo dạng hình sao đặc biệt hoặc những siêu khối (hypercube) dữ liệu cho việc phân tích của một nhóm người

có cùng mối quan tâm trên một phạm vi dữ liệu [2]

Có thể chia ra làm 2 loại: Datamart độc lập và Datamart phụ thuộc

15

1.1.2 Các loại dữ liệu trong Data Warehouse

1.1.2.1 Dữ liệu nghiệp vụ

Dữ liệu nghiệp vụ (Business data – BD) là dữ liệu dùng để vận hành và quản

lý một doanh nghiệp hoặc một tổ chức Nó phản ánh những hoạt động của doanh nghiệp và những đối tượng trong thế giới thực như là khách hàng, địa điểm, sản phẩm v.v Nó được tạo ra và sử dụng bởi các hệ thống xử lý giao tác cũng như các hệ thống hỗ trợ quyết định

1.1.2.2 Siêu dữ liệu (Metadata)

Metadata là dữ liệu về dữ liệu được sử dụng trong DW (hay gọi là siêu dữ liệu) trả lời các câu hỏi ai, cái gì, khi nào, tại sao, như thế nào về dữ liệu Nó được sử dụng cho việc xây dựng, duy trì, quản lí và sử dụng DW Metadata là một trong những phương diện quan trọng nhất của DW

 Siêu dữ liệu nghiệp vụ (Business Metadata): Chứa đựng những thông tin khiến cho người sử dụng dễ dàng hiểu được khung cảnh của thông tin được lưu trữ trong DW

 Siêu dữ liệu kĩ thuật (Technical Metadata): Chứa đựng những thông tin về

dữ liệu trong DW của những người thiết kế và quản trị khi tiến hành công việc phát triển và quản lí

 Siêu dữ liệu tác nghiệp ( Operational Metadata) Metadata hỗ trợ trực tiếp cho người sử dụng giúp họ có thể hiểu được nội dung và tìm thấy được dữ liệu cần thiết Trong thực tế khả năng kết hợp của công cụ trích lọc dữ liệu và Metadata còn rất kém Do đó cần phải tạo ra những giao diện dùng Metadata cho người sử dụng

Metadata định nghĩa nội dung và vị trí của dữ liệu trong DW, mối quan hệ giữa cơ sở dữ liệu tác nghiệp với DW và các khung nhìn dữ liệu của DW có thể truy nhập được bởi công cụ của người sử dụng đầu cuối Người sử dụng đầu cuối cần đến Metadata khi cần đến những định nghĩa dữ liệu hay các vùng chủ thể

Tất cả các thành phần của DW đều cần và có thể lấy dữ liệu từ Metadata Metadata được lưu trữ ở khu vực trung tâm Metadata có thể xuất hiện theo nhiều khuôn dạng và có thể trong suốt

16

1.2 Thiết kế kho dữ liệu

1.2.1 Các giai đoạn thiết kế kho dữ liệu

Có nhiều phương pháp thiết kế kho dữ liệu, mặc dù khác nhau nhưng nhìn chung các phương pháp đều chứa một số công việc cơ bản cho việc thiết kế kho dữ liệu gồm các giai đoạn sau: [2]

 Xác định mô hình nghiệp vụ (Defining the business model) Phân tích các định hướng chiến lược để rút ra các quá trình nghiệp vụ được thực hiện trong kho dữ liệu Các yêu cầu nghiệp vụ phải được phân tích, xác định và tài liệu hóa đơn vị đo và chiều nghiệp vụ (businesss measures

và business demensions) cho mỗi quá trình nghiệp vụ

 Xác định mô hình logic (Defining the logical model) Dùng kỹ thuật đồ họa để thể thiện các định nghĩa, đặc điểm và mối quan hệ của dữ liệu trong nghiệp vụ, hoặc khái niệm chuyên môn, nhằm mục đích

mô tả hệ thống cho người sử dụng cuối Thông thường phương pháp này dùng chuẩn 3NF

 Xác định mô hình Demensional (Defining the demensional model)

Mô hình nghiệp vụ được chuyển thành mô hình Demensional, lược đồ các bảng và thuộc tính của bảng được định nghĩ, liên kết giữa các bảng được tạo dựng và nguồn của kho dữ liệu được xác định

 Xác định mô hình vật lý (Defining the physical model)

Mô hình Demensional được chuyển thành mô hình vật lý, bao gồm các khai báo về định nghĩa kiểu dữ liệu của các thuộc tính, khích thước dự tính, chiến lược tạo chỉ mục (index) và lưu trữ dữ liệu

1.2.2 Mô hình dữ liệu

Mô hình DW được phát sinh từ một mô hình dữ liệu tổng thể (mô hình dữ liệu mức xí nghiệp) (Enterprise Data Model - EDM) Một EDM là một bức tranh tổng thể mà các mô hình khác có thể hoạt động trên đó Nó được tổ chức thành các vùng theo chủ điểm, Subject Area - SA là phần chính của sự chia nhỏ các công việc cần được quan tâm đáp ứng nhu cầu người sử dụng Nếu một tổ chức không có sẵn EDM thích hợp, EDM cũ được phép dùng tiếp

và bổ sung các SA mới

Để bắt đầu việc thiết lập một mô hình, cần quan tâm tới khung nhìn tại vị trí hiện tại và trong tương lai sắp tới Vị trí hiện tại có nghĩa là mô tả và hiểu những dữ liệu được chứa trong những hệ thống kế thừa (nguồn kế thừa) Nếu

 Sơ đồ hình sao (Star Schema)

 Sơ đồ tuyết rơi (Snowflake)

 Mô hình đa chiều (Multiple Dimension)

1.2.2.1 Sơ đồ hình sao (Star Schema)

Sơ đồ hình sao được đưa ra lần đầu tiên bởi Dr Ralph Kimball như là một lựa chọn thiết kế cơ sở dữ liệu cho DW Nó được gọi là sơ đồ hình sao bởi vì các

sự kiện nằm ở trung tâm của mô hình và được bao quanh bởi các phạm vi liên quan, rất giống với các điểm của một ngôi sao Sơ đồ hình sao cho phép một

hệ thống đối tượng có thể kết nối với nhiều đối tượng khác Mô hình này thể hiện cách nhìn của người sử dụng về nhiều vấn đề trong tác nghiệp

Trong sơ đồ hình sao, dữ liệu được xác định và phân loại theo 2 kiểu:

 Các sự kiện được tổ chức thành bảng Fact Bảng Fact chứa các thông tin cơ sở ở mức giao tác ở trong nghiệp vụ mà các ứng dụng cần thiết Ví dụ, khi phân tích dữ liệu kinh doanh thì cần những dữ liệu về những mặt hàng đã bán được trong các giao dịch bán hàng về số lượng, chủng loại, giá thành, v.v Những dữ liệu này đều được lưu ở bảng Fact của kho dữ liệu Tuy nhiên, trước khi các dữ liệu này được đưa vào kho dữ liệu thì cần phải chọn một trường dữ liệu nào đó thường sử dụng trong các chiều phân tích để tham chiếu (xem như khoá ngoại trong các quan hệ liên kết) và sau đó đưa vào bảng các chiều Các sự kiện là các đại lượng số của công việc Các bảng Fact thường rất lớn, chứa hàng triệu dòng mà phần lớn là số

 Phạm vi, hay các chiều của dữ liệu, được tổ chức thành các bảng Dimension

Bảng Dimension, ngược lại, thường là tương đối nhỏ so với các bảng Fact, chứa các thông tin mô tả Đó là các bộ lọc hoặc các ràng buộc của những

sự kiện ở bảng Fact Bảng Dimension chứa các dữ liệu cần thiết cho việc thực hiện các giao tác nghiệp vụ theo một chiều, hay phạm vi nào đó Ví

dụ, trong ứng dụng phân tích kinh doanh, bảng Dimension bao gồm: thời gian, vùng bán hàng, loại sản phẩm, v.v

18

Hình 1.1 – Mô phỏng sơ đồ hình sao của một CDSL

Ưu điểm của sơ đồ hình sao

 Hỗ trợ rất đa dạng các câu truy vấn và xử lý khá hiệu quả những câu truy

vấn đó

 Phù hợp với thói quen của người sử dụng nhận và sử dụng dữ liệu, nên dữ

liệu được hiểu trực quan hơn

 Sơ đồ này rất trực quan, dễ sử dụng, thể hiện khung nhìn đa chiều của dữ liệu dùng ngữ nghĩa của cơ sở dữ liệu quan hệ Khóa của bảng sự kiện được tạo bởi những khóa của các bảng chứa thông tin theo từng phạm vi

(Dimension Table) Tất cả các khóa đều được xác định với cùng một chuẩn

đặt tên

1.2.2.2 Sơ đồ tuyết rơi (Snowflake)

Sơ đồ hình tuyết rơi là một sự mở rộng của sơ đồ hình sao tại đó mỗi cánh sao không phải là một bảng Dimension mà là nhiều bảng

Trong dạng sơ đồ này, mỗi bảng theo chiều của sơ đồ hình sao được chuẩn hóa hơn Sơ đồ hình tuyết rơi cải thiện năng suất truy vấn, tối thiểu không gian đĩa cần thiết để lưu trữ dữ liệu và cải thiện năng suất nhờ việc chỉ phải kết hợp những bảng có kích thước nhỏ hơn thay vì phải kết hợp những bảng

có kích thước lớn lại không chuẩn hóa

Nó cũng làm tăng tính linh hoạt của các ứng dụng bởi sự chuẩn hóa và ít mang bản chất theo chiều hơn Nó làm tăng số lượng các bảng và làm tăng tính phúc tạp của một vài truy vấn cần có sự tham chiếu tới nhiều bảng

perKey

month year quarter

…

Period

SalesMonthly

perKey prodKey mktKey

dollars weight

…

mktKey

city state region

…

Market

prodKey

product color model size

…

Product SalesWeekly

perKey prodKey mktKey

dollars weight

…

SalesDaily

perKey prodKey mktKey

values units

…

19

Hình 1.2 – Mô phỏng sơ đồ tuyết rơi (mở rộng của sơ đồ hình sao)

1.2.2.3 Mô hình đa chiều (Multiple Dimension)

Các nhà quản lý kinh doanh có khuynh hướng suy nghĩ theo “nhiều chiều” (multidimensionally) Ví dụ như họ có khuynh hướng mô tả những gì mà

công ty làm như: “Chúng tôi kinh doanh các sản phẩm trong nhiều thị

trường khác nhau, và chúng tôi đánh giá hiệu quả thực hiện của chúng tôi qua thời gian”

Những người thiết kế kho dữ liệu thường lắng nghe cẩn thận những từ đó và

họ thêm vào những nhấn mạnh đặc biệt của họ như: “Chúng tôi kinh doanh

các sản phẩm trong nhiều thị trường khác nhau, và chúng tôi đánh giá hiệu quả thực hiện của chúng tôi qua thời gian”

Một cách trực quan, việc kinh doanh như một khối (cube) dữ liệu, với các nhãn trên mỗi cạnh của khối Các điểm bên trong khối là các giao điểm của các cạnh Với mô tả kinh doanh ở trên, các cạnh của khối là Sản phẩm, Thị trường, và Thời gian Hầu hết mọi người đều có thể nhanh chóng hiểu và tưởng tượng rằng các điểm bên trong khối là các độ đo hiệu quả kinh doanh

mà được kết hợp giữa các giá trị Sản phẩm, Thị trường và Thời gian

perKey

month year quarter

…

Period

SalesMonthly

perKey prodKey mktKey

dollars weight

…

prodKey

product color model size

…

Product SalesWeekly

perKey prodKey mktKey

dollars weight

…

SalesDaily

perKey prodKey mktKey

values units

…

mktKey

city state region

Hơn nữa, một khối dữ liệu trong kho dữ liệu phần lớn được xây dựng để đo hiệu quả của công ty Do đó một mô hình dữ liệu đa chiều đặc thù được tổ chức xung quanh một chủ đề mà được thể hiện bởi một bảng sự kiện (fact table) của nhiều độ đo số học (là các đối tượng của phân tích) Ví dụ, một bảng sự kiện có thể chứa số mặt hàng bán, thu nhập, tồn kho, ngân sách,… Mỗi độ đo số học phụ thuộc vào một tập các chiều cung cấp ngữ cảnh cho độ

đo đó Vì thế, các chiều kết hợp với nhau được xem như xác định duy nhất độ

đo, là một giá trị trong không gian đa chiều Ví dụ như một kết hợp của Sản phẩm, Thời gian, Thị trường vào 1 thời điểm là một độ đo duy nhất so với các kết hợp khác

Các chiều được phân cấp theo loại Ví dụ như chiều Thời gian có thể được mô

tả bởi các thuộc tính như Năm, Quý, Tháng và Ngày Mặt khác, các thuộc tính của một chiều có thể được tổ chức vào một lưới mà chỉ ra một phần trật tự của chiều Vì thế, cũng với chiều Thời gian có thể được tổ chức thành Năm, Quý, Tháng, Tuần và Ngày Với sự sắp xếp này, chiều Thời gian không còn phân cấp vì có những tuần trong năm có thể thuộc về nhiều tháng khác nhau

Vì vậy, nếu mỗi chiều chứa nhiều mức trừu tượng, dữ liệu có thể được xem từ nhiều khung nhìn linh động khác nhau Một số thao tác điển hình của khối dữ

21

liệu như roll-up (tăng mức độ trừu tượng), drill-down (giảm mức độ trừu tượng hoặc tăng mức chi tiết), slice and dice (chọn và chiếu), và pivot (định hướng lại khung nhìn đa chiều của dữ liệu), cho phép tương tác truy vấn và phân tích dữ liệu rất tiện lợi Những thao tác đó được biết như Xử lý phân tích trực tuyến (On-Line Analytical Processing – OLAP)

Những nhà ra quyết định thường có những câu hỏi có dạng như “tính toán và xếp hạng tổng số lượng hàng hoá bán được theo mỗi quốc gia (hoặc theo mỗi năm)” Họ cũng muốn so sánh hai độ đo số học như số lượng hàng bán và ngân sách được tổng hợp bởi cùng các chiều Như vậy, một đặc tính để phân biệt của mô hình dữ liệu đa chiều là nó nhấn mạnh sự tổng hợp của các độ đo bởi một hoặc nhiều chiều, mà đó là một trong những thao tác chính yếu để tăng tốc độ xử lý truy vấn [1]

22

CHƯƠNG 2 – MÔ TẢ, ĐÁNH GIÁ, PHÂN TÍCH QUY TRÌNH NGHIỆP VỤ CỦA HỆ THỐNG TỔNG HỢP KINH TẾ - XÃ HỘI

2.1 Quy trình xác định, tạo lập, lưu trữ, cung cấp thông tin tổng hợp KTXH

Các quy trình được thiết lập ở trong phần này sử dụng tài liệu [3]

Quy trình này được thực hiện tại tất cả các cơ quan cấp sở XD, các đơn vị trực thuộc và tại văn phòng Bộ XD Đây là quy trình đóng vai trò trọng tâm,

có nhiệm vụ tạo nguồn dữ liệu cho kho dữ liệu Quy trình được chia thành hai quy trình con:

 Quy trình xác định, tạo lập và lưu trữ thông tin tổng hợp KTXH tại các đơn vị trực thuộc Bộ XD

 Quy trình cung cấp và tổ chức khai thác thông tin tổng hợp KTXH tại các đơn vị trực thuộc Bộ XD

Thông tin tổng hợp KTXH tại quy trình này được hiểu chủ yếu là số liệu cho các chỉ tiêu tổng hợp KTXH Nguồn cung cấp thông tin cho hệ thống này sẽ

là các sở XD của các tỉnh/ thành phố và các đơn vị trực thuộc Bộ XD như các Tổng Công ty (công ty), các đơn vị sự nghiệp như Viện, Trường, Trung tâm,…

Các đơn vị trực thuộc lưu trữ các số liệu phục vụ điều hành tại các đơn vị và gửi dữ liệu về TT THDL tại Bộ XD

2.1.1 Quy trình xác định, tạo lập và lưu trữ thông tin tổng hợp KTXH tại các đơn vị trực thuộc Bộ XD

Dữ liệu tại cấp sở được lấy trực tiếp từ CSDL tổng hợp của cấp huyện và các

sở ngành khác thông qua các kết nối trực tiếp Nguồn dữ liệu cung cấp cho sở còn do sự thu thập của các phòng chuyên ngành thông qua các cuộc khảo sát

và các thông tin từ các doanh nghiệp,…

Các chuyên viên của các phòng chuyên ngành có trách nhiệm thu thập số liệu

từ các nguồn đã mô tả để tạo ra các số liệu tổng hợp của sở quản lý Cũng như cấp huyện, có hai loại số liệu tổng hợp: chưa được xác nhận và đã được xác nhận Cho đến khi có số liệu được xác nhận cần phải coi số liệu tổng hợp chưa được xác nhận có giá trị phục vụ điều hành của đơn vị và gửi lên trung tâm tổng hợp dữ liệu tỉnh, VP Bộ XD

Trước đây, số liệu không được thu thập trực tiếp mà phải thông qua các báo cáo Để thực hiện lưu trữ số liệu tổng hợp phục vụ điều hành, Bộ XD cần phải ban hành các quy định và sửa đổi mẫu thu thập số liệu

Nguồn cung cấp số liệu tổng hợp đáng kể cho kho dữ liệu tổng hợp của Bộ

XD xuất phát từ các sở XD tại các tỉnh/thành phố Hiện tại, các sở XD của các tỉnh/thành phố đã triển khai HTTT TH KTXH cấp tỉnh và hệ thống chỉ tiêu tổng hợp của sở XD đã được chuẩn hóa theo hệ thống chỉ tiêu tổng hợp chung của tỉnh

BC từ cơ quan cấp dưới

Hồ sơ hành chính

Các nguồn

dữ liệu khác

CSDL chuyên ngành

Hệ thống kết xuất số liệu tổng hợp

Lãnh đạo

Sở

Số liệu tổng hợp

Duyệt số liệu tổng hợp

Số liệu tổng hợp đó duyệt Cập nhật số

liệu tổng hợp

đó duyệt

Kho số liệu TH của sở

Số liệu tổng hợp

Các nguồn số liệu

CSDL TH cấp huyện/thị

Hình 2.1 Quy trình xác định, tạo lập, lưu trữ thông tin cấp sở

24

Hình 2.2 Quy trình thu thập số liệu tại cấp Bộ

2.2 Quy trình cung cấp và tổ chức khai thác thông tin tổng hợp KTXH

Cung cấp và tổ chức khai thác thông tin theo yêu cầu của các đối tượng người

sử dụng là chức năng chứng tỏ tính hiệu quả cũng như mức độ thực hiện thành công các mục tiêu và yêu cầu của kho dữ liệu

Quy trình (chức năng) này được thực hiện tại tất cả các cơ quan cấp sở, đơn vị trực thuộc và tại VP Bộ XD nhằm thoả mãn các nhu cầu về thông tin tổng hợp KTXH phục vụ điều hành quản lý của lãnh đạo cơ quan, đội ngũ cán bộ, chuyên viên của cơ quan và của lãnh đạo Bộ XD Đối với mỗi loại đối tượng người sử dụng và tại từng cơ quan, cách thức, hình thức khai thác và nội dung thông tin khai thác cần được phân tích cụ thể

2.2.1 Xác định nội dung và các hình thức cung cấp, khai thác thông tin

 Hình 2.1, 2.2 ở mục trên đã phân loại các đối tượng sử dụng và các địa chỉ cần cung cấp thông tin

 Đối với mỗi loại đối tượng người sử dụng, cần xác định:

 Nội dung thông tin cần khai thác

CSDL TH cấp

sở, đơn vị trực thuộc

Các phòng, ban trực thuộc VP

Bộ

CSDL TH cấp Viện, Trường, Trung tâm

25

 Các hình thức, các khuôn dạng tĩnh, khuôn dạng động khai thác thông tin

 Định kỳ khai thác thông tin

2.2.2 Cung cấp thông tin tới các địa chỉ cần thiết qua đường truyền mạng

Việc cung cấp thông tin tổng hợp KTXH tới các địa chỉ cần thiết qua đường truyền mạng là một yêu cầu để xây dựng nên số liệu của kho dữ liệu tổng hợp KTXH

 Các cơ quan cấp sở cung cấp thông tin tổng hợp KTXH cho kho dữ liệu của Bộ XD

 Các cấp huyện cung cấp thông tin tổng hợp KTXH cho kho dữ liệu của

 Phục vụ việc tra cứu, xem, in, sao chép các báo cáo của các cơ quan cấp sở gửi Bộ XD và báo cáo của Bộ XD gửi Chính phủ

 Phục vụ việc tra cứu, tìm kiếm số liệu chỉ tiêu có trong các kho dữ liệu tổng hợp KTXH theo tiêu thức, từ đó có thể in, sao chép các số liệu đó

 Tạo lập các biểu đồ, đồ thị phục vụ cho các phân tích KTXH

 Cung cấp các công cụ thống kê, phân tích, dự báo liên quan đến các lĩnh vực KTXH để hỗ trợ ra quyết định

Nội dung thông tin tổng hợp KTXH về cơ bản có thể bao gồm:

 Báo cáo định kỳ

 Phân theo thời gian và kỳ báo cáo

 Phân theo cơ quan báo cáo

 Phân theo lĩnh vực/ngành

 Báo cáo nhanh, báo cáo đột xuất, không định kỳ

 Số liệu chỉ tiêu tổng hợp KTXH

26

 Tra cứu số liệu chỉ tiêu theo tiêu thức

 Lập các bảng số liệu động (chọn dòng chỉ tiêu và cột số liệu)

 Lập các biểu đồ, đồ thị

2.3 Qui trình thực hiện chế độ thông tin báo cáo

2.3.1 Quy trình nghiệp vụ tổng quát

Nhìn chung, quy trình lập báo cáo gồm các bước sau đây:

 Bước 1: Xác định nội dung, yêu cầu báo cáo Bước này do cơ quan yêu cầu báo cáo chuẩn bị Xuất phát từ nhu cầu thông tin phục vụ công tác quản lý, điều hành, các cơ quan chủ thể quản lý quy định chế độ báo cáo đối với các đối tượng thuộc phạm vi quản lý, trong đó quy định rõ nội dung, yêu cầu và thời gian báo cáo

 Bước 2: Chuẩn bị dự thảo báo cáo: Bước này do cơ quan báo cáo thực hiện Sau khi nhận được yêu cầu báo cáo, đơn vị lập báo cáo (thường giao cho bộ phận tổng hợp) tổ chức thu thập thông tin, nắm bắt tình hình (có thể

đã được tích lũy trong quá trình công tác), tính toán, phân tích tổng hợp thông tin và xây dựng dự thảo báo cáo

 Bước 3: Lấy ý kiến tham gia Sau khi hoàn thành bản dự thảo báo cáo, bộ phận xây dựng báo cáo gửi lấy ý kiến tham gia của lãnh đạo cơ quan, các

bộ phận chuyên môn khác và hoàn chỉnh lại bản dự thảo

 Bước 4: Trình người có thẩm quyền ký ban hành Trong bước này, báo cáo

có thể phải bổ sung sửa đổi theo yêu cầu của người ký báo cáo

 Bước 5: Phát hành và lưu báo cáo Sau khi được người có thẩm quyền ký, gửi cho Cơ quan yêu cầu báo cáo và các cơ quan, đơn vị liên quan; đồng thời được lưu trữ tại cơ quan lập báo cáo

2.3.2 Quy trình làm báo cáo tại tại Bộ Xây dựng

Bộ phận Tổng hợp của Văn phòng tạo báo cáo dự thảo dựa trên dữ liệu tổng hợp từ các đơn vị khác gửi đến Trung tâm tích hợp dữ liệu, tuỳ theo hình thức báo cáo mà quy trình phê duyệt báo cáo sẽ khác nhau

 Đối với báo cáo tuần, đột xuất thì sau khi phòng tổng hợp làm báo cáo dự thảo sẽ gửi lên cho Chánh văn phòng phê duyệt, ký và ban hành báo cáo

 Đối với báo cáo tháng sau khi phòng Tổng hợp dự thảo báo cáo và lấy ý kiến của Chánh văn phòng, trên cơ sở ý kiến đó phòng Tổng hợp sẽ chỉnh sửa lại báo cáo và trình lên cho Lãnh đạo Bộ phụ trách tổng hợp xem xét lại lần cuối, ký báo cáo và ban hành

 Đối với báo cáo quý, 6 tháng, 9 tháng, năm quy trình cũng gần giống như báo cáo tháng, báo cáo sau khi được phòng tổng hợp dự thảo sẽ được trình

27

lên ban lãnh đạo Bộ để lấy ý kiến, dựa vào đó phòng Tổng hợp sẽ chỉnh sửa báo cáo trước khi trình lên Lãnh đạo Bộ XD phê duyệt lần cuối và ký báo cáo cho ban hành

 Đối với báo cáo chuyên đề, sau khi các đơn vị gửi các báo cáo chuyên đề

về VP Bộ, phòng Tổng hợp sẽ dự thảo báo cáo và gửi lên cho Chánh văn phòng phụ trách tổng hợp để lấy ý kiến; sau khi hoàn chỉnh báo cáo, phòng Tổng hợp sẽ trình lên ban Lãnh đạo Bộ XD phê duyệt, ký báo cáo và cho ban hành

Các cán bộ lãnh đạo khác của Bộ (4)

Lãnh đạo Bộ XD (3)

Chánh, phó chánh

VP Bộ XD (2)

Phòng Tổng hợp thuộc VP Bộ XD (1)

Hình 2.3 Mô hình tạo báo cáo ở văn phòng Bộ XD

Xin ý kiến

Ký Xin góp ý

Làm Báo Cáo Dự Thảo Góp ý

Ban hành

Kho số liệu

TH dùng chung toàn Bộ

Kho mẫu biểu Báo cáo dùng chung toàn Bộ

XD, các Cục, Vụ, Viện và các đơn vị trực thuộc Bộ thu thập và cung cấp Kho dữ liệu này lưu nhiều nguồn dữ liệu tổng hợp gửi từ các sở và các đơn vị trực thuộc Khi làm các báo cáo tổng hợp, phòng tổng hợp của văn phòng Bộ

XD có thể chọn nhiều phương án lựa chọn các chỉ tiêu theo số liệu của các sở

XD, các Cục, Vụ, Viện, đồng thời lưu các chỉ tiêu kế hoạch các kỳ báo cáo của Bộ Ngoài ra còn lưu các báo cáo tổng hợp từ các đơn vị gửi tới và các báo cáo do chính Bộ XD tạo ra

Hình 2.4 Mô hình tổ chức dữ liệu của Hệ thống tại cấp Bộ

Như vậy, tổ chức lưu trữ dữ liệu trong hệ thống TH KTXH phục vụ điều hành

Bộ XD vừa phân tán vừa tập trung:

 Tại mỗi đơn vị đều có một kho dữ liệu phục vụ công tác điều hành của đơn

vị, thí dụ các CSDL của các sở XD đã được xây dựng trong phần mềm dùng chung đã triển khai tại cấp tỉnh (2005)

 Đồng thời dữ liệu tổng hợp của các đơn vị được chuyển vào kho dữ liệu dùng chung của Bộ XD tại TT TH DL Việc đưa dữ liệu tổng hợp của các đơn vị vào kho dữ liệu dùng chung của Bộ XD giải quyết được các khó

Các CSDL tổng hợp KTXH từ các cơ quan cấp

sở /ĐV trực thuộc

Các nguồn dữ liệu khác tại

VP Bộ

MÔ HÌNH TỔ CHỨC CSDL TỔNG HỢP KTXH TẠI VP BỘ XD

Kho dữ liệu tổng hợp KTXH

CSDL tổng hợp KTXH tại Trung tâm THDL

29

khăn hiện thời: tránh được tệ nạn cát cứ dữ liệu bằng cách cung cấp dữ liệu trực tiếp từ TT THDL cho các đơn vị cần; dễ dàng tạo ra các phân tích, so sánh các đơn vị với nhau; tạo ra các báo cáo liên ngành hỗ trợ cho công tác điều hành của Bộ XD và các đơn vị,… Ngoài ra việc lưu trữ tập trung tại

TT THDL còn có một ưu điểm là hỗ trợ bảo quản dữ liệu tổng hợp của Hệ thống tốt hơn

2.4.2 Hệ thống chỉ tiêu tổng hợp chung của Bộ Xây Dựng

Trong tổng hợp thông tin KTXH, hệ thống chỉ tiêu tổng hợp đóng vai trò hết sức quan trọng.Chỉ có thông qua các số liệu của các chỉ tiêu tổng hợp mới có thể đưa ra các quyết định phục vụ cho công tác điều hành ở mọi cấp Chính vì

lẽ đó, cần xây dựng và chuẩn hóa hệ thống các chỉ tiêu tổng hợp chung cho

Bộ Hiện tại, Bộ XD chưa có hệ thống chỉ tiêu tổng hợp chung cho toàn ngành mà chỉ có các chỉ tiêu tổng hợp phục vụ riêng cho các đơn vị cấp Vụ, Viện và VP

Bộ thông qua các báo cáo tổng hợp của các đơn vị cấp sở gửi lên Bộ XD Do

đó Bộ XD chưa có được một CSDL lưu trữ số liệu của các chỉ tiêu tổng hợp

để phục vụ cho công tác điều hành tại cấp Bộ

2.4.2.1 Giới thiệu các báo cáo

Bộ XD không chuẩn hóa hệ thống chỉ tiêu tổng hợp dùng chung cho các đơn

vị trực thuộc Bộ mà chuẩn hóa các báo cáo Công việc này không cho phép

Bộ có được các kho số liệu tổng hợp dùng chung cho Bộ và các đơn vị trực thuộc Đến năm 2005 cơ sở dữ liệu Báo cáo của Bộ Xây dựng đã lưu trữ được

2100 báo cáo tương đương 2,5 GB

Các chỉ tiêu tổng hợp còn bị lẫn lộn với các thuộc tính quản lý trong các CSDL chuyên ngành như “Quản lý các dự án đầu tư”, “Quản lý các đề tài nghiên cứu khoa học”, “Kế toán chủ đầu tư”,… Có thể xẩy ra thống kê chồng chéo, ví dụ, sản lượng xi măng có chỉ tiêu tổng hợp cho các sở XD đồng thời

có chỉ tiêu cho các nhà máy xi măng và nhất định nhà máy xi măng đó phải trên địa bàn nào đó Có rất nhiều chỉ tiêu tổng hợp xuất hiện trong các báo cáo của các đơn vị khác nhau, tuy nhiên không thể xác định được tính đúng đắn khi phải so sánh giữa chúng

Bảng các báo cáo đã được chuẩn hóa dưới dạng được phân tích để tiến đến xây dựng một hệ thống các chỉ tiêu TH cho Bộ XD

hợp KTXH từ các cơ quan cấp

sở /ĐV trực thuộc

Các nguồn dữ liệu khác tại

VP Bộ

CSDL tổng hợp KTXH tại Trung tâm THDL

30

STT Loại mẫu biểu báo cáo Đơn vị cung cấp số liệu

I Nhóm báo cáo KH-TK và vật liệu xây dựng

ngành

Các đơn vị thuộc Bộ và các tổng công ty xi măng

4

Một số sản phẩm CN&VLXD chủ yếu

Các đơn vị thuộc Bộ và các tổng công ty xi măng, các sở

XD

5

Giá trị xuất nhập khẩu Ước thực hiện tháng … Và … tháng đầu năm…

Các đơn vị thuộc Bộ và các tổng công ty xi măng

6

Báo cáo tình hình thực hiện Công tác quy hoạch xây dựng đô thị và khu công nghiệp … tháng đầu năm

…

Sở XD

7

Báo cáo tình hình thực hiện các dự

án cấp thoát nước và vệ sinh môi trường … tháng đầu năm …

Sở XD

8

Hiện trạng, sản xuất sử dụng nước trong tỉnh, thành phố … tháng đầu năm…

thị, kế hoạch vốn trong năm …

Sở XD

31

13

Ƣớc thực hiện các chỉ tiêu chủ yếu

… tháng đầu năm … áp dụng cho các đơn vị xây lắp & Sản xuất vật liệu xây dựng

Các đơn vị xây lắp & Sản xuất vật liệu xây dựng

14

Dự kiến giá trị sản xuất và doanh thu xây lắp … tháng đầu năm (áp dụng cho các đơn vị có thi công các công trình)

Các đơn vị xây lắp

15

Ƣớc thực hiện các chỉ tiêu chủ yếu

… tháng đầu năm … áp dụng cho các đơn vị Xuất bản, Báo chí

Các đơn vị Xuất bản, Báo chí

liệu xây dựng ….tháng năm

Các đơn vị sản xuất vật liệu xây dựng, sở XD

cơ bản … tháng năm…

Sở XD, các đơn vị thi công

II Kinh tế - Tài chính

32

cấp quản lý nhà ở, cấp quyền sử dụng, Chính sách đối với người có công

Có thể mô tả sơ qua hệ thống chỉ tiêu tổng hợp này như sau:

 Hệ thống chỉ tiêu tổng hợp được chia thành các nhóm theo ngành và mã hóa nhóm ngành

 Hệ thống này gồm khoảng 300 chỉ tiêu tổng hợp đủ để mô tả dữ liệu của kho dữ liệu TH KTXH

 Hệ thống chỉ tiêu được mã hóa có tính đến việc thêm các ngành mới, nhóm mới thuộc một ngành và thêm các chỉ tiêu cụ thể mới đến cấp n tùy ý

tính

Đơn vị cung cấp

Đơn vị khai thác chính

đồng

Sở XD, các đơn vị xây

Vụ Thanh tra XD Tổng

Trong đó:

- Quốc doanh

33

- Ngoài Quốc doanh

- Doanh nghiệp đầu tư nước ngoài

sát thiết kế,

Vụ Vật liệu Xây dựng Tổng

Trong đó:

- Quốc doanh

- Ngoài Quốc doanh

- Doanh nghiệp đầu tư nước ngoài

Vụ Kinh tế Tài chính,

học Công nghệ

Tổng Trong đó:

- Quốc doanh

- Ngoài Quốc doanh

- Doanh nghiệp đầu tư nước ngoài

sát, thiết kế xây dựng

34

Trong đó:

- Quốc doanh

- Ngoài Quốc doanh

- Doanh nghiệp đầu tư nước ngoài CT01.5 Tổng vốn đầu tư XDCB Trong đó:

- Vốn ngân sách

- Vốn vay tín dụng

- Vốn vay nước ngoài

Triệu đồng

hoạch Thống kê,

Bộ XD, Vụ

Kế hoạch Thống kê

CT01.6 1 GTSX xây lắp (kể cả KL

do bên A cấp vật tư) Chia ra:

- Giá trị CT nhà ở

- Giá trị CT nhà kho, nhà xưởng

- ………

Triệu đồng

CT01.6.2 GTSXCN.VLXD 1CT01.6.3.GT Khảo sát-Thiết kế-QHXD

CT01.6 4 Giá trị sản xuất và KD khác

Vụ Kinh tế,

Vụ Kinh tế, tài chính

Vụ Kinh tế, tài chính CT01.10 Tỷ suất lợi nhuận/Doanh

thu

Triệu đồng

Vụ Kinh tế, tài chính CT01.11 Tỷ suất lợi nhuận/tổng tài

sản

Triệu đồng

Vụ Kinh tế, tài chính CT01.12 Tỷ suất lợi nhuận sau thuế

trên nguồn vốn sở hữu

Triệu đồng

VP Bộ CT01.13.1 Tổng số (Bao gồm các

nguồn vốn) Chia ra:

- Vốn NSNN

Triệu đồng

Triệu đồng CT01.13.3 Đầu tư sửa chữa lớn

TSCĐ

Triệu đồng CT01.13.4 Đầu tư vốn lưu động bổ

sung

Triệu đồng CT01.13.5 Vốn đầu tư phát triển

khác

Triệu đồng

Tổng hợp

(mẫu biểu 5-KH06-THĐT) CT01.13.6 Phân chia theo lĩnh vực

- Các dự án PT HT KT đô thị

- Các dự án phát triển nhà

Triệu đồng

Vụ Tổ chức cán bộ, Vụ Kinh tế tài chính

CT02.1 Lao động bình quân ngành

XD kỳ báo cáo Trong đó:

- Quốc doanh

- Ngoài Quốc doanh

Người

37

- Doanh nghiệp đầu tư nước ngoài CT02.2 Lao động không bố trí được việc làm

Trong đó:

- Quốc doanh

- Ngoài Quốc doanh

- Doanh nghiệp đầu tư nước ngoài

Người

CT02.3 Thu nhập bình quân 1 người/1 tháng kỳ báo cáo

Trong đó:

- Quốc doanh

- Ngoài Quốc doanh

Triệu đồng

CT02.3 Lao động bình quân (kể cả HĐ)

Người

CT02.4 Thu nhập bình quân người/tháng

Triệu đồng CT02.5 Số lượng cổ phần hóa doanh

nghiệp

- Số lượng doanh nghiệp cổ phần hóa Doan

h nghiệ

p

- Số lượng bộ phận DN cổ phần hóa Bộ

phận CT02.6 Đào tạo, Ytế, Nghiên cứu

khoa học

(CT, đơn vị trực thuộc)

sinh

g