Xây dựng data warehouse cho viễn thông tỉnh

Xuất phát từ thực tế đó, đồ án tốt nghiệp này trình bày về việc ứng dụng côngnghệ kho dừ liệu trên môi trường Oracle vào “Thiết kế và triển khai kho dừ liệu kháchhàng sử dụng dịch vụ viễ

MỤC LỤC

MỤC LỤC 1

DANH SÁCH HÌNH VẼ 3

CÁC THUẬT NGỮ VÀ VIÉT TẮT 5

MỞ ĐẦU 6

Chuông 1: TỔNG QUAN 8

1.1 T hị trường viễn thông 8

1.2 Dừ liệu ngành viễn thông 9

1.3 Mục tiêu của luận văn 10

1.4 Phạm vi của luận văn 10

1.5 Công cụ thực hiện 10

1.6 Phương pháp xây dựng kho dữ liệu 12

Chương 2: TỐNG QUAN VÈ DATA VVAREHOUSE 15

2.1 Định nghĩa kho dữ liệu 15

2.2 Đặc tính của kho dữ liệu 16

2.3 K ho dừ liệu và các cơ sở dừ liệu 17

2.4 L ợi ích của kho dữ liệu 18

2.5 Kho dừ liệu hiện nay 18

2.6 Xu hướng tương lai của kho dữ liệu 20

2.7 Kiến trúc của kho dữ liệu 22

2.7.1 Nguồn dừ liệu 23

2.7.2 Công cụ trích xuất chuyển đổi và nạp dữ liệu (ETL) 24

2.7.3 Siêu dữ liệu 24

2.7.4 Kho dữ liệu chủ đề 25

2.7.5 C ác công cụ truy vấn, tạo báo cáo, phân tích dữ liệu 26

2.8 Tổ chức dừ liệu lôgíc 26

2.8.1 Lược đồ kho dữ liệu 26

2.8.2 Mô hình dữ liệu đa chiều 28

2.8.3 Bảng sự kiện 29

2.8.4 Bảng chiều 30

2.8.5 Bảng sự kiện tổng hợp 30

2.9 Tố chức dừ liệu vật lý 31

2.9.1 Phân vùng 31

2.9.2 Chỉ mục 31

Chuông 3: PHÂN TÍCH, THIẾT KẾ VÀ TRIỂN KHAI KHO DỮ LIỆU KHÁCH HÀNG SỬ DỤNG DỊCH vụ VIỄN THÔNG 33

3.1 Phân tích 33

3.1.1 Tìm hiểu hệ thống nguồn CCBS 33

3.1.2 Xác định yêu cầu phân tích 37

3.2 Thiết kế 42

3.2.1 Kiến trúc của kho dừ liệu 43

3.2.2 Thiết kế mô hình dừ liệu 45

3.2.2 Thiêt kê mô hình vật lý 72

3.2.4 Thiết kế trích xuất chuyển đổi nạp dừ liệu 84

3.2.5 Thiết kế công cụ báo cáo, tra cứu động 92

3.2.6 Thiết kế công cụ quản trị hệ thống 99

3.3 Cài đặt, triển khai 101

3.3.1 Cài đặt hệ thống 101

3.3.2 Triển khai 101

Chuông 4: KẾT QUẢ VÀ HƯỚNG PHÁT TRIỂN 103

4.1 Kết quả 103

4.2 Giao diện chuơng trình 103

4.3 Báo cáo phân tích 107

4.4 Huớng phát triến của đề tài 115

KÉT LUẬN VÀ KIÉN NGHỊ 117

TÀI LIỆU THAM KHẢO 118

Phụ lục 1: Sơ ĐÒ CSDL BẢNG sự KIỆN CỦA DWH 119

12 15 22 23 23 27 28 28 34 43 46 47 48 48 49 50 51 51 52 52 53 53 54 55 56 56 57 57 58 58 59 60 60 61 62 63 63 64 65 65 66 66 67 67 68 68

DANH SÁCH HÌNH VẼ

Mô hình thác nước với thiết lập cơ sở hạ tầng và quản lý dự án

Định nghĩa DWH

Kiến trúc DWH cơ bản

Kiến trúc DWH với Staging Area

Kiến trúc kho dữ liệu với Staging Area và Data Mart

Lược đồ hình sao

Lược đồ bông tuyết rơi

Mô hình đa chiều

Hệ thống CCBS tổng thể

Kiến trúc của DWH thử nghiệm

Sơ đồ kho dữ liệu Bán hàng

Chiều thời gian

Phân cấp thời gian

Chiều dịch vụ viễn thông

Chiều khách hàng

Chiều kênh giao tiếp

Chiều điểm giao dịch

Phân cấp điểm giao dịch

Chiều địa chỉ

Phân cấp địa chỉ

Chiều kiểu yêu cầu

Chiều khuyến mãi

Sơ đồ kho dữ liệu Phát triển thuê bao

Chiều thuê bao

Chiều đơn vị quản lý

Chiều đối tượng khách hàng

Sơ đồ kho dừ liệu chủ đề Điều hành thi công

Chiều hướng giao

Sơ đồ kho dừ liệu Khiếu nại

Chiều nhóm khiếu nại

Sơ đồ kho dữ liệu Xử lý khiếu nại

Chiều kết quả khiếu nại

Sơ đồ kho dữ liệu Cước khách hàng

Hình 47 Sơ đồ kho dữ liệu báo hỏng69

Hình 48 Chiều tình trạng69

Hình 49 Sơ đồ kho dữ liệu xử lý báo hỏng70

Hình 50 Chiều nguyên nhân70

Hình 51 Sơ đồ kho dữ liệu sử dụng dịch vụ viễn thông71

Hình 52 Sơ đồ kho dữ liệu sử dụng dịch vụ gia tăng71

Hình 53 Kiến trúc vật lý kho dữ liệu viễn thông72

Hình 54 Mô hình quan hệ bán hàng74

Hình 55 Bảng thống kê cuộc gọi theo giờ bắt đầu79

Hình 56 Bảng thống kê cuộc gọi theo dịch vụ80

Hình 57 Bảng thống kê cuộc gọi theo mã vùng80

Hình 58 Bảng thống kê doanh thu80

Hình 59 Bảng thống kê tiền nợ cước81

Hình 60 Bảng thống kê tiền thanh toán81

Hình 61 Bảng tổng hợp cước sử dụng khách hàng82

Hình 62 Bảng tổng hợp tiền nợ khách hàng82

Hình 63 Bảng tổng hợp tiền thanh toán khách hàng82

Hình 64 Sơ đo ánh xạ DICHVU_VT_MAP 7 85Hình 65 Sơ đồ ánh xạ DIACHI MAP86

Hình 66 Sơ đồ ánh xạ KIEU_YC_MAP86

Hình 67 Sơ đồ ánh xạ KHACHHANG_MAP86

Hình 68 Sơ đồ ánh xạ THANHTOAN MAP87

Hình 69 Sơ đồ ánh xạ THUEBAOMAP87

Hình 70 Sơ đồ ánh xạ DANGKY DVVTMAP87

Hình 71 Sơ đồ ánh xạ PHATTRIEN TB MAP88

CÁC THUẬT NGŨ VÀ VIÉT TẮT

• BI (Business Intelligence): Quản trị doanh nghiệp thông minh

• CCBS (Customer Care and Billing System): Hệ thống Tính cuớc và Chăm sóckhách hàng

• CDI (Customer Data Integration): Tích hợp dữ liệu khách hàng

• CSDL: Cơ sở dữ liệu

• CRM (Customer relationship management): Quản lý mối quan hệ với kháchhàng

• DM (Data mart): Kho dừ liệu chủ đề

• DOLAP (Database Online Analytical Processing): Xử lý phân tích trực tuyếnCSDL

• DWH (Data Warehouse): Kho dữ liệu

• EIS (Executive Iníbrmation System): Hệ thống thông tin điều hành

• ETL (Extract Transíòrm Load): Trích xuất chuyển đổi dữ liệu

• HOLAP (Hybric Online Analytical Processing): Xử lý phân tích trực tuyến kếthợp

• MDM (Master Data Management): Quản lý dữ liệu chủ

• MOLAP (Multi dimensional Online Analytical Processing): Xử lý phân tíchtrực tuyến đa chiều

• ODS (Opcrational data store): Kho dữ liệu vận hành

• OLTP (Online Transaction Processing): Xử lý giao dịch trực tuyến

• OLAP (Online Analytical Processing): Xử lý phân tích trực tuyến

• OWB (Oracle Warehouse Builder): Công cụ xây dựng kho dữ liệu của Oracle

• SOA (Service-Oriented Architecture): Kiến trúc hướng dịch vụ

• ROLAP (Relational Online Analytical Processing): Xử lý phân tích trực tuyếnquan hệ

MỎ ĐẦU

Trong nền kinh tế thị trường hiện nay, thông tin là yếu tố sống còn đối với bất

kỳ một doanh nghiệp nào Việc nắm bắt thông tin giúp cho các doanh nghiệp hoạchđịnh chiến lược kinh doanh cho mình một cách chính xác

Sự ra đời của công nghệ kho dữ liệu (Data Warehouse - DWH) trong nhữngnăm gần đây đã đáp ứng nhu cầu quản lý, lưu trữ một khối lượng dữ liệu lớn và có khảnăng khai thác dừ liệu đa chiều và theo chiều sâu nhằm hỗ trợ việc ra quyết định củacác nhà quản lý

Trong nước hiện nay có rất nhiều doanh nghiệp đã và đang nghiên cứu, tiếnhành triển khai hệ thống DWH

Đối với nước ngoài, hệ thống kho dữ liệu được áp dụng từ lâu và đã phát huyđược những hiệu quả rất lớn giúp ích cho các doanh nghiệp trong việc hoạch địnhchiến lược kinh doanh cũng như việc nghiên cứu phát triển các ứng dụng

Đối với Tổng công ty Bưu chĩnh Viễn thông Việt Nam (VNPT), xây dựng hệthống Data Warehouse có ý nghĩa hết sức quan trọng Ngoài việc thu thập lun trữ cácthông tin từ các hệ thống như Tính cước và chăm sóc khách hàng nói chung và các hệthống khác nói riêng hệ thống DWH còn cung cấp các thông tin hữu ích giúp cho cácnhà phát triến cập nhật các thay đôi hệ thống một cách nhanh chóng Hon thế nữa, hệthống còn cung cấp cho nhà quản lý những thông tin quan trọng chính xác và nhanhchóng giúp họ có tầm nhìn chiến lược và hồ Uợ nhà quản lý ra nhũng quyết định kịpthời và có lợi nhất cho doanh nghiệp trong điều kiện cạnh tranh của ngành viễn thôngđang diễn ra rất gay gắt

Xuất phát từ thực tế đó, đồ án tốt nghiệp này trình bày về việc ứng dụng côngnghệ kho dừ liệu trên môi trường Oracle vào “Thiết kế và triển khai kho dừ liệu kháchhàng sử dụng dịch vụ viễn thông của Tổng công ty Bưu chinh Viễn thông Việt Nam(VNPT)” được thực hiện với mong muốn xây dựng được một DWH ban đầu đe hồ trợVNPT đặc biệt là các Viễn thông tỉnh trong việc quản lý, điều hành doanh nghiệp

Nội dung luận văn này bao gồm các phần chính như sau:

Nội dung chính của chương này là trình bày tổng quan về DWH gồmđịnh nghĩa, đặc tính, lợi ích, xu hướng tương lai, kiến trúc, tổ chức lô gíc, tổchức vật lý của DWH.

Chương 3: Phân tích, thiết kế và triển khai DWH khách hàng sử dụng dịch

vụ viễn thông.

Nội dung chính của chương này bao gồm: Tìm hiểu hệ thống nguồnCCBS; xác định yêu cầu phân tích; thiết kế mô hình dữ liệu dựa trên yêu cầuphân tích và CSDL (Cở sở dữ liệu) của Hệ thống Tính cước và Chăm sóc kháchhàng (Customer Care and Billing System - CCBS); thiết kế mô hình vật lý;thiết kế trích xuất chuyển đổi và nạp số liệu tù' hệ thống CCBS vào DWH; xâydựng công cụ báo cáo, tra cứu động và quản trị hệ thống; cài đặt và triển khaiDWH

Chương 4: Ket quả và hướng phát tríến.

Nội dung chính của chương này là trình bày các kết quả của luận văn;một số giao diện của công cụ báo cáo, tra cứu, quản trị hệ thống; một số báocáo phân tích; hướng phát triển của luận văn

Tóm lươc nôi dung:

Nội dung chính của chương này là trình bày tông quan về thị trường viên thông;

dừ liệu của ngành viên thông; mục tiêu và phạm vi của luận văn; công cụ và

phưongpháp xây dựng DWH.

1.1 Thị trường viễn thông

Trong thập niên qua, mọi lĩnh vực công nghiệp đã có kinh nghiệm biến đôi sâusắc trong môi trường kinh doanh của họ Việc bãi bỏ các quy định (cho phép thịtrường viễn thông tụ’ do cạnh tranh), sự cạnh tranh, sự tiến bộ công nghệ và toàn cầuhóa kết họp lại tạo ra sức ép khổng lồ lên những nhà cung cấp lĩnh vực viễn thông vàkhả năng của họ phản ứng lại với những sự thay đôi này

Những nhà cung cấp trong lĩnh vực viễn thông hôm nay đang phải đối mặt vớinhững thách thức như:

- Tiếp tục cạnh tranh xuất phát từ việc cho phép thị trường viễn thông tự do cạnhtranh

- Tỷ lệ dời bỏ nhà cung cấp cao trong sự gia tăng thâm nhập thị trường

- Sự suy giảm mang tính hệ thống lợi ích sử dụng dịch vụ thoại

- Những yêu cầu cơ sớ hạ tầng do cuộc chạy đua về công nghệ mới

Sự suy giảm về sự thu nhận

Trong công nghiệp viễn thông, sự tự do cạnh tranh dẫn đến sự cạnh tranh khôngchỉ trong nước mà mang tính quốc tế Điều này làm cho thị phần bị chia sẽ và đe dọanhững nguồn lợi tức

Sự cạnh tranh đã tạo ra những sản phẩm mới ra thị trường 3G, VOIP, dịch vụđịnh vị, ứng dụng dữ liệu di động và sự tích hợp đa phương tiện, có quy mô rủi rocao bổ sung tới nền công nghiệp mà yêu cầu sự đầu tư vốn lớn đe nâng cấp mạng lưới,tính cước, sự hồ trợ và cơ sở hạ tầng khác Trong lúc đó những lợi tức và những lợinhuận trong kinh doanh dịch vụ thoại suy giảm mang tính hệ thống

Trong những năm qua, thị trường viễn thông ở Việt Nam phát triển rất nhanh.Với chính sách mở cửa, khuyến khích cạnh tranh của Nhà nước, trên thị trường đãxuất hiện nhiều nhà cung cấp dịch vụ mới, cạnh tranh gay gắt với VNPT, khiến cho thịphần của VNPT bị chia sẻ đáng kê Đặc biệt, trong điều kiện Việt Nam đã chính thứcgia nhập WTO, thị trường viễn thông sẽ ngày càng sôi động hoư, VNPT sẽ phải đốimặt với sự cạnh tranh ngày càng gay gắt hơn không chỉ với các đối thủ trong nước màcòn với các đổi thủ nước ngoài Đế có thế đứng vững và phát triển trong môi trường

Tính đến cuối năm 2007, có 44 triệu thuê bao điện thoại; trong đó thuê bao diđộng 30 triệu thuê bao chiếm 75,5%; mật độ điện thoại đạt 52 máy / 100 dân; 1,2 triệuthuê bao ADSL; đã có 18,64 triệu người sử dụng Internet (quy đổi).

Trên thị trường viễn thông, nhu cầu về dịch vụ điện thoại cố định có chiềuhướng giảm dần và giữ mức tăng khoảng 9% trong giai đoạn 2007-2011 do người tiêudùng chuyển hướng sang sử dụng các dịch vụ di động và băng rộng

Cạnh tranh sôi động nhất đang diễn ra trên thị trường di động giữa 7 nhà cungcấp dịch vụ như Vinaphone, Mobifone, Viettel, EVN Telecom, SPT, HTC, GTel qua

đó thúc đay thị trường di động đạt mức tăng trưởng nhanh

Các mạng di động của Việt Nam hiện thời vẫn theo chuẩn 2G hay 2.5 G cungcấp chủ yếu dịch vụ thoại và một số loại dịch vụ giá trị gia tăng như SMS, WAP,GPRS Hiện các nhà khai thác di động đang tập trung chuyên đôi sang mạng 3G,nhưng với tốc độ chậm chạp do còn gặp nhiều khó khăn về dịch vụ nội dung thông tin

và thiết bị đầu cuối đắt đỏ Dự kiến đến 2011, thị trường dịch vụ 3G đạt khoảng 3 triệuthuê bao chiêm 6% tông thuê bao di động

Hàng loạt dịch vụ điện thoại cố định không dây ra đời thời gian qua đã tạo điềukiện cho người sử dụng có cơ hội thử nghiệm và lựa chọn Trước Gphone của VNPT,Tập đoàn Điện lực Việt Nam (EVN) đã cho ra đời dịch vụ điện thoại cố định khôngdây E-Com và Tổng Cty Viễn thông Quân đội tung ra HomePhone

WiMAX đang được các doanh nghiệp viễn thông thử nghiệm Hiện nay VNPTcũng đã thử nghiệm dịch vụ WiMax thành công ớ trên Lào Cai, đang triên khai thửnghiệm ở Hà Nội và TP HCM

Cạnh tranh thị trường viễn thông lâu nay chủ yếu là cạnh tranh bàng giá, màchưa phải là bằng chất lượng và cách thức phục vụ Cuộc đua giữa các đại gia ngàycàng quyết liệt, bên cạnh các gói giảm cước cũng như dịch vụ mới, các doanh nghiệptrong lĩnh vực này cũng cần nâng cao chất lượng của dịch vụ vì đây mới là vấn đề mấuchốt trong chiến lược thu hút khách hàng về với doanh nghiệp mình Chính vì thế sựcạnh trang quyết liệt này sẽ còn diễn ra không chỉ trên mặt trận giá cước mà còn cả vềchất lượng của dịch vụ

1.2 Dữ liệu ngành viễn thông

Ngành công nghiệp viễn thông lưu trữ một khối lượng dữ liệu khổng lồ, baogồm chi tiết cuộc gọi, thông tin cảnh báo trình trạng của hệ thống mạng viễn thông vàthông tin dữ liệu về khách hàng:

- Dữ liệu chỉ tiết cuộc gọỉ( call detail data ): Mỗi một cuộc gọi của khách hàng

trên mạng viễn thông đều phát sinh một mẫu tin chi tiết CUỘC gọi Các mẫu tinnày bao gồm các thông tin đặc tả thuộc tính quan trọng của cuộc gọi như: sốchủ gọi, số bị gọi, thời gian bắt đầu và thời gian đàm thoại Thông thường các

mining mà thường kết hợp với thông tin cá nhân khách hàng để tổng quát hóathành thông tin về hành vi sử dụng điện thoại của khách hàng.

- Dữ liệu trạng thái mạng ( netrvork data ): Mạng viễn thông có cấu hình rất

phức tạp, được cấu trúc bởi hàng ngàn thiết bị viễn thông kết nối với nhau Cácthông điệp trạng thái (status message) của mỗi thiết bị phải được lưu trữ thànhmột kho dữ liệu trạng thái mạng (network data) và chúng được phân tích theotrình tự để hồ trợ chức năng quản lý mạng Mỗi thông điệp trạng thái ít nhấtphải bao gồm thời gian phát sinh và thông tin mã hóa về lồi hay trạng thái củathiết bị

- Dữ liệu khách hàng ( customer da ta ): Cũng như các lĩnh vực kinh doanh lớn

khác, các thông tin về khách hàng cần được lưu trừ để dùng cho các ứng dụngnhư tính cước, tiếp thị Thông tin về khách hàng bao gồm số điện thoại, họ tên,địa chỉ và các thuộc tính quan trọng khác như quá trình thanh toán nợ, quá trình

sử dụng các dịch vụ, thu nhập Thông thường dừ liệu khách hàng phải đượckết hợp với các dữ liệu khác, (ví dụ như dừ liệu chi tiết cuộc gọi) trong khi sửdụng data mining

1.3 Mục tiêu của luận văn

Xây dựng và triển khai DWH khách hàng sử dụng dịch vụ viễn thông cho Viễnthông tỉnh dựa trên việc tìm hiêu và phân tích hệ thống nguồn CCBS mà các viễnthông tỉnh đang sử dụng nhằm hỗ trợ lảnh đạo, các phòng ban, đưa ra các chiến lượckinh doanh nhanh chóng chính xác Xây dựng được CSDL tương đối hoàn chỉnh choDWH; xây dựng các ánh xạ thu thập số liều từ hệ thống nguồn CCBS; xây dựng công

cụ báo cáo, tra cứu và quản trị hệ thống; xây dựng được một số báo cáo phân tích banđầu Trong thiết kế hệ thống hướng tới tính mở và thiết kế tổng thể để dễ dàng mởrộng và áp dụng cho các doanh nghiệp viễn thông khác

1.4 Phạm vi của luận văn

Xây dựng DWH đặc biệt là DWH viễn thông là một quá trình lâu dài với nhiềucông việc Trong luận văn này, dữ liệu DWH được xây dựng chủ yếu tập trung vào dữliệu khách hàng và dữ liệu chi tiết cuộc gọi (Dữ liệu từ hệ thống nguồn CCBS) Quy

mô hệ thống thử nghiệm được xây dựng áp dụng cho một Viễn Thông Tỉnh của TậpĐoàn Bưu Chính Viễn Thông Việt Nam VNPT Mồi Viễn Thông Tỉnh coi như môhình thu nhỏ của VNPT, là nơi cung cấp đầy đủ các dịch vụ viễn thông tại địa bàn đónhư dịch vụ: Điện thoại cố định, điện thoại di động, dịch vụ Gphone, điện thoại vệtinh, Internet, kênh thuê riêng, Tập trung thiết kế mô hình dữ liệu và thu thập số liệu

từ hệ thống nguồn CCBS, thiết kế một số các báo cáo, tra cứu cơ bản

7.5 Công cụ thực hiện

• Hệ quản trị cở sỏ’ dữ liệu cho kho dữ liệu:

Một sổ yêu cầu kĩ thuật dùng để đánh giá khả năng của hệ quản trị cơ sở dữ liệutrong quá trình xây dựng DWH:

- Có khả năng mở rộng: khả năng mở rộng là yêu cầu rất cần thiết trong việc xâydựng kho dừ liệu vì có nhiều truờng hợp, ban đầu kho dừ liệu có thể có kíchthước vừa phải nhưng sau đó do nhu cầu phát triên nên kho dữ liệu cần được

mở rộng thêm

- Hồ trợ cơ sở dữ liệu lớn: do đặc trưng của kho dữ liệu là có kích thước lớn

- Năng lực tính toán song song: Kho dữ liệu lớn cũng đồng nghĩa với việc sẽ cónhiều dừ liệu cần được xử lý, do đó khả năng tính toán song song của hệ thống

là rất cần thiết

- Khả năng quản trị: quản trị và bảo trì một Kho dữ liệu lớn là một công việc rấtphức tạp như sao lưu và phục hồi dừ liệu, đòi hỏi những công cụ trợ giúp hữuhiệu, tiện lợi và dễ sử dụng Đối với kho dữ liệu lớn công việc bảo trì và quảntrị không được làm gián đoạn hoạt động của hệ thống

- Đáp ứng được các truy vấn phức tạp, có nhiều điều kiện và phải tham chiếu đếnnhiều liên kết khác nhau

- Hồ trợ đánh chi mục và truy vấn hình sao nhằm cải thiện thời gian truy vấn

- Hỗ trợ các công cụ xử lý phân tích trực tuyến

Trong những năm gần đây, trên thế giới xu hướng phát triển của thị trường cungcấp các giải pháp cho công nghệ kho dừ liệu dần dần thuộc về các hãng CSDL truyềnthống như Oracle, DB2, Microsoữ Sql Server, Oracle là một trong số các hãng hàngđầu trên thế giới về lĩnh vực quản trị cơ sớ dữ liệu có công nghệ xây dựng DWH tiêntiến (Theo báo cáo thị phần hệ thống Quản lý cơ sở dữ liệu trên toàn cầu của Gartner,Oracle chiếm 47,1% thị phần năm 2006) Đặc biệt Oracle 1 lg hỗ trợ rất nhiều cho cở

sở dừ liệu rất lớn

- Oracle Database 1 lg có khả năng đáng kể về nén và phân vùng dừ liệu mới đốivới khả năng quản lý lưu trừ và vòng đời dừ liệu với chi phí hiệu qủa hơn

- Oracle Database 1 lg tự’ động hóa nhiều hoạt động phân vùng dữ liệu thủ công

và mở rộng phương pháp phân vùng theo khoảng giá trị, hash và liệt kê phânvùng hiện có đế có khoảng đệm, tham chiếu và phân vùng ảo theo cột

- Thêm vào đó, Oracle Database 1 lg cung cấp một bộ hoàn chỉnh các lựa chọnphân vùng hồn họp cho phép quản lý lun trừ được thực hiện theo các qui địnhkinh doanh

Oracle Database 11 g đưa đến khả năng nén dữ liệu tiên tiến cho cả dữ liệu cócấu trúc và không có cấu trúc được xử lý trong quy trình giao dịch, lun trữ dữliệu và các môi trường quản trị nội dung Tỷ lệ nén tất cả các dữ liệu lớn từ 2 - 3lần hoặc cao hơn có thể đạt được với khả năng nén tiên tiến mới trong Oracle

Khối dừ liệu xử lý giao dịch trực tuyến (Online Transaction Processing OLAP) nhúng đuợc tăng cuờng để hoạt động nhu những thông số hiển thịđược cụ thể hóa trong cơ sở dừ liệu.

-Hệ thống Tính cước và Chăm sóc khách hàng ở hầu hết Viễn thông các tỉnh cóCSDL là Oracle Neu chọn Oracle làm hệ quản trị cở sở cho kho dữ liệu sẽ dễ dàngcho việc xây dựng công cụ thu thập số liệu

• Công cụ xây dựng và quản trị kho dữ liệu

Oracle Warehouse Builder, công cụ xây dựng DWH của hãng Oracle, cho phépngười phân tích và thiết kế hệ thống xây dựng DWH đáp úng được các yêu cầu kĩthuật trên đây là sự lựa chọn của đồ án nhàm xây dựng kho dừ liệu Công cụ nàythường đi kèm với Oracle Database

• Công cụ xây dựng quản trị báo cáo

Crystal Report thiết kế các mẫu báo cáo phân tích

Crystal Report Server quản trị hệ thống báo cáo tù’ xa

• Ngôn ngữ lập trình

Sử dụng ngôn ngữ c#, Asp.Net để xây dựng hệ thống báo cáo động và quản trị hệthống kho dừ liệu

1.6 Phương pháp xây dựng kho dữ liệu

Dựa trên cở sở của công nghệ phần mềm như mô hình thác nước để xây dựngDWH, nó bao gồm các bước chính sau: Nghiên cứu khả thi, yêu cầu, kiến trúc, thiết

kế, phát triển, kiểm thử, triển khai, hoạt động Có thể bổ sung vào mô hình thác nướchai bước thiết lập cơ sở hạ tầng và quản lý dự án

Hình 1 Mô hình thác nước với thiết lập cơ sở hạ tầng và quản lý dự án

Có thể cải tiến bằng nhiều cách: nhận dạng các tác vụ lặp, định nghĩa các tác vụmột cách nhất quán, xác định các tiêu chuẩn đảm bảo chất lượng và sự đầy đủ của dừliệu, định nghĩa việc quản lí tác vụ, tối ưu hóa các tác vụ.

Chu trình xây dựng một DWH chủ đề bao gồm nhiều pha Ta sẽ xem xét chi tiết

về từng pha cụ thế trong quá trình xây dựng kho dữ liệu chủ đề bằng công cụ OracleWarehouse Builder Việc xây dựng kho dữ liệu thử nghiệm sử dụng Oracle WarehouseBuilder có thể chia thành các giai đoạn sau:

• Phân tích yêu cầu:

o Tìm hiểu hệ thống nguồn,

o Xác định yêu cầu

• Thiết kế mô hình dữ liệu:

o Xác định, thiết kế các chiều (dimension table)

o Xác định, thiết kế các bảng fact (fact table)

o Xác định, thiết kế các khối cube (Lược đồ hình sao)

• Thiết kế vật lý:

o Ước lượng dung lượng

o Tạo cấu trúc database: từ các định nghĩa logic ở giai đoạn đầu, sử dụngcác DDL (Data definition Language) để xây dựng kho cùng với các lược

o Ánh xạ bảng sự kiện

• Xây dụng hệ thống báo cáo, quản trị hệ thống

o Xây dựng công cụ quản trị hệ thống

o Thu thập số liệu ban đầu Sử dụng các công cụ Proccess flow và scheduletạo các luồng công việc và đặt lịch cho chúng,

o Quản trị người dùng, xây dựng báo cáo tra cứu, quản trị dữ liệu

Chương 2: TỒNG QUAN VÈ DATA WAREHOƯSE

Nội dung chỉnh của chương này là trình bày tông quan về DWH gồm định nghĩa, đặc tỉnh, lợi ích, xu hướng tương lai, kiên trúc, tô chức lô gíc, tô chức vật lý của D WH.

2.1 Định nghĩa kho dữ liệu

Định nghĩa do W.H Inman đề xướng: DWH được hiếu là một tập hợp các dữ liệutưong đối ổn định (không hay thay đổi), cập nhật theo thời gian, được tích hợp theohướng chủ đề nhàm hồ trợ quá trình tạo quyết định về mặt quản lý

• Được xây dựng bằng việc tích hợp dừ liệu từ các nguồn dữ liệu hỗn tạp, đa bộ:

Cơ sở dữ liệu quan hệ (rclational databascs), flat Tilcs, các bảng ghi giao dịchtrực tuyến

• Các kỳ thuật làm sạch và tích họp dừ liệu được áp dụng:

- Đảm bảo sự đồng nhất trong các quy ước tên, cấu trúc mã hóa, các đơn vị đo,thuộc tính, giữa các nguồn khác nhau

- Khi dừ liệu được chuyển đến kho dữ liệu, nó sê được chuyển đổi

Biến thời gian (time-variant):

• Yêu cầu quan trong cho kho dữ liệu là phạm vi về thời gian dài hon so với các

hệ thống tác nghiệp

- Cơ sở dữ liệu tác nghiệp: dữ liệu có giá trị hiện thời

- Dừ liệu của kho dừ liệu: cung cấp thông tin lịch sử (ví dụ như, 5-10 nămtrước)

• Yeu tố thời gian được lưu trừ trong CSDL

Ben vững (non-volatile):

• Là một lưu trữ vật lý của dừ liệu được chuyển đối từ môi trường tác nghiệp

• Cập nhật tác nghiệp của dừ liệu không xuất hiện trong môi trường kho dừ liệu

- Không yêu cầu các cơ chế xử lý giao dịch, phục hồi và điều khiển tươngtranh

- Chỉ yêu cầu hai thao tác trong truy cập dữ liệu: Nạp dữ liệu và truy cập dữliệu

2.2 Đặc tỉnh của kho dữ liệu

Trước hết ta tìm hiểu khái niệm về vùng chủ đề (Subject Area - SA): một SA làmột chủ đề được tách ra từ tập họp lớn các chủ đề mà người sử dụng cuối quan tâmtrong một lĩnh vực tác nghiệp cụ thể nào đó

Những đặc điểm cơ bản của DWH:

• Tính tích họp

Khái niệm tích họp có nghĩa là kho dữ liệu có khả năng thu thập dữ liệu từ nhiềunguồn và trộn ghép với nhau tạo thành một thể thống nhất

Một kho dừ liệu là một khung nhìn tông the thống nhất các khung nhìn khác nhau

Ví dụ: một hệ thống tác nghiệp như bán hàng hoặc tiếp thị có thể có chung một dạngthông tin về khách hàng, nhưng các vấn đề về tài chính cần một khung nhìn khác chothông tin về khách hàng Một kho sẽ có một khung nhìn toàn thể về một khách hàng.Khung nhìn đó bao gồm các phần dừ liệu khác nhau từ các hệ thống tác nghiệp khácnhau

• Gắn thời gian

Mỗi bản ghi của kho dừ liệu chứa một yếu tố thời gian như một phần của khóachính đê bảo

dừ liệu trong kho được tạo ra và gắn liền với một giá trị thời gian nhất định.

• Dữ liệu tổng hợp và chi tiết

Dữ liệu chi tiết là thông tin mức thấp nhất được lưu trữ trong kho dừ liệu Dừ liệutác nghiệp chính là thông tin mức thấp nhất Dữ liệu tông hợp được tích họp lại quanhiều giai đoạn khác nhau

2.3 Kho dữ liệu và các cơ sở dữ liệu

DWH về bản chất cũng là một database bình thường, các hệ quản trị cơ sở dữliệu quản lý và lưu trữ nó như các database thông thường (tuy nhiên có hồ trợ thêm vềquản lý dữ liệu lớn và truy vấn) Thực ra nét khác biệt của DWH so với database là ởquan niệm, cách nhìn vấn đề:

- Trước tiên DWH là database rất lớn (very large database-VLDB)

Database hướng về xử lý thời gian thực, DWH hướng về tính ổn định

- Database phục vụ xử lý transaction, cập nhật Datawarehouse thường chỉ đọc,phục vụ cho nhũng nhu cầu báo cáo VD: Chúng ta sẽ yêu cầu hãy cho biếttrong 5 năm, bộ phận phần mềm đã làm được những dự án nào từ đó chúng ta

sẽ có quyết định về hiệu năng của nhóm này

- DWH sẽ lấy thông tin có thê từ nhiều nguồn khác nhau: DB2, Oracle,SQLServer thậm chí cả File thông thưởng rồi làm sạch chúng và đưa vào cấutrúc của nó-đó là VLDB(very large database) DWH rất lớn nên muốn cho tùng

bộ phận chuyên biệt người sử dụng cuối cùng có thê khai thác thông dễ dàng thìbản thân DWH phải được chuyên hoá, phân ra thành những chủ đề, do đónhững chủ đề chuyên môn hóa đó tạo thành một Database chuyên biệt-đó làData mart VD: DWH của Microsoít là rất lớn, trong một núi thông tin đó làmsao khai thác? Vì thế có rất nhiều Data mart về kinh doanh, tiếp thị, kỳ thuật,testing, Có một điểm lưu ý ở đây là có một công cụ hay đúng hơn là mộtchuẩn công cụ mà mọi hệ quản trị Database hồ trợ cho việc truy vấn thông tin

trong Datamart rồi đưa ra những quyết định, nhận dịnh những thông tin trongDatamart - Đó là OLAP, bộ phân tích trực tuyến.

- Một điểm quan trọng là Database thường được chuẩn hóa (Dạng chuẩn 1, 2, 3,BCK) để khai thác DWH phải phi chuẩn hoá rồi sau đó có the chuẩn hoá theostart chema trong Data mart, điều này đồng nghĩa VỚI việc DWH sè trùng lắpthông tin Thật ra điều này theo tôi nghĩ là hiển nhiên vì việc chuẩn hoá nhằmtránh sự trùng lắp thông tin, do đó sẽ nhất quán trong việc cập nhật, thêm, xoá,sửa, tuy nhiên DWH là Database rất lớn phục vụ cho báo cáo, truy vấn chỉ đọcnên việc trùng lắp thông tin sẽ giúp thao tác tìm kiếm sẽ nhanh hơn Đây cũng

là một quy luật: Càng trùng lắp thông tin thì tìm kiếm càng dề dàng và ngượclại

2.4 Lợi ích của kho dữ liệu

Tạo ra nhũng quyết định có ảnh hưởng lớn: Một DWH cho phép trích rút tàinguyên nhân lực và máy tính theo yêu cầu để cung cấp các câu truy vấn và các báo cáodựa vào cơ sở dừ liệu hoạt động và sản xuất Điều này tạo ra sự tiết kiệm đáng kể Cókho dữ liệu cũng trích rút tài nguyên khan hiếm của hệ thống sản xuất khi thực thi mộtchương trình quá lâu hoặc các báo cáo và các câu truy vấn phức hợp

Công việc kinh doanh trở nên thông minh hơn: Tăng thêm chất lượng và tínhlinh hoạt của việc phân tích kinh doanh do phát sinh từ cấu trúc dữ liệu đa tầng củakho dữ liệu, đó là nơi cung cấp dữ liệu được sắp xếp từ mức độ chi tiết của công việckinh doanh cho đến mức độ cao hon - mức độ tổng quát Đảm bảo được dữ liệu chínhxác và đáng tin cậy do đảm bảo được là trong kho dừ liệu chỉ chứa duy nhất dừ liệu cóchất lượng cao và ôn định (trusted data)

Dịch vụ khách hàng được nâng cao: Một doanh nghiệp có thể giữ gìn mối quan

hệ với khách hàng tốt hơn do có mối tương quan với dữ liệu của tất cả khách hàng quamột kho dừ liệu riêng

Tái sáng tạo những tiến trình kinh doanh: Sự cho phcp phân tích không ngừngthông tin kinh doanh thường cung cấp sự hiểu biết mọi mặt của phương thức kinhdoanh do đó có thề làm nảy sinh ra nhừng ý kiến cho sự sáng tạo ra những tiến trìnhnày lại Chi khi xác định chính xác các nhu cầu từ kho dữ liệu thì mới giúp ta đánh giáđược những hạn chế và mục tiêu kinh doanh một cách chính xác hơn

Tái sáng tạo hệ thống thông tin: Một DWH là nền tảng cho các yêu cầu dừ liệutrong mọi lĩnh vực kinh doanh, nó cung cấp một chi phí ảnh hưởng nghĩa là đưa ra thóiquen cho cho cả hai sự chuân hóa dữ liệu và sự chuân hóa hoạt động của hệ điêu hànhtheo chuẩn quốc tế

2.5 Kho dữ liệu hiện nay

Ngày nay, hầu hết các kho dừ liệu đang được dùng cho quản trị doanh nghiệp

Management) và khai thác dừ liệu Một số được sử dụng để báo cáo tổng hợp, một sốđược sử dụng để tích hợp dừ liệu Các cách sử dụng này đều tương quan với nhau; ví

dụ, quản trị doanh nghiệp thông minh (Business Intelligence - BI) và CRM sử dụngkhai thác dừ liệu, kinh doanh thông minh sử dụng báo cáo, còn BI và CRM còn sửdụng tích hợp dữ liệu Trong các phần sau sẽ mô tả cách sử dụng chính, bao gồm quảntrị doanh nghiệp thông minh, CRM và khai thác dữ liệu

• Quăn trị doanh nghiệp thông minh:

Dường như nhiều nhà cung cấp thích dùng quản trị doanh nghiệp thông minhhơn là DWH Nói cách khác, họ tập trung hơn vào việc xem DWH có thể làm gì chodoanh nghiệp Nhiều DWH hiện nay được dùng cho BI: giúp nhà kinh doanh hiểucông việc kinh doanh của họ hơn; giúp họ đưa ra các quyết định hành động, chiếnlược, và mục tiêu kinh doanh tốt hơn; giúp họ cải tiến hoạt động kinh doanh

Một số các nhà lãnh đạo doanh nghiệp ngày nay ra quyết định dựa trên dữ liệu

Và 1 công cụ quản trị doanh nghiệp thông minh chạy và vận hành trên của kho dừ liệu

có thể là một công cụ hồ trợ tốt cho mục đích đó Điều này có được là do sử dụng báocáo và OLAP Báo cáo DWH được sử dụng để đưa ra sổ liệu kinh doanh đã tổng hợptrong DWH tới những người kinh doanh OLAP cho phép doanh nghiệp phân tích sựảnh hưởng lẫn nhau của dữ liệu giao dịch kinh doanh được lưu trữ trong DWH đachiều

• Quán lý mối quan hệ khách hàng:

Một hệ thống quản lý mối quan hệ khách hàng (CRM - Customer RelationshipManagement) gồm có những ứng dụng mà hồ trợ quản lý mối quan hệ khách hàng.Trong một hệ thống CRM, chức năng lý tưởng sau đây được xây dựng trong mộtDWH đa chiều:

ngày nay và được ứng dụng rộng rãi trong các lĩnh vực thương mại, tài chính, điều trị

y học, giáo dục, viễn thông,

MDM là quá trình chiết, làm sạch, lưu trữ, cập nhật, và phân phối dữ liệu chủ.Một hệ thống MDM khôi phục dữ liệu chủ từ hệ thống OLTP Hệ thống MDM cũng

cố dừ liệu chủ và xử lý dữ liệu thông qua việc định nghĩa trước các quy tắc về chấtlượng dữ liệu Dừ liệu chủ sau đó được nạp tới DWH chủ Bất kỳ sự thay đổi nào trên

dữ liệu chủ trong hệ thống OLTP được gửi tới hệ thống MDM, và DWH chủ được cậpnhật đê phản ánh những thay đôi đó Hệ thống MDM sau đó chuyên dữ liệu chính tớinhững hệ thống khác

• Tích họp dữ liệu khách hàng:

Tích hợp dừ liệu khách hàng (CDI- Customer Data Integration) là MDM cho dữliệu khách hàng CDI là một quá trình chiết, làm sạch, lưu trữ, duy trì, và phân phối dữliệu của khách hàng CDI hệ thống chiết dữ liệu khách hàng từ hệ thống OLTP, làmsạch nó, lưu trừ trong một kho dừ liệu khách hàng chính, duy trì dữ liệu của kháchhàng, lưu giữ nó, và phân phổi các dữ liệu khách hàng cho các hệ thống khác

Hệ thống CDI cho phép bạn có một phiên bản dừ liệu khách hàng sạch hơn, duynhất, đáng tin cậy mà các ứng dụng khác trong các doanh nghiệp có thề sử dụng Điềunày cũng có thể gia tăng lợi Ích kinh doanh chẳng hạn như tăng sự hài lòng của kháchhàng và phân tích kinh doanh tốt hơn, và nó làm giảm sự phức tạp của các quá trình sửdụng dừ liệu khách hàng Tất cả các loại khác nhau của quản lý dừ liệu chính, CDI là

sử dụng rộng rãi nhất bởi vì mồi tổ chức có khách hàng CDI cung cấp dừ liệu tích họpsạch cho quản lý mối quan hệ khách hàng

2.6 Xu hướng tương lai của kho dữ liệu

• Dữ liệu phỉ cấu trúc:

Dữ liệu có cấu trúc thường dùng đe chỉ dữ liệu lưu trữ trong các hệ quản trị cơ

sở dừ liệu quan hệ như Oracle, MS SQL Server, MySQL, trong đó các thực thể vàcác thuộc tính được định nghĩa sẵn Ví dụ, dữ liệu của một thí sinh dự thi đại học cóthể bao gồm các thông tin như họ tên, năm sinh, trường dự thi, điềm thi các môn.Trong khi đó dừ liệu phi cấu trúc (Ưnstructured Data) thường dùng để chỉ dừ liệu ở

dạng tự do (free type) và không cần có cấu trúc định nghĩa sẵn Các trang web, video,ảnh, âm thanh là các ví dụ của dừ liệu phi cấu trúc.

Dừ liệu phi cấu trúc được lưu trữ trong kho dữ liệu như thế nào ? Và, sau khilưu giữ, làm thế nào để nhận được những thông tin mà bạn cần ra khỏi dừ liệu này ?

Đe trả lời câu hỏi thứ nhất, đối với mỗi thành phần dữ liệu phi cấu trúc bạn định nghĩathuộc tính và sau đó thiết lập nhũng thành phần đó theo các thuộc tính Bạn có thể luntrữ các thành phần dữ liệu phi cấu trong một co sở dừ liệu quan hệ như là một cột đốitượng nhị phân, với các thuộc tính như là các cột khác Hoặc bạn có thể lưu trừ cácthành phần dữ liệu phi cấu trúc trong hệ thống tập tin và chỉ cần lưu trừ các con trỏvào tập tin trong co sở dữ liệu

Mỗi kiểu của dừ liệu phi cấu trúc có thuộc tính về vật lý và nội dung khác nhau.Các thuộc tính có thê được lưu giữ trong một hay nhiều cơ sở dữ liệu đê cho phépngười sử dụng dễ dàng tìm thấy dữ liệu phi cấu trúc riêng chi tiết Nội dung của các dữliệu phi cấu trúc chính nó có thể được phân tích, trích xuất, phân loại, lưu trữ và đổ hồtrợ truy vấn thông tin

Phần này câu trả lời câu hỏi thứ hai, làm thế nào đế bạn nhận được nhũng thôngtin ra? Câu trả lời là bằng cách tìm kiếm (Search) Đê có được thông tin tù’ dữ liệu cócấu trúc, bạn có thể sử dụng các câu truy vấn như báo cáo tỉnh, hoặc câu truy vấn tựxây dựng Neu bạn sử dụng một ứng dụng Bĩ, các ứng dụng có thể đi qua các siêu dữliệu và hiến thị các cấu trúc dữ liệu, và sau đó hồ trợ bạn trong việc điều hướng quacác dừ liệu để lấy lại thông tin bạn cần

Đe có được thông tin từ dừ liệu phi cấu trúc, đặc biệt là các văn bản dừ liệu nhưcác tài liệu, email, và các trang web, bạn thực hiện tìm kiếm Giống như trên Internet,các công cụ tìm kiếm đã thu thập thông tin kho dữ liệu và đánh chỉ mục các dữ liệu phicấu trúc Các công cụ tìm kiếm có phân loại các dừ liệu phi cấu trúc dựa trên kiểu vàthuộc tính của nó và , trong trường hợp các trang web, liên kết của nó

Khi bạn gõ thông tin tìm kiếm vào ô tìm kiếm, và các công cụ tìm kiếm sẽ điqua các chi mục, tìm đến vị trí của nhũng thông tin, và hiển thị các kết quả Nó cũng

có thê cung cấp giới hạn trước tìm kiếm, nó có thê hiên thị cấu trúc cây cho bạn đêđiều hướng và lựa chọn Nó cũng có thê nhớ người sử dụng tìm kiếm mà có thê hồ trợbạn trong việc xác định những gì đê loại khi tìm kiếm

Hiện nay tìm kiếm đã trở thành một xu hướng trong quản trị doanh nghiệpthông minh và kho dừ liệu, bởi họ có thể lựu chọn dữ liệu phi cấu trúc của kho trongkho dữ liệu khống lồ

• Kiến trúc hướng dịch vụ:

Kiến trúc hướng dịch vụ (Service-Oriented Architecture - SOA) là một hướngtiếp cận với việc thiết kế và tích hợp các phần mềm, chức năng, hệ thống theo dạng

module, trong đó mỗi module đóng vai trò là một dịch vụ và có khả năng truy nhậpthông qua môi trường mạng Hiếu một cách đơn giản thì một hệ thống SOA là một tậphọp các dịch vụ được chuẩn hóa trên mạng trao đổi với nhau trong nhừ cảnh một tiếntrình nghiêp vụ.

Một DWH hệ thống bao gồm nhiều thành phần: hệ thống nguồn, hệ thống ETL,

hệ thống siêu dừ liệu, hệ thống báo cáo, hệ thống cơ sở dừ liệu riêng của mình, Bạn

có thể xây dựng nó như một ứng dụng khổng lồ với tất cả các thành phần quan hệ chặtchẽ; có nghĩa là, bạn không thể thay thế một phần mà không ảnh hưởng đến các thànhphần khác Hoặc bạn có thể xây dựng theo kiến trúc hướng dịch vụ với nhiều thànhphần nhở hon, các thành phần độc lập mà nói chuyện với nhau bàng cách cung cấp và

sử dụng các dịch vụ của nó Trong tương lai, nó cũng có thế dễ dàng hơn đế cập nhậtmột thành phần không ảnh hưởng của những người khác và các thành phần khác nhau

để kết nối được thực hiện bằng cách sử dụng các công nghệ khác nhau

• Kho dữ liệu thòi gian thực:

DWH ngày nay thông thường được cập nhật từng ngày, từng tuần, tùngtháng, Có một sổ yêu cầu của những người sử dụng muốn nhìn thấy dừ liệu trong kho

dữ liệu được cập nhật cứ hai phút một lần hay thậm chí thời gian thực Một DWH thờigian thực (Real-Time Data Warehouse) là một DWH mà được cập nhật (bởi ETL)ngay thời điềm giao dịch xảy ra trong hệ thống nguồn

2.7 Kiến trúc của kho dữ liệu

DWH và kiến trúc của nó tùy thuộc vào vị trí của từng tổ chức Có 3 kiến trúcphổ biến của DWH:

• Kiến trúc DWH cơ bản: Đây là kiến trức đơn giản cho DWH

Hình 3 Kiến trúc D WH cơ bản

• Kiến trúc DWH với Staging Area: thêm thành phần làm sạch và xử lý dữ liệu trướckhi đưa vào DWH

Data Staging

Hình 4 Kiến trúc DWH với Staging Area

• Kiến trúc DWH với Staging Area và Data Mart: So với kiến trúc trên có thêm datamart, dữ liệu được chuyền đổi và biểu diễn theo yêu cầu bởi một nhóm các ngườidùng đặc biệt

Hình 5 Kiến trúc kho dữ liệu với Stagỉng Area và Data Mart

2.7.1 Nguồn dữ liệu

Nguồn dữ liệu của DWH gồm nhiều loại khác nhau:

• Dữ liệu tù’ các hệ thống tác nghiệp

o Chứa dừ liệu chi tiết và hiện tại

o Được sử dụng cho các giao dịch hàng ngày

o Chứa dữ liệu thích họp hiện hành

o Là nguồn dừ liệu được tích hợp đề xây dựng kho dữ liệu

o Các sưu tập dừ liệu cũ không được dùng cho các mục đích hoạt động

o Phương pháp khác nhau của việc tổ chức dừ liệu ngược lại với mô hình hiệntại

o Được mã hóa nếu cần thiết khi hệ thống đã qua xử dụng

o Thông tin không đầy đủ về cấu trúc và ngũ’ nghĩa của dữ liệu hệ thống kế thừa

• Các nguồn dữ liệu bên ngoài

o Dừ liệu được lấy từ các nguồn bên ngoài

o Vi dụ: dl phân tích thị trường, dl báo cáo thời tiết, thuế,

o Không phải là dữ liệu được tạo ra trong công ty

o Có thể có cấu trúc và mã hóa hoàn toàn khác nhau phụ thuộc vào nhà cungcấp

o Được yêu cầu cho các phân tích chi tiết

2.7.2 Công cụ trích xuất chuyển đổi và nạp dữ liệu (ETL)

• Làm sạch

o Tìm và loại trù’ các bộ trùng nhau

o Kiểm tra tính nhất quán, khám phá ra dừ liệu sai, không nhất quán:

o Ngay trong bản thân nó: số phone đúng không, dữ liệu có ngoài vùng xác địnhkhông

o Sửa, hoàn chỉnh dừ liệu thiếu, không đọc được, hay các giá trị rỗng (NULL)

o Chỉ ra các lồi, và (có thể là chèn các giá trị mặc định)

o Cảnh báo cho các nguồn các kho dừ liệu về các lỗi tìm được

• Chuyên đổi

o Chuyển đôi dữ liệu vào một lược đồ nhất quán,

o Siêu dữ liệu được lưu trừ trong một kho chứa và được truy cập bởi tất cả các

thành phần của kho dữ liệu

• Sự quan trọng của siêu dữ liệu

o Là chìa khóa quyết định sự thành công của kho dữ liệu

o Là thành phần luôn được thay đồi, cấp nhật theo sự phát triển của kho dừ liệu

o Dùng đế quản lý, điều khiến kho dữ liệu

■ Miêu tả kho dữ liệu và các thành phần

■ Tạo điều kiện cho việc truy cập kho dừ liệu ở mọi cấp

o Bảo trì:

■ Phục vụ cho các mục đích bảo mật

■ Lưu trữ thông tin về người dùng

• Các bước tạo lập siêu dữ liệu

o Định nghĩa các chức năng chính của siêu dữ liệu trong hệ thống kho dừ liệu

chức Thể hiện thường xuyên nhất của DM là một kho dữ liệu riêng rẽ trên phươngdiện vật lý và thường được lưu trừ trên một server riêng, trên một mạng cục bộ phục

vụ cho một nhóm người nhất định

DM gồm hai loại: DM độc lập và DM phụ thuộc:

• DM phụ thuộc: chứa những dừ liệu được lấy từ kho dừ liệu và những dữ liệunày sẽ được trích lọc và tinh chế, tích hợp lại ớ mức cao hơn đê phục vụ chomột chủ đề nhất định của kho dữ liệu

• DM độc lập: không giống như DM phụ thuộc, DM loại này được xây dựngtrước kho dừ liệu và dừ liệu được trực tiếp lấy từ các nguồn Phương pháp nàyđơn giản hon và chi phí thấp hơn nhưng đôi lại có những điếm yếu Mỗi DMđộc lập tạo ra cho riêng chúng những giả thiết về cách thống nhất dừ liệu và dữliệu trong một vài DM là không đồng nhất với nhau DM thể hiện 2 vấn đề:

o Thứ nhất là tính ốn định trong mọi tình huống khi DM phát triến theo nhiềuchiều;

o Thứ hai là sự tích hợp dừ liệu Vì vậy khi thiết kế DM tổ chức cần chú ý kỹtới tính ôn định của hệ thống, sự đồng nhất của dữ liệu và vấn đề về khả năngquản lý

2.7.5 Các công cụ truy vấn, tạo báo cáo, phân tích dữ liệu

• Công cụ tạo báo cáo và câu hỏi truy vấn (Report):

Dễ sử dụng, các câu hỏi được xây dựng trước hoặc được người dùng tự tạo radưới dạng SQL dựa trên mô hình quan hệ Ket quả tạo ra dưới dạng báo cáo

• Công cụ phân tích trực tuyến (OLAP):

Tương đối khó sử dụng Người dùng thao tác với dữ liệu dưới dạng mô hìnhnhiều chiều (thường có chiều thời gian) Công cụ này cho phép phân tích dừliệu nhanh chóng, liên tục, lặp đi lặp lại, theo quá trình mịn dần

• Công cụ phân tích, tìm kiếm cấp cao (Data Mining):

Dựa trên các nghiên cứu lĩnh vực trí tuệ nhân tạo Chúng giúp phát hiện những

sự kiện, hình mẫu, phụ thuộc dừ liệu trước kia chưa biết hoặc giúp chúng xâydựng những mô hình dự báo

2.8 Tổ chức dữ liệu lôgíc

2.8.1 Lưọc đồ kho dữ liệu

Lược đồ là một tập hợp các đối tượng cơ sở dừ liệu bao gồm bảng, view,index, Lược đồ kho dữ liệu hay được sử dụng: lược đồ hình sao, lược đồ bông tuyếtrơi, lược đồ kết hợp,

a Lược đồ hình sao

Trong sơ đồ hình sao, dữ liệu được xác định và phân loại theo 2 kiểu:

- Phạm vi, hay các chiều của dừ liệu, được tổ chức thành các bảng Dimension.

Ưu điểm của sơ đồ hình sao:

Hồ trợ rất đa dạng các câu truy vấn và xử lý khá hiệu quả

- Phù hợp với cách mà NSD nhận và sử dụng dữ liệu và qua đó làm cho dữ liệuđược hiểu trực quan hon

- Nguyên lý cơ bản của sơ đồ hình sao là một dạng dư thừa dữ liệu cải thiện sựthực hiện các truy vấn Sự phi chuẩn hóa có thể coi là sự tiền kết nối các bảng

để cho các ứng dụng không phải thực hiện công việc kết nối, làm giảm thờigian thực hiện

- Khóa của bảng sự kiện được tạo bởi những khóa của các bảng chứa thông tintheo từng phạm vi Tất cả các khóa đều được xác định với cùng một chuẩn đặt

Hình 6 Lược đồ hình sao

b Lược đồ bông tuyết rơi

Sơ đồ hình tuyết rơi là một sự mở rộng của sơ đồ hình sao tại đó mỗi cánh saokhông phải là một bảng Dimension mà là nhiều bảng

Sơ đồ hình tuyết rơi cải thiện năng suất truy vấn, tối thiểu không gian đĩa cần thiết

để lưu trữ dữ liệu và cải thiện năng suất nhờ việc chỉ phải kết họp những bảng có kíchthước nhỏ hơn thay vì phải kết hợp những bảng có kích thước lớn lại không chuẩn hóa

Nó cũng làm tăng tính linh hoạt của các ứng dụng bởi sự chuẩn hóa và ít mang bảnchất theo chiều hơn Nó làm tăng số lượng các bảng và làm tăng tính phúc tạp của mộtvài truy vấn cần có sự tham chiếu tới nhiều bảng

Hình 7 Lược đồ bông tuyết rơi

c Lược đồ kết họp

Là kết họp giữa sơ đồ hình sao và sơ đồ hình tuyết rơi Một vài cơ sở dừ liệu và cáccông cụ truy vấn của người sử dụng đầu cuối nhất là các công cụ xử lí phân tích trựctuyến (OLAP) đòi hỏi mô hình dừ liệu phải là sơ đồ hình sao bởi vì nó là một mô hình

dừ liệu quan hệ nhưng lại được thiết kế đế hồ trợ mô hình dữ liệu đa chiều là điếm cốtlõi của OLAP

2.8.2 Mô hình dữ liệu đa chiều

Bản chất đa chiều của các câu hỏi trong nghiệp vụ được phản ánh trong thực tếchẳng hạn như nhũng người quản lí thị trường không được thoả mãn với câu hỏi theomột chiều đơn giản, thay vào đó là những câu hỏi phức tạp Một cách đế quan sát một

mô hình dừ liệu nhiều chiều là nhìn nó như một hình khối Hình sau thể hiện câu truyvấn theo bốn chiều: khách hàng, dịch vụ, thời gian

Facts

Hình 8 Mô hình đa chiều

Thời gian trả lời một truy vấn nhiều chiều phụ thuộc vào sổ lượng các ô được thêmvào trong quá trình thực hiện Khi số lượng chiều tăng thì số ô của khối này tăng theocấp số mù Bên cạnh đó, những truy vấn đa chiều đều liên quan tới những dừ liệu ởmức cao và dữ liệu tổng Vì vậy, giải pháp đề xây dựng một cơ sở dừ liệu đa chiều cóhiệu quả là phải kết hợp từ trước tất cả các tổng con logic và các tổng theo tất cả cácchiều Sự kết hợp trước này đặc biệt có giá trị khi các chiều mang tính phân cấp.

Sự phân cấp về kích thước, quản lí dừ liệu thưa hơn và sự kết họp trước là quantrọng vì chúng làm giảm đáng kể kích cở của cơ sở dừ liệu và những yêu cầu tính toáncác giá trị Một thiết kế như vậy loại bỏ việc phải kết hợp nhiều bảng và cung cấp sựtruy nhập trực tiếp và nhanh tới các câu trả lời vì vậy cải thiện đáng kể tốc độ trongviệc thực hiện các truy vấn đa chiều

Các thành phần chính

• Các dữ kiện (Facts)

o Miêu tả các vùng kinh doanh

o Không thay đổi khi nó đã được sinh ra

o Được lưu tại một cấp thô nào đó

• Các chiều (Dimensions)

o Thông tin tham chiếu qua đó các dừ kiện có thể được cấu trúc cho việc phântích

o Định nghĩa các phân cấp

• Và các khối đa chiều (Cubes)

o Một khối bao gồm nhiều ô dừ liệu

Bảng sự kiện điền hình có hai kiểu cột, chúng chứa đựng những sự kiện số (thườnggọi là thước đo), và chứa khóa của các bảng dimension Bảng sự kiện chứa đựngnhững sự kiện mức chi tiết hoặc những sự kiện mà đã được tổng hợp lại Bảng sự kiện

mà chứa sự kiện tông họp thường được gọi là những bảng tóm tắt Bảng sự kiện thôngthường chứa đựng những sự kiện với cùng mức của sự tổng hợp Tuy nhiên hầu hếtnhững sự kiện liên kết tất cả các chiều, nó có thể liên kết với 1 số chiều hoặc khôngliên kêt

Bảng sự kiện là bảng chứa dừ liệu chi tiết nên có số lượng bản ghi rất lớn và cònthường xuyên được cập nhật, bổ sung dừ liệu, trong khi đó các bảng dimension thường

cố định nói đúng hơn là có sự thay đổi không đáng kể theo thời gian Bảng theo chiềuchứa đựng các thuộc tính có thể được sử dụng như các tiêu chí tìm kiếm và thường có

2.8.4 Bảng chiều

Các chiều là cách mô tả chủng loại mà theo đó các dừ liệu số trong khối được phânchia để phân tích Khi xác định một chiều, chọn một hoặc nhiều cột của một trong cácbảng liên kết (bảng chiều) Neu ta chọn các cột phức tạp thì tất cả cần có quan hệ vớinhau, chăng hạn các giá trị của chúng có thê được tô chức theo hệ thông phân câp đơn

Đe xác định hệ thống phân cấp, sắp xếp các cột tù' chung nhất tới cụ thể nhất Ví dụ:một chiều thời gian được tạo ra từ các cột năm, qúy, tháng, ngày

Mồi cột trong chiều góp phần vào một cấp độ cho chiều Các cấp độ được sắp đặttheo nét riêng biệt và được to chức trong hệ thống cấp bậc mà nó thừa nhận các conđường hợp logic cho việc đào sâu (drill_down) Ví dụ: chiều thời gian được miêu tả ởtrên cho phép người dùng khối đào sâu từ năm tới qúy, từ qúy tới tháng và từ tháng tớingày

Chiều có phân cấp:

Phân cấp là cột sống của việc gộp dữ liệu hay nói một cách khác là dựa vào cácphân cấp mà việc gộp dừ liệu mới có thể thực hiện được Phần lớn các chiều đều cómột cấu trúc đa mức hay phân cấp Neu chúng ta làm những quyết định về giá sảnphẩm để tối đa doanh thu thì chúng ta cần quan sát ở những dừ liệu về doanh thu sảnphẩm được gộp theo giá sản phẩm, tức là chúng ta đã thực hiện một cách gộp Khi cầnlàm nhừng quyết định khác thì chúng ta cần thực hiện những phép gộp tương ứngkhác Như vậy có thể có quá nhiều tiến trình gộp Thế nên các tiến trình gộp này cầnphải được thực hiện một cách rất dễ dàng, linh hoạt đề có thể hồ trợ những phân tíchkhông hoạch định trước Điều này có thể được giải quyết trên cơ sở có sự trợ giúp củanhững phân cấp rộng và sâu

2.8.5 Băng sự kiện tổng họp

Bảng tổng họp

Bảng tổng hợp nhàm mục đích trả lời nhanh các câu hỏi thường gặp Các bước tạobảng tổng hợp:

- Nhận diện các câu hỏi thường gặp

- Nhận diện các chiều và các tông hợp tương ứng

- Định nghĩa phân cấp của các tổng hợp

- Tạo một cách có chọn lựa các bảng dữ kiện tổng hợp tính toán trước

- Tạo các bảng chiều tổng họp

Bảng sự kiện tổng họp

- Nhận diện các bâng dữ kiện yêu cầu

- Các tổng họp ở thứ tụ' cao có thể được tính toán từ các tổng hợp thứ tự thấp,

- ước lượng dung lượng

- Kiềm tra sự sẵn có của dừ liệu

- Kiêm tra các bảng tông hợp chiều cần thiết

2.9 Tồ chức dữ liệu vật lỷ

Phân vùng (partition) là kĩ thuật được sử dụng trong kho dữ liệu nhằm tối unhiệu suất truy vấn bàng cách cho phép người thiết kế phân vùng các vùng nhớ để chứa

dữ liệu thoả mãn những yêu cầu do người thiết kế đặt ra Khi phân vùng, người thiết

kế chọn điều kiện phân vùng, ví dụ như ngân sách quyết toán thu số liệu chẳng hạn,người thiết kế sẽ phân vùng theo năm Khi dữ liệu được đưa và kho sẽ được lun trêncác phân vùng nhớ dành cho từng năm Khi có truy vấn theo năm, giả sử truy vấn dừliệu trong ba năm là 1999, 2000, 2001 các truy vấn sê chỉ thực hiện trên các vùng nhớdành cho ba năm này chứ không tiến hành truy vấn trên toàn bộ vùng nhớ lun dữ liệuquyết toán thu số liệu

Đánh chỉ mục (Index) là kỳ thuật phổ biến nhàm tăng hiệu suất các truy vấn dữliệu Chuyên gia thiết kế sẽ chọn trường phù hợp của một bảng để đánh chỉ số, khi đótrường chỉ số đó sẽ được lưu ra một bảng tham chiếu, được sắp xếp sẵn Khi có truyvấn dừ liệu, thời gian truy vấn sê giảm do dừ liệu cần truy vấn đã được sắp xếp từtrước

Các bảng thông thường trong database đều thuộc loại bảng không phân vùng.Chỉ mục phân vùng dùng cho các bảng lớn, lưu các mục chỉ mục của chỉ mục này cóthể nằm trên nhiều segments Việc phân vùng sẽ cho phép một chỉ mục có thể trải rộngtrên nhiều tablespaces, giảm bớt tình trạng quá tải khi chi mục được truy xuất và quản

lý Các chỉ mục phân vùng hay được sử dụng cùng với các bảng phân vùng để tăngcường hiệu năng và dễ quản lý Chỉ mục phân vùng sẽ được tạo ra ứng với mỗi bảngphân vùng

Đánh chỉ số kiểu Bitmap

Một cách khác đê tăng công suất thực hiện các truy vấn là sử dụng kỹ thuậtđánh chỉ số theo kiểu Bitmap nhằm tăng tốc độ truy vấn dừ liệu Mỗi lần dừ liệu đượctải vào, tất cả dừ liệu được chuyển đổi thành các chuỗi bitmap, những chuỗi này sau

đó được nén lại và được lưu trữ trên đĩa Khác với việc đánh chỉ số thông thường,những chỉ số không chỉ tới dữ liệu được lưu trữ ớ nơi khác mà tất cả dữ liệu được lưutrữ trong cấu trúc chỉ số này Tuy nhiên phương thức đánh chỉ sổ vẫn sẽ gặp khó khăntrong việc truy vấn dừ liệu nếu phạm vi dừ liệu là quá lón

So sánh giữa B-TREE và Bitmap Index

Bảng trên đây so sánh giữa B-TREE và Bitmap Index, Bitmap index được sử

Việc cập nhật các cột làm khoá trong Bitmap index thì sẽ chậm hơn bởi vìBitmap index sử dụng phương pháp khoá đoạn bitmap (bitmap segment level locking),trong khi đó trong một B-TREE index khoá thực hiện trên các điểm vào tương ứng vớitừng row riêng lẻ trên table.

Bitmap index có thê thực hiện các hoạt động với các toán hạng logic OR Khi

đó Oracle Server sử dụng hai phân đoạn bitmap để thực hiện việc so sánh từng bittrong toán hạng OR và trả về kết quả là một chuồi Bitmap Tính chất này cho phép sửdụng hiệu quả chuồi Bitmap trong câu lệnh truy vấn có sử dụng toán hạng logic OR

Nói chung B-TREE index thích hợp hơn trong môi trường OLTP cho việctruy vấn các bảng động Trong khi đó, Bitmap index thích hợp hơn trong môi trườngDSS có sử dụng nhiều câu lệnh truy vấn phức tạp trên các table lớn (large) và tĩnh(static)

Tóm lươc nôi dung:

Nội dung chỉnh của chương này bao gôm: Tìm hiêu hệ thong nguồn CCBS; xác định yêu cầu phân tích; thiết kế mô hình dữ liệu dựa trên yêu cầu phân tích và CSDL của hệ thong nguồn CCBS; thiết kế mô hình vật lý; thiết kế trích xuất chuyên đối và nạp số liệu từ hệ thong CCBS vào DWH; xây dựng công cụ báo cáo, tra cứu động và quản trị hệ thông; cài đặt và trỉên khai DWH.

3.1 Phân tích

Trong phần phân tích, tác giả sẽ tập trung vào 2 vấn đề chính:

• Tìm hiểu hệ thống nguồn CCBS đang được triển khai tại các Viễn thông tỉnh:Tìm hiểu hoạt động và cơ sở dừ liệu của hệ thống nguồn

• Xác định các yêu cầu phần tích: Yêu cầu xuất phát từ nhu cầu cùa Viễn thôngtỉnh và yêu cầu cần có của một DWH viễn thông

3.1.1 Tìm hiểu hệ thống nguồn CCBS

Hệ thống Tính cước và Chăm sóc khách hàng (CCBS - Customer Care andBilling System) đã và đang triên khai tại các đơn vị trực thuộc của Tông công tyBưu Chính Viễn Thông Việt Nam (VNPT) phù họp với các quy trình nghiệp vụcủa các doanh nghiệp viễn thông nhất là quy trình hiện hành của VNPT vềnguyên tắc phát triên thuê bao, tính cước, in hóa đơn, quản lý nợ, các dịch vụ vềchăm sóc khách hàng và cắt mở thuê bao dịch vụ tự động, điều hành sửa chừabáo hỏng,

- Hệ thống CCBS thực hiện các chức năng tính cước, chăm sóc khách hàng, phục

vụ công tác điều hành sản xuất kinh doanh của các doanh nghiệp viễn thông

Hệ thống CCBS tổng thể

Hình 9 Hệ thống CCBS tổng thể 3.1.1.1 Phát triển thuê bao

Tiếp nhận và quản lý các yêu cầu khách hàng, thanh toán tiền hợp đồng, hoànthiện hồ sơ, quản lý danh bạ của khách hàng liên quan đến việc đăng ký, sử dụng tất cảcác loại dịch vụ viễn thông Bao gồm các chức năng chính:

o Tiếp nhận yêu cầu: Thực hiện việc tiếp nhận và nhập các yêu cầu khách hàngliên quan đến việc đăng ký và sử dụng dịch vụ viễn thông,

o Thanh toán tiền họp đồng: Thực hiện thanh toán tiền lắp đặt, đăng ký dịch vụgia tăng,

o Điều hành thi công: Giao phiếu cho các đơn vị thi công, cập nhật kết quả hoàncông,

o Hoàn thiện hồ sơ: Thực hiện hoàn thiện các hợp đồng, chuyển vào danh bạquản lý khách hàng

o Quản lý danh bạ: Thực hiện quản lý danh bạ khách hàng, thanh toán, danh bạthuê bao, danh bạ trang vàng, danh bạ nội bộ,

3.1.1.2 Xử lý dữ liệu cước

Xử lý cước thô CDR để phân hệ Tính cước tính tiền (charging) cho thuê bao,bao gồm các chức năng chính:

o Thu thập dừ liệu từ các nguồn

o Chuyển đổi số liệu

o Chuẩn hóa số liệu

o Kiểm tra tính đúng đắn của dữ liệu (Với dừ liệu phục vụ các hệ thốngtính cước các chức năng được thực hiện bao gồm xử lý trùng, xử lýchòm, ghép cuộc và đánh mã cho các cuộc gọi)

o Thiết lập tham số xử lý dừ liệu

o Dữ liệu đầu ra của xử lý dừ liệu cước là dữ liệu đầu vào cho hệ thốngTính cước

Đảm nhiệm chức năng tính cước cho thuê bao, bao gồm các chức năng chính:

o Tính cước các cuộc gọi với dừ liệu đã được chuẩn hóa đến công đoạncuối cùng

o Có thế tính nhiều dịch vụ trên 1 cuộc gọi

o Cho phép tính cước các trường họp đổi số, chuyển đổi tượng trong tháng,chuyển mạng

o Giảm giá theo thời gian

o Mỗi thuê bao có thề được tính theo một chính sách cước riêng biệt vàmồi một chính sách cước được thiết lập hoàn toàn dựa trên tham số cho

o Thiết lập tham số, định nghĩa các loại hóa đon

o Tong hợp dữ liệu in hoá đơn: thực hiện việc tông họp dữ liệu từ CSDLtập trung đã được mô đun Tính cước thực hiện, hoặc từ nguồn dữ liệubất kỳ

o Cho phép định nghĩa các mẫu hóa đơn mới theo yêu cầu

o Có thể in theo nhiều tiêu chí khác nhau: đồ họa, text, theo đon vị, dịch

vụ

o

o Cho phép thực hiện gạch nợ bàng nhiều hình thức khác nhau: tiền mặt,

o Cho phép thực hiện gạch nợ cho nhiều khách hàng của đại lý thu cướchoặc thanh toán nợ của mồi khách hàng theo nhiều tiêu chí khác nhau,

o Thực hiện tạo dừ liệu báo cáo và tra cứu thông tin nợ đọng và thanh toán

nợ đọng

o Quản lý, theo dõi và thực hiện các xử lý nợ khó đòi của khách hàng

Quản lý thông tin và xử lý khiếu nại của khách hàng, bao gồm các chức năngchính như sau:

o Tiếp nhận yêu cầu khiếu nại của khách hàng,

o Thực hiện xử lý khiếu nại của khách hàng,

o Đóng và kết thúc khiếu nại

SA cung cấp cho người dùng một giao diện thống nhất cho quá trình thao táclệnh vào/ra tổng đài mà không cần phải nhớ đến các cú pháp lệnh Nghĩa là hệthống phải trừu tượng hóa đề có thể mô tả các lệnh vào/ra tổng đài của các loạitổng đài khác nhau, với các cú pháp lệnh khác nhau theo một cách duy nhất Hệthống SA bao gồm nhiều hệ thống con đảm nhận các chức năng khác nhau từ hệthống tương tác với người dùng, nhận yêu cầu ở mức logic rồi phân tích để đưa rađược các lệnh tương ứng để truyền xuống tùng tổng đài cụ thể với cú pháp lệnhphù hợp, sau đó thu thập thông tin trả ra từ tổng đài, phân tích để xác định kết quảthực hiện yêu cầu Các phân hệ con này bao gồm:

o Phân hệ điêu khiên quá trình vào/ra lệnh tông đài NE Operator

điều khiển (NE Operator) tướng ứng Hệ thống này được gọi làDispatcher.

3.1.1.8 Quán lỷ điều hành sửa chữa báo hỏng

Quản lý thông tin và điều hành xử lý báo hỏng, sự cố của khách hàng, bao gồmcác chức năng chính như sau:

o Tiếp nhận yêu cầu báo hỏng, sự cố của khách hàng,

o Đo thử tự động đường dây, dịch vụ phục vụ kiểm tra nguyên nhân báohỏng; tự động đo quét đảm bảo duy trì chất lượng dịch vụ

o Thực hiện và cập nhật kết quả sửa chữa

o Nghiệm thu yêu càu báo hỏng

3.1.1.9 Quản lý mạng ngoại vi

Quản lý mạng ngoại vi trên nền công nghệ GIS, đảm bảo mối quan hệ chặt chẽgiữa các số liệu mạng cáp, mạng hạ tầng và số liệu thuê bao trên giao diện bản đồsố; hỗ trợ quản lý và thiết kế mạng; thực hiện các nhiệm vụ đi dây, đấu nối mạng theo yêu cầu phát triển thuê bao, bao gồm các chức năng chính như sau:

o Quản lý mạng hạ tầng với các số liệu chi tiết đến từng lồ cống, mặt cắtcống, tuyến cống Các chức năng khảo sát, thống kê trên mạng hạ tầnggiúp cho người quản lý mạng biết được khả năng mở rộng mạng củamạng cáp, việc đi cáp, việc sửa cáp

o Quản lý mạng cáp, chi tiết đến tùng đôi cáp, đấu nối đôi cáp vào các tủcáp, hộp cáp, card thuê bao của Tổng đài, chi tiết đi cáp trên mạng hạtầng Các chức năng tra cứu trực quan cho phép hiền thị các đôi cáp cònrồi, số thuê bao liên quan đến từng đôi cáp

o Quản lý phát triên thuê bao, tích hợp với hệ thông quản lý phát triên thuêbao đế tiến hành triển khai lắp đặt theo yêu cầu của khách hàng Các sốliệu đấu nối thuê bao cho phép in tuyến cáp và phiếu xử lý thuê bao, giúpcho việc khắc phục sự cố được nhanh chóng, chính xác

3.1.2 Xác định vêu cầu phân tích

Các yêu cầu phân tích tập trung vào 6 nhóm chủ đề sau: bán hàng, quản lý mốiquan hệ, kế toán, sử dụng dịch vụ, doanh thu và điều hành

3.1.2.1 Bán hàng

• Phân tích chương trình khuyến mãi

Hệ thống cho phép nhà cung cấp phân tích các chương trình khuyến mãi đềđánh giá hiệu quả của các chương trình khuyến mãi Phân tích sự thu nhận khách hàngcủa các chưoưg trình khuyến mãi theo các tiêu chí như thời gian, dịch vụ, kênh giaotiếp, địa chỉ, Phân tích sự dời bỏ nhà cung cấp trong thời gian khuyến mãi

Sự phân tích chiến dịch ngày càng quan trọng Nhà cung cấp sử dụng sự phântích chương trình khuyến mãi để đẩy nhanh hoạt động tiếp thị có hiệu quả và sử dụngtrong việc đặt mục tiêu và lập kế hoạch cho các chiến dịch tiếp theo.

Thường nhà cung cấp dựa trên một số thước đo không rõ về lợi nhuận để đánhgiá hiệu quả như số thuê bao mới và số dịch vụ gia tăng sử dụng Tuy nhiên, nhà cungcấp ngày càng quan tâm đến lợi nhuận chính xác của các hoạt động tiếp thị

• Phân tích cung câp sản phâm chéo nhau

Hệ thống cho phép phân tích nhân khẩu, địa lý và những khuynh hướng sửdụng của khách hàng mà họ đã đăng ký sử dụng dịch vụ, để nhà cung cấp có thể tạo ranhừng gói sản phẩm sẽ phù họp và hấp dẫn nhất đối với người sử dụng Nhà cung cấp

có khả năng để đoán nhận những sản phẩm nó nào bồ sung tốt nhất đối với nhừng sảnphẩm khác Từ đây, bàng cách sử dụng những đề xuất hướng tới hơn những kháchhàng tiềm năng, nhà cung cấp có thê tăng sự thu hút của những sản phấm và nhằmgiảm bớt chi phí chiến dịch

Hệ thống cho phép nhà cung cấp có thê theo dõi hiệu quả của một chiến dịchtiêu thụ chéo nhau cũng như tính chính xác của các giả định cung cấp

Ví dụ như phân tích các chương trình khuyến mãi bán adsl kèm điện thoại cổđịnh

• Phân tích sự phát triên thuê bao

Hệ thống cho phép phân tích sự thu nhận khách hàng theo các tiêu chí như thờigian, dịch vụ, kênh giao tiếp, địa chỉ, kiểu yêu cầu (trả trước sang trả sau, hòa mạngadls trên đường cố định có sẵn, từ doanh nghiệp khác, ),

Bằng việc phân tích các đặc tính của thuê bao hiện hữu, nhà cung cấp có thểthực hiện phân đoạn thị trường đến các khách hàng triển vọng với những sản phẩm vàdịch vụ đặc biệt Sử dụng thông tin lấy từ DWH để có thể phát triển những sản phẩm

và những dịch vụ mới đê thu hút thêm khách hàng đăng ký

Mối quan hệ giữa sự thu nhận và sự ra đi là phức tạp mà yêu cầu sự phân tíchchi tiết Đồng thời, chi phí liên quan trong việc thu nhận khách hàng mới ngày cànggia tăng Sự thu nhận khách hàng mới tối đa có thể không tất yếu dẫn tới tối ưu hóa lợinhuận Đặc biệt, việc thu nhận nhũng khách hàng mới mất thời gian gấp 5 lần so với

sự duy trì khách hàng hiện hữu

• Phân tích kênh hán hàng

Nhà cung cấp viễn thông sử dụng nhiều kênh khác nhau đê bán và cung cấpdịch vụ tới khách hàng như diêm giao dịch, đại lý, qua điện thoại, email, website, Chi phí và số lượng hàng bán của các kênh là khác nhau Một kênh có thể tạo ranhiều khách hàng mới, nhưng tỷ lệ lớn những khách hàng đó là lợi nhuận thấp, hay

có khuynh hướng rời bỏ nhà cung cấp sau một thời gian ngắn Hệ thống cho phép

thể thiết lập những kênh có hiệu quả cao và thiết lập tỷ lệ hoa hồng thích hợp chocác kênh bán hàng.

• Phân tích sự thay đôi nhà cung câp dịch vụ

Sự thay đổi nhà cung cấp là một trong những thước đo quan trọng nhất cho cácnhà cung cấp Thị trường viễn thông ngày càng bão hòa, sự cạnh tranh trở nên quyếtliệt hơn Không còn số lượng lớn khách hàng mới để thu hút Thay vào đó, thách thức

sê là duy trì khách hàng hiện hữu và thu hút mới từ những đổi thủ

Hệ thống cho phép nhà cung cấp phát hiện ra thông tin quan trọng về sự thayđổi nhà cung cấp, phương hướng nhận dạng và tìm kiếm những khách hàng đó mà

có thê đang tính đến việc thay đôi mạng Từ đó nhà cung cấp có thê có cơ hội đêthuyết phục quay lại bởi sự khuyến khích nào đó

Trước khi một khách hàng bỏ đi, họ có thê giải thích động cơ của sự dời bỏ.Thông tin quan trọng này có thế được kết hợp với dữ liệu khác đế phát hiện cáchkhách hàng sử dụng dịch vụ của bạn như thế nào Hiểu những lý do sự thay đổi nhàcung cấp qua các chiều như bảng giá, thiết bị, chất lượng của dịch vụ, phạm vi củadịch vụ và phân đoạn khách hàng, có thể đưa ra các sáng kiến duy trì

• Phân tích hành vỉ của khách hàng

Các khách hàng thường có những mẫu hành vi chung, cả về cách họ tiếp cậnđầu tiên đến nhà cung cấp, cách họ sử dụng dịch vụ của nhà cung cấp và cách họ thựchiện thanh toán và giao tiếp với nhà cung cấp như thế nào Sự phân tích của nhữngkhuynh hướng này có thê giúp đỡ đê thiêt lập các phân đoạn thị trường cho những sảnphâm hoặc gói đặc biệt Những mẫu hành vi khác, như một số lượng các khiếu nạiđang gia tăng kết hợp với sự giảm sút trong cách dùng dịch vụ, có thể chỉ báo ràngkhách hàng có khả năng thay đổi nhà cung cấp trong tương lai gần và vì thế cho phépnhà cưng đe thực hiện hoạt động phòng ngừa Sự thay đổi hình thức thanh toán củakhách hàng có thể cũng là một chỉ tiêu mà sự vở nợ có thể sắp sửa xảy ra Bằng việcphân tích hành vi phổ biến của khách hàng, nhà cung cấp có thể dự đoán đúng hànhđộng của khách hàng trong tương lai và đưa ra hành động thích họp

• Phân tích sự khiếu nại của khách hàng

Hệ thống cho phép phân tích khiếu nại của khách hàng theo các tiêu chí nhưthời gian, dịch vụ viễn thông, kênh giao tiếp, nhóm khiếu nại, Phân tích tínhhình xử lý khiếu nại của khách hàng theo các tiêu chí như dịch vụ viễn thông,nhóm khiếu nại, đơn vị xử lý, kết quả xử lý,

Một lý do chung cho sự dời bỏ trong nhiều nhà cung cấp là dịch vụ khách hàngnghèo nàn Đặc biệt, chỉ khi khách hàng có một vấn đề thì bộ phận dịch vụ khách hàngcủa nhà cung cấp thật sự mới kiểm tra Cách hiểu tốt và nhanh các khiếu nại của kháchhàng là chìa khóa kinh doanh Bởi vậy cần theo dõi cách tô chức xử lý những vấn đề

của khách hàng và hiệu quả của sự giải quyết như thế nào Có thể bộ phận chăm sóckhách hàng thực hiện công việc hiệu quả nhưng khi một nhiệm vụ liên quan tới thànhphần khác, thường không bảo đảm ràng vấn đề được giải quyết thành công.

Nhiều khách hàng có thể gặp những khó khăn đon giản, đặc biệt khi nhữngdịch vụ mới được khai trương trên thị trường Phân tích loại khiếu nại, cũng nhưcách mà họ đang được xử lý, có thể đưa ra cách tốt nhất dịch vụ ra thị trường

• Phân tích khả năng tương tác với khách hùng

Nhà cung cấp có nhiều cách thức để giao tiếp với các khách hàng như trungchăm sóc khác hàng, trung tâm dịch vụ hậu mãi, cổng thông tin, thư trục tiếp,email và SMS, Các cách giao tiếp này có thể sử dụng để tiếp thị trực tiếp, nhậnkhiếu nại của khách hàng, nhận đơn hàng và các điều tra khác Nhà cung cấp ngàycàng sử dụng giải pháp tích hợp để tất cả giao tiếp khách hàng là trong suốt và nhấtquán

Hệ thống cho phép nhà cung cấp phân tích tương tác với khách hàng đề theodõi sự tương tác với khách hàng như thế nào, và hiệu quả của những loại kênh giaotiếp khác nhau tới kết quả của kinh doanh Từ đó nhà cung cấp phải chọn kênh cóhiệu quả cho tiếp thị trực tiếp, xử lý đơn hàng, điều tra và khiếu nại của khách hàng

• Phân tích tỷ lệ số tiền khách hùng sử dụng

Hệ thống cho phép nhà cung cấp nhận biết chi tiêu liên lạc của khách hàngtrong sự sử dụng các sản phấm và dịch vụ của họ, so sánh với tông chi phí liên lạccủa khách hàng, nhà cung cấp tập trung nguồn lực vào khai thác tỷ lệ số tiền kháchhàng sử dụng trong những khu vực mà ở đó hiện thời mất về đối thủ cạnh tranh Cóthể bằng cách phân đoạn khách hàng để tiếp thị, hoặc cung cấp những dịch vụ đặcbiệt

• Phân tích khóa mở mảy

Phân tích tình hình khóa mở máy khách hàng, hiệu quả của quá trình mở máynhư thế nào (sau khi khóa mở máy khách hàng có thanh toán nợ hay không)

Ví dụ: Phân tích khóa mở máy theo các tiêu chí nhu dịch vụ viễn thông, đơn vị,khách hàng, chiều khóa mở, kieu khóa mở, thời gian khóa mở,

• Phân tích xử ỉỷ nợ cước

Xử lý nợ khó đòi được thực hiện qua nhiều bước xử lý, nếu bước trước chưa

xử lý xong thì chuyên sang bước sau Phân tích hiệu qủa của quá trình xử lý nợ nhưthế nào để nhà quản lý điều chỉnh các bước xử lý, cách thức xử lý sao cho có hiệuquả nhất

Ví dụ: Phân tích quá trình xử lý nợ theo các tiêu chí: khách hàng, thời gian,bước xử lý, đơn vị xử lý, kết quả xử lý, số tiền,

• Phân tích nợ và thanh toán

Đối với nhiều nhà cung cấp, một trong số lý do hàng đầu cho sự dời bó nhàcung cấp là các khoản nợ không trả đúng Hệ thống cho phép nhà cung cấp phântích sự thanh toán và nợ của khách hàng để dự đoán những khách hàng có khả năngkhông trả nợ đúng hạn Dừ liệu thanh toán, tính cước có thể được kết hợp với dữliệu cách sử dụng đê xác định thước đo phân tích giá trị khách hàng

• Phân tích nợ không trả của khác hàng

Hệ thống cho phép nhà cung cấp theo dõi lịch sử và những mẫu thanh toánkhông đúng hạn, đê có thê giảm bớt những món nợ khó đòi tiêm tàng trong tương laibàng các hoạt động phòng ngừa thích họp như một kiểu yêu cầu chắc chắn tới người

sử dụng như khoản ký gửi an toàn, hoặc bàng việc ngăn chặn những dịch vụ nhất định,

Hệ thống cho phép nhà cung cấp phân tích cách sử dụng sản phẩm, dịch vụcủa khách hàng như thế nào, ở đâu và ai sử dụng Bộ phận tiếp thị có thể xây dựngnhững đoạn tiếp thị mà khách hàng có khả năng muốn mua những sản phâm hoặcgói dịch vụ đặc biệt Bộ phận định giá có thể lên kế hoặc thiết lập bảng giá đểkhuyến khích sử dụng dịch vụ và hợp lý hóa lợi nhuận Phòng kế hoạch có thể lập

kế hoạch công suất mạng đề bảo đảm ràng những khách hàng tiếp tục để nhận đượcdịch vụ tối ưu trong khi tránh đầu tư quá mức những khu vực mà không bao giờ lợinhuận đủ đê bù chi phí

• Doanh thu từ khách hàng

Hệ thống cho phép nhà cung cấp phân tích lợi nhuận từ khách hàng đổ xác

loại khách hàng từ đó có chính sách hợp lý Từ việc phân loại khách hàng, nhà cungcấp có thể chương trình khuyến mãi và bảng giá phù họp để đảm bảo rằng họ có lợinhuận từ những khách hàng Ngoài ra, nhà cung cấp có thể quan tâm khách hàngkhông có lợi thành có lợi nào đó bàng sự lựa chọn tặng phẩm hay dịch vụ bồ sung.

• Doanh thu của sản phâm

Hệ thống cho phép nhà cung cấp phân tích doanh thu của sản phâm trongtháng, quý, năm, đế phân loại sản phẩm từ đó có chính sách họp lý Nhà cung cấp

có thể thực hiện bán giảm giá mà trước hết sè là những khách hàng tiềm năng, sau

đó là khách hàng mà nhà cung cấp thấy có lợi nhuận Thỉnh thoảng khi cần thiết cóthê thực hiện chương trình khuyến mãi đặc biệt với một sản phẩm mới hay thiết bịmới Tương tự, nếu sự sử dụng sa sút, có thể chiết khấu đồ khuyến khích nhiều sự sửdụng hơn

• Phân tích xử lý đơn hàng

Xử lý đơn hàng là luồng công việc từ lúc đăng ký dịch vụ đến khi dịch vụ đưavào sử dụng Đây là yếu tố quan trọng đế thu lợi nhuận nhanh và đánh giá chấtlượng cung cấp cho bất kỳ nhà cung cấp nào Quá trình xử lý đon hàng dịch vụ baogồm sự chấp nhận một đon hàng cho dịch vụ, theo dõi tiến trình đon hàng, cập nhậtthông tin thi công tại các bước thi công và thông báo người yêu cầu khi đơn hànghoàn thành Đon hàng có the bao gồm mới, thay đối và kết thúc đơn hàng cho tất cảhay thành phần của một dịch vụ của khách hàng, cũng như những sự hủy bỏ vànhững sự thay đôi đơn hàng

Hệ thống cho phép phân tích điều hành thi công theo các tiêu chí như dịch vụviễn thông, kiếu yêu cầu, đon vị thi công, hướng thi công, số ngày thi công,

Thiết kế DWH sẽ tập trung vào các thiết kế chính sau:

• Thiết kế mô hình dữ liệu: Từ các yêu cầu cần phân tích ớ trên và CSDL của hệthống CCBS phân ra các chủ đề Mồi chủ đề có 1 mô hình dữ liệu tương ứng.Việc thiết kế mô hình dữ liệu qua các bước: chọn chủ đề, chọn các chiều, chọncác dừ kiện, xác định nguồn dừ liệu