LÝ THUYẾT VỀ KHO DỮ LIỆU VÀ LÝ THUYẾT KHAI PHÁ DỮ LIỆU.DOC

LÝ THUYẾT VỀ KHO DỮ LIỆU VÀ LÝ THUYẾT KHAI PHÁ DỮ LIỆU

Trang 1

Ngành công nghiệp viễn thông lưu trữ một khối lượng dữ liệu khổng lồ, bao gồm chi tiếtcuộc gọi, thông tin cảnh báo tình trạng hệ thống mạng viễn thông và thông tin dữ liệu vềkhách hàng Khả năng ứng dụng kỹ thuật khai phá dữ liệu (Data Mining) để phát hiện cácquy luật ẩn chứa trong khối dữ liệu khổng lồ, giúp đưa ra các quyết định đúng đắn mang lạicho các doanh nghiệp viễn thông cơ hội để phát triển dựa trên các hoạch định chính xácmang tính lịch sử và thực tiễn cao Đây là một hướng đi phù hợp và đã sớm được áp dụngphổ biến ở nhiều công ty viễn thông lớn trên thế giới.

Chính vì lý do đó Ứng dụng DataMining cho phát triển các thuê bao điện thọai cố định sẽgiúp phát triển các thuê bao đặc biệt ở Hà Nội

2 Mục tiêu của nghiên cứu khoa học

Mục tiêu đề tài là sử dụng công cụ SQL 2005 trong ứng dụng DataMining cho việc pháttriển các thuê bao điện thoại cố định ở Hà Nội, bao gồm các vấn đề chính sau:

 Nắm bắt được khái quát lý thuyết về DataMining

 Công cụ sử dụng SQL 2005

Trang 2

 Đưa ra được các báo cáo, kết quả bài toán phát triển thuê bao điện thoại cốđịnh giúp cho việc đưa ra các quyết định nhằm giúp ích cho việc đưa ra chiếnlược phát triển thuê bao ở Hà Nội

CHƯƠNG II: PHƯƠNG PHÁP NGHIÊN CỨU

Để thực hiện Đề tài, em đã sử dụng một số phương pháp nghiên cứu sau:

1 Nghiên cứu lý thuyết Kho dữ liệu và Khai phá dữ liệu

2 Tìm hiểu công cụ SQL 2005 với khả năng hỗ trợ Kho dữ liệu và Khai phá

dữ liệu

3 Tìm hiểu bài toán Phát triển thuê bao

4 Ứng dụng bài toán Phát triển thuê bao để cài đặt Kho dữ liệu trên SQL 2005

CHƯƠNG III: KẾT QUẢ NGHIÊN CỨU

1 Nắm được lý thuyết về kho dữ liệu(DataWareHouse-DW) và lý thuyết về khai phá

dữ liệu(DataMining)

1.1 Kho dữ liệu:

Có thể nói gọn nghành tin học trong ba từ là lưu trữ, xử lý và khác thác thông tin Về mặt lưu trữ, các hệ quản trị cơ sở dữ liệu đều thực hiện rất tốt Tuy nhiên, khi lượng thông tin cần lưu trữ và khai thác trở nên khổng lồ đặc biệt trong những nghành như ngân hàng, tài chính…đã làm nảy sinh khái niệm

DataWarehouse hay kho dữ liệu

Kho dữ liệu là tuyển tập các cơ sở dữ liệu tích hợp, hướng chủ đề, được thiết kế để hỗ trợ cho chức năng trợ giúp quyết định, mà mỗi đơn vị dữ liệu đều liên quan tới một khỏang thời gian cụ thể.

Nói cách khác, kho dữ liệu là một tập hợp các cơ sở dữ liệu rất lớn tới hàng trăm GB hay thậm chí hàng Terabyte dữ liệu từ nhiều phân hệ của hệ thống, lưu trữ và phân tích phục vụ cho việc cung cấp các dịch vụ thông tin liên quan tới nghiệp vụ hệ thống

Mục tiêu chính của kho dữ liệu là giải quyết những vấn đề cơ bản sau:

Trang 3

1.1.1 Tích hợp dữ liệu và các siêu dữ liệu từ những nguồn khác nhau

1.1.2 Nâng cao chất lượng dữ liệu bằng các phương pháp làm sạch và tinh lọc dữ

liệu theo những hướng chủ đề nhất định

1.1.3 Tổng hợp và kết nối dữ liệu

1.1.4 Đồng bộ hóa các nguồn dữ liệu với DW

1.1.5 Phân định và đồng nhất các hệ quản trị cơ sở dữ liệu tác nghiệp như là các

công cụ chuẩn để phục vụ cho DW

1.1.6 Quản lý những siêu dữ liệu

1.1.7 Cung cấp các thông tin được tích hợp, tóm tắt hoặc được liên kết, được tổ chức

theo các chủ đề

1.1.8 Dùng trong các hệ thống hỗ trợ quyết đinh.

1.2 Khai phá dữ liệu:

Khai phá dữ liệu (Data mining - DM) là một khái niệm ra đời vào những năm

cuối của thập kỷ 80 Nó bao hàm một loạt các kỹ thuật nhằm phát hiện ra các thông

tin có giá trị tiềm ẩn trong các tập dữ liệu lớn (các kho dữ liệu) Về bản chất, khai

phá dữ liệu liên quan đến việc phân tích các dữ liệu và sử dụng các kỹ thuật để tìm

ra các mẫu hình có tính chính quy (regularities) trong tập dữ liệu

Quá trình khai phá dữ liệu sẽ tiến hành qua 6 giai đoạn như hình 1.1

Trang 4

Pattern Discovery Transforme

d Data

Cleansed PreprocessedPreparated

Data

Target Data

Gathering

Data Mining

Selection

Transformation

Cleansing processing

Pre-Preparation

Envalution of Rule

Interne

t,

Interne

t,

Hình 1.1 Quá trình khai phá dữ liệu 6 giai đoạn

Bắt đầu quá trình là kho dữ liệu thô và kết thúc là tri thức được chiết xuất Đây là một quá trình rất phức tạp và khó khăn như: quản lý các tập dữ liệu, phải lặp đi lặp lại toàn bộquá trình,.v.v

 Gom dữ liệu (Gathering)

Tập hợp dữ liệu là bước đầu tiên trong quá trình khai phá dữ liệu Là bước khai tháctrong một cơ sở dữ liệu, một kho dữ liệu hoặc dữ liệu từ các nguồn ứng dụng Web

Trang 5

Một số lỗi thường mắc phải là tính phi logíc dữ liệu như chứa các giá trị vô nghĩa và gây lỗi dữ liệu Ví dụ: tuổi = 673 Đây là giai đoạn tiến hành xử lý những dạng dữ liệukhông chặt chẽ, phi logic, loại bỏ những dữ liệu dư thừa không có giá trị.

 Chuyển đổi dữ liệu (Transformation)

Bước chuyển đổi dữ liệu: dữ liệu được sử dụng và điều khiển bởi việc tổ chức lại giúp chuyển đổi phù hợp với mục đích khai thác

 Phát hiện và trích mẫu dữ liệu (Pattern Extraction and Discovery)

Là bước mang tính tư duy trong khai phá dữ liệu Giai đoạn sử dụng nhiều thuật toán khác nhau để trích ra các mẫu dữ liệu Thuật toán thường dùng là nguyên tắc phân loại, nguyên tắc kết hợp hoặc các mô hình dữ liệu tuần tự, v.v

 Đánh giá kết quả mẫu (Evaluation of Result)

Là giai đoạn cuối trong quá trình khai phá dữ liệu Các mẫu dữ liệu được chiết xuất

ra bởi phần mềm khai phá dữ liệu Không phải mẫu dữ liệu nào cũng hữu ích, đôi khi còn bị sai lệch Vì vậy, cần ưu tiên những tiêu chuẩn đánh giá để chiết xuất ra các tri thức (Knowlege) cần thiết

2.2 SQL Intergrate

Công cụ cho phép người quản trị tích hợp dữ liệu từ nhiều nguồn dữ liệu khác nhau: Text(có cấu trúc), Excel, Access, SQL, Oracle.

Trang 6

Cơ chế này cho phép chuyển đổi hầu hết các dữ liệu có dạng cấu trúc vào CSDL SQL

2005 Với khả năng linh hoạt cho phép lựa chọn những dữ liệu cần thiết, ngoài ra còn cho phép thông báo ra những dữ liệu không hợp lệ theo ý người dùng.(Cơ chế báo lỗi ngoài ý muốn)

Hỗ trợ khả năng tích hợp một cách linh hoạt, có thể sử dụng được các Query để phụ giúp cho quá trình tích hợp dữ liệu, có thể bổ sung dữ liệu mới mà có liên quan tới dữ liệu đã có trong CSDL(dữ liệu có tính tham chiếu)

1 Project bao gồm nhiều Cube khác nhau Cube bao gồm các độ đo và các chiều

Xây dựng Cube có thể sử dụng theo mô hình star schema và snowflake schema

c Measures, Attributes and Hierarchies (kỹ thuật của UDM)

- Measures: là thông tin chính cần phân tích

- Attributes: là các thông tin về chiều cần phân tích theo các hướng khác nhau

- Hiearchies: là khả năng Tổng quát hóa và Chi tiết hóa của DataMining

Hỗ trợ khả năng sử dụng các SQL để tạo ra các dữ liệu Tổng quát hơn

d Mining Structures

Trang 7

Mục đích tạo định hướng cho nguồn dữ liệu giúp tìm ra quy luật của dữ liệu, tách được dữ liệu ở mức cao hơn

Hỗ trợ các thuật toán DataMining giúp cho việc phân tích dữ liệu như: Microsoft Decition trees, Microsoft Clustering, Microsoft Linear Regression, Microsoft Logistic Regression, Microsoft Naive Bayes, Microsoft Neural Network, Microsoft Sequence Clustering, Microsoft Time Series.

e Roles, Assemblies, and Miscellaneous

Report hỗ trợ việc định dạng báo cáo: dữ liệu có thể được định dạng tùy theo ý muốn:

dữ liệu dạng số, ngày đặc biệt hỗ trợ rất nhiều dạng biểu đồ mang tính trực quan cho người xem báo cáo

 Basic Report: Tạo các báo cáo đơn giản như sử dụng các Query thông

thường trong SQL để đưa thông tin ra

 Group Report: Tạo ra các nhóm báo cáo giúp cho việc định dạng khuôn

dạng của 1 nhóm để đưa dữ liêu lên Server Trong đó bao gồm việc tạo các Mẫu báo cáo

3 Tìm hiểu bài toán Phát triển thuê bao

Trang 8

Bài toán Phát triển thuê bao điện thoại ở Hà Nội gắn liền với việc ngày càng có nhiều khách hàng làm Hợp đồng, đăng kí sử dụng các dịch vụ của Bưu điện Cơ sở dữ liệu bao gồm có 19bảng : DICHVU_VT, DOITUONG, DONVI, QUANHUYEN, DUONGPHO, MAPHO, PHUONGXA, HD_KHACHHANG, HD_THANHTOAN, HD_THUEBAO, KIEU_LD, KIEU_TT, LOAI_HD, LOAI_KH, LOAI_NV, LOAIHINH_TB, NGANHANG,

NHANVIEN, PHI_HOPDONG

4 Ứng dụng bài toán Phát triển thuê bao sử dụng SQL 2005

4.1 Lược đồ quan hệ kho dữ liệu

Trang 9

4.2 Sơ đồ tích hợp dữ liệu từ các File Excel vào Kho dữ liệu

4.2.1 Tích hợp từ các File Excel vào Bộ đệm

 Tích hợp dữ liệu từ nguồn Excel vào bảng QUANHUYEN

 Tạo kết nối tới nguồn exel

 Chuyển đổi kiểu dữ liệu sao cho đúng kiểu

 Chèn dữ liệu vào bộ đệm

 Tích hợp dữ liệu từ nguồn Excel vào bảng PHUONGXA

Trang 10

 Tạo kết nối tới nguồn Exel

 Chuyển đổi dữ liệu sao cho đúng kiểu

 Kiểm tra ràng buộc tham chiếu với bảng Quanhuyen

 Chèn dũ liệu vào bộ đệm

 Tích hợp dữ liệu từ nguồn Excel vào bảng DUONGPHO

Trang 11

 Tích hợp dữ liệu từ nguồn Excel vào bảng MAPHO

 Chuyển đổi kiểu dữ liệu cho đúng

 Kiểm tra ràng buộc tham chiếu với bảng PHUONGXA

 Kiểm tra ràng buộc tham chiếu với bảng DUONGPHO

 Tích hợp dữ liệu từ nguồn Excel vào bảng DICHVU_VIENTHONG

Trang 12

 Tích hợp dữ liệu từ nguồn Excel vào bảng DONVI

 Tạo kết nối tới ngùôn Exel

Trang 13

 Tích hợp dữ liệu từ nguồn Excel vào bảng LOAIHINH_TB

Trang 14

 Kiểm tra ràng buộc tham chiếu với bảng DICHVU_VIENTHONG

 Tích hợp dữ liệu từ nguồn Excel vào bảng PHI_HD

 Tạo kết nối tới nguồn Exel

 Tích hợp dữ liệu từ nguồn Excel vào bảng KIEU_LD

Trang 15

 Kiểm tra ràng buộc tham chiếu với bảng LOAI_HD

 Tích hợp dữ liệu từ nguồn Excel vào bảng KIEU_TT

Trang 16

 Tích hợp dữ liệu từ nguồn Excel vào bảng LOAI_HD

Trang 17

 Tích hợp dữ liệu từ nguồn Excel vào bảng DOITUONG

 Kiểm tra ràng buộc tham chiếu với bảng LOAI_KH

Trang 18

 Tích hợp dữ liệu từ nguồn Excel vào bảng NGANHANG

 Tích hợp dữ liệu từ nguồn Excel vào bảng LOAI_NHANVIEN

Trang 19

 Tích hợp dữ liệu từ nguồn Excel vào bảng NHANVIEN

 Kiểm tra ràng buộc tham chiếu với bảng LOAI_NV

 Kiểm tra ràng buộc tham chiếu với bảng DONVI

Trang 20

 Tích hợp dữ liệu từ nguồn Excel vào bảng LOAI_KH

 Chuyển đổi kiểu dữ liệu sao co đúng kiểu

 Tích hợp dữ liệu từ nguồn Excel vào bảng HOPDONG_TB

Trang 21

 Kiểm tra ràng buộc tham chiếu với bảng LOAIHINH_TB

 Kiểm tra ràng buộc tham chiếu với bảng KIEU_LD

 Kiểm tra ràng buộc tham chiếu với bảng KIEU_TT

 Kiểm tra ràng buộc tham chiếu với bảng DOITUONG

Trang 22

 Kiểm tra ràng buộc tham chiếu với bảng MAPHO

 Kiểm tra ràng buộc tham chiếu với bảng HOPDONG_TT

 Tích hợp dữ liệu từ nguồn Excel vào bảng HOPDONG_KH

 Kiểm tra ràng buộc tham chiếu với bảng NHANVIEN

 Tích hợp dữ liệu từ nguồn Excel vào bảng HOPDONG_TT

Trang 23

 Kiểm tra ràng buộc tham chiếu với bảng HOPDONG_KH

 Kiểm tra ràng buộc tham chiếu với bảng NGANHANG

Trang 24

4.2.2 Tích hợp từ bộ đệm vào Kho dữ liệu

 Tích hợp dữ liệu từ bộ đệm vào bảng QUANHUYEN

Trang 25

 Tạo kết nối tới nguồn bộ đệm

 Chèn dữ liệu vào kho

 Tích hợp dữ liệu từ bộ đệm vào bảng PHUONGXA

 Chèn dũ liệu vào kho

 Tích hợp dữ liệu từ bộ đệm vào bảng DUONGPHO

Trang 26

 Tích hợp dữ liệu từ bộ đệm vào bảng MAPHO

Trang 27

 Chuyển đổi kiểu dữ liệu cho đúng

 Tích hợp dữ liệu từ bộ đệm vào bảng DICHVU_VIENTHONG

 Tích hợp dữ liệu từ bộ đệm vào bảng DONVI

 Tạo kết nối tới ngùôn bộ đệm

Trang 28

 Tích hợp dữ liệu từ bộ đệm vào bảng LOAIHINH_TB

Trang 29

 Tích hợp dữ liệu từ bộ đệm vào bảng PHI_HD

 Tạo kết nối tới nguồn bộ đệm

Trang 30

 Tích hợp dữ liệu từ bộ đệm vào bảng KIEU_LD

 Tích hợp dữ liệu từ bộ đệm vào bảng KIEU_TT

Trang 31

 Tích hợp dữ liệu từ bộ đệm vào bảng LOAI_HD

Trang 32

 Tích hợp dữ liệu từ bộ đệm vào bảng DOITUONG

Trang 33

 Tích hợp dữ liệu từ bộ đệm vào bảng NGANHANG

 Tích hợp dữ liệu từ bộ đệm vào bảng LOAI_NHANVIEN

Trang 34

 Tích hợp dữ liệu từ bộ đệm vào bảng NHANVIEN

Trang 35

 Tích hợp dữ liệu từ bộ đệm vào bảng LOAI_KH

 Chuyển đổi kiểu dữ liệu sao co đúng kiểu

Trang 36

 Tích hợp dữ liệu từ bộ đệm vào bảng HOPDONG_TB

 Kiểm tra ràng buộc qua các công thức của bảng TIME

 Kiểm tra ràng buộc thời gian Cập Nhật

 Kiểm tra ràng buộc thời gian Thanh Toán

 Tích hợp dữ liệu từ bộ đệm vào bảng HOPDONG_KH

Trang 37

 Kiểm tra ràng buộc thời gian qua các công thức của bảng TIME

 Kiểm tra ràng buộc thời gian Ngày_CN

 Kiểm tra ràng buộc thời gian Ngày_Lap_HD

 Tích hợp dữ liệu từ bộ đệm vào bảng HOPDONG_TT

Tiêu đề	Lý Thuyết Về Kho Dữ Liệu Và Lý Thuyết Khai Phá Dữ Liệu
Trường học	Trường Đại Học Bưu Chính Viễn Thông
Chuyên ngành	Khoa Học Máy Tính
Thể loại	Đề Tài Nghiên Cứu
Năm xuất bản	2023
Thành phố	Hà Nội

Định dạng
Số trang	41
Dung lượng	1,93 MB