Tiểu luận môn CÔNG NGHỆ TRI THỨC VÀ ỨNG DỤNG CÂY QUYẾT ĐỊNH VÀ HỖ TRỢ RA QUYẾT ĐỊNH TÍN DỤNG NGÂN HÀNG

Nội dung của tiểu luận này gồm: Chương 1: Tổng quan về khám phá tri thức và khai phá dữ liệu Chương 2: Cây quyết định và khai phá dữ liệu Chương 3: Ứng dụng cây quyết định vào bài toán h

TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN



PHÒNG ĐÀO TẠO SAU ĐẠI HỌC

TIỂU LUẬN CÔNG NGHỆ TRI THỨC VÀ ỨNG DỤNG

CÂY QUYẾT ĐỊNH VÀ HỖ TRỢ RA QUYẾT ĐỊNH

TÍN DỤNG NGÂN HÀNG

Giảng viên hướng dẫn: GS TSKH HOÀNG VĂN KIẾM

Học viên thực hiện: NGUYỄN VĂN KIỆT

Mã số học viên: CH1301095

TP Hồ Chí Minh, tháng 10 năm 2014

Mục Lục

DANH MỤC HÌNH……… 1

DANH MỤC BẢNG……… 2

LỜI MỞ ĐẦU………3

Chương 1: TỔNG QUAN VỀ KHÁM PHÁ TRI THỨC VÀ KHAI PHÁ DỮ LIỆU 4

1.1 Khai phá dữ liệu là gì? 4

1.2 Quá trình khám phá tri thức……… 5

1.3 Quá trình khai phá dữ liệu………7

1.4 Chức năng của khai phá dữ liệu………9

1.5 Các kỹ thuật khai phá dữ liệu……… 9

1.6 Các dạng dữ liệu có thể khai phá được……… 13

1.7 Các lĩnh vực liên quan đến khai phá dữ liệu và ứng dụng của khai phá dữ liệu 14

1.8 Các thách thức và hướng phát triển của phát hiện tri thức và khai phá dữ liệu 15

Chương 2: CÂY QUYẾT ĐỊNH VÀ KHAI PHÁ DỮ LIỆU……… 17

2 1 Cây quyết định……… …… 17

2 2 Các thuật toán khai phá dữ liệu bằng cây quyết định……… … 20

Chương 3: ỨNG DỤNG CÂY QUYẾT ĐỊNH VÀO BÀI TOÁN HỖ TRỢ RA QUYẾT ĐỊNH TÍN DỤNG NGÂN HÀNG……… ……….36

3.1 Một số ứng dụng khai phá dữ liệu trong lĩnh vực ngân hàng…… ……… 36

3.2 Ứng dụng cây quyết định trong qui trình tín dụng……… ……… 37

3.3 Sử dụng cây quyết định để phân loại khách hàng………… ………39

Chương 4: CÀI ĐẶT, THỬ NGHIỆM VÀ ĐÁNH GIÁ……… ……… 42

4.1 Cài đặt……… ……… 42

4.2 Thử nghiệm và đánh giá……… ……… 44

Chương 5: KẾT LUẬN……… ……… 46

TÀI LIỆU THAM KHẢO……… ……….47

PHỤ LỤC: HƯỚNG DẪN SỬ DỤNG PROJECT……… ……… 48

DANH MỤC HÌNH

Hình 1.1: Quá trình khám phá tri thức 5

Hình 1.2: Quá trình khai phá dữ liệu 7

Hình 1.3: Việc phân cụm 11

Hình 2.1: Cây quyết định phân lớp mức lương 18

Hình 4.1: Cây quyết định cho bài toán 43

Hình 4.2: Các luật được rút ra từ cây quyết định 44

Hình 5.1: Hiển thị cây quyết định 48

Hình 5.2: Màn hình hiển thị dữ liệu quyết luyện 49

Hình 5.3: Màn hình hiển thị các luật 49

DANH MỤC BẢNG

Bảng 3.1: Bảng thuộc tính của tập dữ liệu huấn luyện 40Bảng 4.1: Thông tin khách hàng 45

LỜI MỞ ĐẦU

Tôi xin chân thành gửi lời cám ơn chân thành đến GS TSKH Hoàng Văn

Kiếm, người thầy hướng dẫn khoa học nghiêm túc và nhiệt tâm Thầy là người đã

truyền đạt cho tôi những kiến thức quý báu trong môn học “Công nghệ tri thức và

ứng dụng” Nhờ có những kiến thức của thầy mà tôi có thể có đủ kiến thức cùng

những công cụ cần thiết để thực hiện được bài tiểu luận của môn học này

Sau một thời gian học tập môn Công nghệ tri thức và ứng dụng, cùng với sựtìm hiểu từ các tài liệu từ các bài báo khoa học và các luận văn trên Internet Tôi

chọn nghiên cứu Cây quyết định và hỗ trợ ra quyết định tín dụng ngân hàng để làm

tiểu luận cho môn học này

Nội dung của tiểu luận này gồm:

Chương 1: Tổng quan về khám phá tri thức và khai phá dữ liệu

Chương 2: Cây quyết định và khai phá dữ liệu

Chương 3: Ứng dụng cây quyết định vào bài toán hỗ trợ ra quyết định tíndụng trong ngân hàng

Chương 4: Cài đặt, thử nghiệm và đánh giá

Chương 5: Kết luận

Do thời gian nghiên cứu có hạn và bản thân tôi cũng có một số hạn chế nênkhông tránh khỏi những thiếu sót trong báo cáo này Kính mong nhận được sự thôngcảm và góp ý của GS TSKH Hoàng Kiếm để hướng nghiên cứu của tôi sắp tới sẽhoàn thiện và đạt hiểu quả hơn Tôi xin chân thành cảm ơn!

Chương 1 TỔNG QUAN VỀ KHÁM PHÁ TRI THỨC VÀ KHAI

PHÁ DỮ LIỆU

Trong những năm gần đây, sự phát triển mạnh mẽ của CNTT và ngành côngnghiệp phần cứng đã làm cho khả năng thu thập và lưu trữ thông tin của các hệthống thông tin tăng nhanh một cách nhanh chóng Bên cạnh đó, việc tin học hoámột cách ồ ạt của các hoạt động sản xuất, kinh doanh cũng như nhiều lĩnh vực hoạtđộng khác đã tạo ra cho chúng ta một lượng dữ liệu (DL) lưu trữ khổng lồ Hàngtriệu CSDL đã được sử dụng trong các hoạt động sản xuất, kinh doanh, quản lí ,trong đó có nhiều CSDL cực lớn cỡ Gigabyte, thậm chí là Terabyte Sự bùng nổ này

đã dẫn tới một yêu cầu cấp thiết là cần có những kĩ thuật và công cụ mới để tự độngchuyển đổi lượng dữ liệu khổng lồ kia thành các tri thức có ích Từ đó, các kĩ thuậtkhai phá dữ liệu đã trở thành một lĩnh vực thời sự của nền CNTT thế giới hiện nay

1.1 Khai phá dữ liệu là gì?

Khai phá dữ liệu (Data Mining) là một khái niệm ra đời vào những năm cuốicủa thập kỷ 1980 Nó là quá trình trích xuất các thông tin có giá trị tiềm ẩn bên tronglượng lớn DL được lưu trữ trong các CSDL, kho dữ liệu Hiện nay, ngoài thuật ngữkhai phá dữ liệu, người ta còn dùng một số thuật ngữ khác có ý nghĩa tương tự như:khai phá tri thức từ CSDL, trích lọc DL, phân tích DL/ mẫu, khảo cổ DL, nạo vétDL

Nhiều người coi khai phá dữ liệu và một thuật ngữ thông dụng khác là pháthiện tri thức trong CSDL (Knowlegde Discovery in Databases - KDD) là như nhau.Tuy nhiên trên thực tế, khai phá dữ liệu chỉ là một bước thiết yếu trong quá trìnhphát hiện tri thức trong CSDL Có thể nói Data Mining là giai đoạn quan trọng nhất

trong tiến trình phát hiện tri thức từ CSDL, các tri thức này hỗ trợ trong việc raquyết định trong khoa học và kinh doanh.

1.2 Quá trình khám phá tri thức

Hình 1.1: Quá trình khám phá tri thức 1.2.1 Hình thành và định nghĩa bài toán

Đây là bước tìm hiểu lĩnh vực ứng dụng và hình thành bài toán Bước này sẽquyết định cho việc rút ra những tri thức hữu ích, đồng thời lựa chọn các phươngpháp khai phá dữ liệu thích hợp với mục đích của ứng dụng và bản chất của dữ liệu

1.2.2 Thu thập và tiền xử lý dữ liệu

Trong bước này dữ liệu được thu thập ở dạng thô (nguồn dữ liệu thu thập cóthể là từ các khi dữ liệu hay nguồn thông tin Internet) Trong giai đoạn này dữ liệucũng được tiền xử lí để biến đổi và cải thiện chất lượng dữ liệu cho phù hợp vớiphương pháp khai phá dữ liệu được chọn lựa trong bước trên Bước này thườngchiếm nhiều thời gian nhất trong quá trình khám phá tri thức

Các thuật giải tiền xử lí dữ liệu bao gồm:

1 Xử lí dữ liệu bị mất/ thiếu: Các dạng dữ liệu bị thiếu sẽ được thay thế bởi

các giá trị thích hợp;

2 Khử sự trùng lắp: Các đối tượng dữ liệu trùng lắp sẽ bị loại bỏ đi Kỹ thuật

này không được sử dụng cho các tác vụ có quan tâm đến phân bố dữ liệu

3 Giảm nhiễu: Nhiễu và các đối tượng tách rời khỏi phân bố chung sẽ bị loại

đi khỏi dữ liệu

4 Chuẩn hóa: Miền giá trị của dữ liệu sẽ được chuẩn hóa.

5 Rời rạc hóa: các dạng dữ liệu số sẽ được biến đổi ra các giá trị rời rạc.

6 Rút trích và xây dựng đặc trưng mới từ các thuộc tính đã có.

7 Giảm chiều: Các thuộc tính chứa ít thông tin sẽ được loại bỏ bớt.

1.2.3 Khai phá dữ liệu và rút ra các tri thức

Đây là bước quan trọng nhất trong tiến trình khám phá tri thức Kết quả củabước này là trích ra được các mẫu và/ hoặc các mô hình ẩn duwowisc các dữ liệu.Một mô hình có thể là một biểu diễn cấu trúc tổng thể một thành phần của hệ thốnghay cả hệ thống trong CSDL, hay miêu tả cách dữ liệu được nảy sinh Còn một mẫu

là cấu trúc cục bộ có liên quan đến vài biến và vài trường hợp trong CSDL

1.2.4 Phân tích và kiểm định kết quả

Bước này là hiểu các tri thức đã tìm được, đặc biệt là làm sáng tỏ các mô tả

và dự đoán Trong bước này, kết quả tìm được sẽ được biến đổi sang dạng phù hợpvới lĩnh vực ứng dụng và dễ hiểu hơn cho người dung

1.2.5 Sử dụng các tri thức phát hiện được

Trong bước này, các tri thức khám phá được sẽ được củng cố, kết hợp lạithành một hệ thống, đồng thời giải quyết các xung đột tiềm năng trong các tri thức

đó Các mô hình rút ra được đưa vào những hệ thống thông tin thực tế dưới dạng cácmoodun hỗ trợ việc đưa ra quyết định.

Các giai đoạn của quá trình khám phá tri thức có mối quan hệ chặt chẽ vớinhau trong bối cảnh chung của hệ thống Các kỹ thuật được sử dụng trong giai đoạntrước có thể ảnh hưởng đến hiệu quả của các giải thuật được sử dụng trong các giaiđoạn tiếp theo Các bước của quá trình khám phá tri thức có thể được lặp đi lặp lạimột số lần, kết quả thu được có thể được lấy trung bình trên tất cả các lần thực hiện

1.3 Quá trình khai phá dữ liệu

Khai phá dữ liệu là hoạt động trọng tâm của quá trình khám phá tri thức.Thuật ngữ khai phá dữ liệu còn được một số nhà khoa học gọi là phát hiện tri thứctrong CSDL (Knowledge Discovery in Database – KDD) (Theo Fayyad Smyth andPiatestky – Shapiro 1989) Quá trình này gồm 6 bước:

Hình 1.2: Quá trình khai phá dữ liệu

Quá trình khai phá dữ liệu bắt đầu với kho dữ liệu thô và kết thúc với tri thứcđược chiết xuất ra Nội dung của quá trình như sau:

1.3.1 Gom dữ liệu (Gatherin)

Tập hợp dữ liệu là bước đầu tiên trong khai phá dữ liệu Bước này lấy dữ liệu

từ trong một cơ sở dữ liệu, một kho dữ liệu, thậm chí dữ liệu từ những nguồn cungứng web

1.3.2 Trích lọc dữ liệu (Selection)

Ở giai đoạn này dữ liệu được lựa chọn và phân chia theo một số tiêu chuẩnnào đó

1.3.3 Làm sạch và tiền xử lý dữ liệu (Cleansing Preprocessing)

Giai đoạn thứ ba này là giai đoạn hay bị sao lãng, nhưng thực tế nó là mộtbước rất quan trọng trong quá trình khai phá dữ liệu Một số lỗi thường mắc phảitrong khi gom dữ liệu là dữ liệu không đầy đủ hoặc không thống nhất, thiếu chặtchẽ Vì vậy dữ liệu thường chứa các giá trị vô nghĩa và không có khả năng kết nối

dữ liệu Ví dụ Sinh viên có tuổi=200 Giai đoạn thứ ba này nhằm xử lý các dữ liệunhư trên(dữ liệu vô nghĩa, dữ liệu không có khả năng kết nối) Những dữ liệu dạngnày thường được xem là thông tin dư thừa, không có giá trị Bởi vậy đây là một quátrình rất quan trọng Nếu dữ liệu không được làm sạch- tiền xử lý - chuẩn bị trướcthì sẽ gây nên những kết quả sai lệch nghiêm trọng về sau

1.3.4 Chuyển đổi dữ liệu (Transformation)

Trong giai đoạn này, dữ liệu có thể được tổ chức và sử dụng lại Mục đíchcủa việc chuyển đổi dữ liệu là làm cho dữ liệu phù hợp hơn với mục đích khaiphá dữ liệu

1.3.5 Phát hiện và trích mẫu dữ liệu (Pattern Extraction and Discovery)

Đây là bước tư duy trong khai phá dữ liệu Ở trong giai đoạn này nhiều thuậttoán khác nhau đã được sử dụng để trích ra các mẫu từ dữ liệu Thuật toán thườngdùng để trích mẫu dữ liệu là thuật toán phân loại dữ liệu, kết hợp dữ liệu, thuật toán

mô hình hoá dữ liệu tuần tự

1.3.6 Đánh giá kết quả mẫu (Evaluation of Result)

Đây là giai đoạn cuối cùng trong quá trình khai phá dữ liệu, ở giai đoạn nàycác mẫu dữ liệu được chiết xuất ra bởi phần mềm khai phá dữ liệu Không phải mẫu

dữ liệu nào cũng hữu ích, đôi khi nó còn bị sai lệch Vì vậy cần phải đưa ra nhữngtiêu chuẩn đánh giá độ ưu tiên cho các mẫu dữ liệu để rút ra được những tri thức cầnthiết

1.4 Chức năng của khai phá dữ liệu

Khai phá dữ liệu có hai chức năng cơ bản đó là: chức năng dự đoán và chứcnăng mô tả

1.5 Các kỹ thuật khai phá dữ liệu

Trong thực tế có nhiều kỹ thuật khai phá dữ liệu khác nhau nhằm thực hiện haichức năng mô tả và dự đoán

 Kỹ thuật khai phá dữ liệu mô tả: có nhiệm vụ mô tả các tính chất hoặc các

đặc tính chung của dữ liệu trong CSDL hiện có Một số kỹ thuật khai phá trongnhóm này là: phân cụm dữ liệu (Clustering), tổng hợp (Summarisation), trực quanhoá (Visualization), phân tích sự phát triển và độ lệch (Evolution and deviationanalyst),…

 Kỹ thuật khai phá dữ liệu dự đoán: có nhiệm vụ đưa ra các dự đoán dựa vào

các suy diễn trên cơ sở dữ liệu hiện thời Một số kỹ thuật khai phá trong nhóm nàylà: phân lớp (Classification), hồi quy (Regression), cây quyết định (Decision tree),thống kê (statictics), mạng nơron (neural network), luật kết hợp,…

Một số kỹ thuật phổ biến thường được sử dụng để khai phá dữ liệu hiện naylà:

1.5.1 Phân lớp (phân loại) dữ liệu

Mục tiêu của phân lớp dữ liệu đó là dự đoán nhãn lớp cho các mẫu dữ liệu.Quá trình gồm hai bước: xây dựng mô hình, sử dụng mô hình để phân lớp dữ liệu(mỗi mẫu 1 lớp) Mô hình được sử dụng để dự đoán nhãn lớp khi mà độ chính xáccủa mô hình chấp nhận được

Có thể sử dụng sự phân loại để xây dựng một ý tưởng về kiểu khách hàng,kiểu mặt hàng hoặc kiểu đối tượng bằng cách mô tả nhiều thuộc tính để nhận biếtmột lớp cụ thể

Ví dụ, ta có thể dễ dàng phân loại các xe ô tô thành các kiểu xe khác nhau (xemui kín, 4x4, xe có thể bỏ mui) bằng cách xác định các thuộc tính khác nhau (số chỗngồi, hình dạng xe, các bánh xe điều khiển) Với một chiếc xe mới, ta có thể đặt nóvào một lớp cụ thể bằng cách so sánh các thuộc tính với định nghĩa đã biết Ta cóthể áp dụng các nguyên tắc tương tự ấy cho các khách hàng, ví dụ bằng cách phânloại khách hàng theo độ tuổi và nhóm xã hội

Hơn nữa, ta có thể sử dụng việc phân loại như một nguồn cấp, hoặc như làkết quả của các kỹ thuật khác

Ví dụ, có thể sử dụng các cây quyết định để xác định một cách phân loại.Việc phân cụm sẽ cho phép sử dụng các thuộc tính chung theo các cách phân loạikhác nhau để nhận biết các cụm

1.5.2 Phân cụm dữ liệu

Mục tiêu của phân cụm dữ liệu là nhóm các đối tượng tương tự nhau trong tập

dữ liệu vào các cụm, sao cho các đối tượng thuộc cùng một lớp là tương đồng

Bằng cách xem xét một hay nhiều thuộc tính hoặc các lớp, ta có thể nhóm các phần

dữ liệu riêng lẻ với nhau để tạo thành một quan điểm cấu trúc Ở mức đơn giản, việcphân cụm đang sử dụng một hoặc nhiều thuộc tính làm cơ sở để nhận ra một nhómcác kết quả tương quan Việc phân cụm giúp nhận biết các thông tin khác nhau vì nótương quan với các ví dụ khác, nên có thể thấy ở đâu có những điểm tương đồng vàcác phạm vi phù hợp

Việc phân cụm có thể làm theo hai cách:

 Có thể giả sử rằng có một cụm ở một điểm nhất định và sau đó sử dụng cáctiêu chí nhận dạng để xem liệu có đúng không Đồ thị trong Hình 1.3 là một ví dụhay Trong ví dụ này, một ví dụ mẫu về dữ liệu kinh doanh so sánh tuổi của kháchhàng với quy mô bán hàng Thật hợp lý khi thấy rằng những người ở độ tuổi haimươi (trước khi kết hôn và còn nhỏ), ở độ tuổi năm mươi và sáu mươi (khi khôngcòn con cái ở nhà), có nhiều tiền tiêu hơn

Hình 1.3: Việc phân cụm

Trong ví dụ này, chúng ta có thể nhận ra hai cụm, một cụm xung quanh nhóm2.000 Đô la Mỹ/ 20-30 tuổi và một cụm ở nhóm 7.000-8.000 Đô la Mỹ/ 50-65 tuổi.Trong trường hợp này, ta đã giả thuyết hai cụm và đã chứng minh giả thuyết bằng

một đồ thị đơn giản mà ta có thể tạo ra bằng cách sử dụng bất kỳ phần mềm đồ họathích hợp nào để có được cái nhìn nhanh chóng Các quyết định phức tạp hơn cầnphải có một gói phần mềm phân tích đầy đủ, đặc biệt là nếu muốn các quyết định tự

động dựa vào thông tin lân cận gần nhất.

Việc vẽ đồ thị phân cụm theo cách này là một ví dụ đơn giản về cái gọi là nhận

ra sự lân cận gần nhất Ta có thể nhận ra các khách hàng riêng lẻ bằng sự gần gũi

theo nghĩa đen của họ với nhau trên đồ thị Có nhiều khả năng là các khách hàngtrong cùng một cụm cũng dùng chung các thuộc tính khác và ta có thể sử dụng sựmong đợi đó để giúp hướng dẫn, phân loại và nếu không thì phân tích những ngườikhác trong tập hợp dữ liệu của mình

 Cũng có thể áp dụng việc phân cụm theo quan điểm ngược lại; dựa vàomột số thuộc tính đầu vào, ta có thể nhận ra các tạo phẩm khác nhau Ví dụ, mộtnghiên cứu gần đây về các số PIN 4-chữ số đã tìm ra các cụm giữa các chữ số trongphạm vi 1-12 và 1-31 cho các cặp đầu tiên và thứ hai Bằng cách vẽ các cặp này, ta

có thể nhận ra và xác định các cụm liên quan đến ngày tháng (các ngày sinh nhật,các ngày kỷ niệm)

1.5.3 Khai phá luật kết hợp

Mục tiêu của phương pháp này là phát hiện và đưa ra các mối liên hệ giữa cácgiá trị dữ liệu trong cơ sở dữ liệu Đầu ra của giải thuật luật kết hợp là tập luật kếthợp tìm được Phương pháp khai phá luật kết hợp gồm có hai bước:

Bước 1: Tìm ra tất cả các tập mục phổ biến Một tập mục phổ biến được xácđịnh thông qua tính độ hỗ trợ và thoả mãn độ hỗ trợ cực tiểu

Bước 2: Sinh ra các luật kết hợp mạnh từ tập mục phổ biến, các luật phải thoảmãn độ hỗ trợ và độ tin cậy cực tiểu

1.5.4 Hồi quy

Phương pháp hồi quy tương tự như là phân lớp dữ liệu Nhưng khác ở chỗ nódùng để dự đoán các giá trị liên tục còn phân lớp dữ liệu dùng để dự đoán các giá trịrời rạc.

1.5.5 Giải thuật di truyền

Là quá trình mô phỏng theo tiến hoá của tự nhiên Ý tưởng chính của giảithuật là dựa vào quy luật di truyền trong biến đổi, chọn lọc tự nhiên và tiến hoátrong sinh học

1.5.6 Mạng nơron

Đây là một trong những kỹ thuật khai phá dữ liệu được ứng dụng phổ biếnhiện nay Kỹ thuật này phát triển dựa trên một nền tảng toán học vững vàng, khả nănghuấn luyện trong kỹ thuật này dựa trên mô hình thần kinh trung ương của con người

Kết quả mà mạng nơron học được có khả năng tạo ra các mô hình dự báo, dựđoán với độ chính xác và độ tin cậy cao Nó có khả năng phát hiện ra được các xuhướng phức tạp mà kỹ thuật thông thường khác khó có thể phát hiện ra được Tuynhiên phương pháp mạng nơron rất phức tạp và quá trình tiến hành nó gặp rất nhiềukhó khăn: đòi hỏi mất nhiều thời gian, nhiều dữ liệu, nhiều lần kiểm tra thử nghiệm

1.5.7 Cây quyết định

Kỹ thuật cây quyết định là một công cụ mạnh và hiệu quả trong việc phân lớp

và dự báo Các đối tượng dữ liệu được phân thành các lớp Các giá trị của đối tượng

dữ liệu chưa biết sẽ được dự đoán, dự báo Tri thức được rút ra trong kỹ thuật nàythường được mô tả dưới dạng tường minh, đơn giản, trực quan, dễ hiểu đối vớingười sử dụng

1.6 Các dạng dữ liệu có thể khai phá được

 CSDL không gian và thời gian

 CSDL đa phương tiện

1.7 Các lĩnh vực liên quan đến khai phá dữ liệu và ứng dụng của khai

phá dữ liệu

1.7.1 Các lĩnh vực liên quan đến phát hiện tri thức và khai phá dữ liệu

Phát hiện tri thức và khai phá dữ liệu được ứng dụng trong nhiều ngành vàlĩnh vực khác nhau như: tài chính ngân hàng, thương mại, y tế, giáo dục, thống kê,máy học, trí tuệ nhân tạo, csdl, thuật toán toán học, tính toán song song với tốc độcao, thu thập cơ sở tri thức cho hệ chuyên gia,…

1.7.2 Ứng dụng của khai phá dữ liệu

Khai phá dữ liệu được vận dụng để giải quyết các vấn đề thuộc nhiều lĩnhvực khác nhau Chẳng hạn như giải quyết các bài toán phức tạp trong các ngành đòihỏi kỹ thuật cao, như tìm kiếm mỏ dầu, từ ảnh viễn thám, cảnh báo hỏng hóc trongcác hệ thống sản xuất; Được ứng dụng cho việc quy hoạch và phát triển các hệ thốngquản lý và sản xuất trong thực tế như dự đoán tải sử dụng điện, mức độ tiêu thụ sảnphẩm, phân nhóm khách hàng; Áp dụng cho các vấn đề xã hội như phát hiện tộiphạm, tăng cường an ninh…

Một số ứng dụng cụ thể như sau :

 Khai phá dữ liệu được sử dụng để phân tích dữ liệu, hỗ trợ ra quyết định

 Trong sinh học: nó dùng để tìm kiếm , so sánh các hệ gen và thông tin dichuyền, tìm mối liên hệ giữa các hệ gen và chuẩn đoán một số bệnh dichuyền

 Trong y học: khai phá dữ liệu giúp tìm ra mối liên hệ giữa các triệu chứng,chuẩn đoán bệnh

 Tài chính và thị trường chứng khoán: Khai phá dữ liệu để phân tích tình hìnhtài chính, phân tích đầu tư, phân tích cổ phiếu

 Khai thác dữ liệu web.

 Trong thông tin kỹ thuật: khai phá dữ liệu dùng để phân tích các sai hỏng,điều khiển và lập lịch trình…

 Trong thông tin thương mại: dùng để phân tích dữ liệu người dùng, phân tích

dữ liệu marketing, phân tích đầu tư, phát hiện các gian lận

1.8 Các thách thức và hướng phát triển của phát hiện tri thức và khai

 Dữ liệu bị thiếu hoặc bị nhiễu

 Quan hệ giữa các trường phức tạp

 Vấn đề giao tiếp với người sử dụng và kết hợp với các tri thức đã có

 Tích hợp với các hệ thống khác

Hướng phát triển của khám phá tri thức và khai phá dữ liệu là vượt qua đượctất cả những thách thức trên Chú trọng vào việc mở rộng ứng dụng để đáp ứng chomọi lĩnh vực trong đời sống xã hội, và tăng tính hữu ích của việc khai phá dữ liệutrong những lĩnh vực đã có khai phá dữ liệu Tạo ra các phương pháp khai phá dữliệu linh động, uyển chuyển để xử lý số lượng dữ liệu lớn một cách hiệu quả Tạo ratương tác người sử dụng tốt, giúp người sử dụng tham gia điều khiển quá trình khaiphá dữ liệu, định hướng hệ thống khai phá dữ liệu trong việc phát hiện các mẫu đángquan tâm Tích hợp khai phá dữ liệu vào trong các hệ cơ sở dữ liệu Ứng dụng khaiphá dữ liệu để khai phá dữ liệu web trực tuyến Một vấn đề quan trọng trong việcphát triển khám phá tri thức và khai phá dữ liệu đó là vấn đề an toàn và bảo mậtthông tin trong khai phá dữ liệu

Chương 2 CÂY QUYẾT ĐỊNH VÀ KHAI PHÁ DỮ LIỆU

2 1 Cây quyết định

2.1.1 Giới thiệu chung

Cây quyết định (decision tree) là một phương pháp rất mạnh và phổ biến cho

cả hai nhiệm vụ của khai phá dữ liệu là phân loại và dự báo Mặt khác, cây quyếtđịnh còn có thể chuyển sang dạng biểu diễn tương đương dưới dạng tri thức là cácluật If-Then

Cây quyết định là cấu trúc biểu diễn dưới dạng cây Trong đó, mỗi nút trong(internal node) biễu diễn một thuộc tính, nhánh (branch) biễu diễn giá trị có thể cócủa thuộc tính, mỗi lá (leaf node) biểu diễn các lớp quyết định và đỉnh trên cùng củacây gọi là gốc (root) Cây quyết định có thể được dùng để phân lớp bằng cách xuấtphát từ gốc của cây và di chuyển theo các nhánh cho đến khi gặp nút lá Trên cơ sởphân lớp này chúng ta có thể chuyển đổi về các luật quyết định

Cây quyết định được sử dụng để xây dựng một kế hoạch nhằm đạt được mụctiêu mong muốn Các cây quyết định được dùng để hỗ trợ quá trình ra quyết định.Cây quyết định là một dạng đặc biệt của cấu trúc cây

Tạo cây quyết định chính là quá trình phân tích cơ sở dữ liệu, phân lớp và đưa

ra dự đoán Cây quyết định được tạo thành bằng cách lần lượt chia (đệ quy) một tập

dữ liệu thành các tập dữ liệu con, mỗi tập con được tạo thành chủ yếu từ các phần tửcủa cùng một lớp Lựa chọn thuộc tính để tạo nhánh thông qua Entropy và Gain.Học bằng cây quyết định cũng là một phương pháp thông dụng trong khai phá

dữ liệu Khi đó, cây quyết định mô tả một cấu trúc cây, trong đó, các lá đại diện chocác phân loại còn cành đại diện cho các kết hợp của các thuộc tính dẫn tới phân loại

đó Một cây quyết định có thể được học bằng cách chia tập hợp nguồn thành các tậpcon dựa theo một kiểm tra giá trị thuộc tính Quá trình này được lặp lại một cách đệqui cho mỗi tập con dẫn xuất Quá trình đệ qui hoàn thành khi không thể tiếp tục

thực hiện việc chia tách được nữa, hay khi một phân loại đơn có thể áp dụng chotừng phần tử của tập con dẫn xuất

Cây quyết định có thể được mô tả như là sự kết hợp của các kỹ thuật toán học

và tính toán nhằm hỗ trợ việc mô tả, phân loại và tổng quát hóa một tập dữ liệu chotrước

Dữ liệu được cho dưới dạng các bản ghi có dạng: (x,y) = (x1, x2, x3, …,xk, y).Biến phụ thuộc (dependant variable) y là biến mà chúng ta cần tìm hiểu, phân loạihay tổng quát hóa x1, x2, x3, … là các biến sẽ giúp ta thực hiện công việc đó

Ví dụ: Cây quyết định phân lớp mức lương

Hình 2.1: Cây quyết định phân lớp mức lương

2.1.2 Ưu điểm của cây quyết định

So với các phương pháp khai phá dữ liệu khác, cây quyết định có một số ưuđiểm sau:

 Cây quyết định tương đối dể hiểu

 Đòi hỏi mức tiền xử lý dữ liệu đơn giản

 Có thể xử lý với cả các dữ liệu rời rạc và liên tục

 Cây quyết định là một mô hình hộp trắng

 Kết quả dự đoán bằng cây quyết định có thể thẩm định lại bằng cách kiểmtra thống kê

2.1.3 Các kiểu cây quyết định

Cây quyết định còn có hai tên khác:

 Cây h i quy (Regression tree) ồi quy (Regression tree) : ước lượng các hàm giá có giá trị là số thựcthay vì được sử dụng cho các nhiệm vụ phân loại (ví dụ: ước tính giá một ngôi nhàhoặc khoảng thời gian một bệnh nhân nằm viện)

 Cây phân lo i (Classification tree) ại (Classification tree) : nếu y là một biến phân loại như: giớitính (nam hay nữ), kết quả của một trận đấu (thắng hay thua)

2.1.4 Vấn đề xây dựng cây quyết định

Có nhiều thuật toán khác nhau để xây dựng cây quyết định như: CLS, ID3,C4.5, SLIQ, SPRINT, EC4.5, C5.0…Nhưng nói chung quá trình xây dựng cây quyếtđịnh đều được chia ra làm 3 giai đoạn cơ bản:

a Xây dựng cây: Thực hiện chia một cách đệ quy tập mẫu dữ liệu huấn luyện

cho đến khi các mẫu ở mối nút lá thuộc cùng một lớp

b Cắt tỉa cây: Là việc làm dùng để tối ưu hoá cây Cắt tỉa cây chính là việc

trộn một cây con vào trong một nút lá

c Đánh giá cây: Dùng để đánh giá độ chính xác của cây kết quả Tiêu chí

đánh giá là tổng số mẫu được phân lớp chính xác trên tổng số mẫu đưa vào

2.1.5 Rút ra các luật từ cây quyết định

Có thể chuyển đổi qua lại giữa mô hình cây quyết định và mô hình dạng luật(IF …THEN…) Hai mô hình này là tương đương nhau

Ví dụ từ cây ở Hình 2.1, ta có thể rút ra được các luật sau:

IF (Age <= 35) AND (salary<=40) THEN class = bad

IF (Age<=35) AND (salary>40) THEN class = good

IF (Age>35) AND (salary <=50 ) THEN class = bad

IF (Age > 35) AND(salary>50) THEN class = good

2 2. Các thuật toán khai phá dữ liệu bằng cây quyết định

2.2.1 Thuật toán CLS

Thuật toán này được Hovland và Hint giới thiệu trong Concept learningSystem (CLS) vào những năm 50 của thế kỷ 20 Sau đó gọi tắt là thuật toán CLS.Thuật toán CLS được thiết kế theo chiến lược chia để trị từ trên xuống Nó gồm cácbước sau:

1 Tạo một nút T, nút này gồm tất cả các mẫu của tập huấn luyện

2 Nếu tất cả các mẫu trong T có thuộc tính quyết định mang giá trị "yes" (haythuộc cùng một lớp), thì gán nhãn cho nút T là "yes" và dừng lại T lúc này là nút lá

3 Nếu tất cả các mẫu trong T có thuộc tính quyết định mang giá trị "no" (haythuộc cùng một lớp), thì gán nhãn cho nút T là "no" và dừng lại T lúc này là nút lá

4 Trường hợp ngược lại các mẫu của tập huấn luyện thuộc cả hai lớp

"yes" và "no" thì:

 Chọn một thuộc tính X trong tập thuộc tính của tập mẫu dữ liệu, X cócác giá trị v1,v2, …vn

 Chia tập mẫu trong T thành các tập con T1, T2,….,Tn theo giá trị của X

 Tạo n nút con Ti (i=1,2…n) với nút cha là nút T

 Tạo các nhánh nối từ nút T đến các nút Ti (i=1,2…n) là các thuộc tínhcủa X

5 Thực hiện lặp cho các nút con Ti(i =1,2 n) và quay lại bước 2

Ta nhận thấy trong bước 4 của thuật toán, thuộc tính được chọn để triển khaicây là tuỳ ý Do vậy cùng với một tập mẫu dữ liệu huấn luyện nếu áp dụng thuậttoán CLS với thứ tự chọn thuộc tính triển khai cây khác nhau, sẽ cho ra các cây cóhình dạng khác nhau Việc lựa chọn thuộc tính sẽ ảnh hưởng tới độ rộng, độ sâu, độphức tạp của cây Vì vậy một câu hỏi đặt ra là thứ tự thuộc tính nào được chọn đểtriển khai cây sẽ là tốt nhất Vấn đề này sẽ được giải quyết trong thuật toán ID3 dướiđây

2.2.2 Thuật toán ID3

Thuật toán ID3 được phát biểu bởi Quinlan (trường đại học Syney, Australia)

và được công bố vào cuối thập niên 70 của thế kỷ 20 Sau đó, thuật toán ID3 đượcgiới thiệu và trình bày trong mục Induction on decision trees, machine learning năm

1986 ID3 được xem như là một cải tiến của CLS với khả năng lựa chọn thuộc tínhtốt nhất để tiếp tục triển khai cây tại mỗi bước ID3 xây dựng cây quyết định từ trên-xuống (top -down)

Entropy: dùng để đo tính thuần nhất của một tập dữ liệu Entropy của một tập

S được tính theo công thức: Entropy(S)= - P log (+ 2 P) P log (- 2 P)



Trong trường hợp các mẫu dữ liệu có hai thuộc tính phân lớp "yes" (+), "no"(-) Ký hiệu p+ là để chỉ tỷ lệ các mẫu có giá trị của thuộc tính quyết định là "yes", và

p- là tỷ lệ các mẫu có giá trị của thuộc tính quyết định là "no" trong tập S

Trường hợp tổng quát, đối với tập con S có n phân lớp thì ta có công thức sau:

n

i 2 i=1

 Nếu trong tập S có số mẫu phân bổ đều nhau vào các lớp thì Entropy(S)=1

 Các trường hợp còn lại 0 < Entropy(S) <1

Information Gain (viết tắt là Gain): Gain là đại lượng dùng để đo tính hiệu

quả của một thuộc tính được lựa chọn cho việc phân lớp Đại lượng này được tínhthông qua hai giá trị Information và Entropy

 Cho tập dữ liệu S gồm có n thuộc tính Ai (i=1,2…n) giá trị Information củathuộc tính Ai ký hiệu là Information(Ai) được xác định bởi công thức

n

i=1

Information(A ) = -log ( ) Entropy(S)p  i

Giá trị Gain của thuộc tính A trong tập S ký hiệu là Gain(S,A) và được tínhtheo công thức sau:

v

v

v value(A)

S( , ) Information(A) - Entropy(A)= Entropy(S)- Entropy(S )

Trong quá trình xây dựng cây quyết định theo thuật toán ID3 tại mỗi bước triển

khai cây, thuộc tính được chọn để triển khai là thuộc tính có giá trị Gain lớn nhất.

Hàm xây dựng cây quyết định trong thuật toán ID3

Function induce_tree(tập_ví_dụ, tập_thuộc_tính)

return nút lá được gán nhãn bởi tuyển của tất cả các lớp trong

tập_ví_dụ

else begin

chọn một thuộc tính P, lấy nó làm gốc cho cây hiện tại;

xóa P ra khỏi tập_thuộc_tính;

với mỗi giá trị V của P

begin

tạo một nhánh của cây gán nhãn V;

Đặt vào phân_vùngV các ví dụ trong tập_ví_dụ có giá trị V

tại thuộc tính P;

Gọi induce_tree(phân_vùngV, tập_thuộc_tính), gắn kết quả

vào nhánh V

end end end

Với việc tính toán giá trị Gain để lựa chọn thuộc tính tối ưu cho việc triển khaicây, thuật toán ID3 được xem là một cải tiến của thuật toán CLS Tuy nhiên thuậttoán ID3 không có khả năng xử lý đối với những dữ liệu có chứa thuộc tính số -

thuộc tính liên tục (numeric attribute) và khó khăn trong việc xử lý các dữ liệu thiếu (missing data)và dữ liệu nhiễu (noisy data) Vấn đề này sẽ được giải quyết trong

thuật toán C4.5 sau đây