Tiểu luận môn Toán cho máy tính TÌM HIỂU VỀ LÝ THUYẾT TẬP THÔ VÀ TẠO CÂY QUYẾT ĐỊNH

Lý thuyết tập thô được phát triển trên một nền tảng toán học vững chắc, cung cấp các công cụ hữu ích để giải quyết các bài toán phân tích dữ liệu, phát hiện luật, nhận dạng… Đặc biệt thí

PHÒNG ĐT SĐH-KHCN&QHĐN

TOÁN CHO MÁY TÍNH

Tên đề tài:

TÌM HIỂU VỀ LÝ THUYẾT TẬP THÔ VÀ TẠO CÂY QUYẾT ĐỊNH

GVHD: PGS.TS Dương Tôn Đảm

Học viên thực hiện:

Trần Cảnh Khánh - CH1301093

TPHCM – 11/2014

Giới thiệu 1

CHƯƠNG I LÝ THUYẾT TẬP THÔ 2

1.1 Hệ thông tin 2

1.2 Hệ quyết định 4

1.3 Quan hệ bất khả phân biệt (indiscernibility) 5

1.4 Các quan sát 7

1.5 Xấp xỉ tập hợp 7

1.5.1 Các khái niệm xấp xỉ trong tập thô 9

1.5.2 Tập thuộc tính rút gọn và tập thuộc tính lõi 12

1.5.3 Ma trận phân biệt 13

CHƯƠNG 2 THUẬT TOÁN CSD 15

CHƯƠNG 3 THUẬT TOÁN DTCRSCR 17

CHƯƠNG 4 CÀI ĐẶT VÀ THỬ NGHIỆM 19

4.1 Cài đặt tập thô 19

4.2 Cài đặt thuật toán Quick Reduct 25

4.3 Cài đặt thuật toán CSD 27

4.4 Cài đặt thuật toán DTCRSCR 30

4.5 Chương trình minh họa các thuật toán tạo cây quyết định 32

Tài liệu tham khảo 36

Trong bài báo cáo này tác giả trình bày thuật toán sinh cây quyết định bằng thuật toán CSD và DTCRSCR dựa trên lý thuyết tập thô

CHƯƠNG I LÝ THUYẾT TẬP THÔ

Lý thuyết tập thô (Rough Set Theory) do Zdzisaw Pawlak (1926-2006) đề xuất vào năm 1982 đã được ứng dụng ngày càng rộng rãi trong lĩnh vực khoa học máy tính

Lý thuyết tập thô được phát triển trên một nền tảng toán học vững chắc, cung cấp các công cụ hữu ích để giải quyết các bài toán phân tích dữ liệu, phát hiện luật, nhận dạng… Đặc biệt thích hợp với các bài toán phân tích trên khối lượng dữ liệu lớn, chứa đựng thông tin mơ hồ, không chắc chắn Mục đích chính của phân tích dữ liệu dựa trên lý thuyết tập thô nhằm đưa ra các xấp xỉ để biểu diễn các đối tượng không thể được phân lớp một cách chắc chắn bằng tri thức có sẵn Theo quan điểm của lý thuyết tập thô, mọi tập thô đều liên kết với 2 tập “rõ” là xấp xỉ dưới và xấp xỉ trên của nó Xấp xỉ dưới bao gồm các đối tượng chắc chắn thuộc, còn xấp xỉ trên chứa tất cả các đối tượng có khả năng thuộc về tập đó Các tập xấp xỉ là cơ sở để rút ra các kết luận (tri thức) từ cơ sở dữ liệu

Các khái niệm cơ bản của tập thô

 Hệ (bảng) quyết định/thông tin

 Quan hệ bất khả phân biệt(indiscernibility)

 Xấp xỉ tập hợp (set approximation)

 Rút gọn và lõi (reducts and core)

 Thành viên thô (rough membership)

 Phụthuộc thuộc tính

1.1 Hệ thông tin

Trong hầu hết các hệ quản trị cơ sở dữ liệu thông thường thì thông tin thường được biểu diễn dưới dạng các bảng, trong dó mỗi hàng biểu diễn thông tin về một đối tượng, mỗi cột biểu diễn thông tin về một thuộc tính của đối tượng Từ đầu những năm

80 Pawlak đã định nghĩa một khái niệm mới là hệ thông tin (infomation system) như

sau:

Hệ thông tin là một cặp S = (U, A) trong đó U là tập hữu hạn không rỗng các đối tượng, hay gọi là tập vũ trụ A là tập hữu hạn không rỗng các thuộc tính sao cho a : U ->Va với mọi a ∈ A Tập Va được gọi là tập giá trị của thuộc tính a

IS là cặp (U, A)

 „ U là tập khác rỗng các đối tượng

 „ A là tập hữu hạn các thuộc tính sao cho với mọi a ∈ A:

a : U ->Va

 Va được gọi là tập trị của a

Ví dụ 1.1: Bảng dưới đây biểu diễn về một hệ thống thông tin của 5 đối tượng

U={U1,U2,U3,U4,U5,U6,U7,U8,U9,U10,U11,U12,U13,U14}

với tập thuộc tính

A ={Outlook, Temp, Humidity, Wind}

Và miền giá trị cho từng thuộc tính là:

o IOutlook ={sunny, overcast, rain}

o ITemp = {hot, mild, cold}

o IHumidity = {normal, high }

o IWind = {weak, strong}

d  A là thuộc tính quyết định (có thể có nhiều thuộc tính quyết định)

Các phần tử của A được gọi là thuộc tính điều kiện

Ví dụ 1.2: Mô tả một bảng quyết định, với các thuộc tính điều kiện lấy ở Bảng 1 và

thêm và thuộc tính quyết định “PlayTennis”

Trong đó:

- U={U1,U2,U3,U4,U5,U6,U7,U8,U9,U10,U11,U12,U13,U14}

- A ={Outlook, Temp, Humidity, Wind}

Trong bài toán phân lớp thì thuộc tính quyết định chính là lớp của đối tượng cần xếp lớp Trong ví dụ này thuộc tính quyết định PlayTennis có 2 giá trị là Yes và

No

1.3 Quan hệ bất khả phân biệt (indiscernibility)

 Quan hệ tương đương

 Quan hệ nhị phân RX xX sao cho:

- phản xạ (xRx với mọi x)

- đối xứng ( nếu xRy thì ỹ)

- Bắc cầu (nếu xRy và y thì xRz)

 Lớp tương đương của phần tử [x]R :xX chứa tất cả đối tượng yX sao cho xRy

 Định nghĩa một quan hệ tương đương trên hệ thông tin Cho một hệ thông tin IS = (U;A), với tập thuộc tính B⊆A có quan hệ tương

đương tương ứng IND IS(B) = {(x,x’) ∈ U 2 |∀a ∈ B: a(x) = a(x’)}

INDIS(B) được gọi là quan hệ bất khả phân biệt theo B, nếu (x,x’) ∈INDIS(B) thì x và x’ là không thể phân biệt nhau qua tập thuộc tính B Các lớp tương đương

của quan hệ bất khả phân biệt theo B được kí hiệu là [x]B

Ví dụ 1.2: Bảng hệ thông tin với PlayTennis là thuộc tính quyết định:

Ta phân hoạch U như sau: Các tập con khác rỗng của thuộc tính điều kiện là:{Outlook}, {Temp}, {Humidity}, {Wind}, {Outlook, Temp}, {Outlook,

Humidity}, {Outlook, Wind},{Temp, Humidity}, {Temp, Wind},{Humidity, Wind}, {Outlook, Temp, Humidity}, {Outlook, Temp, Wind}, {Outlook, Humidity, Wind}, {Temp, Humidity, Wind}, {Outlook, Temp, Humidity, Wind}

- IND({Outlook})={{U1, U2, U8, U9, U11},{U2,U7, U12, U13}, {U4, U5, U6, U10, U14}}

- IND=({ Temp })={{U1, U2, U3, U13}, {U4, U8, U10, U11, U12,U14}, {U5, U6,U7,U9}}

- IND=({Humidity })={{U1, U2, U3, U4, U8, U12, U14},{U5, U6, U7,U9, U10, U11, U13}}

- IND=({Wind})={{U1, U3, U4, U5, U8, U9, U10}, {U2, U6, U7, U11, U12, U13, U14}}

- IND=({ Outlook, Temp })={{U1,U2},{U3, U13}, {U4, U10, U14}, {U5, U6}, {U7}, {U8, U11}, {U9}, {U12}}

- IND=({ Outlook, Humidity })={{U1, U2, U8},{U3, U12}, {U4, U14}, {U5, U6, U10}, {U7, U13},{U9, U11}}

1.4 Các quan sát

- Quan hệ tương đương dẫn đến một phân hoạch tập phổquát

- Có thể dùng các phân hoạch để tạo các tập con mới của tập phổ quát

- Các tập con thường được quan tâm có cùng giá trị thuộc tính điều kiện

- Tuy vậy một sốkhái niệm như“Walk” không thể được định nghĩa rõ ràng

1.5 Xấp xỉ tập hợp

Các tập xấp xỉ là cơ sở để rút ra các kết luận (tri thức) từ cơ sở dữ liệu Cho hệ thống thông tin

𝑻 = (𝑼, 𝑨) , 𝑩𝑨 , 𝒗à 𝑿𝑼 Với các tri thức được cho bởi tập thuộc tính B, vấn đề đặt ra là liệu chúng ta có thể biểu diễn tập các đối tượng V bằng các tri thức có sẵn hay không? Hay nói cách khác, với tập thuộc tính B cho trước, chúng ta có các lớp tương đương của quan hệ IND(B), thế thì tập các đối tượng X có thể được diễn đạt thông qua các lớp tương đương này như thế nào? Trong lý thuyết tập thô, để biểu diễn tập đối tượng V bằng tri thức có sẵn B người ta xấp xỉ chúng bởi hợp của một số hữu hạn các lớp tương tương của

IND(B) Có 2 cách xấp xỉ đó là B-Xấp xỉ dưới của X, ký hiệu là BX và B-Xấp xỉ trên

của tập X, ký hiệu là 𝐵̅𝑋 Các tập xấp xỉ này được định nghĩa như sau:

𝑩𝑿 = {𝒙|[𝒙]𝑩 𝑿},

𝑩𝑿 = {𝒙|[𝒙]𝑩∩ 𝑿 ≠ ∅}

- Tập BX bao gồm tất cả các phần tử của U chắc chắn thuộc vào X

- Tập 𝐵̅𝑋 bao gồm các phần tử của U có khả năng được phân loại vào những phần

tử thuộc X

Từ 2 tập xấp xỉ trên và xấp xỉ dưới của X, người ta định nghĩa các tập sau:

- Vùng B-biên của X: BNB(X) = BX − BX: , chứa các đối tượng không thể phân lớp theo B

- Vùng B-ngoài của X, U - B̅X, chứa các đối tượng chắc chắn được phân lớp không thuộc về X

- Một tập được gọi là thô (rough) nếu vùng biên của nó là rỗng, ngược lại tập là

rõ

Ví dụ: Xét hệ thống thông tin biểu diễn các triệu chứng của cảm cúm như sau:

Gọi tập đối tượng X = {x | Playtennis(x) = yes} = {U3, U4, U5, U7, U9, U10, U11, U12, U13}

và A={ Outlook, Temp, Humidity }

Ta có các lớp tương đương :

IND=({ Outlook, Temp, Humidity })={{U1,U2}, {U3}, {U4, U14}, {U5, U6}, {U7}, {U8}, {U9}, {U10}, {U11}, {U12}, {U13}}

Ta có các vùng xấp xỉ

AX={ U3, U7, U9, U10, U11, U12, U13 }

𝐴𝑋 = {𝑈3, 𝑈4, 𝑈5, 𝑈6, U7, U9, U10, U11, U12, U13, U14}

BNA(X) = {U4, U5, U6, U14}

NEG B (X) = U - 𝐴𝑋 = {U1, U2, U8}

Như vậy lớp quyết định PlayTennis là thô vì vùng biên khác rỗng

1.5.1 Các khái niệm xấp xỉ trong tập thô

1.5.1.1 Xấp xỉ dưới, xấp xỉ trên

Cho bảng quyết định DT = (U, CD) và tập thuộc tính BC, X 

U Xấp xỉ trên và xấp xỉ dưới của tập X tương ứng với B, ký hiệu theo thứ tự là

𝐵𝑋 𝑣à 𝐵𝑋 được định nghĩa như sau:

1.5.1.2 Miền biên, Miền ngoài

B-biên của tập X, ký hiệu BNB(X), được định nghĩa BNB(X) = 𝐵X

\BX

BNB(X) chứa những đối tượng mà sử dụng các thuộc tính trong B ta không thể xác định được chúng có thuộc X hay không

B-ngoài của tập X, ký hiệu NEGB(X) được định nghĩa NEGB(X) = U

\𝐵X NEGB(X) chứa những đối tượng mà sử dụng các thuộc tính trong B ta biết chắc chắn chúng không thuộc X

Hình sau trình bày sự mô tả về tập xấp xỉ và miền

Hình 1.1 Mô tả về tập xấp xỉ và miền 1.5.1.3 Một số tính chất của xấp xỉ tập hợp:

1.5.1.4 Bốn lớp cơ bản của tập thô

 X là có thể xác định thô theo B (roughly B-definable) nếu và chỉ nếu B(X) ≠ ∅ và B(X) ≠ U

 X là không thể xác định phía trong theo B (internally underfinable), nếu và chỉ nếu B(X) = ∅ và B(X) ≠ U

B- X là không thể xác định phía ngoài theo B(externally underfinable), nếu và chỉ nếu B(X) ≠ ∅ và B(X) = U

B- X là hoàn toàn không thể xác định theo B(totally B-undefinable), nếu và chỉ nếu B(X) = ∅ và B(X) = U

Rõ ràng ta có 0 ≤ 𝛼𝐵(𝑋) ≤ 1

Nếu 𝛼𝐵(𝑋) = 1 X là rõ theo B (X là chính xác theo B), ngược lại, nếu

𝛼𝐵(𝑋) < 1, X là thô theo B (X là gần đúng theo B)

1.5.1.7 Phụ thuộc thuộc tính trong hệ thông tin

Giả sử D và C là các tập con của A, ta nói rằng D phụ thuộc vào C với mức k (k [0, ,1]) biểu thị C => k D nếu như:

k= ( D c, ) =

|

|

|)(

|

U

D Pos C

, với PosC(D) =

D U

x/ C(X)

Được gọi là một C - vùng dương của phân hoạch U/D đối với C, là tập tất cả các phần tử của U mà có thể được phân loại duy nhất thành khối của phân hoạch U/D với các thành phần thuộc tính trong C

),

( D c

 =

D U

x/

|

|

| ) (

|

U

X C

1.5.2 Tập thuộc tính rút gọn và tập thuộc tính lõi

Reduct là tập nhỏ nhất trong tập các thuộc tính điều kiện nhưng có khả năng phân lớp như toàn bộ thuộc tính Điều đó có nghĩa là: thay vì ta phải xét tất cả các thuộc tính điều kiện để có thể rút ra được quyết định, thì ta chỉ xét các thuộc tính điều kiện đặc trưng nhất mà không làm ảnh hưởng gì đến quyết định cuối cùng

Điều này làm giảm khối lượng xem xét thuộc tính điều kiện và ta sẽ phát hiện ra các thuộc tính điều kiện dư thừa

Thông tin trong các hệ thống có thể dư thừa, các dư thừa có thể xảy ra: Trường hợp 1: Các đối tượng giống nhau theo một tập thuộc tính đang quan tâm được lặp lại nhiều lần

Trường hợp 2: Một số thuộc tính có thể bỏ đi mà thông tin chúng ta đang quan tâm do bảng quyết định cung cấp vẫn không bị mất mát

Với trường hợp 1: Khái niệm lớp tương đương cho ta tiếp cận tinh giảm thông tin cần lưu trữ trong một hệ thông tin Ta chỉ cần sử dụng một đối tượng để đại diện cho mỗi lớp tương đương

Với trường hợp 2: Chỉ giữ lại những thuộc tính bảo toàn quan hệ bất khả phân biệt, do đó bảo toàn khả năng xấp xỉ tập hợp trong một hệ thông tin

Tập tất cả các thuộc tính cần thiết trong DT kí hiệu: CORE(C) Khi đó, CORE(C) = ∩RED(C) Với RED(C): Là tập tất cả các rút gọn của C

1.5.3 Ma trận phân biệt

Cho T = (U,C,D) là bảng quyết định với U là các đối tượng trong bảng

Ma trận bất khả phân biệt của T được kí hiệu là M(T) là ma trận đối xứng nn với các phần tử Mij được định nghĩa như sau:

)]

()([)}

()(:{

j i

j i

j i

u d u d D d if

u d u d D d if u c u c C c Mij



Với i,j = 1,2,…,n sao cho ui hay uj thuộc về vùng C-dương của D

Mij là tập tât cả thuộc tính điều kiện để phân lớp các đối tượng ui và uj vào các lớp khác nhau

Giá trị  hàm ý cặp đối tượng ui và uj không phân biệt trên tập thuộc tính

quyết định D

Ví dụ 1.8: Xét bảng quyết định sau

Trong đó tập thuộc tính điều kiện C = { Outlook, Temp, Humidity, Wind } và tập thuộc tính quyết định D = {PlayTennis}

Ta có ma trận phân biệt được tương ứng (là ma trận đối xứng nên ta chỉ cần xác định nửa ma trận dưới):

Bảng 1.6 Ma trận phân biệt của hệ thông tin trong Bảng trên

CHƯƠNG 2 THUẬT TOÁN CSD

Thuật toán CSD (Classification Set Degree) dựa vào mức độ phân lớp thô để làm tiêu chí chọn thuộc tính để tạo cây quyết định, được định nghĩa:

𝐶𝑆𝐷(𝑎, 𝐶, 𝐷) = 𝛾𝐶𝐷 ∗ ∑ ∝𝐶 (𝑋𝑖)

𝑚

𝑖=1

Trong đó:

 𝑎 ∈ 𝐶 ⊆ 𝐴, C là tập thuộc tính điều kiện và D là tập thuộc tính quyết định

 Mỗi 𝑋𝑖 là một lớp quyết định thứ i của tập U

 𝛾𝐶𝐷 mức độ phụ thuộc của tập thuộc tính D vào C

 ∑𝑚𝑖=1∝𝐶 (𝑋𝑖) thể hiện tổng độ chính xác phân lớp của thuộc tính C cho mỗi thuộc tính quyết định

Về cơ bản thuật toán tạo cây quyết định dựa vào CSD(a, C, D) lớn nhất để làm

tiêu chí phân chia nút

Thuật toán tạo cây quyết định dựa vào CSD như sau:

Đầu vào: tập học S, tập thuộc tính

Đầu ra: cây quyết định

Bước 1: Tạo nút N cho cây quyết định

Bước 2: Nếu tập tất cả các mẫu học của D có giá trị C, trả về cây có một nút duy

nhất là nút gốc với nhãn C

Bước 3: Nếu tập thuộc tính attribute_list là null thì trả về nút N với nhãn phổ biến

nhất trong tập học

Bước 4: Tính xấp xỉ trên và xấp xỉ dưới cho mỗi thuộc tính trong attribute_list

Nếu xấp xỉ dưới là null, thì CSD(a, C, D) = 0

Bước 5: Tính mức độ phân lớp thô CSD(a, C, D) của mỗi thuộc tính attribute_list

Chọn thuộc tính best_attribute có CSD(a, C, D) lớn nhất trong tập thuộc tính

attribute_list

Bước 6: Đánh dấu nút N có nhãn là thuộc tính best_attribute được chọn từ bước 5 Bước 7: Với mỗi giá trị v thuộc best_attribute

 Đặt Si là tập dữ liệu của tập S với giá trị best_attribute là vi

 Nếu Si là rỗng, thêm nút lá có nhãn là lớp nhãn phổ biến nhất

 Ngược lại, thêm nút được trả về từ việc gọi đệ quy thuật toán trên với tập học

Si, attribute_list – best_attribute

Bước 8:

Điều kiện dừng của thuật toán:

 Tất cả các đối tượng của tập học tại một bước tạo cây có cùng nhãn (bước 2)

 Tập thuộc tính còn lại để để tạo cây quyết định là rỗng (bước 3)

 Không có tập học Si thỏa mãn giá trị best_attribute là a

CHƯƠNG 3 THUẬT TOÁN DTCRSCR

Thuật toán DTCRSCR (Decision Tree Construction based on Rough Set Theory under Characteristic Relation) dựa vào trọng số thô (weighted mean roughness) để làm tiêu chí chọn thuộc tính để tạo cây quyết định, được định nghĩa:

𝛽(𝑎, 𝐶, 𝐷) = 1 − ∑ 𝑝𝑖 ∝𝐶 (𝑋𝑖)

𝑚

𝑖=1

Trong đó:

 𝑎 ∈ 𝐶 ⊆ 𝐴, C là tập thuộc tính điều kiện và D là tập thuộc tính quyết định

 Mỗi 𝑋𝑖 là một lớp quyết định thứ i của tập U

 𝑝𝑖 = 𝑐𝑎𝑟𝑑(𝑋𝑖) ∕ 𝑐𝑎𝑟𝑑(𝑈)

 ∝𝐶 (𝑋𝑖) là độ chính xác xấp xỉ của thuộc tính C trong tập Xi

Về cơ bản thuật toán tạo cây quyết định dựa vào 𝛽(𝑎, 𝐶, 𝐷) nhỏ nhất để làm tiêu

chí phân chia nút

Thuật toán tạo cây quyết định dựa vào DTCRSCR như sau:

Đầu vào: tập học S, tập thuộc tính điều kiện, thuộc tính quyết định

Đầu ra: cây quyết định

Bước 1: Tương ứng với tập học S, tính xấp xỉ trên và xấp xỉ dưới cho mỗi thuộc

tính điều kiện tương ứng với mỗi phân hoạch Xi của của tập thuộc tính quyết định Sau đó, tính trọng số thô 𝛽(𝑎, 𝐶, 𝐷) của mỗi thuộc tính điều kiện

Bước 2: Chọn thuộc tính best_attribute có trọng số thô 𝛽(𝑎, 𝐶, 𝐷) nhỏ nhất là

thuộc tính phân chia nút

Bước 3: Với mỗi giá trị v thuộc best_attribute

 Đặt Si là tập dữ liệu của tập S với giá trị best_attribute là vi

 Nếu Si là rỗng, thêm nút lá có nhãn là lớp nhãn phổ biến nhất