Slide kho dữ liệu và khai phá dữ liệu chương 4 khai phá dữ liệu phần 3

Luật kết hợp Association Rulemục Y theo tập mục X, sự xuất hiện của Y với một một tỷ lệ nào đấy... Luật kết hợp Association Rule Luật mạnh: Các luật có độ hỗ trợ lớn hơn một giá trị luậ

Trang 1

Chương 4 KHAI PHÁ DỮ LIỆU

1

cuu duong than cong com

Trang 2

Nội dung

1. Tiền xử lý dữ liệu.

Trang 5

 Các tập mục có độ hỗ trợ lớn hơn một giá trị ngưỡng

Trang 6

Luật kết hợp (Association Rule)

mục Y theo tập mục X,

sự xuất hiện của Y với một một tỷ lệ nào đấy

 Độ hỗ trợ của luật (xác suất cả X và Y cùng xuất

hiện trong một giao dịch):

)

( )

sup(

) sup( X  Y  X  Y  C X  Y

Trang 7

 Độ tin cậy của luật (tỷ lệ các giao dịch chứa cả X và

Y so với các giao dịch chứa X):

 Trong đó: C(X  Y) là số giao dịch chứa cả X và Y,

C(X) là số giao dịch có chứa X

7

)sup(

)(

)

()

(

X

Y X

X C

Y X

C Y

Trang 8

 Luật mạnh: Các luật có độ hỗ trợ lớn hơn một giá trị

luật có giá trị (strong association rules)

conf(XY)  minconf được gọi là luật mạnh

Trang 9

9

Output

Tìm tập phổ biến

Xác định luật kết hợp

Input

Trang 10

 Input: Cơ sở dữ liệu giao dịch, trị ngưỡng minsup,

minconf

 Tìm tập phổ biến: Sinh tất cả các luật kết hợp có

thể có bằng Apriori, FP-Growth, …

 Xác định luật kết hợp: Tách tập phổ biến tìm được

thành 2 tập không giao nhau X và Y Tính độ tin cậycủa X  Y, nếu trên ngưỡng minconf thì đó là luậtmạnh

 Output: Tất cả các luật mạnh

Trang 11

của M sẽ là 2n - 2 Vì vậy, với M ta sẽ có nhiềunhất 2n – 2 luật

dựa vào Số lần xuất hiện (support count) thì giá trị

Trang 12

 Nguyễn lý Apriori :

“Nếu một tập mục là phổ biến thì mọi tập con

khác rỗng bất kỳ của nó cũng là tập phổ biến”.

 Tìm ra tất cả các tập phổ biến có thể có

Trang 13

 Nguyễn lý Apriori :

Chứng minh:

Xét X’  X Gọi p là ngưỡng độ hỗ trợ minsup Một tập mục xuất hiện bao nhiêu lần thì các tập con chứa trong nó cũng xuất hiện ít nhất bấy nhiêu lần Do đó:

(

|

) ( )

D

X C

) ( )

' (X C X

p D

X C X

D p X

|

) ' ( )

' sup(

|

| )

' (

Trang 14

 Giải thuật Apriori :

Trang 15

{D} 1

{E} 3

Itemset sup

{A} 2 {B} 3 {C} 3 {E} 3

Itemset sup

{A, C} 2 {B, C} 2 {B, E} 3 {C, E} 2

Trang 16

F = { {A}, {B}, {C}, {E},

{A, C}, {B, C}, {B, E}, {C, E}, {B, C, E} }

Trang 17

C k: Candidate itemset of size k

L k: frequent itemset of size k

L 1 = {frequent items};

for (k = 1; L k != ; k++) do begin

C k+1 = candidates generated from L k;

for each transaction t in database do

increment the count of all candidates in C k+1 that are contained in t

L k+1 = candidates in C k+1 with min_support

end

return k L k;

Trang 18

 Sinh luật kết hợp:

được một luật kết hợp S  (X\S) Nếu độ tin cậy của luật thỏa mãn ngưỡng minconf thì luật đó là

luật mạnh.

conf S

C

X

C S

X S

) (

)

( ))

\ (

Trang 19

Trang 20

 Ví dụ:

Cho I = {A, B, C, D, E, F} và cơ sở dữ liệu giao dịch D:Chọn ngưỡng minsup = 25% và minconf = 75% Hãy xác định các luật kết hợp mạnh

Trang 21

F1 Số lần

xuất hiện {A} 3 {B} 3 {C} 2 {E} 2 {F} 3

Tập

mục

Số lần xuất hiện {A} 3

Kết hợp các tập của L1

Trang 22

có C3

C2

Tập mục Số lần

xuất hiện {A, B} 2 {A, C} 2

{A, E} 1

{A, F} 2

{B, C} 1 {B, E} 1

{B, F} 3

{C, E} 0 {C, F} 1 {E, F} 1

Tập mục Số lần

xuất hiện {A, B} 2 {A, C} 2 {A, F} 2 {B, F} 3

C2

Tập mục {A, B, C}

Trang 23

L3 chỉ có một phần tử nên không thể tiếp tục kết nối để sinh L4

Thuật toán kết thúc.

Ta có tập các tập phổ biến là:

F ={{A}, {B}, {C}, {E}, {F}, {A, B}, {A, C}, {A, F}, {B, F}, {A, B, F}}

Trang 24

{A, B} có thể sinh các luật: {A}  {B} và {B}  {A}

{A, C} có thể sinh ra các luật: {A}  {C} và {C}  {A}

{A, F} có thể sinh ra các luật: {A}  {F} và {F}  {A}

% 7

66 3

2 })

({

}) , ({

}) { }

A C

B A C B

A conf

% 7

66 3

2 })

({

}) , ({

}) { }

B C

B A C A

B conf

% 7

66 3

2 })

({

}) , ({

}) { }

({    

A C

C A C C

A conf

%

100 2

2 })

({

}) , ({

}) { }

C C

C A C A

C conf

% 7

66 3

2 })

({

}) , ({

}) { }

({    

A C

F A C F

A conf

% 7 66 2

}) , ({

}) { }

({F  A  C A C  

conf

Trang 25

{A, F} có thể sinh ra các luật: {A}  {F} và {F}  {A}

{A, B, F} có thể sinh ra các luật: {A}  {B, F}, {A, B}  {F}, {B} 

{A, F}, {B, F}  {A}, {F}  {A, B}, {A, F}  {B}

% 7

66 3

3 })

({

}) , ({

}) { }

({    

B C

F B C F

B conf

% 7

66 3

3 })

({

}) , ({

}) { }

({    

F C

C B C B

F conf

% 7

66 3

2 })

({

}) , , ({

}) , { }

({    

A C

F B A C F

B A

conf

%

100 2

2 })

, ({

}) , , ({

}) { }

,

({    

B A C

F B A C F

B A conf

% 7

66 3

2 })

({

}) , , ({

}) , { }

({    

B C

F B A C F

A B

conf

% 7

66 3

2 })

, ({

}) , , ({

}) { }

,

({    

F B C

F B A C A

F B conf

Trang 26

Các luật kết hợp mạnh thu được gồm:

66 3

2 })

({

}) , , ({

}) , { }

({    

F C

F B A C B

A F

conf

%

100 2

2 })

, ({

}) , , ({

}) { }

,

({    

F A C

F B A C B

F A conf

Trang 28

Thuật giải FP-GROWTH

viên

cây FP

Trang 29

Thuật giải FP-GROWTH – B1

Trang 30

với mỗi mục

tự giảm dần của số lần xuất hiện

gắn trọng số là số lần xuất hiện

ánh xạ tương ứng với mỗi đừờng đi (xuất phát từ

Trang 31

suốt quá trình xây dựng cây FP

tiền tố trong dãy) Mỗi lần có phần tử trùng thì trọng

số của đỉnh ở vị trí trùng được tăng lên 1

đơn giữa các nút đại diện cho cùng một mục cuu duong than cong com

Trang 32

Trang 33

Ứng với mỗi mục phổ biến Ii:

pattern base) Mỗi mẫu có điều kiện là một đường đi nối từ đỉnh gốc tới đỉnh cha kề với đỉnh có chứa mục

Ii Mỗi mẫu được gán trọng số bằng với trọng số của đỉnh có chứa mẫu Ii ở cuối đường đi

dựa trên việc kết hợp các mẫu có chung tiền tố (nếucó) Khi đó trọng số ứng với mỗi đỉnh là tổng các

trọng số được ghép

hậu tố là ICuuDuongThanCong.comi https://fb.com/tailieudientucntt

Trang 34

Ví dụ: Cho cơ sở dữ liệu giao dịch D gồm các giao dịch như bảng dưới Biết ngưỡng minsup = 60% Hãy tìm cáctập phổ biến

Trang 35

Duyệt CSDL để xác định tần suất xuất hiện của mỗi mục

Trang 36

dần của support count

Trang 37

Trang 38

Trang 40

Trang 41

Mục Cơ sở mẫu có điều kiện Cây FP có điều kiện Tập phổ biến

p fcam:2, cb:1 {c:3} p:3, cp:3

m fca:2, fcab:1 {f:3, c:3, a:3}

m:3, fm:3, cm:3, am:3, fcm:3, fam:3, cam:3

Định dạng
Số trang	41
Dung lượng	1,38 MB