, luật kết hợp, khai phá luật kết hợp-Các kỹ thuật phân nhóm docx

„ Học phân nhóm ‰ Đầu vào: một tập dữ liệu không có nhãn các ví dụ không có nhãn ‰ Đầu vào: một tập dữ liệu không có nhãn các ví dụ không có nhãn lớp/giá trị đầu ra mong muốn ‰ Đầu ra: c

Nội dung môn học:

„ Giới thiệu về Khai phá dữ liệu

ề

„ Giới thiệu về công cụ WEKA

„ Tiền xử lý dữ liệu

„ Phát hiện các luật kết hợp

„ Các kỹ thuật phân lớp và dự đoán

„ Các kỹ thuật phân lớp và dự đoán

„ Các kỹ thuật phân nhóm

‰ Phân nhóm dựa trên chia cắt (k-Means)

‰ Phân nhóm dựa trên chia cắt (k-Means)

‰ Phân nhóm dựa trên tích tụ phân cấp (HAC)

Học có vs không có giám sát ọ g g

„ Học có giám sát (Supervised learning)

‰ Tập dữ liệu (dataset) bao gồm các ví dụ mà mỗi ví dụ được gắn

‰ Tập dữ liệu (dataset) bao gồm các ví dụ, mà mỗi ví dụ được gắn

kèm với một nhãn lớp/giá trị đầu ra mong muốn

‰ Mục đích là học (xấp xỉ) một giả thiết (vd: một phân lớp, một hàm mục tiêu ) phù hợp với tập dữ liệu hiện có

‰ Giả thiết học được (learned hypothesis) sau đó sẽ được dùng để phân lớp/dự đoán đối với các ví dụ mới

„ Học không có giám sát (Unsupervised learning)

‰ Tập dữ liệu (dataset) bao gồm các ví dụ, mà mỗi ví dụ không có

thông tin về nhãn lớp/giá trị đầu ra mong muốn

‰ Mục đích là tìm ra (học) các nhóm/các cấu trúc/các quan hệ tồn tại trong tập dữ liệu hiện có

Phân nhóm

„ Phân nhóm/cụm (Clustering) là phương pháp học không

có giám sát được sử dụng phổ biến nhất

‰ Tồn tại các phương pháp học không có giám sát khác, ví dụ: Lọc cộng tác (Collaborative filtering), Khai phá luật kết hợp

(Association rule mining)

(Association rule mining),

„ Học phân nhóm

‰ Đầu vào: một tập dữ liệu không có nhãn (các ví dụ không có nhãn

‰ Đầu vào: một tập dữ liệu không có nhãn (các ví dụ không có nhãn lớp/giá trị đầu ra mong muốn)

‰ Đầu ra: các nhóm (cụm) của các ví dụ

„ Một nhóm (cluster) là một tập các ví dụ

‰ Tương tự với nhau (theo một ý nghĩa, đánh giá nào đó)

‰ Khác biệt với các ví dụ thuộc các nhóm khác

‰ Khác biệt với các ví dụ thuộc các nhóm khác

Phân nhóm – Các thành phần p

„ Hàm tính khoảng cách (độ tương tự, độ khác biệt)

ả

„ Giải thuật phân nhóm

• Phân nhóm dựa trên chia cắt (Partition-based clustering)

• Phân nhóm dựa trên tích tụ phân cấp (Hierarchical clustering)

• Phân nhóm dựa trên tích tụ phân cấp (Hierarchical clustering)

• Bản đồ tự tổ thức (Self-organizing map – SOM)

• Các mô hình hỗn hợp (Mixture models)ợp ( )

• …

„ Đánh giá chất lượng phân nhóm (Clustering quality)

• Khoảng cách/sự khác biệt giữa các nhóm → Cần được cực đại hóa

• Khoảng cách/dự khác biệt bên trong một nhóm → Cần được cực

ể

tiểu hóa

Phân nhóm k-Means

„ Là phương pháp phổ biến nhất trong các phương pháp phân nhóm dựa trên chia cắt (partition-based clustering)

„ Tập dữ liệu D={x1,x2,…,xr}

• là một ví dụ (một vectơ trong một không gian n chiều)

•x i là một ví dụ (một vectơ trong một không gian n chiều)

„ Giải thuật k-means phân chia (partitions) tập dữ liệu

thành k nhóm

• Mỗi nhóm (cluster) có một điểm trung tâm, được gọi là centroid

•k k (tổng số các nhóm thu được) là một giá trị được xác định trước(tổng số các nhóm thu được) là một giá trị được xác định trước (vd: được chỉ định bởi người thiết kế hệ thống phân nhóm)

k-Means – Các bước chính

Với một giá trị k được xác định trước

• Bước 1 Chọn ngẫu nhiên k ví dụ (được gọi là các hạt

nhân – seeds) để sử dụng làm các điểm trung tâm ban

đầu (initial centroids) của k nhóm ( )

• Bước 2 Đối với mỗi ví dụ, gán nó vào nhóm (trong số k

nhóm) có điểm trung tâm (centroid) gần ví dụ đó nhất

• Bước 3 Đối với mỗi nhóm, tính toán lại điểm trung tâm

(centroid) của nó dựa trên tất cả các ví dụ thuộc vào

nhóm đó

• Bước 4 Dừng lại nếu điều kiện hội tụ (convergence

criterion) được thỏa mãn; nếu không, quay lại Bước 2

k-means(D, k)

D: The dataset

D: The dataset

k: The number of clusters

Randomly select k instances in D as the initial centroids

while not CONVERGENCE

for each instance x∈D

Compute the distance from x to each centroid

Assign x to the cluster whose centroid is closest to x

d f

end for

for each cluster

Re-compute its centroid based on its own instancesp

end while

return {The k clusters}

Điều kiện hội tụ ệ ộ ụ

Quá trình phân nhóm kết thúc, nếu:

• Không có (hoặc có không đáng kể) việc gán lại các ví dụ vào các

• Không có (hoặc có không đáng kể) việc gán lại các ví dụ vào các

nhóm khác, hoặc

• Không có (hoặc có không đáng kể) thay đổi về các điểm trung tâm

(centroids) của các nhóm, hoặc

• Giảm không đáng kể về tổng lỗi phân nhóm:

(

x

i

m x

ƒ m i: Điểm trung tâm (centroid) của nhóm C i

ƒ d(x, m i): Khoảng cách (khác biệt) giữa ví dụ x và điểm trung tâm mi

k-Means – Minh họa (1) ọ ( )

[Liu, 2006]

k-Means – Minh họa (2) ọ ( )

[Liu, 2006]

Điểm trung tâm, Hàm khoảng cách

„ Xác định điểm trung tâm: Điểm trung bình (Mean centroid)

• |C i | kích thước của nhóm C i (tổng số ví dụ trong C i)

Hàm khoảng cách: Euclidean distance

„ Hàm khoảng cách: Euclidean distance

2 2

2 1

) ,

d x mi = x − mi = − + − + + −

• (vectơ) m i là điểm trung tâm (centroid) của nhóm C i

• d(x,m i ) là khoảng cách giữa ví dụ x và điểm trung tâm m i

k-Means – Các ưu điểm

• Độ phức tạp về thời gian ~ O(r.k.t)

ƒ r r: Tổng số các ví dụ (kích thước của tập dữ liệu) : Tổng số các ví dụ (kích thước của tập dữ liệu)

„ k means là giải thuật phân nhóm được dùng phổ biến nhất

„ k -means là giải thuật phân nhóm được dùng phổ biến nhất

k-Means – Các nhược điểm (1)

„ Giá trị k (số nhóm thu được) phải được xác định trước

„ Giải thuật k-means cần xác định cách tính điểm trung bình

(centroid) của một nhóm

ố

• Đối với các thuộc tính định danh (nominal attributes), giá trị trung bình có thể được xác định là giá trị phổ biến nhất

Giải thuật k means nhạy cảm (gặp lỗi) với các ví dụ

„ Giải thuật k-means nhạy cảm (gặp lỗi) với các ví dụ

ngoại lai (outliers)

• Các ví dụ ngoại lai là các ví dụ (rất) khác biệt với tất các ví dụ khácụ g ạ ụ ( ) ệ ụ

• Các ví dụ ngoại lai có thể do lỗi trong quá trình thu thập/lưu dữ liệu

• Các ví dụ ngoại lai có các giá trị thuộc tính (rất) khác biệt với các giá trị thuộc tính của các ví dụ khác

k-Means – Các ví dụ ngoại lai ụ g ạ

[Liu, 2006]

Giải quyết vấn đề ngoại lai q y g ạ

• Giải pháp 1 Trong quá trình phân nhóm, cần loại bỏ một số các ví dụ quá khác biệt với (cách xa) các điểm trung tâm ụ q ệ ( ) g

(centroids) so với các ví dụ khác

─ Để chắc chắn (không loại nhầm), theo dõi các ví dụ ngoại lai

(outliers) qua một vài (thay vì chỉ 1) bước lặp phân nhóm trước

(outliers) qua một vài (thay vì chỉ 1) bước lặp phân nhóm, trước khi quyết định loại bỏ

• Giải pháp 2 Thực hiện việc lấy mẫu ngẫu nhiên (a random p p ự ệ ệ y g (

k-Means – Các nhược điểm (2)

„ Giải thuật k-means phụ thuộc vào việc chọn các điểm trung tâm ban

đầu (initial centroids)

1 st centroid

2 nd centroid

2 nd centroid

k-Means – Các hạt nhân ban đầu (1)

„ Sử dụng các hạt nhân (seeds) khác nhau → Kết quả tốt hơn!

• Thực hiện giải thuật k-means nhiều lần, mỗi lần bắt đầu với một tập (khác Thực hiện giải thuật k means nhiều lần, mỗi lần bắt đầu với một tập (khác

lần trước) các hạt nhân được chọn ngẫu nhiên

[Liu, 2006]

k-Means – Các hạt nhân ban đầu (2)

„ Lựa chọn ngẫu nhiên hạt nhân thứ 1 (m1)

„ Lựa chọn hạt nhân thứ 2 (m2) càng xa càng tốt so với

k-Means – Các nhược điểm (3)

„ Giải thuật k-means không phù hợp để phát hiện các

nhóm (cụm) không có dạng hình elip hoặc hình cầu

[Liu, 2006]

Phân nhóm tích tụ phân cấp (1)

„ Sinh ra một chuỗi lồng nhau của các nhóm, được gọi là

dendrogram g

• Cũng được gọi là một phân loại (taxonomy)/phân cấp

(hierarchy)/cây (tree) của các ví dụ

Phân nhóm tích tụ phân cấp (2)

„ Phân nhóm dựa trên tích tụ phân cấp (Hierarchical

Agglomerative Clustering – HAC) sẽ xây dựng dendrogram

Agglomerative Clustering HAC) sẽ xây dựng dendrogram

từ mức đáy (cuối) dần lên (bottom-up)

„ Giải thuật HAC

„ Giải thuật HAC

• Bắt đầu, mỗi ví dụ chính là một nhóm (là một nút trong dendrogram)

• Hợp nhất 2 nhóm có mức độ tương tự (gần) nhau nhấtợp ộ g ự (g )

ƒCặp 2 nhóm có khoảng cách nhỏ nhất trong số các cặp nhóm

• Tiếp tục quá trình hợp nhất

• Giải thuật kết thúc khi tất cả các ví dụ được hợp nhất thành một

nhóm duy nhất (là nút gốc trong dendrogram)

Giải thuật HAC – Ví dụ ậ ụ

(Venn diagram)

[Liu, 2006]

• Liên kết đơn (Single link)

• Liên kết hoàn toàn (Complete link)

• Liên kết trung bình (Average link)

• Liên kết trung bình (Average link)

• Liên kết trung tâm (Centroid link)

• …

HAC – Liên kết đơn

HAC liên kết đơn (Single link):

HAC – Liên kết hoàn toàn

HAC liên kết hoàn toàn

ƒ Nhạy cảm (gặp lỗi phân nhóm)

đối với các ngoại lai (outliers)

ƒ Có xu hướng sinh ra các nhóm

có dạng “bụi cây” (clumps)

[Liu, 2006]

HAC – Liên kết trung bình g

„ Khoảng cách trong liên kết trung bình (Average-link) là sự thỏa hiệp giữa các khoảng cách trong liên kết hoàn toàn

thỏa hiệp giữa các khoảng cách trong liên kết hoàn toàn (Complete-link) và liên kết đơn (Single-link)

• Để giảm mức độ nhạy cảm (khả năng lỗi) của phương pháp phân

hó d t ê liê kết h à t à đối ới á i l i ( tli )nhóm dựa trên liên kết hoàn toàn đối với các ngoại lai (outliers)

• Để giảm xu hướng sinh ra các nhóm có dạng “chuỗi dài” của

phương pháp phân nhóm dựa trên liên kết đơn (dạng “chuỗi dài” không phù hợp với khái niệm tự nhiên của một nhóm)

„ Khoảng cách giữa 2 nhóm là khoảng cách trung bình của g g g g tất cả các cặp ví dụ (mỗi ví dụ thuộc về một nhóm)

HAC – Liên kết trung tâm g

HAC liên kết trung tâm (Centroid link):

Giải thuật HAC – Độ phức tạp ậ ộ p ạp

„ Tất cả các biến thể của giải thuật HAC đều có độ phức tạp tối thiểu mức O(r2)

tạp tối thiểu mức O(r )

•r: Tổng số các ví dụ (kích thước của tập dữ liệu)

„ Phương pháp phân nhóm HAC liên kết đơn (Single-link)

„ Phương pháp phân nhóm HAC liên kết đơn (Single-link)

có độ phức tạp mức O(r2)

„ Các phương pháp phân nhóm HAC liên kết hoàn toàn

„ Các phương pháp phân nhóm HAC liên kết hoàn toàn

(Complete-link) và liên kết trung bình (Average-link) có độ phức tạp mức O(r2logr )

„ Do độ phức tạp cao, giải thuật HAC khó có thể áp dụng được đối với các tập dữ liệu có kích thước lớn

Các hàm khoảng cách g

„ Một thành phần quan trọng của các phương pháp phân nhóm

• Cần xác định các hàm tính độ khác biệt (dissimilarity/distance functions), hoặc các hàm tính độ tương tự (similarity functions)

„ Các hàm tính khoảng cách khác nhau đối với

• Các kiểu dữ liệu khác nhau

ƒDữ liệu kiểu số (Numeric data)

ƒDữ liệu kiểu định danh (Nominal data)

• Các bài toán ứng dụng cụ thể

Hàm khoảng cách cho thuộc tính số

• Khoảng cách Manhattan (khoảng cách City-block)

„ Ký hiệu d(x x ) là khoảng cách giữa 2 ví dụ (2 vectơ) x

„ Ký hiệu d(xi, xj) là khoảng cách giữa 2 ví dụ (2 vectơ) xi

và xj

„ Khoảng cách Minkowski (với p là một số nguyên dương)

„ Khoảng cách Minkowski (với p là một số nguyên dương)

p p

jn in

p j i

p j

x

Hàm k/c cho thuộc tính nhị phân

„ Sử dụng một ma trận để biểu diễn hàm tính

khoảng cách g

• a: Tổng số thuộc tính có giá trị là 1 trong cả xi và x j

• b: Tổng số các thuộc tính có giá trị là 1 trong xi và

x i

và x j

„ Hệ số phù hợp đơn giản (Simple matching

coefficient) Tỷ lệ sai lệch giá trị của các

( xi xj

d c

b

) ,

( i j

Hàm k/c cho thuộc tính định danh

„ Hàm khoảng cách cũng dựa trên phương pháp đánh giá

tỷ lệ khác biệt giá trị thuộc tính giữa 2 ví dụ

„ Với 2 ví dụ xi và xj, ký hiệu p là tổng số các thuộc tính

(trong tập dữ liệu) và q là số các thuộc tính mà giá trị là

(trong tập dữ liệu), và q là số các thuộc tính mà giá trị là

như nhau trong xi và xj

Tài liệu tham khảo ệ

•B Liu Web Data Mining: Exploring Hyperlinks,