Bài giảng Nhập môn trí tuệ nhân tạo - Chương 5: Phân lớp Bayes trình bày các nội dung: Phân lớp Bayes - Tại sao, tính xác suất a a-posteriori, phân lớp Naive Bayesian, phân lớp Naive Bayesian - Giả thiết độc lập, độ chính xác trong phân lớp,... Mời các bạn tham khảo.
Trang 12
Phân lớp Bayes: Tại sao? (1)
• Học theo x c suất: t
o tính các xác suất rõ ràng cho các giả thiết
o một trong những hướng thiết thực cho một số vấn đề
thuộc loại học
• Có tăng trưởng: ng
o mỗi mẫu huấn luyện có thể tăng/giảm dần khả năng
đúng của một giả thiết
o tri thức ưu tiên có thể kết hợp với dữ liệu quan sát
Trang 2Phân lớp Bayes: Tại sao? (2)
• Dựđo án theo x c suất: t
o dự đoán nhiều giả thiết, trọng số cho bởi khả năng
xảy ra của chúng
• Chuẩn n:
o Ngay cả khi các phương pháp Bayes khó trong tính
toán, chúng vẫn có thể cung cấp một chuẩn để tạo
quyết định tới ưu so những phương pháp khác
Phân lớp Bayes
• Bài toán phân lớp có thể hình thức hóa bằngx c suất
a-posteriori:
P(
P(C|X) = xác suất mẫu ) =
X=<x 1 ,…,x k > thuộc về lớp C
• Ví dụ
P(
P(class =N | N | outlook=sunny,windy=true,…)
• Ý tưởng: : gán cho mẫu X nhãn phân lớp là C sao cho
P(
P(C|X) là lớn nhất )
Trang 3• Định lý Bayes Bayes:
P(
P(C|X) = P() = P(X|C)·P(CP( ) / P(X) / P( )
• P(XP( ) là hằng số cho tất cả các lớp )
• P(CP( ) = tần số liên quan của các mẫu thuộc )
lớpC
• C sao cho P(C|X) lớn nhất = P(
C sap cho P(X|CP( )· P(P(C) ) lớn nhất
• Vấnđềề: tínhP(X|CP( ) ) là khơng khả thi!
6
Phân lớp Nạve Bayesian
• Thừa nhận Nạve: sựđộc lập thuộc tính
P(
P(x 1 ,…,x k |C ) = P(x) = P( 1 |C)· …·P(P(x k |C)
• Nếu thuộc tính thứ i làrời rạc: c
P(
P(x i |C) ) được ước lượng bởi tần số liên quan của các
mẫu cĩ giá trị x i cho thuộc tính thứ i trong lớp C
• Nếu thuộc tính thứ i làliên tục: c
P(
P(x i |C) ) được ước lượng thơng qua một hàm mật độ
Gaussian
• Tính tốn dễ dàng trong cả hai trường hợp
Trang 4Phân lớp Nạve Bayesian – Ví dụ
Outlook Temperature Humidity Windy Class
overcast cool normal true P
overcast hot normal false P
Phân lớp Nạve Bayesian – Ví dụ (1)
• Ứơc lượngP(P(x i |C)
P(nn) = 5/14
P(pp) = 9/14
Th ời tiết
P(n ắ ng | p) = 2/9 P(n ắ ng | n) = 3/5
P(u ám | p) = 4/9 P(u ám | n) = 0
P(m ư a | p) = 3/9 P(m ư a | n) = 2/5
Nhi ệt độ
P(nĩng | p) = 2/9 P(nĩng | n) = 2/5
P( ấ m áp | p) = 4/9 P( ấ m áp | n) = 2/5
P(mát | p) = 3/9 P(mát | n) = 1/5
Độ ẩ m P(cao | p) = 3/9 P(cao | n) = 4/5 P(v ừ a | p) = 6/9 P(v ừ a | n) = 1/5 Giĩ
P(cĩ | p) = 3/9 P(cĩ | n) = 3/5 P(khơng | p) = 6/9 P(fkhơng | n) = 2/5
Trang 5Phân lớp Nạve Bayesian – Ví dụ (2)
• Phân lớp X:
o một mẫu chưa thấy X = <mưa, nĩng, cao, khơng>
o P(X|pP( )·P(pP( ) =
P(
P(mưa|p)·P(nĩng|pP( )· P(P(cao|p)· P(P(khơng|p)· P(P(p) =
3/9·2/9·3/9·6/9·9/14= 0.010582 =
o P(X|nP( )·P(nP( ) =
P(
P(mưa|n)·P(nĩng|nP( )· P(P(cao|n)· P(P(khơng|n)· P(P(n) =
2/5·2/5·4/5·2/5·5/14= 0.018286
o Mẫu X được phân vào lớp n (khơng chơi tennis)
10
Phân lớp Nạve Bayesian –
gi ả thuy ế t đ ộ c l ậ p
• … làm cho cĩ thể tính tốn
• … cho ra bộ phân lớp tối ưu khi thỏa yêu cầu
• … nhưng yêu cầu ít khi được thỏa trong thực tế vì các
thuộc tính (các biến) thường cĩ liên quan với nhau
• Những cố gắng khắc phục điểm hạn chế này:
o Các mạng Bayes (Bayesian networks), kết hợp lý (Bayesian networks)
luận Bayes với các mối quan hệ nhân quả giữa các
thuộc tính
o Các cây quyết định, lý luận trên một thuộc tính tại nh
một thời điểm, xét những thuộc tính quan trọng nhất
trước
Trang 6• Mạng Neural
• Phân lớp k láng giềng gần
nhất
• Suy luận dựa v o trường hợp
• Thuật toán di truyền
• Hướng tập thô
• Các hướng tập mờ
Các
ph ương
pháp
khác
Độ chính xác trong phân lớp
Ước lượng tỉlệsai:
• Phân hoạch: huấn luyện và kiểm tra (những tập dữ liệu ch
lớn)
o dùng hai tập dữ liệu độc lập , tập huấn luyện (2/3), tập
kiểm tra (1/3)
• Kiểm tra chéo o (những tập dữ liệu vừa)
o chia tập dữ liệu thành k mẫu con
o sử dụng k-1 mẫu con làm tập huấn luyện và một mẫu
con làm tập kiểm tra - kiểm tra chép k thành phần
• Bootstrapping: xóa đi một - leave-one-out (những tập dữ Bootstrapping
liệu nhỏ)
Trang 7• Phân lớp là một vấn đềnghiên cứu bao quát
• Phân lớn có khả năng là một trong những kỹthuật
khai phá dữliệu được dùng rộng rãi nhất với rất
nhiều mởrộng
Tóm tắt (1)
14
• Tính uyển chuyển vẫn đang là một vấn đềquan
trọng của tất các ứng dụng cơ sởdữliệu
• Các hướng nghiên cứu: phân lớp dữliệu
không-quan hệ, ví dụ như text, không gian và đa
phương tiện
Tóm tắt (2)