phương pháp thống kê cho ví dụ về bộ phân lớp theo phương pháp thống kê

Học Viên Thực Hiện: Đặng Quang Vinh – STT: 24 Trang: 4 - Rút ra những kết luận tốt từ những bằng chứng được xác định nghèo nàn và không chắc chắn thông qua việc sử dụng những luật suy di

KHOA CÔNG NGHỆ THÔNG TIN

TRÍ TUỆ NHÂN TẠO Lớp: CHKHMT – TPHCM23A1

PHƯƠNG PHÁP HỌC THỐNG KÊ,

CHO VÍ DỤ VỀ BỘ PHÂN LỚP THEO

PHƯƠNG PHÁP THỐNG KÊ

GVHD: TS Ngô Hữu Phúc Học Viên: Đặng Quang Vinh

TP Hồ Chí Minh, tháng 07 năm 2012

Học Viên Thực Hiện: Đặng Quang Vinh – STT: 24 Trang: 1

MỤC LỤC

PHƯƠNG PHÁP HỌC THỐNG KÊ (STATISTICAL LEARNING METHODS) 3

I GIỚI THIỆU: 3

1 Sự khơng chắc chắn: 3

2 Nguồn gốc của sự khơng chắc chắn: 3

3 Cách tiếp cận thống kê đối với tính khơng chắc chắn [1] 3

II TIẾP CẬN THỐNG KÊ ĐỐI VỚI TÍNH KHƠNG CHẮC CHẮN 5

1 BAYESIAN LEARNING 5

1.1 Phép xấp xỉ MAP (Maximum a posteriori): [3] 8

1.2 Phương pháp hợp lý cực đại ML (Maximum likelihood) [3] 8

1.3 Phương pháp thơng số ML trong lưới Bayes [3] 9

1.4 Thơng số bội [3] 10

2 MẠNG NƠRON (NEURAL NETWORK) [5] 12

2.1 Giải thuật mạng Nơron 12

Mơ hình minh họa mạng nơron một lớp: 14

Mơ hình minh họa mạng nơron tổng hợp (nhiều lớp): 15

Một ví dụ mạng lan truyền: 15

2.2 Đánh giá: 17

VÍ DỤ VỀ BỘ PHÂN LỚP THEO PHƯƠNG PHÁP THỐNG KÊ 18

1 Phân lớp là gì? [4] 18

2 Phân lớp - Tiến trình hai bước [4] 18

3 Đánh giá các phương pháp phân lớp 19

4 Phân lớp Bayes: Tại sao? 19

5 Phân lớp Nạve Bayesian 20

ỨNG DỤNG PHÂN LỚN NAIVE BAYES ĐỂ PHÂN LOẠI THƠNG ĐIỆP TRÊN DIỄN ĐÀN [5] 23

1 Hệ thống chương trình 23

2 Quy trình thực hiện: 24

2.1 Cơ sở dữ liệu lưu trữ thơng điệp 25

2.2 Xây dựng website diễn đàn thảo luận: 29

2.3 Quá trình trích chọn đặc trưng thơng điệp 30

2.3.1 Sửa tiếng Việt khơng dấu 30

2.3.2 Loại bỏ các thẻ HTML 31

2.3.3 Loại bỏ các phụ từ 31

2.3.4 Chuyển mã văn bản 31

2.3.5 Tách từ và gán nhãn từ loại 31

2.3.6 Trích danh từ, cụm danh từ làm đặc trưng (cĩ xem xét nghĩa của từ) 31

Học Viên Thực Hiện: Đặng Quang Vinh – STT: 24 Trang: 2 2.4 Xây dựng bộ phân lớp văn bản Naive Bayes 32TÀI LIỆU THAM KHẢO 38

Học Viên Thực Hiện: Đặng Quang Vinh – STT: 24 Trang: 3

PHƯƠNG PHÁP HỌC THỐNG KÊ (STATISTICAL LEARNING METHODS)

I GIỚI THIỆU:

1 Sự không chắc chắn:

Tri thức của con người trong nhiều lĩnh vực là không chắc chắn

Ví dụ:

- Trong các games chơi bài:

Đối thủ nào đó đang nắm giữ quân 2 cơ -> không chắc

- Trong các hệ chuẩn đoán y khoa:

Một số triệu chứng nào đó xảy ra thì chưa hẳn 100% bệnh nhân bị bệnh X nào

đó

2 Nguồn gốc của sự không chắc chắn:

- Thông tin không đầy đủ:

o Ta không thể biết hết mọi thứ

o Ta có thể không muốn đợi

- Nhập nhằng:

o Sự việc có thể được diễn tả trong nhiều (hơn một) cách

- Sự không chính xác:

o Sai số của Con người/Thiết bị

- Các luật thường là các heuristic được các chuyên gia sử dụng trong một tình huống nào đó:

o Không hoàn hảo!

o Các luật được học hoặc được viết không chính xác

3 Cách tiếp cận thống kê đối với tính không chắc chắn [1]

Học Viên Thực Hiện: Đặng Quang Vinh – STT: 24 Trang: 4

- Rút ra những kết luận tốt từ những bằng chứng được xác định nghèo nàn và không chắc chắn thông qua việc sử dụng những luật suy diễn không vững chắc không phải là một nhiệm vụ không thể thực hiện được; chúng ta thực hiện chúng rất thành công trong hầu hết mọi khía cạnh của cuộc sống chúng ta Chúng ta phát biểu những chuẩn đón y học đúng đắn và đề xuất cách điều trị từ những triệu chứng không rõ ràng; chúng ta phân tích những trục trặc của những chiếc xe hơi hay máy stereo của chúng ta, …

- Bằng cách sử dụng phương pháp xác xuất và lý thuyết quyết định, nhưng trước tiên phải học lý thuyết xác suất từ kinh nghiệm của thế giới

- Sử dụng lý thuyết xác suất, chúng ta thường có thể xác định được, từ một tập lập luận biết trước, cơ hội xuất hiện của những sự kiện Chúng ta cũng có thể

mô tả những tổ hợp của các sự kiện ảnh hưởng đến nhau như thế nào

- Có nhiều tình huống thích hợp với sự phân tích xác suất Trước hết, là khi mà thế giới thực sự có tính chất ngẫu nhiên, như trong khi chơi một ván bài với các quân bài được trộn đều, hoặc khi quay một bánh xe rulet Ví dụ, trong trò chơi bài, quân bài tiếp theo được chia là một hàm của bộ bài (pinochle, poker)

và các quân bài hoàn toàn được nhìn thấy Một tình huống khác cho lý thuyết xác suất là mô tả thế giới “bình thường” Mặc dù các sự kiện trong thế giới có thể không thật sự ngẫu nhiên, thông thường không thể biết và đo được đầy đủ tất cả các nguyên nhân và những tương tác giữa chúng để dự đoán các sự kiện

Những tương quan thống kê là một thay thế tốt cho kiểu phân tích nhân quả này Một công dụng nữa của xác suất là dự đoán những ngoại lệ có thể xảy ra

đối với những quan hệ chung Phương pháp thống kê nhóm tất cả các ngoại

lệ vào trong một quan hệ rồi sau đó sử dụng số liệu này để cho biết một ngoại

lệ của bất kỳ kiểu nào có thể xuất hiện với mức độ trông đợi như thế nào Một vai trò quan trọng khác của thống kê là làm cơ sở cho phép quy nạp và học

Học Viên Thực Hiện: Đặng Quang Vinh – STT: 24 Trang: 5

II TIẾP CẬN THỐNG KÊ ĐỐI VỚI TÍNH KHÔNG CHẮC CHẮN

1 BAYESIAN LEARNING

Xét qua một ví dụ rất đơn giản: [2]

Giả sử có năm loại túi bánh kẹo có hai hương vị là anh đào và chanh Các nhà sản xuất kẹo có một ý tưởng đặc biệt hài hước, bọc mỗi viên kẹo trong một tờ giấy đục, bất kể hương vị của nó là gì Kẹo bỏ trong các túi rất lớn, không thể phân biệt

từ bên ngoài:

h1: 100% anh đào

h2: 75% anh đào + 25% chanh

h3: 50% anh đào + 50% chanh

h4: 25% anh đào + 75% chanh

h5: 100% chanh

Với một chiếc túi mới, biến ngẫu nhiên H (giả định) biểu thị loại túi, với giá trị

có thể chạy từ h1 đến h5 Đương nhiên H không thể nhìn thấy một cách trực tiếp Khi những viên kẹo được mở ra và kiểm tra, giá trị được thể hiện là D1, D2, Dn, trong đó Di là một biến ngẫu nhiên với giá trị có thể là anh đào và chanh Nhiệm

vụ chính là làm sao có thể dự đoán được mùi vị của viên kẹo kế tiếp Tuy đơn giản nhưng ví dụ này được dùng để giới thiệu nhiều vấn đề chính Thực sự cần để suy luận ra nguyên tắc mặc dù khá đơn giản

Học Viên Thực Hiện: Đặng Quang Vinh – STT: 24 Trang: 6

Phương pháp Bayesian đơn giản tính toán khả năng của từng giả định, dữ liệu được đưa ra và đưa ra sự dự đoán dựa trên căn cứ đó Những dự đoán được thực hiện bằng cách sử dụng tất cả những giả định, cân nhắc những khả năng có thể xảy ra hơn là chỉ sử dụng một giả định đơn “ tốt nhất” Cho D đại diện cho tất cả những giá trị, với giá trị có thể quan sát được d, khi đó khả năng của từng giả định được tính toán theo nguyên tắc Bayes:

Bây giờ, giả định chúng ta muốn dự đoán về giá trị chưa biết X, sau đó chúng

ta có công thức,

giả định rằng mỗi giả định quyết định một sự phân phối khả năng X Phương trình này cho thấy những dự đoán được đưa ra bằng cách tính toán trung bình những dự đoán của những giả định đơn Những giả định chính bản thân nó là “những người trung gian” cần thiết giữa những dữ liệu thô và những dự đoán Những số lượng quan trọng trong cách tiếp cận Bayes là những giả thuyết trước, P (hi), và khả năng của các dữ liệu theo từng giả thuyết, P (d \ hi)

Với ví dụ về viên kẹo ở trên, chúng ta sẽ giả định là sự phân phối trước từ h1, , h5 được cho bởi (0.1,0.2,0.4,0.2,0.1), như được quảng cáo bởi các nhà sản xuất Tính đúng của dữ liệu được tính toán dựa trên giả định là những quan sát là i.i.d-được phân phối một cách độc lập và giống nhau, do đó

Ví dụ, giả định đó là chiếc túi đựng toàn những viên kẹo chanh và 10 viên kẹo đầu tiên đều là kẹo chanh, khi đó P(d\hs) là 0.510

, bởi vì một nữa những viên kẹo trong 1 chiếc túi h3 là kẹo chanh Hình 20.1(a) thể hiện cách những khả năng của

Học Viên Thực Hiện: Đặng Quang Vinh – STT: 24 Trang: 7

5 giả định sau thay đổi như một hệ quả của 10 viên kẹo chanh đầu tiên đã được quan sát Ghi nhận những khả năng bắt đầu ở những giá trị trước của chúng, do đó h3 là sự lựa chọn đầu tiên và tiếp tục duy trì sau khi viên kẹo chanh thứ nhất được bóc vỏ Sau khi viên kẹo chanh thứ 2 được bóc vỏ, h4 là chủ yếu, từ viên thứ 3 thì h5 là chủ yếu Sau khi kiểm tra 10 viên kẹo, chúng ta có thể phần nào chắc chắn

về dự đoán của mình Hình 1(b) cho thấy giá trị được dự đoán là viên kẹo tiếp theo là kẹo chanh, dựa trên phương trình

Như chúng ta kì vọng, nó sẽ tăng đơn điệu đến 1

Ví dụ trên cho thấy giả định đúng thậm chí lấn át cả sự dự đoán Bayesian Đó

là đặc trưng của phương pháp Bayesian

Hình 1(a)

Học Viên Thực Hiện: Đặng Quang Vinh – STT: 24 Trang: 8

Hình 1(b)

1.1 Phép xấp xỉ MAP (Maximum a posteriori): [3]

Tổng hợp trên không gian giả thuyết là thường rất khó

Phương pháp MAP: chọn hMAP tối đa hóa P(hi|d)

Tức, tối đa hóa P(d|hi)P(hi) hoặc log P(d|hi) + log P(hi)

Những thuật ngữ Log có thể xem như những bit để mã hóa dữ liệu những giả định được đưa ra + những bit để mã hóa giả định

Đó là ý tưởng cơ bản phương pháp MDL (minimum description length)

Đối với các giả thuyết tất định, P (d | hi) là 1 nếu phù hợp, 0 nếu ngược lại

 MAP = giả thuyết phù hợp đơn giản nhất

1.2 Phương pháp hợp lý cực đại ML (Maximum likelihood) [3]

Với những tổ hợp dữ liệu lớn, xác suất trước trở nên không phù hợp

Phương pháp hợp lý cực đại (ML): chọn HML tối đa hóa P (d | hi) Nghĩa là, đơn

Học Viên Thực Hiện: Đặng Quang Vinh – STT: 24 Trang: 9

giả lấy giá trị tốt nhất sự phù hợp với dữ liệu; giống với phương pháp MAP đồng

nhất prior (điều đó là hợp lý nếu tất cả các giả thuyết là phức tạp như nhau.)

ML là một phương pháp học thống kê "tiêu chuẩn"(non-Bayesian)

1.3 Phương pháp thông số ML trong lưới Bayes [3]

Chiếc túi từ một nhà sản xuất mới, thành phần θ là một viên kẹo anh đào?

θ bất kì là có thể: miền liên tục của các giả định hθ

θ là một thông số cho những mô hình tổ hợp đơn giản

này (nhị thức) Giả định chúng ta bóc vỏ N viên kẹo, c viên kẹo anh đào và

ℓ=N − c viên kẹo chanh Đó là những giá trị quan sát i.i.d (independent,

identically distributed)

do đó

Tối đa hóa w.r.t θ này, cái được xem là dễ dàng hơn cho log-likelihood:

Trong có vẻ hợp lý nhưng có chút vấn đề với những phép tính 0!

Học Viên Thực Hiện: Đặng Quang Vinh – STT: 24 Trang: 10

1.4 Thông số bội [3]

Giấy gói xanh hay đỏ phụ thuộc vào hương vị

Ví dụ: likeihood (tính khả năng) cho viên kẹo

hương đào trong giấy gói màu xanh

Ví dụ N viên kẹo, rc viên kẹo đào với vỏ bọc màu đỏ:

Đạo hàm của L chỉ chứa đựng những thông số liên quan:

Học Viên Thực Hiện: Đặng Quang Vinh – STT: 24 Trang: 11

Với dữ liệu hoàn chỉnh, những thông số có thể được xem xét riêng biệt

Ví dụ: mô hình tuyến tính Gaussian

Tối đa hóa

= tối thiểu hóa

Đó là, giảm thiểu tổng bình phương các lỗi mang đến cho giải pháp ML một giả định phù hợp tuyến tính Gaussian phương sai cố định nhiễu

Tóm tắt

Học Viên Thực Hiện: Đặng Quang Vinh – STT: 24 Trang: 12

- Phương pháp Bayesian hoàn chỉnh đưa ra những dự đoán có thể tốt nhất nhưng phức tạp

- Phương pháp MAP cân bằng giữa tính phức tạp và độ chính xác trên dữ liệu thực nghiệm

- ML giả định xác suất trước (prior) đồng nhất, có thể sử dụng cho những tổ hợp

dữ liệu lớn

1 Lựa chọn một tổ hợp các mẫu đã được tham số hóa để mô tả dữ liệu

Đòi hỏi nhận thức thực tế và đôi khi là những mẫu mới

2 Liệt kê những khả năng của dữ liệu như là một chức năng của các thông số

Có thể yêu cầu tổng hợp các biến số ẩn

3 Viết ra đạo hàm log likelihood w.r.t của từng thông số

4 Tìm ra những giá trị thông số mà đạo hàm của chúng là 0 Có thể phức tạp hoặc không thể thực hiện được; những kỹ thuật tối ưu hóa hiện đại có thể giúp

ích trong trường hợp này

2 MẠNG NƠRON (NEURAL NETWORK) [5]

2.1 Giải thuật mạng Nơron

Mạng nơron (Neural Network) là một công cụ có khả năng giải quyết được nhiều bài toán khó Mạng nơron là giải thuật phân loại dựa trên sự mô phỏng khả năng suy luận của con người

Mạng nơron được ứng dụng nhiều trong các bài toán về nhận dạng (vân tay, tiếng nói, chữ, hay các ứng dụng nhận dạng khác), trong lĩnh vực khai phá dữ liệu (data mining), bài toán xây dựng các hệ hổ trợ ra quyết định, đáng giá hiệu năng của mạng Mạng nơron còn có thể kết hợp với logic mờ để tạo ra mạng nơron mờ

Học Viên Thực Hiện: Đặng Quang Vinh – STT: 24 Trang: 13

Trong mạng nơron có rất nhiều mô hình mạng như mạng nơron lan truyền thuận/ ngược, mạng Kronell Đối với trường hợp học để giải thích dữ liệu nhạy cảm của thế giới thực thì mạng nơron là một trong các phương pháp học hiệu quả nhất hiện nay Thuật toán lan truyền ngược đã chứng tỏ hiệu quả trong việc nhận dạng chữ viết (LeCun et al, 1989) hay nhận diện khuôn mặt (Cottell, 1990)

Mạng nơron là một hệ thống được tạo thành bởi sự nối kết giữa rất nhiều đơn

vị nơron xử lý đơn giản và hoạt động song song gọi là perceptron Những đơn vị nơron có nhiệm vụ thu thập các tín hiệu, xác định các trọng số wi nhân được từ các tín hiệu xử lý xi tại các đơn vị nơron khác truyền đến nó, sau đó tổng cộng và chuyển các tín hiệu ấy sang các đơn vị nơron khác

Trong mô hình nơron nhân tạo mỗi nơron được nối với các nơron khác và nhận tín hiệu xi từ chúng với trọng số wi Tổng thông tin vào có trọng số là:

Net =  wixi

Giá trị đầu ra y của một perceptron được tính bằng công thức sau:

) )

Học Viên Thực Hiện: Đặng Quang Vinh – STT: 24 Trang: 14

Một số hàm truyền thường được sử dụng:

- Hàm logistic (hay còn gọi là hàm sigma: x

e x



1

1)

Việc huấn luyện cho một mạng nơron bao gồm cập nhật các trọng số cho các perceptron, giải thuật phức tạp hơn nhiều do ta chỉ biết dữ liệu nhập, dữ liệu xuất cho từng mẫu và phải cập nhật các trọng số cho tất cả perceptron ở các lớp Việc cập nhật được thực hiện theo hai chiều là lan truyền thuận và lan truyền ngược Lan truyền thuận: dữ liệu xuất của lớp i sẽ được sử dụng như dữ liệu nhập của lớp i+1 Quá trình này được lan truyền từ lớp nhập để tính giá trị xuất cho lớp xuất Lan truyền ngược: độ chênh lệch giữa giá trị thực với giá trị xuất bởi mạng ở lớp i

sẽ được dùng để điều chỉnh trọng số cho lớp i-1

Mô hình minh họa mạng nơron một lớp:

Học Viên Thực Hiện: Đặng Quang Vinh – STT: 24 Trang: 15

Mô hình minh họa mạng nơron tổng hợp (nhiều lớp):

Học Viên Thực Hiện: Đặng Quang Vinh – STT: 24 Trang: 16

Mỗi nút trong lớp nhập nhận giá trị của một biến độc lập và chuyển vào mạng

Dữ liệu từ tất cả các nút trong lớp nhập được tổng trọng hóa và chuyển kết quả cho các nút trong lớp ẩn Tương tự, các nút trong lớp xuất cũng nhận được các tín hiệu tích hợp từ các nút trong lớp ẩn Mỗi nút trong lớp xuất tương ứng một lớp phụ thuộc Trong thực tế, hầu hết các bài toán gặp phải thường có nhiều biến độc lập và thường có nhiều biến phụ thuộc Vì thế ta cần một mạng tổng quát có nhiều nút nhập và nhiều nút xuất

Phần lớn các bài toán chỉ có một biến phụ thuộc, nhưng mạng nơron cho phép

có số biến phụ thuộc tùy ý Ví dụ trong bài toán phân lớp, chúng ta cần xác định lớp của các mẫu mới (ví dụ: mỗi mẫu có 100 thuộc tính (đặc trưng)) trong tổng số

12 lớp có thể có thì chúng ta có thể xây dựng một mạng với 100 nút trong lớp nhập và 12 nút trong lớp xuất, giá trị nút trong lớp xuất nào cao nhất thì khả năng mẫu mới sẽ thuộc về lớp tương ứng với nút trong lớp xuất đó Mạng lan truyền

Học Viên Thực Hiện: Đặng Quang Vinh – STT: 24 Trang: 17

tổng quát có thể có n lớp (n>2): lớp thứ nhất gọi là lớp nhập, lớp thứ n là lớp xuất,

và n-2 lớp ẩn

2.2 Đánh giá:

Phương pháp phân lớp dựa trên mạng nơron có các đặc điểm sau:

- Hàm đích của mạng nơron không tường minh, khó hiểu

- Việc xác định các tham số của mạng phục thuộc và người thiết kế mạng

- Nhược điểm của phân lớp mạng nơron là giải thuật phức tạp, thời gian học của phương pháp này thường chậm và không phù hợp với lượng dữ liệu lớn thường gặp trong phân lớp văn bản

Học Viên Thực Hiện: Đặng Quang Vinh – STT: 24 Trang: 18

VÍ DỤ VỀ BỘ PHÂN LỚP THEO PHƯƠNG PHÁP THỐNG KÊ

1 Phân lớp là gì? [4]

• Mục đích: để dự đoán những nhãn phân lớp cho các bộ dữ liệu/mẫu mới

• Đầu vào: một tập các mẫu dữ liệu huấn luyện, với một nhãn phân lớp cho mỗi mẫu dữ liệu

• Đầu ra: mô hình (bộ phân lớp) dựa trên tập huấn luyện và những nhãn phân lớp

• Phân lớp:

• Dự đoán các nhãn phân lớp

• Phân lớp dữ liệu dựa trên tập huấn luyện và các giá trị trong một thuộc tính phân lớp và dùng nó để xác định lớp cho dữ liệu mới

2 Phân lớp - Tiến trình hai bước [4]

Bước 1: Xây dựng mô hình từ tập huấn luyện

• Mỗi bộ/mẫu dữ liệu được phân vào một lớp được xác định trước

• Lớp của một bộ/mẫu dữ liệu được xác định bởi thuộc tính gán nhãn lớp

• Tập các bộ/mẫu dữ liệu huấn luyện - tập huấn luyện - được dùng để xây dựng mô hình

• Mô hình được biểu diễn bởi các luật phân lớp, các cây quyết định hoặc các công thức toán học

Bước 2: Sử dụng mô hình - kiểm tra tính đúng đắn của mô hình và dùng nó để

phân lớp dữ liệu mới

• Phân lớp cho những đối tượng mới hoặc chưa được phân lớp

• Đánh giá độ chính xác của mô hình