Tiểu luận môn CÔNG NGHỆ TRI THỨC VÀ ỨNG DỤNG TÌM HIỂU MẠNG BAYES VÀ THUẬT TOÁN BAYES VÀ ỨNG DỤNG BAYES THEOREM TRONG PHÂN LỚP DỮ LIỆU NAÏVE BAYES CLASSIFIER

Quản lý tri thức knowledge management: bao gồm tiếp nhận, biểu diễn và tối ưu hóa cơsở tri thức… Các hệ cơ sở tri thức knowledge-based systems: tìm hiểu cấu trúc bên trong của một hệ cơ

ĐẠI HỌC QUỐC GIA TP.HCM TRƯỜNG ĐẠI CƠNG NGHỆ THƠNG TIN

BÀI THU HOẠCH CƠNG NGHỆ TRI THỨC VÀ ỨNG DỤNG

Đề tài:

TÌM HIỂU MẠNG BAYES VÀ THUẬT TỐN BAYES VÀ ỨNG DỤNG BAYES THEOREM TRONG

PHÂN LỚP DỮ LIỆU (NẠVE BAYES CLASSIFIER)

Giảng viên hướng dẫn : GS.TSKHHỒNG KIẾM

Học viên thực hiện :TRỊNH NAM VIỆT

Tháng 10/2014

MỤC LỤC

Lời mở đầu 2

Chương I: Tổng quan 3

1 Cơng nghệ tri thức 3

2 Khoa học tri thức 3

3 Vai trị của cơng nghệ tri thức 3

4 Hướng nghiên cứu, phát triển cơng nghệ tri thức 3

5 Quản lí tri thức 4

6 Tổng quan hệ cơ sở tri thức 5

7 Máy học và khám phá tri thức 8

8 Nhà kho dữ liêu và khai mỏ dữ liệu 11

Chương II: Giới thiệu mạng Bayes và thuật tốn Bayes 13

1 Mạng Bayes 13

2 Thuật tốn 17

Chương III: Ứng dụng Bayes Theorem trong phân lớp dữ liệu (Nạve Bayes Classifier) 19

1 Mục đích chương trình 19

2 Tĩm tắt quá trình hoạt động 19

Kết luận 24

Tài liệu tham khảo 25

LỜI MỞ ĐẦU

Ước mơ của con người là tạo ra những máy móc có thông minh như con người, có thể xử línhững công việc của con người với tỉ lệ thành công cao nhất

Nhưng cũng có những bài toán phức tạp với những giới hạn không vượt qua được về thời gian và

cả chi phí nên “Công Nghệ tri thức”– một nhánh nhỏ của Khoa học máy tính - giúp con ngườigiải quyết những bài toán với thời gian, chi phí và độ chính xác chấp nhận được

1

2 CHƯƠNG I: TỔNG QUAN

1 Công nghệ tri thức:

Công nghệ tri thức (Knowledge Engineering): có thể xem là một nhánh nghiên cứu của trí tuệ nhân tạo, phân tích tri thức lĩnh vực và chuyển nó thành những mô hình tính toán đưa vào máy tính để phục vụ những nhu cầu cần thiết (John F.Sowa Knowledge representation: Logical, philosophical, and Computational Foundations Copyright

@2000 by Brooks/Cole A division of Thomson Learning)

2 Khoa học tri thức:

Khoa học về sáng tạo, quản lí, khai thác, sử dụng tri thức, dựa trên sự kết hợp của khoa học thông tin + khoa học hệ thống + khoa học xã hội

3 Vai trò của công nghệ tri thức:

Cùng với sự phát triển nhanh chóng, vượt bậc của ngành công nghiệp máy tính,

nhu cầu của người dùng đối với máy tính ngày một cao hơn: không chỉ giải quyết những công việc lưu trữ, tính toán bình thường, người dùng còn mong đợi máy

tính có khả năng thông minh hơn, có thể giải quyết vấn đề như con người Và từ

đó trí tuệ nhân tạo nói chung và đặc biệt là công nghệ tri thức ra đời và phát triển.Công nghệ tri thức đóng vai trò hết sức quan trọng trong việc phát triển Côngnghệ thông tin, nâng cao sự hữu dụng của máy tính, giúp con người gần gũi vớimáy tính hơn

Công nghệ tri thức còn góp phần thúc đẩy nhiều ngành khoa học khác phát triển,khả năng phát triển khoa học dựa trên tri thức liên ngành

4 Hướng nghiên cứu, phát triển công nghệ tri thức

Quản lý tri thức (knowledge management): bao gồm tiếp nhận, biểu diễn và tối ưu hóa cơ

sở tri thức…

Các hệ cơ sở tri thức (knowledge-based systems): tìm hiểu cấu trúc bên trong của một hệ

cơ sở tri thức, phân loại các hệ cơ sở tri thức, và một số hệ cơ sở tri thức điển hình.Khai mỏ dữ liệu, khám phá tri thức (Data mining, knowledge discovery): nghiên cứu vềphương pháp, kỹ thuật để khai mỏ dữ liệu và khám phá tri thức

- Thông qua bàn phím, chuột, cảm biến, cảm ứng, thiết bị ghi âm, mà hình, âm thanh, văn bản…

b Biểu diễn tri thức:

+Phương pháp biểu diễn tri thức:

- Logic mệnh đề & logic vị từ

c Tối ưu hóa cơ sở tri thức:

+Tại sao tối ưu cơ sở tri thức ?

- Vấn đề mâu thuẫn, trùng lắp, dư thừa nảy sinh khi tri thức được tiếp nhận và biểudiễn trong cơ sở tri thức Vì vậy đòi hỏi chúng ta phải có phương pháp để tối ưu cơ sởtri thức

- Tùy thuộc vào cách biểu diễn tri thức, chúng ta sẽ có phương pháp thích hợp để tối

ưu cơ sở tri thức

Ví dụ: điển hình cho vấn đề này là bài toán loại bỏ luật thừa trong cơ sở tri thức luật

6 Tổng quan hệ cơ sở tri thức

a Hệ cơ sở tri thức đóng:

Là những hệ cơ sở tri thức được xây dựng với một số “tri thức lĩnh vực” ban đầu, vàchỉ những tri thức đó mà thôi trong suốt quá trình hoạt động hay suốt thời gian sốngcủa nó

Ví dụ: những hệ cơ sở tri thức về kinh dịch, những hệ giải toán, thường là những hệ

cơ sở tri thức giải quyết vấn đề…

b Hệ cơ sở tri thức mở:

Kà những hệ cơ sở tri thức tiên tiến hơn, nó có khả năng bổ sung tri thức trong quátrình hoạt động, khám phá

Ví dụ: Những hệ giải toán cho phép bổ sung tri thức trong quá trình suy luận (tri thứcban đầu là những tiên đề và một số định lý, tri thức bổ sung là những định lý mới,những tri thức heurictis, …); những hệ cơ sở tri thức chẩn đoán, dự báo chẳng hạn: hệchẩn đoán y khoa MYCIN và EMYCIN, những hệ dự báo thời tiết, khí hậu, động đất,

…

c Hệ cơ sở tri thức kết hợp:

Bao gồm sự kết hợp giữa hệ đóng và hệ mở, hệ kết hợp giữa CSTT và CSDL, hệ kếthợp giữa hệ CSTT này với một hệ CSTT khác, … Những hệ cơ sở tri thức kết hợpthường phát triển mạnh dựa trên tri thức liên ngành

Ví dụ: những hệ hỗ trợ ra quyết định trong đời sống, kinh tếvà khoa học; (kinh dịch,

tử vi áp dụng với đời sống; kinh dịch, tử vi áp dụng với y học; …); những hệ chẩnđoán, dự báo đòi hỏi tri thức liên ngành; …

d Phân loại

+ Phân loại theo phương pháp biểu diễn tri thức:

Tùy thuộc vào phương pháp biểu diễn tri thức mà chúng ta có thể phân loại các hệ cơ

sở tri thức:

Hệ cơ sở tri thức dựa trên logic mệnh đề và logic vị từ

Hệ cơ sở tri thức dựa trên luật dẫn

Hệ cơ sở tri thức dựa trên đối tượng

Hệ cơ sở tri thức dựa trên Frame

Hệ cơ sở tri thức dựa trên mạng ngữ nghĩa

Hệ CSTT kết hợp một số phương pháp biểu diễn đã nêu trên…

+ Phân loại theo ứng dụng:

Hệ giải quyết vấn đề: thường là hệ có tính chất đóng, nhưng đôi khi cũng có hệ mangtính mở

Ví dụ: Những hệ giải toán, thuật giải Vương Hạo, thuật giải Robinson, …

Hệ hỗ trợ quyết định: thường là các hệ mang tính kết hợp (CSDL + tri thức ngành +hàm toán học + ), đối tượng sử dụng là các nhà lãnh đạo

Ví dụ: những hệ thống đánh giá doanh nghiệp (tình hình tài chính, kết quả kinhdoanh, qui trình nghiệp vụ, qui trình sản xuất, tính chuyên nghiệp trong quản lý, …),những hệ thống lập kế hoạch (planning), …

Hệ dự báo, chẩn đoán: thường cũng giống như những hệ hỗ trợ ra quyết định với tínhngoại suy cao hơn

Ví dụ: Bài toán chẩn đoán hỏng hóc xe, chẩn đoán y khoa, dự báo thị trường chứngkhoán, thời tiết …

Hệ điều khiển: là những hệ điều khiển có gắn với CSTT Những hệ thống này thườngứng dụng trong công nghiệp, trong điều khiển tự động hóa, thường là những hệ thốngthời gian thực (real-time systems) Một số hệ thống này có sử dụng kết hợp lý thuyết

mờ để xử lý

Ví dụ: Máy giặt, Máy bơm nước với bộ điều khiển mờ, …

7 Máy học và khám phá tri thức

a Thế nào là khám phá tri thức (knowledge discovery) ?

Khám phá tri thức là tìm ra những tri thức tiềm ẩn, những tri thức mới (không

phải là những tri thức kinh điển, kinh nghiệm, …)

Thừa dữ liệu, thông tin nhưng thiếu tri thức

Ví dụ: Trong toán học

Dữ liệu: 1, 1, 2, 3, 5, 8, 13, 21, 34, …

Mối liên hệ này có thể được biểu diễn bằng công thức sau: Un = Un-1 + Un-2Mối liên hệ này có thể được biểu diễn bằng công thức sau: Un = Un-1 + Un-2Công thức tìm ra ở trên chính là tri thức

Ví dụ: Trong vật lý

Công thức: U = IxR là tri thức rút ra từ thực nghiệm

Ví dụ: Chuồn chuồn bay thấp thì mưa, bay cao thì nắng, bay vừa thì râm

Lời nhận xét trên là tri thức rút ra từ kinh nghiệm đời sống

b Thế nào là máy học (Learning Machine) ?

Máy tính hay chương trình máy tính có khả năng tự hoàn thiện từ “kinh nghiệm”.Máy học còn có nghĩa là việc mô hình hóa môi trường xung quanh hay khả năngmột chương trình máy tính sinh ra một cấu trúc dữ liệu mới khác với cấu trúc hiện

có Chẳng hạn việc tìm ra những luật If…then… từ tập dữ liệu đầu vào

c Phân loại các phương pháp máy học

Có nhiều quan điểm phân loại khác nhau

Phân loại thô:

-Học giám sát (supervised learning)-Học không giám sát (unsupervised learning)Phân loại theo 2 tiêu chuẩn cùng lúc: “cấp độ học” & “cách tiếp cận”

Cấp độ học:

-Học vẹt (Rote learning)-Học theo giải thích (by explanation)-Học theo ví dụ, trường hợp (by examples, cases)-Học khám phá (by discovering)

d Cách tiếp cận

Tiếp cận thống kê

Tiếp cận toán tử logic

Tiếp cận hình học (phân hoạch không gian, xây dựng cây định danh, …)

Tiếp cận mạng Neural

Tiếp cận khai mỏ dữ liệu

…

8 Nhà kho dữ liệu và khai mỏ dữ liệu

DATA WAREHOUSE = Biến đổi dữ liệu thành tri thức yễm trợ tiến trình raquyết định

DatawareHouse = Business Information + Decision Making(IBM BPEC’96

Conference, San Diego, USA)

Sự bùng nổ của các CSDL lớn vượt quá khả năng diễn dịch và lĩnh hội của conngười, phát sinh yêu cầu sáng tạo các công cụ kỹ thuật mới để phân tích dữ liệu

một cách thông minh và tự động nhằm tạo ra tri thức hữu dụng hỗ trợ tốt cho tiến

trình ra quyết định.(Usama, Data Mining and Knowledge Discovery, 1995)

Một số bài toán điển hình về data mining:

-Bài toán khám phá luật kết hợp-Bài toán nhận dạng mẫu-Bài toán phân loại dữ liệu-Bài toán gom nhóm dữ liệu-Bài toán lập mô hình-Bài toán dự báo

CHƯƠNG II: GIỚI THIỆU MẠNG BAYES VÀ THUẬT TOÁN BAYES

1 Mạng Bayes

a Định nghĩa

Một mạng Bayes là một đồ thị có hướng phi chu trình mà trong đó:

 các nút biểu diễn các biến,

 các cạnh biểu diễn các quan hệ phụ thuộc thống kê giữa các biến và phân phối xác

suất địa phương cho mỗi giá trị nếu cho trước giá trị của các cha của nó.

Nếu có một cạnh từ nút A tới nút B, thì biến B phụ thuộc trực tiếp vào biến A,

và A được gọi là cha của B Nếu với mỗi biến Xi, , tập hợp các biến

cha được ký hiệu bởi parents(Xi), thì phân phối có điều kiện phụ thuộc của các biến làtích của các phân phối địa phương

Nếu Xi không có cha, ta nói rằng phân phối xác suất địa phương của nó là không có

điều kiện, ngược lại thì gọi là có điều kiện Nếu biến được biểu diễn bởi một nút được quan sát, thì ta nói rằng nút đó là một chứng cứ (evidence node).

Các câu hỏi về sự phụ thuộc không tương đẳng giữa các biến có thể được trả lời bằng

cách nghiên cứu đồ thị Có thể chứng minh rằng trong đồ thị, tính độc lập có điều

kiện được biểu diễn bởi tính chất đồ thị d-khả ly: cho trước một số nút hiển nhiên cụ thể, các nút X và Y là d-khả ly trong đồ thị khi và chỉ khi các biến X và Y là độc lập, với giá trị đã biết các chứng cứ tương ứng Tập hợp gồm tất cả các nút khác mà X có thể phụ thuộc trực tiếp được cho bởi bao Markov của X.

Một ưu điểm của mạng Bayes là, về mặt trực quan, ta có thể hiểu các quan hệ phụ thuộc một cách trực tiếp và các phân phối địa phương dễ dàng hơn là phân phối có điều kiện phụ thuộc hoàn chỉnh.

b Mạng Bayes nhân quả

Mạng Bayes nhân quả là một mạng Bayes mà trong đó các cạnh có hướng của đồ thị được hiểu là các quan hệ nhân quả trong một miền xác định có thực nào đó Các cạnh

có hướng, một cách tổng quát, không nhất thiết phải được hiểu là các quan hệ nhân quả; tuy nhiên, trong thực tiễn, tri thức về các quan hệ nhân quả rất hay được dùng đểhướng dẫn vẽ các đồ thị mạng Bayes, kết quả là có được các mạng Bayes nhân quả

c Học cấu trúc

Trong trường hợp đơn giản nhất, một mạng Bayes được xây dựng bởi một chuyên gia

và rồi được dùng để thực hiện việc suy luận Trong các ứng dụng khác, công việc xâydựng mạng quá phức tạp đối với con người Trong trường hợp này, cấu trúc và các tham số mạng của các phân bố địa phương phải được học từ dữ liệu

Học cấu trúc của một mạng Bayes (nghĩa là học đồ thị) là một phần rất quan trọng của ngành nhận thức máy Giả thiết rằng dữ liệu được sinh từ một mạng Bayes và rằng tất cả các biến là quan sát được (chứng cứ) trong mọi lần lặp, việc tối ưu hóa dựatrên phương pháp tìm kiếm có thể được dùng để tìm cấu trúc mạng Việc này đòi hỏi

một hàm tính điểm (scoring function) và một chiến lược tìm kiếm Hàm tính điểm thông dụng là xác suất hậu nghiệm (posterior probability) của cấu trúc khi cho trước

dữ liệu huấn luyện (training data) Quá trình tìm kiếm duyệt toàn cục để trả về một

cấu trúc có số điểm tối ưu đòi hỏi thời gian cấp siêu lũy thừa (superexponential) theo

số lượng biến Ngược lại, các chiến lược tìm kiếm địa phương thực hiện các thay đổi tăng dần hướng tới việc nâng cao điểm số của cấu trúc Một thuật toán tìm kiếm toàn

cục như Phương pháp xích Markov Monte Carlo (Markov chain Monte Carlo) có thể

tránh việc bị bẫy trong một cực tiểu địa phương

d Học Tham số

Để cụ thể hóa mạng Bayes và biểu diễn đầy đủ các phân bố xác suất phụ thuộc có

điều kiện, đối với mỗi biến X, cần phải chỉ ra phân bố xác suất X theo điều kiện thông tin từ các cha của X Phân bố của X theo các cha của nó có thể có hình thức bất kỳ

Người ta thường dùng các phân bố rời rạc hay phân bố Gauss, do các phân bố này làm đơn giản việc tính toán Đôi khi, khi chỉ biết được các ràng buộc của các phân bố;

ta có thể dùng nguyên lý entropy cực đại để xác định một phân bố cụ thể, phân bố với entropy cực đại thỏa mãn các ràng buộc đó (Tương tự, trong ngữ cảnh cụ thể của một mạng Bayes động, người ta thường lấy phân bố có điều kiện cho sự phát triển

theo thời gian của trạng thái ẩn để cực đại hóa hệ số entropy (entropy rate) của quá

trình ngẫu nhiên được nói đến.)

Thông thường, các phân bố có điều kiện này bao gồm các tham số chưa biết và phải

được ước lượng từ dữ liệu, đôi khi bằng cách tiếp cận khả năng cực đại (maximum

likelihood) Việc cực đại hóa trực tiếp khả năng (hoặc xác suất hậu nghiệm) thường

phức tạp khi có các biến không quan sát được Một cách tiếp cận truyền thống đối với

vấn đề này là thuật toán cực đại hóa k vọng (expectation-maximization algorithm),

thuật toán này luân phiên giữa việc tính toán các giá trị kỳ vọng của các biến không được quan sát theo dữ liệu quan sát được, với việc cực đại hóa khả năng (hay hậu nghiệm) hoàn chỉnh với giả thuyết rằng các giá trị mong đợi đã tính được là đúng đắn Dưới các điều kiện chính quy và vừa phải, quá trình này hội tụ về các giá trị khả năng cực đại (hay xác suất hậu nghiệm cực đại) của các tham số Một cách tiếp cận Bayes đầy đủ hơn đối với việc học tham số là coi các tham số như là các biến không quan sát được khác và tính một phân bố hậu nghiệm đầy đủ trên toàn bộ các nút theo

dữ liệu quan sát được, sau đó tách các tham số ra Cách tiếp cận này có thể có chi phí tính toán cao và dẫn đến các mô hình có số chiều lớn, do đó trong thực tế, các cách tiếp cận truyền thống thường được sử dụng hơn

e Suy luận

Do mạng Bayes là một mô hình hoàn chỉnh cho các biến và các quan hệ giữa chúng,

có thể dùng mạng Bayes để trả lời các truy vấn xác suất về các biến này Ví dụ, mạng Bayes có thể được dùng để tìm tri thức mới nhất về trạng thái của một tập con gồm

các biến khi các biến khác (các biến hiển nhiên) được quan sát Quá trình tính phân

bố hậu nghiệm này của các biến khi cho trước các biến hiển nhiên được gọi là suy luận xác suất Quá trình hậu nghiệm cho ra một thống kê đủ phổ quát (universal

sufficient statistic) cho các ứng dụng phát hiện, khi người ta muốn chọn các giá trị

cho một tập con các biến nhằm mục đích cực tiểu hóa một hàm phí tổn nào đó, chẳng hạn xác suất của lỗi quyết định Do đó, có thể coi mạng Bayes là một cơ chế cho việc xây dựng tự động các mở rộng của định lý Bayes cho các bài toán phức tạp hơn

f Ứng dụng

Mạng Bayes được dùng cho việc mô hình hóa tri thức trong các mạng điều hòa

gene (gene regulatory network), trong các hệ thống y học, phân tích văn bản, xử lý ảnh dung hợp dữ liệu, và các hệ hỗ trợ quyết định (decision support system)

2 Thuật toán Bayes

Trong lĩnh vực Machine Learning, Bayes Theorem (hay Bayes’ Rule) là kỹ thuật phân lớp dựa vào việc tính xác suất có điều kiện Bayes’ Rule được ứng dụng rất rộng rãi bởi tính dễ hiểu và dễ triển khai