Tiểu luận môn CÔNG NGHỆ TRI THỨC VÀ ỨNG DỤNG TÌM HIỂU THUẬT TOÁN ROSENBLATT ĐỂ HUẤN LUYỆN MẠNG PERCEPTRON

Luật học sau đó được sử dụng để điều chỉnh trọng số và hệ số hiệu chỉnhcủa mạng để dịch chuyển đầu ra gần với các mục tiêu hơn.. Luật học không giám sát Trọng số và hệ số hiệu chỉnh được

ĐẠI HỌC QUỐC GIA THÀNH PHỐ HỒ CHÍ MINH TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN PHÒNG ĐÀO TẠO SĐH-KHCN&QHĐN

TIỂU LUẬN CÔNG NGHỆ TRI THỨC VÀ ỨNG DỤNG

TÌM HIỂU THUẬT TOÁN ROSENBLATT ĐỂ HUẤN LUYỆN MẠNG PERCEPTRON

GVHD: GS TSKH Hoàng Văn Kiếm HVTH: Võ Thị Thúy Lan

MSHV: CH1301096

TP Hồ Chí Minh, tháng 10/2014

MỤC LỤC

I PHẦN MỞ ĐẦU 1

II THUẬT TOÁN ROSENBLATT ĐỂ HUẤN LUYỆN MẠNG PERCEPTRON 2 2.1 Lịch sử 2

2.2 Luật học 3

2.2.1 Luật học có giám sát 3

2.2.2 Luật học tăng cường 3

2.2.3 Luật học không giám sát 3

2.3 Kiến trúc Perceptron 4

2.3.1 Perceptron một nơ-ron 5

2.3.2 Perceptron nhiều nơ-ron 9

2.4 Luật học Perceptron 10

2.4.1 Kiểm tra vấn đề 10

2.4.2 Xây dựng Luật học 12

2.4.3 Luật học thống nhất 16

III PHẦN MỀM TƯ VẤN MUA MÁY TÍNH NHỜ ÁP DỤNG THUẬT TOÁN HUẤN LUYỆN PERCEPTRON 20

3.1 Giới thiệu về phần mềm 20

3.2 Hướng dẫn sử dụng phần mềm 20

IV KẾT LUẬN 24

V TÀI LIỆU THAM KHẢO 25

 Thuật toán Rosenblatt để huấn luyện mạng Perceptron.

 Phần mềm tư vấn mua máy tính nhờ áp dụng thuật toán Rosenblatt huấnluyện Perceptron

Em xin chân thành cảm ơn Thầy GS TSKH Hoàng Văn Kiếm đã cung cấpcho em những kiến thức quý báu trong môn Công nghệ tri thức và ứng dụng làm cơ

sở nền tảng cho em thực hiện tiểu luận này

II THUẬT TOÁN ROSENBLATT ĐỂ HUẤN LUYỆN MẠNG PERCEPTRON 2.1 Lịch sử

Trong năm 1943, Warren McCulloch và Walter Pitts giới thiệu một trongnhững nơ-ron nhân tạo đầu tiên Các tính năng chính của mô hình nơ-ron của họ là sựtổng hợp có trọng số của tín hiệu đầu vào được so sánh với ngưỡng để tìm đầu ra củanơ-ron

Khi tổng lớn hơn hoặc bằng ngưỡng, đầu ra là 1 Khi tổng nhỏ hơn ngưỡng,đầu ra là 0

Họ tiếp tục cho thấy mạng nơ-ron có thể tính toán số học hoặc hàm logic.Không giống như các mạng sinh học, các thông số mạng của chúng được thiết kế màkhông có phương pháp đào tạo có sẵn Tuy nhiên, mối quan hệ giữa sinh học và máytính kỹ thuật số tạo ra rất nhiều sự quan tâm

Trong cuối những năm 1950, Frank Rosenblatt và một số nhà nghiên cứu khácphát triển một lớp học về mạng nơ-ron là perceptrons Các nơ-ron trong mạng nàycũng tương tự như của McCulloch và Pitts Đóng góp quan trọng của Rosenblatt làgiới thiệu một luật học để huấn luyện các mạng perceptron để giải quyết vấn đề nhậndạng mẫu Ông đã chứng minh rằng luật học của mình sẽ luôn luôn hội tụ về các trọng

số mạng chính xác nếu trọng số tồn tại để giải quyết vấn đề Sự huấn luyện đã đượcđơn giản và tự động

Tuy nhiên, mạng perceptron có nhiều hạn chế Những hạn chế này đã đượccông bố trong cuốn Perceptrons của Marvin Minsky và Seymour Papert

Họ đã chứng minh rằng mạng perceptron đã không có khả năng thực hiện một

số chức năng cơ bản Mãi đến những năm 1980 những hạn chế này mới được khắcphục với các mạng perceptron cải tiến (nhiều lớp) và những luật học liên quan

Ngày nay các perceptron vẫn còn được xem như là một mạng quan trọng Nóvẫn còn là một mạng nhanh và đáng tin cậy cho các vấn đề mà nó có thể giải quyết.Ngoài ra, sự hiểu biết về hoạt động của perceptron sẽ tạo cơ sở tốt cho sự hiểu biết

2.2 Luật học

Luật học là một thủ tục để sửa đổi các trọng số và hệ số hiệu chỉnh của mạngnơ-ron (Thủ tục này cũng có thể được gọi là một thuật toán huấn luyện.) Mục đíchcủa luật học là huấn luyện mạng để thực hiện một số nhiệm vụ Có nhiều loại luật họchuấn luyện mạng nơ-ron Chúng gồm ba loại chính: luật học có giám sát, luật họckhông giám sát và luật học gia tăng (hoặc phân loại)

2.2.1 Luật học có giám sát

Luật học đưa ra một tập hợp các mẫu có quy tắc và tương thích với mạng:

pq là một đầu vào mạng và tq tương ứng với đầu ra chính xác (mục tiêu) Khicác đầu vào được áp dụng vào mạng, các kết quả đầu ra mạng được so sánh với cácmục tiêu Luật học sau đó được sử dụng để điều chỉnh trọng số và hệ số hiệu chỉnhcủa mạng để dịch chuyển đầu ra gần với các mục tiêu hơn Luật học perceptron đượcxếp vào loại luật học có giám sát

2.2.2 Luật học tăng cường

Tương tự luật học có giám sát, ngoại trừ việc, thay vì đưa ra các đầu ra chínhxác cho mỗi đầu vào mạng, thuật toán chỉ cho một lớp Lớp là thước đo cho sự hoạtđộng của mạng trên một chuỗi đầu vào Đây là loại luật học hiện nay ít phổ biến hơn

so với luật học có giám sát Nó dường như là phù hợp nhất để kiểm soát các ứng dụng

hệ thống

2.2.3 Luật học không giám sát

Trọng số và hệ số hiệu chỉnh được sửa đổi để đáp ứng với đầu vào mạng Cómục tiêu không là đầu ra có sẵn Điều này dường như không thực tế Làm thế nào ta

có thể huấn luyện một mạng nếu ta không biết nó phải làm gì? Hầu hết các thuật toánthực hiện sự hoạt động phân cụm Chúng được luyện để phân loại các mô hình đầu

vào thành một số hữu hạn các lớp Điều này đặc biệt hữu ích trong các ứng dụng như

là lượng tử hóa vector

2.3 Kiến trúc Perceptron

Các mạng nơron mà trong mỗi nơron chỉ được liên kết với tất cả các nơron ởlớp kế tiếp và tất cả các mối liên kết chỉ được xây dựng từ trái sang phải được gọi làmạng nhiều lớp truyền thẳng (perceptrons)

Đầu ra của mạng được cho bởi:

Để thuận tiện cho sự xem xét các phần tử riêng lẻ của vector đầu ra Hãy xemxét ma trận trọng số:

Ta sẽ xác định một vector gồm các phần tử của hàng thứ i của W:

 Ma trận trọng số trở thành:

 Phần tử thứ i của vector đầu ra mạng:

Mà hàm truyền harlim được định nghĩa như sau:

Vì vậy, tích trong hàng thứ i của ma trận trọng số với vector đầu vào lớn hơn hoặc bằng -bi , thì đầu ra sẽ là 1, trái lại đầu ra sẽ là 0

Vì thế mỗi nơ-ron trong mạng chia không gian đầu vào thành hai khu vực Nó rất hữu ích để điều tra các ranh giới giữa các khu vực này Chúng tôi sẽ bắt đầu với các trường hợp đơn giản của một perceptron đơn lớp với hai đầu vào

2.3.1 Perceptron một nơ-ron

Ta hãy xem xét một perceptron hai đầu vào:

Đầu ra của mạng này được xác định bởi

Ranh giới phân loại các vector đầu vào được xác định bởi

Cụ thể hơn, ta hãy chỉ định các giá trị của trọng số và hệ số hiệu chỉnh là:

Ranh giới quyết định sẽ là:

Điều này xác định 1 đường trong không gian đầu vào Trên một bên của đườngđầu ra sẽ là 0; trên đường và phía bên kia của đường đầu ra sẽ là 1 Để vẽ đường, ta cóthể tìm những điểm cắt các trục p1 và p2

Để tìm điểm cắt p2 ta đặt p1 = 0:

Lưu ý: Ranh giới luôn luôn là trực giao với 1w , và được xác định bởi:

Đối với tất cả các điểm nằm trên ranh giới, tích trong của các vector đầu vàovới các vector trọng số là như nhau Ngoài ra, bất kỳ vector trong khu vực bóng mờcủa hình 4.3 sẽ có tích trong lớn hơn -b, và vector trong khu vực không có bóng mờ

sẽ có tích trong ít hơn -b Vì vậy vector trọng số 1w sẽ luôn luôn hướng về phía khuvực nơi mà đầu ra của mạng là 1.

Sau khi đã chọn một vector trọng số với định hướng góc chính xác, hệ số hiệuchỉnh có thể được tính bằng cách chọn một điểm trên ranh giới và thỏa mãn

Eq (4.15)

Ta sẽ áp dụng một trong những khái niệm thiết kế mạng perceptron để thựchiện một hàm logic đơn giản: các cổng AND Các cặp đầu vào/mục tiêu cho các cổngAND là:

Hình dưới minh họa cho vấn đề bằng đồ thị Mỗi vector đầu vào sẽ được dánnhãn theo mục tiêu Các vòng tròn đen chỉ ra rằng mục tiêu là 1, và các vòng tròntrắng cho mục tiêu là 0

Bước đầu tiên của thiết kế là chọn một ranh giới quyết định Ta muốn có mộtđường phân cách giữa vòng tròn đen và những vòng tròn trắng Có vô số các giảipháp cho vấn đề này Giải pháp hợp lý nhất để lựa chọn đường nằm giữa hai loại đầuvào, như thể hiện trong hình dưới:

Tiếp theo ta muốn chọn một vector trọng số trực giao với ranh giới quyếtđịnh Các vector trọng số có thể có chiều dài bất kỳ, vì vậy có thể chọn bất kỳ, ví dụchọn:

Cuối cùng, ta cần phải tìm ra hệ số hiệu chỉnh Ta có thể làm điều này bằngcách chọn một điểm trên ranh giới quyết định và đáp ứng Eq (4.15) Nếu ta sử dụng

để tìm

Bây giờ có thể kiểm tra lại mạng trên bằng một trong các cặp đầu vào/mụctiêu Nếu ta áp dụng p2 vào mạng , đầu ra sẽ là:

bằng với đầu ra đích t 2 Các cặp còn lại có thể kiểm tra tương tự như trên.

2.3.2 Perceptron nhiều nơ-ron

Lưu ý rằng đối với mạng perceptron nhiều nơ-ron, như trong hình 4.1, sẽ cómột ranh giới quyết định cho từng nơ-ron Ranh giới quyết định cho nơ-ron i sẽ đượcxác định bởi:

Một perceptron đơn lớp có thể phân loại các vector đầu vào thành hai loại, vìđầu ra của nó có thể là 0 hoặc 1 Một perceptron nhiều lớp có thể phân loại đầu vào

thành nhiều loại Mỗi loại được đại diện bởi một vector đầu ra khác nhau Vì mỗiphần tử của vector đầu ra có thể là 0 hoặc 1, có tổng cộng 2s loại có thể, trong đó S là

số nơ-ron

2.4 Luật học Perceptron

Luật học này là một ví dụ về luật học có giám sát, trong đó các luật học đưa ra

một tập hợp các mẫu theo quy tắc của mạng:

Tại pq là một đầu vào mạng và tq tương ứng với đầu ra chính xác (mục tiêu).Khi các đầu vào được áp dụng vào mạng, các kết quả đầu ra mạng được so sánh vớicác mục tiêu Luật học sau đó được sử dụng để điều chỉnh trọng số và hệ số hiệuchỉnh của mạng để dịch chuyển đầu ra gần với các mục tiêu hơn

Các mạng giải quyết cho vấn đề này cần phải có hai đầu vào và một đầu ra Đểđơn giản hóa việc khai triển các luật học, ta sẽ bắt đầu với một mạng lưới mà không

có hệ số hiệu chỉnh Mạng lưới sẽ có 2 thông số, w1,1 và w1,2, như trong hình 4.4

Hình 4.4 Vấn đề kiểm tra mạng Bằng cách bỏ đi hệ số hiệu chỉnh, ta có mạng như hình:

Ranh giới quyết định phải đi qua gốc tọa độ Ta cần phải chắc chắn rằng mạnglưới này vẫn có thể giải quyết vấn đề kiểm tra Cần phải tìm một ranh giới quyết địnhcho phép tách các vectơ p2 và p3 từ vectơ p1 Hình minh họa trên giải thích cho sự vôhạn của ranh giới

Hình trên cho thấy các vec tơ trọng số tương ứng với các ranh giới quyết định.Chiều dài của các vector trọng số không quan trọng, chỉ có hướng của nó là quantrọng.

2.4.2 Xây dựng Luật học

Huấn luyện bắt đầu bằng cách chỉ định một số giá trị ban đầu cho các thông số mạng Trong trường hợp này chúng tôi đang huấn luyện một mạng lưới 2 đầu vào/1 đầu ra mà không có hệ số hiệu chỉnh, vì vậy chúng tôi chỉ có thể thiết lập giá trị ban đầu với 2 trọng số của nó Ở đây ta đặt các phần tử của vector trọng số 1w ngẫu nhiên với các giá trị sau :

1wT = [ 1.0 -0.8] ( 4.21 )Các vectơ đầu vào của mạng được trình bày như sau:

Với p1 ta có :

Mạng không trả về giá trị chính xác Đầu ra của mạng là 0, trong khi yêu cầucần đáp ứng, t1, là 1

Ta có thể xem những gì đã xảy ra bằng cách nhìn vào biểu đồ sau:

Các giá trị ban đầu đã chọn của vector trọng số phân lớp không chính xác cho vector p1 Vì vậy ta cần phải thay đổi vector trọng số để nó có vị trí gần vector p1hơn,

để trong tương lai nó có cơ hội phân loại chính xác hơn

Để giải quyết vấn đề là ta có thể thiết lập 1w xấp xỉ bằng p1 Quy tắc này đơn giản và đảm bảo để p1 được phân loại chính xác cho vấn đề này Tuy nhiên, ta có thể

dễ dàng xây dựng nên một vấn đề mà không thể áp dụng quy tắc này Đồ thị dưới cho thấy một vấn đề mà không thể giải quyết trực tiếp được với các vector trọng số tại một trong hai vector khác nhau thuộc cùng 1 lớp Nếu lần nào ta cũng áp dụng quy tắc

1w = p cho một trong hai vec tơ thì sẽ phân loại sai, trọng số của mạng chỉ đơn giản là

sẽ dao động qua lại và sẽ không bao giờ tìm thấy được một giải pháp đúng đắn

Một khả năng khác là cộng p1 với 1w Cộng p1 cho 1w làm cho các điểm của 1w

gần p1 hơn Quy luật này có thể được trình bày như sau:

Áp dụng quy tắc này cho vấn đề trên ta được giá trị mới của 1w :

Hình minh họa:

Bây giờ chuyển sang vector đầu vào tiếp theo và tiếp tục làm thay đổi trọng số

và lặp lại quá trình với tất cả các đầu vào cho đến khi phân loại chính xác

Điều này đưa ta tới quy tắc thứ ba và cuối cùng đó là: nếu mạng hoạt động, không sửa chữa nó.

Dưới đây là ba quy tắc, bao gồm tất cả các tổ hợp của giá trị đầu ra và mục tiêuthích hợp:

2.4.3 Luật học thống nhất

Ba quy tắc trên có thể được viết lại thành 1 biểu thức đơn giản Đầu tiên ta sẽ định nghĩa 1 biến số mới được gọi là sai số perceptron e:

Các quy tắc được viết lại như sau:

Ta thấy trong 2 quy tắc đầu thì dấu của p và e là giống nhau Hơn nữa quy tắc

3 không chứa p tương ứng với e = 0 Do đó ta có thể viết lại 3 quy tắc thành 1 quy tắc thống nhất như sau:

Quy tắc trên có thể mở rộng để huấn luyện hệ số hiệu chỉnh bằng cách coi hệ

số hiệu chỉnh như 1 trọng số đơn giản với đầu vào luôn là 1 Ta có thể thay đầu vào p trong biểu thức 4.34 như đầu vào luôn mang giá trị 1 để huấn luyện hệ số hiệu chỉnh:

2.4.4 Huấn luyện mạng perceptron nhiều nơ-ron

Các quy tắc perceptron, được cho bởi biểu thức (4.34) và (4.35), cập nhật vector trọng số cho perceptron một nơ-ron Ta có thể khái quát hóa quy tắc này cho các perceptron nhiều nơ-ron của Hình 4.1 như sau Để cập nhật hàng thứ i của ma trậntrọng số ta có:

Để cập nhật phần tử thứ i của vector hệ số hiệu chỉnh ta áp dụng biểu thức:

Để thuận tiện các quy tắc perceptron có thể được viết dưới dạng ký hiệu ma trận như sau:

Ví dụ:

Để kiểm tra luật học perceptron, ta sẽ xem xét lại ví dụ về táo/cam Các cặp đầu vào/đầu ra sẽ được các vector mẫu thử nghiệm:

Giả sử giá trị ban đầu của ma trận trọng số và hệ số hiệu chỉnh là

Bước đầu tiên ta sẽ áp dụng vector p1 vào mạng:

Bảng cập nhật trọng lượng:

Bảng cập nhật hệ số hiệu chỉnh là:

Bước 2: quy tắc perceptron là:

Bước 3 lặp lại một lần nữa với các vector đầu vào đầu tiên p1:

Nếu tiếp tục lặp đi lặp lại sẽ thấy rằng cả hai vectơ đầu vào bây giờ sẽ được phân loại một cách chính xác Thuật toán đã hội tụ về một phương pháp

Lưu ý: Ranh giới quyết định cuối cùng không giống như ranh giới mà ta trình bày trong Chương 3, mặc dù cả hai ranh giới đều phân loại chính xác các vectơ hai đầu vào

III PHẦN MỀM TƯ VẤN MUA MÁY TÍNH NHỜ ÁP DỤNG THUẬT TOÁN HUẤN LUYỆN PERCEPTRON

3.1 Giới thiệu về phần mềm

Sản phẩm được xây dựng trên ngôn ngữ lập trình Visual C# 2008 Bằng việc

áp dụng giải thuật huấn luyện Perceptron của Frank Rosenblatt, phần mềm sẽ đưa ranhững câu tư vấn giúp giải quyết những băn khoăn trong quyết định nên mua máytính hay không

Đặc điểm của phần mềm là giao diện đẹp, đơn giản, rất trực quan, dễ sử dụng

và thân thiện với người dùng

3.2 Hướng dẫn sử dụng phần mềm

Trước hết ta mở và chạy chương trình Giao diện chính của phần mềm sẽ hiện lênnhư sau:

Nhập dữ liệu và thông tin cá nhân Click vào nút Xem tư vấn Thông báo về

thông tin tư vấn sẽ hiện lên đưa ra lời khuyên hợp lí nhất

Ta có thể xem lời giải thích từ thông tin đã nhập vào khi Click vào nút Xem giải thích.

IV KẾT LUẬN

Perceptron là một trong những hàm phân lớp đơn giản, cũng là một trongnhững tế bào thần kinh nhân tạo đầu tiên Vì vậy, bài tiểu luận đã tập trung nghiêncứu thuật toán Rosenblatt để huấn luyện mạng Perceptron hiệu quả và áp dụng vào bàitoán phân lớp văn bản

Mặc dù dữ liệu Perceptron của chương trình Demo còn đơn giản, hạn chế và

độ chính xác chưa cao, song em đã hiểu được việc áp dụng thuật toán Rosenblatttrong bài toán hỗ trợ tự động phân lớp văn bản Trong thời gian tới, em sẽ cố gắngphát triển chương trình để có thể mang về kết quả chính xác và tiết kiệm thời giannhất

Một lần nữa em xin chân thành cám ơn Thầy GS TSKH Hoàng Văn Kiếm đãgiúp em hoàn thành bài báo cáo này

V TÀI LIỆU THAM KHẢO Tiếng Việt

[1] GS TSKH Hoàng Văn Kiếm, Slide bài giảng Công nghệ tri thức và ứng dụng,2014

[2] Hoàng Kiếm, Nguyễn Hồng Sơn, Đào Minh Sơn, “Ứng dụng mạng nơron nhântạo trong hệ thống xử lý biểu mẫu tự động”, Kỷ yếu hội nghị kỷ niệm 25 nămthành lập Viện Công nghệ Thông tin, 2001

[3] Nhóm 17_KHMT2 K3, “Tìm hiểu thuật toán Rosenblatt để huấn luyện mạngPerceptron và cài đặt ứng dụng”, Báo cáo môn Lý thuyết nhận dạng, 2013, tr 3-

23

Tiếng Anh

[4] Peter Harrington Machine Learning in Action Manning Publication, 2012 [5] Stephen Marsland Machine Learning: an algorithmic perspective CRC Press,2009

[6] Website: http://etintin.com/csstudyfun/?tag=rosenblatt ,

http://csstudyfun.wordpress.com/tag/rosenblatt/