Nghiên cứu mạng nơron và ứng dụng trong nhận dạng chữ viết tay trực tuyến

BẢN CAM KẾTTên tôi là: Chu Hoàng Hà Lớp: Cao học Công nghệ thông tin K10A Giáo viên hướng dẫn: PGS-TS Ngô Quốc Tạo Cơ quan công tác: Trường Đại học Sư phạm Kỹ Thuật Nam Định Tôi xin cam

BẢN CAM KẾT

Tên tôi là: Chu Hoàng Hà

Lớp: Cao học Công nghệ thông tin K10A

Giáo viên hướng dẫn: PGS-TS Ngô Quốc Tạo

Cơ quan công tác: Trường Đại học Sư phạm Kỹ Thuật Nam Định

Tôi xin cam đoan toàn bộ nội dung được trình bày trong bản luận vănnày là kết quả tìm hiểu và nghiên cứu của riêng tôi, trong quá trình nghiên cứu

luận văn “Nghiên cứu mạng nơron và ứng dụng trong nhận dạng chữ viết tay trực tuyến” các kết quả và dữ liệu được nêu ra là hoàn toàn trung thực.

Mọi thông tin trích dẫn đều được tuân theo luật sở hữu trí tuệ, có liệt kê rõ ràngcác tài liệu tham khảo

Tôi xin chịu hoàn toàn trách nhiệm với những nội dung được viết trongluận văn này

Thái Nguyên, ngày 08 tháng 06 năm 2013

HỌC VIÊN

CHU HOÀNG HÀ

LỜI CẢM ƠN

Luận văn được thực hiện tại Trường Đại học Công nghệ Thông tin vàTruyền Thông - Đại học Thái Nguyên dưới sự hướng dẫn của thầy PGS-TSNgô Quốc Tạo

Trước hết em xin bày tỏ lòng biết ơn sâu sắc tới thầy PGS-TS Ngô QuốcTạo - Viện Công nghệ thông tin, người đã tận tình hướng dẫn giúp đỡ để emhoàn thành tốt luận văn của mình

Em xin gửi lời cảm ơn chân thành đến các thầy cô giáo Trường Đại họcCông nghệ Thông tin và Truyền Thông - Đại học Thái Nguyên, cùng các thầy

cô giáo đã nhiệt tình giảng dạy, truyền đạt kiến thức cho em trong suốt quátrình học tập tại trường cũng như quá trình làm luận văn này

Cuối cùng em xin gửi lời cảm ơn đến gia đình, bạn bè, các đồng nghiệpnhững người đã động viên, giúp đỡ và tạo điều kiện cho em trong quá trình họctập và hoàn thành luận văn

Thái Nguyên, ngày 08 tháng 06 năm 2013

HỌC VIÊN

CHU HOÀNG HÀ

MỤC LỤC

LỜI MỞ ĐẦU 1

Chương 1 KHÁI QUÁT VỀ MẠNG NƠRON 1.1 Khái niệm mạng nơron 4

1.1.1 Giới thiệu 4

1.1.1.1 Nơron 7

1.1.1.2 Chức năng, tổ chức và hoạt động của bộ não con người 8

1.1.1.3 So sánh mạng nơron với máy tính truyền thống 10

1.1.2 Nơron nhân tạo 11

1.1.3 Mạng nơron nhân tạo 14

1.2 Đặc trưng của mạng nơron[5] 15

1.2.1 Tính phi tuyến 15

1.2.2 Tính chất tương ứng đầu vào, đầu ra 16

1.2.3 Tính chất thích nghi 16

1.2.4 Tính chất đưa ra lời giải có bằng chứng 16

1.2.5 Tính chất chấp nhận sai sót 16

1.2.6 Khả năng tích hợp VLSI (Very-Large-Scale-Intergrated) 17

1.2.7 Tính chất tương tự trong phân tích và thiết kế 17

1.3 Phân loại mạng nơron nhân tạo 17

1.3.1 Phân loại theo kiểu liên kết nơron 17

1.3.2 Một số loại mạng nơron điển hình[20] 18

1.3.2.1 Mạng dẫn tiến (feedforward) 18

1.3.2.1 Mạng quy hồi (recurrent network) 20

1.4 Xây dựng mạng nơron[8] 21

1.5 Huấn luyện mạng nơron 22

1.5.1 Phương pháp học 22

1.5.1.1 Học có giám sát 22

1.5.1.2 Học không giám sát 23

1.5.1.3 Học tăng cường 23

1.5.2 Thuật toán học 23

1.6 Thu thập dữ liệu cho mạng nơron 24

1.7 Biểu diễn tri thức cho mạng nơron 26

1.8 Ứng dụng của mạng nơron 28

Chương 2 ỨNG DỤNG MẠNG NƠRON TRONG NHẬN DẠNG CHỮ VIẾT TAY TRỰC TUYẾN 2.1 Giới thiệu bài toán nhận dạng kí tự 30

2.1.1 Giới thiệu sơ lược về nhận dạng 30

2.1.2 Giới thiệu về nhận dạng chữ viết tay 31

2.1.3 Nhận dạng chữ viết tay bằng mạng nơron[5] 35

2.1.4 Phát biểu bài toán 36

2.1.5 Các bước giải quyết bài toán sử dụng mạng nơron trong nhận dạng ký tự 36 2.2 Mạng Perceptron nhận dạng ký tự 36

2.2.1 Giới thiệu về mạng nơron Perceptron 36

2.2.2 Cấu trúc của mạng nơron Perceptron 37

2.2.3 Thực thi của mạng nơron Perceptron 38

2.2.3.1 Thuật toán học của mạng nơron một lớp 38

2.2.3.2 Thuật toán học của mạng nơron nhiều lớp 40

2.2.4 Nhận xét 44

2.3 Mạng Kohonen nhận dạng ký tự 45

2.3.1.Giới thiệu về mạng nơron Kohonen 45

2.3.2 Cấu trúc của mạng nơron Kohonen[16] 46

2.3.3 Thực thi của mạng nơron Kohonen[15] 46

2.3.2.1 Chuẩn hóa đầu vào 46

2.3.2.2 Tính toán đầu ra cho mỗi nơron 47

2.3.2.3 Chọn nơron chiến thắng 47

2.3.2.4 Quá trình học của mạng nơron Kohonen 48

2.3.3 Nhận xét 51

Chương 3 XÂY DỰNG CHƯƠNG TRÌNH NHẬN DẠNG CHỮ VIẾT TAY TRỰC TUYẾN 3.1 Giới thiệu 52

3.2 Xây dựng giao diện vẽ 53

3.3 Xử lý dữ liệu (phân tích ảnh) 54

3.4 Xây dựng mạng nơron 54

3.4 1 Xây dựng mạng nơron Perceptron 54

3.4.2 Xây dựng mạng nơron Kohonen 56

3.5 Chương trình minh họa 59

3.5.1 Các chức năng của chương trình 59

3.5.2 Kết quả nhận dạng 60

3.6 Đánh giá, nhận xét 62

KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 1 Những kết quả mà luận văn đã đạt được 64

2 Hướng phát triển tiếp theo 64

TÀI LIỆU THAM KHẢO

DANH MỤC CÁC HÌNH

Hình 1.1 Sơ đồ nơron sinh học 7

Hình 1.2 Mạng nơron sinh học 10

Hình 1.3 Mô hình một nơron nhân tạo 11

Hình 1.4 Sự tương đương giữa nơron sinh học và nơron nhân tạo[16] 12

Hình 1.5 Mô hình phi tuyến thứ hai của một mạng nơron 14

Hình 1.6 Sơ đồ đơn giản về một mạng nơron nhân tạo[8] 15

Hình 1.7 Mạng truyền thẳng 18

Hình 1.8 Mạng quy hồi 18

Hình 1.9 Mạng tiến với một mức nơron 19

Hình 1.10 Mạng tiến kết nối đầy đủ với một mức ẩn và một mức đầu ra 20

Hình 1.11 Mạng hồi quy không có nơron ẩn và không có vòng lặp tự phản hồi .20

Hình 1.12 Mạng hồi quy có các nơron ẩn 21

Hình 1.13 Sơ đồ đồ thị có hướng đơn giản 21

Hình 2.1 Mô hình chung trong nhận dạng chữ viết 34

Hình 2.2 Mô hình tổng quát của mạng nơron Perceptron 37

Hình 2.3 Bài toán XOR 39

Hình 2.4 Cấu trúc của mạng Kohonen 46

Hình 2.5 Quá trình huấn luyện mạng nơron Kohonen 48

Hình 3.1 Quá trình tìm giới hạn ký tự 53

Hình 3.2 Quá trình lấy mẫu xuống 53

Hình 3.3 Quá trình ánh xạ từ ma trận điểm sang ma trận giá trị 54

Hình 3.4 Quá trình huấn luyện mạng 58

Hình 3.5 Giao diện chương trình minh họa 59

Hình 3.6 Tải mẫu 60

Hình 3.7 Nhận dạng ký tự e bằng mạng Kohonen 61

Hình 3.8 Nhận dạng ký tự e bằng mạng Perceptron 61

Hình 3.9 Thêm mẫu mới 62

LỜI MỞ ĐẦU

Mạng nơron nhân tạo ANN (Artificial Neural Networks) là một môphỏng xử lý thông tin, được nghiên cứu ra từ hệ thống thần kinh của sinh vật,giống như bộ não để xử lý thông tin Nó bao gồm số lượng lớn các mối gắn kếtcấp cao để xử lý các yếu tố làm việc trong mối liên hệ giải quyết vấn đề rõràng ANN giống như con người, được học bởi kinh nghiệm, lưu những kinhnghiệm hiểu biết và sử dụng trong những tình huống phù hợp và quan trọnghơn hết, con người có khả năng sáng tạo

Đầu tiên ANN được giới thiệu năm 1943 bởi nhà thần kinh học WarrenMcCulloch và nhà logic học Walter Pits Nhưng với những kỹ thuật trong thờigian này chưa cho phép họ nghiên cứu được nhiều Những năm gần đây môphỏng ANN xuất hiện và phát triển Các nghiên cứu ứng dụng đã được thựchiện trong các ngành: điện, điện tử, kỹ thuật chế tạo, y học, quân sự, kinh tế Một trong những ứng dụng kinh điển của mạng nơron là bài toán nhận dạngmẫu, ở đó mỗi một mẫu là một tập hợp (hay một vector) các tham số biểu thịcác thuộc tính của quá trình vật lý nào đó Ngoài sức mạnh vốn có, mạngnơron còn thể hiện ưu điểm của mình trong việc nhận dạng thông qua khả năngmềm dẻo, dễ thích nghi với môi trường Chính vì vậy, có thể coi mạng nơrontrước tiên là một công cụ để nhận dạng

Các bài toán nhận dạng được nghiên cứu nhiều nhất hiện nay bao gồmnhận dạng các mẫu hình học (vân tay, mặt người, hình khối,…), nhận dạngtiếng nói và nhận dạng ký tự viết Nhận dạng ký tự viết bao gồm hai kiểu chính

là nhận dạng ký tự in và nhận dạng ký tự viết tay Cho đến nay bài toán nhậndạng ký tự in đã được giải quyết khá trọn vẹn với sự ra đời của nhiều hệ thốngnhận dạng đạt tới độ chính xác gần như tuyệt đối Nhận dạng ký tự viết tayđang là vấn đề thách thức lớn đối với các nhà nghiên cứu, bài toàn này chưathể giải quyết trọn vẹn được vì nó phụ thuộc quá nhiều vào người viết và sựbiến đổi quá đa dạng trong cách viết và trạng thái tinh thần của từng ngườiviết Đặc biệt đối với việc nhận dạng ký tự viết tay tiếng Việt lại càng gặpnhiều khó khăn hơn do bộ ký tự tiếng Việt có nhiều ký tự có hình dáng rấtgiống nhau, chỉ khác nhau chút ít về phần dấu

Chính vì các lý do nêu trên cùng với sự gợi ý của thầy giáo tôi nhận thấynghiên cứu về mạng nơron là một hướng nghiên cứu quan trọng, mới mẻ và cónhiều triển vọng Đồng thời áp dụng mạng nơron để giải quyết bài toán nhậndạng chữ viết tay tiếng Việt là một hướng tiếp cận khoa học có hiệu quả, gópphần giải quyết bài toán nhận dạng chữ viết tay tiếng Việt hiện còn chưa được

giải quyết trọn vẹn Do đó tôi chọn đề tài: “Nghiên cứu mạng nơron và ứng dụng trong nhận dạng chữ viết tay trực tuyến”

Tuy nhiên do hạn chế về mặt thời gian cũng như độ phức tạp của bàitoán, do đó tôi chỉ đi sâu nghiên cứu và mô phỏng nhận dạng ký tự viết taytiếng Việt rời rạc trực tuyến

Nội dung luận văn gồm:

Chương 1: Khái quát về mạng nơron

Trình bày những lý thuyết cơ bản về mô hình mạng nơron như: lịch sử

ra đời và phát triển của mạng nơron, khái niệm mạng nơron, các loại mô hìnhmạng nơron, các đặc trưng của mạng, các phương pháp huấn luyện mạngnơron, phương pháp học có giám sát Các vấn đề và ứng dụng của mạng nơron

Chương 2 : Ứng dụng mạng nơron trong nhận dạng chữ viết tay trực tuyến

Giới thiệu về nhận dạng, các bài toán nhận dạng, nhận dạng chữ viết taytiếng Việt Phương pháp nhận dạng chữ viết tay bằng mạng nơron, phát biểubài toán, các bước giải quyết bài toán

Trình bày lý thuyết cơ bản về mạng nơron Perceptron, Kohonen như:giới thiệu về mạng, cấu trúc mạng, các bước thực thi trong mạng: chuẩn hóađầu vào, tính toán đầu ra, quá trình huấn luyện mạng,…

Chương 3 : Xây dựng chương trình nhận dạng chữ viết tay trực tuyến

Trình bày phạm vi chương trình minh họa, các bước thực hiện chươngtrình minh họa: Thực hiện chương trình nhận dạng ký tự, xác định các tham sốcho mạng, vẽ hình ảnh, lấy mẫu xuống hình ảnh,các tập huấn luyện, lớp mạng

cơ bản, … Chương trình minh họa: Các chức năng của chương trình, kết quảnhận dạng, đánh giá, nhận xét

Kết luận và hướng phát triển

Trình bày các kết quả đã đạt được, hướng phát triển tiếp theo và một sốsuy nghĩ khi nghiên cứu.

Do thời gian và trình độ còn hạn chế nên luận văn khó tránh khỏi nhữngthiếu sót, kính mong nhận được sự đóng góp, chỉ bảo của các thầy giáo, côgiáo và các bạn đồng nghiệp

Cuối cùng, tác giả xin chân thành bày tỏ lòng biết ơn sâu sắc đến thầygiáo PGS-TS Ngô Quốc Tạo - Viện Công nghệ thông tin, Viện Khoa học vàCông nghệ Việt Nam đã tận tình hướng dẫn, chỉ bảo, giúp đỡ, khích lệ tác giảtrong suốt quá trình làm luận văn Đồng thời, tác giả xin chân thành cảm ơncác thầy cô trong trường ĐH CNTT & TT Thái Nguyên đã tạo điều kiện thuậnlợi, giúp đỡ tác giả hoàn thành luận văn này

Học viên

Chu Hoàng Hà

Chương 1 KHÁI QUAN VỀ MẠNG NƠRON 1.1 Khái niệm mạng nơron

về tâm lý học với sự liên kết các noron thần kinh Sự kiện đầu tiên đánh dấu sự

ra đời của mạng nơron nhân tạo diễn ra vào năm 1943 khi nhà thần kinh họcWarren McCulloch và nhà toán học Walter Pitts viết bài báo mô tả cách thứccác nơron hoạt động Họ cũng đã tiến hành xây dựng một mạng nơron đơngiản bằng các mạch điện Các nơron của họ được xem như là các thiết bị nhịphân với ngưỡng cố định Kết quả của các mô hình này là các hàm logic đơngiản chẳng hạn như “ a OR b” hay “a AND b”[12]

Tiếp bước các nghiên cứu này, năm 1949 Donald Hebb cho xuất bảncuốn sách Organization of Behavior Cuốn sách đã chỉ ra rằng các nơron nhântạo sẽ trở nên hiệu quả hơn sau mỗi lần chúng được sử dụng

Những tiến bộ của máy tính đầu những năm 1950 giúp cho việc mô hìnhhóa các nguyên lý của những lý thuyết liên quan tới cách thức con người suynghĩ đã trở thành hiện thực Nathanial Rochester sau nhiều năm làm việc tạicác phòng thí nghiệm nghiên cứu của IBM đã có những nỗ lực đầu tiên để môphỏng một mạng nơron Trong thời kì này tính toán truyền thống đã đạt đượcnhững thành công rực rỡ trong khi đó những nghiên cứu về nơron còn ở giaiđoạn sơ khai Mặc dù vậy những người ủng hộ triết lý “thinking machines”(các máy biết suy nghĩ) vẫn tiếp tục bảo vệ cho lập trường của mình

Năm 1956 dự án Dartmouth nghiên cứu về trí tuệ nhân tạo (ArtificialIntelligence) đã mở ra thời kỳ phát triển mới cả trong lĩnh vực trí tuệ nhân tạolẫn mạng nơron Tác động tích cực của nó là thúc đẩy hơn nữa sự quan tâm củacác nhà khoa học về trí tuệ nhân tạo và quá trình xử lý ở mức đơn giản củamạng nơron trong bộ não con người

Những năm tiếp theo của dự án Dartmouth, John von Neumann đã đềxuất việc mô phỏng các nơron đơn giản bằng cách sử dụng rơle điện áp hoặcđèn chân không Nhà sinh học chuyên nghiên cứu về nơron Frank Rosenblattcũng bắt đầu nghiên cứu về Perceptron năm 1958 Sau thời gian nghiên cứunày Perceptron đã được cài đặt trong phần cứng máy tính và được xem như làmạng nơron lâu đời nhất còn được sử dụng đến ngày nay Perceptron một tầngrất hữu ích trong việc phân loại một tập các đầu vào có giá trị liên tục vào mộttrong hai lớp Perceptron tính tổng có trọng số các đầu vào, rồi trừ tổng nàycho một ngưỡng và cho ra một trong hai giá trị mong muốn có thể Tuy nhiênPerceptron còn rất nhiều hạn chế, những hạn chế này đã được chỉ ra trong cuốnsách về Perceptron của Marvin Minsky và Seymour Papert của MIT(Massachurehs Insritute of Technology) viết năm 1969 đã chứng minh nókhông dùng được cho các hàm logic phức.

Năm 1959, Bernard Widrow và Marcian Hoff thuộc trường đại họcStanford đã xây dựng mô hình ADALINE ( ADAptive LINear Elements) vàMADALINE (Multiple ADAptive LINear Elements) Các mô hình này sửdụng quy tắc học Least-Mean-Squares ( LMS : Tối thiểu bình phương trungbình) MADALINE là mạng nơron đầu tiên được áp dụng để giải quyết mộtbài toán thực tế Nó là một bộ lọc thích ứng có khả năng loại bỏ tín hiệu dội lạitrên đường dây điện thoại Ngày nay mạng nơron này vẫn được sử dụng trongcác ứng dụng thương mại

Năm 1973 Von der Marlsburg: đưa ra quá trình học cạnh tranh và self –organization Năm 1974 Paul Werbos đã phát triển và ứng dụng phương pháphọc lan truyền ngược ( back-propagation) Tuy nhiên phải mất một vài năm thìphương pháp này mới trở lên phổ biến Các mạng lan truyền ngược được biếtđến nhiều nhất và được áp dụng rộng dãi nhất nhất cho đến ngày nay

Sợ rằng đã đến lúc máy móc có thể làm mọi việc của con người Những

lo lắng này khiến người ta bắt đầu phản đối các nghiên cứu về mạng neuron.Thời kì tạm lắng này kéo dài đến năm 1981 Có thể tính vào khoảng đầu thậpniên 80 Những đóng góp lớn cho mạng noron trong giai đoạn này phải kể đếnGrossberg, Kohonen, Rumelhart và Hopfield Kohonen là mạng SOM (Self

Organizing Map), Grossberg là mạng ART (Adaptive Resonance Theory).Trong đó đóng góp lớn của Hopfield gồm hai mạng phản hồi: Mạng rời rạcnăm 1982 và mạng liên tục năm 1984 Đặc biệt, ông đã dự kiến nhiều khả năngtính toán lớn của mạng mà một nơron không có khả năng đó Năm 1982 trongbài báo gửi tới viện khoa học quốc gia, John Hopfield bằng sự phân tích toánhọc rõ ràng, mạch lạc, ông đã chỉ ra cách thức các mạng nơron làm việc vànhững công việc chúng có thể thực hiện được Cống hiến của Hopfield khôngchỉ ở giá trị của những nghiên cứu khoa học mà còn ở sự thúc đẩy trở lại cácnghiên cứu về mạng neuron Cảm nhận của Hopfield đã được Rumelhart,Hinton và Williams đề xuất thuật toán sai số truyền ngược nổi tiếng để huấnluyện mạng noron nhiều lớp nhằm giải bài toán mà mạng khác không thựchiện được Nhiều ứng dụng mạnh mẽ của mạng noron ra đời cùng với cácmạng theo kiểu máy Boltzmann và mạng Neocognition của Fukushima

Cũng trong thời gian này, một hội nghị với sự tham gia của Hoa Kỳ vàNhật Bản bàn về việc hợp tác/cạnh tranh trong lĩnh vực mạng nơron đã được tổchức tại Kyoto, Nhật Bản Sau hội nghị, Nhật Bản đã công bố những nỗ lựccủa họ trong việc tạo ra máy tính thế hệ thứ 5 Tiếp nhận điều đó, các tạp chíđịnh kỳ của Hoa Kỳ bày tỏ sự lo lắng rằng nước nhà có thể bị tụt hậu tronglĩnh vực này Vì thế, ngay sau đó, Hoa Kỳ nhanh chóng huy động quĩ tài trợcho các nghiên cứu và ứng dụng mạng nơron

Năm 1985, viện vật lý Hoa Kỳ bắt đầu tổ chức các cuộc họp hàng năm

về mạng neuron ứng dụng trong tin học (Nơron Networks for Computing)

Năm 1987, hội thảo quốc tế đầu tiên về mạng neuron của Viện các kỹ sưđiện và điện tử IEEE (Institute of Electrical and Electronic Engineer) đã thuhút hơn 1800 người tham gia Tính từ năm 1987 đến nay, hàng năm thế giớiđều mở hội nghị toàn cầu chuyên ngành nơron IJCNN (International JoitConference on Neural Networks)

Ngày nay, không chỉ dừng lại ở mức nghiên cứu lý thuyết, các nghiêncứu ứng dụng mạng nơron để giải quyết các bài toán thực tế được diễn ra ởkhắp mọi nơi Các ứng dụng mạng nơron ra đời ngày càng nhiều và ngày cànghoàn thiện hơn Điển hình là các ứng dụng: xử lý ngôn ngữ (Language

Processing), nhận dạng ký tự (Character Recognition), nhận dạng tiếng nói(Voice Recognition), nhận dạng mẫu (Pattern Recognition), xử lý tín hiệu(Signal Processing), Lọc dữ liệu (Data Filtering),…

- Phần thứ nhất: Thân phần tử hay soma (hoặc cell body) Nhân của

nơron được đặt ở đây

- Phần thứ hai: Các dendrite Đây chính là các mạng dạng cây của các

dây thần kinh để nối các soma với nhau

- Phần thứ ba: axon Đây là một nối kết, hình trụ dài và mang các tín

hiệu từ đó ra ngoài Phần cuối của axon được chia thành nhiều nhánh nhỏ Mỗinhánh nhỏ (cả của dendrite và axon) kết thúc trong một cơ quan nhỏ hình củhành được gọi là synapte mà tại đây các nơron đưa các tín hiệu của nó vào cácnơron khác Những điểm tiếp nhận với các synapte trên các nơron khác có thể

ở các dendrite hay chính soma

Hình 1.1 Sơ đồ nơron sinh học

b) Hoạt động

Các tín hiệu được đưa ra bởi một synapte và được nhận bởi các dendrite

là các kích thích điện tử Việc truyền tín hiệu như trên liên quan đến một quátrình hóa học phức tạp mà trong đó các chất truyền đặc trưng được giải phóng

từ phía gửi của nơi tiếp nối Điều này làm tăng hoặc giảm điện thế bên trongthân của nơron nhận Nơron nhận tín hiệu sẽ được kích hoạt (fire) nếu điện thếvượt khỏi một ngưỡng nào đó Một xung (hoặc điện thế hoạt động) với cường

độ mạnh và thời gian tồn tại cố định sẽ được gửi ra ngoài thông qua axon tớiphần nhánh của nơron đó, rồi tới các chỗ nối synapte của các nơron khác Saukhi kích hoạt, nơron sẽ chờ một khoảng thời gian được gọi là chu kỳrefractory, trước khi nó có thể kích hoạt lại Synapses là excitatory nếu chúngcho phép các kích thích truyền qua gây ra tình trạng kích hoạt đối với nơronnhận Ngược lại, chúng là inhibitory nếu chúng cho phép các kích thích truyềnqua làm ngăn chở trạng thái kích hoạt của nơron nhận

Các synapses đóng vai trò rất quan trọng trong sự học tập Khi chúng tahọc tập thì hoạt động của các synapses được tăng cường, tạo nên nhiều liên kếtmạnh giữa các nơron Có thể nói rằng người nào học càng giỏi thì càng cónhiều synapses và các synapses ấy càng mạnh mẽ, hay nói cách khác, thì liênkết giữa các nơron càng nhiều, càng nhạy bén

1.1.1.2 Chức năng, tổ chức và hoạt động của bộ não con người

Bộ não của con người được hình thành từ sự liên kết của khoảng 1011

phân tử (tế bào), trong đó có khoảng 1010 phần tử là nơron, số còn lại khoảng9*1010 phần tử là các tế bào thần kinh đệm Các tế bào thần kinh đệm có nhiệm

vụ phục vụ cũng như hỗ trợ cho các nơron Cấu tạo chi tiết của bộ não thì đếnnay người ta vẫn chưa thực sự biết rõ Tuy vậy, não bộ có thể được phân chia

thành nhiều vùng khác nhau Mỗi vùng có thể kiểm soát một hay nhiều hoạtđộng của con người.

Bộ não có cấu trúc nhiều lớp Lớp bên ngoài thường thấy là các nếpnhăn, là lớp có cấu tạo phúc tạp nhất Đây có thể là nơi kiểm soát và phát sinhcác hành động phức tạp như nghe, nhìn, tư duy,…

Tóm lại, bộ não có chức năng hết sức quan trọng đối với đời sống củacon người Cấu tạo của bộ não rất phức tạp, tinh vi bởi được tạo thành từ mạngnơron có hàng chục tỉ tế bào với mức độ liên kết giữa các nơron là rất cao Hơnnữa, bộ não còn được chia thành các vùng và các lớp khác nhau Bộ não hoạtđộng dựa trên cơ chế hoạt động song song của các nơron tạo nên bộ não đó

Lý thuyết về mạng nơron nhân tạo, hay gọi tắt là “mạng nơron”, đượcxây dựng xuất phát từ một thực tế là bộ não con người luôn luôn thực hiện cáctính toán một cách hoàn toàn khác so với các máy tính số Có thể coi bộ não làmột máy tính hay một hệ thống xử lý thông tin song song, phi tuyến và cực kỳphức tạp Nó có khả năng tự tổ chức các bộ phận cấu thành của nó, như là các

tế bào thần kinh (neuron) hay các khớp nối thần kinh (synapse), nhằm thựchiện một số tính toán như nhận dạng mẫu và điều khiển vận động nhanh hơnnhiều lần các máy tính nhanh nhất hiện nay Sự mô phỏng bộ não con ngườicủa mạng nơron là dựa trên cơ sở một số tính chất đặc thù rút ra từ các nghiêncứu về thần kinh sinh học

Hình 1.2 Mạng nơron sinh học

1.1.1.3 So sánh mạng nơron với máy tính truyền thống

Các mạng nơron có cách tiếp cận khác trong giải quyết vấn đề so vớimáy tính truyền thống Các máy tính truyền thống sử dụng cách tiếp cận theohướng giải thuật, tức là máy tính thực hiện một tập các chỉ lệnh để giải quyếtmột vấn đề Vấn đề được giải quyết phải được biết và phát biểu dưới dạng mộttập chỉ lệnh không nhập nhằng Những chỉ lệnh này sau đó phải được chuyểnsang một chương trình ngôn ngữ bậc cao và chuyển sang mã máy để máy tính

có thể hiểu được

Trừ khi các bước cụ thể mà máy tính cần tuân theo được chỉ ra rõ ràng,máy tính sẽ không làm được gì cả Điều đó giới hạn khả năng của các máy tínhtruyền thống ở phạm vi giải quyết các vấn đề mà chúng ta đã hiểu và biết chínhxác cách thực hiện Các máy tính sẽ trở lên hữu ích hơn nếu chúng có thể thựchiện được những việc mà bản thân con người không biết chính xác là phải làmnhư thế nào

Các mạng nơron xử lý thông tin theo cách thức giống như bộ não conngười Mạng được tạo nên từ một số lượng lớn các phần tử xử lý được kết nốivới nhau làm việc song song để giải quyết một vấn đề cụ thể Các mạng nơronhọc theo mô hình, chúng không được lập trình để thực hiện một nhiệm vụ cụ

thể Các mẫu phải được chọn lựa cẩn thận nếu không sẽ rất mất thời gian, thậmchí mạng sẽ hoạt động không đúng Hạn chế này là bởi vì mạng tự tìm ra cáchgiải quyết vấn đề, thao tác của nó không thể dự đoán được[12].

Các mạng nơron và các máy tính truyền thống không cạnh tranh nhau

mà bổ sung cho nhau Có những nhiệm vụ thích hợp hơn với máy tính truyềnthống, ngược lại có những nhiệm vụ lại thích hợp hơn với các mạng nơron.Thậm chí rất nhiều nhiệm vụ đòi hỏi các hệ thống sử dụng tổ hợp cả hai cáchtiếp cận để thực hiện được hiệu quả cao nhất Thông thường một máy tínhtruyền thống được sử dụng để giám sát mạng nơron

1.1.2 Nơron nhân tạo

Nơron nhân tạo là một đơn vị tính toán có nhiều đầu vào và một đầu ra.Mỗi đầu vào đến từ một liên kết Đặc trưng của nơron là một hàm kích hoạtphi tuyến chuyển đổi tổ hợp tuyến tính của tất cả các tín hiệu đầu vào thành tínhiệu đầu ra Hàm kích hoạt này đảm bảo tính chất phi tuyến cho tính toán củamạng nơron

Hình 1.3 Mô hình một nơron nhân tạo

Hình 1.4 Sự tương đương giữa nơron sinh học và nơron nhân tạo[16]

Các thành phần cơ bản của một nơron nhân tạo bao gồm:

♦ Tập các đầu vào: Là các tín hiệu vào (input signals) của nơron, các

tín hiệu này thường được đưa vào dưới dạng một vector N chiều

♦ Tập các liên kết: Mỗi liên kết được thể hiện bởi một trọng số (gọi là

trọng số liên kết – Synaptic weight) Trọng số liên kết giữa tín hiệu vào thứ jvới nơron k thường được kí hiệu là wkj Thông thường, các trọng số này đượckhởi tạo một cách ngẫu nhiên ở thời điểm khởi tạo mạng và được cập nhật liêntục trong quá trình học mạng Các trọng số liên kết chính là các tham số tự do

cơ bản của mạng nơron Các trọng số này có thể được thay đổi nhằm thíchnghi với môi trường xung quanh

♦ Bộ tổng (Summing function): Thường dùng để tính tổng của tích các

đầu vào với trọng số liên kết của nó

♦ Ngưỡng (còn gọi là một độ lệch -bias): Ngưỡng này thường được

đưa vào như một thành phần của hàm truyền Hệ số điều chỉnh b có tác dụngtăng lên hoặc giảm đi đầu vào thực của hàm truyền tùy theo hàm truyền dươnghay âm

♦ Hàm truyền (Transfer function): Hay còn được gọi là hàm kích

hoạt, hàm này được dùng để giới hạn phạm vi đầu ra của mỗi nơron Nó nhậnđầu vào là kết quả của hàm tổng và ngưỡng đã cho Thông thường, phạm vi

đầu ra của mỗi nơron được giới hạn trong đoạn [0,1] hoặc [-1, 1] Các hàmtruyền rất đa dạng, có thể là các hàm tuyến tính hoặc phi tuyến Việc lựa chọnhàm truyền nào là tuỳ thuộc vào từng bài toán và kinh nghiệm của người thiết

kế mạng Một số hàm truyền thường sử dụng trong các mô hình mạng nơronđược đưa ra trong bảng 1.2

♦ Đầu ra: Là tín hiệu đầu ra của một nơron, với mỗi nơron sẽ có tối đa

Hệ số hiệu chỉnh bk là một tham số ngoài của neuron nhân tạo k Chúng

ta có thể thấy được sự có mặt của nó trong công thức (1.2) Một cách tươngđương, chúng ta có thể tổ hợp các công thức (1.1) và (1.2) như sau:

của hệ số bk Mặc dầu các mô hình trong hình 1.3 và 1.5 là khác nhau về hìnhthức nhưng tương tự về bản chất toán học.

Hình 1.5 Mô hình phi tuyến thứ hai của một mạng nơron

1.1.3 Mạng nơron nhân tạo

Các mạng nơron nhân tạo (Artificial neural networks – ANN), cũng cònđược gọi là “Các hệ thống xử lý song song phân bố” (Parallel distributeprocessing systems), là một hệ thống bao gồm nhiều phần tử xử lý đơn giản(hay còn gọi là nơron) tựa như nơron thần kinh của não người Các phần tử nàyhoạt động song song và được nối với nhau bởi các liên kết nơron Mỗi liên kếtkèm theo một trọng số nào đó, đặc trưng cho tính kích hoạt hoặc ức chế giữacác nơron

Các trọng số là phương tiện để lưu trữ thông tin dài hạn trong mạngnơron Nhiệm vụ của quá trình huấn luyện mạng là cập nhật các trọng số đókhi có thêm thông tin về mẫu học Hay nói một cách khác, các trọng số đềuđược điều chỉnh sao cho quan hệ vào ra của mạng sẽ mô phỏng hoàn toàn phùhợp với môi trường đang xem xét

Mô hình mạng nơron

Hình 1.6 Sơ đồ đơn giản về một mạng nơron nhân tạo[8]

Mô hình mạng nơron ở trên gồm 3 lớp: lớp nhập (input), lớp ẩn (hidden)

và lớp xuất (output) Mỗi nút trong lớp nhập nhận giá trị của một biến độc lập

và chuyển vào mạng

Dữ liệu từ tất cả các nút trong lớp nhập được tích hợp (ta gọi là tổng trọngsố) và chuyển kết quả cho các nút trong lớp ẩn Lớp đó được gọi là “lớp ẩn” vìcác nút trong lớp này chỉ liên lạc với các nút trong lớp nhập và lớp xuất Chỉ cóngười thiết kế mạng mới biết lớp này (người sử dụng không biết lớp này)

Các nút trong lớp xuất nhận các tín hiệu tổng trọng hóa từ các nút tronglớp ẩn Mỗi nút trong lớp xuất tương ứng với một biến phụ thuộc

1.2 Đặc trưng của mạng nơron[5]

1.2.1 Tính phi tuyến

Một nơron có thể tính toán một cách tuyến tính hay phi tuyến Một mạngnơron cấu thành bởi các nơron phi tuyến thì cũng sẽ có tính phi tuyến Hơnnữa, điều đặc biệt là tính phi tuyến này được phân tán trên toàn mạng Tính phituyến là một thuộc tính rất quan trọng, nhất là khi các cơ chế vật lý sinh ra cáctín hiệu đầu vào (ví dụ tín hiệu tiếng nói) vốn là phi tuyến

1.2.2 Tính chất tương ứng đầu vào, đầu ra

Mặc dù khái niệm “học” (hay “huấn luyện”) chưa được bàn đến nhưng

để hiểu được mối quan hệ đầu vào-đầu ra của mạng nơron, chúng ta sẽ đề cập

sơ qua về khái niệm này Một mô hình học phổ biến được gọi là “học có thầy”(hay “học có giám sát”), liên quan đến việc thay đổi các trọng số liên kết củamạng nơron bằng việc áp dụng một tập hợp các mẫu tích luỹ Mỗi một mẫubao gồm một tín hiệu đầu vào và một đầu ra mong muốn tương ứng Các trọng

số liên kết của mạng được biến đổi sao cho có thể cực tiểu hoá sự sai khác giữađầu ra mong muốn và đầu ra thực sự của mạng theo một tiêu chuẩn thống kêthích hợp Sự tích luỹ của mạng được lặp lại với nhiều ví dụ trong tập hợp chotới khi mạng đạt tới một trạng thái ổn định mà ở đó không có một sự thay đổiđáng kể nào của các trọng số liên kết Các ví dụ tích luỹ được áp dụng trước cóthể được áp dụng lại trong thời gian của phiên tích luỹ nhưng theo một thứ tựkhác Như vậy, mạng nơron học từ các ví dụ bằng cách xây dựng nên mộttương ứng đầu vào - đầu ra cho vấn đề cần giải quyết

1.2.4 Tính chất đưa ra lời giải có bằng chứng

Trong ngữ cảnh phân loại mẫu, một mạng nơron có thể được thiết kế đểđưa ra thông tin không chỉ về mẫu được phân loại, mà còn về sự tin cậy củaquyết định đã được thực hiện Thông tin này có thể được sử dụng để loại bỏcác mẫu mơ hồ hay nhập nhằng

1.2.5 Tính chất chấp nhận sai sót

Một mạng nơron, được cài đặt dưới dạng phần cứng, vốn có khả năngchấp nhận lỗi, hay khả năng tính toán thô (chứ không nhạy cảm lỗi) Tức là,tính năng của mạng nơron chỉ thoái hoá (chứ không đổ vỡ) khi có những điềukiện hoạt động bất lợi Ví dụ, nếu một nơron hay các liên kết kết nối của nó bịhỏng, việc nhận dạng lại một mẫu được lưu trữ sẽ suy giảm về chất lượng Tuy

nhiên, do bản chất phân tán của thông tin lưu trữ trong mạng nơron, sự hỏnghóc cũng được trải ra trên toàn mạng Như vậy, về cơ bản, trong trường hợpnày một mạng nơron sẽ thể hiện một sự thoái hoá về tính năng hơn là sự đổ vỡtrầm trọng.

1.2.6 Khả năng tích hợp VLSI (Very-Large-Scale-Intergrated)

Bản chất song song đồ sộ của một mạng nơron làm cho mạng nơron đórất nhanh trong tính toán đối với một số công việc Đặc tính này cũng làm chomột mạng nơron có khả năng phù hợp trong việc cài đặt sử dụng kỹ thuậtVery-large-scale-intergrated (VLSI) Kỹ thuật này cho phép xây dựng nhữngmạch cứng tính toán song song quy mô lớn Chính vì vậy, ưu điểm nổi bật củaVLSI là mang lại những phương tiện hữu hiệu để có thể xử lý được nhữnghành vi có độ phức tạp cao

1.2.7 Tính chất tương tự trong phân tích và thiết kế

Về cơ bản, các mạng nơron có tính chất chung như là các bộ xử lý thôngtin Điều này áp dụng cho tất cả các lĩnh vực có liên quan tới việc ứng dụngmạng nơron Đặc tính này thể hiện ở một số điểm như sau:

Các nơron, dưới dạng này hoặc dạng khác, biểu diễn một thành phầnchung cho tất cả các mạng nơron

Tính thống nhất này đem lại khả năng chia sẻ các lý thuyết và cácthuật toán học trong nhiều ứng dụng khác nhau của mạng nơron

Các mạng tổ hợp (modular) có thể được xây dựng thông qua một sựtích hợp các mô hình khác nhau

1.3 Phân loại mạng nơron nhân tạo

1.3.1 Phân loại theo kiểu liên kết nơron

Ta có mạng nơron truyền thẳng và nơron mạng quy hồi[17]

- Mạng truyền thẳng, các nơron đi theo một hướng nhất định tạo thành

đồ thị không có chu trình như trong hình 1.7 Chu trình có các đỉnh là cácnơron, còn các cạnh là các liên kết giữa chúng

Hình 1.7 Mạng truyền thẳng

- Mạng quy hồi: cho phép các liên kết nơron tạo thành chu trình như tronghình 1.8 Các thông tin ra của các nơron được truyền lại cho các nơron đã gópphần kích hoạt chúng Vì thế nên mạng quy hồi còn có khả năng lưu giữ trạngthái trong dưới dạng các ngưỡng kích hoạt ngoài các trọng số liên kết nơron

a) Các mạng dẫn tiến (feedforward) đơn mức

Trong một mạng nơron phân mức, các nơron được tổ chức dưới dạngcác mức Với dạng đơn giản nhất của mạng phân mức, mạng có một mức đầuvào gồm các nút nguồn chiếu trực tiếp tới mức đầu ra gồm các nơron

Mức đầu vào Mức đầu ra

Hình 1.9 Mạng tiến với một mức nơronNhư vậy, mạng thực sự là không có chu trình Mạng nơron trong hình1.9 minh họa trường hợp ba nút đối với cả mức đầu ra và đầu vào Một mạngnhư vậy được gọi là một mạng đơn mức Mạng được gọi là “đơn mức” tức làchỉ có một mức, chính là mức đầu ra gồm các nút tính toán (các nơron) Chúng

ta không tính mức đầu vào của các nút nguồn vì không có tính toán nào đượcthực hiện ở đây

có kích thước lớn

Các nút nguồn trong mức đầu vào của mạng cung cấp các phần tử củavector đầu vào; chúng tạo nên các tín hiệu đầu vào cho các nơron (các nút tínhtoán) trong mức thứ hai (mức ẩn thứ nhất) Các tín hiệu đầu ra của mức thứ haiđược sử dụng như các đầu vào cho mức thứ ba, và như cứ vậy cho phần còn lạicủa mạng Về cơ bản, các nơron trong mỗi mức của mạng có các đầu vào củachúng là các tín hiệu đầu ra của chỉ mức đứng liền trước nó (điều này có thểkhác trong thực tế cài đặt) Tập hợp các tín hiệu đầu ra của các nơron trong

mức đầu ra của mạng tạo nên đáp ứng toàn cục của mạng đối với các vectorđầu vào được cung cấp bởi các nút nguồn của mức đầu vào.

Mạng nơron trong hình 1.10 được gọi là kết nối đầy đủ Tại đó, tất cảcác nút trong mỗi mức của mạng được nối với tất cả các nút trong mức tiếpsau Nếu một số kết nối không tồn tại trong mạng, chúng ta nói rằng mạng làkết nối không đầy đủ

1.3.2.1 Mạng quy hồi (recurrent network)

Trái với mạng nơron dẫn tiến , mạng nơron quy hồi là những mô hìnhvới hai luồng dữ liệu có hướng Trong khi mạng dẫn tiến truyền dữ liệu theomột đường thẳng thì mạng nơron quy hồi có ít nhất một phản hồi từ nhữngnơron xử lý sau quay trở lại các nơron xử lý trước đó

Hình 1.11 Mạng hồi quy không có nơron ẩn và không có vòng lặp tự phản hồi

Hình 1.12 Mạng hồi quy có các nơron ẩn

Sự có mặt của các vòng lặp phản hồi, trong cả cấu trúc hồi quy có mộtảnh hưởng sâu sắc đến khả năng học của mạng và đến tính năng của nó Hơnnữa, các vòng lặp phản hồi bao hàm việc sử dụng các nhánh đặc biệt gồm cócác phần tử đơn vị trễ (ký hiệu là z-1), thể hiện một hành vi phi tuyến động theothời gian (cùng với giả sử rằng mạng neuron bao gồm các đơn vị phi tuyến)

1.4 Xây dựng mạng nơron[8]

Về cơ bản, ta có thể hiểu mạng nơron là một đồ thị có hướng như hình1.13 Trong đó, các đỉnh của đồ thị là các nơron và các cạnh của đồ thị là cácliên kết giữa các nơron

Hình 1.13 Sơ đồ đồ thị có hướng đơn giản

Vì vậy, để xây dựng một mạng nơron, ta xây dựng một đồ thị có hướng:

số đỉnh của đồ thị bằng số nơron trong mạng, giá trị của các cạnh chính làtrọng số liên kết nơron

1.5 Huấn luyện mạng nơron

1.5.1 Phương pháp học

Trong các hệ thống sinh vật, học hỏi được hiểu như những sự thay đổihóa học xảy ra ở điểm nối synapte giữa một tế bào này và một tế bào khác Sựthay đổi đó làm mở ra một số cổng ở trên các dendrite-nơi nơron nhận tín hiệu

Đối với các mạng nơron, học được định nghĩa như sau:

“Học là một quá trình mà trong đó các thông số tự do của mạng nơron được điều chỉnh lại cho phù hợp thông qua một quá trình kích thích bởi môi trường”.

Định nghĩa này có nghĩa:

- Mạng nơron được kích thích từ bên ngoài

- Mạng nơron biến chuyển bởi kích thích đó

- Mạng nơron đáp lại bên ngoài một cách khác do những biến chuyển nội bộ.Một mạng nơron được huyấn luyện sao cho với một tập các vector đầuvào X, mạng có khả năng tạo ra tập các vector đầu ra mong muốn T của nó.Tập X được sử dụng cho huấn luyện mạng được gọi là tập huấn luyện (trainingset) Các phần tử x thuộc X được gọi là các mẫu huấn luyện (trainingexample) Quá trình huấn luyện bản chất là sự thay đổi các trọng số liên kếtcủa mạng Trong quá trình này, các trọng số của mạng sẽ hội tụ dần tới các giátrị sao cho với mỗi vector đầu vào x từ tập huấn luyện, mạng sẽ cho ra vectorđầu ra T như mong muốn

Có ba phương pháp học phổ biến là học có giám sát (supervisedlearning), học không giám sát (unsupervised learning) và học tăng cường(Reinforcement learning)

1.5.1.1 Học có giám sát

Một thành phần không thể thiếu của phương pháp này là sự có mặt củamột “người thầy” (ở bên ngoài hệ thống) Người thầy này có kiến thức về môi

trường Điều này được thể hiện qua một tập hợp các cặp đầu vào - đầu ra đãđược biết trước Hệ thống học (ở đây là mạng nơron) sẽ phải tìm cách thay đổicác tham số bên trong của mình (các trọng số và các ngưỡng) để tạo nên mộtánh xạ có khả năng ánh xạ các đầu vào thành các đầu ra mong muốn Sự thayđổi này được tiến hành nhờ việc so sánh giữa đầu ra thực sự và đầu ra mongmuốn[5].

1.5.1.2 Học không giám sát

Học không giám sát: Là việc học không cần có bất kỳ một sự giám sát nào.Trong bài toán học không giám sát, tập dữ liệu huấn luyện được chodưới dạng: D = {(x1, x2, ,xN)}, với (x1, x2, ,xN) là vector đặc trưng của mẫuhuấn luyện Nhiệm vụ của thuật toán là phải phân chia tập dữ liệu D thành cácnhóm con, mỗi nhóm chứa các vector đầu vào có đặc trưng giống nhau

Như vậy với học không giám sát, số lớp phân loại chưa được biết trước,

và tùy theo tiêu chuẩn đánh giá độ tương tự giữa các mẫu mà ta có thể có cáclớp phân loại khác nhau[7]

1.5.1.3 Học tăng cường

Học tăng cường: đôi khi còn được gọi là học thưởng-phạt penalty learning), là sự tổ hợp của cả hai mô hình trên Phương pháp này cụthể như sau: với vector đầu vào, quan sát vector đầu ra do mạng tính được.Nếu kết quả được xem là “tốt” thì mạng sẽ được thưởng theo nghĩa tăng cáctrọng số kết nối lên; ngược lại mạng sẽ bị phạt, các trọng số kết nối khôngthích hợp sẽ được giảm xuống Do đó học tăng cường là học theo nhà phê bình(critic), ngược với học có giám sát là học theo thầy giáo (teacher)[17],[7]

(reward-1.5.2 Thuật toán học

Thuật toán học của mạng nơron được thực hiện theo các bước sau:

- Bước 1: Xây dựng cấu trúc thích hợp cho mạng nơron, chẳng hạn có (n+ 1) nơron vào (n nơron cho biến vào và 1 nơron cho ngưỡng x0), m nơron đầu

ra, và khởi tạo các trọng số liên kết của mạng

- Bước 2: Đưa một vector x trong tập mẫu huấn luyện X vào mạng

- Bước 3: Tính vector đầu ra o của mạng

- Bước 4: So sánh vector đầu ra mong muốn t (là kết quả được cho trongtập huấn luyện) với vector đầu ra o do mạng tạo ra; nếu có thể thì đánh giá lỗi

- Bước 5: Hiệu chỉnh các trọng số liên kết theo một cách nào đó sao cho

ở lần tiếp theo khi đưa vector x vào mạng, vector đầu ra o sẽ giống với y hơn

- Bước 6: Nếu cần, lặp lại các bước từ 2 đến 5 cho tới khi mạng đạt tớitrạng thái hội tụ

Việc đánh giá lỗi có thể thực hiện theo nhiều cách, cách dùng nhiều nhất

là sử dụng lỗi tức thời:

Err = (o- t) hoặc Err = |o- t| (1.7)

Trong đó: - o là vector đầu ra của mạng

- t là vector đầu ra mong muốn

Lỗi trung bình bình phương (MSE: mean-square error):

Err = (o-t)2/2 (1.8)

Thuật toán tổng quát ở trên cho học có giám sát trong các mạng nơron

có nhiều cài đặt khác nhau, sự khác nhau chủ yếu là cách các trọng số liên kếtđược thay đổi trong suốt thời gian học Trong đó tiêu biểu nhất là thuật toánlan truyền ngược

1.6 Thu thập dữ liệu cho mạng nơron

Một khi ta quyết định giải quyết một vấn đề sử dụng mạng nơron ta cầnphải thu thập dữ liệu cho mục tiêu huấn luyện Tập hợp dữ liệu huấn luyện baogồm một số trường hợp, mỗi trường hợp chứa những giá trị của đầu vào và đầu

ra khác nhau

Sự lựa chọn do trực giác và kinh nghiệm quyết định Công việc chuyênmôn của ta trong lĩnh vực cần giải quyết sẽ cho ta những ý tưởng về các biếnđầu vào phù hợp Trong những mạng nơron ta có thể chọn và loại bỏ nhiềubiến và mạng nơron cũng có thể xác định bằng quá trình thực nghiệm Trongmột bước ta nên tính đến bất kỳ biến nào mà ta nghĩ có ảnh hưởng đến quátrình thiết kế

Những mạng nơron xử lý dữ liệu số trong một tầm giới hạn rõ ràng.Điều này đưa ra một vấn đề, nếu dữ liệu nằm trọng một vùng đặc biệt như dữliệu chưa biết hay không phải dữ liệu số Thì phải có những phương pháp xử lýthích hợp, chẳng hạn Dữ liệu số được chia nhỏ thành những khoảng thích hợpcho mạng và những giá trị thiếu có thể thay thế bằng giá trị trung bình hay giátrị thống kê của biến đó thông qua những biến khác đã được huấn luyện.

Xử lý dữ liệu không phải số thì khó hơn Loại dữ liệu không phải là sốthông thường nhất là những biến có giá trị định danh như giới tính (nam, nữ).Biến định danh có thể biểu diễn bằng số học và mạng nơron có chức năng hỗitrợ điều này Tuy nhiên, mạng nơron làm việc tốt với những trường hợp biếnđịnh danh là một tập nhiều giá trị

Số lượng mẫu dùng để huấn luyện mạng rất khó xác định Đã có một vàihướng dẫn về mối liên hệ giữa số lượng mẫu với kích thước mạng (cách đơngiản nhất là số lượng mẫu gấp 10 lần số kết nối trong mạng) Thực ra số lượngmẫu cũng có liên quan đến độ phức tạp của hàm mà mạng phải học Khi sốbiến tăng lên, số lượng mẫu cần huấn luyện cũng tăng phi tuyến, vì thế với sốcác biến nhỏ (50 hoặc nhỏ hơn) thì lại cần một số lớn các trường hợp mẫu

Trong hầu hết các vấn đề trong thực tế, số lượng mẫu là khoảng hàngtrăm hay hàng nghìn mẫu Đối với những vấn đề rất phức tạp thì cần nhiều hơn,nhưng trường hợp này rất ít Nếu dữ liệu huấn luyện ít hơn, rõ ràng không đủthông tin để huấn luyện mạng, và cách tốt nhất là dùng mạng tuyến tính Nhiềuvấn đề trong thực tế có dữ liệu không đáng tin cậy, một vài dữ liệu bị phá hỏng

do liệu do nhiễu, hoặc các giá trị không phối hợp được với nhau Mạng nơron

có khả năng đặc biệt xử lý dữ liệu bị mất (sử dụng giá trị trung bình hay nhữnggiá trị thống kê khác) Mạng nơron cũng chịu được nhiễu, nhưng cũng phải cógiới hạn Nếu thỉnh thoảng có giá trị nằm xa ra khỏi vùng giá trị bình thường thìmạng huấn luyện phải có ngưỡng Cách tốt nhất đối với trường hợp này là nhận

ra và loại bỏ những giá trị nằm xa đó (có thể hủy trường hợp này hoặc xem giátrị nằm xa này là giá trị bị mất) Nếu giá trị này khó nhận ra, mạng nơron cóchức năng huấn luyện chịu được giá trị nằm khỏi vùng này nhưng huấn luyệnnày thường kém hiệu quả hơn là huấn luyện chuẩn

Tóm lại cách thu thập dữ liệu có thể nói gọn lại như sau:

- Chọn những giá trị huấn luyện có tác dụng

- Dữ liệu số và biến có giá trị định danh có thể xử lý trực tiếp bằng mạngnơron Chuyển những loại biến khác sang một trong các dạng này

- Cần hàng trăm hoặc hàng ngàn trường hợp mẫu huấn luyện; càng nhiềubiến thì càng nhiều mẫu huấn luyện Mạng nơron có khả năng nhận ra nhữngbiến hữu dụng để huấn luyện

1.7 Biểu diễn tri thức cho mạng nơron

Chúng ta có thể đưa ra định nghĩa về tri thức như sau:

Tri thức chính là thông tin được lưu trữ hay các mô hình được con người và máy móc sử dụng để biểu diễn thế giới thực, phán đoán về thế giới và

có những đáp ứng phù hợp với thế giới bên ngoài.

Các đặc tính cơ bản biểu diễn tri thức là:

Thông tin gì thực sự được biểu diễn

Làm thế nào thông tin được mã hóa một cách vật lý cho việc sử dụngsau này

Trong các ứng dụng thực tế của các máy tính thông minh, có thể nóirằng một giải pháp tốt phụ thuộc vào một biến tri thức tốt Điều đó cũng đúngvới các mạng nơron, một lớp đặc biệt của các máy thông minh Tuy nhiên, cácdạng biểu diễn có thể từ các đầu vào thành các tham số bên trong của mạng làrất đa dạng, và có khuynh hướng là cho việc tìm ra một giải pháp thích hợpnhằm biểu diễn tri thức bằng phương tiện mạng nơron trở nên một sự tháchthức về thiết kế

Ở đây cần nhấn mạnh rằng mạng nơron lưu trữ thông tin về thế giới thựcbằng chính bản thân cấu trúc của nó kể cả về mặt hình dạng cũng như giá trịtham số bên trong (có thể thay đổi được để nắm bắt môi trường) Một nhiệm

vụ chính của mạng nơron là học một mô hình của thế giới thực để đạt đượcmột số mục đích xác định cần quan tâm Tri thức của thế giới bao gồm hai loạithông tin sau:

- Trạng thái thế giới đã biết, được biểu diễn bởi các sự kiện về nhữngcái đã biết; dạng tri thức này được xem như là các thông tin ban đầu.

- Các quan sát (đo đạc) về thế giới, thu nhập được thông qua các bộ cảmbiến được thiết kế để thăm dò môi trường mà trong đó mạng hoạt động Nóichung, các quan sát này luôn bị nhiễu và sai lệch do nhiều nguyên nhân khácnhau Các quan sát thu nhận được như vậy cung cấp một quỹ thông tin, mà từ

đó lấy ra các ví dụ được dùng để huấn luyện mạng nơron

Do cấu trúc một mạng nơron là vô cùng đa dạng, nên để có thể biểu diễntri thức một cách có hiệu quả, người ta đưa ra bốn quy tắc chung sau:

Quy tắc 1 Các đầu vào tương tự từ các lớp tương tự cần phải luôn tạo ra

những biểu diễn tương tự trong mạng, và như vậy nên được phân lớp thuộc vềcùng một loại Trong tiêu chuẩn này, người ta thường sử dụng một số thước đo

để xác định độ “tương tự” giữa các đầu vào (ví dụ khoảng cách euclide)

Quy tắc 2 Các phần tử mà có thể phân ra thành các lớp riêng biệt thì

nên có những biểu diễn khác nhau đáng kể trong mạng

Quy tắc 3 Nếu một đặc trưng nào đó đặc biệt quan trọng thì nên có một

số lượng lớn nơron liên quan đến việc biểu diễn đặc trưng này trong mạng Sốlượng lớn các nơron bảo đảm mức độ chính xác cao trong việc thực hiện cácquyết định và nâng cao khả năng chịu đựng các neuron hỏng

Quy tắc 4 Thông tin ban đầu và các tính chất bất biến nên được đưa vào

trong thiết kế ban đầu của một mạng nơron, và như vậy sẽ giảm bớt gánh nặngcho quá trình học

Trong các quy tắc trên thì quy tắc 4 đặc biệt quan trọng vì nếu chúng ta

áp dụng nó một cách thích hợp sẽ dẫn đến khả năng tạo ra các mạng nơron vớimột kiến trúc chuyên biệt Điều này thực sự được quan tâm do một số nguyênnhân sau:

- Các mạng nơron thị giác và thính giác sinh học được biết là rất chuyên biệt

- Một mạng nơron với cấu trúc chuyên biệt thường có một số lượng nhỏcác tham số tự do phù hợp cho việc chỉnh lý hơn là một mạng kết nối đầy đủ.Như vậy mạng nơron chuyên biệt cần một tập hợp dữ liệu nhỏ hơn cho việctích luỹ; nó học sẽ nhanh hơn, và thường có khả năng tổng quát hoá tốt hơn

- Tốc độ chuyển thông tin qua một mạng chuyên biệt là nhanh hơn.

- Giá của việc xây dựng một mạng chuyên biệt sẽ nhỏ hơn do kích thướcnhỏ của nó so với mạng kết nối đầy đủ

1.8 Ứng dụng của mạng nơron.

Trong một vài năm trở lại đây, mạng nơron đã được nhiều người quantâm và đã được áp dụng thành công trong nhiều lĩnh vực khác nhau, như tàichính, y tế, địa chất và vật lý, Thật vậy, bất cứ ở đâu có vấn đề về dự báo,phân loại và điều khiển, mạng nơron đều có khả năng ứng dụng được Ví dụnhư khả năng nhận dạng mặt người trong các hệ thống quản lý thông tin liênquan đến con người (quản lý nhân sự ở các doanh nghiệp, quản lý sinh, sinhviên trong các trường học… ), các ngành khoa học hình sự, khoa học tướng số

và tử vi, v.v…

Kết hợp chặt chẽ với logic mờ, mạng nơron nhân tạo đã tạo nên cuộccách mạng thực sự trong việc thông minh hóa và vạn năng hóa các bộ điềukhiển kỹ thuật cao cho cả hiện tại và trong tương lai Ví dụ như ứng dụng tựđộng điều khiển hệ thống lái tàu, hệ thống dự báo sự cố,…

Mạng nơron thực hiện việc mô phỏng cấp thấp hệ thống nơron sinh học.Trong tương lai với sự phát triển mô phỏng nơron sinh học, chúng ta có thể cóloại máy tính thông minh thật sự

- Banking: Bộ đọc séc và các tài liệu, tính tiền của thẻ tín dụng

- Defense: Định vị - phát hiện vũ khí, dò mục tiêu, phát hiện đối tượng,nhận dạng nét mặt, các bộ cảm biến thế hệ mới, xử lý ảnh radar,

- Electronics: Dự đoán mã tuần tự, sơ đồ chip IC, điều khiển tiến trình,phân tích nguyên nhân hỏng chip, nhận dạng tiếng nói, mô hình phi tuyến

- Entertainment: Hoạt hình, các hiệu ứng đặc biệt, dự báo thị trường

- Financial: Định giá bất động sản, cho vay, kiểm tra tài sản cầm cố,đánh giá mức độ hợp tác, phân tích đường tín dụng, chương trình thương mạiqua giấy tờ, phân tích tài chính liên doanh, dự báo tỷ giá tiền tệ

- Insurance: Đánh giá việc áp dụng chính sách, tối ưu hóa sản phẩm

Kết luận chương 1:

Qua việc nghiên cứu về mạng nơron tổng quan ở trên, ta đã thấy có rấtnhiều loại mạng nơron và cũng có rất nhiều thuật toán học khác nhau Qua đó,chúng ta đã thấy được đặc điểm giống và khác nhau cơ bản của học có giámsát, học không giám sát và học tăng cường; phân biệt được các loại mạngnơron như mạng dẫn tiến đơn mức, mạng dẫn tiến đa mức, mạng quy hồi,