Nghiên cứu thuật toán nơron tương quan và áp dụng cho bài toán nhận dạng thông số

Mạng nơron có một số đặc tính quan trọng trội hơn so với các hệ thống tính toán truyền thống như sau [4]: • Là hệ phi tuyến, mạng nơron từ quan điểm lý thuyết có khả năng xấp xỉ những án

TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI

-

NGUYỄN QUỲNH NGA

NGHIÊN CỨU THUẬT TOÁN NƠRON – TƯƠNG QUAN VÀ ÁP DỤNG CHO BÀI TOÁN NHẬN

DẠNG THÔNG SỐ

LUẬN VĂN THẠC SĨ KHOA HỌC

NGÀNH ĐO LƯỜNG CÁC HỆ THỐNG ĐIỀU KHIỂN

Hà Nội – Năm 2010

MỤC LỤC

MỤC LỤC 1

BẢNG KÝ HIỆU 3

BẢNG CHỮ VIẾT TẮT VÀ TÊN MỘT SỐ MẠNG 4

DANH MỤC CÁC HÌNH VẼ, ĐỒ THỊ 5

MỞ ĐẦU 6

CHƯƠNG I: TỔNG QUAN VỀ MẠNG NƠRON 10

1.1 LÝ THUYẾT VỀ MẠNG NƠRON 10

1.1.1 Quá trình phát triển 10

1.1.2 Cơ sở mạng nơron nhân tạo 11

1.1.2.1 Mô hình Nơron sinh vật 11

1.1.2.2 Mô hình nơron nhân tạo 15

1.1.3 Các cấu trúc mạng điển hình 20

1.1.3.1 Mạng truyền thẳng một lớp 20

1.1.3.2 Mạng truyền thẳng nhiều lớp 21

1.2 HỌC CỦA MẠNG NƠRON 36

1.2.1 Học có tín hiệu chỉ đạo 37

1.2.2 Học không có tín hiệu chỉ đạo 38

1.3 LÝ THUYẾT PHÂN TÍCH TƯƠNG QUAN 39

1.3.1 Quá trình ngẫu nhiên 39

1.3.1.1 Khái niệm 39

1.3.1.2 Các hàm tương quan của quá trình ngẫu nhiên 40

1.3.2 Đo đặc tính động (hàm truyền đạt, đáp ứng xung) của những hệ tuyến tính – nhận dạng thông số 41

1.3.2.1 Nguyên lý của phương pháp 41

1.3.2.2 Khảo sát một hệ đang hoạt động bình thường 43

1.3.2.3 Khảo sát hệ chịu tác động của nhiễu 43

1.3.2.4 Khảo sát một quá trình chỉ bằng quan sát 44

1.3.2.5 Kết luận về ứng dụng 45

1.3.3 Các Angôrit (algorithm) tính hàm tương quan của tín hiệu ngẫu nhiên dừng 46

1.3.3.1 Angôrit (algorithm) thứ nhất 47

1.3.3.2 Angôrit thứ hai 48

1.3.3.3 Angôrit thứ ba 49

CHƯƠNG II: PHƯƠNG PHÁP NƠRON-TƯƠNG QUAN CHO BÀI TOÁN

NHẬN DẠNG THÔNG SỐ 52

2.1.1 Khả năng dùng mạng nơron trong nhận dạng thông số 52

2.1.2 Nhận dạng thông số sử dụng mạng nơron 52

2.2 ĐỐI TƯỢNG NHẬN DẠNG LÀ ĐỘNG CƠ ĐIỆN MỘT CHIỀU 56

2.2.1 Cấu tạo của động cơ một chiều 56

2.2.2 Mô phỏng đối tượng bằng Matlab 58

2.3 CHƯƠNG TRÌNH THỰC HIỆN PHƯƠNG PHÁP NƠRON -TƯƠNG QUAN 59

CHƯƠNG III: KẾT QUẢ MÔ PHỎNG CHƯƠNG TRÌNH 64

3.1 Kết quả mô phỏng 64

3.2 Đánh giá - Nhận xét 66

KẾT LUẬN VÀ KIẾN NGHỊ 68

TÀI LIỆU THAM KHẢO 69

PHỤ LỤC 71

||x||∞ =maxi=1, 2,…,n |xi| : chuẩn vô cùng của véc tơ

diag(a1, ,ai) : ma trận đường chéo với các phần tử

ai

W= [wij] : ma trận trọng liên kết n x m chiều x= [x1, ,xn]T є R : véc tơ cột x

BẢNG CHỮ VIẾT TẮT VÀ TÊN MỘT SỐ MẠNG

Adaline : (Adaptive Linnear Element), phần tử nơron tuyến tính

thích nghi – Tên một loại nơron do Widrow đề xuất năm 1960

nghi Một loại mạng được xây dựng theo lý thuyết này

Boltzmann : Một loại mạng lấy tên là Boltzmann

Perceptron : Tên một loại nơron do Rosenblatt đề xuất (1960)

và Lowe đề xuất năm 1988

VLSI : (Very Large Scale Intergation) Mạch tích hợp mật độ cao

Hopfield : Tác giả của một loại mạng trong nhóm mạng phản hồi

DANH MỤC CÁC HÌNH VẼ, ĐỒ THỊ

Hình 1.1: Nơron sinh vật 12

Hình 1.2: Mô phỏng các nơ-ron sinh học 15

Hình 1.3: Nơron nhân tạo 15

Hình 1.4: Một số hàm H(s) thường dùng cho nơron nhân tạo 16

Hình 1.5: Mô hình nơron nhân tạo có n đầu vào và 1 dầu ra 17

Hình 1.6: Các hàm kích thích hay được sử dụng nhất a) Hàm chặn cứng; (b-1), ((b-2) Các hàm chặn tuyến tính; c(1-((b-2) Các hàm sigma; (d) Hàm Gaussian 18

Hình 1.7: Phân loại mạng nơron nhân tạo 19

Hình 1.8: Mạng nơron truyền thẳng một lớp 20

Hình 1.9: Mạng truyền thẳng nhiều lớp 22

Hình 1.10: Mạng nơron hai lớp 23

Hình 1.11: Mạng MLP truyền thẳng 24

Hình 1.12: Mạng MLP truyền thẳng 30

Hình 1.13: Năng lượng mạng 34

Hình 1.14: Mô hình đo đặc tính động sử dụng tương quan kế 42

Hình 1.15: Mô hình khảo sát quá trình nhờ tín hiệu thử 43

Hình 1.15: Mô hình khảo sát quá trình chịu tác động của nhiễu 44

Hình 1.16: Thuật toán tính hàm tương quan 48

Hình 2.1: Mô hình nhận dạng cơ bản 53

Hình 2.2: Mô hình bổ sung thông tin đầu vào cho mạng nơ rôn 53

Hình 2.3: Mô hình sử dụng tri thức tiên nghiệm 54

Hình 2.4: Mô hình nhận dạng động học nghịch 54

Hình 2.5: Cấu tạo động cơ một chiều thông thường 56

Hình 2.7: Nguyên lý hoạt động của động cơ điện một chiều 57

Hình 2.8: Mô hình mạch điện thay thế của động cơ điện một chiều 58

Hình 2.9: Mô hình tự động nhận dạng quá trình sử dụng phương pháp nơ rôn tưong quan 60

Hình 2.10: Lưu đồ thuật toán của phương pháp 62

Hình 3.1: Các tín hiệu vào/ra của mô hình nhận dạng 64

Hình 3.2: Giao diện thiết lập cấu trúc mạng nơ rôn 65

Hình 3.3: Hiển thị kết quả so sánh 66

1 TÍNH CẦN THIẾT CỦA ĐỀ TÀI

Trong kỹ thuật xử lý thông tin, từ khi ra đời đến nay máy tính đã đạt được tốc độ tính toán số học rất nhanh, nó làm việc chính xác theo chương trình Tuy nhiên nhiều vấn đề mà máy tính số chưa đáp ứng được như loại bỏ ảnh hưởng nhiễu của các tác động môi trường, máy tính chưa xử lý tốt thông tin thiếu hụt, chưa thích nghi được với hoàn cảnh tự nhiên Trong khi đó mạng nơron với hàng tỉ nơron có tốc độ tính toán cực nhanh, xử lý các tình huống xảy ra trong thực tế thì chưa máy tính số nào có thể sánh kịp

Mạng nơron có một số đặc tính quan trọng trội hơn so với các hệ thống tính toán truyền thống như sau [4]:

• Là hệ phi tuyến, mạng nơron từ quan điểm lý thuyết có khả năng xấp xỉ những ánh xạ phi tuyến tuỳ ý; nó hứa hẹn giải những bài toán điều khiển phi tuyến phức tạp Nó có thể thực hiện nhiều phép lọc nằm ngoài khả năng của những bộ lọc tuyến tính thông thường

• Là hệ xử lý song song, mạng nơron có cấu trúc song song lớn; tốc độ tính toán cao và hy vọng sẽ đáp ứng được những hệ cần có độ chính xác cao hơn những hệ truyền thống hiện nay

• Mạng nơron là hệ nhiều đầu vào và nhiều đầu ra, có khả năng tự chỉnh cao đáp ứng các yêu cầu khắt khe của các hệ thống kỹ thuật

• Mạng nơron là hệ học và thích nghi, khi mạng nơron được huấn luyện

từ các dữ liệu quá khứ, đồng thời nó có khả năng khái quát hoá khi dữ liệu vào bị thiếu hụt, phù hợp với các hệ thống nhận dạng, phỏng đoán

kỹ thuật

Với các ưu điểm của mạng nơron thì việc nghiên cứu mạng nơron và đưa nó ứng dụng vào các lĩnh vực kỹ thuật là hoàn toàn cần thiết và đang là vần đề thời sự của thế giới và trong nước

2 NHỮNG CƠ SỞ TIẾP CẬN MẠNG NƠRON NHÂN TẠO

Cơ sở để xây dựng mạng nơron có thể tóm tắt như sau:

• Đầu tiên phải kể đến khoa sinh học nơron Hầu hết các cấu trúc nơron nhân tạo đều bắt nguồn từ các mô hình nơron sinh vật Các nhà sinh học nơron chọn phương pháp nghiên cứu đặc tính đáp ứng nơron với các xung kích thích từ thấp lên cao, từ nơron đơn thể đến mạng nhiều lớp, từ các khu thần kinh trung ương đến các cơ chế thần kinh chấp hành [5]

• Cơ sở thứ hai để xây dựng nơron nhân tạo là sinh lý học nơron Các nhà sinh lý học nơron nghiên cứu cách nhận thức, các hành vi của não

từ cao xuống thấp; rất nhiều các thuật học bắt nguồn từ những nghiên cứu về sinh lý học Trong năm mươi năm qua, các nghiên cứu đó dần hội tụ từ mức vi mô đến vĩ mô hiện nay [6]

• Cơ sở toán học Các lĩnh vực khoa học nói chung và mạng nơron nói riêng đều cần công cụ toán học để kiểm nghiệm và đảm bảo các tiên đề

và giả thiết đối với mạng nơron nhân tạo (ví dụ tiên đề Hebb) Các phương pháp được dùng ở đây là các phương pháp ổn định theo lý thuyết điều khiển tự động, các công cụ giải tích, phương pháp ổn định theo lý thuyết, công cụ số, các lý thuyết hệ thống lớn, tối ưu [5], [7]…

3 MỤC ĐÍCH, ĐỐI TƯỢNG VÀ NỘI DUNG CỦA LUẬN VĂN

Mạng nơron nhân tạo đã được chú trọng nghiên cứu từ lâu, nhưng kết quả nghiên cứu còn phụ thuộc vào sự phát triển của nhiều lĩnh vực khoa học

và công nghệ khác Lý thuyết về mạng nơron đã hình thành, đang phát triển

và ngày càng hoàn thiện, tuy nhiên vẫn còn nhiều vấn đề chưa được giải quyết triệt để như số lớp, số nơron trong mỗi lớp, ổn định mạng… Việc ứng dụng mạng nơron nhân tạo vào điều khiển và nhận dạng nhưng còn chưa nhiều Luận văn này nghiên cứu, phân tích, cải tiến nhằm đưa mạng nơron và hàm tương quan để nhận dạng và điều khiển các thông số

Luận văn được trình bày theo ba chương trừ phần mở đầu, kết luận, phụ lục:

• Chương một trình bày tổng quan về mạng nơron và hàm tương quan;

• Chương hai trình bày phương pháp nơron-tương quan để nhận dạng thông số;

• Chương ba trình bày kết quả mô phỏng chương trình

Phạm vi nghiên cứu: Sử dụng mạng nơron và hàm tương quan để chỉnh các

tham số của động cơ điện một chiều Trong đó:

− Thuật toán tương quan để phát hiện sai lệch giữa quá trình thực và mô hình giả thiết

− Mạng nơron dùng để điều chỉnh các thông số của mô hình

Ý nghĩa khoa học và thực tiễn của luận văn

Mạng nơron là công cụ mới hứa hẹn giải quyết những vấn đề xử lý

song song, phi tuyến phức tạp trong khoa học tính toán, trong điều khiển tự

động cũng như các lĩnh vực khác Nghiên cứu nhằm phát triển thêm công cụ

và tìm khả năng áp dụng công cụ mạnh và mới này trong điều khiển Với đặc tính vốn có song song của mạng nơron, các hệ thống sử dụng nó có thể tăng tốc độ xử lý và tính toán theo thời gian thực

Thuật toán tương quan được áp dụng cho hầu hết các quá trình như:

điện tử, hoá học, thuỷ lực, cơ học, v.v dải thông rộng bao nhiêu cũng được không phụ thuộc vào tần số Đặc điểm đáng chú ý là có thể đo ngay khi hệ đang làm việc với một tín hiệu thử có biên độ rất bé Thực tế phương pháp này đã được áp dụng để xác định các đặc tính của những quá trình hoá học, những hệ cơ khí, đặc biệt là trong ngành hàng không (cả về máy, vỏ và cánh máy bay)

CHƯƠNG I: TỔNG QUAN VỀ MẠNG NƠRON VÀ

HÀM TƯƠNG QUAN

1.1 LÝ THUYẾT VỀ MẠNG NƠRON

1.1.1 Quá trình phát triển

Theo Wiener, trí não, thông tin và điều khiển là ba lĩnh vực dưới ngọn

cờ chung là điều khiển học (Cybernetics) [16] Nghiên cứu và mô phỏng trí

não, cụ thể là mô tế bào thần kinh (nơron) là một ước muốn từ lâu của nhân

loại Từ mơ ước đó nhiều nhà khoa học đã không ngừng nghiên cứu tìm hiểu

về mạng nơron Với khoảng 15 tỷ nơ ron ở não người, mỗi nơ ron có thể nhận

hàng vạn tín hiệu từ các khớp thần kinh và được coi là một cơ chế sinh vật

phức tạp nhất Não người có khả năng giải quyết nhũng vấn đề như: nghe, nhìn, nói, hồi ức thông tin, phân biệt các mẫu mặc dù sự kiện có bị méo mó,

thiếu hụt Não thực hiện những nhiệm vụ như vậy nhờ các phần tử tính toán

(nơ ron) Não phân bố việc xử lý cho hàng tỷ nơ ron có liên quan, điều khiển

các mối liên hệ giữa các nơ ron đó Nơ ron không ngừng nhận và truyền thông

tin lẫn nhau Cơ chế hoạt động nơ ron bao gồm: liên kết (association), tổng

quát hoá (generation), và tự tổ chức (Self- organization) Các nơ ron tự liên

kết với nhau thành mạng trong xử lý Mỗi mạng gồm hàng vạn các phần tử nơ

ron khác nhau Mỗi phần tử nơ ron có khả năng liên kết với hàng nghìn các

nơ ron khác Lý thuyết về mạng nơ ron đã hình thành và đang phát triển, đặc

biệt là nghiên cứu ứng dụng chúng [2, 4] Có thể chia quá trình phát triển và

nghiên cứu mạng nơ ron trong thế kỷ qua thành bốn giai đoạn:

Giai đoạn một: có thể tính từ những nghiên cứu của William từ những

năm 1890 về tâm lý học với sự liên kết các nơ ron thần kinh Năm 1940, McCulloch và Pitts đã cho biết, nơ ron có thể được mô hình hoá như thiết bị

ngưỡng giới hạn để thực hiện các phép tính logic Cũng thời gian đó, Wiener

đã xét mối liên quan giữa nguyên lý phản hồi trong điều khiển và chức năng cuả bộ não; Ashly đã đề xuất mô hình chức năng bộ não và nguyên lý ổn định cuả nó

Giai đoạn hai: có thể tính từ sau thế chiến thứ hai Đặc biệt, vào những

năm cuả thập niên 60 gần như đồng thời xuất hiện một loạt mô hình mạng nơ ron hoàn hảo hơn được đưa ra như: Perceptron cuả Rosenblatt, phần tử nơ ron tuyến tính Adaline (ADAptive LINear Element) cuả Windrow, Ma trận học cuả Steinbuck Perceptron rất được chú trọng vì nguyên lý giản đơn, nhưng nó cũng hạn chế vì như Minsky và Papert đã chứng minh nó không dùng được cho các hàm logic phức Bản chất cuả Adaline là tuyến tính, tự chỉnh và được dùng rộng rãi cho những bài toán tự thích nghi, tách nhiễu và vẫn phát triển cho đến ngày nay

Giai đoạn ba: Có thể tính từ đầu những năm 80 đến nay Những đóng

góp to lớn cho mạng nơron ở giai đoạn này là Grossberg, Kohonen, Rumelhart và Hopfield Đóng góp chính của Hopfield là hai mô hình mạng phản hồi: mạng rời rạc năm 1982 và mạng liên tục năm 1984 Đặc biệt ông dự tính nhiều khả năng tính toán lớn của mạng mà một nơron đơn không thể có được

Giai đoạn bốn: Từ năm 1990 đến nay, các hội nghị, tạp trí khoa học và

chuyên đề đặc biệt về mạng nơron liên tục được tổ chức ví dụ như IJCNN (International Joint Conference on Nơron Networks) Hàng loạt các lĩnh vực khác nhau như: kỹ thuật tính toán, tính toán tối ưu, ứng dụng mạng nơron trong tin học, viễn thông, sinh y học, dự báo, thống kê….đã đi vào áp dụng và đem lại những kết quả đáng khích lệ

1.1.2 Cơ sở mạng nơron nhân tạo

1.1.2.1 Mô hình Nơron sinh vật

Các nơron sinh vật có nhiều dạng khác nhau như dạng hình tháp ở đại não, dạng tổ ong ở tiểu não, dạng rễ cây ở cột sống Tuy nhiên, chúng có cấu trúc và nguyên lý hoạt động chung Từ mô hình chung nhất, người ta có thể

mô tả chúng như một nơron chuẩn Một tế bào nơron chuẩn gồm bốn phần cơ bản là:

Hình 1.1: Nơron sinh vật

• Các nhánh và rễ: là các bộ phận nhận thông tin Các đầu nhạy hoặc các đầu ra của các nơ ron khác bám vào rễ hoặc nhánh của một nơ ron Khi các đầu vào từ ngoài này có sự chênh lệch về nồng độ K+, Na+ hay Cl-

so với nồng độ bên trong của của nơ ron thì xảy ra hiện tượng thấm (hoặc hiện tượng bơm) từ ngoài vào trong thông qua một cơ chế màng thấm đặc biệt Hiện tượng thẩm thấu như vậy tạo nên một cơ chế truyền đạt thông tin với hàng nghìn hàng vạn lối vào trên một nơ ron sinh vật, ứng với hàng nghìn hàng vạn liên kết khác nhau Mức độ thẩm thấu được đặc trưng bởi cơ chế màng tượng trưng bằng một tỷ lệ Tỷ lệ đó được gọi là tỷ trọng hay đơn giản gọi là trọng (weight)

• Thân thần kinh (soma) chứa các nhân và cơ quan tổng hợp prôtêin Các ion vào được tổng hợp và biến đổi Khi nồng độ các ion đạt đến một giá trị nhất định, xẩy ra quá trình phát xung (hay kích thích) Xung đó được

phát ở các đầu ra của nơ ron Dây dẫn đầu ra xung được gọi là dây thần kinh (axon)

• Dây thần kinh (axon) là đầu ra Đó là phương tiện truyền dẫn tín hiệu Dây thần kinh được cấu tạo gồm các đốt và có thể dài từ vài micro mét đến vài mét tùy từng kết cấu cụ thể Đầu ra này có thể truyền tín hiệu đến các nơ ron khác

• Khớp thần kinh (synape) là bộ phận tiếp xúc của các đầu ra nơ ron với

rễ, nhánh của các nơ ron khác Chúng có cấu trúc màng đặc biệt để tiếp nhận các tín hiệu (Hình 1.a) khi có sự chênh lệch về nồng độ ion giữa bên trong và bên ngoài Nếu độ lệch về nồng độ càng lớn thì việc truyền các ion càng nhiều và ngược lại Mức độ thấm của các ion có thể coi là một đại lượng thay đổi tùy thuộc vào nồng độ như một giá trị đo thay đổi và được gọi là trọng

Hoạt động của nơron sinh vật

• Truyền xung tín hiệu: Mỗi nơron nhận tín hiệu vào từ các tế bào thần kinh khác Chúng tích hợp các tín hiệu vào Khi tổng các tín hiệu vượt một giá trị nào đó gọi là giá trị ngưỡng (hay đơn giản gọi là ngưỡng) chúng phát tín hiệu ra Tín hiệu ra của nơron được chuyển tới các nơron hoặc tới các cơ quan chấp hành khác như các cơ, các tuyến (glands) Việc truyền tín hiệu thực hiện thông qua dây thần kinh và từ nơron này tới nơron khác theo cơ chế truyền tin đặc biệt là khớp thần kinh Mỗi một nơron có thể nhận hàng nghìn, vạn tín hiệu và cũng có thể gửi tín hiệu đến hàng vạn các nơron khác Mỗi nơron được coi là một thiết bị điện hoá, chứa các nội năng liên tục, được gọi là thế năng màng (rnembrance potential) Khi thế năng màng vượt ngưỡng, nơron có thể

truyền thế năng tác động đi xa theo các dây thần kinh

• Quá trình học: Khi có xung kích thích từ bên ngoài tới, các khớp hoặc cho đi qua hoặc không và kích thích hay ức chế các nơron tiếp theo

Học là một quá trình làm cho cách cập nhật này lặp lại nhiều lần đến một giá trị ổn định, cân bằng điện hoá giữa các nơron (Trong mạng nơron nhân tạo, trọng số wij biểu diễn gía trị cân bằng đó đồng thời tạo

mối liên kết giữa các nơron) Những nơron không có ý nghĩa khi xử lý

đơn lẻ mà cần thiết liên kết với nhau tạo thành mạng Đặc tính của hệ thần kinh được xác định bằng cấu trúc và độ bền của những liên kết đó

Có thể thay đổi độ bền vững liên kết (weight) bằng các thuật học khác

nhau Theo nghiên cứu của các nhà nơ ron sinh vật, một noron xử lý

với tốc độ chỉ bằng 1/6 đến 1/7 tốc độ của cổng logic Các nơron sinh học thường được liên kết hàng nghìn, hàng vạn các phần tử với nhau theo nhiều cách tổ chức khác nhau rất phức tạp Tuy nhiên, một số cách kết hợp các phần tử nơron thành mạng theo lớp (layer) được đúc kết

• Mạng truyền thẳng: là mạng nhiều lớp mà quá trình truyền tín hiệu từ

đầu ra lớp này đến đầu vào lớp kia theo một hướng xác định

• Mạng truyền ngược: là mạng mà trong đó một hoặc nhiều đầu ra của

các phần tử lớp sau truyền ngược tới đầu vào các lớp trước đó

• Mạng tự tổ chức: là mạng có khả năng sử dụng những kinh nghiệm quá khứ để thích ứng với những biến đổi của môi trường (không dự báo

trước)

Mô phỏng các nơron sinh học:

Hình 1.2: Mô phỏng các nơ-ron sinh học

Nhận các tín hiệu từ các nơ-ron khác (hay từ đầu vào) Nếu giá trị (tổng các tín hiệu có nhân hệ số) nhận được vượt quá một ngưỡng nào đó, nơ-ron này sẽ kích hoạt (nó sẽ gửi tín hiệu đến các nơ-ron khác nữa)

Mạng nơ-ron là 1 họ các quá trình xử lý thông tin dựa trên mô hình các nơ-ron thần kinh của con người Kết hợp 1 số lượng lớn các thành phần đơn giản (nơ-ron) cấu trúc phức tạp nhằm giải quyết 1 vấn đề cụ thể nào đó

Giống như con người, mạng nơ-ron học bằng các ví dụ (mẫu)

1.1.2.2 Mô hình nơron nhân tạo

Mạng nơron sinh học có cấu trúc phức tạp Mô hình một nơron nhân tạo được xây dựng từ ba thành phần chính: tổng các liên kết đầu vào, động học tuyến tính, phi tuyến không động học (Hình 1.3)

Hình 1.3: Nơron nhân tạo

• Bộ tổng liên kết: Bộ tổng liên kết đầu vào phần tử nơron có thể được

mô tả như sau:

− b là trọng liên kết các đầu vào ngoài; k

− w là trọng liên kết các đầu vào trong;

− I là ngưỡng của nơron xác định giới hạn kích thích hay ức chế

• Phần động học tuyến tính : Có nhiều hàm để mô tả phần động học

tuyến tính Đây là phần mô tả các xử lý bên trong của nơron Dưới đây

là một phương pháp dùng toán tử Laplace mô tả (Hình 1.3) phần động học tuyến tính như một hàm truyền đạt :

X s =V s H s⋅ (1.2)

Hình 1.4: Một số hàm H(s) thường dùng cho nơron nhân tạo

• Phần phi tuyến :

Các đầu ra của nơron sinh vật là các xung, có giới hạn chặn Trong mô phỏng, để đảm bảo hệ ổn định đầu ra, người ta thường gán hàm chặn ở lối ra cho các tín hiệu Để đặc trưng cho điều này, lối ra của mỗi nơron phải đặt

hàm chặn, thường ở dạng phi tuyến với hàm g(.) Như vậy, đầu ra y có đặc trưng là một hàm :

và tương ứng với các nơron sinh học)

Một số dạng mũ, logarit cũng được sử dụng trong khâu đầu ra phi tuyến mặc dù cơ sở sinh vật của những hàm đó chưa được đặt ra Đầu ra y(t) trong trường hợp tổng quát có thể liên tục hoặc rời rạc Giống nơron sinh vật các nơron nhân tạo liên kết với nhau tạo thành mạng Có nhiều cách kết hợp các nơron nhân tạo thành mạng, mỗi cách kết hợp tạo thành một lớp mạng khác nhau

Hình 1.5: Mô hình nơron nhân tạo có n đầu vào và 1 dầu ra

Hình 1.5 biểu diễn một nơron nhân tạo gồm n đầu vào và 1 đầu ra Nó bao gồm những thành phần sau:

Đầu vào x x1, , ,2 x : Các đầu vào nhân với các trọng số n w w1, 2, ,w n

Một đầu vào có giá trị bằng 1 được gọi là 1 bias và được ký hiệu là x 0

Hàm số đầu vào u tính tập hợp các tín hiệu đầu vào cho nơron

( , )

u u x w= , trong đó x và w lần lượt là các vectơ đầu vào và trọng số Thông

thường chọn hàm tổng

Hàm kích thích s tính toán mức độ kích thích của nơron a=s(u).

Hàm đáp ứng tính toán giá trị tín hiệu đầu ra của nơron y=f(a) Tín

hiệu đầu ra của tín hiệu thông thường bằng mức độ kích thích của nơron y=a

Tùy theo sự khác nhau của từng tham số ở trên mà sinh ra các kiểu nơron khác nhau Các giá trị đầu vào và đầu ra của 1 nơron có thể số nhị phân {0,1},

số lai {-1,1}, giá trị liên tục trong đoạn [0,1], hoặc các số rời rạc trong 1 khoảng được định nghĩa trước

Hình 1.6: Các hàm kích thích hay được sử dụng nhất a) Hàm chặn cứng; (b-1), ((b-2)

Các hàm chặn tuyến tính; c(1-2) Các hàm sigma; (d) Hàm Gaussian

Hàm chặn cứng (hình 1.6[a]) Nếu giá trị đầu vào của mạng lớn hơn 1 giá

trị chặn nào đó thì nơron trở nên tích cực (giá trị kích thích bằng 1), ngược lại

nó sẽ không tích cực (giá trị kích thích bằng 0)

Hàm chặn tuyến tính Giá trị kích thích sẽ tăng tuyến tính cùng với sự tăng

của tín hiệu đầu vào và khi đến một ngưỡng nào đó đầu ra sẽ bão hòa Các

kiểu hàm chặn tuyến tính khác nhau phụ thuộc vào phạm vi của giá trị đầu ra nơron (hình 1.6[b-1], 1.6[b-2])

Hàm sigma Hàm sigma là hàm truyền phi tuyến hình chữ S được đặc trưng

bởi các yếu tố sau

Bị chặn, các giá trị của nó bị hạn chế giữa 2 ngưỡng, ví dụ như [0 1], [-1 1] Đơn điệu tăng, nghĩa là các giá trị của f(u) không bao giờ giảm khi u tăng Liên tục và tăng, do đó có thể đạo hàm ở mọi điểm trong miền của hàm xác

định của hàm Các kiểu hàm sigma khác nhau được sử dụng trong thực tế là:

Một hình thức khác của hàm logsig là hàm logsig 2 cực: ( ) 1

1

cu cu

Hàm gaussian (hàm hình quả chuông, hình 1.6[d])

• Một kiểu được phân loại điển hình như sau:

Hình 1.7: Phân loại mạng nơron nhân tạo

1.1.3 Các cấu trúc mạng điển hình

1.1.3.1 Mạng truyền thẳng một lớp

Là mạng mà các nơron tạo thành một lớp, trong đó mỗi một tín hiệu vào có thể được đưa vào cho tất cả các nơron của lớp và mỗi nơron có nhiều các đầu vào và một đầu ra trên mỗi nơ ron đó (Hình 1.7)

Trong đó :

− x t là các trạng thái của nơ ron, i =1, , n; i( )

− u t là các đầu vào ngoài; bik là trọng liên kết, k = 1, , m; i( )

− y t là đầu ra; i( )

− n là số nơron;

− m là số tín hiệu ngoài đưa vào

Phương trình (1.6) viết dưới dạng phương trình ma trận vector :

y t g x t

=

(1.8)

Hệ phương trình (1.8) có thể cho ở dạng rời rạc:

Đặc tính mạng như vậy phụ thuộc vào ma trận liên kết B và dạng động học ( )H s

1.1.3.2 Mạng truyền thẳng nhiều lớp

Liên kết một lớp cho khả năng ánh xạ phi tuyến giữa các đầu vào và các đầu ra Mạng hai lớp có khả năng ánh xạ các hàm trong vùng lồi Mạng một hoặc hai lớp nói chung dễ phân tích Mạng ba lớp hoặc nhiều lớp có khả năng mô tả được mọi hàm phi tuyến Theo Cybenco thì bất kỳ hàm phi tuyến nào cũng có thể xấp xỉ tuỳ ý trên một tập compact bằng mạng nơron truyền thẳng gồm hai lớp ẩn với độ phi tuyến cố định Như vậy, khi xây dựng mạng

nơ ron trong xử lý, mạng hai lớp ẩn đủ khả năng xấp xỉ một hàm tùy chọn mà

có thể không dùng nhiều lớp hơn phức tạp cho tính toán

Hình 1.9: Mạng truyền thẳng nhiều lớp

Xét mạng tĩnh ( )H s truyền thẳng nhiều lớp có phương trình mô tả như sau:

− m là số tín hiệu ngoài đưa vào

Phương trình (1.10) có thể viết dưới dạng phương trình ma trận-vector :

W là trọng số của nơron thứ i , có đầu vào là j , thuộc lớp thứ k

x là đầu vào thứ i , i i=1,2,3

z là đầu ra của nơron thứ i thuộc lớp ẩn, i i=1,2,3

y là đầu ra của lớp đầu ra

net ,1 net lần lượt là hàm truyền của lớp ẩn, lớp đầu ra 2

(1.12)

Lớp đầu ra:

1 11 2 12 3 13 (2)

2

a = z w + z w + z w

y = net (a )

(1.13)

Thuật toán huấn luyện lan truyền ngược

Lan truyền ngược là thuật toán được dùng phổ thông nhất trong việc dạy mạng nhiều lớp, kể cả mạng với nơron có tíng động học BSB

Từ một mẫu học cụ thể x , ( )k ( )k

y và các trọng số đã có của mạng, chẳng hạn

như w , ( )k v ở mạng hai lớp, người ta xác định đầu ra thực ( )k y% Sau đó trên ( )k

cơ sở so sánh với mẫu học y , các trọng số của lớp nơron đầu ra, ví dụ ( )k w , ( )k

được hiệu chỉnh thành w(k+1) Tiếp tục, từ trọng số mới w(k+1) người ta lại hiệu chỉnh trọng số của các nơron thuộc lớp phía trước, ví dụ như v thành ( )k v(k+1)

Cứ như vậy cho đến trọng số của lớp nơron đầu vào

Nội dung thuật toán:

Bây giờ ta xét tổng quát mạng MLP truyền thẳng với m đầu vào và x , j

1,2, ,

j= m và n đầu ra % y i, 1,2, j = n gồm Q lớp với mỗi lớp có n p nơron , 1,2, p= Q như hình mô tả sau:

Hình 1.11: Mạng MLP truyền thẳng

z lần lượt cho p =1,2,…,Q bằng cách ứng với mỗi giá trị

pta lại thực hiện lần lượt cho i=1,2,…, n p hai bước sau:

x ]

,( )

Q k i

Q

d dc

p

d dc

α

−

−

,( 1) 1

Từ các mạng truyền thẳng tổng quát một số tác giả đã chọn các dạng cụ thể, nghiên cứu áp dụng cho chúng các thuật học phù hợp, hình thành các mạng cụ thể như: mạng Adaline, mạng Percetron, mạng truyền ngược Dưới đây là một số mạng điển hình

x = x x x x , k=1,2, ,p, trong đó m là số đầu vào, n

là số đầu ra, p là số cặp mẫu vào-ra dùng huấn luyện mạng Đầu ra thực tế theo cấu trúc chung:

Luật học tổng quát: học đối với mạng nơron là cập nhật trọng trên cơ

sở các mẫu Theo nghĩa tổng quát, học có thể được chia làm hai loại: Học tham số và học cấu trúc Trong những năm gần đây, các công trình tập trung cho nghiên cứu các luật học khác nhau Các luật học đó có thể khái quát thành dạng chung sau:

Trong đó: là hằng số học (dương) xác định tốc độ học; r là tín hiệu

học Tín hiệu học tổng quát là một hàm của , ,W x d , tức là i r= f W x d r( , , )i i i Đối với các trọng biến đổi liên tục có thể sử dụng dạng sau:

m

j j j

=

Luật học: Luật học Adaline sử dụng phương pháp bình phương cực

tiểu truy hồi Windrow và Hoff đề ra luật học dựa trên phương pháp gradient dùng một Adaline để xấp xỉ một hàm tuyến tính (m-1) biến nhờ một tập hợp gồm p mẫu Đầu tiên chọn tuỳ ý véctơ trọng ban đầu W(1), sau đó ta từng bước hiệu chỉnh lại W(k) theo các mẫu { x(k), d(k) }, k=1, ,p, sao cho tổng bình phương sai số đạt cực tiểu:

( ) ( ) ( ) 1

1.3.2.3 Mạng nơron RBF (Radial Basis Function)

Mạng RBF được Moody và Darker đề xuất năm 1989 dựa trên sự tương đồng giữa khai triển RBF với mạng nơron một lớp ẩn Khả năng xấp xỉ của các hàm phi tuyến của mạng có thể thừa nhận từ hai lý do Một là, nó là một kiểu khai triển RBF Hai là, nó tương đương với hệ thống mờ và là một công

cụ xấp xỉ vạn năng Đặc biệt mạng RBF Gauss sẽ là một kiểu mạng “có một

số người thắng”, nên có thể áp dụng luật học không giám sát của Kohonen mở rộng Điều này có thể giải thích từ cách suy diễn kiểu NẾU-THÌ của hệ thống

2 2 k 1

x-m

2 x-m

Trong đó: x = [ x1,……., xm] là vector đầu vào;

mk là vector tâm (giá trị trung bình) ;

là chiều rộng (phương sai) ;

ký hiệu chuẩn Owclit

=

Với i= 1,….,n, k=1,… ,p số mẫu

Các mạng nơron phản hồi :

Đưa phản hồi ngược vào cấu trúc mạng nơron tạo một mạng động (dynamic) với một số điểm ổn định Trong trường hợp tổng quát, mô hình mạng động mô tả như sau:

Hình 1.12: Mạng MLP truyền thẳng

Trong đó: x(t) là trạng thái; u(t) là các đầu vào ngoài; θ là tham số; F(.)

là hàm mô tả cấu trúc; G(.) là hàm mô tả quan hệ giữa biến trạng thái và đầu

ra

Mạng phản hồi (recurrent) đầu tiên được Kohonen, Anderson và Nakano đề ra từ những năm 1972 Hopfield đã hiệu chỉnh sơ đồ học của nó, trong đó các thông tin về trọng đảm bảo các trạng thái nhớ, ứng với các điểm cực tiểu Các điểm cực tiểu dùng làm bộ nhớ địa chỉ theo nội dung (CAM: Content Address Memory) nhằm giải quyết bài toán nhận mẫu (nhận dạng tĩnh) Các mẫu chắc chắn được dùng làm các điểm cân bằng Các sai số giữa đầu vào so với mẫu phải nằm trong vùng hấp dẫn Theo quan điểm của vật lý

về spin glass hệ động học như vậy được tạo ra, trong đó hệ mạng gắn liền với tập các mẫu được đưa vào từ trước Nếu toàn bộ không gian làm việc được phân vùng theo CAM thì điều kiện ban đầu ứng với các mẫu chuẩn là nghiệm trạng thái dừng ứng với các mẫu Tiếp theo chúng ta xem xét hai mạng Hopfield là loại mạng một lớp phản hồi được sử dụng rất nhiều trong thực tế

Mạng Hopfield rời rạc

Hopfield là một nhà vật lý đã đề xuất hai loại mạng nổi tiếng Mạng Hopfield đầu tiên là mạng nơron phản hồi một lớp dạng rời rạc với hàm kích hoạt phi tuyến dạng bước nhảy :

Với p là phần tử chọn ngẫu nhiên được tính, p =1,….,n và hàm quan hệ vào ra:

( ( ))

i i

Luật Hebb được dùng để mã hóa p mẫu: yk, k =1,… ,p là các điểm cân bằng của hệ được mô tả từ (2.1 21) đến (2.1.24) bằng cách chọn các trọng số theo luật sau:

( ( ))

i i

1 1 1

1 ( )

dk(xi) khả vi, đơn điệu không giảm

Các hệ số cik , đối xứng và thỏa mãn một số giả thiết thì tồn tại hàm Liapunov :

1.3.2.5 Mạng Hopfield liên tục

Năm 1984 trên cơ sở mô hình rời rạc, Hopfield đã nêu mô hình nơron phản hồi liên tục được mô tả luật tác động bằng tập các phương trình vi phân sau:

1

n i

i i ij i

j i

Và đã chứng minh tính ổn định của mạng theo tiêu chuẩn ổn định của Liapunov :

0

dv

(1.44)

Hình 1.13: Năng lượng mạng

Từ (2.1.33) cho thấy hệ luôn ổn định, sau một khoảng thời gian chuyển động trong không gian trạng thái, đạt cực tiểu trong miền V và dừng ở điểm

đó với dv/ dt = 0, dyi / dt = 0 tức yi=const với mỗi i Với hệ này tồn tại nhiều điểm cân bằng ứng với mức năng lượng cực tiểu (hay là đáy năng lượng) trên một siêu phẳng năng lượng của siêu diện n chiều Giả sử các mẫu vào (input patterns) tuỳ ý được đưa vào hệ như trạng thái ban đầu, hệ sẽ đạt đến điểm cân bằng gần nhất ứng với điểm ổn định Hình 2.11 cho thấy một phác họa ngắn gọn về năng lượng của hệ E(x)

Nếu E(x) là một hàm vô hướng của x với các cực tiểu địa phương, các điểm cực tiểu địa phương này được gắn vào mạng làm các đặc trưng xử lý thông tin Nếu hệ thống xuất phát ở trạng thái ban đầu x(0), thì theo thời gian

hệ trượt xuống đáy năng lượng của điểm cực tiểu gần nhất

Với đặc trưng như vậy, mạng Hopfield có khả năng dùng làm một bộ nhớ các mẫu lệnh, để sau đó có thể gọi lại Dựa trên nguyên lý đó, mạng

Hopfield cũng có thể dùng trong hệ nhận dạng các tham số, làm các bộ suy diễn mờ (fuzzy interference) trong điều khiển thông minh, giải các bài toán tối ưu Trong những mạng thuộc nhóm phản hồi còn có các mô hình mạng khác như: máy Bolzmann, Mc.Culloch-Pitts

1.3.2.6 Mạng nơron tự tổ chức: (Self-Organizing Feature Maps)

Con người có khả năng sử dụng những kinh nghiệm quá khứ để thích nghi với những thay đổi của môi trường Sự thích nghi đó không cần người hướng dẫn hoặc chỉ đạo từ bên ngoài Mạng nơron nhân tạo thực hiện theo nguyên lý đó gọi là mạng tự tổ chức Kohonen đã nêu lên loại mạng với tên gọi đặc trưng là tự tổ chức Trong mạng tự tổ chức, tại một thời điểm chỉ có một tế bào nơron hoặc một nhóm nơron cục bộ cho đáp ứng đối với đầu vào tại thời điểm đó Mạng có một lớp đơn như là một lớp đầu vào Các trọng của mạng được mã hoá tương ứng với các mẫu đầu vào Các ánh xạ đặc trưng được sử dụng nhiều trong nhận mẫu, điều khiển rô bốt và điều khiển quá trình Mức tác động của mỗi nơron được tính theo tích của véc tơ vào và véctơ trọng:

i i

Trong đó:

xi là trạng thái (mức tác động) của nơron thứ i;

wi là vector trọng của phần tử nơron thứ i;

u là vector vào

Gần đây, vài mô hình mới như Fourier, Gabor ứng với các dạng hàm phi tuyến cũng được sử dụng Những mạng này thường là tổ hợp của các loại mạng khác nhau hoặc là phát triển trên các loại mạng có sẵn

So sánh các loại mạng nơron ta thấy một số đặc điểm như sau:

− Mạng nơron truyền thẳng không chứa lớp ẩn, dễ phân tích và tính toán nhưng không phù hợp với những bài toán phức tạp, đặc tính quan hệ

giữa tín hiệu ra và tín hiệu vào là hàm phi tuyến bậc cao Mạng nơron

có lớp ẩn loại bỏ được nhược điểm này nhưng có khói lượng tính toán lớn, độ phi tuyến cao do đó có thể đạt được sai số học thấp nhưng sai số kiểm tra cao

− Mạng nơron phản hồi một lớp thì đơn giản trong phân tích, không chứa sai số tích lũy, dễ thực hiện trên các mạch điện và mạch tổ hợp Mạng

đã được nghiên cứu và ứng dụng với phần động học tuyến tính rất thích ứng với công nghệ điều khiển và rôbốt

− Mạng nơron tự tổ chức hứa hẹn nhiều khả năng giải quyết các bài toán phức tạp, thông minh gần với tri thức con người Tuy nhiên ma trận trọng liên kết đầu vào quá lớn nên khó khăn và chậm trong xử lý

Như vậy trong trình độ công nghệ xử lý thông tin hiện nay việc sử dụng mạng phản hồi tương đối thích hợp cho các đối tượng điều khiển Để giải quyết những bài toán phi tuyến, phức tạp, thường có sự liên kết các loại mạng khác nhau theo ưu điểm của từng loại mạng Trong luận văn này tôi lựa chọn mạng nơron phản hồi một lớp đơn giản trong phân tích, không chứa sai số tích lũy, được ứng dụng nhiều với phần động học tuyến tính

1.2 HỌC CỦA MẠNG NƠRON

Các tính toán trong mạng nơron phần lớn được thực hiện bằng các biến đổi với trọng liên kết Thông thường, người ta tách pha học và pha gọi lại thành hai quá trình riêng:

• Pha học (hoặc huấn luyện) là quá trình gắn các thông số của mạng dựa vào các tập dữ liệu theo luật học xác định Mạng nơron cần học:

− Học cấu trúc: là xác định số lớp, số nơron trong mỗi lớp

− Học tham số: là xác định các trọng wij , các tham số của hàm kích hoạt g(.)

Có hai kiểu học cơ bản là:

− Học có giám sát (có thầy, có tín hiệu chỉ đạo)

− Học không có giám sát (không có thầy, không có tín hiệu chỉ đạo)

• Pha gọi lại là quá trình các thông tin được lấy ra từ mạng khi dữ liệu được đưa vào

1.2.1 Học có tín hiệu chỉ đạo

Học có tín hiệu chỉ đạo là phương pháp học có thầy để đưa ra các yêu cầu dk mà đầu ra của mạng cần đạt được Khi đó sai lệch giữa đầu ra của mạng và đầu ra yêu cầu thể hiện kết quả học, quá trình học thành công là sai

số này nằm trong giới hạn cho phép Luật học điển hình của nhóm này là luật học Delta của Widrow nêu ra đầu tiên dùng để xấp xỉ trọng của Adaline dựa trên nguyên lý hạ gradient Từ hàm năng lượng của mạng:

Trong đó:

k là chỉ số thời gian;

W là véc tơ trọng;

X là véc tơ vào;

α là hệ số chỉ tốc độ học, thường được chọn trong khoảng 0<α<1;

dk là đầu ra mong muốn

Khi có đầu vào và đầu ra, tập các trọng được chỉnh theo (1) Trong thực

tế, để có bộ trọng thích hợp, cần giới hạn miền xác định các trọng Đây là bài toán thuận trong việc định mẫu, hoặc phân tích dữ liệu Bài toán ngược cũng đặt ra: cho một mẫu đầu ra, cần xác định các hệ số trọng của các đầu vào tương ứng Ví dụ, cho chỉ tiêu chất lượng đầu ra của sản phẩm xi măng, cần xác định các hệ số trọng (ứng với nguyên vật liệu) đầu vào sao cho chất lượng

đó đảm bảo Có thể tồn tại nhiều tập hệ số đảm bảo cùng một chất lượng đó,

do vậy cần hạn chế miền dữ liệu vào để đảm bảo tính thực tế

Trong nhóm thuật học này cũng cần kể đến thuật Perceptron Về cơ bản thuật Perceptron giống thuật Delta Điểm khác nhau là: luật Delta thay đổi các

giá trị của trọng trong thời gian học, còn luật học Perceptron thêm hoặc bỏ trọng tuỳ theo giá trị sai số đầu ra là dương hay âm

Một loạt các luật học khác cũng dựa trên tư tưởng này Luật học Oja là cải tiến và nâng cấp của luật học Delta Luật học truyền ngược mở rộng của luật học Delta cho mạng nơron nhiều lớp

1.2.2 Học không có tín hiệu chỉ đạo

Học không có tín hiệu chỉ đạo là phương pháp học không có thầy để đưa ra các yêu cầu dk mà đầu ra của mạng cần đạt được, như vậy không có các đầu ra mong muốn cho mạng Luật học không có tín hiệu chỉ đạo điển hình là luật Hebb thường dùng cho các mạng nơron tự liên kết Luật học LVQ (Learning Vector Quantization) thường dùng cho mạng nơron tự tổ chức Luật học Hebb là luật sinh học xuất phát từ tiên đề của Hebb cho rằng: giữa hai phần tử nơron có quan hệ và có thay đổi thế năng màng thì giữa chúng có sự thay đổi trọng liên kết Như vậy, luật Hebb là luật tương quan Dạng cơ bản của nó có thể mô tả như sau:

ij i j

Trong đó:

∆Wij là thay đổi của trọng cho phần tử nơron i từ phần tử j;

Yi và Yj là các mức tác động của các phần tử nơron tương ứng

Luật Hebb giải thích việc chỉnh trọng trong phạm vi cục bộ của mạng nơron giải thích việc chỉnh trọng trong phạm vi cục bộ của mạng nơron mà không cần tín hiệu chỉ đạo từ ngoài Hopfield cũng cải tiến luật Hebb cho các mạng tự liên kết dùng để nhớ mẫu Luật Hebb có thể cải tiến thành 16 dạng khác nhau theo kiểu luật Hebb, luật đối Hebb, luật Hopfield, luật đối Hopfield v.v…

Luật LVQ thường dùng cho các mạng tự tổ chức một lớp đơn thuộc lớp mạng ánh xạ đặc trưng của Cohonen Trong trường hợp này, các đầu vào

được nối song song với nhiều tập trọng có các giá trị khác nhau Khi một mẫu được đưa vào mạng, có sự so sánh giữa đầu vào và các tập giá trị trọng Véc

tơ trọng nào có sự chênh lệch nhỏ nhất giữa nó với đầu vào là được chọn để chỉnh theo luật sau:

Đối với mạng nơron phản hồi thường sử dụng luật Hebb và các luật cải tiến của nó để chính trọng mà không cần tín hiệu chỉ đạo từ bên ngoài

Đối với mạng nơron truyền thẳng thường sử dụng luật truyền ngược để chỉnh trọng với tín hiệu chỉ đạo từ bên ngoài Nếu coi cấu trúc mô hình mạng

là phần xương thịt, thể xác thì các luật học là phần trí tuệ thông minh của mạng nơron và các công trình nghiên cứu luật học chiếm số lượng lớn nhất trong mấy chục năm qua

1.3 LÝ THUYẾT PHÂN TÍCH TƯƠNG QUAN

1.3.1 Quá trình ngẫu nhiên

1.3.1.1 Khái niệm

Khi đo tín hiệu vào/ra, trạng thái để nhận dạng đối tượng hay quá trình, kết quả nhận dạng sẽ phụ thuộc rất nhiều vào tính chính xác của các phép đo này Khác với loại tín hiệu tiền định là với những điều kiện đo như nhau các phép đo đều thực hiện trong cùng một điều kiện, các kết quả đo sẽ rất khác nhau Điều này gây không ít khó khăn cho việc mô tả và xử lý chúng