nghiên cứu cơ chế làm việc của bộ não mô hình mạng nơron nhân tạo

Những đóng góp lớn cho mạng nơron trong giai đoạn này phải kể đến Grossberg, Kohonen, Rumelhart và Hopfield... + Giai đoạn bốn : Giai đoạn bốn là từ năm 1987 đến nay, h

Trang 2

Nghiªn cøu c¬ chÕ lµm viÖc cña

bé n·o, m« H×nhm¹ng n¬ron Nh©n t¹o

4.1 Nh÷ng kh¸i niÖm c¬ b¶n

4.2 M« h×nh n¬ron sinh häc

4.3 M« h×nh n¬ron nh©n t¹o

4.4 C¸c luËt häc c¬ b¶n

Trang 3

4.1 Những khái niệm cơ bản

4.1.1 Lịch sử nghiên cứu bộ não con người

Quá trình nghiên cứu chia thành bốn giai đoạn + Giai đoạn một : Giai đoạn một có thể tính từ nghiên cứu của William

1890 về tâm lý học với sự liên kết các nơron thần kinh Năm 1940 Mc.Culloch và Pitts đã cho biết: nơron có thể được mô hình hoá như thiết bị ngưỡng (giới hạn) để thực hiện các phép tính lôgic Cũng thời gian đó Wiener đã xét các mối liên quan giữa nguyên lý phản hồi và chức năng bộ não.

Trang 4

+ Giai đoạn hai: Giai đoạn hai vào những năm 1960, gần như đồng thời một số mô hình nơron hoàn hảo hơn đã được đưa ra, đó là mô hình:

- Perceptron của Rosenblatt.

- Adaline của Widrow.

- Ma trận học của Steinbuck.

Trang 5

Trong đó, mô hình nơron Perceptron rất được quan tâm vì nguyên lý đơn giản, nhưng nó cũng có hạn chế vì như Minsky và Papert đã chứng minh nó không dùng được cho các hàm lôgic phức Còn Adaline là mô hình tuyến tính, tự chỉnh, được dùng rộng rãi trong điều khiển thích nghi, tách nhiễu, mô hình Adaline vẫn phát triển và ứng dụng cho đến nay.

Trang 6

+ Giai đoạn ba: Giai đoạn ba có thể tính là khoảng đầu những năm 80 Những đóng góp lớn cho mạng nơron trong giai đoạn này phải kể đến Grossberg, Kohonen, Rumelhart và Hopfield Đóng góp lớn của Hopfield gồm hai mạng phản hồi: mạng rời rạc năm 1982 và mạng liên tục năm 1984 Dự đoán của Hopfield đã được Rumelhart, Hinton và Williams đề xuất thuật toán sai số truyền ngược nổi tiếng để huấn luyện mạng nơron nhiều lớp nhằm giải bài toán mà mạng khác không thực hiện được.

Trang 7

+ Giai đoạn bốn : Giai đoạn bốn là từ năm 1987 đến nay, hàng năm thế giới đều mở hội nghị toàn cầu chuyên ngành nơron IJCNN (International Joint Conference on Neural Networks) Các công trình nghiên cứu để hoàn thiện thêm lý thuyết về mạng nơron như: mở rộng, hoàn thiện các lớp mạng, phân tích ổn định, kết hợp lý thuyết mạng nơron với các lý thuyết khác cũng không ngừng được đưa ra

Trang 8

4.1.2 Nguyên nhân thúc đẩy nghiên cứu bộ não con người.

Mô phỏng sinh học, đặc biệt là mô phỏng nơron thần kinh là một ước muốn từ lâu của nhân loại Với khoảng

10 25 nơron ở não người, mỗi nơron có thể nhận hàng vạn tín hiệu từ các khớp thần kinh và được coi là một cơ chế sinh học phức tạp nhất Não người có khả năng giải quyết những vấn đề như: nghe, nhìn, nói, hồi ức thông tin, phân biệt các mẫu mặc dù dữ kiện bị méo mó, thiếu hụt.

Trang 9

Não thực hiện những nhiệm vụ như vậy bởi có những phần tử tính gọi là nơron Não phân bổ việc xử lý thông tin cho hàng tỷ nơron có liên quan, điều khiển liên lạc giữa các nơron Nơron không ngừng nhận và truyền thông tin lẫn nhau Cơ chế hoạt động của nơron bao gồm: Tự liên kết, tổng quát hoá và tự tổ chức Các nơron liên kết với nhau thành mạng, mỗi mạng gồm hàng vạn các phần tử nơron khác nhau, mỗi phần tử nơron có khả năng liên kết với hàng ngàn các nơron khác.

Trang 10

Một số kết quả so sánh

Đơn vị tính môôt bôô CPU với 10 5

mạch logic làm viêôc theo chế đôô tuần tư

mạng trên 100 tỷ nơron làm viêôc song song

Thời gian

xử ly

10 ô8 giây 10 -3 giây

Trang 11

Một số kết luận

Một nơron làm được những chức năng đơn giản hơn CPU, với tốc độ chậm hơn rất nhiều Nhưng cả bộ não thì làm được một số việc hơn hẳn máy tính nhất là các bài toán nhận dạng (ảnh, vật thể, tiếng nói ), xử lý thông tin có nhiễu, không đầy đủ, không chắc chắn, mờ (là những tính chất ta đòi hỏi ở máy tính thế hệ mới)

Vậy tính ưu việt của bộ não là ở chỗ:

Trang 12

1- Có số lượng lớn nơron được nối thành mạng liên kết chặt chẽ với nhau Tức là, ở đây thông tin cần thiết cho quyết định không những được lấy ra từ bản thân các tín hiệu vào (lớn hay nhỏ) mà còn khai thác triệt để mối liên hệ giữa chúng.

2- Xử lý tín hiệu song song sẽ giúp mạng nơron nhân tạo giải quyết vấn đề tính toán theo thời gian thực dễ dàng, một trở ngại mà máy tính cũ cộng phương pháp tính song song khó có thể vượt qua.

Trang 13

4.2 Mô hình nơron sinh học

4.2.1 Mô hình một nơron sinh vật

Mô hình nơron sinh vật như hình 4.1

Trong đó:

+ Các khớp : có nhiều loại khớp khác Mỗi loại khớp lại cản các loại xung khác nhau bằng những lực khác nhau Nên một khớp chỉ cho đi qua một số loại xung nhất định Mỗi lần một xung đi qua sức cản của khớp giảm đi một ít làm cho lần sau dễ dàng hơn.

Trang 15

Truyền xung tín hiệu : xung điện phát ra từ nơron trước khớp Nếu lực cản của khớp nhỏ xung truyền qua Các nhánh của nơron nhận và truyền về thân (soma) gây ra quá trình hoá học, làm tăng hoặc giảm điện thế bên trong của nơron nhận Nếu điện thế lớn hơn ngưỡng nơron phát hoả (fire), một xung sẽ được gửi ra sợi trục (axon) qua các sợi nhánh tới chỗ kết thúc - gọi là khớp - để truyền tiếp đến các nơron sau khớp Các khớp cho xung đi qua tác động làm tăng khả năng phát hoả của nơron nhận gọi là khớp ức chế

Trang 16

Quá trình học : Khi có xung kích thích từ bên ngoài tới, các khớp cản lại khác nhau, cho đi qua hoặc không và sẽ kích thích hay ức chế các nơron tiếp theo

Do đó hình thành một con đường dẫn truyền xung nhất định Học là làm cho con đường này được lặp lại nhiều lần, nên sức cản các khớp nhỏ dần, tạo điều kiện cho các lần sau lặp lại dễ dàng hơn

Trang 17

Có thể nói: toàn bộ kiến thức, kinh nghiệm của một người tích luỹ được và lưu giữ trong đầu chính là hệ thống các sức cản của các khớp

(trong mạng nơron nhân tạo ta làm việc với các trọng số Wij - biểu diễn mối liên kết giữa các nơron - tức là đại lượng có ý nghĩa ngược lại với sức cản của khớp)

Trang 18

4.2.2 Mạng nơron sinh vật

Những nơron liên kết với nhau tạo thành mạng Tập các liên kết thường được xắp sếp thành ma trận liên kết Đặc tính của hệ được xác định bằng cấu trúc và độ bền vững của những liên kết đó

Có một số cách kết hợp các phần tử nơron thành mạng Thông thường, các phần tử tổ chức thành nhóm hoặc lớp (layer) Ta có:

Trang 19

+ Mạng nơron một lớp: Mạng nơron một lớp là tập hợp các phần tử nơron có đầu vào và đầu ra trên mỗi một phần tử Nếu mạng nơron nối các đầu ra của phần này với đầu vào của phần tử kia gọi là mạng tự liên kết (autoassociative).

+ Mạng nơron hai lớp: Mạng nơron hai lớp gồm một lớp đầu vào và một lớp đầu ra riêng biệt.

+ Mạng nơron nhiều lớp : Mạng nơron nhiều lớp gồm một lớp đầu vào và một lớp đầu ra riêng biệt Các lớp nằm giữa lớp đầu vào và lớp đầu ra gọi là các lớp ẩn (Hidden layers).

Trang 20

+ Mạng truyền thẳng: là mạng 2 hay nhiều lớp mà quá trình truyền tín hiệu theo một hướng.

+ Mạng nơron phản hồi : nhiều đầu ra của các phần tử lớp sau truyền ngược tới đầu vào của lớp trước.

+ Mạng nơron tự tổ chức: là mạng có khả năng sử dụng những kinh nghiệm quá khứ để thích ứng với những biến đổi của môi trường (không dự báo trước) Loại mạng nơron này thuộc nhóm hệ học, thích nghi không cần có tín hiệu chỉ đạo từ ngoài.

Trang 21

4.3 Mô hình nơron nhân tạo

4.3.1 Mô hình một nơron nhân tạo

Từ những cơ sở nghiên cứu về nơron sinh vật chúng ta có thể xây dựng mô hình nơron nhân tạo theo ngôn ngữ và ký hiệu chung nhất như

hình 4.2

Mô hình một nơron nhân tạo có thể được cấu tạo từ ba thành phần chính đó là: Phần tổng các liên kết đầu vào, phần động học tuyến tính H(.), phần phi tuyến không động học g(.).

Trang 22

Hình 4.2 Nơron nhân tạo

Trang 23

* Bộ tổng liên kết

Bộ tổng liên kết đầu vào phần tử nơron có thể mô tả như sau:

(4.1)

trong đó:

v(t) tổng tất cả các đầu vào mô tả toàn bộ thế năng tác động ở thân nơron.

xk(t) các đầu vào ngoài, mô tả tín hiệu vào từ các khớp nơron ngoài tới nơron hiện tại, m là số đầu vào, k

= 1, , m.

I )

t ( x b )

t ( wy )

t (

1

k k k

+ +

=

Trang 24

y(t) đầu ra nơron (còn dùng làm đầu vào phản hồi, đầu vào cho nơron khác) mô tả tín hiệu ra.

bk trọng liên kết các đầu vào ngoài, là hệ số mô tả mức độ liên kết giữa các đầu vào ngoài tới nơron hiện tại.

w trọng liên kết các đầu vào trong, là hệ số mô tả mức độ liên kết giữa các nơron trong mạng nơron, liên kết phản hồi, tự liên kết.

I là ngưỡng, xác định ngưỡng kích thích hay ức chế (hằng số).

v, w, y, x, I là số thực.

Trang 25

* Phần động học tuyến tính

Đầu vào của phần động học tuyến tính là đầu ra của bộ tổng liên kết v(t) Đầu ra của nó u(t) là tín hiệu dạng tương tự Có nhiều hàm để mô tả phần động học tuyến tính như thể hiện ở bảng 4.2

Dùng toán tử Laplace mô tả hàm truyền của phần động học tuyến tính ta được dạng:

U(s) = H(s) V(s) (4.2) Trong miền thời gian phương trình (4.2) có thể viết:

t ( u

Trang 26

Bảng 4.2 Một số hàm H(s) thường dùng cho mô hình nơron nhân tạo

s

1 sT +

) t (

v dt

) t ( du

dt

) t ( du

Trang 27

* Phần phi tuyến

Phần phi tuyến là phần sử dụng hàm g(.) cho đầu ra y với đầu vào u(t):

y = g(u(t)) (4.4) Có nhiều hàm phi tuyến Một số hàm được cho ở bảng 4.3 , một số dạng khác cũng được sử dụng Các nơron ở vùng thị giác có đặc tính của hàm Sigmoid, nơron ở khu vực quan sát có dạng hàm Gauss Một số dạng hàm mũ, logarit cũng được sử dụng mặc dù cơ sở sinh vật của những hàm đó chưa được đặt ra

Trang 28

Bảng 4.3 Một số hàm phi tuyến thường dùng trong các mô hình

0 u nÕu

1 )

u ( g

0 u nÕu

1 )

u ( g

1 u nÕu 1

Trang 29

1 u

1 u 1

u

1 )

u ( g

0 u nÕu

u )

u ( g

u

e 1

1 )

u (

+

=

1 e

1

2 )

u (

nhÊt Ë

gÇn

nî

ron n

0

m t ron

1 )

u ( g

Trang 30

4.3.2 Mạng nơron nhân tạo

Giống như các nơron sinh vật, các nơron nhân tạo có thể liên kết với nhau tạo thành mạng Có nhiều cách kết hợp các nơron nhân tạo thành mạng Mỗi cách kết hợp tạo thành một loại lớp mạng nơron nhân tạo khác nhau

+ Dựa vào số lượng lớp có trong mạng nơron ta có thể phân loại thành

Mạng nơron một lớp;

Mạng nơron nhiều lớp.

Trang 31

+ Dựa vào đường truyền tín hiệu trong mạng nơron ta phân thành

Mạng nơron truyền thẳng;

Mạng nơron phản hồi;

Mạng nơron tự tổ chức.

Trong mỗi một lớp mạng như vậy có nhiều dạng mạng đã được các tác giả đề xuất và xây dựng với nhiều đặc trưng về kiến trúc, thuật học và ứng dụng khác nhau.

Trang 32

4.4 Các luật học cơ bản

4.4.1 Học là gì ?

Học là quá trình xác định cấu trúc hoặc tham số của mạng nơron.

Vậy ta có

+ Học cấu trúc : Xác định số lớp, số nơron trong mỗi lớp.

+ Học tham số: xác trọng wị, các tham số kích hoạt ặ)

Trang 33

Quá trình học có thể được thực hiện có hoặc không có tín hiệu để so sánh:

+ Có tín hiệu để so sánh : học có giám sát (học có thầy giáo) + Có nhưng không chi tiết (ví dụ: "đúng, sai”,"được không"): học tăng cường.

+ Không có tín hiệu để giám sát: học không giám sát (học không thầy giáo).

Trang 34

4.4.2 Dạng chung của học tham số

Dạng chung cho học tham số:

∆Wi(t) = η.r.x(t) (4.5)

trong đó: ∆Wi(t) chênh lệch trọng cần cập nhật

η hệ số học, thể hiện tốc độ học

r tín hiệu học, thường là sai lệch giữa đích và đầu ra

x(t) tín hiệu vào

Trang 35

Luật học không giám sát của Hebb (1949):

∆Wi(t) = η.yi.x (4.6)

trong đó: ∆Wi(t) chênh lệch trọng cần cập nhật

η hệ số học, thể hiện tốc độ học

yi tín hiệu ra

x tín hiệu vào Lực khớp trong não thay đổi tỉ lệ với tương quan giữa sự phát hoả của các nơron trước và sau khớp Gần đây lại có thêm luật học phản Hebb (Matsuokak Kawamoto M, 1996)

Trang 36

Ví dụ: Ap dụng luật học Hebb để cập nhật véctơ trọng W = [w1, w2,w3, w4] cho một nơron với 4 đầu vào X = [x1, x2, x3, x4] T theo một tập gồm 3 mẫu sau:

, ,

(1)

1 1,5 x

0,5 0

0 1,5

1 0,5

Trang 37

Chọn giá trị ban đầu

, η = 1.

Ta xét trường hợp nơron với hàm tích hợp tuyến tính, có ngưỡng I = 0, và hàm kích hoạt dạng ngưỡng:

(1)

1 0 w

1 0

Trang 38

Bước1: Tính đầu ra với bộ mẫu vào thứ nhất

Tính chênh lệch trọng cần cập nhật lần thứ nhất

1 1,5

y sgn w x sgn 1; 0; 1; 0 sgn 1 0 0,5 0

0,5 0 sgn(0,5) 1

Trang 39

Cập nhật trọng lần thứ nhất (để tính cho lần thứ 2)

Bước2: Tính đầu ra với bộ mẫu vào thứ hai

y sgn w x sgn 2;1,5; 0,5; 0

0 1,5

Trang 40

Tính chênh lệch trọng cần cập nhật lần thứ hai

Cập nhật trọng lần thứ hai (để tính cho lần thứ 3)

Trang 41

Bước 3: Tính đầu ra với bộ mẫu vào thứ ba

Tính chênh lệch trọng cần cập nhật lần thứ ba

1 0

y sgn w x sgn 1,5; 2,5; 0,5;1,5

1 0,5 sgn 1,5 0 0,5 0,75 sgn( 1,75) 1

Trang 42

Cập nhật trọng lần thứ ba

(4) (3) (3)

1,5 1 2,5 2,5 0 2,5

0,5 1 0,5 1,5 0,5 2

Trang 43

Chương 5

CAC MẠNG TRUYỀN THẲNG VÀ HỌC CÓ GIAM SAT

5.1 Mô hình nơron nhân tạo M-P

5.2.Các mạng truyền thẳng 1 lớp

5.3 Các mạng truyền thẳng nhiều lớp

Trang 44

5.1 Mô hình nơron nhân tạo M-P (Mc Culloch, Pitts, 1943)

5.1.1 Sơ đồ

Trong đó :

xj(t): Đầu vào thứ j

ở thời điểm (t)

y(t+∆): đầu ra của

nơron

∆ : Thời gian xử lí tín hiệu

X1

ặ) f(.)

Hình 5.1 Nơron M-P

W2

Wm

W1

Trang 45

wj: trọng nối từ đầu vào thứ j

θ: Ngưỡng

f(.): hàm tích hợp

ặ): Hàm kích hoạt.

5.1.2 Phương trình mô tả

0

f

nÕu )

( f 1 a

Trang 46

5.1.2 Khả năng tính toán

Bằng cách chọn các trọng và ngưỡng thích hợp, một nơron có thể thực hiện được ba phép tính logic cơ bản: OR, AND, NOT Do đó một mạng từ các nơron M-P có thể thực hiện các hàm logic phức tạp bất kỳ, và có khả năng tính toán như một máy tính số hiện nay Tất nhiên ta không chỉ sử dụng nơron M-P để thực hiện ba phép tính trên và máy tính nơron không chắc sẽ làm việc theo nguyên lý của máy tính cũ

Trang 47

Chứng minh:

Phép OR

Để đơn giản, ta chọn: w1= w2 = = wm = w.

Phép OR đòi hỏi các điều kiện sau:

Nếu: x1 = 0 , x2 = 0, x3 = 0, xm = 0 thì y = 0

x1 = 1, x2 = 0, x3 = 0, xm = 0 thì y = 1 x1 = 1, x2 = 1, x3 = 0, xm = 0 thì y = 1

….

x1 = 1, x2 = 1, x3 = 1, xm = 0 thì y = 1

y x = ∪ x ∪ x ∪ ∪ x

Trang 48

Thay các giá trị trên của xj và y vào (5.1), (5.2) ta có hệ phương trình:

Với các điều kiện trên ta luôn chọn được các trọng và ngưỡng thoả mãn.

Định dạng
Số trang	132
Dung lượng	1,16 MB