ngày nay hệ thống thông minh đã trở thành thông dụng trong việc giải quyết các bài toán thực tế phức tạp và nó cũng đảm bảo đáp ứng đầy đủ các yêu cầu thực tiễn của bài toán
Trang 1PHU LUC C Mang Noron nhdn tao (Artificial Neural Network -ANN)
ANN ra đời đầu tiên vào năm 1949, Donald Hebb đã đưa ra lý thuyết học Noron và áp dụng cho mạng xử lý phân phối song song [7,TLTK], [26,TLTK] Vào
cuối năm 1950, Frank Rosenblatt đã xây dựng mô hình mạng Perceptron Tuy
nhiên, mô hình này còn nhiều hạn chế khi ứng dụng cho lớp bài toán lớn (xem chỉ
tiết trong [26, TUTK], [27, TUTK]) Vào những năm 1980, công nghệ Nơron đặc biệt được quan tâm và đã xuất hiện nhiều kiến trúc mạng đa dạng ứng dụng rộng
rãi cho nhiều bài toán phức tạp trong thực tế, những nhà khoa học và kỹ thuật mang
lại các đóng góp chính trong giai đoạn này là: Hopfiel, Grossberg, Widrow, Anderson va Kohonen (Xem chi tiét trong [26, TLTK], [27,TLTK])
Dinh nghĩa C.1 (mạng Nơron nhân tạo)
Mạng Nơron nhân tạo là sự mô phỏng sinh học bằng máy tính của bộ não con người Nó có cấu trúc song song được cấu thành từ nhiều phan tử (Vøơron nhân tạo) liên kết với nhau thông qua các trọng số Ä⁄ỗi Nơron nhân tạo là một hệ thống động phi tuyến có khả năng tự học Như vậy, mạng Nơron có khả năng học từ kinh
nghiệm hay từ tập mẫu[5, TLTK], [23, TLUTK], [27, TLTKI
C.1 Mô hình tổng quát một Nơron nhân tạo [16, TUTK]
Định nghĩa C.2 (một Nơron nhân tạo)
Một Nơron nhân tạo cũng giống như một Nơron sinh học được cấu thành từ hai khối chính: nối kết và thân với nhân bên trong Mỗi khối này chịu trách nhiệm cung
Trang 2cấp hai kiểu biến đổi toán học khác nhau hình thành lên cơ chế xử lý thông tin của một Nơron: Biến đổi toán học nối kết và biến đổi toán học bên trong thân Noron
Mô hình toán học tổng quát của một Xơron được chỉ ra trong Hình C.1(a)
Hoạt động xử lý thông tin của một Nơron
(1) Nhận véc tơ nhập x(t)=(x¡(1), xz(t), x;(t))ÏeR"
(2) Xây dựng toán tử nổi kết @ giữa véc tơ nhập x(t) với véc tơ trọng nối kết
w(†)=(i(0), wa(t), ny Walt) ER"
(3) X4c định tin hiéu dau ra cla khéi ndi két u(t)ER", gtti u(t) dén khéi thân ben trong của Nơron
(4 Thực hiện các biến đổi toán học bên trong thân Nơron: Tính tổng, đặt ngưỡng,
xây dựng hàm truyền phi tuyến
(5) Xác định độ đo y(t)eR tại đầu ra của Nơron
Định nghĩa C.3 (biến đổi toán học trong Nơron)
Các biến đổi toán học trong Nơron (xem Hình C.1(a)):
(1) Biến đổi toán học nối kết
u,(t) =x,(N@ wt), i=1n
(2) Biến đổi toán học bên trong than Noron
@) — Tính tổng: vợ) = đz,(0),v() e R
(ii) Đặtngưỡng z() = v()E, z(/) R
Gii) Hàm truyén phi tuyến
yœ) = /[z0)] yŒ)e R
Trang 3than Noron
t
x()eR? @w( L—j4j*9 1 Jam LOL te)
w(t)e R® u(t) eR" v(t)eR 6(QeR z(0eR
màn
— Biến đổi toán học hợp nhất oF
(a) Các phép toán tại nối kết và thân của Nơron
x(t) €R"
{@, 8 (Đ] ©x()
Đầu vào của Biến đổi toán Hàm truyền Đầu ra của |
(b) Các xử lý tương đương trong một Nơron: Biến đổi toán học hợp nhất
và hầm truyền phi tuyến Hình C.I Mô hình tổng quát của một Nơron đơn giản: x(t) e R*: Các đầu vào của Nơron, w(t) e R" : Véc tơ trọng số nối kết, Ø(t) e R”: Ngưỡng, z(£) e R : Độ đo các quan hệ qua lại, y(t) e R : Đầu ra của Nơron, @ : toán tử nối kết, 4# : Toán tử tính tổng, =: Toán tử đặt ngưỡng, ©:Toán tử hợp nhất, f [ ®]: Hàm truyền phi tuyến
Trang 4Tóm lại, mục tiêu chính của hoạt động xử lý thông tin trong Noron la cung cap
một ánh xạ phi tuyến từ véc ?ơ nhập x(t) eR" đến độ đo đầu ra y(£)eR Khả năng
thích nghỉ của ơron được bảo đảm bằng việc hiệu chỉnh bộ trọng số w(¿) nhờ một
Thuật giải học dành riêng Hàm truyền phi tuyến ƒƒ trong thân Mơron tăng cường tính mềm dẻo và chặt chẽ của tính toán Nơron trong những điều kiện bất thường (có thể biến đổi) Véc tơ trọng số nối kết w(¿) là một đại diện cho những tri thức tích lũy đã học được nạp vào trong khối nối kết của một Nơron
Hai biến đổi toán học: Nối kết và Tính tổng có chức năng chính là: thăm dò, đo lường mối quan hệ qua lại giữa véc tơ nhập x(¿) với bộ giá trị véc tơ trọng nối kết
w(t) (biểu diễn những kinh nghiệm tích luỹ trước dé) Dé do v(t) thu dude ty hai
phép toán nối kết và tính tổng phản ánh giá trị đo lường tính đông dạng hay khác
biệt giữa véc tơ nhập x(¡) và véc to trong w(t) Néu v(t) vượt qua ngưỡng 6) thì độ
đo z(t) phẩn ánh mối quan hệ qua lại được chọn làm giá trị kích hoạt Mơron và đầu
ra y(t) sé được sản sinh thông qua hàm truyền phi tuyến ƒƒ.J
Ham ngưỡng 6(:) phần ánh mức độ sai lệch cho phép đối với giá trị kích hoạt
z(z) Mức độ sai lệch này được thống kê dựa trên những tri thức tích lũy từ trước
(w(z)) Với mục tiêu giải quyết những bài toán phức tạp trong thực tế, mỗi Nơron
trong mạng Nơron cần có ngưỡng sai lệch cho phép đối với giá trị kích hoạt sao cho
đảm bảo những yêu cầu đa dạng của các hàm tính toán bên trong ¿hân Nơron Hơn nữa, ngưỡng 6:) cũng phải thícH nghỉ với véc tơ trọng nối két w(t)
Định nghĩa C.4 (véc tơ tham số)
Véc tơ tham số phản ánh sự kết hợp giữa ngưỡng sai lệch với các phép toán
tính tổng và nối kết được xác định như sau:
Trang 5Ka(t)=(Xo(t), X4(t), X2(t)y oy X(t) ER", xo(t)=1
va wu(f)=(wa(t), Wilt), Wot), Walt)" ER", wolt)= Ot)
trong d6, xo(t)=/ va wo(t)= &t) phẩn ánh ngưỡng sai số
—
————
x(t) € R" ——> Nơron - Đơn vị xử lý thông tin yoeR
———>
——>
[— Ị
Không gian đầu Không gian đầu ra
Hình C.2 Hoạt động tính toán của Mơron: Anh xạ phi tuyến từ x()<R" đến y(t) eR
Định nghĩa C.Š (ánh xạ phi tuyến)
Những biến đổi trong một Nøron từ véc tơ nhập x(/)eR" sang độ đo y(:)eR
được xem là ánh xạ phi tuyến từ nhiều đầu vào đến một đầu ra duy nhất (Hình C.2) Anh xạ phi tuyến chuyển đổi của Nơron được phân thành hai phép toán (Hình C.1(b)):
đ) Phép toán hợp nhất
Gi) Ham truyén phi tuyến
Trang 6Định nghĩa C.6 (phép toán hợp nhất)
Phép toán hợp nhất được định nghĩa là phép toán đo lường các quan hệ qua lại
giữa véc tơ nhập x(¿) và véc tơ trọng nối kết w(¿) Như vậy, nó là một biến đổi toán học tích hợp gồm: nối kết, tính tổng, và đặt ngưỡng Xác định như sau:
Z(t)=[w(1), 6t)] © x(t) trong đó, © là toán tử hợp nhất va z(¿) là hàm đo lường các quan hệ qua lại
Nếu phép toán đặt ngưỡng được gắn kết vào trong các hoạt động nối kết và tính tổng bằng véc tơ tham số (Định nghĩa C.4) thì phép toán hợp nhất được xác
định:
2(t)=Wa(t) Ô x4(t)
®_ Hàm truyền phi tuyến ƒ[.] có chức năng xếp hạng độ đo z(:) sao cho đảm bảo tính
mềm dẻo và chặt chẽ của ánh xạ Nøron và trả về độ đo y(£)cR tại đầu ra của Noron
C.2 Cấu trúc mạng Nơron nhân tạo [23, TLUTK]
Mạng Nơron nhân tạo bao gồm tập hợp các liên kết qua lại bên trong giữa các
Nơron trên nguyên tắc: đầu ra của mỗi Mơron được liên kết thông qua các trọng số đến các Nơron khác hoặc tới chính nó Như vậy, việc bố trí các Wơron và sơ đô liên
kết qua lại giữa chúng sẽ hình thành một kiểu mạng Nơron nhân tạo Hình C.3 chỉ
ra năm sơ đồ liên kết cơ bản của mạng Nơron nhân tạo:
Hình C.3(a) đại diện cho mang Nơron truyền thẳng môt lớp, trong đó mỗi
Nơron sẽ kết hợp với các Nơron khác làm thành một lớp các Nơron Véc tơ đầu vào
nối kết với các Nơron trong lớp gắn liền với những giá trị trọng số khác nhau, kết quả trả về của lớp là tập các đầu ra ứng với số Nơron trong lớp
Trang 7Hình C.3(b) minh họa cho mang Nơron truyền thẳng đa lớp, chúng ta có thể
tạo thêm một vài lớp bên trong để hình thành mạng: Lớp nhận các véc tơ đầu vào
gọi là lớp nhập, các đầu ra của mạng hình thành từ iớp xuất Các lớp nằm giữa các lớp nhập và lớp xuất gọi là các lớp ẩn vì chúng chỉ có các liên kết bên trong mạng
mà không liên kết trực tiếp với môi trường bên ngoài Mạng Nơron truyền thẳng đa lớp được gọi là liên kế: đẩy đủ nếu tất cả các đầu ra từ lớp trước được liên kết với tất cả các Nơron trong lớp kế tiếp Hình C.3(b) là một mạng /iên kết không đẩy dit
wi
RV
EKO
x1
(Lớp nhập) (Các lớpẩn) (Lớp xuất)
(b) Hình C.3 Năm mô hình liên kết mạng cơ bản: (a) mô hình mạng truyền thẳng
một lớp; (b) mô hình mạng truyền thẳng đa lớp; (c) mô hình: một Mơron đơn với
liên kết phản hổi đến chính nó; (d) mô hình: mạng lặp một lớp; (e) mô hình: mạng lặp đa lớp
Trang 8jal ff ly |
TREAT
Hình C.4 Liên kết bên trong của phản hồi
Cả hai sơ đồ trong Hình C.3(a) và Hình C.3(b) được gọi là mang truyền thẳng
vì sơ đồ liên kết các Mơron trong mạng lan truyền theo một hướng (không có đầu ra
nào của Nơron ở lớp sau lại là đầu vào của Nơron ở lớp trước nó)
Khi đầu ra của một Nơron lại đóng vai trò là đầu vào của các Nơron trên cùng lớp đó hoặc trong các lớp trước thì gọi là mang phản hồi Hình C.3(d) minh họa mang phản hồi một lớp: trong đó đầu ra của Nơron hướng trở lại đến chính nó và đến các Nơron khác
Phản hồi trong đó đầu ra của Nơron được hướng trực tiếp trở lại làm đầu vào của các Nơron trong cùng một lớp gọi là phẩn hồi nhánh( Hình C.4 minh hoạ mang
phản hồi nhánh một lớp)
Mạng phản hồi, trong đó: tất cả các chu trình đều kín gọi là mang lăp ( Hình C.3(c) chỉ ra một mạng lặp đơn giản (mỗi nút đơn phản hồi đến chính nó)) Trong mạng lặp đa nhánh (Hình C.3(c)), mỗi đâu ra của Nơron được hướng trở lại các
Nơron trong lớp trước nó Đồng thời, cũng hướng trực tiếp trở lại chính bản thân nó
và đến các Nơron khác trên cùng một lớp
C.3 Các luật học [23, TLTK]
Có hai kỹ thuật học trong mạng Nơron nhân tạo: Hoc (ham số tập chung vào
việc cập nhật lại bộ trọng số liên kết trong mạng Nơron nhân tạo(ANN) và học cấu
Trang 9trúc đề cập đến sự thay đổi cấu trúc mạng: gắn liễn với sự thay đổi số lượng Nơron
và các hình thức liên kết giữa chúng Hai kiểu học được thực hiện đồng bộ hoặc tách rời nhau Trong mục này, chúng tôi đề cập đến ludt học tham số, trong luật học này: giả định cho trước cấu trúc AMN, cần phải cập nhật lại bộ trọng liên kết W
sao cho thích hợp với bài toán cần giải quyết
Về luật hoc cấu trúc (xác định cấu trúc mạng) được để cập đến trong Thuật
giải học tự tổ chức của mạng Nơron mờ - kết hợp Logie mờ với mạng Nơron (FNN)
đã trình bày chỉ tiết trong chương 2- mục 2.2
Định nghĩa C.7 (ma trận trọng số nối kết)
Cho trước né Wøron trong mạng Nơron nhân tạo và mỗi Nơron có m trọng số nối
kết tới nó Lúc này zma trận trọng số nối kết W được định nghĩa như sau:
r
a Wy Wp 99% “Wis
wy Wa Wn °°? Wom
z Ww, W, ooo wy,
w, n n2 nm
trong d6, wi=(Wiz, Wiz, « Wim )", i=1n 1a véc tơ trọng của Noron thit i va w, 1a trong
số liên kết từ Vơron j đến Noron i
Ma trận trọng W tiềm năng xác định cấu hình xử lý thông tin của mạng Nơron
nhân tạo Nói cách khác, một mạng Nơron nhân tạo muốn thực hiện hiệu quả một hoạt động xử lý thông tin nào đó, thì mạng phải tìm ra được một ma trận trọng số W
thích hợp nhất Như vậy, với mạng Nơron nhân tạo việc học để xác định bộ trọng số
là rất quan trọng, cần thiết phải xây dựng những luật học hiệu quả hướng ma trận
Trang 10trọng số W về ma trận tối ưu sao cho hiệu quả hoạt động của mạng Nơron nhân tạo
là cao nhất Nhìn chung, các luật học được phân thành ba loại: hoc có giám sát, học tăng cường và học không giám sát
ANN
Các tín Các tín
hiệu lỗi | hiệu đánh|
| gid ee [4 A Bộ phát ( Tín hiệu
es sinh tăng cường)
(Đầu ra
mong muốn )
=
(c) Hình C.5 Ba mô hình minh họa kỹ thuật học: (a) Học có giám sát, (b) Học tăng
cường,(c) Học không giám sát
Trong học có giám sát, cho trước phúc đáp mong muốn d của hệ thống tương
ứng với mẫu nhập X : đầu vào của ANN Lúc này, ANN được thông báo chính xác
giá trị mà nó sẽ phải tính toán tại đầu ra Cụ thể, với phương pháp học có giám sát, ANN tiếp nhận một chuỗi các mẫu: (x0,d), (x42), (x(9,d®), là những cặp đâu vào ~ đầu ra mong muốn Khi mẫu nhập xf9 được đưa vào ANN, thì đầu ra mong muốn d tương đương cũng được nạp vào ANX Như trong Hình C.5(a), sự khác
Trang 11nhau giữa đầu ra thực sự y® và đâu ra mong muốn d9 được đo lường trong bộ phá: sinh tín hiệu lỗi, và bộ nay sé tạo ra những tín hiệu lỗi cho AMXN để điều chỉnh các trọng số của nó sao cho đầu ra thực sự được chuyển gần đến đâu ra mong muốn
Trong học có giám sát, giả thiết: các giá trị đầu ra “đích” chính xác đã được biết trước ứng với từng mẫu nhập Tuy nhiên, trong nhiều tình huống, chỉ rất ít thông tin chỉ tiết được biết Ví dụ, AMX chỉ được báo rằng: giá trị đầu ra hiện tại của
nó là “quá cao” hoặc “chính xác 50%” Thậm chí, chỉ có một giá trị phản hổi báo hiệu kết quả của AWN là “đúng” hoặc “sai” Việc học dựa trên cơ sở thông tin đánh
giá ANN gọi là hoc tăng cường và thông tin phản hồi được gọi là :ín hiệu tăng cường (Hình C.5(b)) Học tăng cường là một hình thức học có giám sát vì mạng vẫn còn
nhận một vài phản hồi từ môi trường của nó Tuy nhiên, phản hồi này mang ý nghĩa đánh giá, nhưng không mang tính chỉ dẫn Nó chỉ nhận xét đầu ra thực sự là ¿ố? hay tôi mà không đưa ra một gợi ý nào cho ANN
Tín hiệu tăng cường này sẽ được chuyển vào bộ phát sinh tín hiệu đánh giá để tạo ra những ¿hông tin tín hiệu đánh giá truyền vào ANN Từ đó, ANN sẽ điều chỉnh
bộ trọng của nó với hy vọng có được những đánh giá phản hồi tốt hơn trong tương lai Như vậy, nhận thấy: Hoc tăng cường còn gọi là học với lời nhận xét khác với
hoc có giám sát còn gọi là học có thầy
Trong học không giám sát, sẽ không có người thây nào cung cấp bất cứ thông tin phần hổi nào cho AWX (Hình C.5(c)) Cũng không có phần hồi từ môi trường để đánh giá mức độ chính xác đầu ra của ANX Mạng phải chủ động khai thác các mẫu, các đặc trưng, các qui tắc, các mối liên hệ hoặc các chủng loại của dữ liệu
nhập và mã hoá chúng trong đầu ra Trong quá trình khai thác những đặc trưng trên,
các tham số trong mạng sẽ được sửa đổi: quá trình xử lý này được gọi là “? td
