ĐỀ CƯƠNG BÀI GIẢNG CÁC PHƯƠNG PHÁP ĐIỀU KHIỂN HIỆN ĐẠI

Các nhánh và rễ (Dendrite): Là các bộ phận nhận thông tin. Các đầu nhậy hoặc các đầu ra của các nơron khác bám vào rễ hoặc nhánh của một nơron. Khi các đầu vào từ ngoài này có sự chênh lệch về nồng độ K+ + , Na hay Cl so với nồng độ bên trong của nó thì xẩy ra hiện tượng thấm từ ngoài vào trong thông qua một cơ chế màng thấm đặc biệt. Hiện tượng thẩm thấu như vậy tạo nên một cơ chế truyền đạt thông tin với hàng ngàn hàng vạn lối vào trên một nơron sinh vật, ứng với hàng nghìn hàng vạn liên kết khác nhau. Mức độ thẩm thấu được đặc trưng bởi cơ chế màng tượng trưng bằng một tỷ lệ. Tỷ lệ đó được gọi là tỷ trọng hay đơn giản gọi là trọng (weight). • Thân thần kinh (soma): Chứa các nhân và cơ quan tổng hợp protein. Các ion vào được tổng hợp và biến đổi. Khi nồng độ các ion đạt đến một giá trị nhất định, xảy ra quá trình phát xung (hay kích thích). Xung đó được phát ở các đầu ra của nơron. Dây dẫn đầu ra xung được gọi là dây thần kinh (axon). • Dây thần kinh (axon): Là đầu ra. Đó là phương tiện truyền dẫn tín hiệu. Dây thần kinh được cấu tạo gồm các đốt và có thể dài từ micro mét đến vài mét tuỳ từng kết cấu cụ thể. Đầu ra này có thể truyền tín hiệu đến các nơron khác. • Khớp th ần kinh (synape):

TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT HƯNG YÊN

KHOA ĐIỆN – ĐIỆN TỬ -***** -

ĐỀ CƯƠNG BÀI GIẢNG

CÁC PHƯƠNG PHÁP ĐIỀU KHIỂN HIỆN ĐẠI

(Lưu hành nội bộ)

HƯNG YÊN 12/2012

MỤC LỤC

CHƯƠNG 1: CƠ SỞ MẠNG NƠRON NHÂN TẠO 5

1.1 Nơron là gì 5

1.1.1 Noron sinh học 5

1.1.2 Mô hình noron nhân tạo 7

1.2 Nơron như một cổng logic 9

1.2.1 Đặt vấn đề 10

1.2.2 Nơ ron như cổng NOT 10

1.2.2 Nơron như cổng OR 10

1.2.2 Nơron như cổng AND 10

1.3 Mạng Nơron 11

1.3.1 Mạng nơron một lớp truyền thẳng 12

1.3.2 Mạng nơron hai lớp truyền thẳng 14

1.3.3 Mạng nơron truyền thẳng nhiều lớp 15

1.4 Luật học ( Learning Rule) 16

1.4.1 Giới thiệu 16

1.4.2 Phân loại luật học 17

1.5 Một số mạng điển hình truyền thẳng 18

1.5.1 Mạng ADALINE (adaptive linear elements) 19

1.5.2.Mạng perceptron 19

1.5.3 Mạng noron lan truyền ngược 22

1.5.4 Mạng noron RBF(Radial Basis Function) 24

1.6 Mạng noron truy hồi 25

1.6.1 Mạng hopfield rời rạc 25

1.6.2 Mạng hopfield liên tục chuẩn 29

1.6.3 Mạng BAM 31

BAM là ví dụ của mạng ánh xạ 35

CHƯƠNG 2 ỨNG DỤNG MẠNG NƠRON TRONG ĐIỀU KHIỂN 36 2.1 Ứng dụng mạng nơron để điều chỉnh các tham số PID 36

2.1.1 Đặt bài toán 36

2.1.2 Phân tích bài toán 36

2.2 Mạng nơron cho các bài toán tối ưu 39

2.2.1 Nhắc lại mạng nơron Hopfield 39

2.2.2 Mạng Hopfield rời rạc 40

2.2.3 Mạng Hopfield liên tục 41

CHƯƠNG 3 LÔGIC MỜ 43

3.1 Tổng quan về logic mờ 43

3.1.1 Quá trình phát triển của 1ôgic mờ 43

3.1.2 Cơ sở toán học của 1ôgic mờ 43

3.1.3 Lôgic mờ là 1ôgic của con người 44

3.2 khái niệm về tập mờ 44

3.2.1 Tập kinh điển 44

3.2.2 Định nghĩa tập mờ 45

3.2.3 Các thông số đặc trưng cho tập mờ 46

3.2.4 Các dạng hàm liên thuộc của tập mờ 47

3.3 Các phép toán trên tập mờ 47

3.3.1 Phép hợp hai tập mờ 47

3.3.2 Phép giao của hai tập mờ 48

3.3.3 Phép bù của một tập mờ 50

3.4 Biến ngôn ngữ và giá trị của biến ngôn ngữ 50

3.5 Luật hợp thành mờ 51

3.5.1 Mệnh đề hợp thành 51

3.5.2 Mô tả mệnh đề hợp thành 51

3.5.3 Luật hợp thành mờ 52

3.5.4 Các cấu trúc cơ bản của luật hợp thành 53

3.5.5 Luật hợp thành đơn có cấu trúc SISO 54

3.5.6 Luật hợp thành đơn có cấu trúc MISO 59

3.5.7 Luật của nhiều mệnh đề hợp thành 61

3.6 Giải mờ 65

3.6.1 Phương pháp cực đại 65

3.6.2 Phương pháp điểm trọng tâm 67

CHƯƠNG 4 ĐIỀU KHIỂN MỜ 69

4.1 Cấu trúc của bộ điều khiển mờ 69

4.1.1 Sơ đồ khối bộ điều khiển mờ 69

4.1.2 Phân loại bộ điều khiển mở 70

4.1.3 Các bước tổng hợp bộ điều khiển mờ 70

4.2 Bộ điều khiển mờ tĩnh 72

4.2.1 Khái niệm 72

4.2.2 Thuật toán tổng hợp một bộ điều khiển mờ tĩnh 72

4.2.3 Tổng hợp bộ điều khiển mờ tuyến tính từng đoạn 73

4.3 Bộ điều khiển mờ động 74

CHƯƠNG 1: CƠ SỞ MẠNG NƠRON NHÂN TẠO

1.1 Nơron là gì

Nơron là tế bào thần kinh, con người có khoảng 14 đến 15 tỷ nơron

1.1.1 Noron sinh học

a) Nguồn gốc của nơron sinh học

Đầu tiên, chúng ta tìm hiểu nguồn gốc của mạng nơron, bắt đầu từ một phần tử

nơron đơn giản Mô hình nơron nhân tạo có nguồn gốc từ mô hình tế bào thần kinh (hay còn gọi là nơron) sinh vật Mục đích của phần này không phải là mô tả và nghiên cứu nơron sinh học mà muốn chỉ ra rằng: từ những nguyên lý cơ bản nhất của nơron sinh học, người ta đã bắt chước mô hình đó cho nơron nhân tạo

Các nơron sinh vật có nhiều dạng khác nhau như dạng hình tháp ở đại não, dạng

tổ ong ở tiểu não, dạng rễ cây ở cột sống Tuy nhiên, chúng có cấu trúc và nguyên lý hoạt động chung từ mô hình chung nhất, người ta có thể mô tả chúng như một nơron chuẩn Một tế bào nơron chuẩn gồm bốn phần cơ bản là:

Hình 1.1 Noron sinh học

Chứa các nhân và cơ quan tổng hợp protein Các ion vào được tổng hợp và biến

đổi Khi nồng độ các ion đạt đến một giá trị nhất định, xảy ra quá trình phát xung (hay

kích thích) Xung đó được phát ở các đầu ra của nơron Dây dẫn đầu ra xung được gọi

là dây thần kinh (axon)

Là đầu ra Đó là phương tiện truyền dẫn tín hiệu Dây thần kinh được cấu tạo

gồm các đốt và có thể dài từ micro mét đến vài mét tuỳ từng kết cấu cụ thể Đầu ra này

có thể truyền tín hiệu đến các nơron khác

là bộ phận tiếp xúc của đầu ra nơron với rễ, nhánh của các nơron khác Chúng có

cấu trúc màng đặc biệt để tiếp nhận các tín hiệu (Hình 1.1) khi có sự chênh lệch về nồng độ ion giữa bên trong và bên ngoài Nếu độ lệch về nồng độ càng lớn thì việc truyền các ion càng nhiều và ngược lại Mức độ thẩm thấu của các ion có thể coi là một đại lượng thay đổi tùy thuộc vào nồng độ như một giá trị đo thay đổi được gọi là trọng

b) Hoạt động của một nơron sinh học

Mỗi nơron nhận tín hiệu vào từ các tế bào thần kinh khác Chúng tích hợp các tín hiệu vào Khi tổng các giá trị vượt một giá trị nào đó gọi là giá trị ngưỡng (hay đơn

giản gọi là ngưỡng) chúng phát tín hiệu ra Tín hiệu ra của nơron được chuyển tới các các nơron khác hoặc tới các cơ quan chấp hành khác như các cơ, các tuyến (glands) Việc truyền tín hiệu thực hiện thông qua dây thần kinh và từ nơron này tới nơron khác theo cơ chế truyền tin đặc biệt là khớp thần kinh Mỗi một nơron có thể nhận hàng nghìn, vạn tín hiệu và cũng có thể gửi tín hiệu đến hàng vạn các nơron khác Mỗi nơron được coi là một thiết bị điện hóa, chứa các nội năng liên tục, được gọi là thế năng màng (rnembrance potentiel) Khi thế năng năng màng vượt ngưỡng, nơron có thể truyền thế năng tác động đi xa theo các dây thần kinh

Khi có xung kích thích từ bên ngoài tới, các khớp hoặc cho đi qua hoặc không và

sẽ kích thích hay ức chế các nơron tiếp theo Học là một quá trình làm cho cách cập nhật này lặp lại nhiều lần đến một giá trị ổn định, cân bằng điện hóa giữa các nơron Những nơron không có ý nghĩa khi xử lí đơn lẻ mà cần thiết liên kết với nhau tạo thành mạng Đặc tính của hệ thần kinh dược xác định bằng cấu trúc và độ bền của những liên kết đó Có thể thay đổi độ bền vững liên kết (weight) bằng các thuật học khác nhau

1.1.2 Mô hình noron nhân tạo

hình 1.2 mô hình noron nhân tạo

Mô hình một phần tử nơron nhân tạo được xây dựng dựa trên mô hình của nơron sinh vật Một nơron sinh vật có cấu trúc khá phức tạp còn một nơron nhân tạo được xây dựng từ ba thành phần chính: bộ tổng các liên kết đầu vào, động học tuyến tính, phi tuyến không động học (Hình 1.2)

W

W

W

x (t)

x (t)

x (t)

∑

y

θ

• Bộ tổng liên kết:

Bộ tổng hợp các liên kết đầu vào của một phần tử nơron có thể mô tả như sau:

( ) = ( ) + ( ) + (1.1)

trong đó:

v(t): tổng tất cả các đầu vào mô tả toàn bộ thế năng tác động ở thân nơ ron;

x k (t): các đầu vào ngoài, mô tả tín hiệu vào từ các đầu nhạy thần kinh hoặc từ

các nơron khác đưa vào;

W k : trọng liên kết vào ngoài, là hệ số mô tả mức độ liên kết giữa các đầu vào

ngoài tới nơron hiện tại, m là số đầu vào; k=1, ,n;

y(t) : đầu ra nơron mô tả tín hiệu đưa ra;

θ: hằng số, còn gọi là ngưỡng, xác định mức kích thích hay ức chế

Đầu vào của phần động học là v(t) Đầu ra của nó u(t) gọi là đầu ra tương tự

Hàm truyền tương ứng của phần động học tuyến tính có thể mô tả dưới dạng biến đổi Laplace như sau:

u(s) = H(s).v(s) (1.2)

Quan hệ vào/ra u(t) = v(t)

)()(

t v dt

t du

dt

t du

T + = u(t)=v(t-T)

Bảng 1.1 Một số hàm H(s) thường dùng cho mô hình nơron nhân tạo

Các đầu ra của các nơron sinh vật là các xung, có giới hạn chặn Trong mô phỏng

để đảm bảo hệ ổn định đầu ra, người ta thường gán hàm chặn ở lối ra cho các tín hiệu

Để đặc trưng cho điều đó, ở mỗi đầu ra của nơron phải đặt một hàm chặn, thường ở

dạng phi tuyến với hàm g(.) Như vậy đầu ra y có đặc trưng của một hàm:

y =g(u(t)) (1.3)

Hàm phi tuyến ở đây có thể chia thành hai nhóm: nhóm hàm bước nhảy và nhóm hàm liên hàm phi tuyến thường dùng được cho ở Bảng 3.2 một số dạng khác cũng đ-

ược sử dụng như : dạng hàm Gauss, hàm Logarit, hàm mũ

01

x x

01

x x

1 1

1 1

x

x x

Bảng 1.2 Một số hàm phi tuyến thường được sử dụng trong các mô hình nơron

1.2 Nơron như một cổng logic

1.2.1 Đặt vấn đề

- Tốc độ xử lý của nơron sinh học bẳng 1/6 đến 1/7 tốc độ xử lý của các cổng lôgic

- Ta có các cổng logic cơ bản :and, or, not, nor, nand

Có thể nói Nơron như 1 cổng logic

1.2.2 Nơ ron như cổng NOT

Bài toán đặt ra: Cho sơ đồ như hình vẽ biết ( ) = [0, 1]

Hình 1.3 noron như cổng not

Yêu cầu:Hãy xác định các tham số w, θ, để nơ ron trùng với bộ not

1.2.2 Nơron như cổng OR

Bài toán đặt ra: Cho sơ đồ như hình vẽ biết ( ), ( ) = [0, 1]

Yêu cầu :Hãy xác định các tham số , , θ, để nơ ron trùng với bộ OR

Hình 1.4 noron như cổng not

1.2.2 Nơron như cổng AND

Bài toán đặt ra: Cho sơ đồ như hình vẽ biết ( ), ( ) = [0, 1]

Yêu cầu :Hãy xác định các tham số , , θ, để nơ ron trùng với bộ AND

Hình 1.5 noron như cổng not

x (t)

x (t)

H

∑

y

θ

Cũng như nơron sinh vật, các nơron nhân tạo có thể liên kết với nhau để tạo

thành mạng Có nhiều cách kết hợp các nơron nhân tạo thành mạng, mỗi cách kết hợp tạo thành một loại lớp mạng khác nhau

1.3.1 Mạng nơron một lớp truyền thẳng

Là mạng mà các nơron tạo thành một lớp, trong đó mỗi một tín hiệu vào có thể

được đưa vào cho tất cả các nơron của lớp và mỗi nơron có nhiều các đầu vào và một đầu ra trên mỗi nơ ron đó Xét trường hợp các nơron không phải là động học (tức H(s)

=1) khi đó (t) = (t)

Hình 1.8 Mạng nơ ron truyền thẳng một lớp

Phương trình mạng được mô tả như sau:

Ví dụ: Vẽ mạng nơron một lớp với 4 đầu vào, 3 đầu ra đầy đủ ,

Lời giải: Theo đề có m =3, n = 4

Vậy phương trình mạng: = [ ∑$ - ] với j = 1 3 và i = 1 4

Liên kết một lớp cho khả năng ánh xạ phi tuyến giữa các đầu vào và các đầu ra Mạng hai lớp có khả năng ánh xạ các hàm trong vùng lồi Mạng một hoặc hai lớp nói chung dễ phân tích Mạng ba lớp hoặc nhiều lớp có khả năng mô tả được mọi hàm phi tuyến Theo Cybenco [6,13] thì bất kỳ hàm phi tuyến nào cũng có thể xấp xỉ tuỳ ý trên một tập compact bằng mạng nơron truyền thẳng gồm hai lớp ẩn với độ phi tuyến cố

định Như vậy, khi xây dựng mạng nơ ron trong xử lý, mạng hai lớp ẩn đủ khả năng

xấp xỉ một hàm tùy chọn mà có thể không dùng nhiều lớp hơn phức tạp cho tính toán Xét mạng tĩnh (H(s)=1) truyền thẳng nhiều lớp có phương trình miêu tả như sau:

2( ) = ∑ 7 2 23 ( ) + ∑ 4 5 ( ) + 62 (1.6)

2 = 2( 2( ) (1.7)

trong đó: xqi( t ) là các đầu vào lớp q; i=1, ,n; q=1, ,Q; u k (t) là các đầu vào

ngoài; b ik là trọng ngoài, k=1, ,m; yiqlà đầu ra lớp q; wqijlà trọng lớp q, từ nơron thứ

j tới nơron thứ i, i,j = 1, ,n; Iqi là ngưỡng của nơron thứ i, lớp q; n q là số phần tử

nơron lớp q; m là số tín hiệu ngoài đưa vào

Có thể mô tả phương trình (1) dưới dạng phương trình ma trận-véc tơ:

x(t) = Wy(t) + Bu(t) + I (1.8)

y(t) = g(x(t)) (1.9)

Trong đó W, B, I là các ma trận; x, u, g là các véc tơ hàm Từ các mạng truyền thẳng tổng quát một số tác giả đã chọn các dạng cụ thể, nghiên cứu áp dụng cho chúng các thuật học phù hợp, hình thành các mạng cụ thể như: mạng Adaline, mạng

Percetron, mạng truyền ngược

1.4 Luật học ( Learning Rule)

Đặt vấn đề lượng vào là gì? để có mác là P300 Nếu gọi đường vào là Wij

X: vecto tín hiệu đầu vào, X=[ x1; x2; ; xm]T

Định nghĩa luật học: học trong mạng noron là chỉnh trọng [Wij], sao cho từ X→

d

Ghi chú:Trong trí tuệ nhân tạo, bài toán A→ B (A là tập đầu vào, B là tập đầu

ra) Học là tìm “→”, trong noron là các chỉnh trọng Wij

1.4.2 Phân loại luật học

a) Học cấu trúc (Structure learning)

- Thay đổi → số lớp( layer)

→ Phần tử noron ở mỗi lớp

b) Học tham số

- Cấu trúc ( số lớp + số noron không biến đổi): Wij thay đổi: W mới – W cũ = ∆W =

η.α.X (1.12)

• Học có tín hiệu chủ đạo ( tức là có d) (học có “thầy”)

Hình 1.13 Học có tín hiệu chủ đạo

• Học không có tín hiệu chủ đạo( học không có “thầy”)

Hình 1.14 Học không có tín hiệu chủ đạo

• Học củng cố ( Inforcement): 1 phần có thầy, 1 phần không có thầy

Hình 1.15 Học củng cố

1.5 Một số mạng điển hình truyền thẳng

1.5.1 Mạng ADALINE (adaptive linear elements)

- Khái niệm về ADALINE: Adaline (Adaplive Linear Element): là một nơron với đặc thù hàm tích hợp (tổng các đầu vào) tuyến tính và hàm kích hoạt (hàm đầu ra) dốc Phương trình mô tả cấu trúc như sau:

y =∑ ≡ d hoặc y = X ≡ d (1.13)

Luật học: Luật học Adaline sử dụng phương pháp bình phương cực tiểu truy hồi

Windrow và Hoff đề ra luật học dựa trên phương pháp gradient dùng một Adaline để xấp xỉ một hàm tuyến tính (m-1) biến nhờ một tập hợp gồm p mẫu Đầu tiên chọn tuỳ

ý véctơ trọng ban đầu W(1), sau đó ta từng bước hiệu chỉnh lại W(k) theo các mẫu {x(k) ,

d(k)}, k=1, ,p, sao cho tổng bình phương sai số đạt cực tiểu:

m

1 j

2 j j )

k (

p

1 k

p

1 k

2 ) k ( T ) k ( 2

) k ( ) k (

) x w d

( 2 1

) x w d

( 2

1 ) y d

( 2

1 ) w ( E

(1.14)

∑

= − η

=

∂

∂ η

=

1 k

j ) k ( ) k ( T )

k ( j

W

E W

(1.15) Học được tiến hành lần lượt theo các mẫu, nên ∆Wj có thể tính tuần tự:

) k ( j ) k ( T )

k (

∆

E(W) có dạng bình phương, là một siêu Parabol trong không gian các trọng Rm,

có một điểm cực tiểu duy nhất Do đó, nếu chọn η đủ nhỏ theo phương pháp gradient

ở trên thì có thể tìm được véc tơ trọng tối ưu sau số lần lặp đủ lớn

1.5.2.Mạng perceptron

Cấu trúc:

Với các véc tơ ra mong muốn d (k) =[d 1 (k) , d 2 (k) , ,d n (k) ] và véc tơ và

X (k ) =[X 1 (k) , X 2 (k) , , X m (k) ], k=1,2, ,p, trong đó m là số đầu vào, n là số đầu ra, p

là số cặp mẫu vào-ra dùng huấn luyện mạng Đầu ra thực tế theo cấu trúc chung:

y i (k) = f(W i T x i (k) ) = f(ΣW ij x j (k) ) = d i (k) ; i=1, ,n; k=1, , (1.16)

Đối với cấu trúc perceptron (1.10) có thể viết thành:

y i (k) = Sign(W i T x i (k) ) = d i (k) (1.17)

(1.18)

Luật học tổng quát: học đối với mạng nơron là cập nhật trọng trên cơ sở các

mẫu Theo nghĩa tổng quát, học có thể được chia làm hai loại: Học tham số và học cấu trúc Trong những năm gần đây, các công trình tập trung cho nghiên cứu các luật học khác nhau Các luật học đó có thể khái quát thành dạng chung sau:

∆W i j≡α r X(t) (1.19)

trong đó : α là hằng số học (dương) xác định tốc độ học; r là tín hiệu học Tín hiệu học tổng quát là một hàm của W, X, di, tức là r = fr(wi,xi, di) Đối với các trọng biến đổi liên tục có thể sử dụng dạng sau:

dt

(t) i dw

= (1.20)

Luật Hebb là một ví dụ điển hình Nhà sinh học Hebb (1949) đã nêu tiên đề: trọng được hiệu chỉnh phù hợp với quan hệ trước-sau [17] và sau này được mô hình hoá thành một trong những luật học quan trọng nhất của mạng nơron nhân tạo Trong luật học của Hebb, tín hiệu học thay đổi theo:

r ≡ f(W i T X) = f(y i ) (1.21)

∆W i = α f(W i T X) X j = α y i X j ; i=1,2 ,n ; j=1,2 ,m; r ≡ d i - y i (1.22)

Trong một mạng cụ thể nào đó, luật Hebb có dạng:

T n

m 2 22

T 2

m 1 12 11

T n

T 2

T 1

T i

w

ww

w

ww

w

ww

w

w

ww

W

Các nơron tạo thành lớp, trong đó mỗi tín hiệu vào có thể được đưa vào cho tất

cả các nơron của lớp Mỗi nơron có nhiều đầu vào và một đầu ra trên mỗi nơron đó Cấu trúc của mạng Perceptron được chỉ ra hình vẽ

Hình 1.6.2.Mạng Perceptron một lớp đơn

Đầu vào của mạng có thể được mô tả là vector X=[x 1 , x 2 , x m ] T , trong đó m là

số lượng đầu vào T là ký hiệu chuyển vị Giá trị ngưởng của các nơron là các trọng liên kết với đầu vào cuối cùng x m =-1 Với n nơron, vector đầu ra thực tế là Y=[y1, y2,

yn]T Mạng Perceptron sử dụng luật học có giám sát Do đó, tương ứng với mẫu đầu vào là vector X(k )=[x1(k), x2(k), , xm(k)]T, mẫu đầu ra mong muốn là vector d ( k)

=[d1(k), d2( k), , dn( k)]T K=1,2, ,p, trong đó m là số đầu vào, n là số đầu ra, p là

số cặp vào ra theo tập luyện tập Chúng ta muốn đầu ra thực sự y(k) = d(k) sau quá trình học và có thể được mô tả như sau:

Trong mạng perceptron sử dụng hàm phi tuyến là hàm dấu nên phương trình

∆W i j≡α r x j (t) (1.26)

Phương trình (1.26) đựơc áp dụng cho chuỗi biến đổi trọng rời rạc Đối với các

trọng biến đổi liên tục có thể biểu diễn như sau:

1.5.3 Mạng noron lan truyền ngược

Thuật học lan truyền ngược là một trong những phát triển quan trọng trong mạng nơron Thuật toán này được áp dụng cho các mạng nhiều lớp truyền thẳng (feedforward) gồm các phần tử xử lý với hàm kích hoạt liên tục Các mạng như vậy kết hợp với thuật toán học lan truyền ngược được gọi là mạng lan truyền ngược (Back Propagation Network)

Về mặt lý thuyết đã chứng minh được rằng: mạng ba lớp trở lên có thể nhận biết

được mọi hàm bất kỳ Chính vì vậy, luật học truyền ngược có ý nghĩa rất quan trọng

trong việc cập nhật trọng số của mạng nhiều lớp truyền thẳng Nền tảng của thuật toán cập nhật trọng số này cũng là phương pháp hạ Gradient Thật vậy, cho cặp mẫu đầu vào - đầu ra (x(k), d(k)), thuật toán lan truyền ngược thực hiện 2 pha Đầu tiên, mẫu

đầu vào x(k) được truyền từ lớp vào tới lớp ra và kết quả của luồng dữ liệu thẳng

(forward) này là tạo đầu ra thực sự y(k) Sau đó, tín hiệu lỗi tạo từ sai khác giữa d(k)

và y(k) sẽ được lan truyền ngược từ lớp ra quay trở lại các lớp trước đó để chúng cập nhật trọng số Để minh hoạ chi tiết thuật toán lan truyền ngược, xét một mạng 3 lớp: lớp vào có m nơron, lớp ẩn có l nơron và lớp ra có l nơron

Cấu trúc:

+) Lớp ẩn: với tập mẫu đầu vào x, nơron thứ q của lớp ẩn nhận tổng đầu là

∑

=

j j jq

q v x net

1

j=1,2,…,m ; q=1,2,…,l (1.29)

và tạo đầu ra của lớp ẩn

)(

)(

q f net f v x

trong đó: f(.) là hàm tương tác đầu ra

+) Lớp ra: giả thiết hàm tương tác đầu ra của lớp ra giống các lớp khác, tức là f(.) Khi đó tổng đầu vào của nơron thứ i có thể xác định

q iq

i w z w f v x net

q iq q

l

q iq i

i f net f w z f w f v x

y

1 1

1

(1.32)

Cơ sở của luật học lan truyền ngược được xây dựng trên phương pháp hạ Gradient Đầu tiên, xây dựng hàm chi phí (hay còn gọi là hàm sai số giữa đầu ra mong muốn di với đầu ra thực tế yi)

2 1

2

12

1)(2

q iq i

n

i

i i

Theo phương pháp hạ Gradient, trọng liên kết giữa lớp ẩn và lớp đầu ra được cập nhật bởi:

i i iq

iq

w

net net

y y

E w

E

=η(d i −y i) (f '(net i))z q =ηδoi z q (1.34)

vớiĠ là tín hiệu lỗi tại nơron thứ i trong lớp ra

q q

qj q q

qi qj

v

net net

z z

E v

net net

E v

E

n i

iq i i

' 1

hq f net ∑ w

=

=

1 0 '

) ( δ

Rõ ràng, từ hàm sai lệch đầu ra (1.58), theo phương pháp hạ Gradient, chúng ta

có thể tính ngược trọng từ lớp ra, tiếp theo đến trọng của lớp trước đó Điều này thể suy luận và tính các lớp trọng cho một mạng nơron truyền thẳng có số lớp bất kỳ

1.5.4 Mạng noron RBF(Radial Basis Function)

Mạng RBF được Moody và Darker đề xuất năm 1989 dựa trên sự tương đồng giữa khai triển RBF với mạng nơron một lớp ẩn Khả năng xấp xỉ của các hàm phi tuyến của mạng có thể thừa nhận từ hai lý do Một là, nó là một kiểu khai triển RBF Hai là, nó tương đương với hệ thống mờ và là một công cụ xấp xỉ vạn năng Đặc biệt mạng RBF Gauss sẽ là một kiểu mạng “có một số người thắng”, nên có thể áp dụng

luật học không giám sát của Kohonen mở rộng Điều này có thể giải thích từ cách suydiễn kiểu NẾU-THÌ (sẽ trình bày ở phần hai) của hệ thống mờ tương đương

1.6 Mạng noron truy hồi

1.6.1 Mạng hopfield rời rạc

Mạng Hopfield mang tên của một nhà vật lý người Mĩ phát hiện ra là một mạng truyền ngược một lớp Cấu hình mạng chi tiết được chỉ ra trong hình 1.7.1 Khi xử lý theo thời gian rời rạc, nó được gọi là một mạng Hopfield rời rạc và cấu trúc của nó là một mạng truyền ngược một lớp cũng có thể được gọi là hồi quy (recurrent) Chương này chủ yếu bàn về các mạng hồi quy một lớp Khi một mạng hồi quy một lớp thực hiện một tiến trình cập nhật tuần tự, một mẫu đầu vào trước tiên được cung cấp cho mạng, và theo đó đầu ra của mạng được khởi tạo Sau đó, mẫu khởi tạo được xoá đi, và

đầu ra đã khởi tao cũng trở nên mới, đầu ra được cập nhật thông qua các kết nối phản

hồi Đầu vào được cập nhật lần thứ nhất sẽ có đầu ra được cập nhật lần thứ nhất; hoạt

động này tái diễn, đầu vào được cập nhật lần thứ hai thông qua các liên kết phản hồi

và cung cấp đầu ra được cập nhật lần thứ hai Quá trình chuyển tiếp tiếp tục cho đến khi không có sự biến đổi, các đáp ứng cập nhật được cung cấp và mạng đã đạt được trạng thái cân bằng của nó

Xem xét mạng Hopfield được chỉ ra trong hình 1 Mỗi node có một đầu vào bên ngoài xj và một ngưỡngĠ, trong đó j = 1, 2, , n Một điều rất quan trọng là trong mạng Hopfield không có sự tự truyền ngược Đầu ra node thứ j được kết nối tới đầu

W

W

WW

WW

vào của tất cả các node còn lại sau khi nhân với trọng wij , với i = 1, 2, , n, iĠ j: nghĩa

là, wii = 0 với i = 1, 2, , n Hơn nữa, nó đòi hỏi các trọng mạng là đối xứng, nghĩa là, wij =wji, i,j = 1, 2, …, n Nguyên tắc tiến triển (nguyên tắc cập nhật) cho mỗi node trong mạng Hopfield là:

Ví dụ 1: Xem xét mạng Hopfield rời rạc hai node với w 12 =w 21 =-1, w 11 = w 22 = 0,

x 1 = x 2 = 0, và (1=(2=0 Thiết lập vectơ đầu ra là

y(0) =[-1,-1] T Theo nguyên tắc cập nhật không đồng bộ, chỉ một node được xem xét tại một thời điểm Bây giờ giả thiết rằng, node đầu tiên được chọn để cập nhật Ta có:

y 1 (1) =sgn(w 12 y 2 (0) )=sgn[(-1)(-1)]=1 (1.40)

Do đó, y(1)= [1,-1]T Tiếp theo, node thứ hai được cập nhật; đó là:

y 2 (2) =sgn(w 21 y 1 (1) )=sgn[(-1)(1)]=-1 (1.41)

Do đó, y(2)= [1,-1] T Có thể nhận thấy một cách dễ dàng rằng không có sự thay

đổi trạng thái đầu ra nào nữa sẽ xuất hiện và trạng thái [1,-1]T là một trạng thái cân

bằng của mạng Sử dụng các đầu ra khởi tạo khác nhau, chúng ta có thể có được lược

đồ chuyển tiếp trạng thái trong hình 2 trong đó các vectơ [1,- 1] T và [-1,-1] T là hai sự cân bằng của hệ thống Chú ý rằng, cập nhật không đồng bộ cho phép cập nhật một thành phần của một vectơ n bộ tại một thời điểm

Trong trường hợp cập nhật đồng bộ của một vectơ đầu ra khởi tạo [-1,-1], sử dụng công thức (3.1) ta có:

Trong lần cập nhật tiếp theo, chúng ta có:

1 sgn

1 1 sgn sgn

sgn

0 1 21

0 2 12 1

)]

[(-

)(-)]

[(- )

)(-y (w

) y (w y

) (

) ( )

sgn[(-1)(1

)]

sgn[(-1)(1 )

y sgn(w

) y sgn(w y

(1) 1 21

(1) 2 12

Do đó, kết quả đưa trở lại cùng một vectơ y(0) Vì thế việc cập nhật đồng bộ cung cấp một chu trình của hai trạng thái chứ không phải là một trạng thái cân bằng

đơn Vì thế, ví dụ này chỉ ra rằng cập nhật đồng bộ có thể làm cho các mạng hội tụ tại

các điểm cố định hoặc các chu trình giới hạn

Tiếp theo chúng ta sẽ đánh giá thuộc tính ổn định của mạng Hopfield Vì lý do này, chúng ta có thể mô tả hoạt động của mạng này bởi một hàm năng lượng E:

E= - ∑ ∑

n

i n

i j j

Hình 1.7.2 Lược đồ chuyển trạng thái trong ví dụ 1

ý tưởng được chỉ ra rằng nếu mạng ổn định, thì hàm năng lượng ở trên luôn luôn giảm đi bất cứ khi nào trạng thái của một node nào đó thay đổi Chúng ta giả thiết rằng node i vừa thay đổi trạng thái của nó từ yi(k) sang yi(k+1) Nói cách khác, đầu ra của

nó đã được thay đổi từ +1 thành –1, hoặc ngược lại Sự thay đổi trong hàm năng lượng là:







−1





−1







Trong đó, (y i =y i (k+1)-y i (k) Bản chất của công thức (1.45) chỉ ra thực tế rằng

y j (k+1)(y j (k) với j(i, và w ij =w ji và w ii =0 (thuộc tính trọng đối xứng)

Từ công thức (1.43), nếu yêu dó thay đổi yi(k)=-1 thành i thì neti phải dương và

∆E sẽ âm Tương tự, nếu yi đã thay đổi từ y i (k)=+1 thành y i (k+1)=-1 ((yi=-2), thì neti

phải âm và (E lại âm Nếu yi không thay đổi, thì (y i =y i (k+1)- y i (k)=0 Trong trường

hợp đó (E=0.)

Vì thế ∆E≤0 (1.47)

Khi hàm năng lượng E trong công thức (1.44) là dạng toàn phương và được giới

hạn trong một không gian n chiều bao gồm 2n đỉnh của một siêu khối n chiều, E phải

có một giá trị cực tiểu tuyệt đối Hơn nữa, cực tiểu của E phải nằm ở các góc của siêu khối Do đó, hàm năng lượng, theo nguyên tắc cập nhật trong công thức (3.5) phải đạt

được cực tiểu của nó (có thể là cực tiểu địa phương) Vì thế, bắt đầu tại bất kỳ trạng

thái khởi tạo nào, một mạng Hopfield luôn luôn hội tụ tại một trạng thái ổn định sau một số hữu hạn các bước cập nhật node, trong đó tất cả các trạng thái ổn định nằm tại một cực tiểu địa phương của hàm năng lượng E Trong thảo luận ở trên, trọng kết nối

đòi hỏi phải đối xứng Tính không đối xứng của trọng, nghĩa là w ij (w ji với một số i, j có thể dẫn đến một mạng Hopfield được biến đổi mà cũng được chỉ ra là cân bằng

Tiến trình đưa ra ở trên thực tế tận dụng lý thuyết cân bằng Lyapunov nổi tiếng,

mà thực tế được sử dụng để cung cấp tính cân bằng của một hệ thống động được định nghĩa nhiều phương trình khác nhau phối hợp chặt chẽ với nhau Vì thế nó cung cấp một công cụ mạnh trong nghiên cứu lý thuyết của các mạng nơron Chúng ta phát biểu

nó cho các hệ thống liên tục như sau:

Định lý 1: (Lý thuyết Lyapunov) Xem xét hệ thống tự trị được mô tả với một hệ

các phương trình khác nhau không tuyến tính hoặc tuyến tính bậc n:

Ÿ 1 =f 1 (y)

2=f 2 (y)

…

n=fn(y) hoặc (t)=f(y)

trong đó, y(t)=(y 1 , y 2 , ., y n ) T là vectơ trạng thái của hệ thống và f(y)=(f1, f2, …, fn) T là một hàm vectơ không tuyến tính Không mất tính tổng quát, ta giả sử rằng các

phương trình đã được viết vì thế y=0 là một trạng thái cân bằng mà thoả mãn f(0)=0

Chúng tôi trình bày một điều kiện cho sự cân bằng y=0 là ổn định một cách tiệm cận; nghĩa là vectơ trạng thái hội tụ về 0 khi thời gian tiến đến vô hạn Điều này có thể đạt

được nếu một hàm xác định dương E(y) có thể được tìm thấy như sau:

- E(y) là liên tục với mọi thành phần yi, i=1,2,…,n

- dE[y(t)]/dt<0, nó chỉ ra rằng hàm năng lượng giảm theo thời gian, và vì thế

nguồn gốc của không gian trạng thái là tiệm cận đến tính ổn định

Một hàm năng lượng xác định dương E(y) thoả mãn các yêu cầu trên được gọi là một hàm Lyapunov Hàm này không phải là duy nhất cho một hệ thống đã được đưa

ra Nếu tối thiểu một hàm như vậy có thể được tìm thấy cho một hệ thống, thì hệ thống tiệm cận đến tính ổn định Tuy nhiên, điều ngược lại là không đúng; đó là, không thể tìm một hàm Lyapunov thỏa mãn không có nghĩa rằng hệ thống được đánh giá là không ổn định Nếu đạo hàm của hàm Lyapunov được biến đổi là không dương chứ không phải hoàn toàn âm Vì thế, hệ thống đã định giá được cho phép cho một chu trình hạn chế (limit cycles), mà đáp ứng hạn chế ngoại trừ sự dao động không đổi và không giảm Theo lý thuyết Lyapunov, hàm năng lượng được kết hợp với một mạng Hopfield và được định nghĩa trong (3.6) là một hàm Lyapunov; vì thế, mạng Hopfield rời rạc tiệm cận đến ổn định Lý thuyết này quan trọng hơn trong việc phân tích các

mạng Hopfield liên tục mà chúng ta sẽ bàn luận sau

1.6.2 Mạng hopfield liên tục chuẩn

Hopfield (1984) đưa ra mô hình mạng mô tả bằng tập các phương trình vi phân

1

= j

j ij i

i i

i

R

x-

=x

C (1.48)

y j = g j (x j ) (1.49)

=

xi i i (1.50)

Trong đó, Ci và Ri là các hằng số; Ii là ngưỡng; Wij là trọng liên kết giữa phần tử

nơ ron thứ j với nơ ron thứ i; xi là trạng thái nơ ron thứ i

Hopfield nêu hàm Liapunov với dạng sau:

1 j

i n

1 i

j i ij 2

1 n

1

= i i i y

0

1 - i

R

xx

n

1 k ik i

i i

=

++

−

=

(1.52)

)xg

−

ξ

; , , 1 0

) ( lim I W y x i n

R

X

i i

) (

1

k j n

k n

1 i i 1

g 0 1

jk i

n

i i i

g ξ ξ (1.56)

xác định dương và

2 i i 1 i i

.

) )(

( (x)

V = −∑ c g− y y ′ ≤0 (1.57)

Mạng gồm cả bậc hai và bậc cao chúng ta gọi là mạng tổng quát bậc cao Mạng Hopfield chuẩn hạn chế về khả năng phân lớp các mẫu tín hiệu vào

Ham liapunov:

- Tiêu chuẩn ổn định liapunov

Định lý liapunov: Một hệ mô tả bởi 1 phương trình động học ( có đạo hàm) ổn định khi tìm được một hàm với biến trạng thái của nó sao cho đạo hàm của hàm đó là một giá trị nhỏ hơn hoặc bằng 0 Thì hệ với các biến trạng thái là ổn định

1.6.3 Mạng BAM

a) Giới thiệu mạng BAM

Bản chất của mạng BAM: là mạng hopfield cải tiến (truy hồi) theo 2 nghĩa:

- Hopfield 1 lớp: Vào/Ra trên từng noron và có phản hồi Nhưng BAM thì có

2 lớp: 1 lớp ra và 1 lớp vào Trong đó lớp ra dùng làm phản hồi

- Không có tham số định ngưỡng θi=0

- Mạng hopfield & BAM thường dùng làm bộ nhớ liên kết( associative memory)

- Bộ nhớ kinh điển: nhớ theo từng byte( 8 bit), 1 ký tự( charecter):- A→Z, a→z, 0→9, +, -, *, / , ký tự đặc biệt

- Nhớ trong mạng noron là nhớ các mẫu được liên kết với nhau

b) Cấu trúc mạng BAM

- Hàm kích hoạt ra là hàm bước nhảy đơn vị

Sau đây là cấu trúc của bộ nhớ BAM rời rạc Khi các noron nhớ được kích hoạt bởi vector khởi tạo X tạo đầu vào Khi đó mạng tiến tới có 2 phần trạng thái ổn định mà

đầu này sẽ là đầu ra của đầu kia Chức năng của mạng gồm có 2 tầng tương tác Chích

xác ra, giả sử rằng có một vector khởi tạo X cung cấp cho đầu vào của lớp noron Y

Đầu vào sẽ được xử lý và chuyển đổi thành đầu ra của Y theo sau:

y’=g(Wx) (1.58)

hoặc y i ’=g i (∑ 8/ 8 với i=1 n; (1.59)

Đầu ra của lớp Y

y’=g(Wx) hoặc y i ’=g i (∑ 8/ 8 với i=1 n; (1.60)

Đầu ra lớp X

x’=g(W T y’) hoặc x’ i = gi(∑ 8/ ′8 với j=1,2 m (1.61)

g(.) là hàm ngưỡng Vector y’ cung cấp cho lớp X và vector x’ cung cấp đầu vào cho lớp Y cho đầu ra y’’.Quá trình sẽ tiếp tục cho tới khi cập nhật x và y dừng lại Quá trình truy hồi đệ quy có thể gồm các bước sau

y(1)=g(Wx(0)) (qua hướng đi lần thứ nhất)

x(2)=g(WTy(1)) (qua hướng về lần thứ nhất)

y(k-1)=g(Wx(k-2)) (qua hướng đi lần thứ k/2)

x(k)=g(WTy(k-1)) (qua hướng về lần thứ k/2)

Trạng thái cập nhật có thể là đồng bộ hoặc không đồng bộ

Lớp Lớp

W

x

x

m-1 m

Thuật toán lưu trữ:

Với p cặp vector liên kết lưu trữ trong BAM:

0 nếu y*i(k+1) <0

1 nếu x* i (k+1) >0

x i (k+1)= x(k) nếu x* i (k+1) =0 (1.65)

0 nếu x* i (k+1) <0

Ví dụ:Mapping sự cô lập lỗi

Bộ nhớ liên kết 2 chiều thường được dùng để minh hoạ việc cô lập lỗi và điều khiển BAM là mạng phản hồi 2 lớp của các thành phần tương tác như là các bộ lưu trữ nhớ liên kết (recall stored associations) (XiYi) i=1 q Như vậy một vector x n chiều

đầu vào sẽ cho kết quả ra là vector y m chiều.Mạng được xây dựng từ ma trận trọng cố định W kích cỡ m x n

Quá trình xử lý phần tử tại bước thứ k tại tầng y

1 nếu y*i(k+1) >0 yi(k+1)= y(k) nếu y*i(k+1) =0

0 nếu y*i(k+1) <0

Hàm năng lượng được xác định như công thức ở trên

Luật Hebb (WĽXY p: số mẫu) có thể đựơc dùng để mã hoá q liên kết (Xi,Yi) trong BAM trong việc thể hiện vector dạng nhị phân (Binary representation) thành dạng lưỡng cực (bipolar representation) như thay 0 thành -1

Cho (Ai,Bi) là dạng lưỡng cực thì kết quả ma trận trọng số là:

3 1 1 1

3 3 3 3

3 3 3 3

1 1 1 1

Ví dụ trên có thể được xác định lại:

3 1 1 1

3 3 3 3

3 3 3 3

1 1 1 1

=[4 -4 4 -4 4]T =>(1 0 1 0 1)=A

Như vậy (A,L), (B,M), (C<N) là các điểm cố định cho BAM.Hơn nữa nếu cho vector (A+S) (thay đổi một chút vector A) vào BAM, thì nó vẫn hội tụ gần nhất tới lỗi nhãn L Ví dụ

CHƯƠNG 2 ỨNG DỤNG MẠNG NƠRON TRONG ĐIỀU

KHIỂN 2.1 Ứng dụng mạng nơron để điều chỉnh các tham số PID

2.1.1 Đặt bài toán

Cho hệ điều khiển có phản hồi (có bộ điều khiển PID), đối tượng điều khiển,

dùng mạng nơron 3 lớp truyền thẳng để điều chỉnh các tham số của bộ PID (KP, KI,

KD)

2.1.2 Phân tích bài toán

B 2: Phân tích để xác định số nơron mỗi lớp

Với bài toán trên, chúng ta chọn mạng nơ ron 3 lớp, đầu vào lớp thứ nhất là tín

hiệu sai số, lớp thứ 2 là 5 nơ ron đăch trưng cho 5 tham số của đánh giá đặc tính của hệ thống và 3 đầu ra là 3 tham số dùng để điều chỉnh hệ các tham số của bộ PID (Hình 2.1)

Hệ thống thích nghi có một thời gian quá độ trước khi đạt tới trạng thái ổn định

Hệ phải tự động điều chỉnh cách thức thích nghi của mình trong thời gian đó

K

KI

F G H K

IJ IK

Đ

ϴ

( ) ( )

$( )

Hình 2.2: Quá trình quá độ của hệ thống

trong đó: td (delay time): thời gian yêu cầu để đáp ứng đạt tới 50% giá trị đầu tiên

- tr (rise time): thời gian để đáp ứng đạt tới giá trị cuối cùng

- tp (peak time): thời gian để đáp ứng đạt tới đỉnh cao nhất đầu tiên

- Mp (maximum overshoot): biên độ cực đại của đáp ứng

- ts (settling time): thời gian để đáp ứng đạt tới và ổn định trong một khoảng

xung quanh giá trị kết thúc Mạng nơron sử dụng trong bộ điều khiển thích nghi PID được thiết kế là mạng truyền thẳng 3 lớp có cấu trúc như sau:

(s)

ỉnh

(t)

.5

Hình 2.3: Cấu trúc mạng truyền thẳng 3 lớp

- Đầu vào của mạng nơron là tín hiệu chênh lệch sai số e(t) được nơron đầu

vào ở tầng S1 nhận và chuyển đến các nơron ở lớp ẩn S2, S1 chỉ đóng vai trò phân phối tín hiệu vào cho các nơron lớp ẩn nên không có trọng liên kết giữa các nơron lớp S1 và S2

- Trạng thái của 5 nơron lớp ẩn tương ứng với td, tr, tp, Mp, ts

- Nơron thứ j của lớp S2 liên kết với nơron i của S3 bởi trọng wij

- Đầu ra của các nơron lớp S3 chính là các giá trị KP, KI, KD đã được điều chỉnh phù hợp để điều khiển thiết bị

Thuật toán điều chỉnh trọng và hiệu chỉnh các tham số PID như sau:

- Trạng thái của các nơron lớp S2 được xác định bởi :