Bài giảng các phương pháp điều khiển hiện đại

Một nơron sinh vật có cấu trúc khá phức tạp còn một nơron nhân tạo được xây dựng từ ba thành phần chính: bộ tổng các liên kết đầu vào, động học tuyến tính, phi tuyến khôngđộng học Hình 1

TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT HƯNG YÊN

KHOA ĐIỆN – ĐIỆN TỬ -***** -

ĐỀ CƯƠNG BÀI GIẢNG

CÁC PHƯƠNG PHÁP ĐIỀU KHIỂN HIỆN ĐẠI

(Lưu hành nội bộ)

HƯNG YÊN 12/2015

MỤC LỤC

CHƯƠNG 1: CƠ SỞ MẠNG NƠRON NHÂN TẠO 5

1.1 Nơron là gì 5

1.1.1 Noron sinh học 5

1.1.2 Mô hình noron nhân tạo 7

1.2 Nơron như một cổng logic 10

1.2.1 Đặt vấn đề 10

1.2.2 Nơ ron như cổng NOT 10

1.2.2 Nơron như cổng OR 10

1.2.2 Nơron như cổng AND 11

1.3 Mạng Nơron 11

1.3.1 Mạng nơron một lớp truyền thẳng 12

1.3.2 Mạng nơron hai lớp truyền thẳng 14

1.3.3 Mạng nơron truyền thẳng nhiều lớp 16

1.4 Luật học ( Learning Rule) 17

1.4.1 Giới thiệu 17

1.4.2 Phân loại luật học 18

1.5 Một số mạng điển hình truyền thẳng 19

1.5.1 Mạng ADALINE (adaptive linear elements) 19

1.5.2.Mạng perceptron 20

1.5.3 Mạng noron lan truyền ngược 22

1.5.4 Mạng noron RBF(Radial Basis Function) 24

1.6 Mạng noron truy hồi 25

1.6.1 Mạng hopfield rời rạc 25

1.6.2 Mạng hopfield liên tục chuẩn 29

1.6.3 Mạng BAM 31

CHƯƠNG 2 ỨNG DỤNG MẠNG NƠRON TRONG ĐIỀU KHIỂN 36

2.1 Ứng dụng mạng nơron để điều chỉnh các tham số PID 36

2.1.1 Đặt bài toán 36

2.1.2 Phân tích bài toán 36

2.2 Mạng nơron cho các bài toán tối ưu 39

2.2.1 Nhắc lại mạng nơron Hopfield 39

2.2.2 Mạng Hopfield rời rạc 40

2.2.3 Mạng Hopfield liên tục 41

PHẦN II: ĐIỀU KHIỂN MỜ 43 CHƯƠNG 1: LOGIC MỜ VÀ CÁC KHÁI NIỆM CƠ BẢN 43 1 Nhắc lại về tập hợp kinh điển 43

1.1 Khái niệm về tập hợp 43

1.2 Cách biểu diễn tập hợp: 44

1.3 Tập con 44

1.4 Hàm thuộc: 44

1.5 Các phép toán trên tập hợp: 45

2 Khái niệm tập mờ 49

2.1 Định nghĩa tập mờ 49

2.2 Các thuật ngữ trong logic mờ 50

2.3 Các phép toán trên tập mờ 51

3 Biến ngôn ngữ và giá trị của nó 61

4 Luật hợp thành mờ 62

4.1 Mệnh đề hợp thành: 62

4.2 Mô tả mệnh đề hợp thành mờ: 62

4.3 Luật hợp thành mờ: 67

5 Giải mờ 72

5.1 Phương pháp cực đại: 72

5.2 Phương pháp điểm trọng tâm: 74

CHƯƠNG 2: TÍNH PHI TUYẾN CỦA HỆ MỜ 76 1 Phân loại các khâu điều khiển mờ 76

2 Xây dựng công thức quan hệ truyền đạt: 79

2.1 Quan hệ vào/ra của thiết bị hợp thành: 80

2.2 Quan hệ vào/ra của khâu giải mờ: 82

2.3 Quan hệ truyền đạt y(x): 82

CHƯƠNG 3 ĐIỀU KHIỂN MỜ 84 1 Bộ điều khiển mờ cơ bản 84

2 Nguyên lý của điều khiển mờ 84

3 Các nguyên tắc xây dựng bộ điều khiển mờ 85

3.1 Mờ hóa 85

3.2.Xác định hàm liên thuộc 86

3.3.Rời rạc hóa các tập mờ 87

3.4 Thiết bị hợp thành 87

3.5.Chọn thiết bị hợp thành: 88

3.6 Giải mờ 88

4 Các bộ điều khiển 88

4.1 Phương pháp tổng hợp kinh điển 88

4.2 Mô hình đối tượng điều khiển 89

4.3 Bộ điều khiển mờ tĩnh 90

4.4 Thuật toán tổng hợp bộ điều khiển mờ tĩnh 91

4.5 Tổng hợp bộ điều khiển mờ tuyến tính từng đoạn 92

4.6 Bộ điều khiển mờ động 93

4.7 Bộ PID mờ 95

5 Các ví dụ: 98

PHẦN I: MẠNG NƠ RON NHÂN TẠO

CHƯƠNG 1: CƠ SỞ MẠNG NƠRON NHÂN TẠO

Nơron là tế bào thần kinh, con người có khoảng 14 đến 15 tỷ nơron

1.1.1 N ORON SINH HỌC

a) Nguồn gốc của nơron sinh học

Đầu tiên, chúng ta tìm hiểu nguồn gốc của mạng nơron, bắt đầu từ một phần tử nơronđơn giản Mô hình nơron nhân tạo có nguồn gốc từ mô hình tế bào thần kinh (hay còn gọi lànơron) sinh vật Mục đích của phần này không phải là mô tả và nghiên cứu nơron sinh học

mà muốn chỉ ra rằng: từ những nguyên lý cơ bản nhất của nơron sinh học, người ta đã bắtchước mô hình đó cho nơron nhân tạo

Các nơron sinh vật có nhiều dạng khác nhau như dạng hình tháp ở đại não, dạng tổong ở tiểu não, dạng rễ cây ở cột sống Tuy nhiên, chúng có cấu trúc và nguyên lý hoạt độngchung từ mô hình chung nhất, người ta có thể mô tả chúng như một nơron chuẩn Một tếbào nơron chuẩn gồm bốn phần cơ bản là:

• Thân thần kinh (soma):

Chứa các nhân và cơ quan tổng hợp protein Các ion vào được tổng hợp và biến đổi.Khi nồng độ các ion đạt đến một giá trị nhất định, xảy ra quá trình phát xung (hay kíchthích) Xung đó được phát ở các đầu ra của nơron Dây dẫn đầu ra xung được gọi là dâythần kinh (axon)

• Dây thần kinh (axon):

Là đầu ra Đó là phương tiện truyền dẫn tín hiệu Dây thần kinh được cấu tạo gồm các

đốt và có thể dài từ micro mét đến vài mét tuỳ từng kết cấu cụ thể Đầu ra này có thể truyềntín hiệu đến các nơron khác

• Khớp thần kinh (synape):

là bộ phận tiếp xúc của đầu ra nơron với rễ, nhánh của các nơron khác Chúng có cấutrúc màng đặc biệt để tiếp nhận các tín hiệu (Hình 1.1) khi có sự chênh lệch về nồng độ iongiữa bên trong và bên ngoài Nếu độ lệch về nồng độ càng lớn thì việc truyền các ion càngnhiều và ngược lại Mức độ thẩm thấu của các ion có thể coi là một đại lượng thay đổi tùythuộc vào nồng độ như một giá trị đo thay đổi được gọi là trọng

b) Hoạt động của một nơron sinh học

• Truyền xung tín hiệu

Mỗi nơron nhận tín hiệu vào từ các tế bào thần kinh khác Chúng tích hợp các tín hiệuvào Khi tổng các giá trị vượt một giá trị nào đó gọi là giá trị ngưỡng (hay đơn giản gọi làngưỡng) chúng phát tín hiệu ra Tín hiệu ra của nơron được chuyển tới các các nơron kháchoặc tới các cơ quan chấp hành khác như các cơ, các tuyến (glands) Việc truyền tín hiệuthực hiện thông qua dây thần kinh và từ nơron này tới nơron khác theo cơ chế truyền tin đặcbiệt là khớp thần kinh Mỗi một nơron có thể nhận hàng nghìn, vạn tín hiệu và cũng có thểgửi tín hiệu đến hàng vạn các nơron khác Mỗi nơron được coi là một thiết bị điện hóa, chứacác nội năng liên tục, được gọi là thế năng màng (rnembrance potentiel) Khi thế năng năngmàng vượt ngưỡng, nơron có thể truyền thế năng tác động đi xa theo các dây thần kinh

 Quá trình học

Khi có xung kích thích từ bên ngoài tới, các khớp hoặc cho đi qua hoặc không và sẽkích thích hay ức chế các nơron tiếp theo Học là một quá trình làm cho cách cập nhật nàylặp lại nhiều lần đến một giá trị ổn định, cân bằng điện hóa giữa các nơron

Những nơron không có ý nghĩa khi xử lí đơn lẻ mà cần thiết liên kết với nhau tạothành mạng Đặc tính của hệ thần kinh dược xác định bằng cấu trúc và độ bền của nhữngliên kết đó Có thể thay đổi độ bền vững liên kết (weight) bằng các thuật học khác nhau

1.1.2 M Ô HÌNH NORON NHÂN TẠO

hình 1.2 mô hình noron nhân tạo

Mô hình một phần tử nơron nhân tạo được xây dựng dựa trên mô hình của nơron sinhvật Một nơron sinh vật có cấu trúc khá phức tạp còn một nơron nhân tạo được xây dựng từ

ba thành phần chính: bộ tổng các liên kết đầu vào, động học tuyến tính, phi tuyến khôngđộng học (Hình 1.2)

• Bộ tổng liên kết:

Bộ tổng hợp các liên kết đầu vào của một phần tử nơron có thể mô tả như sau:

trong đó:

v(t): tổng tất cả các đầu vào mô tả toàn bộ thế năng tác động ở thân nơ ron;

x k (t): các đầu vào ngoài, mô tả tín hiệu vào từ các đầu nhạy thần kinh hoặc từ các

nơron khác đưa vào;

W k : trọng liên kết vào ngoài, là hệ số mô tả mức độ liên kết giữa các đầu vào ngoài tới nơron hiện tại, m là số đầu vào; k=1, ,n;

y(t) : đầu ra nơron mô tả tín hiệu đưa ra;

θ: hằng số, còn gọi là ngưỡng, xác định mức kích thích hay ức chế.

• Phần động học tuyến tính

Đầu vào của phần động học là v(t) Đầu ra của nó u(t) gọi là đầu ra tương tự Hàm

truyền tương ứng của phần động học tuyến tính có thể mô tả dưới dạng biến đổi Laplace nhưsau:

W 1

W 2

W n

g (.)

W



y (t)

θ

u(s) = H(s).v(s) (1.2)

Quan hệ vào/ra u(t) = v(t)

)()(

t v dt

t du

dt

t du

Hàm phi tuyến ở đây có thể chia thành hai nhóm: nhóm hàm bước nhảy và nhóm hàmliên hàm phi tuyến thường dùng được cho ở Bảng 3.2 một số dạng khác cũng được sử dụngnhư : dạng hàm Gauss, hàm Logarit, hàm mũ

01

x x

01

x x

Hàm

1 1

1 1

x

x x

e 

Bảng 1.2 Một số hàm phi tuyến thường được sử dụng trong các mô hình nơron

1.2.1 Đ ẶT VẤN DỀ

- Tốc độ xử lý của nơron sinh học bẳng 1/6 đến 1/7 tốc độ xử lý của các cổng lôgic

- Ta có các cổng logic cơ bản :and, or, not, nor, nand

Có thể nói Nơron như 1 cổng logic

1.2.2 N Ơ RON NHƯ CỔNG NOT

Bài toán đặt ra: Cho sơ đồ như hình vẽ biết ( ) = [0, 1]

Hình 1.3 noron như cổng not

Yêu cầu:Hãy xác định các tham số w, θ, để nơ ron trùng với bộ not

1.2.2 N ƠRON NHƯ CỔNG OR

∑

g (.)

0 1 -

1

Bài toán đặt ra: Cho sơ đồ như hình vẽ biết ( ), ( ) = [0, 1]

Yêu cầu :Hãy xác định các tham số , , θ, để nơ ron trùng với bộ OR

Hình 1.4 noron như cổng not

1.2.2 N ƠRON NHƯ CỔNG AND

Bài toán đặt ra: Cho sơ đồ như hình vẽ biết ( ), ( ) = [0, 1]

Yêu cầu :Hãy xác định các tham số , , θ, để nơ ron trùng với bộ AND

Hình 1.5 noron như cổng not

Cấu tạo của một nơron

g (.)

0 1

1

-( )

( )

g (.)

0 1

1

-( )

( )

W 1

W 2



y (t)

θ

0 1 g (.)

Hình 1.6 Mô hình một nơron

Một nơron là một đơn vị xử lí thông tin và kí hiệu:

Hình 1.7 noron, đơn vị thông tin

Cũng như nơ ron sinh vật, các nơron nhân tạo có thể liên kết với nhau để tạo thànhmạng Có nhiều cách kết hợp các nơron nhân tạo thành mạng, mỗi cách kết hợp tạo thànhmột loại lớp mạng khác nhau

1.3.1 M ẠNG NƠRON MỘT LỚP TRUYỀN THẲNG

Là mạng mà các nơron tạo thành một lớp, trong đó mỗi một tín hiệu vào có thể đượcđưa vào cho tất cả các nơron của lớp và mỗi nơron có nhiều các đầu vào và một đầu ra trênmỗi nơ ron đó Xét trường hợp các nơron không phải là động học (tức H(s) =1) khi đó (t)

= (t)

Hình 1.8 Mạng nơ ron truyền thẳng một lớp

Phương trình mạng được mô tả như sau:

Ví dụ: Vẽ mạng nơron một lớp với 4 đầu vào, 3 đầu ra đầy đủ ,

Lời giải: Theo đề có m =3, n = 4

Vậy phương trình mạng: = [∑ - ] với j = 1 3 và i = 1 4

θ = ( , , ) =

G =( , , )Vậy ta có sơ đồ mạng:

Hình 1.10 Sơ đồ cấu trúc mạng nơ ron truyền thẳng 2 lớp

Ta có: = [ ∑ - ] = ∑ ∑ − −

1.3.3 M ẠNG NƠRON TRUYỀN THẲNG NHIỀU LỚP

Liên kết một lớp cho khả năng ánh xạ phi tuyến giữa các đầu vào và các đầu ra.Mạng hai lớp có khả năng ánh xạ các hàm trong vùng lồi Mạng một hoặc hai lớp nói chung

dễ phân tích Mạng ba lớp hoặc nhiều lớp có khả năng mô tả được mọi hàm phi tuyến TheoCybenco [6,13] thì bất kỳ hàm phi tuyến nào cũng có thể xấp xỉ tuỳ ý trên một tập compactbằng mạng nơron truyền thẳng gồm hai lớp ẩn với độ phi tuyến cố định Như vậy, khi xâydựng mạng nơ ron trong xử lý, mạng hai lớp ẩn đủ khả năng xấp xỉ một hàm tùy chọn mà cóthể không dùng nhiều lớp hơn phức tạp cho tính toán

Xét mạng tĩnh (H(s)=1) truyền thẳng nhiều lớp có phương trình miêu tả như sau:

trong đó: xqi( t ) là các đầu vào lớp q; i=1, ,n; q=1, ,Q; u k (t) là các đầu vào ngoài;

b ik là trọng ngoài, k=1, ,m; yiqlà đầu ra lớp q; wqijlà trọng lớp q, từ nơron thứ j tới nơron thứ i, i,j = 1, ,n; Iqi là ngưỡng của nơron thứ i, lớp q; n q là số phần tử nơron lớp q; m là

số tín hiệu ngoài đưa vào

Có thể mô tả phương trình (1) dưới dạng phương trình ma trận-véc tơ:

x(t) = Wy(t) + Bu(t) + I (1.8)

Hình1.11 Mạng truyền thẳng nhiều

lớp

u1

u2

um

y(t) = g(x(t)) (1.9)

Trong đó W, B, I là các ma trận; x, u, g là các véc tơ hàm Từ các mạng truyền thẳngtổng quát một số tác giả đã chọn các dạng cụ thể, nghiên cứu áp dụng cho chúng các thuậthọc phù hợp, hình thành các mạng cụ thể như: mạng Adaline, mạng Percetron, mạng truyềnngược

1.4.1 G IỚI THIỆU

Bài toán: Sản xuất xi măng

Đầu ra mác “ P300”(y),

Đầu vào là: Đá vôi( x1); đất sét( x2); nước(x3) xm.

Đặt vấn đề lượng vào là gì? để có mác là P300 Nếu gọi đường vào là Wij Ta có

X: vecto tín hiệu đầu vào, X=[ x1; x2; ; xm]T

Định nghĩa luật học: học trong mạng noron là chỉnh trọng [Wij], sao cho từ X→ d

Ghi chú:Trong trí tuệ nhân tạo, bài toán A→ B (A là t ập đầu vào, B là tập đầu ra) Học

là tìm “→”, trong noron là các chỉnh trọng Wij.

1.4.2 P HÂN LOẠI LUẬT HỌC

a) Học cấu trúc (Structure learning).

- Thay đổi → số lớp( layer)

• Học không có tín hiệu chủ đạo( học không có “thầy”)

Hình 1.14 Học không có tín hiệu chủ đạo

• Học củng cố ( Inforcement): 1 phần có thầy, 1 phần không có thầy

Hình 1.15 Học củng cố

1.5.1 M ẠNG ADALINE ( ADAPTIVE LINEAR ELEMENTS )

- Khái niệm về ADALINE: Adaline (Adaplive Linear Element): là một nơronvới đặc thù hàm tích hợp (tổng các đầu vào) tuyến tính và hàm kích hoạt (hàm đầura) dốc Phương trình mô tả cấu trúc như sau:

y =∑ ≡ d hoặc y = X ≡ d (1.13)

Luật học: Luật học Adaline sử dụng phương pháp bình phương cực tiểu truy hồi.

Windrow và Hoff đề ra luật học dựa trên phương pháp gradient dùng một Adaline để xấp xỉmột hàm tuyến tính (m-1) biến nhờ một tập hợp gồm p mẫu Đầu tiên chọn tuỳ ý véctơtrọng ban đầu W(1), sau đó ta từng bước hiệu chỉnh lại W(k) theo các mẫu {x(k) , d(k)},k=1, ,p, sao cho tổng bình phương sai số đạt cực tiểu:

m

1 j

2 j j )

k (

p

1 k

p

1 k

2 ) k ( T ) k ( 2

) k ( ) k (

)xwd

(21

)xwd

(2

1)yd(2

1)w(E

=

1 k

j ) k ( ) k ( T ) k ( j

W

EW

(1.15)Học được tiến hành lần lượt theo các mẫu, nên ∆Wj có thể tính tuần tự:

) k ( j ) k ( T )

k (

∆

E(W) có dạng bình phương, là một siêu Parabol trong không gian các trọng Rm, có mộtđiểm cực tiểu duy nhất Do đó, nếu chọnη đủ nhỏ theo phương pháp gradient ở trên thì cóthể tìm được véc tơ trọng tối ưu sau số lần lặp đủ lớn

1.5.2.M ẠNG PERCEPTRON

Cấu trúc:

Với các véc tơ ra mong muốn d (k) =[d 1 (k) , d 2 (k) , ,d n (k) ] và véc tơ và

X (k ) =[X 1 (k) , X 2 (k) , , X m (k) ], k=1,2, ,p, trong đó m là số đầu vào, n là số đầu ra, p là số

cặp mẫu vào-ra dùng huấn luyện mạng Đầu ra thực tế theo cấu trúc chung:

y i (k) = f(W i T x i (k) ) = f(W ij x j (k) ) = d i (k) ; i=1, ,n; k=1, , (1.16)

Đối với cấu trúc perceptron (1.10) có thể viết thành:

y i (k) = Sign(W i T x i (k) ) = d i (k) (1.17)

(1.18)

Luật học tổng quát: học đối với mạng nơron là cập nhật trọng trên cơ sở các mẫu.

Theo nghĩa tổng quát, học có thể được chia làm hai loại: Học tham số và học cấu trúc.Trong những năm gần đây, các công trình tập trung cho nghiên cứu các luật học khác nhau.Các luật học đó có thể khái quát thành dạng chung sau:

W i j r X(t) (1.19) trong đó :αlà hằng số học (dương) xác định tốc độ học; r là tín hiệu học Tín hiệu họctổng quát là một hàm của W, X, di, tức là r = fr(wi, xi, di) Đối với các trọng biến đổi liên tục

có thể sử dụng dạng sau:

αrx(t) dt

(t) i dw

T n

m 2 22

T 2

m 1 12 11

T n

T 2

T 1 T

i

w

ww

w

ww

w

ww

w

w

ww

W

một trong những luật học quan trọng nhất của mạng nơron nhân tạo Trong luật học củaHebb, tín hiệu học thay đổi theo:

rf(W i T X) = f(y i ) (1.21)

W i =f(W i T X) X j =y i X j ; i=1,2 ,n ; j=1,2 ,m; rd i - y i (1.22)

Trong một mạng cụ thể nào đó, luật Hebb có dạng:

W ij =[d i - Sign(W i T X)]X j (1.23) Cấu trúc:

Các nơron tạo thành lớp, trong đó mỗi tín hiệu vào có thể được đưa vào cho tất cả cácnơron của lớp Mỗi nơron có nhiều đầu vào và một đầu ra trên mỗi nơron đó Cấu trúc củamạng Perceptron được chỉ ra hình vẽ

Hình 1.6.2.Mạng Perceptron một lớp đơn

Đầu vào của mạng có thể được mô tả là vector X=[x 1 , x 2 , x m ] T , trong đó m là số ợng đầu vào T là ký hiệu chuyển vị Giá trị ngưởng của các nơron là các trọng liên kết với đầu vào cuối cùng x m =-1 Với n nơron, vector đầu ra thực tế là Y=[y1, y2, yn]T Mạng

lư-Perceptron sử dụng luật học có giám sát Do đó, tương ứng với mẫu đầu vào là vector X(k)=[x1(k), x2(k), , xm(k)]T, mẫu đầu ra mong muốn là vector d ( k) =[d1(k), d2( k), , dn(k)]T K=1,2, ,p, trong đó m là số đầu vào, n là số đầu ra, p là số cặp vào ra theo tập luyệntập Chúng ta muốn đầu ra thực sự y(k) = d(k) sau quá trình học và có thể được mô tả nhưsau:

Trong mạng perceptron sử dụng hàm phi tuyến là hàm dấu nên phương trình (1.24) có

biến đổi liên tục có thể biểu diễn như sau:

)()

(

t x r dt

d i i i i

0

2

(1.28)

Như vậy, các trọng số chỉ được cập nhật khi đầu ra thực sự yi khác với d i Các trọng

số được khởi tạo với giá trị bất kì luật học Perceptron sẽ hội tụ sau một số bước hữu hạn

1.5.3 M ẠNG NORON LAN TRUYỀN NGƯỢC

Thuật học lan truyền ngược là một trong những phát triển quan trọng trong mạngnơron Thuật toán này được áp dụng cho các mạng nhiều lớp truyền thẳng (feedforward)gồm các phần tử xử lý với hàm kích hoạt liên tục Các mạng như vậy kết hợp với thuật toánhọc lan truyền ngược được gọi là mạng lan truyền ngược (Back Propagation Network)

Về mặt lý thuyết đã chứng minh được rằng: mạng ba lớp trở lên có thể nhận biết đượcmọi hàm bất kỳ Chính vì vậy, luật học truyền ngược có ý nghĩa rất quan trọng trong việccập nhật trọng số của mạng nhiều lớp truyền thẳng Nền tảng của thuật toán cập nhật trọng

số này cũng là phương pháp hạ Gradient Thật vậy, cho cặp mẫu đầu vào - đầu ra (x(k),d(k)), thuật toán lan truyền ngược thực hiện 2 pha Đầu tiên, mẫu đầu vào x(k) được truyền

từ lớp vào tới lớp ra và kết quả của luồng dữ liệu thẳng (forward) này là tạo đầu ra thực sự

y(k) Sau đó, tín hiệu lỗi tạo từ sai khác giữa d(k) và y(k) sẽ được lan truyền ngược từ lớp raquay trở lại các lớp trước đó để chúng cập nhật trọng số Để minh hoạ chi tiết thuật toán lantruyền ngược, xét một mạng 3 lớp: lớp vào có m nơron, lớp ẩn có l nơron và lớp ra có lnơron

q v x net

1

j=1,2,…,m ; q=1,2,…,l (1.29)

và tạo đầu ra của lớp ẩn

)(

)(

q f net f v x

trong đó: f(.) là hàm tương tác đầu ra

+) Lớp ra: giả thiết hàm tương tác đầu ra của lớp ra giống các lớp khác, tức là f(.) Khi

đó tổng đầu vào của nơron thứ i có thể xác định

q iq

q iq q

l q iq i

i f net f w z f w f v x

y

1 1

1

(1.32)

• Luật lan truyền ngược (Backpropagation Learning Rule)

Cơ sở của luật học lan truyền ngược được xây dựng trên phương pháp hạ Gradient.Đầu tiên, xây dựng hàm chi phí (hay còn gọi là hàm sai số giữa đầu ra mong muốn di vớiđầu ra thực tế yi)

12

1)(2

q iq i

n

i

i i

i i iq

iq

w

net net

y y

E w

q q qj

q q

qi qj

v

net net

z z

E v

net net

E v

E

n i

iq i i

' 1

(1.37)

với Ġ là tín hiệu lỗi của nơron thứ q trong lớp ẩn

iq n i i q

hq f net ∑ w

=

=

1 0 ' ( ) 

ràng, từ hàm sai lệch đầu ra (1.58), theo phương pháp hạ Gradient, chúng ta có thể tínhngược trọng từ lớp ra, tiếp theo đến trọng của lớp trước đó Điều này thể suy luận và tính cáclớp trọng cho một mạng nơron truyền thẳng có số lớp bất kỳ

1.5.4 M ẠNG NORON RBF(R ADIAL B ASIS F UNCTION )

Mạng RBF được Moody và Darker đề xu ất năm 1989 dựa trên sự tương đồng giữakhai triển RBF với mạng nơron một lớp ẩn Khả năng xấp xỉ của các hàm phi tuyến củamạng có thể thừa nhận từ hai lý do Một là, nó là một kiểu khai triển RBF Hai là, nó tươngđương với hệ thống mờ và là một công cụ xấp xỉ vạn năng Đặc biệt mạng RBF Gauss sẽ làmột kiểu mạng “có một số người thắng”, nên có thể áp dụng luật học không giám sát củaKohonen mở rộng Điều này có thể giải thích từ cách suydiễn kiểu NẾU -THÌ (sẽ trình bày

ở phần hai) của hệ thống mờ tương đương

1.6.1 M ẠNG HOPFIELD RỜI RẠC

Mạng Hopfield mang tên của một nhà vật lý người Mĩ phát hiện ra là một mạng truyềnngược một lớp Cấu hình mạng chi tiết được chỉ ra trong hình 1.7.1 Khi xử lý theo thời gianrời rạc, nó được gọi là một mạng Hopfield rời rạc và cấu trúc của nó là một mạng truyềnngược một lớp cũng có thể được gọi là hồi quy (recurrent) Chương này chủ yếu bàn về cácmạng hồi quy một lớp Khi một mạng hồi quy một lớp thực hiện một tiến trình cập nhật tuần

tự, một mẫu đầu vào trước tiên được cung cấp cho mạng, và theo đó đầu ra của mạng đượckhởi tạo Sau đó, mẫu khởi tạo được xoá đi, và đầu ra đã khởi tao cũng trở nên mới, đầu rađược cập nhật thông qua các kết nối phản hồi Đầu vào được cập nhật lần thứ nhất sẽ có đầu

ra được cập nhật lần thứ nhất; hoạt động này tái diễn, đầu vào được cập nhật lần thứ haithông qua các liên kết phản hồi và cung cấp đầu ra được cập nhật lần thứ hai Quá trìnhchuyển tiếp tiếp tục cho đến khi không có sự biến đổi, các đáp ứng cập nhật được cung cấp

và mạng đã đạt được trạng thái cân bằng của nó

N 1 N

2

N n

1

2 n

W21

Wn1

W12W

n2

W1nW2n

Hình 1.7.1 Cấu trúc của mạng Hopfield

Xem xét mạng Hopfield được chỉ ra trong hình 1 Mỗi node có một đầu vào bên ngoài

xj và một ngưỡngĠ, trong đó j = 1, 2, , n Một điều rất quan trọng là trong mạng Hopfieldkhông có sự tự truyền ngược Đầu ra node thứ j được kết nối tới đầu vào của tất cả các nodecòn lại sau khi nhân với trọng wij , với i = 1, 2, , n, iĠ j: nghĩa là, wii = 0 với i = 1, 2, , n.Hơn nữa, nó đòi hỏi các trọng mạng là đối xứng, nghĩa là, wij =wji, i,j = 1, 2, …, n Nguyêntắc tiến triển (nguyên tắc cập nhật) cho mỗi node trong mạng Hopfield là:

y i (k+1) = sgn( ∑

≠

=

n i

j ,1

w ij y j (k) + x i -i ) với i=1,2,…n ( 1.39)

trong đó: sgn(.) là hàm dấu, và k là chỉ số của việc cập nhật đệ quy Nó đòi hỏi nguyêntắc cập nhật ở trên được áp dụng theo kiểu không đồng bộ Việc cập nhật tiếp theo trên mộtnode được chọn ngẫu nhiên sử dụng các đầu ra vừa mới được cập nhật Nói cách khác, doviệc xử lý không đồng bộ của mạng, mỗi đầu ra của node được cập nhật một cách riêng rẽ,trong khi sử dụng các giá trị mới nhất mà đã được cập nhật Phương pháp cập nhật khôngđồng bộ được đề nghị như một sự đệ quy ngẫu nhiên không đồng bộ (Asynchronousstochastic recursion) của mạng Hopfield rời rạc Ví dụ sau minh hoạ sự khác nhau giữa cậpnhật đồng bộ và không đồng bộ

Ví dụ 1: Xem xét mạng Hopfield rời rạc hai node với w 12 =w 21 =-1, w 11 = w 22 = 0, x 1 =

x 2 = 0, và (1=(2=0 Thiết lập vectơ đầu ra là

y(0) =[-1,-1] T Theo nguyên tắc cập nhật không đồng bộ, chỉ một node được xem xéttại một thời điểm Bây giờ giả thiết rằng, node đầu tiên được chọn để cập nhật Ta có:

trạng thái trong hình 2 trong đó các vectơ [1,- 1] T và [-1,-1] T là hai sự cân bằng của hệthống Chú ý rằng, cập nhật không đồng bộ cho phép cập nhật một thành phần của một vectơ

n bộ tại một thời điểm

Trong trường hợp cập nhật đồng bộ của một vectơ đầu ra khởi tạo [-1,-1], sử dụngcông thức (3.1) ta có:

Trong lần cập nhật tiếp theo, chúng ta có:

1 sgn

1 1 sgn sgn

sgn

0 1 21

0 2 12 1

)]

[(-

)(-)]

[(- )

)(-y (w

) y (w y

) (

) ( )

sgn[(-1)(1

)]

sgn[(-1)(1 )

y sgn(w

) y sgn(w y

(1) 1 21

(1) 2 12

1 1 ,2

Hình 1.7.2 Lược đồ chuyển trạng thái trong ví dụ 1.

ý tưởng được chỉ ra rằng nếu mạng ổn định, thì hàm năng lượng ở trên luôn luôn giảm

đi bất cứ khi nào trạng thái của một node nào đó thay đổi Chúng ta giả thiết rằng node i vừathay đổi trạng thái của nó từ yi(k) sang yi(k+1) Nói cách khác, đầu ra của nó đã được thayđổi từ +1 thành –1, hoặc ngược lại Sự thay đổi trong hàm năng lượng là:

y j (k+1)(y j (k) với j(i, và w ij =w ji và w ii =0 (thuộc tính trọng đối xứng).

Từ công thức (1.43), nếu yêu dó thay đổi yi(k)=-1 thành i thì neti phải dương và ∆E sẽ

âm Tương tự, nếu yi đã thay đổi từ y i (k)=+1 thành y i (k+1)=-1 ((yi=-2), thì netiphải âm và(E lại âm Nếu yikhông thay đổi, thì (y i =y i (k+1)- y i (k)=0 Trong trường hợp đó (E=0.)

Khi hàm năng lượng E trong công thức (1.44) là dạng toàn phương và được giới hạn

trong một không gian n chiều bao gồm 2n đỉnh của một siêu khối n chiều, E phải có một giátrị cực tiểu tuyệt đối Hơn nữa, cực tiểu của E phải nằm ở các góc của siêu khối Do đó, hàmnăng lượng, theo nguyên tắc cập nhật trong công thức (3.5) phải đạt được cực tiểu của nó(có thể là cực tiểu địa phương) Vì thế, bắt đầu tại bất kỳ trạng thái khởi tạo nào, một mạngHopfield luôn luôn hội tụ tại một trạng thái ổn định sau một số hữu hạn các bước cập nhậtnode, trong đó tất cả các trạng thái ổn định nằm tại một cực tiểu địa phương của hàm nănglượng E Trong thảo luận ở trên, trọng kết nối đòi hỏi phải đối xứng Tính không đối xứng

của trọng, nghĩa là w ij (w ji với một số i, j có thể dẫn đến một mạng Hopfield được biến đổi

mà cũng được chỉ ra là cân bằng

Tiến trình đưa ra ở trên thực tế tận dụng lý thuyết cân bằng Lyapunov nổi tiếng, màthực tế được sử dụng để cung cấp tính cân bằng của một hệ thống động được định nghĩanhiều phương trình khác nhau phối hợp chặt chẽ với nhau Vì thế nó cung cấp một công cụmạnh trong nghiên cứu lý thuyết của các mạng nơron Chúng ta phát biểu nó cho các hệthống liên tục như sau:

Định lý 1: (Lý thuyết Lyapunov) Xem xét hệ thống tự trị được mô tả với một hệ cácphương trình khác nhau không tuyến tính hoặc tuyến tính bậc n:

Ÿ 1 =f 1 (y) 2=f 2 (y)

n=fn(y) hoặc (t)=f(y) trong đó, y(t)=(y 1 , y 2 , ., y n ) T là vectơ trạng thái của hệ thống và f(y)=(f1, f2, …, fn) Tlàmột hàm vectơ không tuyến tính Không mất tính tổng quát, ta giả sử rằng các phương trình

đã được viết vì thế y=0 là một trạng thái cân bằng mà thoả mãn f(0)=0 Chúng tôi trình bày

một điều kiện cho sự cân bằng y=0 là ổn định một cách tiệm cận; nghĩa là vectơ tr ạng tháihội tụ về 0 khi thời gian tiến đến vô hạn Điều này có thể đạt được nếu một hàm xác địnhdương E(y) có thể được tìm thấy như sau:

- E(y) là liên tục với mọi thành phần yi, i=1,2,…,n

- dE[y(t)]/dt<0, nó chỉ ra rằng hàm năng lượng giảm theo thời gian, và vì thế nguồn

gốc của không gian trạng thái là tiệm cận đến tính ổn định

Một hàm năng lượng xác định dương E(y) thoả mãn các yêu cầu trên được gọi là mộthàm Lyapunov Hàm này không phải là duy nhất cho một hệ thống đã đư ợc đưa ra Nếu tốithiểu một hàm như vậy có thể được tìm thấy cho một hệ thống, thì hệ thống tiệm cận đếntính ổn định Tuy nhiên, điều ngược lại là không đúng; đó là, không thể tìm một hàmLyapunov thỏa mãn không có nghĩa rằng hệ thống được đánh giá là không ổn định Nếu đạohàm của hàm Lyapunov được biến đổi là không dương chứ không phải hoàn toàn âm Vìthế, hệ thống đã định giá được cho phép cho một chu trình hạn chế (limit cycles), mà đápứng hạn chế ngoại trừ sự dao động không đổi và không giảm Theo lý thuyết Lyapunov,hàm năng lượng được kết hợp với một mạng Hopfield và được định nghĩa trong (3.6) là mộthàm Lyapunov; vì thế, mạng Hopfield rời rạc tiệm cận đến ổn định Lý thuyết này quantrọng hơn trong việc phân tích các mạng Hopfield liên tục mà chúng ta sẽ bàn luận sau

1.6.2 M ẠNG HOPFIELD LIÊN TỤC CHUẨN

Hopfield (1984) đưa ra mô hình mạng mô tả bằng tập các phương trình vi phân

∑n1

= j

j ij i

i i i

R

x-

=x

)y(g

=

Trong đó, Ci và Ri là các hằng số; Ii là ngưỡng; Wij là trọng liên kết giữa phần tử nơron thứ j với nơ ron thứ i; xi là trạng thái nơ ron thứ i.

Hopfield nêu hàm Liapunov với dạng sau:

1 j

i n

1 i

j i ij 2

1 n

1

= i i i y

0

1 - i

i) g ( )d I y W yy(1/R

R

xx

n

1 k ik i

i i

=

++

−

=

(1.52)

)xg

−



; , , 1 0

) (

(1.55) d) Ġ với Ġ;

thì tồn tại

2

1 y I d

) ( 1

k j n

k n

1 i i 1

g 0 1

jk i

.

) )(

( (x)

 Ham liapunov:

- Tiêu chuẩn ổn định liapunov

Định lý liapunov: Một hệ mô tả bởi 1 phương trình động học ( có đạo hàm) ổnđịnh khi tìm được một hàm với biến trạng thái của nó sao cho đạo hàm của hàm đó là mộtgiá trị nhỏ hơn hoặc bằng 0 Thì hệ với các biến trạng thái là ổn định

1.6.3 M ẠNG BAM

a) Giới thiệu mạng BAM

Bản chất của mạng BAM: là mạng hopfield cải tiến (truy hồi) theo 2 nghĩa:

- Hopfield 1 lớp: Vào/Ra trên từng noron và có phản hồi Nhưng BAM thì có 2 lớp:

1 lớp ra và 1 lớp vào Trong đó lớp ra dùng làm phản hồi

- Không có tham số định ngưỡng θi=0

- Mạng hopfield & BAM thường dùng làm bộ nhớ liên kết( associative memory)

- Bộ nhớ kinh điển: nhớ theo từng byte( 8 bit), 1 ký tự( charecter):- A→Z, a→z,0→9, +, -, *, / , ký tự đặc biệt

- Nhớ trong mạng noron là nhớ các mẫu được liên kết với nhau

b) Cấu trúc mạng BAM

- Hàm kích hoạt ra là hàm bước nhảy đơn vị

Sau đây là cấu trúc của bộ nhớ BAM rời rạc Khi các noron nhớ được kích hoạt bởivector khởi tạo X tạo đầu vào Khi đó mạng tiến tới có 2 phần trạng thái ổn định mà đầu này

sẽ là đầu ra của đầu kia Chức năng của mạng gồm có 2 tầng tương tác Chích xác ra, giả sửrằng có một vector khởi tạo X cung cấp cho đầu vào của lớp noron Y Đầu vào sẽ được xử

lý và chuyển đổi thành đầu ra của Y theo sau:

y’=g(Wx) (1.58) hoặc y i ’=g i (∑ với i=1 n; (1.59)

Đầu ra của lớp Y

y’=g(Wx) hoặc y i ’=g i (∑ với i=1 n; (1.60)

Đầu ra lớp X

x’=g(W T y’) hoặc x’ i = gi(∑ ′ với j=1,2 m (1.61)

g(.) là hàm ngưỡng Vector y’ cung cấp cho lớp X và vector x’ cung cấp đầu vào cho lớp

Y cho đầu ra y’’.Quá trình sẽ tiếp tục cho tới khi cập nhật x và y dừng lại Quá trình truyhồi đệ quy có thể gồm các bước sau

y(1)=g(Wx(0)) (qua hướng đi lần thứ nhất)

x(2)=g(WTy(1)) (qua hướng về lần thứ nhất)

y(k-1)=g(Wx(k-2)) (qua hướng đi lần thứ k/2)

x(k)=g(WTy(k-1)) (qua hướng về lần thứ k/2)

Trạng thái cập nhật có thể là đồng bộ hoặc không đồng bộ

Thuật toán lưu trữ:

LớpY

Lớp

X

WT

y1

yi

yn

x

1x2

xjxm-1

xm

12

j

m-1m

1

i

n

Với p cặp vector liên kết lưu trữ trong BAM:

{(x1,y1), (x2, y2), …, (xn, yn)}

Trong đó xk=(x1k,x2k,…,xmk)Tvà y=(y1k, y2k,…, ynk)T

W=Ġ(ykxk)T cho các vector lưỡng cựcg(2yk-1)(2xk-1) cho các vector nhi phânTính ổn định của BAM(được chứng minh nhờ định lý của Lyapunow)

0 nếu y*i(k+1) <0

1 nếu x* i (k+1) >0

x i (k+1)= x(k) nếu x* i (k+1) =0 (1.65)

0 nếu x* i (k+1) <0

Ví dụ:Mapping sự cô lập lỗi

Bộ nhớ liên kết 2 chiều thường được dùng để minh hoạ việc cô lập lỗi và điều khiển.BAM là mạng phản hồi 2 lớp của các thành phần tương tác như là các bộ lưu trữ nhớ liênkết (recall stored associations) (XiYi) i=1 q Như vậy một vector x n chiều đầu vào sẽ chokết quả ra là vector y m chiều.Mạng được xây dựng từ ma trận trọng cố định W kích cỡ m xn

Quá trình xử lý phần tử tại bước thứ k tại tầng y

1 nếu y*i(k+1) >0 yi(k+1)= y(k) nếu y*i(k+1) =0

0 nếu y*i(k+1) <0

Hàm năng lượng được xác định như công thức ở trên

Luật Hebb (WĽXY p: số mẫu) có thể đựơc dùng để mã hoá q liên kết (Xi,Yi) trongBAM trong việc thể hiện vector dạng nhị phân (Binary representation) thành dạng lưỡngcực (bipolar representation) như thay 0 thành -1

Cho (Ai,Bi) là dạng lưỡng cực thì kết quả ma trận trọng số là:

Mã hoá liên kết sử dụng luật đặt trước Hebb( preceding Hebbian law) Các vectorchuyển sang dạng lưỡng cực

Vector chức năng Vector nhãn

3 1 1 1

3 3 3 3

3 3 3 3

1 1 1 1

Ví dụ trên có thể được xác định lại:

3 1 1 1

3 3 3 3

3 3 3 3

1 1 1 1

=[4 -4 4 -4 4]T =>(1 0 1 0 1)=A

Như vậy (A,L), (B,M), (C<N) là các điểm cố định cho BAM.Hơn nữa nếu cho vector(A+S) (thay đổi một chút vector A) vào BAM, thì nó vẫn hội tụ gần nhất tới lỗi nhãn L Vídụ

CHƯƠNG 2 ỨNG DỤNG MẠNG NƠRON TRONG ĐIỀU

2.1.2 P HÂN TÍCH BÀI TOÁN

- B 1:Cấu trúc điều khiển của PID

Hình 2.1.Mô hình của hệ thống điều chỉnh tham số PID sử dụng mạng nơron

B 2: Phân tích để xác định số nơron mỗi lớp

Với bài toán trên, chúng ta chọn mạng nơ ron 3 lớp, đầu vào lớp thứ nhất là tín hiệusai số, lớp thứ 2 là 5 nơ ron đăch trưng cho 5 tham số của đánh giá đặc tính của hệ thống và

3 đầu ra là 3 tham số dùng để điều chỉnh hệ các tham số của bộ PID (Hình 2.1)

Hệ thống thích nghi có một thời gian quá độ trước khi đạt tới trạng thái ổn định Hệphải tự động điều chỉnh cách thức thích nghi của mình trong thời gian đó

r (t)

y (t)

d (t)

e (t)

( )( )( )

Hình 2.2: Quá trình quá độ của hệ thống

trong đó: td(delay time): thời gian yêu cầu để đáp ứng đạt tới 50% giá trị đầu tiên

- tr(rise time): thời gian để đáp ứng đạt tới giá trị cuối cùng

- tp(peak time): thời gian để đáp ứng đạt tới đỉnh cao nhất đầu tiên

- Mp(maximum overshoot): biên độ cực đại của đáp ứng

- ts (settling time): thời gian để đáp ứng đạt tới và ổn định trong một khoảng xung

quanh giá trị kết thúcMạng nơron sử dụng trong bộ điều khiển thích nghi PID được thiết kế là mạng truyềnthẳng 3 lớp có cấu trúc như sau:

t (s)

Đ ỉnh

Hình 2.3: Cấu trúc mạng truyền thẳng 3 lớp

- Đầu vào của mạng nơron là tín hiệu chênh lệch sai số e(t) được nơron đầu vào ởtầng S1nhận và chuyển đến các nơron ở lớp ẩn S2, S1 chỉ đóng vai trò phân phốitín hiệu vào cho các nơron lớp ẩn nên không có trọng liên kết giữa các nơron lớp

S1và S2

- Trạng thái của 5 nơron lớp ẩn tương ứng với td, tr, tp, Mp, ts

- Nơron thứ j của lớp S2liên kết với nơron i của S3bởi trọng wij

- Đầu ra của các nơron lớp S3 chính là các giá trị KP, KI, KD đã được điều chỉnhphù hợp để điều khiển thiết bị

Thuật toán điều chỉnh trọng và hiệu chỉnh các tham số PID như sau:

- Trạng thái của các nơron lớp S2được xác định bởi :

S 1

- Sử dụng luật Hebb mở rộng để cập nhật trọng:

w ij = -p ij w ij + v 1ij x i + v 2ij x j p ij0 (2.3)

p ij , v 1ij , v 2ij là các hằng số

i = 1, …,5 j = 1 ,2 ,3

Có 2 bài toán đặt ra:

- Bài toán 1: Bài toán biến đổi A/D

- Bài toán 2: Bài toán định tuyến trong viễn thong (tức là bài toán xác định đườngtruyền sao cho ngắn ít chi phí nhất)

2.2.1 N HẮC LẠI MẠNG NƠRON H OPFIELD

Hopfield có 2 mạng

- Năm 1982: Mạng Hopfield rời rạc

- Năm 1984: Mạng Hopfield liên tục

- Năm 1986: Hopfield và Tank đã ứng dụng mạng rời rạc cho chuyển đổi A/D

- Năm 1987 : Hopfield cùng với một người nữa đã ứng dụng mạng Hopfield để giải

bài toán “Người bán hàng lưu động”

+) Với nội dung bài toán như sau: Cho trước một danh sách các thành phố vàkhoảng cách giữa chúng, tìm chu trình ngắn nhất thăm mỗi thành phố đúng mộtlần

Hình 2.4: Sơ đồ bài toán người bán hàng lưu động

+) Phương pháp giải bài toán

0)(,

1))((

t x nêú

t x nêú t

x g

i

i i

p i t x nêú t

y

p i t x nêú t

x g t

y

i i

i i

i

,0)(),

(

;,0)())

(()1(

2

N n

1

2 n

W21

Wn1

W12W

n2

W1nW2n