Điều khiển trượt dùng mạng nơron hàm cơ sở xuyên tâm

HÀM CƠ SỞ XUYÊN TÂM Luận văn trình bày phương pháp điều khiển trượt SMC – Sliding Mode Control, phương pháp nhận dạng hệ thống phi tuyến dùng mạng nơron hàm cơ sở xuyên tâm và ứng dụng đ

TRẦN QUANG THUẬN

ĐIỀU KHIỂN TRƯỢT DÙNG MẠNG

NƠRON HÀM CƠ SỞ XUYÊN TÂM

Chuyên ngành: ĐIỀU KHIỂN HỌC KỸ THUẬT

LUẬN VĂN THẠC SĨ

TP HỒ CHÍ MINH, năm 2006

-000 -

TRẦN QUANG THUẬN

ĐIỀU KHIỂN TRƯỢT DÙNG MẠNG NƠRON HÀM CƠ SỞ XUYÊN TÂM (SLIDING MODE CONTROL USING RADIAL BASIS FUNCTION NEURAL NETWORK)

Chuyên ngành: ĐIỀU KHIỂN HỌC KỸ THUẬT

LUẬN VĂN THẠC SĨ

TP HỒ CHÍ MINH, năm 2006

ĐẠI HỌC QUỐC GIA TP HỒ CHÍ MINH

Cán bộ hướng dẫn khoa học: GVC.TS Dương Hoài Nghĩa

Cán bộ chấm nhận xét 1: PGS.TS Nguyễn Mộng Hùng

Cán bộ chấm nhận xét 2: GVC.TS Nguyễn Đức Thành

Luận văn thạc sĩ được bảo vệ tại

HỘI ĐỒNG CHẤM BẢO VỆ LUẬN VĂN THẠC SĨ TRƯỜNG ĐẠI HỌC BÁCH KHOA, ngày 16 tháng 12 năm 2006

Có thể tham khảo luận văn tại :

THƯ VIỆN TRƯỜNG ĐẠI HỌC BÁCH KHOA THÀNH PHỐ HỒ CHÍ MINH THƯ VIỆN HỌC VIỆN CÔNG NGHỆ BƯU CHÍNH VIỄN THÔNG TP.HCM

NHIỆM VỤ LUẬN VĂN THẠC SĨ Họ và tên học viên: TRẦN QUANG THUẬN Phái : Nam

Ngày tháng năm sinh: 26 / 12 / 1976 Nơi sinh: Tây Ninh

Chuyên ngành: Điều khiển học kỹ thuật MSHV: 01504382

I TÊN ĐỀ TÀI :

ĐIỀU KHIỂN TRƯỢT DÙNG MẠNG NƠRON HÀM CƠ SỞ XUYÊN TÂM

II NHIỆM VỤ VÀ NỘI DUNG:

1 Tìm hiểu phương pháp điều khiển trượt

2 Tìm hiểu phương pháp nhận dạng hệ thống phi tuyến dùng mạng RBF

3 Thiết kế hệ thống điều khiển trượt dùng mạng RBF cho đối tượng con lắc đôi

4 Mô phỏng dùng Matlab / Simulink

III NGÀY GIAO NHIỆM VỤ: 6 / 2 / 2006

IV NGÀY HOÀN THÀNH NHIỆM VỤ: …… / … / 2006

V CÁN BỘ HƯỚNG DẪN: TS DƯƠNG HOÀI NGHĨA

CÁN BỘ HƯỚNG DẪN CHỦ NHIỆM NGÀNH CN BỘ MÔN

QL CHUYÊN NGÀNH

TS DƯƠNG HOÀI NGHĨA TS NGUYỄN ĐỨC THÀNH

Nội dung và đề cương luận án thạc sĩ đã được Hội đồng chuyên ngành thông qua

Ngày tháng năm 2006

TRƯỞNG PHÒNG ĐT – SĐH TRƯỞNG KHOA QL NGÀNH

Khiển Tự Động thuộc Khoa Điện – Điện tử, các bạn trong lớp Cao học Điều khiển học kỹ thuật (Tự động hóa) khóa 15 đã động viên, giúp đỡ tôi trong suốt

quá trình học tập và nghiên cứu

Cảm ơn ban giám đốc Học viện Công nghệ Bưu chính Viễn thông cùng tất

cả đồng nghiệp đã tạo điều kiện thuận lợi để cho cho tôi yên tâm học tập và công tác

Đặc biệt tôi xin cảm ơn thầy Tiến sĩ Dương Hoài Nghĩa (Phó Trưởng Khoa

Điện – Điện tử, trường Đại học Bách Khoa), giáo viên hướng dẫn, đã tận tình hướng dẫn, trao đổi, thảo luận, cung cấp cho tôi các thông tin, tài liệu liên quan

đến đề tài Cảm ơn Thạc sĩ Đồng Sĩ Thiên Châu (Nghiên cứu sinh trường Đại

học Bách Khoa), về những ý kiến đóng góp và những trao đổi bổ ích về đề tài, đặc biệt về kỹ thuật nhận dạng hệ thống phi tuyến dùng mạng nơron hàm cơ sở xuyên tâm

Tôi cũng xin gửi lời cảm ơn chân thành đến các tác giả của những tài liệu tham khảo được sử dụng trong luận văn

Cuối cùng xin được gửi lời cảm ơn sâu sắc đến những người thân trong gia đình đã động viên, cảm thông và giúp đỡ tôi rất nhiều trong cuộc sống để tôi an tâm học tập và hoàn thành luận văn này

Học viên Cao học

Trần Quang Thuận

HÀM CƠ SỞ XUYÊN TÂM

Luận văn trình bày phương pháp điều khiển trượt (SMC – Sliding Mode Control), phương pháp nhận dạng hệ thống phi tuyến dùng mạng nơron hàm cơ sở xuyên tâm và ứng dụng để thiết kế một hệ thống điều khiển trượt dùng mạng RBF cho đối tượng con lắc đôi (coupled double pendulum) Luận văn gồm có 5 chương:

Chương 1: TỔNG QUAN

Chương này trình bày:

- Lý do chọn đề tài, mục đích, đối tượng và phạm vi nghiên cứu, ý nghĩa khoa học và thực tiễn của đề tài nghiên cứu

- Phân tích, đánh giá các công trình nghiên cứu đã có của các tác giả trong và ngoài nước liên quan mật thiết đến đề tài, nêu những vấn đề còn tồn tại, chỉ ra những vấn đề mà đề tài cần tập trung nghiên cứu giải quyết

Chương 2: GIỚI THIỆU PHƯƠNG PHÁP ĐIỀU KHIỂN TRƯỢT

Phần này trình bày các cơ sở lý thuyết, lý luận về phương pháp điều khiển trượt như:

- Khái niệm về điều khiển trượt

- Nguyên lý điều khiển bám

- Nguyên lý điều khiển ổn định hóa

- Hiện tượng chattering

mô hình hệ phi tuyến dùng mạng nơron RBF bao gồm:

- Giới thiệu bài toán nhận dạng mô hình

- Cấu trúc của mô hình nhận dạng dùng mạng RBF

- Một số thuật toán nhận dạng hệ thống động dùng mạng RBF

Chương 4: GIỚI THIỆU ĐỐI TƯỢNG ĐIỀU KHIỂN

Giới thiệu cấu trúc vật lý của hệ thống con lắc đôi, trình bày ý nghĩa của bài toán và đưa ra mô hình toán học của đối tượng

Chương 5: ĐIỀU KHIỂN TRƯỢT DÙNG MẠNG NƠRON HÀM CƠ SỞ XUYÊN TÂM

Dựa trên các cơ sở lý thuyết đã nghiên cứu, tác giả đã thực hiện:

- Thiết kế bộ điều khiển trượt cho hệ thống con lắc đôi

- Nhận dạng mô hình đối tượng con lắc đôi dùng mạng RBF

- Thiết kế bộ điều khiển trượt cho hệ thống con lắc đôi dựa vào kết quả nhận dạng mô hình dùng mạng RBF

- Viết các chương trình mô phỏng trên MATLAB Nhận xét các kết quả thu được khi mô phỏng So sánh kết quả mô phỏng của hệ thống điều khiển trượt dùng mạng RBF với hệ thống điều khiển trượt lý tưởng Khảo sát ảnh hưởng của nhiễu và sự thay đổi thông số đối tượng đến đáp ứng của hệ thống

KẾT LUẬN VÀ KIẾN NGHỊ

Thesis: SLIDING MODE CONTROL USING RADIAL BASIS

FUNCTION NEURAL NETWORKS

This thesis deals with sliding mode control (SMC), nonlinear system identification

using radial basis function (RBF) neural networks, control of a coupled double pendulum using SMC with RBF model The thesis is divided into five chapters:

Chapter 1: Introduction

Chapter 2: Sliding mode control

This chapter presents:

- The principles of sliding mode control

- The structure of the RBF model

- Identification algorithm for RBF model

Chapter 5: Sliding mode control using radial basis function model

- Control of a coupled double pendulum using SMC

- Identification of the double pendulum using RBF model

- Control of a coupled double pendulum using SMC approach with RBF model Simulation results Comparison between the traditional SMC and the RBF SMC Robustness of the system against noise and parameter change

Comments and Remarks

Finally, some comments and remarks are carried out The perspectives of the thesis are also given

Chương 2: GIỚI THIỆU PHƯƠNG PHÁP ĐIỀU KHIỂN TRƯỢT 3

2.1 Khái niệm về điều khiển trượt 3 2.2 Điều khiển bám mục tiêu (tracking) 4

2.3 Điều khiển ổn định hóa (regulation) 6

Chương 3: NHẬN DẠNG HỆ THỐNG PHI TUYẾN DÙNG MẠNG RBF 8

3.2 Cấu trúc của mô hình nhận dạng dùng mạng RBF 9

3.3 Một số thuật toán nhận dạng mô hình dùng mạng RBF 14

3.3.1.1 Lựa chọn trọng tâm ngẫu nhiên theo vector ngõ vào 16

3.3.1.2 Thuật toán lựa chọn trọng tâm K-means 17

3.3.1.4 Nhận dạng có giám sát cấu trúc mạng hàm cơ sở xuyên tâm

3.3.1.5 Một số thuật toán xây dựng cấu trúc mạng thích nghi 21

3.3.2.3 Thuật toán Levenberg – Marquardt (LM) 26

3.3.2.5 Thuật toán trung bình bình phương tối thiểu LMS 27

3.3.2.6 Thuật toán bình phương tối thiểu (LS) và bình phương tối thiểu

3.3.3 Thuật toán xác định cấu trúc mạng, ước lượng các thông số

phi tuyến và trọng số tuyến tính cải tiến [8] 29

3.3.3.2 Thuật toán huấn luyện mạng 31 Chương 4: GIỚI THIỆU ĐỐI TƯỢNG ĐIỀU KHIỂN 34 Chương 5: ĐIỀU KHIỂN TRƯỢT DÙNG MẠNG RBF 37 5.1 Điều khiển trượt ổn định hóa dùng mạng RBF 37

1/ Trường hợp hệ thống danh định 42

2/ Tính bền vững đối với sự thay đổi của thông số đối tượng 45

5.1.2 Nhận dạng mô hình đối tượng con lắc đôi dùng mạng RBF 55

5.1.3.2 Mô phỏng 60

1/ Trường hợp hệ thống danh định 60

2/ Tính bền vững đối với sự thay đổi của thông số đối tượng 63

5.2 Điều khiển trượt bám mục tiêu dùng mạng RBF 73

5.2.1 Điều khiển trượt bám mục tiêu 73

5.2.3 Điều khiển trượt bám mục tiêu dùng mạng RBF 83

DANH MỤC CÁC CÔNG TRÌNH CÔNG BỐ CỦA TÁC GIẢ 91

Chương 1:

TỔNG QUAN

Khái niệm đầu tiên về phương pháp điều khiển trượt (SMC) được Emelyanov nêu ra cho hệ thống bậc hai vào những năm cuối thập niên 1960 [5] Kể từ đó, phương pháp này đã nhận được khá nhiều sự quan tâm của các nhà nghiên cứu bởi tính bền vững đối với nhiễu và đối với sự thay đổi của các thông số của mô hình

Tuy nhiên, việc thiết kế hệ thống điều khiển trượt đòi hỏi phải xác định các mô hình của đối tượng điều khiển Trong thực tế không phải lúc nào người thiết kế cũng có được mô hình chính xác của đối tượng Để giải quyết vấn đề này, tác giả đề nghị nhận dạng mô hình của đối tượng điều khiển dùng mạng nơron hàm

cơ sở xuyên tâm (Radial Basis Function – RBF) So với các phương pháp nhận dạng phi tuyến truyền thống, phương pháp này có ưu điểm là không cần xác định cấu trúc của mô hình Trên cơ sở sử dụng mô hình mạng neuron RBF, tác giả sẽ xây dựng các luật điều khiển trượt cho đối tượng động phi tuyến

Đối tượng điều khiển được chọn là hệ thống con lắc đôi (coupled double

pendulum system) bao gồm hai con lắc có khối lượng M1 và M2 liên kết với nhau bởi một lò xo Đây là một hệ thống động, đa biến, không ổn định Việc thiết kế hệ thống điều khiển con lắc đôi đã được nhiều tác giả nghiên cứu Có thể liệt kê như sau:

- M Ưnder Efe, Okyay Kaynak, … [1] thiết kế bộ điều khiển trượt online dùng mạng RBF

- Jeffrey T.Spooner và M Passino [2] thiết kế bộ điều khiển thích nghi dùng mạng RBF

- M.Ưnder Efe [3] trình bày bộ điều khiển trượt có cấu trúc biến đổi dựa vào việc điều chỉnh thông số

- Ahmed Belhani, Khaled Belarbi và Fateh Mehazem [4] thiết kế bộ điều khiển dùng phương pháp cuốn chiếu kết hợp với thuật toán di truyền Mục tiêu của luận văn là nghiên cứu áp dụng mạng RBF (Radial Basis Function Neural Networks) cho hệ thống điều khiển trượt bao gồm:

- Thiết kế hệ thống điều khiển trượt cho đối tượng là con lắc đôi

- Nhận dạng mô hình con lắc đôi dùng mạng RBF

- Thiết kế hệ thống điều khiển trượt dùng mạng RBF cho đối tượng là con lắc đôi

- Mô phỏng trên Matlab/Simulink so sánh các hệ thống điều khiển đã thiết kế trong những điều kiện làm việc khác nhau (tác động của nhiễu, thay đổi của thông số,…)

Chương 2:

GIỚI THIỆU PHƯƠNG PHÁP ĐIỀU KHIỂN TRƯỢT

2.1 Khái niệm về điều khiển trượt:

Xét hệ thống động phi tuyến biểu diễn bởi phương trình vi phân sau:

X = x x! x − là vectơ trạng thái,

u là tín hiệu điều khiển,

y là tín hiệu ra,

n là bậc của hệ thống

Các hàm f = f X( ), g=g X( ) là các hàm phi tuyến không biết trước, nhưng

biết trước các chặn trên và dưới của chúng fmin ≤ f ≤ fmax, 0<gmin ≤g≤gmax (2.2)

Ta sẽ khảo sát 2 bài toán điều khiển sau:

- Điều khiển ổn định hóa hệ thống (regulation): cần xác định luật điều khiển

hồi tiếp u = u(X) sao cho y → 0 khi t → ∞

- Điều khiển bám (tracking): xác định luật điều khiển hồi tiếp u = u(r, X) sao

cho tín hiệu ra y bám theo theo tín hiệu đặt r cho trước

Bộ điều khiển trượt điều khiển Đối tượng r

2.2 Điều khiển bám mục tiêu (tracking)

Gọi r là tín hiệu đặt Giả thiết r có đạo hàm theo t đến cấp n

d d d

Mục tiêu điều khiển là xác định luật điều khiển u sao cho E→0 khi t→∞

Định nghĩa hàm trượt:

a

n

có tất cả các nghiệm với phần thực âm

Trong không gian trạng thái n chiều, phương trình S = 0 xác định một mặt

cong được gọi là mặt trượt (sliding surface) Luật điều khiển u được xác định sao

cho S → 0 trong khoảng thời gian hữu hạn Trên mặt trượt S = 0, vì tất cả các

nghiệm của (2.5) đều có phần thực âm nên E→ 0 khi t→∞ Các quỹ đạo pha

của hệ thống được đưa về mặt trượt Bên trên mặt trượt, quỹ đạo pha bám theo

điểm Xd một cách tiệm cận

Để xác định luật điều khiển, đạo hàm (2.4), ta có:

S

S S

với k là hằng số dương Giá trị của k được chọn sao cho trong trường hợp xấu

nhất quan hệ SS!<0 khi S ≠ 0 vẫn luôn thỏa mãn Điều này làm S → 0 trong

khoảng thời gian hữu hạn

Luật điều khiển u (2.10) đưa quỹ đạo trạng thái của hệ thống về mặt trượt

và duy trì một cách bền vững trên mặt trượt này

2.3 Điều khiển ổn định hóa (regulation)

Xét hệ thống:

2.4 Hiện tượng chattering

Điều khiển trượt lý tưởng đòi hỏi luật điều khiển phải thay đổi tức thời ngay tại thời điểm quỹ đạo pha của hệ thống vừa chạm vào mặt trượt để đảm bảo khi

0

=

S thì S!=0 Trong thực tế điều này không thể thực hiện được do thời gian trễ hay quán tính của khâu chấp hành Kết quả là quỹ đạo pha tiếp tục vượt qua khỏi mặt trượt sau khi chạm vào nó và gây nên hiện tượng quỹ đạo pha dao động quanh mặt trượt (hiện tượng chattering) như hình 2.2

Hiện tượng chattering là không mong muốn vì nó gây ra sai số điều khiển, làm phát nóng mạch điện tử, mài mòn các bộ phận cơ khí, kích động các mode tần số cao không được mô hình hóa làm giảm chất lượng điều khiển hoặc mất ổn định

Người ta luôn tìm nhiều biện pháp khác nhau để làm giảm thiểu hoặc loại trừ hiện tượng này Một số cách để khắc phục hiện tượng chattering là sử dụng hàm saturation, hàm sigmoid hoặc hàm sat-PI [6] thay thế cho hàm sign; dùng logic mờ (fuzzy logic) để giảm hiện tượng chattering [9]

Hình 2.2 Hiện tượng chattering

(Resource: Slotine and Li 1991)

Chương 3:

NHẬN DẠNG HỆ THỐNG PHI TUYẾN DÙNG MẠNG RBF

3.1 Giới thiệu bài toán nhận dạng mô hình

Nhận dạng hệ thống là một trong những công việc đầu tiên phải thực hiện

khi giải quyết bài toán điều khiển Bài toán nhận dạng hệ thống động đặt ra là

xây dựng mô hình của hệ thống từ các dữ liệu vào ra thu thập được

Cho hệ thống mô tả bởi phương trình sau:

)(

k n k k

k

k y y y y u u u u

X =[ , −1, , − +1, , −1, , − +1] (3.2) Trong đó:

u k là tín hiệu vào của hệ thống

y k là tín hiệu ra của hệ thống

n , y n u là các số nguyên

Với tập dữ liệu vector ngõ vào, ra {(u k,y k),k= 1 ,N}, N là kích thước tập dữ

liệu, chúng ta phải tìm mô hình fˆ gồm những thông số chưa biết, và ước lượng

các thông số đó sao cho trung bình bình phương sai lệch giữa ngõ ra mô hình và

ngõ ra thật sự của hệ thống E là nhỏ nhất

min )

ˆ ( 1

j

j y y N

) (

ˆk 1 f X k

Trong đó yˆ k là tín hiệu ra của mô hình

Mô hình hệ thống sau khi nhận dạng được sử dụng để phân tích, mô phỏng,

chẩn đoán, giám sát, dự báo, hoặc dùng để thiết kế bộ điều khiển

3.2 Cấu trúc của mô hình nhận dạng dùng mạng RBF

Mạng nơron nhân tạo (Artifical Neural Network - ANN) là mạng của các

phần tử xử lý được kết nối với nhau dựa trên sự nghiên cứu về hệ thống thần

kinh sinh học

Mạng nơron RBF (RBFNN-Radial Basis Function Neural Network) được

Broomhead và Lowe sử dụng đầu tiên trong việc thiết kế mạng nơron vào năm

1988 [10]

Có nhiều phương pháp thiết kế mạng RBF [7] như:

+ Phương pháp chọn các tâm điểm một cách ngẫu nhiên

+ Phương pháp hỗn hợp đệ quy (recursive hybrid): tâm của hàm được tính

theo thuật toán học không có giám sát (recursive hybrid)

+ Phương pháp Gradient thống kê: tâm của các hàm và tất cả các thông số

khác được tính theo thuật toán học có giám sát (supervised learning)

Một số ứng dụng của mạng RBF:

+ Chẩn đoán sự cố trong hệ thống điện, trong máy biến thế [10]

+ Xử lý tín hiệu số (tín hiệu trải phổ, tín hiệu băng rộng) [7]

+ Điều khiển thích nghi bền vững hệ phi tuyến [2]

+ Nhận dạng hệ phi tuyến [8]

…

Cho tập N điểm khác nhau {X i∈ℜm|i=1,2, ,N} và một tập N số thực tương

ứng {Y i∈ℜp|i=1,2, ,N} Bài toán đưa ra là tìm một hàm m p

fˆ:ℜ →ℜ thỏa điều kiện:

Nhận dạng hệ thống dùng mạng hàm cơ sở xuyên tâm (RBF) là xác định cấu

trúc và các thông số của mạng để mạng xấp xỉ hàm fˆ nói trên Về mặt cấu trúc,

mạng RBF ban đầu thường gồm 3 lớp, thực hiện ánh xạ m p

fˆ:ℜ →ℜ Lớp đầu

tiên là lớp đầu vào Số neuron ở lớp này bằng kích thước m của vector đầu vào

X Lớp thứ hai là lớp ẩn, gồm có n nút ẩn Lớp đầu ra gồm p nút ra Mạng

neuron có cấu trúc như hình 3.1

Để đơn giản, giả sử p=1 Với mạng hàm cơ sở xuyên tâm (RBF), hàm fˆ có

f y

1)(

trong đó {ϕ( X −μi )|i= 1 , 2 , ,N} là tập các hàm cơ sở xuyên tâm và . là chuẩn

Euclidean Các hàm cơ sở xuyên tâm thường được chọn là:

- Hàm nghịch đảo đa thức bậc 2:

2 / 1 2

2 )(

1)

(

c r

.

.

.

2 )(

)(r = r +c

- Hàm tang hyperbolic:

))(tanh(

))((v n =a bv n

Năm 1988, Powell [11] đã chứng minh rằng chất lượng của mạng hàm cơ sở

xuyên tâm (RBF) không phụ thuộc nhiều vào loại hàm phi tuyến ϕ(.)

Kết quả huấn luyện của mạng hàm cơ sở xuyên tâm (RBF) sẽ phụ thuộc rất

nhiều vào cách chọn trọng tâm và bề rộng của các hàm cơ sở xuyên tâm ở lớp

ẩn (Bruzzone và Prieto 1999, Gomm và Yu 2000) Tập dữ liệu huấn luyện cũng

ảnh hưởng rất lớn đến quá trình huấn luyện mạng Càng nhiều dữ liệu huấn

luyện thì chất lượng huấn luyện mạng càng cao Mạng cần các hàm cơ sở xuyên

tâm sao cho bao phủ hết vùng dữ liệu Để có được kết quả này đòi hỏi phải tốn

nhiều công sức tính toán

Trải qua quá trình nghiên cứu, nhiều nhà nghiên cứu cũng cải tiến đưa ra

nhiều mô hình mạng hàm cơ sở xuyên tâm (RBF) khác nhau Nhiều nhà nghiên

cứu đã đưa ra mạng hàm cơ sở xuyên tâm (RBF) nhiều lớp ẩn, ngõ ra của lớp

này là ngõ vào của lớp kế tiếp Hoặc một số nhà nghiên cứu khác lại đưa ra mô

hình mạng hàm cơ sở xuyên tâm (RBF) hồi quy, trong đó các tín hiệu quá khứ

của lớp ngõ ra được xem như là các ngõ vào của mạng [11]

Tóm lại, các cấu trúc mạng hàm cơ sở xuyên tâm (RBF) khác nhau ở cách

chọn tập vector dữ liệu X (regressive vector) và cấu trúc neuron ở lớp ẩn Sau

đây sẽ liệt kê một số mô hình mạng tiêu biểu

3.2.1 Mô hình mạng đơn giản

Mô hình mạng đơn giản có dạng [12]:

y

1

2 1

T n k k n k k

k y y y u u u

X =[ , , − +1, , , − +1] (3.12) trong đó Xk là vectơ dữ liệu (regressive vector) và ϕ là hàm cơ sở xuyên tâm

dạng Gaussian

3.2.2 Mô hình RBF-ARX (AutoRegressive with eXogennous variable)

Mô hình ARX-RBF có dạng [13]:

q

q k k q k

y

1

, 1

, 0

1 ( ) ( ) ( )

Trong đó: Xk là vector dữ liệu

T n k k n k k

= Ω

Σ

−

− +

= Ω

Σ

−

− +

= Ω

n i

u i u i k u

i q u

q k q u

n i

y i y i k y

i q y

q k q

n i

i i k i

k

X X

X X

X X

1

2 ,

0 , ,

1

2 ,

0 , ,

1

0 2 0 0

0 0 0

exp )

(

exp )

(

exp )

(

μθ

θ

μθ

θ

μθ

θ

(3.15)

)dim(

,,

u p n m X

p = là các số nguyên

),,0

;, ,1(i n r u y

r

μ là các trọng tâm của mạng neuron RBF (còn gọi là

các điểm quy chiếu)

),,0

;, ,1(i n r u y

r

Σ là các hệ số co giãn mạng neuron RBF

), ,1(

0

m k

3.2.3 Mô hình mạng ART-RBF

Mạng này có cấu trúc như sau [14]:

∑

=

= n

i i ij

y

1

)(

j

j ji

1 1

))()(()()

Trong đó:

] ) [(

] ) [(

1

1 1

1 )

(

ji ji j ji ji

ji j

j ji

e e

x

S −β −μ +γ −β −μ −γ

+

− +

và

2

) (

) 1 ( )

ji j

C là phần bù để giữ ϕji( ) 0x j ≠ khi γji có giá trị nhỏ Các thông số βji

và A ji liên quan đến độ phẳng và độ sắc của hàm ϕji(x j) Giá trị của βji càng

cao, đỉnh của ϕji(x j) càng phẳng Nhìn chung, ϕji(x j) đạt được độ phẳng cần

thiết khi βji ≥4 Giá trị A ji càng cao, ϕji(x j) càng sắc và cuối cùng là thông số

ji

γ liên quan đến độ rộng của hàm ϕji(x j)

Theo tác giả [14], mô hình này có ưu điểm số neuron lớp ẩn nhỏ, tốc độ học

nhanh và sai số xấp xỉ thấp

Cấu trúc mạng neuron trong mục 3.2.2 và 3.2.3 mô tả rất hiệu quả các hệ

thống động phi tuyến và đã kết hợp được ưu điểm của mạng hàm cơ sở xuyên

tâm (RBF) và các mô hình AR Tuy nhiên các mạng này có cấu trúc khá phức

tạp, số thông số cần tính toán lớn Mục tiêu là xây dựng mạng có cấu trúc đơn

giản nhưng vẫn mô tả được hệ thống cần nhận dạng

3.3 Một số thuật toán nhận dạng mô hình dùng mạng RBF

Cho một hệ phi tuyến SISO có ngõ ra được mô tả như sau:

)(

1 k

k f X

T n k k n k k

k y y y u u u

X =[ , , − +1, , , − +1] (3.21) Trong đó y k là tín hiệu ngõ ra của hệ thống, u klà tín hiệu ngõ vào, n u và n y

là các số nguyên

Giả sử mạng hàm cơ sở xuyên tâm (RBF) được sử dụng để nhận dạng hệ

thống trong phương trình (3.20) Xét mạng hàm có cấu trúc như trong hình 3.1

với một ngõ ra Ngõ ra của mạng được xác định như sau:

i

X i k

i i k

e y

1

/ 1

X được định nghĩa như trong (3.21)

n là số neuron ở lớp ẩn

i

θ là các trọng số tuyến tính

i

i,Σ

μ là vector trọng tâm (các điểm tham chiếu) và hệ số co giãn của mạng

Phương trình (3.20) có thể viết lại như sau:

k T k k

θ = vector trọng số tuyến tính tại thời điểm k

Và:

T X

X k

n n k k

e e

là vector dữ liệu Vector dữ liệu này có thể được chuẩn hóa bằng cách chia vector Φk cho ∑

X k j j e

Tóm lại, việc xây dựng và huấn luyện một mạng neuron RBF thường bao gồm các bước:

- Xác định số neuron ở lớp ẩn

- Lựa chọn các trọng tâm và các hệ số co giãn cho các neuron ở lớp ẩn

- Ước lượng tất cả các trọng số tuyến tính giữa lớp ẩn và lớp ra

Một vấn đề quan trọng của mạng neuron là thời gian huấn luyện mạng Nhiều nhà nghiên cứu đã đề xuất cải tiến các thuật toán huấn luyện nhằm nâng cao tốc độ huấn luyện, khả năng khái quát hóa, và tối ưu hóa cấu trúc mạng Với tốc độ phát triển hiện nay của máy tính, thời gian huấn luyện không còn là vấn đề lớn nữa Vấn đề hiện nay cần được quan tâm nghiên cứu là tính hội tụ toàn cục, ổn định và thích nghi của thuật toán

Một vấn đề nữa cần được lưu ý trong quá trình huấn luyện mạng hàm cơ sở xuyên tâm (RBF) là các hàm tác động của các neuron lớp ẩn thường hiệu chỉnh chậm phù hợp với mục tiêu tối ưu phi tuyến trong khi các trọng số lớp ngõ ra hiệu chỉnh nhanh hơn thông qua các mục tiêu tối ưu tuyến tính vì thế có thể tối

ưu các lớp ẩn và lớp ngõ ra bằng các phương pháp khác nhau

Ta lần lượt khảo sát qua một số phương pháp tiêu biểu đã được nghiên cứu để nhận dạng mô hình RBF

3.3.1 Nhận dạng cấu trúc

Trong vài thập niên vừa qua, cấu trúc của mạng neuron thường cố định Trước khi huấn luyện mạng người thiết kế phải xác định trước cấu trúc của mạng Việc xác định cấu trúc mạng hoàn toàn phụ thuộc vào kinh nghiệm của người thiết kế hoặc dùng phương pháp thử sai Việc lựa chọn cấu trúc cố định thường dẫn đến vấn đề xác định mạng có kích thước quá lớn không cần thiết hay kích thước quá nhỏ Nếu chọn mạng có kích thước quá nhỏ thì mạng neuron không thể giải quyết được bài toán đã đặt ra còn nếu mạng có kích thước quá lớn thì dẫn đến thời gian huấn luyện lâu, tính toán phức tạp Việc xác định cấu trúc mạng tốn rất nhiều thời gian, công sức và làm giới hạn không gian tìm kiếm Nhiều nhà khoa học tìm nhiều cách để đưa ra thuật toán thay đổi cấu trúc mạng theo môi trường (mạng thích nghi) Tuy nhiên các thuật toán này vẫn còn rất phức tạp

Sau khi xác định số neuron ở lớp ẩn Việc xác định trọng tâm và các hệ số co giãn của neuron ở lớp ẩn cũng là vấn đề rất được quan tâm Có rất nhiều công trình đưa ra cách chọn trọng tâm để nâng cao chất lượng mạng Phần sau sẽ liệt kê một số phương pháp tiêu biểu

3.3.1.1 Lựa chọn trọng tâm ngẫu nhiên theo vector ngõ vào

Phương pháp này chọn các trọng tâm cố định bằng cách chọn lựa ngẫu nhiên giữa các mẫu ngõ vào Mạng neuron có số neuron ở lớp ẩn được xác định trước

Vị trí của các trọng tâm của các neuron đó được chọn ngẫu nhiên dựa vào tập dữ liệu huấn luyện Phương pháp này đòi hỏi tập dữ liệu huấn luyện phải chứa đầy đủ thông tin về hệ thống Giả sử hàm cơ sở xuyên tâm có dạng Gaussian có

trọng tâm tại μi được định nghĩa như sau:

( ) x i n

d

n x

Trong đó n là số trọng tâm và d max là khoảng cách lớn nhất giữa các trọng

tâm Khi này hệ số co giãn của các hàm cơ sở xuyên tâm được cố định ở:

n

d2max

=

Công thức này đảm bảo rằng từng hàm cơ sở xuyên tâm không quá nhọn mà

cũng không quá phẳng Chúng ta cũng có thể sử dụng phương pháp chỉnh từng

trọng tâm một sao cho bề rộng của chúng bao phủ hết vùng dữ liệu

3.3.1.2 Thuật toán lựa chọn trọng tâm K-means

Các trọng tâm của các neuron lớp ẩn thường được xác định bằng cách sử

dụng các thuật toán phân nhóm không giám sát như thuật toán K-means hay luật

học Kohonen [12, 13] Theo thuật toán của Kohonen, các trọng tâm được chọn

như sau [13]:

o Tạo ngẫu nhiên K vector (μ1,μ2, ,μK)

o Đối với mỗi vector ngõ vào X , xác định một vector trong K vector

vừa tạo được gần với vector ngõ vào X nhất, gọi là μwin

o Đặt Δμwin =ζ(X −μwin) Trong đó 0<ζ <1

o Thayμwin =μwin +Δμwin

o Thuật toán trên được lặp đi lặp lại cho toàn bộ N dữ liệu huấn

luyện (u i,y i);i= 1 ,N Các hệ số co giãn có giá trị cố định Các hệ số co giãn có thể xác định bằng

khoảng cách trung bình của các neuron lân cận hoặc tính bằng các phương pháp

thống kê thông qua ước lượng các ma trận hiệp phương sai cục bộ [15]

Việc xác định các trọng tâm theo mục 3.3.1.1 và 3.3.1.2 được gọi là luật học

trọng tâm không giám sát Các luật học này có ưu điểm là đơn giản Tuy nhiên

luật học không giám sát này tồn tại khuyết điểm rất lớn là không đảm bảo kết quả tìm được là kết quả tối ưu [12, 15] Do có những khuyết điểm như trên, trong những năm gần đây, các nhà nghiên cứu đã tìm các phương pháp để có thể thay đổi cấu trúc mạng neuron trong quá trình huấn luyện các thông số mạng từ đó xây dựng cấu trúc mạng tối ưu Một số luật học tiêu biểu như sau:

3.3.1.3 Lựa chọn trọng tâm giám sát

Theo phương pháp này, các trọng tâm của các hàm cơ sở xuyên tâm và các thông số khác của mạng được huấn luyện giám sát, nói cách khác, mạng hàm cơ sở xuyên tâm (RBF) sẽ có dạng tổng quát nhất Theo phương pháp này, các thông số sẽ được huấn luyện sao cho loại bỏ được sai số và thuật toán hay sử dụng nhất là thuật toán suy giảm độ dốc, thuật toán bình phương tối thiểu (LS) [13] hay thuật toán lan truyền ngược (BP)

Bước đầu tiên của quá trình học này là phải định nghĩa hàm đánh giá:

i i j i

j N

j

j j N

j

N y

y N

e N

E

1

2 1

2 2 1

2 1

) ˆ ( 1

Trong đó N là số mẫu huấn luyện sử dụng trong quá trình học

Yêu cầu là tìm các thông số θi, μi, Σi để tối thiểu hàm chi phí E Theo [11],

các thông số của mạng được ước lượng dựa vào bảng sau:

Bảng 3.1 Các công thức cập nhật trọng số tuyến tính, trọng tâm

và các hệ số co giãn trong mạng hàm cơ sở xuyên tâm (RBF)

1 Các trọng số tuyến tính (lớp ra):

k i

k k

i k i

E

, 1 , 1 , θ α θ

k k

i k i

E

, 2 , 1 , μ α μ

k k

i k i

E

, 3 , 1 , ∂ ∑

Thuật toán trên có những đặc điểm sau đây:

- Hàm đánh giá E là lồi đối với các thông số tuyến tính θi;i=1, ,n

nhưng không lồi đối với các trọng tâm μi;i=1, ,n và hệ số co giãn

n i

3.3.1.4 Nhận dạng có giám sát cấu trúc mạng hàm cơ sở xuyên tâm (RBF)

sử dụng các phương pháp lai

Như đã nêu ở trên, chúng ta có thể sử dụng phương pháp suy giảm độ dốc để nhận dạng các trọng tâm Tuy nhiên, vấn đề khó khăn bài toán tối ưu giải theo phương pháp suy giảm độ dốc có thể gặp phải cực tiểu cục bộ Để khắc phục nhược điểm này, các nhà nghiên cứu tìm cách kết hợp mạng neuron với một

phương pháp tìm kiếm tối ưu toàn cục khác Hai phương pháp thường sử dụng phổ biến nhất là mạng neuron với thuật toán di truyền [15] và mạng neuron mờ [14]

Thuật toán di truyền là phương pháp tìm kiếm cho lời giải là điểm tối ưu toàn cục Đây lại là khuyết điểm của mạng neuron RBF Do đó tác giả [15] đã đưa ra phương pháp xây dựng và huấn luyện mạng neuron theo giải thuật di truyền Thuật di truyền sẽ đạt được kết quả tốt trong việc tối ưu được số neuron ở lớp ẩn Các thông số cần tìm như hàm tác động, trọng tâm của neuron, hệ số co giãn, số neuron ở lớp ẩn, … sẽ được mã hóa qua các gen Mỗi nhiễm sắc thể sẽ chứa tất cả các gen trên và đưa vào quần thể để tìm lời giải cho bài toán nhận dạng Giải pháp di truyền là phương pháp rất mạnh để tìm lời giải cho các bài toán phi tuyến và cho kết quả tối ưu toàn cục Đồng thời để tăng khả năng thích nghi của mạng nên chọn hàm tác động là một trong các hàm đã mã hóa ở trên Tuy nhiên giải thuật di truyền có khuyết điểm là thuật toán di truyền tìm kiếm đến khu vực tối ưu rất nhanh nhưng khi đến được khu vực có chứa lời giải tiềm năng thì việc tìm kiếm đúng điểm tối ưu lại mất nhiều thời gian Việc tính toán thuật toán này cũng tương đối phức tạp

Một phương pháp khác tối ưu cấu trúc và thông số của mạng neuron khác thường được sử dụng là neuron mờ [14] Các hệ thống mờ và các mạng neuron là có nhiều điểm tương tự nhau Các hệ thống mờ và các hệ thống neuron đều là những phương pháp ước lượng không mô hình và đều là các hệ thống động Chúng đều có khả năng làm việc trong môi trường không chắc chắn, không chính xác và có nhiễu Hệ thống mờ và mạng neuron được chứng minh là đều có khả năng mô hình hóa các hệ thống phi tuyến phức tạp với độ chính xác tùy ý Tuy có nhiều điểm giống nhau như vậy nhưng chúng vẫn có những điểm khác nhau rất cơ bản Các hệ thống mờ là các bộ ước lượng có cấu trúc và các luật mờ

if-then là kiến thức chuyên gia Hệ thống mờ kết hợp tập mờ và các luật mờ để thực hiện bài toán phi tuyến phức tạp Trái lại, mạng neuron là mạng có khả năng huấn luyện Cấu trúc của mạng, các trọng số kết nối trong mạng đều có khả năng huấn luyện từ các dữ liệu vào ra Sau khi huấn luyện, mạng thực hiện tác vụ phi tuyến phức tạp Dựa trên những điểm khác nhau và giống nhau giữa mờ và neuron, mờ và neuron có thể kết hợp với nhau để giải quyết chung một bài toán và kết hợp các ưu điểm của mờ và neuron với nhau Có nghĩa là neuron làm cho mờ có khả năng học và mờ cung cấp mạng neuron cấu trúc với suy nghĩ mờ theo luật if – then Sự kết hợp giữa logic mờ và mạng neuron được sử dụng nhiều trong thiết kế các hệ thống phức tạp, được huấn luyện theo kinh nghiệm Sự kết hợp giữa mờ và neuron có thể theo các hướng như sau:

! Hệ thống mờ neuron (neural fuzzy system): sử dụng mạng neuron như công cụ trong các mô hình mờ

! Hệ thống neuron mờ (fuzzy neural system): mờ hóa các mô hình neuron

! Hệ thống lai neuron – mờ: kết hợp cả hai kỹ thuật neuron và mờ trong các hệ thống lai Mỗi kỹ thuật thực hiện chức năng riêng của mình trong cùng một hệ thống để đạt mục tiêu chung

3.3.1.5 Một số thuật toán xây dựng cấu trúc mạng thích nghi

Đối với các thuật toán xây dựng cấu trúc mạng ở trên, cấu trúc mạng là cố định Do đó, khi có nhiễu tác động vào hệ thống, cấu trúc đó có thể không phải là cấu trúc tối ưu nữa Vấn đề hiện nay đặt ra làm sao thiết kế mạng có cấu trúc thích nghi, thay đổi khi có nhiễu tác động vào hệ thống [16, 17, 18] Cho tới nay các nhà nghiên cứu giải quyết bài toán này theo nhiều cách khác nhau, tiêu biểu một số công trình như sau:

Tác giả [16] đưa ra phương pháp GMN (Growing Multi – expert Network) và thuật toán cải tiến từ phương pháp này gọi là mạng GMN tự điều hòa (SGMN) Theo phương pháp này, mạng có thể tự động đặt cấu hình lại trong suốt thời gian học bằng cách thêm vào hay bỏ đi các neuron lớp ẩn và thích nghi các thông số mạng Cơ chế học thông số và cấu trúc của phương pháp này không đảm bảo là tránh được điểm tối ưu cục bộ trong học thông số tuy nhiên nó vượt trội hơn hẳn các mạng neuron khác hoặc các mạng cố định Trong bài báo này, để loại bỏ các neuron ở lớp ẩn không cần thiết, tác giả gán cho mỗi neuron ở lớp ẩn một chỉ số và kiểm tra chỉ số neuron này Nếu chỉ số này lớn hơn một ngưỡng nào đó, neuron này sẽ bị loại tạm thời Sau khi loại bỏ neuron này, hệ số PI của mạng được tính lại, nếu sau khi loại bỏ neuron này, trung bình bình phương sai số giảm thì neuron đó được loại bỏ hoàn toàn, còn ngược lại thì neuron vừa được loại bỏ sẽ được khôi phục lại Hệ số PI được tính theo công thức:

t y

t y t y PI

1 1

2

) (

)) ( ) ( (

mạng) Khi đã đưa vào các biến như trên, việc xác định cấu trúc mạng và huấn

luyện các thông số mạng sẽ thực hiện dựa vào một trong những phương pháp đã

nêu ở trên Phương pháp này có ưu điểm sẽ làm tăng chất lượng của hệ thống

nhưng cấu trúc mạng lại đơn giản hơn

Trong công trình [17], tác giả trình bày một cấu trúc mới cho việc thiết kế

mạng hàm cơ sở xuyên tâm (RBF) Theo thuật toán này, lớp ngõ vào không chỉ

là các vector ngõ vào mạng mà còn được được tăng cường với vector ngõ ra

mong muốn Sau khi được tăng cường thì các trọng tâm của mạng được xác định

bằng thuật toán K-means Cách này sẽ cho kết quả tốt hơn với mạng hàm cơ sở

xuyên tâm (RBF) truyền thống

Các phương pháp trên thường có khuyết điểm là tính toán phức tạp Thông

thường, cấu trúc của mạng được xác định trước, sau đó hiệu chỉnh lại trong quá

trình hoạt động Điều này sẽ làm giảm độ phức tạp trong tính toán

3.3.2 Nhận dạng thông số

Sau khi đã có cấu trúc mạng, vấn đề đặt ra là xác định các trọng số tuyến

tính Các trọng số tuyến được xác định sao cho tối thiểu hóa hàm đánh giá:

min )

ˆ (

1 ) (

j

j y y N

Trọng số tuyến tính được xác định:

) ( min arg

θ

Tất cả các thuật toán cho mạng hàm cơ sở xuyên tâm RBF đều có điểm

chung là tất cả thuật toán đều theo phương pháp lặp Tất cả các thuật toán đều

bắt đầu từ các giá trị thông số ban đầu và làm giảm giá trị trung bình bình

phương sai số (MSE) bằng cách tăng θ dọc theo gradient âm của MSE

Luật cập nhật là:

) ˆ ( ˆ

ˆ

1 k k

k θ αF E θ

Ơû đây, F có thể thay đổi hướng tìm kiếm từ hướng gradient âm sang hướng

khác thích hợp hơn α là hằng số học Với cách chọn F và α khác nhau, ta sẽ có

những thuật toán huấn luyện mạng khác nhau F có thể chọn bằng nghịch đảo

ma trận Hessian H của hàm đánh giá trên

k N

i

k

N E

E N

E

1

2 1

Định nghĩa ma trận Hessian H như sau:

T k N

i

k E E

Để giải quyết trường hợp ma trận H là suy biến (bài toán không chỉnh (ill –

posed)), Tikhonov [11] đề xuất hàm đánh giá sau:

i j j

y E

1

2 2

1

ˆ 2

Trong đó P là toán tử vi phân tuyến tính P còn được gọi là bộ ổn định

(stabilizer) và δ là hằng số dương

Các thông số θi;i= 1 ,n được chọn sao cho hàm đánh giá trên có giá trị nhỏ

Nn

n n

N

ϕϕ

ϕ

ϕϕ

ϕ

ϕϕ

.

.

.

.

.

2 1

2

22 12

1

21 11

(3.36)

n n

n

ϕϕ

ϕ

ϕϕ

ϕ

ϕϕ

.

.

.

.

.

2 1

2

22 12

1

21 11

0

T

n], ,,[θ1 θ2 θ

T N

y y y

Trong đó:

Y là vector đáp ứng mong muốn, kích thước Nx1

θ là vector trọng số tuyến tính, kích thước nx1

Ψ là ma trận nội suy, kích thước Nxn

Khi giải bài toán tối thiểu hàm đánh giá trên, thông số của mạng neuron RBF

được tính dựa vào biểu thức:

T

TΨ − Ψ =Ψ+Ψ

Ψ+ ( )− 1 là ma trận giả đảo Moore – Penrose (Moore – Penrose pseudo

– inverse) của ma trận Ψ

Ta có các thuật toán nhận dạng thông số hay được sử dụng như sau:

3.3.2.1 Thuật toán steepest descent [14, 15, 16]

Theo thuật toán này, chọn F=I và α là số thay đổi theo thời gian, vector

thông số được cập nhật một cách đệ quy theo luật như sau:

) ˆ ( ˆ

ˆ

1 k k k

k θ α E θ

Thuật toán này thực hiện ít phép tính hơn hai thuật toán Newton và

Leverberg – Marquardt do không tính ma trận ngược Tuy nhiên phương pháp

này kém hiệu quả hơn hai phương pháp kia nhiều và chỉ đạt cực tiểu cục bộ Do

đó người ta vẫn thường sử dụng hai phương pháp kia dù phần tính toán có nặng

hơn

3.3.2.2 Thuật toán Gauss – Newton

Vector thông số được cập nhật một cách đệ quy theo luật như sau:

) ˆ ( ) ˆ ( ˆ

Đây là thuật toán nhanh và đáng tin cậy, có thể ứng dụng cho nhiều bài toán

khác nhau Tuy nhiên thuật toán này lại không áp dụng được cho các bài toán có

ma trận H là suy biến Trong trường hợp này, thuật toán sẽ hội tụ kém và suy

giảm chậm trong quá trình huấn luyện

3.3.2.3 Thuật toán Levenberg – Marquardt (LM)

Thuật toán Gauss – Newton chỉ áp dụng được trong trường hợp ma trận H là

ma trận không suy biến Gặp trường hợp ma trận H bị suy biến, người ta thường

sử dụng thuật toán LM để huấn luyện mạng

Thuật toán này có dạng:

) ˆ ( ) ) ˆ ( ( ˆ

Trong đó λ là hằng số bất kỳ và giảm dần theo mỗi bước lặp

3.3.2.4 Thuật toán lan truyền ngược (BP) [11, 19]

Thuật toán này tương tự như thuật toán steepest descent nhưng khác ở chỗ

hằng số học là hằng số cố định trong suốt quá trình huấn luyện Thuật toán này

thường được áp dụng nhiều trong huấn luyện giám sát do đơn giản và không

phức tạp Tuy nhiên thuật toán có những khuyết điểm như thường hội tụ đến

điểm cực tiểu cục bộ, đặc biệt là trong các bài toán phi tuyến Khi đã đến điểm

tối ưu cục bộ, thuật toán này không thể tìm đến điểm tối ưu toàn cục Ngoài ra,

tốc độ hội tụ của thuật toán tương đối chậm [19]

) ˆ ( ˆ

ˆ

1 k k

k θ α E θ

Thuật toán này thường được tăng cường thêm hệ số momentum η (0<η <1)

Khi này thuật toán là:

k k

k θ θ

3.3.2.5 Thuật toán trung bình bình phương tối thiểu LMS [11, 12, 13, 16]

Thuật toán LMS tương tự thuật toán steepest descent Sự khác nhau cơ bản

giữa thuật toán steepest descent và thuật toán LMS ở tính toán sai số Tại mỗi

bước lặp, thuật toán steepest descent sẽ tối thiểu sai số trung bình bình phương

E Hàm đánh giá này tính trung bình toàn bộ dữ liệu và do đó hướng tìm kiếm

được xác định chính xác Ngược lại, thuật toán LMS tối thiểu ước lượng tức thời

của hàm đánh giá Hướng tìm kiếm trong thuật toán này là ngẫu nhiên

3.3.2.6 Thuật toán bình phương tối thiểu (LS) và bình phương tối thiểu đệ

quy (RLS) [11, 12, 16]

Thuật toán RLS hội tụ nhanh hơn thuật toán LMS nhưng đòi hỏi quá trình

tính toán phức tạp hơn rất nhiều và có thể dẫn đến tình trạng không ổn định và

thường hội tụ về điểm tối ưu cục bộ

Thuật toán RLS được phát biểu như sau:

) ˆ (

ˆ ˆ

1 1

T k k k k k

1 1

1 1 1

+ + + −Φ Φ

ΦΦ

−

=

k k T k

k T k k k k k

F

F F

F

Thuật toán này được sử dụng phổ biến trong quá trình huấn luyện mạng Do

vẫn còn những khuyết điểm như trên, nhiều người đã tìm cách cải tiến thuật toán

này để hạn chế các khuyết điểm nó

Luật học RLS cải tiến:

k T k k k

k T k k k

k k k

k

k T k k k k k k

y

y e

e F

y F

θε

θ

ελ

κλ

θθ

θ

ˆ ˆ

1 1

) ˆ (

ˆ ˆ

1 1 1

1 2 1

2 1 1

1 1

1

+ + +

+ +

+

+ +

=

Φ

− Φ

+

Φ Φ

−

=

+ +

+ + +

1 1

1 1 1

1

k k T k

k T k k k k k

F

F F

F F

δ

Trong đó 0 <δ < 1 hệ số này được chọn để tránh mẫu số bằng 0 Hệ số này

được chọn thỏa mãn cả yêu cầu về thích nghi và bền vững Khi giảm hệ số này

đồng nghĩa với việc tăng độ thích nghi nhưng giảm độ bền vững

Từ các thuật toán nêu trên, ta thấy rằng mỗi thuật toán đều có hằng số học

Trong các thuật toán truyền thống, các hằng số học thường cố định Vấn đề chọn

các hằng số học này như thế nào để đảm bảo hội tụ nhanh nhưng lại không gặp

vấn đề quá hội tụ là bài toán đặt ra trong nhiều năm qua Đặc biệt khi có nhiễu

trong dữ liệu huấn luyện, việc xác định hằng số học này còn khó hơn nữa

Robbins và Monro (1951) đã giới thiệu xấp xỉ ngẫu nhiên (SA) như là phương

pháp tìm kiếm tổng quát khi các nhiễu đo lường hiện hữu Xấp xỉ ngẫu nhiên là

nền tảng của tối ưu ngẫu nhiên Trong vài ứng dụng, thống kê nhiễu thay đổi

theo thời gian Trong những trường hợp này, điểm cần tối ưu không cố định mà

thay đổi theo thời gian Mục tiêu đề ra là thuật toán phải bám xấp xỉ gần nhất

theo mục tiêu Các thuật toán như thế này được gọi là “thích nghi”, tự thay đổi

khi môi trường bên ngoài thay đổi Trong các phần trước, hệ số bước lặp (step –

size) là một hằng số Xác suất của nhiễu phụ thuộc vào một thông số có tốc độ

thay đổi chậm hơn thuật toán xấp xỉ ngẫu nhiên Từ đó, tác giả đưa ra thuật toán