Nghiên cứu Ứng dụng một số cấu trúc mạng nơron Để nhận dạng mô hình hộp Đen Đối tượng hai cánh nhiều Đầu nhiều Đầu ra phần 2

Góc đảo lái của TRMS khi dùng thuật toán giảm Gradient với 67 tốc độ học thích nghi để huấn luyện mạng Hình 4.53.. Góc chao dọc của TRMS khi dùng thuật toán giảm Gradient với 67 tốc độ h

Chủ nhiệm đề tài: Nguyễn Thị Mai Hương

THÁI NGUYÊN, NĂM 2021

CHUONG I TONG QUAN VE MANG NORON 11

CHUONG II CÁU TRÚC MẠNG NƠRON SỬ DỤNG TRONG KỸ 17

THUẬT MÔ HÌNH HÓA

2.2.2 Perceptron nhiéu lớp 19

2.2.3 Thiét ké tin hiéu kich thich 20

CHƯƠNG II SỬ DỤNG CÁU TRÚC MẠNG NƠRON ĐÈ NHẬN 25

DẠNG MÔ HÌNH HỘP ĐEN ĐÓI TƯỢNG TRMS

CHUONG IV MO PHONG VA THUC NGHIEM KIEM CHUNG 34

CHAT LƯỢNG CÁC PHƯƠNG PHÁP NHẬN DẠNG HOP TRANG

VÀ HỘP ĐEN MÔ HÌNH ĐÓI TƯỢNG TRMS

35

4.1.2 M6 hinh tua Newton

4.1.3 Kết quả mô phỏng trên Matlab Simulink 38

DANH MỤC HÌNH VẼ, BÁNG BIẾU

Hình 2.1 Một nơron với R đầu vào 18

Hình 2.2 Một sô hàm kích hoạt thường được sử dụng 19

Hình 2.3 Mạng MLP với R đầu vào và 3 lớp an 20

Hinh 2.4 Cau trac m6 hinh NNARX cua hé thong SISO 21

Hình 3.1 Câu trúc của mô hình động lực học theo phương ngang 1DOF dya 26 trên NN

Hình 3.2 Cấu trúc của mô hình 1DOF theo phương thắng đứng dựa trên NN 30

Hình 3.3 Cấu trúc của mô hình 2 DOF của TRMS dựa trên mang noron Bo

Hình 4.1 Hình 4.1 a, b Câu hình vật lý hệ TRMS 34

Hình 4.2 Sơ đồ khối IDOF của TRMS theo phương thắng đứng 39

Hình 4.3 Sơ đô khôi mô phỏng 2 DOE của TRMS 39

Hình 4.4 Cấu trúc bên trong của động cơ đuôi 40

Hình 4.5 Câu trúc bên trong của động cơ chính 40

Hình 4.6 Câu trúc bên trong hàm phi tuyên 2DOEF của TRMS 4I

Hình 4.7 Góc đảo lái của TRMS khi sử dụng tín hiệu đặt là sin 4I

Hình 4.8 Góc đảo lái của TRMS khi sử dụng tín hiệu đặt là bước nhảy 42

Hình 4.9 Góc đảo lái của TRMS khi sử dụng tín hiệu đặt là xung vuông 42

Hình 4.10 Góc chao dọc của TRMS khi sử dụng tín hiệu đặt là sin 42

Hình 4.11 Góc chao dọc của TRMS khi sử dụng tín hiệu đặt là bước nhảy 43

Hình 4.12 Góc chao dọc của TRMS khi sử dụng tín hiệu đặt là xung vuông 43

Hình 4.13 Góc đảo lái của TRMS khi sử dụng tín hiệu đặt là sin và có tác 43 động xen kênh bởi góc chao dọc

Hình 4.14 Góc chao dọc của TRMS khi sử dụng tín hiệu đặt là sin và có tác 44 động xen kênh bởi góc đảo lái

Hình 4.15 Góc đảo lái của TRMS khi sử dụng tín hiệu đặt là bước nhảy và 44

có tác động xen kênh bởi góc chao dọc Hình 4.16 Góc chao dọc của TRMS khi sử dụng tín hiệu đặt là bước nhảy 44

và có tác động xen kênh bởi góc đảo lái

Hình 4.17 Góc đảo lái của TRMS khi sử dụng tín hiệu đặt là xung vuông và 45

có tác động xen kênh bởi góc chao dọc Hình 4.18 Góc chao dọc của TRMS khi sử dụng tín hiệu đặt là xung vuông 45

và có tác động xen kênh bởi góc đảo lái

Hình 4.19 Sơ đồ khôi mô phỏng nhận dạng 2DOF TRMS 46

Hình 4.20 Góc đảo lái của TRMS khi dùng thuật toán LM để huấn luyện 47

mạng

Hình 4.21 Góc chao đọc của TRMS khi dùng thuật toán LM để huấn luyện 47

mạng

Hình 4.22 Góc đảo lái của TRMS khi dùng thuật toán LM đê kiêm tra mạng 48

Hình 4.23 Góc chao đọc của TRMS khi dùng thuật toán LM để kiểm tra 48

Hình 4.30 Góc đảo lái của TRMS khi dùng thuật toán BEFGS quasi-Newton 53

dé kiém tra mang Hình 4.31 Góc chao dọc của TRMS khi dùng thuật toán BFGS quasi- 53 Newton dé kiém tra mang

Hình 4.32 Góc đảo lái của TRMS khi dùng thuật toán Bayesian 54 regularisation để huấn luyện mang

Hình 4.33 Góc chao dọc của TRMS khi dùng thuật toán Bayesian 55

5

regularisation để huấn luyện mạng

Hình 4.38 Góc đảo lái của TRMS khi dùng thuật toán Conjugate gradient 58

with Powell-Beale restarts dé kiém tra mang

Hình 4.39 Góc chao đọc của TRMS khi dùng thuật toán Conjugate gradient 58 with Powell-Beale restarts để kiểm tra mạng

Hình 4.40 Góc đảo lái của TRMS khi dùng thuật toan Conjugate gradient 59)

with Fletcher-Reeves để huấn luyện mạng

Hình 4.41 Góc chao dọc của TRMS khi dùng thuật toán Conjugate gradient| 60

with Fletcher-Reeves để huấn luyện mạng Hình 4.42 Góc đảo lái của TRMS khi dùng thuật toán Conjugate gradient 60

with Fletcher-Reeves để kiểm tra mạng

Hình 4.43 Góc chao dọc của TRMS khi dùng thuật toán Conjugate gradient | 61 with Fletcher-Reeves để kiểm tra mạng

Hình 4.44 Góc đảo lái của TRMS khi dùng thuật toán Conjugafe gradient 62

with Polak-Ribiere updates để huấn luyện mạng Hình 4.45 Góc chao dọc của TRMS khi dùng thuật toán Conjugate gradient 62 with Polak-Ribiere updates để huấn luyện mạng

Hình 4.46 Góc đảo lái của TRMS khi dùng thuật toán Conjugafe gradient 63 with Polak-Ribiere updates để kiểm tra mạng

Hình 4.47 Góc chao dọc của TRMS khi dùng thuật toán Conjugate gradient | 63 with Polak-Ribiere updates để kiểm tra mạng

Hình 4.48 Góc đảo lái của TRMS khi dùng thuật toán Gradient descent đề 64 huấn luyện mạng

Hình 4.49 Góc chao dọc của TRMS khi dùng thuật toán Gradient descent 65

để huấn luyện mạng Hình 4.50 Góc đảo lái của TRMS khi dùng thuật toán Gradient descent đề 65 kiểm tra mạng

Hình 4.51 Góc chao dọc của TRMS khi dùng thuật toán Gradient descent 66

để kiểm tra mạng Hình 4.52 Góc đảo lái của TRMS khi dùng thuật toán giảm Gradient với 67 tốc độ học thích nghi để huấn luyện mạng

Hình 4.53 Góc chao dọc của TRMS khi dùng thuật toán giảm Gradient với 67 tốc độ học thích nghi để huấn luyện mạng

Hình 4.54 Góc đảo lái của TRMS khi dùng thuật toán giảm Gradient với 68 tốc độ học thích nghi để kiểm tra mạng

Hình 4.55 Góc chao dọc của TRMS khi dùng thuật toán giảm Gradient với 68

Hình 4.56 Góc đảo lái của TRMS khi dùng thuật toán Gradient_ descent 69

Hình 4.57 Góc chao doc cia TRMS khi ding thuat toan Gradient descent 70

with momentum để huấn luyện mạng

Hình 4.58 Góc đảo lái của TRMS khi dùng thuật toán Gradient descent 70

with momentum để kiểm tra mạng

Hình 4.59 Góc chao dọc của TRMS khi dùng thuật toán Gradient descent ay

with momentum dé kiém tra mang

Hình 4.60 Góc đảo lái của TRMS khi dùng thuật toán One step secant dé 72

huấn luyện mạng

Hình 4.61 Góc chao dọc của TRMS khi dùng thuật toán One step secant dé a2

huấn luyện mang

Hình 4.62 Góc đảo lái của TRMS khi dùng thuật toán One s(ep secant để 73

Hình 4.65 Góc chao dọc của TRMS khi dùng thuật toán Resilient dé 5

huấn luyện mang

Hình 4.66 Góc đảo lái của TRMS khi dùng thuật toán Resilient để 75

kiểm tra mạng

Hình 4.67 Góc chao dọc của TRMS khi dùng thuật toán Resilient dé 76

kiểm tra mạng

Hình 4.68 Góc đảo lái của TRMS khi dùng thuật toán Scaled conjugate Td

gradient để huấn luyện mạng

Hình 4.69 Góc chao dọc của TRMS khi dùng thuật toán Scaled conjugate Wl

radient để huấn luyện mạng

Hình 4.70 Góc đảo lái của TRMS khi dùng thuật toán Scaled conjugate 78

gradient dé kiém tra mang

Hình 4.71 Góc chao dọc của TRMS khi dùng thuật toán Scaled conjugafte 78

gradient dé kiém tra mang

Bảng 3.1 So sánh các thuật toán huân luyện 28

Bảng 3.2 So sánh sai lệch của các thuật toán đào tạo 30

Bảng 3.3 Sai lệch bình phương trung bình của kết qua đào tạo và kiểm tra 32

của góc đảo lái và góc chao dọc

DANH MUC CAC Ki HIEU TU NGU VIET TAT

ANNs Artificial Neural Networks

BFGS Broyden Fletcher Goldfarb Shanno

BR Bayesian regularisation

CGB Conjugate gradient back-propagation with Powell-Beale restart

CGF Conjugate gradient back-propagation with Fletcher-Reeves

CGP Conjugate gradient back-propagation with Polak-Ribiere updates

GD Gradient (steepest) descent

GDA Gradient descent with adaptive learning rate

GDM Gradient descent with momentum

GDX Gradient descent with adaptive learning rate and momentum

MSE Mean Squared Error

MIMO Multi input multi output

MLP Multi Layer Perceptron

NNFIR Neural network finite impulse response model structure

NNARX Neural network auto regressive external input model structure

NNARMAX | Neural network auto regressive moving average with external

input model structure NNOE Neural network output error model structure

NNSSIF Neural network state-space innovation form

RB Resilient back-propagation

OSS One step secant

SCG Scaled conjugate gradient

TRƯỜNG ĐẠI HỌC

KỸ THUẬT CÔNG NGHIỆP

Đơn vị: Khoa Công nghệ Cơ điện và điện tử

THONG TIN KET QUA NGHIEN CUU

1 Thông tin chung:

- Tên đề tài: Nghiên cứu, ứng dụng một số cầu trúc mạng noron để nhận dạng

mô hình hộp đen đối tượng hai cánh quạt nhiều đầu vào nhiều đầu ra (Twin

Rotor MIMO system -TRMS)

- Mã số: T2020-B72

- Chủ nhiệm đề tài: Nguyễn Thị Mai Hương

- Cộng tác viên: Mai Trung Thái

- Cơ quan chủ trì: Trường Đại học Kỹ thuật công ngiệp

- Thời gian thực hiện: 12 tháng (Từ 01 tháng 10 năm 2020 đến tháng 30 tháng 9

nam 2021)

2 Mục tiêu:

Nghiên cứu một số cầu trúc mạng noron trong kỹ thuật mô hình hóa, ứng dụng một

số cấu trúc mạng noron để nhận đạng mô hình hộp đen đối tượng hai cánh quạt nhiều

đầu vào, nhiều đầu ra So sánh độ chính xác của mô hình hộp đen với mô hình hộp

trắng và mô hình thực nghiệm

3 Kết quả nghiên cứu:

- Đã đăng 02 bài báo quốc tế có chí số ISSN và báo cáo Seminar tại Khoa Công nghệ

cơ Điện và Điện tử;

- Đã hoàn thành đầy đủ thuyết minh

4 Sản phẩm:

- 02 bài báo quốc tế có chi sé ISSN;

- Thuyết minh của đề tài

5 Hiệu quả:

Về lý thuyết:

Kết quả nghiên cứu được công bố trong 2 bài báo quốc tế có chỉ số ISSN và

thuyết minh của đề tài là tài liệu tham khảo hữu ích cho sinh viên, học viên cao học và

các NCS quan tâm nghiên cứu lĩnh vực này

i]

PGS.TS Vũ Ngọc Pi 4 Nguyễn Thị Mai Hương

Phan I THUYET MINH DE TAI

MO DAU

1 Tính cấp thiết của đề tài

Mạng noron nhân tạo có nhiều ứng dụng trong các lĩnh vực kỹ thuật cũng như

trong đời sống Có thể kể đến là: Thứ nhất, nó có khả năng nhận dạng ảnh, vật thể,

tiếng nói, xử lý thông tin có nhiễu, không đầy đủ, không chắc chắn, mờ Thứ hai, nó có

khả năng xử lý song song với tốc độ xử lý nhanh, được dùng làm công cụ trong khoa

học tính toán, nhận dạng điều khiển tự động với tốc độ xử lý nhanh và tính toán theo

thời gian thực Thứ ba, mạng noron có khả năng học cách thích nghỉ, nó sẽ thích nghỉ với với quá trình tự chỉnh trong điều chính tự động Thứ tư, nó có khả năng tổng quát

hóa nên có thể áp dụng để dự báo lỗi hệ thống tránh được những sự cố đáng tiếc mà

các hệ thống điều khiển có thể gây ra Thứ năm, mạng noron có thể kết hợp cả nhận

dạng và điều khiển đối tượng ví thế nó có thể được thực hiện như một bộ điều khiển thích nghi Thời kì công nghệ 4.0, việc sử dụng mạng nơron nhân tạo để nhận dạng

ảnh, vật thể, tiếng nói, xử lý thông tin có nhiễu, không đầy đủ, không chắc chắn, mờ

hay dùng mạng nơron để xử lý song song với tốc độ xử lý nhanh, làm công cụ trong

khoa học tính toán, nhận dạng điều khiển tự động với tốc độ xử lý nhanh và tính toán

theo thời gian thực hoặc có thể sử dụng nó để học cách thích nghỉ trong điều chỉnh tự động, dự báo lỗi, khá phô biến Các kết quả nghiên cứu trên thế giới cũng như trong

nước về lĩnh vực này được công bố trong nhiều công trình như [6], [7], [37], [38],

[39], [40], [41], [42], [43]

Kỹ thuật mô hình hóa dựa trên mạng nơron đã, đang được ứng dụng và phát triển mạnh mẽ trong những năm gần đây Kỹ thuật này được ứng dụng trong nhiều lĩnh vực như: nhận dạng chữ viết, nhận dạng giọng nói, nhận dạng vân tay, nhận dạng ảnh

Khi mở rộng sang nhận dạng hộp đen của các hệ động lực học phi tuyến như TRMS thì vấn đề lựa chọn cấu trúc mô hình ngày càng khó khăn Một số các mô hình dựa trên mạng noron phổ biến bao gồm: cấu trúc mô hình đáp ứng xung hữu hạn mạng noron (neural network finite impulse response model structure - NNFIR), cấu trúc mô hình đầu vào bên ngoài tự động hồi quy mạng noron (neural network auto regressive external input model structure - NNARX), mạng noron tự động hồi quy trung bình cộng với cấu trúc mô hình dau vao bén ngoai (neural network auto regressive moving average with external input model structure - NNARMAX), cấu trúc mô hình sai lệch đầu ra mạng noron (neural network output error model structure - NNOE), dạng déi méi khéng gian trang thai mang noron (neural network state-space innovation form - NNSSIF)

Trong phạm vi đề tài này tác giả nghiên cứu, ứng dụng một số cấu trúc mạng noron

để nhận dạng hộp đen cho hệ thống động lực học phi tuyến Twin Rotor MIMO System

(TRM8S), so sánh độ chính xác của mô hình hộp đen với mô hình hộp trắng được xây

dựng theo phương pháp Newton và mô hình thực nghiệm của đối tượng là cần thiết

Tuy nhiên, khi mở rộng sang nhận dạng hộp đen của các hệ động lực học phi tuyến

nhiều vào, nhiều ra nhu TRMS thi vấn đề lựa chọn cấu trúc mô hình ngày càng khó

khăn, một số công trình công bố trong những năm gần đây như [7], [38], [39], [40],

[41], [42] [43]

2 Mục tiêu của đề tài

Nghiên cứu một số cầu trúc mạng noron trong kỹ thuật mô hình hóa, ứng dụng một

số cấu trúc mạng noron để nhận dạng mô hình hộp đen đối tượng hai cánh quạt nhiều

đầu vào, nhiều đầu ra So sánh độ chính xác của mô hình hộp đen với mô hình hộp

trắng và mô hình thực nghiệm

3 Cách tiếp cận, phương pháp nghiên cứu

13.1 Cách tiếp cận

- Tìm hiểu một số cấu trúc mạng nơron;

- Tìm hiểu các kết quả nghiên cứu trong và ngoài nước thuộc lĩnh vực nghiên cứu của

đề tài

13.2 Phương pháp nghiên cứu

- Nghiên cứu lý thuyết;

- Kiểm chứng lý thuyết thông qua mô phỏng bang phan mém Matlab va Simulink trén

_ đối tượng cụ thé;

- So sánh kết quả mô hình nghiên cứu với mô hình thực nghiệm

4 Kết quá đạt được

Chủ nhiệm dé tai và cộng tác viên đã đạt được một số kết quả sau khi thực hiện đề tài:

- Nghiên cứu tổng quan về mạng noron;

- Một số cấu trúc mạng noron được sử dụng trong kỹ thuật mô hình hóa;

- Ứng dụng một số cấu trúc mạng noron để nhận dạng mô hình hộp đen một bậc tự do

theo phương ngang, một bậc tự do theo phương dọc và hai bậc tự do cho đối tượng

TRMS (Bai báo số 1);

- Str dung phan mém Matlab va Simulink để mô phỏng kết qua;

- So sánh độ chính xác của mô hình hộp đen với mô hình hộp trắng và mô hình thực

nghiệm của đối tượng TRMS (Bài báo số 2)

- Báo cáo Seeminar kết quả nghiên cứu 02 bài báo trước Khoa Công nghệ Cơ Điện và

Điện tử

10

PHẢN II NỘI DUNG

CHƯƠNG I TỎNG QUAN VẺ MẠNG NƠRON

Mạng nơron nhân tạo là việc dùng kỹ thuật tái tạo lại một vài chức năng tương tự

như bộ não con người Trong kỹ thuật, mang noron thực hiện được nhiều bài toán như

nhận dạng, điều khiến, nhận mâu, giải quyết tốt những bài toán phi tuyến, tối ưu,

Từ nghiên cứu về noron sinh vật người ta đưa ra được mô hình của một r noron

Trong mô hình trên noron có ===- === a;

Xx —— Wir

Quan hệ giữa đầu ra và các đầu

vào của nơron thứ ¡ được biểu 4 Hes

yi = ai(qi) = a(fi(x)) 1) Hình 1.1 Mô hinh noron nhân tạo thit i

Trong đó: x- véc tơ biến đầu vào;

a¡ - hàm chuyền đổi (hàm kích hoạt);

— biến đầu ra của noron thứ i;

R

q; =f,(p)= > Was =OF- tong trong SỐ;

jel

wụ - trọng số liên kết giữa đầu vào thứ j với nơron thứ i

0; - ngưỡng kích thích hay ức chế của nơron thứ ¡

Hàm tích hợp ñi thường được dùng là:

Hàm kích hoạt a; cũng có thể sử dụng một số hàm cơ bản sau:

Hàm chuyển dỗi tuyến tính (Liner function)

II

Hàm dấu (hàm ngưỡng: threshold function)

Mang noron (neural network) duge hình

thành từ việc liên kết các nơron theo những 3 os

nguyên tắc khác nhau Việc phân loại chúng X Yo

Ngoài ra việc kết hợp giữa số lớp có trong mạng, hướng kết nối tín hiệu trong

mang, tinh chat làm việc của các noron trong mạng mà ta có các mạng khác nhau:

Mạng noron truyền thắng một lớp: là mạng mà các nơron tạo thành một lớp và đường truyền tín hiệu theo một hướng Số nơron trong một lớp chính là số đầu ra của lớp đó Quan hệ vào — ra của mạng có dạng:

Trong đó: y=l[yi yo Vol là vectơ tín hiệu ra

X=| i2 xị[f là vectơ tín hiệu vào

12

đầu ra của lớp này được nối

với đầu vào của lớp ngay sau nó Lớp đầu tiên là lớp vào (input layer) có R đầu vào và S¡ đầu ra Lớp cuối cùng là lớp ra (output layer)

cả các tín hiệu vào của lớp đó và các nơron trong cùng lớp có cấu trúc giống nhau

Mạng noron phan hồi (feedback network): X

(recurrent network) là loại mạng mà tín hiệu ra của Ys

XR

nơron được đưa ngược trở về làm tín hiệu đầu vào Hình 1.4 Nút tự truyền

cho noron lớp trước nó hoặc cùng lớp đó tạo thành các vòng kín

Hình 1.5 Mạng truyền ngược Í lớp

ngược

Hình 1.6 Mạng truyền ngược nhiều lớp

13

Học của mạng nơron: việc học của mạng nơron là quá trình đi xác định các ma

trận trọng số của các nơron và xác định được câu trúc đúng của mạng đê giải quyết

được những yêu mà bài toán đề ra Như vậy mạng noron cân học:

learning): La xác định câu trúc của

mang noron bao gồm số lớp, số ẽ Thiết bị phát tín 4

noron frong mỗi lớp cũng như sô hiệu sai lệch

liên kết giữa các noron Hình 1.7 Mô hình học có giám sát

Học tham số (Parameter

learning): Là xác định các trọng số liên kết ứng với mạng nơron đã cho

Có ba phương pháp học:

Học có giám sát H (Supervised learning): học có tín hiệu chỉ đạo là phương pháp

học có thầy để đưa ra các yêu cầu mà đầu ra của mạng cần đạt được Khi đó sai lệch

giữa đầu ra của mạng và đầu ra yêu cầu thể hiện kết quả học, quá trình học thành công

hiệu giám sát là những thông tin mong muôn

d được cấp từ bên ngoài mà đầu ra của mạng Ề Thiết bị phát tín

Học củng cé (Reinforcement learning): Hình 1.8 Mô hình học củng cố

Học không giám sát (Unsupervised Hình 1.9 Mô hình học không giám sát

learning): Quá trình học không có bât kỳ một

thông tin nào từ bên ngoài Mạng phải tự xác định các cặp dữ liệu mẫu, các tính chất,

các mối quan hệ để tạo được ma trận trọng số liên kết mong muốn Mạng với cơ chế

học không giám sát được gọi là mạng tự tổ chức (Self - Organizing)

Theo một số ứng dụng, mạng nơron nhân tạo có khả năng nhận dạng (ảnh, vật

thể, tiếng nói) xử lý thông tin có nhiễu, không đầy đủ, không chắc chắn, mờ

Mạng nơron có khả năng xử lý song song với tốc độ xử lý nhanh do vậy nó là

công cụ mới đầy hứa hẹn trong khoa học tính toán, nhận dạng, điều khiển tự động

cũng như nhiều lĩnh vực khác Các hệ sử dụng nó có thê tăng tốc độ xử lý và tính toán

theo thời gian thực

14

Mạng nơron nhân tạo có khả năng học thích nghỉ, nó sẽ thích ứng với quá trình

tự chỉnh trong quá trình điều khiển tự động

Mạng nơron có khả năng tổng quát hoá do đó có thể áp dụng để dự báo lỗi hệ

thống tránh được những sự cố đáng tiếc mà các hệ thống điều khiển có thể gây ra

Mạng noron có thể phối hợp cả nhận dạng và điều khiển đối tượng do đó thực

hiện như một bộ điều khiến thích nghỉ

Việc tự nghiên cứu để đưa mạng nơron nhân tạo áp dụng vào quá trình điều

khiển tự động đã được nhiều nhà khoa học thực hiện và đã đưa ra được nhiều kết quả

quan trọng

Theo Hunt (1992) thì mạng Hopfield có thể dùng làm bộ điều khiển cho hệ động

học tuyến tính Trong trường hợp này người ta dùng các phần tử của cấu tric noron

thay đổi được để xây dựng bộ điều khiển Bộ điều khiển đưa ra chứa đựng sự thích

nghỉ và đạt độ bền tốt

Theo Chu thì mạng Hopfield có thể dùng làm một phần của cơ chế thích nghỉ

trong nhận dạng hệ tuyến tính Trong trường hợp này, mạng tham gia vào vòng thích

nghi và được dùng để tối thiểu tốc độ sai số bình phương tức thời của tất cả các trạng

thái Các đầu ra của mạng được dùng để thể hiện các tham số của mô hình đối tượng

dạng tuyến tính có tham số thay đổi theo thời gian hoặc tham số bất biến

Chang, Zhang và Sami cho biết mạng Hopfield cũng có thể kết hợp với mạng

Gabor để nhận dạng hệ phi tuyến Trong trường hợp này, mạng bao gồm ba lớp Lớp

thứ nhất gọi là bộ tạo hàm sử dụng mạng Gabor để tạo hàm phi tuyến cơ sở Gabor

Lớp thứ hai dùng mạng Hopfield để tối ưu các trọng số liên kết chưa biết Lớp thứ ba

được gọi là mạng điều khiển để tính sai số ước lượng và để điều khiển lớp thứ nhất và

thứ hai Hệ không yêu cầu phải ổn định tiệm cận mà chỉ cần các đầu vào - ra giới hạn

và ôn định đối với các kết quả được coi là hợp lý theo miền vào - ra lớn

Mạng phản hồi Hopfield được dùng để tống hợp hệ điều khiển tuyến tính có phản hồi

thông qua đặt cực Trong trường hợp này mạng noron có khả năng giải những bài toán qui

hoạch lồi Để thu được ma trận phản hồi trạng thái thông qua đặt điểm cực, người ta dùng

mạng noron phản hồi kiểu Hopfield Phương pháp này có ưu điểm so với các phương pháp

truyền thống khác là tống hợp on - line va tự chỉnh thông qua mạng nơron phản hồi và có

khả năng tự động cả đặt điểm cực và tôi thiêu chuân mà không cân huân luyện trước

15

Abiev cũng đã nêu sơ đồ chỉnh định trực tiếp các hề số của bộ điều khiển PID với mạng

nơron ba lớp truyền thắng Mạng lúc đó được mô tả theo các luật mờ if then

Allon Gues cũng nêu một phương pháp tuyến tính hoá quanh điểm cân bằng của mạng Hopfeld liên tục nhằm xác định hệ số của mô hình bằng cách rút ra và giải

n.(nt+1) phuong trinh va bất phương trình (z là số phần tử nơron) Phương pháp

Liapunov sử dụng để xác định nghiệm ôn định tiệm cận cho mạng Các vùng ôn định của mạng dùng làm các vùng điều chỉnh tham số của bộ điều khiển PD Đây là phương

pháp tổng hợp mạng kết hợp với tiêu chuẩn én định Liapunov để xác định các trọng số

liên kết của mạng liên tục cho từng phần tử nơron, mỗi nơron chỉnh một tham số của

bộ điều khiển PD

Mang noron RBF với khả năng ứng dụng trong điều khiển thích nghỉ hệ phi tuyến có cấu trúc thay đổi Trên cơ sở phân tích ưu nhược điểm của mạng RBF 1a kha năng sinh và diệt nơron

Mạng truyền thắng nhiều lớp với khả năng xấp xỉ các hàm phi tuyến bất kỳ với

độ chính xác tuỳ ý do đó ngày càng được ứng dụng trong các bài toán điều khiến

Mạng nơron đã và đang được ứng dụng vào các lĩnh vực truyền thông như nhận dạng kênh, mô hình hoá kênh, mã hoá và giải mã, hiệu chỉnh kênh

Có thể sử dụng mạng nơron dé làm bộ chuyển đổi tương tự - số cũng như dùng mạng nơron để tuyến tinh hoá các đặc tính phi tuyến ị

Trong y học mạng nơron được ứng dụng trong xử lý điện não đồ việc này giúp cho quá trình chuẩn đoán bệnh được để dàng và chính xác hơn

Trong lĩnh vực xử lý hình ảnh, chữ viết, tiếng nói mạng nơron cũng được sử dụng để nhận dạng cũng như xử lý ký tự, chữ viết, tiếng nói, hình ảnh

Đặc biệt trong lĩnh vực điều khiển mạng noron cũng đang được nghiên cứu và ứng

dụng để nhận dạng và điều khiển các hệ truyền động

16

CHUONG II

CAU TRUC MANG NORON SU DUNG TRONG KY THUAT MO HiNH HOA

2.1 Giới thiệu Mạng nơron nhân tao (Artificial Neural Networks - ANNs) nhằm mục đích bắt chước hành vi của các mạng noron ( Neural Networks — NN) sinh học Trên thực tế, có nhiều loại mạng nơron và ứng dụng của chúng cũng khác nhau Như vậy, khó có thể tìm ra một định nghĩa riêng về mạng nơron, nhưng đa số mạng noron có thể được định nghĩa: "Hệ thống các phần tử xử lý đơn giản, các noron được kết nối thành mạng bởi

một tập hợp trọng số (khớp thần kinh)" [12] Hoặc với tên khác như hệ thống xử lý

phân tán song song (PDP) [13] Trong những năm qua, một số mô hình mạng nơron nhân tạo và các thuật toán học tập liên kết với mạng phát triển khá mạnh mẽ Về cấu trúc, có mạng không lặp lại [14] và mạng lặp lại [15] Trên cơ sở chức năng của mạng,

có các mạng bộ nhớ kết hợp [16], các mạng nơron chuyển tiếp [14], các mạng nơron

tự tổ chức [17], các mạng lý thuyết cộng hưởng thích ứng [18], [19], và các mạng tối

ưu hóa [20] Các mạng này cần được luyện bằng cách sử dụng các thuật toán học tập thích hợp cho một ứng dụng cụ thể Thuật toán học là một thủ tục tối ưu hóa trong đó trọng số tiếp hợp giữa các nơ-ron được tìm thấy để có được ánh xạ tối ưu giữa một tập hợp các đầu vào và các đầu ra mong muốn tương ứng Trong nghiên cứu này, các mang (Multi Layer Perceptron — MLP) da duge chon dễ lập mô hình với nhiều phương pháp luyện khác nhau Do đó, các mạng MLP và các thuật toán học tập liên quan đã được trình bày ngắn gọn ở đây Lưu ý rằng mặc dù các loại mạng nơron khác đôi khi

có thể cho thấy hiệu suất tốt hơn từ góc độ kết quả đào tạo, mạng MLP thường vượt trộ hơn các đối thủ của nó từ góc độ kết quả thử nghiệm

2.2 Các nguyên tắc cơ bản của Mạng MLP (Mutil Layer Pereepfion) Cấu trúc của mạng xác định chức năng của mạng đó, các tham số (trọng số và độ lệch) và loại phần tử xử lý của mạng Kiến trúc của một mạng MLP điển hình được xác định bởi số lớp và số lượng tế bào thần kinh trong mỗi lớp Nói chung, cấu trúc của mạng MLP được thiết kế dựa trên một quy trình lặp đi lặp lại Đây là việc làm cần thiết để đạt được hiệu suất mong muốn với khối lượng tính toán thấp nhất có thể, tức

là số lớp tối thiểu và số tế bào thần kinh ít nhất trong mỗi lớp Trọng số và độ lệch khớp thần kinh của mạng được tính toán trong quá trình gọi là quá trình học tập dé giam thiểu lỗi mạng Một số thuật toán học tập phô biến nhất có thể được sử dụng để luyện mạng MLP bao gồm: lan truyền ngược Levenberg-Marquardt, lan truyền ngược giảm Gradient, lan truyền ngược quasi-Newton, lan truyền ngược Bayesian Regularisation, lan truyền ngược Gradient liên hợp, lan truyền ngược One Step Secant, lan truyền ngược Resilient và lan truyền ngược Gradient liên hợp tí lệ (Scalc

17

Conjugate Gradient) Tac gia str dung cdc thuat todn trên để luyện mô hình TRMS dựa

trên mạng nơ ron

2.2.1 Một Neuron

Neuron là một phần tử xử lý, mô hình McCulloch-Pitts (MP) [21], nhận một 36

đầu vào, cân chúng, tổng hợp chúng và sử dụng kết quả làm đối số của một hàm biến

đơn, một hàm kích hoạt Hình 2.1 cho thấy một nơ-ron với một độ lệch ở và & đầu vào

Phương trình (2.1), đầu ra của noron là đầu ra của một hàm kích hoạt biến đơn lẻ, lấy

tông của độ lệch b và các đâu vào có trọng số làm đôi sô đầu vào của nó

Hình 2.1 Một noron với R đầu vào

U=/(Š 0/0,]+)=ƒ(wu” +0) (0)

Trong đó = [ty,;,1t;, a | 1a vecto đầu vào, w = [w,wa, wạ] là vectơ

trọng số, b là độ lệch, ý là hàm kích hoạt của nơ-ron và y là đầu ra của tế bào thần

kinh Các đầu vào cho một tế bào thần kinh có thể là đầu ra của các tế bào thần kinh

khác hoặc các đầu vào bên ngoài Hàm kích hoạt ƒ có thể ở bất kỳ dạng nào, thường

thì tốt hơn hàm đơn điệu Hình 2.2 mô tả một số hàm kích hoạt phổ biến thường được

sử dụng Các hàm như (a), (b), (c) va (d) là đơn điệu; tuy nhiên, những hàm khác như

(e), (), và (g) hoàn toàn là đơn điệu Tính khác biệt của các hàm kích hoạt là một

trong những điều kiện cần thiết để hầu hết các thuật toán huấn luyện được sử dụng

rộng rãi Hai hàm chức năng đầu tiên trong hình 2.2 không thể phân biệt được do sự

không liên tục của chúng và sự khác biệt của các chức năng thứ ba và thứ tư là không

xác định ở một số điểm Nhìn chung, chỉ có ba chức năng cuối cùng là trơn tru, tức là

chúng có các dẫn xuất liên tục của bắt kỳ thứ tự bắt buộc nào

18

đại diện hoặc mô phỏng khả năng nhận biết và phân biệt của não bộ)

Sự kết hợp của một số Neuron với các tín hiệu đầu vào giống nhau, nhưng hầu

hết có thể có trọng lượng và độ lệch khác nhau, tạo nên một lớp nơ ron (neuron) Kết

nối của hai hoặc nhiều lớp như vậy tạo thành một mạng nhiều lớp Các nơ ron có thé

được kết hợp thành một mạng lưới theo nhiều kiểu Hình 2.3 mô tả một mạng MLP

truyền thắng điển hình với R đầu vào và ba lớp với cấu hình 3x5xI, tức là 3 nơ ron ở

lớp đầu tiên, 5 nơ ron ở lớp thir hai va 1 no ron ở lớp cuối cùng Lớp cuối cùng được

gọi là lớp đầu ra nó tạo ra đầu ra của mạng Các lớp khác là các lớp an, vi du: trong

hình 2.3 mạng có hai lớp ẩn Người ta thường làm tăng độ lệch với trọng số bằng cách

xem xét thêm một đầu vào với giá trị không đổi là 1 cho mỗi lớp, như trong hình 2.3

chỉ cho lớp đầu tiên Lưu ý rằng mặc dù mỗi nơ-ron đều có độ chệch, nhưng để đơn

giản, độ chệch của lớp thứ hai và lớp cuối cùng không được mô tả trong hình 2.3

19

eset — —— ——

Input Layer 1" hidden Layer 2” hidden Layer Output Layer

Hình 2.3 Mạng MLP với R đầu vào và 3 lóp ain

2.2.3 Thiết kế tín hiệu kích thích Trước khi một tín hiệu đầu vào được chọn, điều quan trọng là phải xác định phạm vi hoạt động của hệ thống Đặc biệt phải chú ý không để kích thích các động lực học mà người ta không có ý định đưa vào mô hình; Tuy nhiên, trong phương pháp này tất cả các tần số cần thiết đã được xét đến ở giai đoạn huấn luyện Trường hợp nhận dạng một hệ thống tuyến tính, thường áp dụng một số tín hiệu hình sin có biên độ khác

nhau Ngoài ra, tín hiệu chuỗi nhị phân ngẫu nhiên giả (PRBS) cũng khá phố biến Tuy

nhiên, khi làm việc với các cấu trúc mô hình phi tuyến, điều quan trọng là phải biểu

diễn tất cả các biên độ và tần số cần thiết [12]

2.2.4 Lựa chọn cấu trúc mô hình Khi nhận dạng hộp đen của các hệ thống động phi tuyến, vấn đề lựa chọn cấu trúc mô hình ngày càng trở nên khó khăn Một số mô hình dựa trên mạng nơron phổ biến nhất bao gồm: cấu trúc mô hình đáp ứng xung hữu hạn mạng nơ ron (NNFIR), cấu trúc mô hình đầu vào bên ngoài tự động hồi quy mạng nơ ron (NNARX), đường trung bình di chuyển tự động hồi quy mạng nơ ron với cầu trúc mô hình đầu vào bên ngoài (NNARMAX), cấu trúc mô hình đầu ra sai lệch mạng nơ ron (NNOE), cách thức đổi mới mô hình không gian trạng thái mạng nơron (NNSSIF) [12] Trong nghiên cứu này, do đã có sẵn bộ dữ liệu đầu vào - đầu ra của hệ thống thực nên tác giả chọn

phương pháp NNARX để mô hình hóa hệ thống Như đã đề cập trên đây, TRMS sở

hữu hai bộ mã hóa trục để đo các đầu ra của hệ thống, vị trí của cánh tay đòn trong cả mặt phẳng ngang và mặt phẳng thẳng đứng

20

Trong cấu trúc mô hình NNARX, các đầu vào cho mô hình dựa trên mạng nơ ron

là các đầu vào điều khiển trước đó của hệ thống thực [ u(t-d) , u(t-d-1), ,.u(t-d-m)],

và cả kết quả đầu ra quan sát trước đó /yứ-1), yứ-2), yứ-n)j, trong đó đ là bội số của chu kỳ lấy mẫu và được đặt là một, và m và n là các khoảng trễ đầu vào và đầu ra

được đặt tương ứng là hai và ba, Hình 2.4 cho thấy cấu trúc mô hình SISO NNARX

Đầu ra của mô hình SISO là ÿ(/) được biểu thị bằng:

H(t) = fy (ut -), u(t -d—-), u(t-d—m), y(t), (#—12), u@—m)) (2.2)

Hình 2.4 Cấu trúc mô hình NNARX của hệ thong SISO

2.2.5 Thuật toán huấn luyện Giả sử rằng một tập dữ liệu đã được thu thập và cấu trúc mô hình đã được chọn

Bước tiếp theo là áp dụng tập dữ liệu để đạt được mô hình tốt nhất bằng cách điều

chỉnh các thông số mạng, tức là trọng số và độ lệch Giai đoạn này được gọi là đào tạo hoặc học tập và mục đích của nó là tìm ra một bộ trọng số và độ lệch phù hợp Mặc dù quá trình đào tạo đòi hỏi khối lượng tính toán lớn, nhưng nhìn chung đây là một trong những giai đoạn dễ nhất trong việc xác định một hệ thống

Một số thuật toán luyện phổ biến được sử dụng trong nghiên cứu này là:

- Sự lan truyền ngược giảm Gradient (GD) [22], [23],

- Sự lan truyền ngược giảm Gradient với quan tinh (GDM) [23],

- Sự lan truyền ngược giảm Gradient với tốc độ học thích nghi (GDA) [23]

- Sự lan truyền ngược giảm Gradient với tốc độ học thích nghi và quán tính (GDX)

[23],

- Sự lan truyền ngược có khả năng phục hồi (RB) [24],

- Sự lan truyền ngược Gradient liên hợp Fletcher-Reeves (Conjugate gradient back- propagation with Fletcher-Reeves) (CGF) [25],

- Su lan truyền ngược Gradient liên hợp với cập nhật Polak-Ribiere (CGP) [22]

(Conjugate gradient back-propagation with Polak-Ribiere updates (CGP) [22],

21

TẤt cả các thuật toán này đều dựa trên phương pháp MSE Trong mô hình MSB, mục

tiêu là xác định trọng số và độ lệch của mạng nơ ron bằng cách giảm thiểu tiêu chí sau

Trong đó:

Q: Số lượng mẫu hoặc số lượng tập dữ liệu để huấn luyện

t,: Vec to đầu ra mục tiêu (đầu ra quan sát) của mau q

Yq: Vec tơ đầu ra mạng (dự báo đầu ra) của mẫu q

eq: Sai số của mẫu q V: Trung bình bình phương sai lệch

2.3 Tham định mô hình

Tham định mô hình là mô hình được kiểm tra để thấy rõ liệu mô hình có thể hiện đầy đủ các đặc tính của hệ thống thực tương ứng hay không Mỗi mô hình được thử nghiệm phù hợp với ứng dụng trong tương lai của nó Thông thường để kiểm tra một

mô hình bằng một số phương pháp kiểm tra tiêu chuẩn như: kiểm tra đan xen, PSD và kiểm tra tương quan Các biểu diễn trong miền thời gian, đáp ứng quá trình và đáp ứng

mô hình đó trong một hình và sự khác biệt giữa chúng Kết quả PSI minh họa độ chính xác của mô hình trong miền tần số Một số tính năng hữu ích khác của mô hình PSI cũng được chỉ ra Dữ liệu được sử dụng để kiểm tra một mô hình phải khác với dữ liệu được sử dụng trong giai đoạn huấn luyện của mô hình Tập dữ liệu như vậy được gọi

là tập dữ liệu kiểm tra hoặc xác nhận (thẳm định) Kiểm tra tương quan được mô tả

như sau

2)

Nếu phần dư (sai số dự đoán) của một mô hình không chứa hoặc không có thông

tin đáng kể về phần dư trước đó hoặc về động lực học của hệ thống, thì có khả năng là

tất cả các thông tin đã được trích xuất từ tập huấn luyện và kết luận rằng mô hình xấp

xỉ hệ thống tốt Do đó, về nguyên tắc, người ta cần kiểm tra xem các phần dư có tương

quan với tất cả các kết hợp tuyến tính và phi tuyến của dữ liệu trong quá khứ hay

không Một bài kiểm tra như vậy tất nhiên là không hoàn toàn thực tế; do đó, người ta

thường chỉ xem xét một số hàm tự động tương quan và tương quan chéo được lựa chọn

một cách khôn ngoan Một số hàm tuong quan do Billings etal đề xuất [34], [35] được

liệt kê dưới đây Phương trình (2.5) là sự tương quan tự động của các sai số dự đoán và

mối tương quan chéo giữa đầu vào và phần dư của một mô hình được trình bày trong

phương trình (2.6) Tương quan chéo của bình phương đầu vào và bình phương sai

lệch được đề cập trong phương trình (2.7) Công thức (2.8) trình bày mối tương quan

chéo giữa bình phương đầu vào và phần dư của mô hình và cuối cùng là mối tương

quan chéo giữa phần dư và phép nhân phần dư và đầu vào được thê hiện trong phương

i) a) (2.10)

N 1a téng số dữ liệu và,

Bi =we, (2.1/00)

Thông thường để kiểm tra xem các hàm cho độ trễ trong khoảng z e[~20;20] có

bằng không trong khoảng tin cậy tiệm cận 95% hay không, tức là nếu điều kiện sau được giữ:

-1.96/4ÍN <z<1.96/4N (2.12)

Hai thử nghiệm đầu tiên được sử dụng để xác nhận việc nhận dạng các hệ thống thông thường, đặc biệt là trong trường hợp hệ thống tuyến tính Tất cả các thử nghiệm

đều áp dụng tốt cho các hệ thống MIMO Các hàm tương quan sau đó phải được tính

toán cho mỗi tổ hợp của đầu vào và đầu ra

24

CHƯƠNG II

SỬ DỤNG CÁU TRÚC MẠNG NƠRON ĐÈ NHẬN DẠNG

MÔ HÌNH HỘP ĐEN ĐÓI TƯỢNG TRMS

3.1 Mô hình hộp đen phi tuyến

Chương này đưa ra mô hình thực nghiệm dựa trên mạng noron cua TRMS về

một bậc tự đo (1 DOF) theo phương dọc, một bậc tự do (1 DOF) theo phương ngang

và hai bậc tự do (2 DOF) của TRMS Đáp ứng của mô hình và đáp ứng của hệ thống

TRM§S thực được so sánh với nhau để xác nhận tính chính xác của mô hình Đồng thời

so sánh sai lệch và hiệu quả của các mô hình phân tích và mô hình thực

Trong chương này, TRMS đã được kích thích với các tín hiệu đầu vào khác nhau

có dạng khác nhau như sóng hình sin và xung vuông, biên độ va tần số cũng khác

nhau Tần số của dữ liệu huấn luyện nằm trong khoảng từ 0,01Hz đến 1Hz và điện áp

trong khoảng -2,5V đến 2,5V, đây là điện áp tối thiểu và tối đa của hệ thống Theo

động lực học của hệ thống, khi tín hiệu đầu vào có tần số cao hơn cũng không gây ra

chuyển động đáng kể của cánh tay đòn TRMS do hằng số thời gian gần đúng của hệ

thống cao hơn khá nhiều so với chu kỳ của tín hiệu có tần số cao đó Vì vậy không cần

phải kích thích hệ thống với tần số cao hơn Tuy nhiên, để cải thiện hiệu quả của mô

hình ở tần số cao, điều quan trọng trong thiết kế điều khiển là một số bộ dữ liệu PRBS

và PRBS tổng hợp đã được sử dụng ngoài các bộ dữ liệu đã đề cập trước đây

3.2 Kết quả

Trong phần này TRMS được mô hình hóa theo kinh nghiệm về động lực học

1DOF theo phương ngang, IDOF theo phương thẳng đứng và 2DOF theo cả hai

phương Các mô hình được phát triển bằng cách sử dụng phương pháp tiếp cận đầu

vào tự động hồi quy dựa trên mang noron Céng cy mang noron trong MATLAB [36]

được sử dụng để ước tính các tham số, cụ thể như trọng số và độ lệch của mạng

3.2.1 Mô hình 1DOF theo phương ngang

Để mô hình hóa TRMS về động học theo phương ngang I1DOE, chúng ta sử dụng

mạng nơ-ron MLP với cấu hình 6x3xI Nói cách khác, mô hình dựa trên mang noron

có 6 đầu vào, 3 nơ-ron ở lớp ẩn và 1 nơ-ron ở đầu ra Cấu hình được bắt đầu với mạng

một lớp đơn giản và số lượng tế bào thần kinh tăng dần cho đến khi đạt được sai lệch

mong muốn Nếu việc tăng số lượng tế bào thần kinh không có kết quả khả quan thì

cần tăng số lượng lớp ẩn Các đầu vào mạng là điện áp rôto đuôi ở thời điểm một mẫu

trước đó 1„(t -L), điện áp rôto đuôi ở hai mẫu trước đó 1„(t -2), điện áp rôto đuôi ở ba

mẫu trước đó E;(t - 3), góc đảo lái của cánh tay đòn tại thời điểm một mẫu trước đó

an(t =1), góc đảo lái của cánh tay đòn ở hai mẫu trước đó a„(t -2), và góc đảo lái của

cánh tay đòn ở ba mẫu trước đó œ„(t -3) Cấu hình này đã được chọn bằng cách sử

25

dụng các phương pháp đã đề cập trong chương II để có kết quả rất tốt mà khối lượng

tính toán nhỏ, nghĩa là cấu trúc mạng tối thiểu Hình 3.1 là cấu trúc của mô hình động

lực IDOF theo phương ngang dựa trên mạng noron Các hàm kích hoạt được sử dụng

trong lớp ân và lớp đầu ra lần lượt là logarit và tuyến tính thuần túy Số lượng các mẫu

cho quá trình đào tạo và kiểm tra được sử dụng lần lượt là 8290 và 500 bộ Trong đó

thời gian mẫu được đặt là 0,2 giây

Tả" (— 2 c

Input Layer 1” hidden Layer Output Layer

Hình 3.1 Câu trúc của mô hình động lực học theo phương ngang IDOF

dựa trên NN Mạng noron đã được huấn luyện với 13 thuật toán huấn luyện khác nhau Các

mạng nơron được được sử dụng trong quá trình đào tạo và quá trình kiểm tra là khác

nhau trong quá trình huấn luyện (đào tạo) Đáp ứng của các mô hình thần kinh được

huấn luyện với các loại thuật toán khác nhau và kết quả kiểm tra xác nhận tương ứng

được mô tả trong chương 4

Thuật toán huấn luyện giảm Gradient, hình thức đơn giản nhất từ phương pháp

huấn luyện lan truyền ngược, các bản cập nhật trọng số và độ lệch theo hướng mà hàm

mục tiêu giảm rất nhanh Thuật toán huấn luyện giảm Gradient với quán tính hội tụ

nhanh hơn thuật toán giảm Gradient Một thuật ngữ động lượng sử dụng các xu hướng

gần đây của các tham số mạng (trọng số và độ lệch) bên cạnh gradient và tránh trường

hợp tối thiểu cục bộ Hiệu suất của thuật toán học tập này trong việc mô hình hóa

TRMS động học 1DOF theo phương ngang thấp

Các kỹ thuật giảm Gradient tiêu chuẩn sử dụng tỉ lệ học tập cố định trong quá

trình huấn luyện, thay đổi tốc độ (tỉ lệ, rate) học sẽ cải thiện hiệu quả của thuật toán, vì

tham số này ảnh hưởng đáng kể đến độ ốn định và thời gian hội tụ của thuật toán huấn

26