Ứng dụng mạng mờ noron trong nhận dạng và điều khiển hệ phi tuyến

- Làm việc được với đồi tượng có tham số thay đổi và cấu trúc không rõ ràng Mạng noron được chỉ ra có khả năng xấp xỉ hàm rất tốt và được ứng dụng vào mô hình hóa quá trình bởi nhiều ngh

-

PHAN THANH TÙNG

ỨNG DỤNG MẠNG MỜ-NORON TRONG NHẬN DẠNG VÀ ĐIỀU KHIỂN HỆ PHI TUYẾN

CHƯƠNG 2 CƠ SỞ LÝ THUYẾT MẠNG NORON Error! Bookmark not

defined. 

2.1 Mạng noron tự nhiên Error! Bookmark not defined. 

2.2 Mạng noron nhân tạo Error! Bookmark not defined. 

Khái niệm Error! Bookmark not defined. 2.3   Mô hình mạng 1 noron đơn lẻ (Neuron Model)Error! Bookmark not defined. 

2.3.1 Mạng 1 noron và 1 tín hiệu đầu vào Error! Bookmark not defined. 

2.4.1 Mạng noron 1 lớp Error! Bookmark not defined. 

2.4.2 Kí hiệu đầu vào và các lớp ( Inputs and Layers)Error! Bookmark not defined. 

2.4.3 Mạng noron nhiều lớp (Multiple layers of Neuron).Error! Bookmark not defined. 

2.5 Phân loại mạng noron Error! Bookmark not defined. 

2.5.1 Mạng truyền thẳng ( Layered feedforward network )Error! Bookmark not defined. 

2.5.2 Mạng hồi quy ( Layered digita recurrent network- LDRN) Error! Bookmark not defined. 

2.6 Phương thức làm việc của mạng noron Error! Bookmark not defined. 

2.7 Tổng quan về việc huấn luyện mạng noron Error! Bookmark not defined. 

2.7.1 Quá trình huấn luyện một mạng noron nhiều lớp truyền thẳng Error! Bookmark not defined. 

( Layered feedforward network -LFFN) Error! Bookmark not defined. 

2.7.2 Huấn luyện cho mạng noron có phản hồi hay mạng hồi quy Error! Bookmark not defined. 

2.8 Minh họa khả năng xấp xỉ hàm của mạng noron.Error! Bookmark not defined. 

2.9 Nhận dạng đối tượng điều khiển bằng mạng nơronError! Bookmark not defined. 

2.9.1 Phép nội suy và ngoại suy Error! Bookmark not defined. 

2.9.2 Vấn đề khởi tạo tín hiệu đầu vào Error! Bookmark not defined.

3.2.1 Bộ điều khiển mờ cơ bản Error! Bookmark not defined. 

3.2.2 Các nguyên tắc tổng hợp một bộ điều khiển mờError! Bookmark not defined. 

3.3 Các loại mô hình mờ Error! Bookmark not defined. 

3.3.1 Dạng mô hình mờ kinh điển CRI (compositional rule of inference) Error! Bookmark not defined. 

3.3.2 Mô hình mờ Takagi-Sugano (TS) Error! Bookmark not defined. 

3.3.3 Dạng hàm liên thuộc tổng quát GFM( generalise fuzzy model ) Error! Bookmark not defined

CHƯƠNG 4: ỨNG DỤNG MẠNG MỜ-NORON Error! Bookmark not defined   4.1 Định nghĩa và cấu trúc mạng mờ-noron Error! Bookmark not defined. 

4.1.1 Định nghĩa Error! Bookmark not defined. 

4.1.2 Các kiến trúc mạng mờ-noron Error! Bookmark not defined. 4.2  Ứng dụng mạng mờ-noron GRNFN trong điều khiểnError! Bookmark not defined. 

4.2.1 Ứng dụng trong nhận dạng Error! Bookmark not defined. 

4.2.2 : Kết hợp phương pháp GPC xây dựng bộ điều khiểnError! Bookmark not defined. 

Kết luận : Error! Bookmark not defined   Tài liệu tham khảo

Phụ lục

Tôi xin cam đoan quyển luận văn thạc sỹ khoa hoc: “Ứng dụng mạng noron trong nhận dạng và điều khiển hệ phi tuyến” do tôi tự thiết kế dưới sự

mờ-hướng dẫn của thầy giáo GS.TS Nguyễn Trọng Thuần Các số liệu và kết quả là hoàn toàn trung thực

Để hoàn thành quyển luận văn này, tôi chỉ sử dụng những tài liệu được ghi trong danh mục tài liệu tham khảo và không sao chép hay sử dụng bất kỳ tài liệu nào khác Nếu phát hiện có sự sao chép, tôi xin chịu hoàn toàn trách nhiệm

Hà Nội, ngày 10 tháng 9 năm 2011

Học viên

Phan Thanh Tùng

ANFIS Adaptive-Network-based Fuzzy Inference System

ARMAX AutoRegressive Moving Average with eXogenous inputs models

CARIMA Controlled Auto-Regressive Integrated Moving Average

CRI Compositional Rule of Inference

GPC Generalised Predictive Control

GRBFN Generalized Radial Basic Function Network

GRNFN Generalized Recurren Neural-Fuzzy network

LDRN Layered Digital Recurrent Network

MISO Multi Input- Single Output

NARMAX Nonlinear AutoRegressive Moving Average with eXogenous

inputs models

RNFN Recurren Neural-Fuzzy network

SISO Single Input – Single Output

TDL Tapped Delay Line

TS Takagi-Sugano

Bảng 4.1: So sánh đặc điểm logic mờ và mạng noron 77

Bảng 4.2 sau đây so sánh đặc điểm của 3 mạng được huấn luyện 89

Bảng 4.3 : So sánh kết quả các mạng được huấn luyện 89

Danh mục các hình ảnh

Hình 2.1 Một phần của mạng nơron bao gồm hai nơron 10

Hình 2.6 Kí hiệu mạng 1 noron nhiều đầu vào 20

Hình 2.8 Kí hiệu rút gọn của mạng noron 1 lớp 22

Hình 2.9 Hệ thống kí hiệu mở rộng cho mạng noron 1 lớp 23

Hình 2.17 Huấn luyện cho mạng truyền thẳng LFFN 34

Hình 2.19 Tính toán đạo hàm động học toàn phần của đầu ra mạng 40

Hình 2.20 Tính đạo hàm toàn phần của hàm mục tiêu tương ứng với biến

w và b

41

Hình 2.21 Ví dụ về việc xấp xỉ của mạng neural 42

Hình 2.22 Đáp ứng đầu ra với các thông số đã cho của mạng hình 2.21 43

Hình 2.23 Ảnh hưởng của sự thay đổi thông số đến đầu ra của mạng 43

Hình 2.25 Lưu đồ thuật toán nhận dạng đối tượng 47

Hình 2.26 Đáp ứng của mạng khi sử dụng thuật toán bình phương sai lệch

cực tiểu

48

Hình 2.29: Dữ liệu huấn luyện mạng với độ rộng xung hỗn hợp 52

Hình 3.1 Hàm phụ thuộc các số tự nhiên nhỏ hơn 6 54

Hình 3.2 Mô tả các giá trị ngôn ngữ bằng tập mờ 57

Hình 3.5 Luật hợp thành MISO với hai mệnh đề điều kiện 60

Hình 3.7 Hàm thuộc đầu ra của mệnh đề thứ nhất 62

Hình 3.8 Hàm thuộc đầu ra của mệnh đề thứ hai 62

Hình 3.9 Hàm thuộc đầu ra của luật hợp thành 63

Hình 3.10 Giải mờ bằng phương pháp cực đại 64

Hình 3.11 Giải mờ bằng phương pháp điểm trọng tâm 65

Hình 3.12 Hàm thuộc đầu ra có dạng hình thang 66

Hình 3.13 Sơ đồ khối bộ điều khiển mờ cơ bản 67

Hình 3.14: Ảnh hưởng của chỉ số v k đến mối quan hệ giữa biến vào và biến

ra

74

Hình 3.15 chỉ ra dạng của hàm liên thuộc biến tiền đề cho l=0.5 đến 5 75

Hình 4.2: Ba trường hợp của v k như sau : v 1 =v 2 ; v 1 = 0.1v 2 ; v 1 = 0.01v 2 80

Hinh 4.3 : Cấu trúc cơ bản mạng hồi quy RNFN 81

Hình 4.4 Cách chuyển mạng huấn luyện từ trực tiếp sang gián tiếp 82

Hình 4.5a, b : Hàm liên thuộc biến tiền đề - à tương ứng 83

Hình 4.6: Dạng tín hiệu kích thich đầu vào đối tượng và đáp ứng đầu ra 84

Hình 4.7: Quá trình huấn luyện mạng mờ-noron 84

Hình 4.8 : Đáp ứng đầu ra mạng mờ-noron, giá trị mấu và sai lệch sau khi

huấn luyện

85

Hình 4.9 : Đáp ứng đầu ra khi sử dụng bộ dữ liệu kiểm tra kết quả 85

Hình 4.10 a: Đồ thị hàm liên thuộc biến X1 sau khi huấn luyện 86

Hình 4.10b) : Đồ thị hàm liên thuộc biến X2 sau khi huấn luyện 86

Hình 4.11 : Kết quả huấn luyện các mạng GRBFN, RNFN, GRNFN 90

Hình 4.12: Đồ thị mô tả dự báo tầm xa và sự ước lượng 92

Hình 4.13a) Đồ thị đáp ứng đầu ra của đối tượng được điều khiển bám

theo giá trị đặt

98

Hình 4.13b) Đồ thị tín hiệu điều khiển đối tượng 98

MỞ ĐẦU

I Lý do chọn đề tài

Trong thời gian qua, cùng với sự phát triển của khoa học kỹ thuật hiện đại thì ngành điều khiển học đã có các bước tiến bộ vượt bậc Ngành điều khiển và tự động hóa ngày càng thâm nhập sâu vào trong mọi mặt đời sống xã hội để giúp cho con người có một cuộc sống tiện nghi hơn, dễ dàng hơn Việc điều khiển từ những con robot nhỏ, tòa nhà thông minh cho đến việc điều khiển toàn bộ nhà máy lớn hoặc các công trình đồ sộ đặt ra cho điều khiển học các bài toán phức tạp Các đối tượng điều khiển này không đơn giản chỉ có một tín hiệu đầu vào/ra mà chúng có hàng trăm tín hiệu đầu vào và có quan hệ động học phi tuyến phức tạp với đầu ra Điều này gây khó khăn rất lớn cho các phương pháp điều khiển kinh điển

Trước khó khăn đó thì các phương pháp điều khiển thông minh đã ra đời đã giải quyết rất nhiều bài toán động học phi tuyến phức tạp hay thậm chí các đối tượng là hộp đen ( chỉ đo được tín hiệu vào/ra mà không biết được chính xác mô hình đối tượng ) Nổi bật trong các phương pháp đó là trí tuệ nhân tạo hay chính là logic mờ và mạng noron

So với các bộ điều khiển kinh điển khác thì bộ điều khiển mờ có ưu điểm nổi bật là:

- Khối lượng tính toán giảm, khối lượng thiết kế giảm do sử dụng kiến thức

“chuyên gia”

- Dễ hiểu hơn, trong nhiều trường hợp bộ điều khiển này làm việc ổn định, bền vững và chất lượng điều khiển cao hơn

- Làm việc được với đồi tượng có tham số thay đổi và cấu trúc không rõ ràng

Mạng noron được chỉ ra có khả năng xấp xỉ hàm rất tốt và được ứng dụng vào mô hình hóa quá trình bởi nhiều nghiên cứu Mạng noron có thể học mô hình

quá trình từ tập dữ liệu vào/ra của quá trình đó Việc huấn luyện mạng noron theo quy ước là hộp đen

Do vậy việc nghiên cứu nhận dạng và điều khiển các đối tượng động học phi tuyến phức tạp sử dụng bộ điều khiển mờ và mạng noron là vấn đề cần thiết, có ý nghĩa quan trọng, có khả năng ứng dụng vào thực tế

II Lịch sử nghiên cứu

Thời điểm đánh dấu sự ra đời của bộ điều khiển mờ-nơron và nơron-mờ là công trình nghiên cứu của Lee về mối liên quan giữa lý thuyết tập mờ với mạng nơron McCulloch-Pitts vào năm 1970 Phát triển trên nền công trình đó, năm 1971

đã xuất hiện thiết bị tự động với cơ chế suy diễn mờ theo nguyên lý mạng nơron, tuy nhiên vẫn còn ở mức độ thấp

Thập kỷ 80-90 được xem là thời kỳ nở rộ của các công trình của mờ-nơron cũng như nơron-mờ với những ứng dụng trong nhận dạng ảnh, trong hệ thống hỗ trợ quyết định, trong cơ chế suy diễn nơron-mờ Nguyên nhân của sự phát triển đó là do

sự ra đời của mạng nơron Hopfield, Tank, tiếp nối là sự hoàn thiện thuật toán lan truyền ngược của Rumelhart, Hinton, Williams, Nauck cho mạng MLP ( multiplayer perceptron Netwwork ) Nguyên nhân nữa thúc đẩy sự phát triển này chính là các sản phẩm logic mờ ở Nhật Bản phát triển mạnh mẽ và các chip mờ đã được ứng dụng trong điều khiển máy giặt, nồi cơm điện, máy điều hòa,…

Hiện nay, sự phát triển của hệ mờ-nơron vẫn đang tiếp tục phát triển mạnh theo hướng tìm tòi và xây dựng các thuật toán học định hướng cho các ứng dụng ở nhiều lĩnh vực khác nhau như hệ thống hỗ trợ quyết định, hệ chuyên gia, tính toán mềm, hệ hỗn loạn, điều khiển thích nghi, xử lý tín hiệu bất định,…

III Mục đích của đề tài

Nghiên cứu các đặc điểm của của mạng mờ noron trong các công trình của các tác giả trong nước và quốc tế từ đó biết được các ưu khuyết điểm của từng mạng Trên cơ sở đó ta đề xuất ra một mạng mờ noron mới kết hợp ưu điểm của các

mạng trước đây nhằm ứng dụng nhận dạng và điều khiển hệ phi tuyến ; và xây dựng các mô hình dự báo tầm xa cho đối tượng để hỗ trợ các chuyên gia ra quyết định

IV Đối tượng nghiên cứu, phạm vi đề tài

Đối tượng nghiên cứu: Mạng mờ noron

Phạm vi nghiên cứu: Xây dựng mạng mờ noron mới, xây dựng thuật toán

điều khiển GPC kết hợp mạng mờ noron để điều khiển đối tượng, mô phỏng, viết chương trình trên phần mềm matlab thông qua công cụ Mfile Đánh giá chất lượng của mạng mờ noron mới so với các mạng mờ noron trước đây

V Bố cục của luận văn

Với mục tiêu và phạm vi nghiên cứu nêu trên luận văn bố cục thành 4 chương:

Chương I: Tổng quan ứng dụng mạng mờ noron cho điều khiển hệ phi tuyến

Chương II: Cơ sở lý thuyết mạng noron

Chương III: Cơ sở lý thuyết logic mờ

Chương IV: Ứng dụng mạng mờ noron

Kết luận và kiến nghị

VI Ý nghĩa khoa học của luận văn

Các vấn đề đề cập trong luận văn cho thấy khả năng ứng dụng rất lớn mạng

mờ noron trong nhận dạng và điều khiển các đối tượng phức tạp Luận văn nhằm giúp cho ta có cái nhìn sâu hơn về một phương pháp điều khiển thông minh mới đang rất phát triển hiện nay

Với năng lực hạn chế của bản thân cũng như các nguyên nhân khách quan, chủ quan khác, luận văn không tránh khỏi những thiếu sót Tác giả rất mong được

sự góp ý của quý thầy cô, các bạn bè và đồng nghiệp để luận văn được hoàn thiện hơn Tác giả xin chân thành cảm ơn các thầy giáo và cô giáo trong Bộ môn Tự động

hóa xí nghiệp công nghiệp Trường Đại học Bách Khoa Hà Nội, các bạn bè đồng nghiệp đã giúp đỡ và tạo điều kiện thuận lợi trong thời gian thực hiện luận văn Đặc biệt tác giả xin bày tỏ lòng biết ơn sâu sắc với Thầy giáo GS Nguyễn Trọng Thuần

đã quan tâm, tận tình hướng dẫn giúp tác giả xây dựng và hoàn thành luận văn này

CHƯƠNG 1 : TỔNG QUAN ỨNG DỤNG MẠNG MỜ-NƠRON CHO ĐIỀU KHIỂN HỆ PHI TUYẾN

Ngày nay có rất nhiều phương pháp nhận dạng và điều khiển hệ thống như PID, Lyaponov, tuyến tính hóa chính xác … nhưng đa phần các phương pháp này ứng dụng cho các đối tượng tuyến tính hoặc đòi hỏi phải có mô hình toán học chính xác Với những đối tượng phi tuyến mà chưa có hiểu biết về đối tượng hoặc chỉ hiểu biết sơ lược, mơ hồ về đối tượng thì những phương pháp trên tỏ ra không hữu hiệu Đối với những trường hợp này thì phương pháp điều khiển mờ và noron tỏ ra

có khả năng vượt trội Với ưu điểm cơ bản là có thể xứ lý với độ chính xác cao những thông tin "không chính xác" hệ mờ và mạng nơron là cơ sở của hệ "điều khiển thông minh" và "trí tuệ nhân tạo"

1.1 ) Lịch sử hình thành logic mờ và mạng noron

1.1.1) Logic mờ

Có thể nói, ngay từ khi mới ra đời vào những năm nửa cuối thế kỷ 20, chuyên ngành điều khiển mờ đã được phát triển rất mạnh mẽ và đem lại nhiều thành tựu bất ngờ trong lĩnh vực điều khiển Ưu điểm cơ bản của điều khiển mờ so với các phương pháp điều khiển kinh điển là có thể tổng hợp được bộ điều khiển mờ mà không cần biết trước đặc tính của đối tượng một cách chính xác Ngành kĩ thuật mới

mẻ này, như Zahde đã định hướng cho nó vào năm 1965, có nhiệm vụ chuyển giao nguyên tắc xử lý thông tin không chính xác hay không đầy đủ, những thông tin mà

sự chính xác của nó chỉ nhận thấy được giữa các quan hệ của chúng với nhau và cũng chỉ có thể mô tả được bằng ngôn ngữ, đã có thể cho ra những quyết định chính xác Chính khả năng này đã làm cho điều khiển mờ sao chụp được phương thức xử

lý thông tin và điều khiển con người, đã giải quyết thành công các bài toán điều khiển phức tạp, các bài toán mà trước đây không giải quyết được và đã đưa nó lên

vị trí xứng đáng là kỹ thuật điều khiển của hôm nay và tương lai Điều khiển mờ hay còn gọi là điều khiển thông minh là những bước ứng dụng ban đầu của trí tuệ nhân tạo vào kỹ thuật điều khiển

1.1.2) Mạng noron

Ngay từ khi được khai sinh bằng sự ra đời cuốn sách « Điều khiển học hay điều chỉnh và sự truyền thông trong cơ thể sống, trong máy móc » của tác giả Nobert Wieners xuất bản năm 1948 thì điều khiển học đã đặt ra mục đích nghiên cứu áp dụng nguyên lý làm việc của hệ thống thần kinh động vật vào điều khiển Công cụ giúp Điều khiển học thực hiện được mục đích này là trí tuệ nhân tạo và mạng mờ noron Với logic mờ, trí tuệ nhân tạo phát triển mạnh mẽ trong những năm gần đây tạo ra cơ sở xây dựng các hệ chuyên gia, những hệ có khả năng cung cấp kinh nghiệm điều khiển hệ thống hay còn gọi là hệ trợ giúp quyết định Trí tuệ nhân tạo được xây dựng dựa trên mạng noron nhân tạo Sự kết hợp giữa logic mờ và mạng noron trong thiết kế hệ thống điều khiển tự động là một khuynh hướng hoàn toàn mới, phương hướng thiết kế hệ điều khiển thông minh, một hệ thống mà bộ điều khiển có khả năng tư duy như bộ não của con người

Khái niệm mạng nơ-ron được bắt đầu vào cuối thập kỷ 1800 khi người ta cố gắng mô tả hoạt động của trí tuệ con người Ý tưởng này bắt đầu được áp dụng cho các mô hình tính toán từ mạng Perceptron

Đầu thập kỷ 1950 Friedrich Hayek là người đầu tiên khẳng định ý tưởng về trật tự tự phát trong não xuất phát từ các mạng phân tán gồm các đơn vị đơn giản (nơ-ron) Cuối thập kỷ 1940, Donnald Hebb đưa ra giả thuyết đầu tiên về một cơ chế thần kinh mềm dẻo (neural plasticity), Hebbian learning Hebbian learning được coi là một quy tắc 'điển hình' của học không có giám sát Nó (và các biến thể) là mô hình thời kỳ đầu của long term potentiation (tạo tiềm lực dài hạn)

Perceptron là một bộ phân loại tuyến tính dành cho việc phân loại dữ liệu

n

x∈R xác định bằng các tham số W R , b R và một hàm đầu ra f = W'x + b Các tham số của nó được thích nghi với một quy tắc tùy biến (ad-hoc) tương tự với giảm độ dốc ngẫu nhiên (stochastic steepest gradient descent) Perceptron chỉ có thể

phân loại hoàn hảo một tập dữ liệu mà các lớp khác nhau là phân tách tuyến tính (linearly separable) trong không gian đầu vào Nó thường không thích hợp được đối với dữ liệu không chia tách được Sự phát triển của thuật toán này ban đầu đã tạo ra một số hứng khởi một phần vì mối quan hệ của nó đối với các cơ chế sinh học Tuy nhiên vì điểm yếu này đã làm cho các mô hình Perceptron bị bỏ mặc cho đến khi các mô hình phi tuyến được đưa ra

Cognitron (1975) là một mạng nơ-ron đa tầng thời kỳ đầu với một thuật toán huấn luyện Các chiến lược thần kinh khác nhau sẽ khác nhau về cấu trúc thực sự của mạng và các phương pháp thiết lập trọng số cho các kết nối Mỗi dạng có các

ưu điểm và nhược điểm riêng Mạng có thể lan truyền thông tin chỉ theo một hướng, hoặc thông tin có thể được đẩy đi đẩy lại cho đến khi tại một nút xuất hiện sự tự kích hoạt và mạng sẽ dừng tại một trạng thái kết thúc Khả năng truyền dữ liệu hai chiều giữa các nơ-ron/nút còn được sử dụng trong mạng Hopfield (1982), và sự chuyên hóa các tầng nút này cho các mục đích cụ thể đã được đưa ra trong mạng nơ-ron lai (hybrid neural network) đầu tiên

Giữa thập kỷ 1980, xử lý phân tán song song (parallel distributed processing) trở nên một chủ đề thu hút được nhiều quan tâm dưới cái tên connectionism

Mạng lan truyền ngược (backpropagation) có lẽ đã là nguyên nhân chính của

sự tái xuất của mạng nơ-ron từ khi công trình "Learning Internal Representations by Error Propagation" (học các biểu diễn bên trong bằng cách lan truyền lỗi) được xuất bản năm 1986 Mạng lan truyền ngược ban đầu sử dụng nhiều tầng, mỗi tầng gồm các đơn vị tổng-trọng-số có dạng f = g(w'x + b), trong đó g là một hàm sigmoid Huấn luyện được thực hiện theo kiểu giảm độ dốc ngẫu nhiên Việc sử dụng quy tắc tính nguyên hàm cho hàm hợp (chain rule) khi tính toán các thay đổi thích hợp cho các tham số dẫn đến một thuật toán có vẻ 'truyền ngược lỗi' Đó là nguồn gốc của thuật ngữ lan truyền ngược Tuy nhiên, về bản chất, đây chỉ là một dạng giảm độ dốc Việc xác định các tham số tối ưu cho một mô hình thuộc dạng này không đơn giản, không thể dựa vào các phương pháp xuống dốc để có được lời giải tốt mà không cần một xuất phát điểm tốt Ngày nay, các mạng có cùng kiến trúc với mạng

truyền ngược được gọi là các mạng Perceptron đa tầng Thuật ngữ này không hàm ý bất cứ giới hạn nào đối với loại thuật toán dùng cho việc học

Mạng truyền ngược đã tạo ra nhiều hứng khởi và đã có nhiều tranh cãi về chuyện quy trình học đó có thể được thực hiện trong bộ não hay không Một phần vì khi đó chưa tìm ra cơ chế truyền tín hiệu ngược Nhưng lý do quan trọng nhất là chưa có một nguồn tín hiệu 'dạy' hay tín hiệu 'đích' đáng tin cậy

Ngày nay, các nhà thần kinh học đã thành công trong việc tìm ra mối liên hệ giữa học tăng cường và hệ thống hưởng thưởng dopamine (dopamine system of reward) Tuy nhiên, vai trò của nó và các neuromodulator khác vẫn đang được nghiên cứu

1.1.3) Lịch sử phát triển mạng mờ-nơron

Thời điểm đánh dấu sự ra đời của bộ điều khiển mờ-nơron và nơron-mờ là công trình nghiên cứu của Lee về mối liên quan giữa lý thuyết tập mờ với mạng nơron McCulloch-Pitts vào năm 1970 Phát triển trên nền công trình đó, năm 1971

đã xuất hiện thiết bị tự động với cơ chế suy diễn mờ theo nguyên lý mạng nơron, tuy nhiên vẫn còn ở mức độ thấp

Thập kỷ 80-90 được xem là thời kỳ nở rộ của các công trình của mờ-nơron cũng như nơron-mờ với những ứng dụng trong nhận dạng ảnh, trong hệ thống hỗ trợ quyết định, trong cơ chế suy diễn nơron-mờ Nguyên nhân của sự phát triển đó là do

sự ra đời của mạng nơron Hopfield, Tank, tiếp nối là sự hoàn thiện thuật toán lan truyền ngược của Rumelhart, Hinton, Williams, Nauck cho mạng MLP ( multiplayer perceptron Netwwork ) Nguyên nhân nữa thúc đẩy sự phát triển này chính là các sản phẩm logic mờ ở Nhật Bản phát triển mạnh mẽ và các chip mờ đã được ứng dụng trong điều khiển máy giặt, nồi cơm điện, máy điều hòa,…

Hiện nay, sự phát triển của hệ mờ-nơron vẫn đang tiếp tục phát triển mạnh theo hướng tìm tòi và xây dựng các thuật toán học định hướng cho các ứng dụng ở nhiều lĩnh vực khác nhau như hệ thống hỗ trợ quyết định, hệ chuyên gia, tính toán mềm, hệ hỗn loạn, điều khiển thích nghi, xử lý tín hiệu bất định,…

và sức lực đặc biệt là với quá trình phức tạp Với những quá trình nghèo thông tin, việc xây dựng mô hình nguyên lý là bất khả thi Để khắc phục điều khó khăn này,

mô hình kinh nghiệm dựa trên dữ liệu vào/ra quá trình được phát triển

Mạng noron được chỉ ra có khả năng xấp xỉ hàm rất tốt và được ứng dụng vào mô hình hóa quá trình bởi nhiều nghiên cứu Mạng noron có thể học được mô hình quá trình cơ bản từ tập dữ liệu vào/ra của quá trình đó Việc huấn luyện mạng noron theo quy ước là hộp đen Một hạn chế khả năng của mạng noron truyền thống

là rất khó chứng mính tính bền vững khi sử dụng tập dữ liệu mà ta không hiểu biết được

Một cách tiếp cận để cải tiến tính bền vững của mô hình và bóc tách hộp đen dựa trên sự kết hợp đồng thời hiểu biết về mô hình và tín hiệu dữ liệu vào/ra Kiến thức mô hình có thể được xử lí phân tách hoạt động quá trình trong một số vùng hoạt động cục bộ chẳng hạn với từng vùng, việc mô hình tuyến tính bậc rút gọn có thể được sử dụng để xấp xỉ các hành vi cục bộ của quá trình Thực tế, một quá trình phi tuyến có thể được tuyến tính hóa từng phần xung quanh điểm làm việc riêng lẻ

và mô hình tuyến tính hóa cục bộ có hiệu quả trong lân cận điểm làm việc đó Tập

mờ cung cấp một phương tiện thích hợp cho việc phân định các vùng làm việc từ lúc định nghĩa các vùng này là còn mập mờ trong tự nhiên và thường có sự chồng chéo giữa các vùng khác nhau Điều đó dẫn đến phương pháp tiếp cận mô hình hóa

mờ

Một phương pháp mô hình mờ [1] được phát triền bởi Takagi và Sugeno Trong cách tiếp cận này, từng đầu vào mô hình được gán với vài tập mờ tương ứng với hàm liên thuộc được xác định Thông qua sự kết hợp hợp lý của những đầu vào

mờ này, không gian tín hiệu vào mô hình được phân thành một vài vùng mờ Mô hình tuyến tính cục bộ được sử dụng trong phạm vi từng vùng và đầu ra toàn cục

được giải mờ qua điểm trọng tâm COG (centre of gravity defuzzification) là phương

pháp cơ bản nội suy từ đầu ra cục bộ Cách tiếp cận mô hình hóa này rất hữu hiệu trong việc phân tích mô hình phức tạp thành các mô hình con kém phức tạp hơn Dựa trên nguyên lí tương tự [2], Johansen đề xuất cách tiếp cận xây dựng mô hình hồi quy phi tuyến NARMAX ( Nonlinear AutoRegressive Moving Average with eXogenous inputs models ) sử dụng mô hình hồi quy tuyến tính cục bộ ARMAX ( AutoRegressive Moving Average with eXogenous inputs models ) Trong cách tiếp cận của họ, đối tượng phi tuyến được phân tách thành vài chế độ hoạt động và với từng chế độ, mô hình ARMAX được triển khai Chức năng hàm cho từng mô hình cục bộ được chấp nhận và mô hình toàn cục NARMAX đạt được bởi nội suy những

mô hình ARMAX cục bộ

Mô hình mờ có thể thực hiện bởi sử dụng mạng mờ noron Sự trình bày mạng mờ noron nổi lên là cách tiếp cận mạnh cho giải pháp rất nhiều vấn đề [3], [4] Jang [5] đề xuất kiến trúc mô hình mạng thích nghi mờ ANFIS ( adaptive-network-based fuzzy inference system ) thay thế cho mô hình mờ Trong suốt quá trình huấn luyện lan truyền ngược, ANFIS có khả năng thich nghi bằng cách tinh chỉnh luật mờ nếu-thì ( if- then ) nhờ sử dụng tín hiệu vào/ra hệ thống Suy luận mờ

có khả năng xử lí các thông tin mập mờ không chắc chắn trong khi mạng noron có khả năng nhận dạng các dữ liệu môi trường thưc Mạng mờ noron kết hợp thuận lợi

cả suy luận mờ và mạng noron Kiến thức quá trình có thể được nhúng trong cấu trúc mạng mờ noron trong quan điểm về sự phân chia hàm liên thuộc mờ và cài đặt tham số cho mô hình cục bộ có bậc mô hình thu gọn 2 cấu trúc mạng mờ noron truyền thẳng và hồi quy được đề xuất cho mô hình hóa đối tượng phi tuyến Trong những đối tượng phi tuyến mà không mang tính chất động học thì cấu trúc mạng

mờ noron truyền thẳng cho kết quả huấn luyện tốt và thời gian huấn luyện nhanh chóng như được chỉ ra trong bài báo [6] của M.Azeem Việc xây dựng mạng mờ thích nghi tổng quát GRBFN ( Generalized Radial Basic Function Network ) do

M.Azeem đưa ra giúp ta có thể loại bỏ đi vài biến hoặc vài luật trong mạng mờ noron khi nhận dạng một đối tượng phi tuyến Mô hình mạng mờ noron truyền thẳng dùng để dự báo trước 1 bước sử dụng đầu ra của quá trình ở thời điểm hiện tại làm thành một tín hiệu đầu vào mạng để dự báo đầu ra quá trình trong thời điểm tiếp theo

Trong thực tế thì đối tượng luôn mang tính chất động học hoặc trường hợp đầu ra đo lường bị trễ hoặc sai lệch nhiều do ảnh hưởng của nhiễu thì mô hình truyền thẳng là không thích hợp Thật tốt khi biết rằng đối tượng có tính động học

có thể được xây dựng bởi mạng noron động như mạng noron hồi quy [7] và [8], mạng Elman [9], [10] Mạng noron hồi quy có đầu ra được hồi tiếp trờ lại mạng thông qua thời gian trễ Trong mạng Elman, các đầu ra noron lớp ẩn ở thời điểm trước được phản hồi tới tất cả các lớp ẩn Giống như mạng liên kết ,nó tương tự mô hình trạng thái phi tuyến đặc trưng cho mô hình động lực học Scott và Ray [11] đã chứng minh việc biểu diễn mạng Elman cho mô hình hóa quá trình phi tuyến

Trên cơ sở đó, bài báo [12] của Zhang đã đưa ra một dạng của mạng mờ noron hồi quy và nó xây dựng mô hình nhận dạng phi tuyến từ liên kết mờ của một

số mô hình động học cục bộ Trong mạng mờ noron hồi quy này, đầu ra của mạng được phản hồi tới đầu vào của mạng qua một vài phần tử trễ Đặc tính này của cấu trúc đảm bảo rằng việc nhận dạng từ mạng mờ noron hồi quy là đảm bảo tính động học Cả hiểu biết quá trình và dữ liệu vào/ra được sử dụng để xây dựng mô hình nhận dạng và mô hình dự báo Kiến thức quá trình được sử dụng để khởi tạo việc phân chia đặc điểm phi tuyến quá trình thành nhiều vùng hoạt động cục bộ và giúp

đỡ cho việc khởi tạo các trọng số mạng tương ứng Dữ liệu vào/ra quá trình được sử dụng để huấn luyện mạng Hàm liên thuộc của chế độ hoạt động cục bộ được nhận biết và mô hình cục bộ được tìm ra trong suốt quá trình huấn luyện Trong lúc huấn luyện mạng hồi quy, đối tượng được huấn luyện để làm sai lệch đầu ra là nhỏ nhất

Do đó, mạng mờ noron hồi quy khi huấn luyện thành công có thể cung cấp các mô hình nhận dang hoặc mô hình dự báo tốt

Mô hình mạng mờ noron hồi quy có thể được sử dựng để phát triển một dạng mới của mô hình phi tuyến dựa trên cơ sở bộ điều khiển dự báo Trên cơ sở các mô hình tuyến tính cục bộ được chứa đựng trong mạng mờ noron hồi quy, ta có thể phát triển bộ điều khiển dự báo cho mỗi mô hình tuyến tính cục bộ này Mỗi mô hình tuyến tính cục bộ sẽ được đưa về dạng chuẩn điều khiển dự báo hồi quy có tích phân CARIMA (Controlled auto-regressive integrated moving average).

Với mỗi mô hình cục bộ mô tả trên ta có thể xây dựng được rất nhiều phương pháp điều khiển dự báo đơn giản như bộ điều khiển dự báo GPC ( generalised predictive control ) với phương pháp thực hiện như trong tài liệu [13] Những bộ điều khiển cục bộ này có thể kết hợp qua giải mờ trọng tâm COG để định

ra mô hình phi tuyến toàn cục dựa trên bộ điều khiển dự báo tầm xa Việc thuận lợi của cách tiếp cận này là thông thường tồn tại phương pháp phân tách cho mô hình

dự báo cục bộ ( trừ trường hợp mô hình phi tuyến là bắt buộc ) và do đó tránh được thủ tục yêu cầu tính toán tối ưu số học và không đảm bảo hội tụ tới giá trị cục tiểu toàn cục mà điển hình được biết trong các bài báo trước về mô hình phi tuyến trên nền chiến lược điều khiển dự báo Khi mô hình phi tuyến là bắt buộc, sự khó khăn trong tính toán và phân tích có thể dễ dàng kết hợp qua các bộ điều khiển cục bộ Ví

dụ, hệ phi tuyến bắt buộc có thể không hoạt động trong một vùng riêng biệt và do

đó có thể được nới lỏng trong vùng đó Trong 1 vùng hoạt động riêng biệt , hệ ràng buộc phi tuyến có thể được xấp xỉ bởi một hệ ràng buộc tuyến tính Hơn nữa, những tác động điều khiển được tính toán từ mô hình tuyến tính cục bộ gia tăng với tích phân tín hiệu mà có thể loại trừ các tín hiệu sai lệch tĩnh offset

1.3 Kết luận nghiên cứu

Từ kết quả của hai bài báo [6] , [12] của M.Azeem và Zhang ta rút ra được những kết luận về cấu trúc mạng GRBFN và mạng hồi quy RNFN như sau :

Mạng GRBFN của M.Azeem có cấu trúc mạng truyền thẳng, có hàm liên thuộc dạng tổng quát từ đó cho phép ta có thể loại bỏ vài biến hoặc vài luật trong

mạng mờ noron khi nhận dạng đối tượng phi tuyến Mạng GRBFN cho kết quả huấn luyện tốt, thời gian huấn luyện nhanh hơn so với mạng hồi quy Nhược điểm : Mạng GRBFN chưa ứng dụng được cho nhận dạng và điều khiển đối tượng động học phi tuyến

Mạng RNFN của Zhang có khả năng nhận dạng, dự báo tầm xa và điều khiển tốt các đối tượng động học phi tuyến nhưng nhược điểm là mạng hồi quy nên thời gian huấn luyện mạng lâu không đáp ứng thời gian thực Ngoài ra bài báo của Zhang mới chỉ ứng dụng để nhận dạng và điều khiển đối tượng một vào một ra SISO, còn trong thực tế đa phần các đối tượng là đa biến MIMO

Kết hợp ưu điểm của hai mạng GRBF và RNFN ta xây dựng nên mạng GRNFN có cấu trúc mạng RNFN và hàm liên thuộc tổng quát GFM Mạng GRNFN giúp ta có thể nhận dạng được đối tượng động học phi tuyến mạnh Ngoài ra mạng truyền thẳng bao giờ cũng huấn luyện nhanh hơn mạng hồi quy nên ta cải biến mạng GRNFN từ hồi quy sang truyền thẳng bằng cách lấy tập mẫu đầu ra làm thành đầu vào ảo mạng mờ noron khiến thời gian huấn luyện mạng nhanh hơn mà vẫn cho kết quả điều khiển đối tượng tốt Từ kết quả đó có thể được ứng dụng vào trong điều khiển thời gian thực mà đối tượng có tham số biến thiên theo thời gian đòi hỏi phải chỉnh sửa tham số trong mô hình cục bộ tương ứng

Đóng góp của luận văn này là xây dựng mô hình mạng mờ noron tổng quát GRFNN để nhận dạng và điều khiển đối tượng động học phi tuyến MISO Trong luận văn này tác giả đã sử dụng công cụ Matlab để mô phỏng quá trình nhận dạng

và điều khiển đối tượng mà thiếu các toolbox cần thiết Ở đây tác giả đã xây dựng thêm một số hàm để có thể thiết kế riêng một mạng mờ noron theo ý muốn mà trước đó chưa có luận văn trong nước nào làm được

Luận văn này được cấu trúc như sau Phần II mô tả cấu trúc mạng noron từ đơn giản đến phức tạp, cách thức làm việc, phương pháp huấn lyện mạng noron Phần III mô tả công cụ mờ, cách thức xây dựng hàm liên thuộc, thiết kế bộ điều khiển Xây dựng và ứng dụng mạng mờ-noron tổng quát được trình bày trong phần

IV

CHƯƠNG 2 CƠ SỞ LÝ THUYẾT MẠNG NORON

Chương 2 giúp cho chúng ta có cách nhìn tổng quan về mạng noron trong đời sống và trên lí thuyết Ở đây nêu lên những khái niệm chung nhất, cấu trúc, cách

mô tả và hệ thống kí hiệu mạng noron để ứng dụng trong đồ án này Trong chương

2 chúng ta phân chia thành 6 mục Mục 2.1 giới thiệu về mạng noron sinh học, cấu trúc và cách hoạt động của mạng noron thực tế Từ đó làm cơ sở mô phỏng tính năng và cấu trúc mạng noron sinh học tạo ra được mô hình mạng noron nhân tạo trong mục 2.2 Mục 2.3, 2.4 nêu lên cách thức xây dựng mô hình mạng noron lần lượt từ thấp đến cao, từ đơn giản đến phức tạp và có thể gộp chung lại nhưng ta tách riêng ra cho tiện theo dõi Mục 2.5 trình bày về 2 cấu trúc mạng được sử dụng trong

đề tài để điều khiển đối tượng Mục 2.6 nêu lên phương thức hoạt động của mạng noron nhân tạo Các khái niệm được nêu ra ở đây là căn bản cho việc huấn luyện mạng trình bày ở chương 3

Mạng noron bao gồm vô số các noron được liên kết truyền thông với nhau trong mạng

Một noron bao gồm các thành phần cơ bản:

-Thân noron được giới hạn trong một màng membran và trong cùng là nhân

Từ thân noron còn có rất nhiều đường rẽ nhánh gọi là rễ

-Đường liên lạc liên kết noron này với noron khác được gọi là axon, trên axon có các đường rẽ nhánh Noron có thể liên kết với các noron khác qua các rễ Chính vì sự liên kết đa dạng như vậy nên mạng noron có độ bền liên kết cao

-Các rễ của noron được chia thành hai loại: loại nhận thông tin từ nơron khác qua axon, mà ta sẽ gọi là rễ đầu vào và loại đưa thông tin qua axon tới các noron khác gọi là rễ đầu ra

Một noron có thể có nhiều rễ đầu vào, nhưng chỉ có một rễ đầu ra Như thế, nếu xem noron như một khâu điều khiển thì đó chính là khâu có nhiều đầu vào, một đầu ra

Hình 2.2 Noron là khâu MISO

Quá trình hoạt động của một noron là một quá trình điện hóa tự nhiên Ở trạng thái cân bằng (trạng thái tĩnh) điện áp của màng membran khoảng 75mV Khi

có tác động bên ngoài vào noron (mức điện áp khoảng 35mV) trong tế bào noron xảy ra hàng loạt các phản ứng hóa học tạo thành lực tác động làm noron bị kích hoạt Thế năng sinh ra khi noron ở trạng thái bị kích thích hoàn toàn này chỉ tồn tại trong khoảng vài mili giây sau đó noron lại trở về trạng thái cân bằng cũ, thế năng này được truyền vào mạng qua axon và có khả năng kích thích hoặc kìm hãm tự nhiên các noron khác trong mạng Một noron sẽ ở trạng thái kích thích khi tại đầu vào xuất hiện một tín hiệu tác động vượt qua ngưỡng cân bằng của noron

Một tính chất của mạng noron sinh học là các đáp ứng theo kích thích có khả năng thay đổi theo thời gian Các đáp ứng có thể tăng lên, giảm đi hoặc hoàn toàn

biến mất Qua các nhánh axon liên kết tế bào nơron này với tế bào noron khác, sự thay đổi trạng thái của một noron cũng kéo theo sự thay đổi trạng thái của những noron khác và do đó là sự thay đổi của toàn bộ mạng noron Việc thay đổi trạng thái của mạng noron có thể thực hiện qua một quá trình dạy hoặc do khả năng học tự nhiên

2.2 Mạng noron nhân tạo

Khái niệm

Khi nói về mạng noron trong khoa học máy tính ta hiểu là đang nói về mạng noron nhân tạo (ANN-Artificial Neural Network) bởi vì trong thực tế mạng noron sinh học (BNN-Biological Neural Network) phức tạp và tinh vi hơn rất nhiều so với mạng noron nhân tạo Thực chất, mạng noron nhân tạo là những mô hình toán học

mà con người xây dựng nên để mô phỏng noron thần kinh Không có một định nghĩa tổng quát nào về mạng noron nhưng hầu hết mọi người đồng ý với khái niệm

về mạng nơron như sau:

Mạng noron là một hệ thống bao gồm rất nhiều phần tử xử lý đơn giản cùng hoạt động song song Tính năng hoạt động của hệ thống này phụ thuộc vào cấu trúc của hệ thống, vào cường độ liên kết giữa các phần tử trong hệ thống và vào quá trình xử lý bên trong các phần tử đó Hệ thống này có thể học từ các số liệu và có khả năng khái quát từ số liệu đó

Mạng noron có một số ưu nhược điểm sau:

Ưu điểm của mạng noron:

- Có thể chứa tính phi tuyến (nonlinearity)

- Mô hình tổng quát cho đầu vào đến đầu ra (input-output mapping)

- Tính thích nghi cao (adaptivity)

- Chấp nhận lỗi (Fault Tolerance)

- Thích ứng với nhiễu dữ liệu (noise)

- Khả năng song song (Parallelism, VLSI implementation)

Nhược điểm của mạng noron:

- Việc thiết kế, xác định một thông số của mạng noron đòi hỏi phải có nhiều kinh nghiệm (Art, Rule of Thumb)

- Thách thức về việc tích hợp các mạng noron cỡ lớn như não bộ con người

- Việc thay đổi cấu trúc tương đối hạn chế, gặp khó khăn khi lời giải đòi hỏi phải có cấu trúc phức tạp hay biến đổi

Mạng noron nhân tạo có thể được thiết lập bằng nhiều cách khác nhau, vì vậy trong thực tế tồn tại rất nhiều kiểu mạng noron nhân tạo

Hình 2.3 Noron nhân tạo

Đứng về mặt hệ thống, một noron là một hệ thống MISO quen thuộc với nhiều đầu vào và một đầu ra Cấu trúc của một noron gồm ba thành phần cơ bản:

- Các kích thích (các đầu vào) của tế bào noron có thế năng tác động vào màng membran khác nhau được biểu diễn qua trọng số w i i, =1 R tương ứng với cường độ kích thích của từng đầu vào Tổng giá trị của các kích thích đầu vào được thực hiện qua một bộ cộng, đó là giá trị đo kích thích đầu vào tác động vào tế bào noron

- Đầu ra của bộ cộng được đưa đến khâu tiền đáp ứng c Khâu này không chỉ

có chức năng tạo đáp ứng tức thời mà còn có khả năng lưu giữ các đáp ứng theo thời gian Thành phần này làm việc theo nguyên lý “nhớ động”

- Noron bị kích thích trong thời gian thế năng của màng membran vượt quá ngưỡng, mô hình noron ở trạng thái tích cực Quan hệ này được thực hiện nhờ khâu

tạo tín hiệu ra f, nó có chức năng của khâu tạo tín hiệu ngưỡng, xác định sự phụ thuộc của tín hiệu ra a vào các kích thích đầu vào

Cách thành lập noron nhân tạo như vậy tạo ra một độ tự do trong thiết kế

việc lựa chọn khâu cộng tín hiệu vào, khâu tiền đáp ứng c, và khâu tạo tín hiệu đáp

ứng f, sẽ cho ra các kiểu noron nhân tạo khác nhau và tương ứng là các mô hình

R

w W w

R

p P p

Khâu tiền đáp ứng c: Những khả năng hoạt động của noron hoàn toàn phụ

thuộc vào khâu tạo chức năng đáp ứng c Thế năng của màng membran càng cao nếu như giá trị n càng lớn

Khâu tạo chức năng đáp ứng tăng giảm phụ thuộc vào giá trị đầu vào, một cách đơn giản nhất có thể tạo đáp ứng theo phương trình

Quan hệ giữa tín hiệu vào và ra được biểu diễn theo phương trình trên là một quan hệ tĩnh và tuyến tính Đây cũng là cách thiết kế noron nhân tạo một cách đơn giản nhất

Để tăng độ chính xác, người ta tìm cách xây dựng mô hình động cho noron Thực tế, khi có kích thích đầu vào, thế năng của màng membran tăng dần lên cho dù ngay tại thời điểm được kích thích vẫn chưa có đáp ứng đầu ra Hoàn toàn tương tự, khi kích thích mất đi thì noron cũng không thể trở về ngay trạng thái cân bằng cũ

mà sự trở về diễn ra cũng dần dần như một quá trình liên tục theo thời gian Quá trình đó có thể mô tả qua phương trình vi phân bậc nhất

0

Trong đó c0là thế năng của màng membran ở trạng thái không bị kích thích

Đó là phương trình động học của một khâu quán tính bậc nhất với hằng số thời gian

quán tính T Khâu tạo chức năng đáp ứng kiểu này còn có tên là BSB

Bên cạnh khâu tạo đáp ứng c kiểu tuyến tính và kiểu BSB còn tồn tại các

kiểu khâu theo kiểu gián đoạn Thuộc nhóm khâu kiểu gián đoạn có khâu tạo đáp

ứng theo hàm Hopfield

khi n c

khi n

Khâu tạo đáp ứng f: Giá trị đầu ra a của một noron biểu diễn trạng thái

kích thích đến các noron tiếp theo trong mạng Tín hiệu ra a phụ thuộc vào độ kích

thích của noron, thông thường được so sánh theo kiểu cắt ngưỡng Quan hệ này

được mô tả qua khâu tạo đáp ứng f của mô hình noron Thông thường giá trị ra a phải thay đổi liên tục theo sự thay đổi của tiền đáp ứng c hoặc không thay đổi nếu c nhỏ hơn giá trị ngưỡng Sự thay đổi này là đồng biến (monoton) Có rất nhiều phương pháp xây dựng khâu tạo đáp ứng f

Xuất phát từ quan điểm logic kinh điển, có thể coi noron như một phần tử làm việc theo nguyên tắc đóng mở, tức là chỉ tồn tại hai trạng thái: noron tích cực

(bị kích thích) và ở trạng thái không tích cực, ta tạo được khâu tạo đáp ứng f đơn

giản nhất

Khâu tạo đáp ứng trong trường hợp này có thể biểu diễn dưới dạng hàm bậc thang

0 0

Với bước nhảy tại thời điểm c c= 0, giá trị đầu ra a có thể là một hằng số nào

đó không nhất thiết phải là 0 hoặc 1 Giá trị c0chính là ngưỡng quyết định trạng thái của nơron (bị kích thích hay không bị kích thích)

Thông thường sự chuyển đổi trạng thái của noron từ không tích cực sang tích cực và ngược lại là quá trình liên tục Quá trình chuyển đổi này có thể so sánh với quá trình chuyển đổi từ tập rõ sang tập mờ, đó là quá trình chuyển đổi trơn từ giá trị

0 sang giá trị 1

1 Một trong những khâu mô tả được qúa trình liên tục đó là khâu sigma biểu diễn dưới dạng hàm Fermi:

1 ( )

Bên cạnh các khâu tiền định vừa nêu còn có loại khâu tạo đáp ứng ngẫu

nhiên Khâu này cho ra giá trị a nhị phân (hoặc bằng 0 hoặc bằng 1) tại đầu ra

Điểm khác biệt so với loại khâu tiền định là hàm mô tả khâu không ở dạng tiền định

mà là hàm thông báo xác suất có thể được a = 1 tại đầu ra Một trong đại diện cho

mô hình mô tả khâu ngẫu nhiên này là hàm Boltzman định nghĩa như sau

0

1( 1)

1

c c T

Trong đó c0là giá trị ngưỡng và tham số T là một đại lượng vật lý biểu diễn

độ nhạy cảm của nơ-ron

Dưới đây là quan hệ vào ra của một nơron thường được sử dụng:

1

( )

m

k k k

Trong đó f là hàm truyền, w là trọng số và b là tham số bù

Với một số hàm f cơ bản thường được sử dụng:

2.3 Mô hình mạng 1 noron đơn lẻ (Neuron Model)

2.3.1 Mạng 1 noron và 1 tín hiệu đầu vào

Mạng noron với 1 tín hiệu đầu vào vô hướng và không có tham số bù (bias) b như hình vẽ 2.4a bên trái

a) b) Hình 2.4 Mô hình mạng 1 noron a) Mạng 1 noron không có tham số bù b

b) Mạng 1 noron có tham số bù b

Đầu vào vô hướng (scalar input) p được kết nối với tham số trọng số vô hướng (scalar weight) w đạt được tích w*p cũng là dạng vô hướng Ở đây trọng số đầu vào (weighted input) w*p là 1 tham số biến của hàm truyền đạt (transfer function) f tạo ra đầu ra vô hướng a (scalar output) Trong khi đó mô hình noron ở hình 2.4b bên phải có tham số bù vô hướng( scalar bias) b Chúng ta có thể thấy

tổng kết nối (summing junction) của tham số bù b và tích w*p từ đó kết quả hàm f

bị lệch đi bởi biến b Tham số bù b rất giống tham số trọng số w chỉ khác ở chỗ nó

có tín hiệu đầu vào là cố định bằng 1

Đầu vào thực của hàm truyền (transfer function net input) n cũng là vô hướng là tổng của trọng số đầu vào (weighted input) w*p và bù (biases) b Tổng này chính là biến thực của hàm truyền f Hàm truyền f có dạng như hàm bước nhảy (step function) hoặc hàm sigmoid lấy biến vào n và đưa ra kết quả là đáp ứng a Chú

ý tham số w và b đều là tham số vô hướng có thể thay đổi của noron Vấn đề trung

tâm của mạng noron (neural network ) là thay đổi các tham số w và b để mạng có

thể đưa ra các cách cư xử, phản ứng theo mong muốn Đây chính là cách thức huấn luyện mạng

Về cơ bản là trong Matlab người ta thường sử dụng nhiều tham số b ở trong các noron, tuy nhiên ta vẫn có thể bỏ qua nó trong thiết kế Ngoài ra chú ý b không phải là 1 đầu vào mà là 1 tham số thay đổi của noron

2.3.2 Mạng một noron và đầu vào là vecto (nhiều phần tử đầu vào)

Ta khảo sát mạng một noron với vecto tín hiệu đầu vào đơn lẻ gồm R phần

tử (a single R-element input vector) Chú ý ta phân biệt khái niệm giữa số tín hiệu đầu vào và số phần tử của 1 vec tơ tín hiệu Giả sử ta có thể có 2 tín hiệu đầu vào trong đó tín hiệu đầu vào thứ 1 gồm 2 phần tử và đầu vào 2 chỉ gồm 1 phần tử

1 2

1

1 2 1 4

p input

Hình 2.5 Noron có nhiều tín hiệu đầu vào

Mạng noron có 1 tham số bù hay tham số dịch chuyển b và nó được tính tổng

với đầu vào có trọng số để được đầu vào thực (net input) n Tổng này, n, là biến vào

cho hàm truyền f

n= w1,1.p1+w1,2.p2+w1,3.p3+…w1,R.pR+b (2.13)

2.3.3 Hệ thống kí hiệu rút gọn (Abbriviated Notation)

Hinh vẽ về một noron trên chứa rất nhiều chi tiết Khi ta quan tâm đến một mạng gồm nhiều noron trong 1 lớp và có thể có nhiều lớp thì khiến cho có quá nhiều chi tiết làm cho phần chính dễ bị sao lãng và bị mất, bỏ sót dữ liệu và không

thuận tiện Do đó ở đây ta đặt ra một hệ thống kí hiệu vắn tắt riêng cho từng noron riêng lẻ như hình sau:

Hình 2.6 Kí hiệu mạng 1 noron nhiều đầu vào

Ở đây vector đầu vào p được thay thế bằng 1 thanh đen đặc dựng đứng ở bên trái Số chiều hay số phần tử của p được chỉ ra trong hình bên dưới kí hiệu p là

1

R × Do đó p ở đây có R phần tử đầu vào Những đầu vào này sẽ được nhân với

ma trận W có 1 hàng, R cột (single-row, R-column matrix W) Như nói trên hằng số

1 sẽ được thêm vào noron coi như là 1 tín hiệu đầu vào và được nhân với tham số dịch chuyển vô hướng b Đầu vào thực net input tới hàm truyền f là n là tổng của b

và tích Wp Tổng này được đưa tới hàm truyền f để tạo ra đầu ra a mà ở đây là đại

lượng vô hướng Chú ý nếu ở đây có nhiều hơn 1 noron thì đầu ra của mạng sẽ là 1 vecto

Một lớp của mạng noron gồm ma trận trọng số w với phép nhân, phép tổng

với tham số dịch chuyển b và hàm truyền f nhưng không bao gồm vecto đầu vào p

Sau này kí hiệu vắn tắt như trên sẽ được sử dụng thường xuyên, kích thước của ma trận sẽ được ghi dưới tên của ma trận đó Hệ thống kí hiệu trên sẽ giúp cho

ta hiểu về cấu trúc của mạng và các ma trận tính toán đi kèm với chúng

2.4 Xây dựng mạng nhiều noron

Hai hoặc nhiều noron có thể kết hợp lại thành 1 lớp mạng và trong mạng noron thì có thể có 1 hoặc nhiều lớp Đầu tiên ta sẽ xem xét mạng noron 1 lớp

2.4.1 Mạng noron 1 lớp

Trong mạng network từng phần tử của vecto p được kết nối với từng noron đầu vào (neural input) thông qua ma trận trọng số W Noron thứ i tính tổng đầu vào mang trọng số (weighted input) và tham số dịch chuyển của nó để tạo ra kết quả vô hướng n( i ) Các biến n( i ) được tập hợp với nhau lại trong dạng vecto S phần tử đầu vào thực (S-element net input vector) n Cuối cùng đầu ra của lớp mạng noron xếp thành vecto cột a Việc biểu thị điều đó được chỉ ra ở phía đáy hình

Mạng 1 lớp với R phần tử đầu vào và S noron như hình vẽ sau :

Hình 2.7 Mạng noron 1 lớp nhiều đầu vào

Chú ý thông thường số lượng phần tử đầu vào của 1 lớp khác với số lượng noron trong lớp đó (R không nhất thiết phải bằng S) Một lớp không bị bắt buộc là

số đầu vào nó bằng số noron trong lớp đó

Một lưu ý là trong Matlab yêu cầu bắt buộc các noron trong 1 lớp phải có cùng hàm truyền Muốn tạo ra trong 1 lớp các noron có hàm truyền khác nhau thì ta phải xây dựng thành 2 mạng noron song song với nhau và có cùng tín hiệu đầu vào Tất cả các mạng có đầu vào giống nhau thì đáp ứng đầu ra cũng sẽ giống nhau

Các phần tử vecto đầu vào sẽ truyền đến mạng qua ma trận trọng số W

1,1 1,2 1, 2,1 2,2 2,

ra việc nhân tín hiệu phần tử đầu vào thứ 2 với w1,2 đưa đến noron thứ 1

Mạng 1 lớp gồm có S noron và R phần tử đầu vào được kí hiệu :

Hình 2.8 Kí hiệu rút gọn của mạng noron 1 lớp

Ở đây p là vecto đầu vào có độ dài R, W là ma trận có kích thước S R× , và

a, b là vecto có độ dài S

2.4.2 Kí hiệu đầu vào và các lớp ( Inputs and Layers)

Để miêu tả mạng noron nhiều lớp, hệ thống kí hiệu của ta cần mở rộng Đặc biệt ta cần phân biệt ma trận trọng số kết nối từ tín hiệu vào và ma trận trọng số liên kết giữa các lớp, như vậy cần phân biệt nguồn và đích trong ma trận

Ta gọi ma trận trọng số liên kết nối với đầu vào là các trọng số vào (input weights) và các ma trận đến từ lớp ra là trọng số liên kết lớp (layer weights) Ta

sẽ dùng các chỉ số viết bên trên để phân biệt nguồn (chỉ số thứ hai) và đích (chỉ số thứ nhất) cho các trọng số liên kết và các phần tử khác của mạng

Xét một lớp mạng có vector đầu vào như hình 2.9 Ta thấy ma trận trọng số được kết nối với vecto tín hiệu đầu vào p và được gọi là ma trận trọng số đầu vào hay trọng số vào (input weight matrix ) IW1,1có nguồn vào là 1(chỉ số thứ 2) và có

đích đến là lớp 1(chỉ số thứ 1) Sau này ta sẽ thấy tín hiệu đầu vào không chỉ kết nối với lớp thứ 1 mà có thể còn kết nối với các lớp khác 3, 4 chẳng hạn Các phần tử của lớp thứ 1 như tham số bù hay tham số dịch chuyển b1, đầu vào thực net input n1,

và đầu ra a1 đều có chỉ số bên trên là 1 để nói rằng nó thuộc lớp thứ 1 Trong đó R

là số phần tử lớp vào và S1 là số nơron của lớp 1

Hình 2.9 Hệ thống kí hiệu mở rộng cho mạng noron 1 lớp

2.4.3 Mạng noron nhiều lớp (Multiple layers of Neuron)

Một mạng có thể có nhiều lớp Mỗi lớp lại có ma trận trọng số W, tham số

bù b, và vecto đầu ra a Để phân biệt các ma trận trọng số liên kết và véctơ đầu ra,…tương ứng cho mỗi lớp mạng trong sơ đồ, ta thêm con số chỉ lớp viết ở phía trên cho biến số quan tâm

Ta có thể thấy việc sử dụng hệ thống kí hiệu lớp trong 1 mạng 3 lớp ở hình trên và trong phương trình ở dưới cùng của hình Trong đó có R1 đầu vào, S1 nơ ron

ở lớp 1, S2 nơron ở lớp 2 …Thông thường, các lớp khác nhau có số nơ ron khác nhau Đầu vào cố định 1 được cung cấp cho tham số bù b tương ứng với từng noron

Chú ý rằng đầu ra của mỗi lớp trung gian là đầu vào của lớp tiếp theo Như vậy lớp 2 có thể được xem như mạng 1 lớp với S1 đầu vào, S2 nơ ron và S2 x S1 trọng liên kết của ma trận W2,1 Đầu vào của lớp 2 là véc tơ a1, đầu ra là véc tơ

a2 Bây giờ ta có thể coi tất cả các vector và ma trận của lớp thứ 2 đã được nhận biết thì nó có thể được coi như mạng 1 lớp Sự gần giống này có thể xảy ra với 1 vài lớp của mạng

Hình 2.10 Mạng noron nhiều lớp

Các lớp của mạng nhiều lớp đóng vai trò khác nhau Lớp cuối cùng là kết quả ở đầu ra của mạng, được gọi là lớp ra Lớp đầu tiên thu thập tín hiệu vào được gọi là lớp vào, các lớp khác được gọi là lớp ẩn Mạng 3 lớp ở trên có 1 lớp ra ( lớp 3) có1 lớp vào ( lớp 1 ) và 1lớp ẩn ( lớp 2) Một số tác giả coi đầu vào như là lớp thứ 4 nhưng ở đây ta ko xét như thế

Đối với mạng 3 lớp ta cũng có thể sử dụng ký hiệu tắt để biểu diễn (hình 2.11)

Mạng nhiều lớp rất mạnh, ví dụ có mạng 2 lớp, trong đó lớp 1 có hàm chuyển sigmoid, lớp 2 có hàm chuyển linear có thể được huấn luyện để làm xấp

xỉ một hàm bất kỳ (với số điểm gián đoạn có hạn chế)

Trong đó a3 là đầu ra của mạng, ta ký hiệu đầu ra này là y Ta sẽ sử dụng ký hiệu này để định rõ đầu ra của mạng nhiều lớp

Hình 2.11 Kí hiệu rút gọn mạng nhiều lớp

2.5 Phân loại mạng noron

Mạng noron có cấu trúc mạng ghép nối hoàn toàn, tức là bất cứ một noron nào trong mạng cũng được nối với một hoặc vài noron khác Trong trường hợp các noron trong mạng có khâu tạo chức năng đáp ứng là khâu tuyến tính Tính phi tuyến chỉ nằm ở khâu tạo chức năng ra thì việc mắc nối tiếp các noron trong mạng không còn có ý nghĩa nữa và lúc đó ta hoàn toàn có thể thay thế mạng noron nhiều lớp thành mạng noron một lớp

Về cấu trúc của mạng noron người ta chia ra làm 2 loại: mạng noron truyền thẳng và mạng noron hồi quy

2.5.1 Mạng truyền thẳng ( Layered feedforward network )

Hình 2.12 là 1 ví dụ của mạng truyền thẳng gồm có 2 lớp Vector tín hiệu vào mạng được kí hiệu là p1 có R1 phần tử đầu vào Chỉ số phía trên đại diện cho số thứ tự của tín hiệu đầu vào vì nó có thể có nhiều hơn 1 vector đầu vào (số tín hiệu đầu vào khác với số phần tử của mỗi tín hiệu ) Tín hiệu đầu vào được kết nối tới lớp thứ 1 qua ma trận trọng số đầu vào IW1,1 với chỉ số bên trên thứ 1 đại diện cho

số thứ tự của lớp và chỉ số bên trên thứ 2 đại diện cho số thứ tự của tín hiệu đầu vào Tham số dịch chuyển của lớp thứ 1 được kí hiệu là b1 Net input tới lớp thứ 1 được kí hiệu là n1 và được tính toán như sau

1 1,1 1 1

Đầu ra của lớp thứ 1, a1, được tính toán từ đầu vào thực net input thông qua hàm truyền transfer function do đó a1 = f n1( )1 Đầu ra lớp thứ 1có S1 phần tử Đầu

ra của lớp thứ 1 chính là đầu vào của lớp thứ 2 thông qua ma trận trọng số lớp layer weight LW2,1 Toàn bộ đầu ra của mạng network được dán nhãn là y Thông thường chọn đầu ra của mạng là ở lớp cuối cùng mặc dù có thể đầu ra mạng là tín hiệu ra ở lớp bất kì trong mạng

Hình 2.12 Mạng truyền thẳng LFFN

Từng lớp trong mạng LFFN được cấu tạo gồm

- 1 /Cài đặt ma trận trọng số từ tín hiệu vào bên ngoài hoặc từ lớp này đến lớp khác

- 2 /Vecto tham số dịch chuyển – bias vector

- 3 /Hàm tổng kết nối –summing junction

- 4 /Hàm truyền – transfer function

Trong ví dụ trên chỉ có duy nhất 1 ma trận trọng số kết nối giữa các lớp nhưng thực tế có thể có nhiều ma trận trọng số mà được kết nối từ một vài vecto đầu vào và từ các đầu ra các lớp khác nhau Điều này sẽ trở nên rõ ràng hơn khi ta

đề cập đến mạng LDRN tiếp theo Ở ví dụ trên chỉ có 2 lớp, với 1 mạng LFFN khái quát có thể có số lớp tùy ý và các lớp có thể kết nối với nhau từ lớp nọ đến lớp kia không nhất thiết là phải theo thứ tự nối tiếp Ví dụ, lớp 1 có thể nối tới lớp thứ 3 và lớp 4 bởi ma trận LW3,1 và LW4,1 tương ứng Mặc dù các lớp có thể không được kết nối với nhau theo tuần tự nhưng nó có thể tính toán giá trị tín hiệu ra của mạng bởi