MẠNG RADIAL BASIS

1.3 Thiết kế mạng Hàm newrbe tạo ra một mạng có mức sai số bằng 0 với ngõ vào là vector huấn luyện.. Ngõ vào hàm là ma trận vector P, vector ngõ ra yêu cầu T và một hằng số SPREAD cho lớ

CHƯƠNG 6

MẠNG RADIAL BASIS

Mạng Radial Basis có thể yêu cầu nhiều neuron hơn mạng backpropagation feedforward chuẩn, nhưng thường thiết kế ít tốn thời gian hơn mạng feedforward chuẩn Mạng này sẽ hoạt

động tốt khi có nhiều vector huấn luyện Mạng Radial Basis được thiết kế bằng hàm newrbe hoặc hàm newrb GRNN và PNN được thiết kế bằng hàm newgrnn và newpnn.

1 HÀM RADIAL BASIS

1.1 Mô hình neuron

Mô hình mạng radial basis với R ngõ vào

Ngõ vào neuron của mạng này khác với ngõ vào của những mạng khác Với mạng này, ngõ vào hàm truyền là vector khoảng cách giữa trọng số w và vector nhập p nhân với ngưỡng b Hàm truyền cho mạng là radbas (n) = e –n² Hàm radial basis đạt giá trị lớn nhất là 1 khi ngõ vào bằng 0 Do đó khi khoảng cách giữa w và p tăng, thì ngõ ra giảm

Ngưỡng b cho phép điều chỉnh độ nhạy của neuron radbas

1.2 Cấu trúc mạng

Mạng radial basis có hai lớp : một lớp ẩn radial basis có S1 neuron, và một lớp tuyến tính ngõ ra có S2 neuron

Khối dist trong hình có ngõ vào là vector p và ma trận trọng số IW 1.1, cho ngõ ra vector S1

thành phần Các thành phần này là khoảng cách giữa vector ngõ vào và vector trọng số IW1.1 Sau đó ngõ ra khối dist nhân với vector ngưỡng b1

1.3 Thiết kế mạng

Hàm newrbe tạo ra một mạng có mức sai số bằng 0 với ngõ vào là vector huấn luyện Hàm

được gọi bằng lệnh net = newrbe (P,T,SPREAD) Ngõ vào hàm là ma trận vector P, vector ngõ

ra yêu cầu T và một hằng số SPREAD cho lớp radial basis; hàm trả về cho mạng trọng số và

ngưỡng phù hợp Hàm newrbe tạo số neuron radbas bằng số vector ngõ vào P Do đó, chúng

ta có một lớp các neuron radbas mà mỗi neuron nhận dạng một vector khác nhau

Mỗi ngưỡng của lớp thứ nhất được cài đặt bằng 0,8326/, sẽ cho hàm radial basis có giá trị 0.5 khi ngõ vào là ±SPREAD Điều này xác định vùng trong không gian vào với mỗi neuron đáp ứng Vì vậy SPREAD cần đủ lớn để neuron đáp ứng mạnh trên vùng không gian vào

Lớp thứ hai là lớp tuyến tính được thiết kế dựa trên lớp đầu

Do hàm newrbe tạo một mạng không có sai số trên tập vector huấn luyện Chỉ với điều kiện

SPREAD đủ lớn để vùng ngõ vào của neuron radbas có thể phủ lên nhau sao cho các neuron

radbas luôn luôn có nhiều ngõ ra chính xác tại mọi thời điểm Điều này làm cho hàm của mạng phẳng hơn và cho kết quả tổng quát hóa tốt hơn

Trở ngại của hàm newrbe là tạo nhiều neuron ẩn tương ứng số vector ngõ vào Vì lý do này,

mạng không được chọn khi cần nhiều vector ngõ vào để định nghĩa chính xác mạng

Hàm newrb chỉ tạo mạng radial basis một neuron mỗi lần lặp Các neuron được thêm vào

mạng cho đến khi tổng bình phương sai số nhỏ hơn sai số đích hoặc đã đạt được số neuron tối

đa Hàm gọi là :

net = newrb ( P, T , GOAL , SPREAD )

Hàm newrb mang đối số là ma trận vector ngõ vào và vector đích (P,T) với các thông số GOAL, SPREAD, trả về mạng yêu cầu Phương pháp thiết kế newrb tương tự newrbe, nhưng có một khác biệt là newrb tạo các neuron cùng một lúc Mỗi lần lặp, vector ngõ vào mà cho

kết quả sai số mạng nhỏ nhất sẽ được sử dụng để tạo ra một neuron radbas Lỗi của mạng mới

sẽ được kiểm tra nếu đủ nhỏ thì hàm newrb sẽ dừng, ngược lại neuron mới sẽ được cộng thêm

Thủ tục này được lặp lại cho đến khi đạt được sai số lỗi yêu cầu

Tương tự như newrbe, thông số SPREAD phải đủ lớn để các neuron radbas đáp ứng đủ phủ

vùng không gian ngõ vào, nhưng nếu quá lớn thì các neuron đáp ứng tương tự nhau

Một câu hỏi đặt ra là tại sao không luôn luôn sử dụng mạng radial basis thay thế cho mạng feedforward chuẩn ? Mạng radial basis, ngay cả khi thiết kế mạng có hiệu quả cao bằng hàm

newrbe, cũng có nhiều neuron hơn mạng feed-forward với neuron tansig hoặc logsig trong lớp

ẩn

Câu trả lời là với mô hình mạng feddforward các neuron sigmoid có ngõ ra đáp ứng được trên một không gian rộng ngõ vào, còn mô hình mạng radial basis thì các neuron radbas chỉ có thể đáp ứng trên không gian hẹp của ngõ vào Để đáp ứng được vùng lớn thì cần nhiều neuron radbas Hơn nữa thiết kế một mạng radial basis cần nhiều thời gian hơn mạng sigmoid / linear

2 MẠNG HỒI QUY TỔNG QUÁT HÓA ( GRNN)

Mạng hồi quy tổng quát hóa (GRNN) thường sử dụng hàm gần đúng Mạng gồm một lớp radial basis và một lớp tuyến tính đặc biệt

Cấu trúc mạng

Mạng này có cấu trúc tương tự mạng radial basis, nhưng hơi khác ở lớp thứ hai

Khối nprod cho ra vector n2 có S2 thành phần Các thành phần được chuẩn hóa bằng tổng các thành phần của a1

Lớp thứ nhất giống như mạng radial basis, có số neuron bằng số ngõ vào Ngưỡng b1 được cài đặt bằng 0,8326/SPREAD Lớp thứ hai cũng có số neuron bằng số ngõ vào mạng Trọng số của lớp thứ nhất được đặt là pT , còn lớp thứ hai là ma trận đích T

SPREAD lớn hơn sẽ phủ một vùng lớn hơn quanh vector vào mà các neuron lớp thứ nhất sẽ đáp ứng ở ngõ ra Do đó nếu SPREAD nhỏ, hàm radial basis sẽ rất dốc nên neuron có vector trọng số gần nhất với ngõ vào sẽ có tác dụng lớn hơn ở ngõ ra so với các neuron khác Mạng sẽ có khuynh hướng đáp ứng với vector đích liên kết với vector ngõ vào được thiết kế gần nhất

Khi SPREAD lớn hơn, độ dốc của hàm radial basis phẳng hơn và nhiều neuron sẽ cùng đáp ứng với vector vào

Có thể dùng hàm newgrnn để tạo mạng GRNN.

3 MẠNG XÁC SUẤT (PNN )

Mạng xác suất có thể dùng cho vấn đề phân loại Khi có ngõ vào, lớp thứ nhất tính khoảng cách giữa vector ngõ vào và vector ngõ vào huấn luyện, mạng sẽ đưa ra vector khoảng cách đó Lớp thứ hai tính tổng các ngõ ra lớp thứ nhất đối với mỗi nhóm ngõ vào và tạo ngõ ra mạng là vector xác suất Cuối cùng, hàm truyền cạnh tranh ở ngõ ra của lớp thứ hai lấy thành phần có xác suất lớn nhất, và cho giá trị ngõ ra là 1 đối với lớp đó và 0 đối với tất cả các lớp khác

Cấu trúc mạng

Giả sử rằng có Q cặp vector vào/vector đích Mỗi vector đích có K thành phần Một trong các thành phần là 1, còn lại là 0 Do đó, mỗi vector vào chỉ ứng với một trong các lớp K Lớp thứ nhất có trọng số ngõ vào là pT Khi có một vector vào khối dist  sẽ cho một vector ngõ ra có thành phần là vector khoảng cách giữa ngõ vào và tập huấn luyện Các thành phần này nhân với ngưỡng và qua hàm truyền radbas Khi ngõ vào gần với vector huấn luyện sẽ cho ngõ

ra giá trị gần bằng 1 ở vector a1 Nếu ngõ vào gần với nhiều vector huấn luyện của một lớp đơn, nó sẽ cho ngõ ra nhiều thành phần gần bằng 1 trong a1 Trọng số lớp thứ hai là ma trận vector đích T Mỗi vector chỉ bằng 1 trên hàng liên kết với lớp ngõ vào cụ thể và bằng 0 ở chỗ khác Phần nhân Ta1 lấy tổng các thành phần a1 Cuối cùng hàm truyền lớp thứ hai, hàm cạnh tranh, cho giá trị bằng 1 tương ứng với thành phần lớn nhất của N2 và bằng 0 ở chỗ khác Vì thế mạng đã phân loại vector ngõ vào thành một lớp trong K lớp, vì lớp đó có xác suất đúng lớn nhất

Ta có thể tạo mạng PNN bằng hàm newpnn.

4 KẾT LUẬN

Mạng radial basis có thể được thiết kế rất nhanh theo hai cách khác nhau :

• Phương pháp 1 dùng newrbe, tìm ra cách giải quyết chính xác Hàm newrbe tạo

mạng radial basis với số neuron radbas bằng số ngõ vào vector trong dữ liệu huấn luyện

• Phương pháp 2 dùng newrb, là mạng kích thước nhỏ nhất có thể giải quyết vấn đề với sai số cho trước Mạng yêu cầu ít neuron hơn newrbe Tuy nhiên do số neuron

radial basis tỉ lệ với kích thước không gian ngõ vào và độ phức tạp của vấn đề nên mạng radial basis lớn hơn mạng backpropagation

Mạng neural hồi quy tổng quát hóa thường sử dụng hàm xấp xỉ Khi có đầy đủ số neuron ẩn GRNN có thể tương ứng gần đúng một hàm liên tục với độ chính xác cao

Mạng neural xác suất được dùng cho vấn đề phân loại Việc thiết kế mạng rõ ràng nhưng không phụ thuộc vào huấn luyện Khi có đủ dữ liệu huấn luyện PNN được bảo đảm hội tụ tới sự phân loại Bayesian

GRNN và PNN có nhiều ưu điểm, nhưng cả hai có cùng khuyết điểm chính là hoạt động chậm, bởi vì có quá nhiều phép tính