MẠNG RBF VÀ TÌM HIỂU ỨNG DỤNG TRONG BÀI TÓAN NỘI SUY

Cách tiếp cận mạng nơron nhân tạo có ý nghĩa thực tiễn rất lớn, nó cho phép tạo ra các thiết bị có thể kết hợp khả năng song song cao của bộ não với tốc độ tính toán cao của máy tính.. T

MỤC LỤC

LỜI CẢM ƠN _ Error! Bookmark not defined LỜI NÓI ĐẦU 3 DANH MỤC HÌNH VẼ _ 5 CHƯƠNG 1 7

NƠRON SINH HỌC VÀ MẠNG NƠRON NHÂN TẠO _ 7 1.1 Nơron sinh học và bộ não người _ 7

1.1.1 Cấu tạo và hoạt động của một nơron 7 1.1.2 Cấu tạo và một số khả năng của não 8 1.1.3 So sánh khả năng làm việc của bộ não và máy tính _ 9

1.2 Mô hình nơron và mạng nơron nhân tạo _ 10

1.2.1 Mô hình nơron _ 10 1.2.2 Khái niệm mạng nơron nhân tạo 12 1.2.3 Đặc trưng của mô hình mạng nơron _ 12 1.2.4 Phân loại mạng nơron 13 1.2.5 Một số ví dụ đơn giản 22

1.3 Cách nhìn về mạng nơron nhân tạo _ 22

1.3.1 Mạng nơron như một công cụ tính toán _ 22 1.3.2 Mạng nơron như là một hệ thống tự thích nghi _ 23

2.2.1 Tầng ẩn _ 28 2.2.2 Tầng ra _ 30

2.3 Mô hình mạng RBF 30

2.3.2 Mô hình mạng RBF Gaussian 32

2.4 Một số phương pháp tập huấn cho mạng RBF 33

2.4.1 Lựa chọn các tâm cố định ngẫu nhiên 33 2.4.2.Lựa chọn các tâm tự sắp xếp _ 35 2.4.3 Chọn các tâm có giám sát _ 37

2.5 Thuật toán lai cho mạng RBF 38

2.5.1 Các vấn đề về phân nhóm 39 2.5.2 Mạng RBF với các kết nối đầu vào tuyến tính 41 2.5.3 Thuật toán lai tạo mới 42

3.2.1 Đa thức nội suy Lagrange _ 51 3.2.2 Nội suy hàm số trên lưới đều 52 3.2.3 Nội suy hàm số trên lưới không đều _ 53 3.2.4 Kết quả cài đặt _ 56

3.3 Mạng RBF và bài toán nội suy _ 56 3.4 Phương pháp lặp huấn luyện mạng nội suy RBF _ 603.4.1 Bài toán nội suy đa biến và cách tiếp cận RBF _ 61 3.4.2 Kiến trúc mạng nội suy RBF và đặc điểm huấn luyện 62 3.4.3 Thuật toán huấn luyện lặp _ 63

3.5 Kết luận _ 67 KẾT LUẬN 68 TÀI LIỆU THAM KHẢO 69 PHỤ LỤC _ 70

LỜI NÓI ĐẦU

Ngày nay không ai có thể phủ nhận vai trò cực kỳ quan trọng của máy tính trong nghiên cứu khoa học kỹ thuật cũng như trong đời sống Máy tính đã làm được những điều kỳ diệu và giải được những vấn đề tưởng chừng như nan giải

Tuy nhiên, một máy tính dù có mạnh đến đâu cũng đều phải làm việc theo một chương trình chính xác đã được hoạch định trước bởi các chuyên gia Bài toán càng phức tạp thì việc lập trình càng công phu Con người làm việc bằng cách học tập, rèn luyện và khi làm việc con người có khả năng liên tưởng, kết nối

sự việc này với sự việc khác, và quan trọng hơn hết là họ có thể sáng tạo

Từ lâu các nhà khoa học đã nhận thấy những ưu điểm của bộ óc con người

và tìm cách bắt chước để thực hiện cho máy tính có khả năng học tập, nhận dạng

và phân loại Các mạng nơron nhân tạo đã ra đời từ những nỗ lực đó

Cách tiếp cận mạng nơron nhân tạo có ý nghĩa thực tiễn rất lớn, nó cho phép tạo ra các thiết bị có thể kết hợp khả năng song song cao của bộ não với tốc

độ tính toán cao của máy tính Trong những năm gần đây mạng nơron nhân tạo

đã được nghiên cứu và ứng dụng trong các lĩnh vực như y học, điều khiển và đặc biệt được ứng dụng nhiều trong lĩnh vực Công nghệ thông tin

Từ những năm 80 hàm cơ sở xuyên tâm được xem như là một biến thể của mạng nơron nhân tạo Tuy nhiên, nguồn gốc của chúng vẫn là dựa vào các công nghệ nhận dạng mẫu cũ có hàm khả năng, sắp xếp, hàm xấp xỉ, phép nội suy và các mô hình hçn hîp Mạng nơron sử dụng hàm cơ sở xuyên tâm đã được nghiên cứu rất nhiều trong những năm gần đây và được sử dụng nhiều để giải bài toán nội suy do loại mạng này có khả năng xấp xỉ toàn cục rất tốt

Nhận thức được vấn đề trên và cùng với sự định hướng của cô giáo Đào

Thị Thu em đã mạnh dạn chọn đề tài: “MẠNG RBF VÀ TÌM HIỂU ỨNG DỤNG TRONG BÀI TOÁN NỘI SUY” Hy vọng báo cáo đồ án này có thể

giúp mọi người nắm được phần nào những kiến thức cơ bản về mạng nơron nhân tạo nói chung, mạng RBF nói riêng và ứng dụng của mạng RBF vào bài toán nội suy

Báo cáo đồ án gồm 3 chương:

+ Chương 1: Nơron sinh học và mạng nơron nhân tạo

Giới thiệu về cấu tạo nơron sinh hoc, mô hình nơron, mạng nơron nhân tạo, cách nhìn về mạng nơron và giới thiệu một số lĩnh vực ứng dụng của mạng nơron nhân tạo

+ Chương 2: Mạng RBF và phương pháp tập huấn mạng

Trình bày về cấu trúc, mô hình và một số loại mạng RBF cơ bản Đồng thời tìm hiểu các phương pháp tập huấn và thuật toán lai cho mạng RBF

+ Chương 3: Ứng dụng mạng RBF trong bài toán nội suy

Định nghĩa bài toán nội suy, trình bày một số phương pháp nội suy đã biết như Đa thức nội suy Lagrange, nội suy trên lưới, … Đồng thời tìm hiểu về bài toán nội suy đa biến và phương pháp lặp huấn luyện mạng nội suy RBF

Trong quá trình làm đồ án em không tránh khỏi những thiếu sót Vậy em kính mong nhận được sự chỉ bảo, đóng góp ý kiến của các thầy cô giáo và các bạn để bài báo cáo được hoàn thiện hơn

Thái Nguyên, tháng 05/2008

DANH MỤC HÌNH VẼ

(1) Hình 1.1 Hình ảnh nơron trong não người

(2) Hình 1.2 Hình ảnh của tế bào nơron trong não người (3) Hình 1.3 Mô hình nơron nhân tạo

(4) Hình 1.4 Liên kết hai chiều giữa nơron i và nơron j

(5) Hình 1.5 Mạng nơron có một đầu vào

(6) Hình 1.6 Hàm biến đổi Hardlimit

(7) Hình 1.7 Hàm biến đổi Linear

(8) Hình 1.8 Hàm biến đổi Log – Sigmoid

(9) Hình 1.9 Mô hình mạng nơron nhiều đầu vào

(10) Hình 1.10 Mô hình tổng quát của mạng nơron nhiều đầu vào (11) Hình 1.11 Mô hình mạng nơron một lớp

(12) Hình 1.12 Mô hình tổng quát của mạng nơron một lớp (13) Hình 1.13 Mô hình mạng nơron 3 lớp

(14) Hình 1.14 Mô hình mạng nơron nhiều lớp

(15) Hình 1.15 Mô hình mạng nơron hồi quy

(16) Hình 1.16 Sơ đồ tập huấn tham số có giám sát

(17) Hình 1.17 Sơ đồ tập huấn tham số không có giám sát

(18) Hình 1.18 Sơ đồ tập huấn tăng cường

(19) Hình 2.1 Cấu trúc mạng RBF chuẩn

(20) Hình 2.2 Hàm Gaussian tương ứng giữa hi và di trên R1 (21) Hình 2.3 Hàm Gaussian biểu diễn tương ứng trên R2

(22) Hình 2.4 Sơ đồ biểu diễn mạng RBF

(23) Hình 2.5 Hàm cơ sở xuyên tâm Gaussian

(24) Hình 2.6 Sơ đồ khối mô hình mạng RBF Gaussian

(25) Hình 2.7 Mạng RBF với các kết nối đầu vào tuyến tính (26) Hình 2.8 Cấu trúc mạng GRNN

(27) Hình 2.9 Cấu trúc mạng PNN

(28) Hình 3.1 Giao diện cài đặt

(29) Hình 3.2 Mô hình mạng RBF để giải quyết bài toán XOR 2 biến (30) Hình 3.3 Minh họa tập dữ liệu vào

(31) Hình 3.4 Kết quả huấn luyện nội suy hàm số

(32) Hình 3.5 Kiến trúc mạng nội suy RBF cho hàm f: R6>R

(33) Hình 3.6 Đặc tả thủ tục lặp huấn luyện mạng

CHƯƠNG 1

NƠRON SINH HỌC VÀ MẠNG NƠRON NHÂN TẠO

1.1 Nơron sinh học và bộ não người

1.1.1 Cấu tạo và hoạt động của một nơron

Các nhà nghiên cứu sinh học về bộ não cho ta thấy rằng các tế bào thần kinh (nơron) là đơn vị cơ sở đảm nhiệm những chức năng xử lý nhất định trong

hệ thần kinh, bao gồm não, tủy sống và các dây thần kinh Mỗi nơron có phần

thân và nhân bên trong (gọi là soma), một đầu thần kinh ra (gọi là sợi trục axon)

và một hệ thống dạng cây các dây thần kinh vào (gọi là dendrite) Các dây thần

kinh vào tạo thành một lưới dày đặc xung quanh thân tế bào, chiếm diện tích khoảng 0,25 mm2, còn dây thần kinh ra tạo thành trục dài có thể từ 1 cm cho đến hàng mét Đường kính của nhân tế bào thường chỉ là 10-4 m Trục dây thần kinh

ra cũng có thể phân nhánh theo dạng cây để nối với các dây thần kinh vào hoặc trực tiếp với nhân tế bào của các nơron khác thông qua các khớp nối (gọi là

synapse) Thông thường, mỗi nơron có thể gồm vài chục cho tới hàng trăm ngàn

khớp nối để nối với các nơron khác Người ta ước lượng rằng các dây thần kinh

ra cùng với các khớp nối bao phủ diện tích khoảng 90% bề mặt nơron

Hình 1.1: Hình ảnh nơron trong não người

Một số cấu trúc nơron thần kinh được hình thành từ lúc bẩm sinh, một số khác được phát triển thông qua quá trình học Đây là sự liên kết, tạo ra và mất đi Quá trình phát triển này là điều đáng chú ý nhất trong thời kỳ đầu tiên của cuộc

sống Cấu trúc nơron được liên tục thay đổi hoàn thiện theo xu hướng thích nghi với điều kiện sống

Các tín hiệu truyền trong các dây thần kinh vào và dây thần kinh ra của các nơron là tín hiệu điện, được thực hiện thông qua các quá trình phản ứng và giải phóng các chất hữu cơ Các chất này được phát ra từ các khớp nối dẫn tới các dây thần kinh vào sẽ làm tăng hay giảm điện thế của nhân tế bào Khi điện thế này đạt tới một ngưỡng nào đó, sẽ tạo ra một xung điện dẫn tới trục dây thần kinh ra Xung này được truyền theo trục, tới các nhánh rẽ khi chạm tới các khớp nối với các nơ ron khác sẽ giải phóng các chất truyền điện Người ta chia làm hai

loại khớp nối: khớp nối kích thích (excitatory) và khớp nối ức chế (inhibitory)

1.1.2 Cấu tạo và một số khả năng của não

Não là tổ chức vật lý cao cấp, có cấu tạo vô cùng phức tạp, dày đặc các mối liên kết giữa các nơron nhưng xử lý thông tin rất linh hoạt trong một môi trường bất định

Trong bộ não có khoảng 1011 - 1012 nơron và mỗi nơron có thể liên kết với

104nơron khác qua các khớp nối Những kích hoạt hoặc ức chế này được truyền

qua trục nơron (axon) đến các nơron khác

Hình 1.2: Hình ảnh của tế bào nơron trong não người

Phát hiện quan trọng nhất trong ngành nghiên cứu về bộ não là các liên kết khớp thần kinh khá mềm dẻo, có thể biến động và chỉnh đổi theo thời gian tuỳ thuộc vào các dạng kích thích Hơn nữa, các nơron có thể sản sinh các liên kết mới với các nơron khác và đôi khi lưới các nơron có thể chuyển từ vùng này sang vùng khác trong bộ não Các nhà khoa học cho rằng đây chính là cơ sở quan trọng để giải thích cơ chế học của bộ não

Phần lớn các quá trình xử lý thông tin đều xảy ra trên vỏ não Toàn bộ vỏ não được bao phủ bởi mạng các tổ chức cơ sở có dạng hình trụ tròn với đường kính khoảng 0,5mm, độ cao 4mm Mỗi đơn vị cơ sở này chứa khoảng 2000 nơron Các nơron trong não rất đơn giản trong cơ chế làm việc, chúng có thể liên kết với nhau, có khả năng tính toán, suy nghĩ, ghi nhớ và điều khiển Có thể điểm qua những chức năng cơ bản của bộ não như sau:

- Bộ nhớ được tổ chức theo các bó thông tin và truy nhập theo nội dung (Có thể truy xuất thông tin dựa theo giá trị các thuộc tính của đối tượng)

- Bộ não có khả năng tổng quát hoá, có thể truy xuất các tri thức hay các mối liên kết chung của các đối tượng tương ứng với một khái niệm chung nào đó

- Bộ não có khả năng phán đoán theo nghĩa có thể điều chỉnh hoặc tiếp tục thực hiện ngay khi có những sai lệch do thông tin bị thiếu hay không chính xác Ngoài ra, bộ não còn có thể phát hiện và phục hồi các thông tin bị mất dựa trên

sự tương tự giữa các đối tượng

- Bộ não có thể bị xuống cấp nhưng lại có khả năng thay thế dần dần Khi

có những trục trặc tại các vùng não (do bệnh, chấn thương) hoặc bắt gặp những thông tin hoàn toàn mới lạ, bộ não vẫn có thể tiếp tục làm việc

- Bộ não có khả năng học

1.1.3 So sánh khả năng làm việc của bộ não và máy tính

Người ta thấy rằng bộ não con người có thể lưu giữ nhiều thông tin hơn các máy tính hiện đại Tuy nhiên điều này không phải đúng mãi mãi, bởi lẽ sự tiến hóa của bộ não chậm, trong khi đó nhờ những tiến bộ trong công nghệ vi điện tử, bộ nhớ máy tính được nâng cấp rất nhanh Hơn nữa, sự hơn kém về bộ nhớ là không quan trọng so với sự khác biệt về tốc độ tính toán và khả năng xử lý song song Các bộ vi xử lý có thể tính 108 lệnh/s, trong khi đó mạng nơron xử lý chậm hơn, cần khoảng vài miligiây để kích hoạt Tuy nhiên, bộ não có thể kích hoạt hầu như cùng một lúc tại rất nhiều nơron và khớp nối, trong khi đó ngay cả máy tính hiện đại cũng chỉ có một số lượng hạn chế các bộ vi xử lý song song Nếu chạy một mạng nơron nhân tạo trên máy tính, phải tốn hàng trăm lệnh để máy kiểm tra một nơron có được kích hoạt hay không (tiêu phí khoảng

10-8 x102 giây/nơron) Do đó, dù bộ vi xử lý có thể tính toán nhanh hơn hàng triệu lần so với các nơron bộ não, nhưng xét tổng thể bộ não lại tính toán nhanh hơn hàng tỉ lần

Khi người ta nhìn não từ góc độ tính toán, chúng ta dễ dàng phát hiện cách thức tính toán của não khác xa với tính toán trong thuật toán và chương trình chúng ta thường làm với sự trợ giúp của máy tính

Sự khác biệt cơ bản trước tiên là ở hai điểm rất quan trọng sau:

- Quá trình tính toán được tiến hành song song và gần như đồng thời được phân tán trên nhiều nơron

- Tính toán thực chất là quá trình học chứ không phải theo sơ đồ định sẵn

từ trước

Cách tiếp cận mạng nơron nhân tạo có ý nghĩa thực tiễn rất lớn cho phép tạo ra các thiết bị có thể kết hợp khả năng song song cao của bộ não với tốc độ tính toán cao của máy tính Tuy vậy, cần phải có một khoảng thời gian dài nữa để các mạng nơron nhân tạo có thể mô phỏng được các hành vi sáng tạo của bộ não con người Chẳng hạn, bộ não có thể thực hiện một nhiệm vụ khá phức tạp như nhận ra khuôn mặt người quen sau không quá 1 giây, trong khi đó một máy tính tuần tự phải thực hiện hàng tỷ phép tính (khoảng 10 giây) để thực hiện cùng thao tác đó, nhưng với chất lượng kém hơn nhiều, đặc biệt trong trường hợp thông tin không chính xác, không đầy đủ

1.2 Mô hình nơron và mạng nơron nhân tạo

Hình 1.3: Mô hình nơron nhân tạo

Đầu vào của nơron nhân tạo gồm R tín hiệu pi (i=1,2, …, R) Đầu ra là tín hiệu a Trạng thái bên trong của nơron được xác định qua bộ tổng các đầu vào có trọng số wi (i=1,2, …, R) Đầu ra a của nơron được xác định qua hàm f nào đó Vậy mô hình định lượng của nơron nhân tạo như sau:

 

 

 f w i p i t t

Trong đó:

net = wipi(t) = I(t) là tín hiệu tổng hợp đầu vào

pi là các đầu vào, i=1,2, …, R

wi là các trọng số, i=1,2, …, R đặc trưng cho tính liên kết của các nơron

 - ngưỡng kích hoạt nơron

t - thời gian

R - số tín hiệu đầu vào

f - hàm kích hoạt

Do vậy người ta rất hay dùng ký hiệu sau: Đầu ra out=a(t)=a(net)

Các nơron có thể liên kết với nhau tạo thành nơron nhân tạo Ví dụ nơron i liên kết với nơron j theo hai chiều thuận nghịch như sau:

Hình 1.4 : Liên kết hai chiều giữa nơron i và nơron j

Hệ thống tế bào thần kinh nhân tạo không tiếp cận đến sự phức tạp của bộ

óc Tuy nhiên, giữa các tế bào sinh học và tế bào nhân tạo có hai đặc điểm giống

nhau Thứ nhất, cấu tạo của hai hệ thống này đều là dụng cụ tính toán (mặc dù tế bào thần kinh nhân tạo đơn giản hơn rất nhiều so với tế bào sinh học) Thứ hai,

sự liên kết giữa các tế bào này sẽ xác định chức năng của hệ thống Hệ thống tế bào thần kinh nhân tạo chia những cấu trúc giống nhau thành những bộ phận riêng biệt Do vậy hầu hết hệ thống tế bào thần kinh nhân tạo ngày càng được cải tiến trong máy tính số nhất định

1.2.2 Khái niệm mạng nơron nhân tạo

Mạng nơron nhân tạo bao gồm các nơron (nút, đơn vị xử lý) được nối với nhau bởi các liên kết Mỗi liên kết kèm theo một trọng số nào đó, đặc trưng cho đặc tính kích hoạt hay ức chế giữa các nơron Có thể xem các trọng số là phương tiện để lưu giữ thông tin dài hạn trong mạng nơron và nhiệm vụ của quá trình huấn luyện mạng là cập nhật các trọng số khi có thêm các thông tin về các mẫu học, hay nói một cách khác, các trọng số được điều chỉnh sao cho hình dáng vào của nó mô phỏng hoàn toàn phù hợp với môi trường đang xem xét

Mạng nơron có thể học từ dữ liệu mẫu và tổng quát hóa dựa trên các dữ liệu mẫu học Trong mạng nơron, các nơron đón nhận tín hiệu vào gọi là nơron vào và các nơron đưa thông tin ra gọi là nơron ra

1.2.3 Đặc trưng của mô hình mạng nơron

Những mô hình mạng nơron đã trình bày có tiềm năng tạo nên một cuộc cách mạng trong công nghệ máy tính và các quá trình xử lý thông tin Những mong muốn và hy vọng đó chủ yếu bắt nguồn từ các đặc trưng chính sau:

- Khả năng của các quá trình xử lý song song và phân tán: Có thể đưa vào

mạng một lượng lớn các nơron liên kết với nhau theo những lược đồ với các kiến trúc khác nhau

- Khả năng thích nghi và tự tổ chức: Về đặc trưng này người ta đề cập đến

khả năng xử lý thích nghi và điều chỉnh bền vững dựa vào các thuật toán học thích nghi và các quy tắc tự tổ chức

- Khả năng dung thứ lỗi: Cố gắng bắt chước khả năng dung thứ lỗi của

não theo nghĩa hệ thống có thể tiếp tục làm việc và điều chỉnh khi nhận tín hiệu vào một phần thông tin bị sai lệch hoăc bị thiếu

- Xử lý các quá trình phi tuyến: Đặc trưng này rất quan trọng, ví dụ trong

xấp xỉ mạng, miễn nhiễu (chấp nhận nhiễu) và có khả năng phân lớp

1.2.4 Phân loại mạng nơron

* Theo đầu vào

Ta có mạng nơron một đầu vào và mạng nơron nhiều đầu vào

 Mạng nơron có một đầu vào

Hình 1.5: Mạng nơron có một đầu vào

Một mạng nơron nhân tạo có một đầu vào được mô tả như hình trên Đầu vào p được nhân với một trọng số w được wp rồi cùng với đầu vào khác (có thể

là 1) đã qua ngưỡng b được đưa đến bộ tổng Tổng các đầu vào n được truyền qua một hàm f nào đó, như vậy đầu ra được xác định như sau:

Ví dụ: Cho w = 3, p = 2 và b = -1.5 thì:

a = ƒ(3(2) – 1.5) = ƒ(4,5) Trên thực tế đầu ra của mạng nơron còn phụ thuộc vào hàm biến đổi ƒ

- Hàm biến đổi (kích hoạt ) – ƒ

Cấu trúc của mạng nơron chủ yếu được đặc trưng bởi loại của các nơron

và mối liên hệ xử lý thông tin giữa chúng Về cấu trúc của nơron chủ yếu người

ta quan tâm tới tổng các tín hiệu đầu vào, ngưỡng tại mỗi nơron và các hàm chuyển Hàm kích hoạt của từng nơron trong mạng nơron đóng vai trò quan trọng trong sự liên kết giữa các nơron Tùy từng công việc cụ thể mà ta lựa chọn hàm kích hoạt thích hợp sao cho giải quyết mạng được dễ dàng hơn Có 3 loại hàm kích hoạt thường được sử dụng:

+ Hàm Hardlimit

Hàm Hardlimit được mô tả như sau:

Hình 1.6: Hàm biến đổi Hardlimit

0 n nÕu 1

Mạng nơron một đầu vào sử dụng hàm kích hoạt hardlimit được mô tả

như hình bên phải ở trên Ở đây chúng ta có thể nhìn thấy tác động của trọng số

và ngưỡng kích hoạt của nó Chú ý rằng biểu tượng cho hàm hardlimit được mô

tả giữa hai hình trên

+ Hàm Linear

Đầu ra của hàm Linear bằng đầu vào của nó: a = n được mô tả như sau:

Hình 1.7: Hàm biến đổi Linear

Mạng nơron với hàm biến đổi như trên được sử dụng trong mạng ADALINE (Mạng có phần tử thích nghi tuyến tính) Đầu ra và đầu vào được viết

tắt là a, p của một mạng nơron có một đầu vào sử dụng hàm purelin được mô tả

như hình bên phải ở trên

+) Bảng tổng kết các hàm biến đổi sử dụng trong mạng nơron nhân tạo

0 1

0 1

1 0

0 0

n

n n

n a

1 1

1 1

n

n n

n a

n n

e e

e e

n n

all

n with neural

a

0

max

 Mạng nhiều đầu vào

Một mạng nơron R đầu vào được minh họa như hình sau:

Hình 1.9: Mô hình mạng nơron nhiều đầu vào

Hình 1.9 mô tả một mạng có R đầu vào Các đầu vào p1, p2, …, pR tương ứng với các trọng số w1.1, w1.2, …, w1.R của ma trận trọng số W Tổng tín hiệu đầu vào n được tính như sau:

n = w1.1p1 + w1.2p2 + … + w1.RpR + b (1.4) Công thức trên có thể viết dưới dạng ma trận như sau:

p p

r

2 1

Cuối cùng đầu ra của mạng sẽ là:

Hình 1.10: Mô hình tổng quát của mạng nơron nhiều đầu vào

Trong hình 1.10, vector đầu vào p được chỉ ra bởi thanh thẳng đứng ở bên trái với kích thước là R1, trong đó R là yếu tố quyết định, đầu vào đó đi từ ma trận trọng số W (là ma trận có R cột, 1 hàng vì mạng nơron chỉ có một đầu vào), một hằng số 1 như là một đầu vào được nhân với ngưỡng b Sau đó tổng các tín hiệu đầu vào n được chuyển đến hàm biến đổi ƒ, đầu ra a trong trường hợp này

có thể là một vector nếu chúng ta có một nơron

*Theo số lớp

Các nơron tổ chức thành các lớp sao cho một nơron của lớp này chỉ được nối với các nơron của lớp tiếp theo, không cho phép các liên kết giữa các nơron trong cùng một lớp, hoặc từ nơron lớp dưới lên nơron lớp trên Ở đây cũng không cho phép các liên kết nơron nhảy qua một lớp

Người ta nhận thấy rằng các nơron trong cùng một lớp nhận được tín hiệu từ các lớp trên cùng một lúc, do vậy về nguyên tắc chúng ta có thể xử lý song song Thông thường lớp nơron vào chỉ chịu trách nhiệm nhận tín hiệu vào, không thực hiện một tính toán nào nên khi tính số lớp của mạng người ta không tính lớp vào

ai Thường thì số đầu vào của một lớp khác số nơron của mạng (R ≠ S)

Vector đầu vào được tạo bất kỳ qua ma trận trọng số sau:

W=w1.1, w1.2, , w1.R  (1.6) Với S nơron, R đầu vào, một lớp của mạng cũng có thể được thiết kế với các ký hiệu tắt như sau:

Hình 1.12: Mô hình tổng quát của mạng nơron một lớp

Từ hình vẽ trên ta thấy: p là một vector có độ dài R, W là một ma trận cỡ

RS, a và b là những vector có S chiều Hiển nhiên, một lớp bao gồm ma trận trọng số, bộ tổng, vector b, hàm ƒ và vector đầu ra a

+ Mạng nhiều lớp

Với mạng nhiều lớp, mỗi lớp có một ma trận trọng số, ngưỡng b với tổng tín hiệu đầu vào n và một vector đầu ra a Chúng ta cần phân biệt một vài chi tiết giữa các lớp trong mạng bằng cách sử dụng các ký hiệu cùng các con số ở mỗi tên của

nó Ma trận trọng số của lớp đầu tiên được viết là W1, của lớp thứ hai là W2, …

Mô hình mạng nhiều lớp được mô tả thông qua mô hình mạng 3 lớp dưới đây

Hình 1.13: Mô hình mạng nơron 3 lớp

Nếu mạng có t lớp thì đầu ra của mạng được biểu diễn như sau:

at = ƒt(Wt ƒt-1(Wt-1 … ƒ1(W1p + b1) + b2 + … ) + bt) (1.7) Như được mô tả ở trên mạng có R đầu vào, lớp thứ nhất có s1 nơron, lớp thứ hai có s2 nơron Các lớp khác nhau có thể có số nơron khác nhau Đầu ra của lớp đầu tiên và lớp thứ hai là đầu vào của lớp thứ hai và ba Lớp thứ hai lại có thể được coi là lớp thứ nhất với R = S1 đầu vào, S1 = S2 nơron, ma trận trọng số là

W2 có kích thước là S1S2 Đầu vào của lớp thứ hai là a1, đầu ra là a2 Ở mạng trên lớp thứ ba gọi là lớp ra, những lớp khác gọi là lớp ẩn (lớp 1, lớp 2)

Cũng như phần trước ba lớp của mạng trên có thể được thiết kế bằng cách sử dụng các ký hiệu tắt được mô tả trong sơ đồ dưới đây:

Hình 1.14: Mô hình mạng nơron nhiều lớp

Tùy từng ứng dụng cụ thể mà ta sử dụng mạng một lớp hay mạng nhiều lớp Chúng ta không nhất thiết phải sử dụng cùng một hàm kích hoạt tại các lớp khác nhau Việc sử dụng hàm nào phụ thuộc vào từng bài toán cụ thể

* Theo liên kết nơron

Ta có mạng nơron truyền thẳng (Feed – Forward Neural Network) và mạng nơron hồi quy (Recurent Neural Network)

+ Mạng nơron truyền thẳng

Trong mạng nơron truyền thẳng, các liên kết nơron đi theo một hướng nhất định, không tạo thành đồ thị có chu trình (Directed Acyclic Graph) với các đỉnh là các nơron, các cung là các liên kết giữa chúng

+ Mạng nơron hồi quy

Mạng hồi quy nơron cho phép các liên kết nơron tạo thành chu trình Vì các thông tin ra của các nơron được truyền lại cho các nơron đã góp phần kích hoạt chúng, nên mạng nơron có khả năng lưu giữ trạng thái trong nó dưới dạng các ngưỡng kích hoạt ngoài các trọng số liên kết nơron

Mạng hồi quy là một mạng mà một vài đầu ra liên kết với một số đầu vào của nó Tức là một đầu ra lại quay trở lại thành đầu vào trong bước tập huấn tiếp theo Điều này tương đối khác so với các mạng trước chúng ta đã nghiên cứu –

mạng truyền thẳng không có sự kết nối trở lại Mô hình mạng hồi quy được chỉ ra trong sơ đồ dưới đây:

Hình 1.15: Mô hình mạng nơron hồi quy

Trong mạng này vector p cung cấp điều kiện khởi tạo, ví dụ a(0) = p Sau

đó đầu ra tiếp theo của mạng sẽ được xác định từ các đầu ra trước đó:

a(t) = ƒ(Wa(0) + b), a(2) = ƒ(Wa(1) + b), … (1.8)

1.2.5 Một số ví dụ đơn giản

Ví dụ 1:

Đầu vào của một mạng nơron là 2.0, trọng số là 2.3, ngưỡng b=-3

i, Tổng tín hiệu đầu vào n là:

n = wp + b = (2.3)(2) + (-3) = 1.6

ii, Đầu ra của mạng nơron không thể xác định bởi vì hàm biến đổi chưa rõ ràng

Ví dụ 2:

Một mạng nơron có dữ kiện như ví dụ 1

i, Nếu hàm biến đổi là Hardlimit thì đầu ra sẽ là: a = hardlim (1.6) = 1.0

ii, Nếu hàm biến đổi là Linear thì đầu ra sẽ là: a = purelin (1.6) = 1.0

iii, Nếu hàm biến đổi là Linear thì đầu ra sẽ là:

a = logsig (1.6) = 1/(1-e-1.6) = 8320

Cuối cùng chúng ta sử dụng phần mềm Matlab để tính đầu ra của mạng nơron

1.3 Cách nhìn về mạng nơron nhân tạo

1.3.1 Mạng nơron như một công cụ tính toán

Giả sử một mạng nơron NN có R nơron vào và n nơron ra, khi đó với mỗi vector các tín hiệu vào P = (p1, p2, …, pR), sau quá trình tính toán lại các nơron

ẩn, ta nhận được kết quả ra a = (a, a , …, a ) Theo nghĩa nào đó mạng nơron

làm việc với tư cách là một bảng tra, mà không cần biết dạng phụ thuộc hàm tường minh giữa a và p Khi đó ta viết:

a = Tinh(p,NN) Cần lưu ý rằng các nơron trên cùng một lớp có thể tính toán đồng thời, do vậy độ phức tạp tính toán nói chung sẽ phụ thuộc vào số lớp mạng

Các thông số cấu trúc mạng nơron bao gồm:

+ Số tín hiệu vào, số tín hiệu ra

+ Số lớp nơron

+ Số nơron trên mỗi lớp ẩn

+ Số lượng liên kết của mỗi nơron (Liên kết đầy đủ, liên kết bộ phận và liên kết ngẫu nhiên)

+ Các trọng số liên kết nơron

1.3.2 Mạng nơron như là một hệ thống tự thích nghi

Mạng nơron như là một hệ thống tự thích nghi có khả năng học được chia làm hai loại chính là học tham số và học cấu trúc

 Học tham số

Học tham số tập trung vào việc hiệu chỉnh các trọng số liên kết trong mạng nơron Học tham số là tìm kiếm trên ma trận trọng số sao cho mạng có khả năng đưa ra lời giải sát với thực tế Có ba loại học tham số cơ bản là: học có giám sát, học không có giám sát và học tăng cường

1 Học có giám sát: Trong mạng có giám sát, mạng được cung cấp một tập

mẫu học {( pR, tR)} theo nghĩa pR là các tín hiệu vào, thì kết quả ra đúng của hệ phải là tR Ở mỗi lần học, vector tín hiệu vào pR, được đưa vào mạng, sau đó so sánh sự sai khác giữa các kết quả ra đúng tR với kết quả tính toán OutR Sai số này sẽ được dùng để hiệu chỉnh lại các trọng số liên kết trong mạng Quá trình cứ tiếp tục cho đến khi thỏa mãn một tiêu chuẩn nào đó Quá trình học có giám sát được mô tả như hình sau:

Hình 1.16: Sơ đồ học tham số có giám sát

2 Học không có giám sát: Là trong quá trình học không có bất cứ thông

tin nào từ môi trường bên ngoài, vì thế mà đầu ra của mạng không biết là đúng hay sai Mạng phải tự xác định các tín hiệu mẫu, các tính chất, … khi phát tín hiệu ra mạng sẽ dựa vào các đặc tính đó và tự thay đổi các trọng số của mình Do

đó mà nó còn được gọi là học tự tổ chức Hình 1.17 mô tả quá trình học không có giám sát

Hình 1.17: Sơ đồ học tham số không có giám sát

3 Học tăng cường: Thực chất là một trường hợp của học có giám sát, vì

mạng nơron vẫn nhận được tín hiệu chỉ đạo từ bên ngoài Tuy nhiên, tín hiệu đó chỉ đơn thuần là các tín hiệu mang tính phê phán mà không mang tính chỉ dẫn cụ thể như trong trường hợp có giám sát, nghĩa là tín hiệu tăng cường chỉ có thể nói cho mạng biết là tín hiệu đúng phải như thế nào Tín hiệu tăng cường giúp cho mạng hiệu chỉnh các trọng số với hy vọng nhận được các tín hiệu tăng cường tốt hơn trong tương lai

Hình 1.18: Sơ đồ học tăng cường

 Học cấu trúc

Học cấu trúc là đi tìm kiếm các tham số của cấu trúc mạng với mong muốn là tìm ra một cấu trúc mạng hoạt động tốt nhất Thực chất học cấu trúc là tìm ra số lớp ẩn và số nơron trên mỗi lớp Một số kỹ thuật thường được dùng trong học cấu trúc đó là: giải thuật di truyền, gọt tỉa mạng, …

- Không có cách tổng quát để đánh giá hoạt động bên trong của mạng

- Việc tập huấn đối với mạng có thể khó (hoặc không thể ) thực hiện

- Khó có thể dự đoán trước được hiệu quả của mạng trong tương lai

1.4.2 Một số lĩnh vực ứng dụng đã biết

Lĩnh vực ứng dụng của mạng nơron rất rộng, chủ yếu trong các vùng sau:

* Lĩnh vực 1: Phân lớp (Classificasion), tách cụm (Clustering) và dự đoán

(diagnoisis) Có thể đây là lĩnh vực tìm thấy nhiều ứng dụng nhất và cũng được nghiên cứu sôi động nhất Nhóm mô hình này nhận những tín hiệu vào tĩnh hoặc tín hiệu theo thời gian và cần nhận dạng hoặc phân lớp chúng Mạng cần có khả năng miễn nhiễu tốt, bởi vì đây là một mong muốn của nhiều ứng dụng

* Lĩnh vực 2: Các bài toán tối ưu Vấn đề chính ở đây là tìm những thuật toán

tập huấn mạng sao cho góp phần tìm nghiệm cho nhiều lớp bài toán tối ưu Trong nhóm các thuật toán ứng dụng mạng nơron, người ta đã quan tâm tới sự kết hợp mạng nơron với các thuật toán di truyền

* Lĩnh vực 3: Hồi quy và tổng quát hóa (Regression and Generalization)

Trước đây các bài toán hồi quy đã được tích cực nghiên cứu Qua hồi quy tuyến tính và hồi quy phi tuyến người ta cố gắng tìm các đường thẳng hoặc các đường hồi quy phi tuyến trơn sao cho khớp với mẫu Trong các bài toán hồi quy người

ta thường dùng các thuật toán học có giám sát Bài toán suy rộng khó hơn, vì dữ liệu được học chỉ có một phần

* Lĩnh vực 4: Hoàn chỉnh dạng (Pattern complesion) Bài toán hoàn chỉnh “đủ”

dữ liệu ban đầu sau khi bị mất đi một phần (hay ta chỉ thu được một phần)

* Lĩnh vực 5: Bài toán nhận dạng (Pattern Recognition) Khi chúng ta làm việc

với mạng nơron nhân tạo thì các bài toán quan trọng trong lý thuyết điều khiển thường là các thuật toán điều khiển và các phương pháp nhận dạng mô hình Đối tượng điều khiển nói chung là phi tuyến, có độ phức tạp cao, độ bất định lớn

Ngoài ra mạng nơron được áp dụng vào rất nhiều lĩnh vực và các ngành nghề khác nhau như: Hàng không, Ôtô, Ngân hàng, Quốc phòng, Điện tử, Giải trí, …

CHƯƠNG 2

MẠNG RBF VÀ PHƯƠNG PHÁP TẬP HUẤN MẠNG

2.1 Hàm cơ sở xuyên tâm

Hàm cơ sở xuyên tâm (RBF) là một hàm lấy giá trị thực, nếu giá trị đó chỉ phụ thuộc vào khoảng cách từ chính nó thì:(x)( x) Hoặc như một sự lựa chọn khác là khoảng cách từ một số điểm c khác, gọi là tâm thì:

Tổng này cũng có thể được hiểu như một kiểu mạng nơron nhân tạo đơn giản đơn tầng gọi là mạng RBF, với các hàm cơ sở xuyên tâm đóng vai trò kích hoạt mạng Và nó có thể chỉ ra rằng bất kỳ hàm liên tục nào trên một khoảng (đoạn) bị chặn trong quy tắc nội suy với độ chính xác tùy ý theo tổng này, nếu N hàm cơ sở xuyên tâm được sử dụng

Có nhiều hàm cơ sở xuyên tâm khác nhau được sử dụng cho những bài toán khác nhau Một số loại hàm cơ sở xuyên tâm thường gặp:

1)

r c

r



 với α > 0 (2.4)

 RBF Thin-plate spline: (r ) r2log(r) (2.5)

 RBF spline cầu:  ( r  ) r3 (2.6)

 RBF spline tuyến tính:  ( r  ) r (2.7)

2.2 Cấu trúc mạng RBF

RBF là phương pháp được giới thiệu đầu tiên để giải quyết vấn đề nội suy

đa biến thực Broomhead và Lower (1988), cùng với Moody và Darken (1989) là

những người đầu tiên mạo hiểm sử dụng hàm cơ sở xuyên tâm vào thiết kế mạng

nơron

Cấu trúc của mạng RBF trong dạng cơ bản nhất bao gồm 3 tầng hoàn toàn

khác nhau (Hình 2.1)

Hình 2.1: Cấu trúc mạng RBF chuẩn

Tầng vào được tạo nên bởi các điểm vào, số lượng của chúng chính là kích thước

N của vector đầu vào u

2.2.1 Tầng ẩn

Tầng thứ hai là tầng ẩn bao gồm các nút phi tuyến được kết nối trực tiếp

với tất cả các nút trong tầng vào Kích thước của nó đủ lớn để đáp ứng các mục

đích khác trong Perceptron đa tầng

Mỗi nút ẩn nhận đầu vào của nó từ tất cả các nút thành phần ở tầng vào

Như đã đề cập ở trên các nút ẩn chứa một hàm cơ sở với các tham số là tâm và độ

rộng Tâm của hàm cơ sở tại nút i của tầng ẩn là một vector ci, kích thước của nó

chính là kích thước của vector vào u và thường mỗi nút trong mạng có một tâm

Đầu tiên, khoảng cách bán kính di, là khoảng cách giữa vector vào u với

tâm của hàm cơ sở ci, và được tính toán cho mỗi nút i trong tầng ẩn như sau:

i c u

i

Trong hình 2.2, hàm cơ sở là một đường cong (phổ biến nhất là hàm Gaussian,

độ rộng tương ứng với biến  i), có đỉnh tại khoảng cách 0 và nó giảm khi khoảng cách từ tâm tăng

Hình 2.2: Hàm Gaussian tương ứng giữa h i và d i trên R 1

Cho không gian vào u  R 2, với m = 2 tương ứng với 2 hàm Gaussian đặt tại

tâm ci trong không gian vào, ở đó R2

i

Hình 2.3: Hàm Gaussian biểu diễn tương ứng trên R 2

2.2.2 Tầng ra

Phép biến đổi từ không gian vào sang không gian nút ẩn là phi tuyến, trong khi phép biến đổi từ không gian nút ẩn sang không gian đầu ra là tuyến tính Đầu ra thứ j được tính toán theo công thức sau:

w u j f j

x

1 )

x f y

1

)(

)(   (2.11)

Trong đó  i( x  c i ) là hàm cơ sở xuyên tâm của x, thu được bởi dịch chuyển  i ( x) một khoảng ci Để đơn giản, có thể chọn hàm cơ sở xuyên tâm cùng kiểu  cho tất cả các tổng trọng số ở trên, khi đó phương trình (2.11) có thể được viết lại:

y

1

)(

có khoảng cách cơ sở xuyên tâm cố định bằng nhau tính từ tâm Nói cách khác, một hàm cơ sở xuyên tâm ( x  c i ) có cùng giá trị cho tất cả các nơron đầu vào

x nằm trên một siêu cầu với tâm ci

Với trường hợp nhiều đầu ra, mạng nơron RBF được cho bởi (2.12) có thể được mở rộng như sau:

f

y ( ) (2.14) trong đó :

n

n n

2 22

21

1 12

)(

)(

2 1

n

c x

c x

c x

φ(r)   2 (2.15) Đây là lớp mạng quan trọng nhất của mạng RBF Một hàm Gaussian bị giới hạn, dương và liên tục trong Rn, có một đỉnh ở tâm r = 0 và đơn điệu giảm khi mà khoảng cách tính từ tâm tăng

Hình 2.5: Hàm cơ sở xuyên tâm Gaussian

Chú ý rằng RBF Gaussian cũng có tính chất phi tuyến có thể tách được, có nghĩa là:

i n c n x c

x c x c

)

22()11

hệ thống phi tuyến động và nhiều lĩnh vực khác Hơn thế nữa, những đặc tính này làm cho mạng Gaussian đặc biệt thuận tiện để thực thi trong phần cứng tương tự song song

Một mạng Gaussian điển hình là một mạng có 3 tầng: tầng vào, tầng trung gian (hay còn gọi tầng ẩn) chứa các đơn vị Gaussian và tầng ra Sơ đồ khối mô hình mạng RBF Gaussian với các đầu vào – ra:

Hình 2.6: Sơ đồ khối mô hình mạng RBF Gaussian 2.4 Một số phương pháp tập huấn cho mạng RBF

Trong mạng RBF, các lớp khác nhau thì thực hiện các nhiệm vụ khác nhau Do đó việc sử dụng các kỹ thuật khác nhau là rất hữu ích trong việc tối ưu các đơn vị ẩn và các lớp ra của mạng Có nhiều phương pháp tập huấn khác nhau trong việc thiết kế một mạng RBF, và chúng phụ thuộc vào cách chúng ta gán các tâm của các hàm cơ sở xuyên tâm của mạng như thế nào Có 3 phương pháp chính thường dùng trong tập huấn mạng RBF

2.4.1 Lựa chọn các tâm cố định ngẫu nhiên

Trong cách tiếp cận này, vị trí của các tâm có thể được chọn một cách ngẫu nhiên từ tập dữ liệu huấn luyện Đây được xem là cách tiếp cận “nhạy”, nó đảm bảo rằng tập huấn luyện được phân tán cho bài toán theo cách đại diện Với

chính các hàm RBF, chúng ta có thể sử dụng một hàm Gaussian đồng vị, độ lệch chuẩn của hàm này là không đổi theo sự phân phối của tâm Một cách cụ thể, một hàm cơ sở xuyên tâm (đã chuẩn tắc) có tâm tại ti được định nghĩa như sau:

exp)

d

m t

x

Trong đó m1 là số lượng tâm và dmax là khoảng cách tối đa giữa các tâm được chọn Thực tế thì độ lệch chuẩn (có nghĩa là độ rộng) của tất cả các hàm RBF Gaussian là không đổi và bằng:

d

m

g    , j = 1, 2, …, N; i = 1, 2, …, m1 (2.21) Với xj là vector đầu vào thứ j của tập mẫu huấn luyện

Cơ sở cho tất cả các thuật toán để tính toán ma trận giả nghịch đảo là phương pháp phân tích giá trị suy biến (singular-value decomposition – SVD) Phương pháp được phát biểu:

Nếu như G là một ma trận các số thực N×M, khi đó tồn tại ma trận trực giao:

U = {u1, u2, …, uN}

Và

V = {v1,v2, …,vN}

Sao cho:

UTGV = diag(σ1, σ2, …, σK), K = min(M, N) (2.22) Trong đó σ1 ≥ σ2 ≥ …≥ σK

Các vector cột của ma trận U được gọi là các vector suy biến trái của G, và

các vector cột của ma trận V được gọi là các vector suy biến phải σ 1 , σ 2 , …, σ K

được gọi là các giá trị suy biến của ma trận G Theo định lý phân tích giá trị suy biến thì ma trận giả nghịch đảo M×N được định nghĩa như sau:

1 , ,

1 , 1 2 1

 Giai đoạn huấn luyện có giám sát: giai đoạn này hoàn thành quá trình thiết

kế mạng bằng việc ước lượng các trọng số tuyến tính của tầng ra

Mặc dù xử lý theo lô có thể được sử dụng để thực thi 2 giai đoạn tập huấn trên, nhưng người ta thích dùng cách tiếp cận thích nghi (adaptive approach) hay còn gọi là cách tiếp cận lặp(iterative approach)

Ở giai đoạn học tự sắp xếp chúng ta cần sử dụng thuật toán phân nhóm, thuật toán này phân chia tập các điểm dữ liệu cho trước vào các nhóm con, mỗi nhóm con đó càng thuần nhất càng tốt Một thuật toán như vậy hay được sử dụng

là thuật toán phân nhóm k-means (Duda và Hart, 1973), thuật toán này chỉ đặt

các tâm của các hàm cơ sở xuyên tâm vào những vùng của không gian vào khi có

dữ liệu quan trọng Cho m1 biểu diễn số lượng hàm cơ sở xuyên tâm, việc chọn một giá trị phù hợp cho m1 có thể cần phải qua thực nghiệm Gọi  n

1 Khởi tạo: chọn ngẫu nhiên các giá trị của các tâm khởi tạo tk(0); chỉ

có một điều kiện duy nhất là các tâm phải khác nhau Cũng có thể

dùng chuẩn tắc Euclid cho các tâm nhỏ

2 Lấy mẫu: Rút ra một vector mẫu x từ không gian vào H với một xác

suất nào đó Vector x là đầu vào của thuật toán ở lần lặp thứ n

3 Tìm sự tương đồng: Gọi k(x) là chỉ số của tâm giống với vector x

nhất Tìm k(x) ở lần lặp n nhờ sử dụng tiêu chuẩn khoảng cách Euclid

nhỏ nhất:

)()(minarg)

 , k = 1, 2, …, m1 (2.25) trong đó tk(n) là tâm thứ k của hàm cơ sở xuyên tâm ở lần lặp n

4 Cập nhật: điều chỉnh các tâm của các hàm cơ sở xuyên tâm nhờ sử

t

x k k n

t n x n t n

) ( ,

) ( ) ( ) ( ) 1 (

tk



(2.26)

trong đó η là tham số cho biết tốc độ tập huấn, nằm trong khoảng(0, 1)

5 Lặp: tăng n lên 1, và quay lại bước 2, và tiếp tục thuật toán cho tới khi

không có thay đổi đáng kể nào xẩy ra với tâm tk

Hạn chế của thuật toán phân nhóm k-means là nó có thể thu được lời giải cực tiểu địa phương, điều này phụ thuộc vào lựa chọn khởi tạo cho các tâm của các nhóm Do vậy mà tài nguyên tính toán có thể bị lãng phí, khi này một số tâm khởi tạo bị kẹt ở các vùng có ít điểm dữ liệu của không gian vào, và do đó có thể không bao giờ có cơ hội để di chuyển đến những vùng mới mà lẽ ra chúng nên được di chuyển đến đó Mạng thu được sau tập huấn có thể là một mạng lớn tới mức không cần thiết Để khắc phục nhược điểm này hai tác giả Chinunrueng và