MÔ PHỎNG QUÁ TRÌNH GHI NHỚ CỦA HỆ THỐNG NOWRRON SINH HỌC

MỞ ĐẦU 1. Tính cấp thiết của luận án Con người được xem là động vật cao cấp nhất nhờ vào khả năng hoạt động đặc biệt của bộ não. Não người phát triển mạnh mẽ và hoàn thiện cho các chức năng như tự điều khiển, lập kế hoạch, lập luận, và suy nghĩ trừu tượng. Các mô hình mô phỏng hoạt động của não người được phát triển để tạo ra các phần mềm máy tính ngày càng thông minh và xử lý thông tin nhanh hơn. Mạng nơron nhân tạo (ANN) là mô hình toán học mô phỏng hiệu quả hoạt động của các nơron sinh học. Trong đó, Bộ nhớ liên kết hai chiều (BAM), Bộ nhớ liên kết mờ (FAM), và Lý thuyết cộng hưởng thích nghi mờ (Fuzzy ART) là ba mạng nơron điển hình mô phỏng quá trình ghi nhớ thông tin. Quá trình học của ba mô hình này chưa tối ưu do hai nguyên nhân: (i) việc gắn trọng số cho các mẫu trong tập huấn luyện còn chưa hợp lý và (ii) luật học lưu trữ chưa triệt để các thông tin học được từ dữ liệu huấn luyện. Hơn nữa, kết quả của quá trình học có ảnh hưởng lớn đến quá trình nhớ lại các mẫu đã lưu. Vì vậy, việc nâng cao chất lượng của quá trình học là hết sức cần thiết để đáp ứng được các yêu cầu ngày càng phức tạp của các ứng dụng thực. 2. Các đóng góp của luận án 1. Đề xuất thuật toán học mới cho BAM để cho quá trình huấn luyện diễn ra nhanh hơn và linh động hơn. Đồng thời, thuật toán hỗ trợ việc cải thiện khả năng lưu trữ và nhớ lại các cặp mẫu không trực giao. 2. Cải tiến luật học của FAM để lưu trữ hiệu quả đồng thời cả nội dung và sự liên kết của các cặp mẫu huấn luyện. Việc cải tiến này giúp nâng cao khả năng nhớ lại từ các mẫu vào có dạng nhiễu phức tạp. 3. Đề xuất hai luật học hiệu quả cho Fuzzy ART với hai ưu điểm gồm học mọi mẫu huấn luyện và giảm ảnh hưởng của các mẫu huấn luyện dị thường. Các kết quả của luận án đã được công bố và chấp nhận công bố trong 2 bài báo ở tạp chí ISI quốc tế, 7 báo cáo trong kỷ yếu có phản biện của hội nghị quốc tế được xuất bản bởi IEEE và Springer, và 2 bài báo ở tạp chí trong nước. 3. Bố cục của luận án Ngoài phần mở đầu và kết luận, luận án được tổ chức như sau.

Công trình được hoàn thành tại: Trường Đại học Công nghệ - Đại học Quốc gia

Vào hồi giờ ngày tháng năm

Có thể tìm hiểu luận án tại:

-Thư viện Quốc gia Việt Nam

-Trung tâm Thông tin – Thư viện, Đại học Quốc gia Hà Nội

1

MỞ ĐẦU

1 Tính cấp thiết của luận án

Con người được xem là động vật cao cấp nhất nhờ vào khả năng hoạt động đặc biệt của

bộ não Não người phát triển mạnh mẽ và hoàn thiện cho các chức năng như tự điều khiển, lập kế hoạch, lập luận, và suy nghĩ trừu tượng Các mô hình mô phỏng hoạt động của não người được phát triển để tạo ra các phần mềm máy tính ngày càng thông minh và xử lý thông tin nhanh hơn

Mạng nơ-ron nhân tạo (ANN) là mô hình toán học mô phỏng hiệu quả hoạt động của các nơ-ron sinh học Trong đó, Bộ nhớ liên kết hai chiều (BAM), Bộ nhớ liên kết mờ (FAM), và

Lý thuyết cộng hưởng thích nghi mờ (Fuzzy ART) là ba mạng nơ-ron điển hình mô phỏng quá trình ghi nhớ thông tin Quá trình học của ba mô hình này chưa tối ưu do hai nguyên nhân: (i) việc gắn trọng số cho các mẫu trong tập huấn luyện còn chưa hợp lý và (ii) luật học lưu trữ chưa triệt để các thông tin học được từ dữ liệu huấn luyện Hơn nữa, kết quả của quá trình học có ảnh hưởng lớn đến quá trình nhớ lại các mẫu đã lưu Vì vậy, việc nâng cao chất lượng của quá trình học là hết sức cần thiết để đáp ứng đượccác yêu cầu ngày càng phức tạp của các ứng dụng thực

2 Các đóng góp của luận án

1 Đề xuất thuật toán học mới cho BAM để cho quá trình huấn luyện diễn ra nhanh hơn

và linh động hơn Đồng thời, thuật toán hỗ trợ việc cải thiện khả năng lưu trữ và nhớ lại các cặp mẫu không trực giao

2 Cải tiến luật học của FAM để lưu trữ hiệu quả đồng thời cả nội dung và sự liên kết của các cặp mẫu huấn luyện Việc cải tiến này giúp nâng cao khả năng nhớ lại từ các mẫu vào có dạng nhiễu phức tạp

3 Đề xuất hai luật học hiệu quả cho Fuzzy ART với hai ưu điểm gồm học mọi mẫu huấn luyện và giảm ảnh hưởng của các mẫu huấn luyện dị thường

Các kết quả của luận án đã được công bố và chấp nhận công bố trong 2 bài báo ở tạp chí ISI quốc tế, 7 báo cáo trong kỷ yếu có phản biện của hội nghị quốc tế được xuất bản bởi IEEE và Springer, và 2 bài báo ở tạp chí trong nước

3 Bố cục của luận án

Ngoài phần mở đầu và kết luận, luận án được tổ chức như sau

2

Chương 1 trình bày về bài toán mô phỏng quá trình ghi nhớ thông tin của hệ thống

nơ-ron sinh học Đầu tiên, chúng tôi trình bày các hiểu biết cơ bản nhất về não người và nơ-nơ-ron sinh học Sau đó, các kiến thức quan trọng về luật học của ANN được tổng hợp

Chương 2 cung cấp các kiến thức cơ bản để mô tả các mô hình đã nghiên cứu và cải

tiến Đầu chương, các thao tác của logic mờ và toán học hình thái được trình bày Tiếp theo, các mô hình thuộc hai nhóm Bộ nhớ liên kết (AM) và Lý thuyết cộng hưởng thích nghi (ART) được thể hiện theo thứ tự phát triển các mô hình

Chương 3 đề xuất một thuật toán học mới để BAM học nhanh và linh động hơn Các

thử nghiệm với các nhiệm vụ nhận dạng mẫu cho thấy BAM cải tiến nhớ lại tốt hơn các BAM khác

Chương 4 thể hiện hai luật học hiệu quả mọi mẫu huấn luyện và một thủ tục tìm giá trị

tối ưu cho tham số tốc độ học của Fuzzy ART Các thực nghiệm trên các bộ dữ liệu chuẩn cho thấy Fuzzy ART với luật học cải tiến nhớ lại các cụm tốt hơn các mô hình khác

Chương 5 trình bày một luật học cải tiến cho FAM để lưu trữ hiệu quả đồng thời cả nội

dung và sự liên kết giữa các cặp mẫu Các thử nghiệm với nhiệm vụ nhận dạng các chữ số và các ảnh từ cơ sở dữ liệu ảnh của hãng Corel cho thấy FAM cải tiến nhớ lại tốt hơn các FAM khác

3

CHƯƠNG 1 BÀI TOÁN MÔ PHỎNG QUÁ TRÌNH GHI NHỚ

THÔNG TIN CỦA HỆ THỐNG NƠ-RON SINH HỌC

1.1 Não người và nơ-ron sinh học

1.1.1 Não người

Vỏ não của người là một tầng dày chứa các nơ-ron mà bao phủ hầu hết bộ não Vỏ não được chia thành bốn "thùy" Mỗi thùy có các vùng vỏ não lớn gắn với một chức năng cụ thể như nhìn, điều khiển chuyển động, ngôn ngữ, Một số vùng được mở rộng rất mạnh đặc biệt

là vùng chứa ngôn ngữ

1.1.2 Mạng nơ-ron sinh học

Một mạng nơ-ron sinh học là một chuỗi các nơ-ron có kết nối bên trong mà sự kích hoạt của các nơ-ron tạo thành sự truyền tín hiệu giữa các nơ-ron Nếu tổng các tín hiệu vào trên một nơ-ron vượt quá một ngưỡng nhất định thì nơ-ron gửi đi một tiềm năng hoạt động ở phần

gò sợi trục và truyền các tín hiệu điện tử này theo các sợi trục đến các nơ-ron khác

1.2 Nơ-ron nhân tạo và mạng nơ-ron nhân tạo

McCulloch và Pitts đã đề xuất một mô hình tính toán cho một nơ-ron sinh học Nơ-ron nhân tạo tính tổng trọng số của các tín hiệu vào và tạo ra một tín hiệu ra là 1 nếu tổng trọng

số cao hơn một ngưỡng nhất định Ngược lại, tín hiệu ra là 0 Theo toán học,

Các nơ-ron nhân tạo kết nối với nhau tạo thành các mạng nơ-ron nhân tạo

1.3 Mô phỏng quá trình ghi nhớ thông tin của các mạng nơ-ron nhân tạo

Một ANN có hai quá trình gồm quá trình học và quá trình nhớ lại Ba lược đồ học của ANN là học có giám sát, học không giám sát, và lai giữa hai lược đồ học giám sát và học không giám sát

4

Có bốn kiểu luật học gồm: luật lỗi-làm đúng (error-correction), luật của Boltzmann,

luật của Hebb, và luật học cạnh tranh Đối với luật lỗi-làm đúng, mô hình học có giám sát theo nguyên tắc sau: dùng lỗi do sự chênh lệnh giữa tín hiệu ra thực và tín hiệu ra mong đợi

để thay đổi trọng số kết nối sao cho giảm dần được lỗi Luật học Boltman là một quy tắc học tập ngẫu nhiên mà điều chỉnh trọng số kết nối để trạng thái của các nơ-ron đáp ứng một phân phối xác suất mong đợi Luật học của Hebb được phát biểu: Nếu tế bào thần kinh ở hai khớp thần kinh được kích hoạt đồng thời và liên tục thì sự liên kết của hai khớp thần kinh sẽ được tăng lên Luật học cạnh tranh chỉ cho phép một nơ-ron được kích hoạt cung cấp tín hiệu ra ở một thời điểm

CHƯƠNG 2 CƠ SỞ LÝ THUYẾT

Cho A, B là hai tập mờ trên X Với mọi x X,

Phép giao của hai tập A, B được định nghĩa:

Phép hợp của hai tập A, B được định nghĩa:

(2.2) Phép bù một tập mờ A được định nghĩa:

Phép nối mờ của A, B là một ánh xạ:

(2.4) thỏa mãn C(0, 0) = C(0, 1) = C(1, 0) = 0 và C(1, 1) = 1

Một kết nối mờ

(2.5) thỏa mãn T(x, 1) = x với x [0,1] được gọi là triangular norm hay t-norm

2.2.2 Các thao tác cơ bản của hình thái toán học

Phép co rút là một ánh xạ từ một lưới đầy đủ L đến một lưới đầy đủ M thỏa mãn công thức sau:

(2.18) Phép giãn nở : L M thỏa mãn công thức sau:

2.3.2 Hoạt động của AM

AM hoạt động ở hai dạng gồm tự liên kết và liên kết khác loại Bộ nhớ ở dạng tự liên kết đưa ra một mẫu đã lưu mà giống nhất với mẫu vào hiện tại Ở dạng liên kết khác loại,

- Các lỗi và nhiễu chỉ gây ra giảm độ chính xác của MẪU RA

- Nếu các mẫu vào trực giao thì nhớ lại đúng

- Mẫu dữ liệu thường được biểu diễn ở dạng 2 cực

2.4 Mô hình BAM

2.4.1 Khái niệm về BAM

BAM là một dạng ANN điển hình thể hiện cấu trúc bộ nhớ liên kết với khả năng nhớ lại theo cả hai hướng BAM là ANN có 2 tầng và có các kết nối 2 chiều Hình 2.3 mô tả cấu trúc tổng quát của mô hình BAM

Hình 2.1: Cấu trúc tổng quát của mô hình BAM

2.4.2 Quá trình học của BAM

Quá trình này học và lưu trữ các liên kết giữa các cặp mẫu

Đầu tiên, ma trận trọng số W k lưu cặp mẫu (A k ,B k ) theo công thức:

7

2.4.3 Quá trình nhớ lại của BAM

Cho một mẫu vào X, quá trình nhớ lại diễn ra như sau:

Đầu tiên, tổng hợp dữ liệu vào của mỗi nơ-ron theo công thức sau:

(2.22)

với m là số chiều của X, Input j là tổng trọng số của các dữ liệu vào của nơ-ron j, X i là thành

phần thứ i của mẫu dữ liệu vào X

Sau đó, xác định dữ liệu ra cho nơ-ron bằng cách dùng hàm đầu ra:

(2.23) với θj là ngưỡng của nơ-ron j

Lặp lại quá trình trên cho đến khi thu được cặp (Xf,Yf) không thay đổi Đây là trạng thái BAM hội tụ và Yf chính là mẫu ra của BAM ứng với mẫu vào X

2.4.4 Hàm năng lượng của BAM

Hàm năng lượng E với mỗi trạng thái (A, B) được tính như sau:

2.4.5 Chiến lược học nhiều lần dùng số lần lặp tối thiểu để học một cặp mẫu

Y.F Wang và đồng nghiệp thực hiện học nhiều lần các cặp mẫu bằng cách dùng số lần

lặp tối thiểu để học một cặp mẫu (MNTP) Khi đó, W k được tính theo công thức:

mọi k=1, ,p Hơn nữa, ánh xạ G cần có khả năng chịu nhiễu

Quá trình xác định G được gọi là quá trình học và ánh xạ G được gọi là ánh xạ liên kết

(nhớ lại các liên kết)

Bộ nhớ liên kết mờ là bộ nhớ liên kết mà các mẫu A k và B k là các tập mờ với mọi k=1, ,p

8

2.5.2 Các FAM của Kosko và sự tổng quát hóa

Kosko đưa ra hai mô hình FAM đầu tiên gồm max-min FAM và max-product FAM nên ban đầu FAM chưa dùng sai số θ Sau đó, Chung và Lee tổng quát hóa FAM thành FAM tổng quát

FAM lưu p cặp mẫu Cho và

Mô hình tổng dùng nơ-ron max-C nên có thể dùng một phép nối mờ như CM, CP, CL Quá trình học thực hiện như sau:

ọ (2.33)

Cho mẫu vào x, mẫu ra y được nhớ lại từ mẫu vào x được tính bằng:

2.6 Mô hình ART

2.6.1 Cấu trúc của ART

Cấu trúc chung của mạng ART được thể hiện trong Hình 2.4

Hình 2.2: Cấu trúc của một ART đơn giản

Một mạng ART điển hình có hai tầng: tầng dữ liệu vào (F1) và tầng dữ liệu ra (F2) Tính động của mạng được điều khiển bởi hai hệ thống con: hệ thống chú ý và hệ thống định hướng

2.6.2 Một số mô hình cải tiến từ ART

Họ các mô hình được phát triển từ ART để giải quyết tốt hơn các bài toán thực bao gồm ART 1, ART 2, ART 3, ARTMAP, Fuzzy ART, Fuzzy ARTMAP

2.7.2 Thuật toán Fuzzy ART

Các tham số của mô hình Fuzzy ART: chọn α> 0, tốc độ học β [0, 1], ngưỡng [0, 1]

Bước 1: Khởi tạo véc tơ trọng số

Bước 2: Lựa chọn một cụm chiến thắng

Với mỗi dữ liệu vào I và cụm j, hàm chọn Tj được định nghĩa bởi

Sự chọn cụm được gắn chỉ số bằng j, với

(2.39)

Bước 3: Kiểm tra trạng thái của mạng là cộng hưởng hay thiết lập lại

Cộng hưởng xuất hiện nếu

Sau đó việc học sẽ diễn ra

Thiết lập lại xuất hiện nếu

Sau đó, giá trị của hàm chọn Tj được thiết lập -1 cho các biểu diễn mẫu vào để ngăn sự lựa chọn lại mẫu vào trong quá trình tìm kiếm Một chỉ số mới j được chọn bởi Công thức (2.39) Quá trình tìm kiếm tiếp tục cho đến khi j được chọn thỏa mãn Công thức (2 40) Nếu không có cụm đang tồn tại nào thỏa mãn thì một cụm mới j được sinh ra và đặt

Bước 4: Học dữ liệu huấn luyện

Véc tơ trọng số của cụm j được cập nhật bởi:

(2.42)

10

2.7.3 Fuzzy ART với mã hóa đầy đủ

Moore trình bày vấn đề sinh ra cụm mới của ART tương tự khi một số lớn các mẫu vào

có véc tơ trọng số bị co rút Fuzzy ART tránh sinh các cụm nếu các mẫu vào được chuẩn hóa

CHƯƠNG 3 THUẬT TOÁN HỌC MỚI CHO BỘ NHỚ LIÊN KẾT

HAI CHIỀU

3.1 Giới thiệu chung

BAM là một ANN mà được mở rộng từ các mạng nơ-ron Hopfiled BAM có thể thực hiện tìm kiếm sự liên kết theo cả hai chiều BAM có các ưu điểm gồm nhớ lại một mẫu đã lưu từ một dữ liệu vào có chứa nhiễu hoặc không đầy đủ và hội tụ không điều kiện trong chế

độ đồng bộ

3.2 Quá trình học của một số BAM với chiến lược học nhiều lần

Mô hình của Y.F Wang, Cruz, và Mulligan

Luật học được thể hiện bởi công thức sau:

(3.1)

với q i thể hiện số lần huấn luyện cặp (Ai, Bi)

Để BAM nhớ lại đúng các cặp mẫu đã lưu, q i cần thỏa mãn điều kiện sau:

Mô hình của T Wang và Zhuang

Luật học của mô hình được thể hiện bởi công thức sau:

11

với S(x)=0 nếu x>0 và S(x)=1 nếu x≤0

Quá trình này lặp lại cho đến khi các giá trị của ma trận trọng số W ổn định

Mô hình của Zhuang, Huang, và Chen

Ban đầu, là bất kỳ Khi t>0 thì luật học của nơ-ron i ở vùng A được thể hiện bởi

công thức sau:

với i = 1,…, m

Quá trình này lặp lại cho đến khi các giá trị của ma trận trọng số W ổn định

3.3 Lý do đề xuất thuật toán học mới

Từ việc tổng hợp các nghiên cứu về BAM, tác giả nhận thấy mô hình BAM học nhiều lần sẽ phát huy tốt ưu điểm về phục hồi từ mẫu vào nhiễu Tuy nhiên, cần phải giảm thời gian học các mẫu mà vẫn giữ được khả năng nhớ lại tốt để đáp ứng cho các ứng dụng thực đòi hỏi thời gian phản hồi ngắn đặc biệt khi số lượng mẫu và kích thước của các mẫu tăng lên Ngoài

ra, BAM cần được cải tiến khả năng lưu trữ và nhớ lại các cặp mẫu không trực giao

3.4 Thuật toán học mới

3.4.1 Phân tích mối quan hệ giữa MNTP và hàm năng lượng

Giả sử BAM học p cặp mẫu Cặp mẫu (Ai, Bi) được trình bày như sau:

và Mối quan hệ giữa MNTP và hàm năng lượng được thiết lập

từ công thức (2.24) và (2.25)

Sau dãy các biến đổi, thu được W như sau:

12

(3.11)

và Ei được tính bằng:

(3.13)

Công thức (3.13) thể hiện giá trị tuyệt đối của Ei tỷ lệ thuận với mọi qk củap cặp mẫu (với k=1,…p) Nghĩa là, giá trị tuyệt đối của Ei sẽ giảm nhanh khi một số hay mọi qk cùng giảm đồng thời

3.4.3 Nội dung thuật toán học mới

Một số ký hiệu được dùng trong thuật toán:

- q i là MNTP của cặp mẫu thứ i

- W là ma trận trọng số chung

- E i là năng lượng ứng với trạng thái (A i , B i )

Quá trình học được thực hiện qua hai bước sau:

Bước 1: Khởi tạo giá trị MNTP của mọi cặp mẫu bằng 1 để thu được ma trận trọng

số gốc của BAM

Bước 2: Thực hiện lặp các bước sau cho đến khi |Ei| ≅0 với mọi i=1,…,p và |x| là giá trị tuyệt đối của x

Bước 2.1: Tính W theo công thức (2.25)

Bước 2.2: Tính Ei theo công thức (2.24) với i=1,…,p

Bước 2.3: Dựa vào giá trị của Ei để cập nhật q i

theo hai luật sau:

Luật 1: Nếu |Ei| ≅0 thì không thay đổi q i

Luật 2: Nếu |Ei| ≅0 chưa thỏa mãn thì giảm q i xuống h lần để |Ei| giảm xuống sao cho |Ei| ≅0

Ưu điểm của thuật toán học mới

Ba lý do chính làm cho thuật toán học mới tốt hơn so với các thuật toán học đã công bố gồm: Sự tăng hay giảm trọng số kết nối được thực hiện bằng phép nhân hoặc phép chia;

13

MNTP của mỗi cặp có thể được thay đổi trong mỗi lần lặp của quá trình học; và năng lượng của mỗi trạng thái ứng với mỗi cặp mẫu tiến đến 0 Vì vậy, BAM cải tiến sẽ có hai ưu điểm gồm (i) quá trình học các cặp mẫu thực hiện nhanh và linh hoạt hơn và (ii) có khả năng lưu

và nhớ lại các cặp mẫu không trực giao

3.5 Kết quả thực nghiệm

Các thử nghiệm được làm với ứng dụng nhận dạng mẫu Các BAM được dùng gồm BAM của Y.F.Wang (WBAM), Zhuang (ZBAM), Tao Wang (TBAM) và BAM cải tiến (FFBAM) ở chế độ tự liên kết Năm ứng dụng nhận dạng mẫu gồm nhận dạng vân tay, chữ viết tay, phương tiện giao thông, biển hiệu giao thông và tiền xu của Mỹ Kết quả thực nghiệm cho thấy BAM với thuật toán học mới nhớ lại tốt hơn các BAM khác trong chế độ tự liên kết

Bảng 3.1: Tỷ lệ phần trăm nhận dạng đúng các điểm ảnh trong nhận

Bảng 3.3: Tỷ lệ phần trăm nhận dạng đúng các điểm ảnh trong nhận

dạng biển hiệu giao thông

WBAM ZBAM TBAM FFBAM