Tóm tắt Luận án Tiến sĩ Toán học: Phát triển các cấu trúc, thuật học của mạng nơron tự tổ chức

Luận án Phát triển các cấu trúc, thuật học của mạng nơron tự tổ chức thực hiện nghiên cứu nhằm hướng đến các mục tiêu: đề xuất một số giải pháp cải thiện chất lượng bản đồ đặc trưng mạng nơron SOM; cải tiến cấu trúc, thuật toán học mạng nơron SOM ứng dụng cho bài toán phân lớp, phân cụm dữ liệu. Mời các bạn cùng tham khảo.

BỘ GIÁO DỤC VÀ ĐÀO TẠO VIỆN HÀN LÂM

KHOA HỌC VÀ CÔNG NGHỆ VN HỌC VIỆN KHOA HỌC VÀ CÔNG NGHỆ

Công trình được hoàn thành tại: Học viện Khoa học và Công nghệ - Viện Hàn lâm Khoa học và Công nghệ Việt Nam

Người hướng dẫn khoa học: PGS.TS NGUYỄN QUANG HOAN

Phản biện 1:

Phản biện 2:

Phản biện 3:

Luận án được bảo vệ trước Hội đồng chấm luận án cấp Học viện họp tại:

Vào hồi giờ ngày tháng năm Có thể tìm hiểu luận án tại thư viện:

MỞ ĐẦU

Mạng nơron bản đồ tự tổ chức (SOM - Self Organizing Map) được đề xuất bởi giáo sư Teuvo Kohonen vào năm 1980 Nó còn được biết đến với các tên gọi khác là: Bản đồ đặc trưng tự tổ chức (SOFM - Self Organizing Feature Map) hay mạng nơron tự tổ chức, hay đơn giản hơn là mạng nơron Kohonen

Điểm mạnh của SOM là khả năng khai thác các mối liên hệ có tính cấu trúc trong không gian dữ liệu thông qua một bản đồ đặc trưng, nên nó có thể được phát triển để giải quyết nhiều bài toán thực tiễn hiện nay Tuy nhiên, bản thân mạng nơron SOM vẫn còn tồn tại nhiều nhược điểm dẫn tới những khó khăn và khả năng ứng dụng thực tiễn bị hạn chế Do vậy, các nghiên cứu về cải tiến cấu trúc và thuật toán học của mạng nơron SOM đã được nhiều nhà nghiên cứu quan tâm Các nghiên cứu cải tiến mạng nơron SOM được chia làm hai hướng chính, gồm: cải tiến cấu trúc và cải tiến thuật toán học của mạng

Các nghiên cứu về cải tiến cấu trúc của mạng có thể được chia làm hai nhóm:

Nhóm thứ nhất gồm các cấu trúc cải tiến tăng trưởng theo chiều ngang Các cấu trúc này có đặc điểm chung là ban đầu mạng có kích thước nhỏ, sau đó mở rộng trong quá trình huấn luyện tùy thuộc vào đặc tính của tập dữ liệu huấn luyện

Nhóm thứ hai gồm các cấu trúc cải tiến tăng trưởng theo chiều dọc, còn gọi là cấu trúc cây (với mỗi nút của cây là một nơron) hoặc cấu trúc cây phân tầng (với mỗi nút của cây là một mạng nơron SOM hoặc một biến thể của SOM) Các cấu trúc cây có thể cố định trước kích thước, nhưng cũng có thể tăng trưởng kích thước trong quá trình huấn luyện, do đó, còn được gọi là cấu trúc cây tăng trưởng Các cấu trúc cây được đưa ra chủ yếu nhằm mục đích biểu diễn tính chất phân cấp của dữ liệu Các cải tiến về thuật toán học của mạng có thể chia làm hai nhóm chính: các thuật toán học cải tiến sử dụng phương pháp học không giám sát và các thuật toán học cải tiến sử dụng phương pháp học giám sát hoặc bán giám sát Nhóm thứ hai hình thành các biến thể với tên gọi chung là các mạng nơron SOM giám sát hoặc bán giám sát

Trên cơ sở nghiên cứu về mạng nơron SOM gốc và các biến thể của SOM về cấu trúc và phương pháp học, có một số vấn đề tồn tại cần tiếp tục nghiên cứu phát triển như sau:

Thứ nhất, đề xuất các phương thức cải thiện chất lượng bản đồ đặc trưng khác so với các phương thức đã có trước đây; nghiên cứu cải thiện chất lượng biểu diễn dữ liệu của các mạng nơron SOM cải tiến Đây là một hướng nghiên cứu mở do hiện nay các nghiên cứu cải thiện chất lượng các mạng nơron SOM cải tiến chưa có nhiều

Thứ hai, cả SOM gốc và hầu hết các biến thể của SOM chủ yếu được thiết kế cho mục tiêu biểu diễn dữ liệu (biểu diễn sự phân bố hoặc sự phân cấp của dữ liệu) nên khi ứng dụng SOM cho các mục đích khác cần nghiên cứu các phương án cải tiến phù hợp Ví dụ, mạng nơron SOM chưa có phương

án phân loại dữ liệu chính xác, do đó khả năng ứng dụng SOM để giải quyết các vấn đề của khai phá

dữ liệu (ví dụ như phân lớp và phân cụm) còn hạn chế

Thứ ba: do sử dụng phương pháp học không giám sát nên quá trình học của SOM thiếu thông tin hướng dẫn để nâng cao hiệu quả ứng dụng trong một số bài toán thực tế, ví dụ như bài toán phân lớp

dữ liệu

Các tồn tại trên là lý do lựa chọn và đưa ra các mục tiêu nghiên cứu của đề tài luận án Mục tiêu nghiên cứu của đề tài luận án gồm:

1 Đề xuất một số giải pháp cải thiện chất lượng bản đồ đặc trưng mạng nơron SOM

2 Cải tiến cấu trúc, thuật toán học mạng nơron SOM ứng dụng cho bài toán phân lớp, phân cụm

dữ liệu

Các nội dung nghiên cứu này được thực nghiệm trong phạm vi dữ liệu dạng vector thuộc tính số thực; không áp dụng với các loại dữ liệu khác Chương trình thực nghiệm được cài đặt bằng ngôn

ngữ lập trình C# và tiến hành thực nghiệm trên các tập dữ liệu đã được công bố sử dụng máy tính máy tính cá nhân (Chipset Core i5 - 1.7GHz, RAM 6GB)

Nội dung của luận án bao gồm 4 chương Chương đầu trình bày nghiên cứu tổng quan về nội dung của đề tài Các chương còn lại trình bày các đóng góp của luận án Nội dung của từng chương

có thể tóm tắt như sau:

Chương 1 trình bày nghiên cứu tổng quan về mạng nơron nhân tạo, mạng nơron SOM; tập trung

phân tích các hạn chế và biện pháp khắc phục các hạn chế của SOM trên cơ sở nghiên cứu các biến thể được cải tiến từ SOM

Chương 2 trình bày các nghiên cứu liên quan đến vấn đề đánh giá và cải thiện chất lượng bản

đồ đặc trưng của mạng nơron SOM từ đó đưa ra hai đề xuất, gồm: Thứ nhất, đưa ra tham số điều chỉnh của hàm lân cận đối xứng dạng mũ Tham số điều chỉnh được xác định riêng cho mỗi tập dữ liệu, cho phép giảm đồng thời cả lỗi lượng tử và lỗi hình trạng của mạng Thứ hai, đưa ra thuật toán điều chỉnh trọng số nơron để giảm lỗi lượng tử của mạng, cho phép giảm lỗi lượng tử của mọi bản đồ

mà không quan tâm đến các tham số cấu hình mạng, cũng như không gia tăng thêm các tham số khác Nội dung của đề xuất gồm một định nghĩa, một định lý, một hệ quả và một thuật toán

Chương 3 trình bày các nghiên cứu liên quan đến cải tiến SOM giám sát hoặc bán giám sát nói

chung và áp dụng cho bài toán phân lớp nói riêng, từ đó đề xuất một cấu trúc SOM phân tầng tăng trưởng và thuật toán học bán giám sát cho mục đích phân lớp dữ liệu Mô hình đề xuất có thể hoạt động như một mô hình phân lớp truyền thống (100% dữ liệu huấn luyện có gán nhãn) hoặc mô hình phân lớp bán giám sát

Chương 4 trình bày các nghiên cứu liên quan đến việc cải tiến SOM áp dụng cho bài toán phân

cụm dữ liệu, từ đó đưa ra hai đề xuất cải tiến cấu trúc và thuật toán học SOM, gồm: Thứ nhất, cải tiến thuật toán học của SOM cho phép từng bước hình thành các cụm và hiệu chỉnh các nơron thuộc về mỗi cụm trong quá trình học của mạng Thứ hai, đưa ra một cấu trúc SOM mở rộng hai lớp và thuật toán huấn luyện tương ứng cho mục đích phân cụm dữ liệu Tiếp theo trình bày kết quả thực nghiệm của các phương thức đề xuất và so sánh kết quả với một số phương thức phân cụm khác

CHƯƠNG 1: TỔNG QUAN VỀ CÁC MÔ HÌNH MẠNG NƠRON TỰ TỔ CHỨC 1.1 Tổng quan về mạng nơron nhân tạo

Mục này cung cấp các kiến thức tổng quan về mạng nơron nhân tạo gồm: khái niệm, các dạng kiến trúc căn bản, các phương pháp học, xu hướng phát triển các mạng nơron hiện nay

1.2 Mạng nơron tự tổ chức

1.2.1 Cấu trúc mạng nơron tự tổ chức

Mạng nơron SOM có cấu trúc đơn lớp (Kohonen,

2001), gồm: các tín hiệu vào và lớp ra (được gọi là lớp

Kohonen), trong đó, tất cả các đầu vào được kết nối

đầy đủ với mọi nơron trên lớp ra Kohonen

1.2.2 Thuật toán học của mạng nơron tự tổ chức

Thuật toán học của mạng nơron tự tổ chức hay

thuật toán SOM (Kohonen, 2001), gồm 4 bước:

Bước 1- Khởi tạo: Kích thước mạng (là kích thước lớp

Kohonen), vector trọng số của các nơron: khởi tạo giá

trị ngẫu nhiên, bán kính lân cận, tỉ lệ học khởi tạo

Bước 2- Cạnh tranh: Với mỗi mẫu đầu vào x(t) R n tại lần huấn luyện thứ t, tìm nơron khớp nhất với mẫu x(t) Nơron c được gọi là nơron khớp nhất (BMU) nếu thỏa mãn công thức:

b

a

Hình 1 1 Minh họa cấu trúc SOM với

lớp Kohonen 2 chiều

     

i

Bước 3- Hợp tác: Cơ sở cho sự hợp tác giữa các nơron là phạm vi ảnh hưởng của BMU hay còn gọi

là bán kính lân cận của BMU (ký hiệu N c (t)) N c (t) được xác định theo công thức:

trong đó: t là lân huấn luyện (hay lần học); N0 là bán kính lân cận khởi tạo; N t là bán kính lân c 

cận của BMU tại lần học thứ t; log 0

T N

 là hằng số thời gian, với T là tổng số lần học

Bước 4- Thích nghi: Điều chỉnh trọng số của BMU và các nơron trong bán kính lân cận của BMU

với r c và r i là vị trí tương ứng của nơron c và nơron i trong lớp Kohonen

- L t là tỉ lệ học tại lần lặp thứ t, với   0L t  ) 1 L t có thể là một hàm tuyến tính, hàm mũ  

Sau khi khởi tạo (Bước 1), quá trình huấn luyện mạng sẽ lặp lại nhiều lần các bước 2, 3 và 4 cho

đến khi thỏa mãn một trong các điều kiện dừng: đạt được số lần huấn luyện nhất định (T lần) hoặc

mạng đạt được trạng thái cân bằng

1.2.3 Đánh giá chất lượng bản đồ đặc trưng của mạng nơron tự tổ chức

Hai độ đo thường được sử dụng để đánh giá chất lượng bản đồ đặc trưng của SOM, gồm: Lỗi

lượng tử (QE- Quantization Error) và Lỗi hình trạng (TE- Topographic Error)

a) Lỗi lượng tử: Lỗi lượng tử là độ đo đánh giá chất lượng học của mạng thông qua độ khác biệt

trung bình của các mẫu đầu vào so với các nơron chiến thắng (BMU) tương ứng của nó Nó thể hiện

độ chính xác của dữ liệu đại diện, do đó giá trị này càng nhỏ thì càng tốt (Kohonen, 2001)

   

1

c t

TE d x t

T 

trong đó: x t  là mẫu đầu vào của mạng tại lần huấn luyện thứ t; d x t   1 nếu BMU1 và BMU2

của x t  không liền kề, ngược lại d x t     ; T là tổng số lần huấn luyện 0

1.3 Hạn chế của mạng nơron tự tổ chức và các biện pháp khắc phục

Một số hạn chế của SOM đã được các nhà nghiên cứu chỉ ra trong các biến thể của SOM như: phải xác định trước hình trạng và kích thước bản đồ; bản đồ đặc trưng thiếu tính trực quan; thiếu cơ chế xác định ranh giới giữa các vùng dữ liệu trên bản đồ đặc trưng; việc tìm BMU mất nhiều thời gian; thứ tự của các mẫu vào ảnh hưởng tới xu hướng biến đổi của bản đồ; không có thông tin chỉ dẫn trong quá trình huấn luyện

1.4 Kết quả nghiên cứu trong và ngoài nước về cải tiến cấu trúc, phương pháp học của mạng nơron tự tổ chức

1.4.1 Kết quả nghiên cứu trong nước

Cho đến nay nghiên cứu sinh chưa tìm thấy kết quả nghiên cứu nào về cải tiến cấu trúc hoặc quá trình học của mạng nơron tự tổ chức Hầu hết các nghiên cứu liên quan chỉ giới hạn trong phạm vi ứng dụng mạng nơron tự tổ chức trong các bài toán ứng dụng thực tiễn Các công trình đã công bố chủ yếu là các luận văn thạc sĩ

1.4.2 Kết quả nghiên cứu ngoài nước

Có nhiều nghiên cứu được công bố ngoài nước về cải tiến cấu trúc và phương pháp học của mạng nơron tự tổ chức (gọi chung là các biến thể) Về mặt cấu trúc, các biến thể của mạng nơron tự tổ chức

có thể được chia thành 2 nhóm: các biến thể không sử dụng cấu trúc cây và các biến thể sử dụng cấu trúc cây Về mặt phương pháp học, bên cạnh các biến thể sử dụng phương pháp học không giám sát truyền thống, một số biến thể đã sử dụng phương pháp học giám sát hoặc bán giám sát

Gần đây nhiều nhà nghiên cứu tiếp tục đưa ra các biến thể về phương pháp học của SOM, cụ thể: các biến thể SOM có giám sát có thể kể đến như (Papadimitriou, 2001), (Thammano, 2007), (Lawawirojwong, 2013), (Groof, 2014), (Gil, 2015); các biến thể SOM bán giám sát: (Li, 2013), (Allahyar, 2015), (Abaei, 2015)

1.5 Đặc điểm chung của các phương thức cải tiến mạng nơron tự tổ chức

Các biến thể của SOM thường sử dụng một số phương thức cải tiến như: bộ đếm BMU; bộ đếm

“tuổi”; lỗi lượng tử vượt ngưỡng; mở rộng mạng từ nơron ở biên; “đóng băng” nơron ở trung tâm; tăng trưởng, phân tầng và thêm thông tin hướng dẫn trong quá trình học

1.6 Kết luận chương 1

Chương này đã trình bày các kiến thức nghiên cứu tổng quan về: Mạng nơron nhân tạo và xu thế phát triển mạng nơron nhân tạo cho đến hiện nay; Mạng nơron tự tổ chức và các biến thể của nó Phân tích các hạn chế của mạng nơron tự tổ chức và biện pháp khắc phục; Tổng hợp đặc điểm chung của các phương thức cải tiến mạng nơron tự tổ chức

CHƯƠNG 2: HAI PHƯƠNG THỨC CẢI THIỆN CHẤT LƯỢNG BẢN ĐỒ ĐẶC TRƯNG

CỦA MẠNG NƠRON TỰ TỔ CHỨC 2.1 Tổng quan về cải thiện chất lượng bản đồ đặc trưng của mạng nơron tự tổ chức

Phương thức truyền thống để cải thiện chất lượng bản đồ đặc trưng của SOM là “thử sai” nhiều lần với các tham số khác nhau của mạng Ngoài ra, hướng nghiên cứu cải tiến thuật toán học của SOM để cải thiện chất lượng bản đồ đặc trưng cũng được các nhà nghiên cứu quan tâm Điển hình là các nghiên cứu của (Germen, 2002), (Germen, 2005), (Neme, 2008), (Lopez-Rubio, 2013), (Neme,

2014), (Kamimura, 2014) Tuy nhiên, chưa có giải pháp nào có thể giảm đồng thời cả QE và TE mà

luôn đúng cho mọi tập dữ liệu

2.2 Điều chỉnh tham số của hàm lân cận để cải thiện chất lượng bản đồ đặc trưng

2.2.1 Một số dạng hàm lân cận của mạng nơron tự tổ chức

Ngoài hàm lân cận Gaussion được sử dụng phổ biến, một số loại hàm lân cận khác cũng được đề cập như: Hàm “nổi bọt - bubble” (Kohonen, 2001); hàm lân cận bất đối xứng (Aoki, 2007) và (Ota, 2011); quy tắc cập nhật trọng số “ngư dân - fisherman” (Lee, 2002) Tuy nhiên, theo các tác giả thì hàm lân cận Gaussian vẫn cho kết quả tốt nhất, do vậy nó vẫn được sử dụng phổ biến đối với SOM

và các biến thể của SOM

2.2.2 Adding adjust parameter for Gaussian neighborhood function

Công thức (1.4) có thể được viết lại ở dạng tổng quát như sau:

trong đó: q và p là hai tham số điều chỉnh, với q0 và p0

Nhận thấy, giá trị của h ci (t) phụ thuộc vào khoảng cách từ vị trí (r i ) của nơron đang xét (nơron i) tới vị trí (r c ) của nơron chiến thắng (BMU hay nơron c) và các tham số q, p Nếu nơron đang xét là

BMU, tức là r cr i  thì 0 h t ci  ; Nếu nơron đang xét nằm ở vị trí xa nhất trong bán kính lân 1

cận N c (t), tức là r cr i N t c  thì giá trị hàm lân cận phụ thuộc vào tham số q, với:

Tuy nhiên, nếu q quá lớn thì khả năng học của mạng bị hạn chế, tức là hình trạng mạng có thể ít

thay đổi và phần nào phụ thuộc vào việc khởi tạo trọng số của nơron Mặt khác, bán kính lân cận

N c (t) có thể vô hình chung bị co lại, do hàm h t ci  đối với các nơron ở vị trí xa trong bán kính lân 0cận (tức là các nơron ở vị trí xa trong bán kính lân cận không được điều chỉnh hoặc điều chỉnh không

đáng kể theo mẫu đầu vào) Vì vậy, để đảm bảo tất cả các nơron trong bán kính lân cận N c (t) được

tác động bởi mẫu đầu vào thì tham số q không được phép quá lớn Ví dụ, trường hợp q=8 và 12, hàm

biến đổi cục bộ theo mẫu

đầu vào thứ t Điều này làm

giảm khả năng nhớ của

mạng đối với những lần

học trước

Như vậy, lỗi hình trạng TE có thể phụ thuộc vào việc khởi tạo trọng số nơron nếu q quá lớn, hoặc phụ thuộc thứ tự các mẫu đầu vào nếu q quá nhỏ Chú ý rằng trọng số khởi tạo của nơron và thứ tự

các mẫu đầu vào được xác định ngẫu nhiên Do vậy, khả năng học hình trạng của mạng tốt nhất khi

tham số q không quá nhỏ hoặc quá lớn

b) Tham số p

Khi cố định tham số

q, nếu tăng tham số p thì

hàm h ci (t) tăng dần tới 1

đối với các nơron gần phía

với BMU, tức là số lượng

láng giềng quanh BMU

được điều chỉnh với mức

độ tương tự như BMU sẽ

mở rộng Điều này làm

tăng lỗi lượng tử QE Nếu

tham số p quá lớn thì bản

đồ đặc trưng có xu hướng

biến đổi cục bộ theo mẫu

đầu vào của lần huấn

luyện gần nhất (tương tự

như trường hợp tham số q

quá nhỏ) Tuy nhiên, lỗi hình trạng TE có thể thay đổi không đáng kể, do việc xác định TE chỉ xét

trong phạm vi BMU và các nơron láng giềng liền kề của nó

Hình 2 1 Minh họa hàm h ci (t) khi thay đổi giá trị q

Hình 2.2 biểu diễn hàm h ci (t) gốc (với q=0.5 và p=2) và hàm h ci (t) điều chỉnh với tham số q=4

và p=1, 2, 3, 4, 5, 6 trong trường hợp bán kính lân cận N t c  10

Riêng trường hợp p=1 đồ thị h ci (t) tương tự như trường hợp q=8, 12 ở Hình 2.2, tức là lỗi lượng

tử QE nhỏ nhất so với các trường hợp p>1, nhưng lỗi hình trạng TE có thể không tin cậy do nó phụ

thuộc vào việc khởi trọng số của nơron

Do đó, việc điều chỉnh tham số p có tác động không đáng kể tới việc cải thiện chất lượng bản đồ

đặc trưng của mạng nơron tự tổ chức

Nhận xét: Tham số q có ý nghĩa tích cực trong việc cải thiện chất lượng bản đồ đặc trưng của

mạng nơron tự tổ chức Tham số q càng lớn thì QE càng nhỏ, tuy nhiên q đạt giá trị phù hợp nhất khi

TE nhỏ nhất Do vậy, nghiên cứu sinh đề xuất cải tiến hàm lân cận với một tham số điều chỉnh như

Như vậy, mỗi tập con I i thực chất là một cụm dữ liệu trong trong tập dữ liệu đầu vào, vì thế theo

k-means thì các cụm dữ liệu là tốt nhất nếu hàm mục tiêu E tối thiểu:

L(t) 0 nếu tổng số lần huấn luyện T Tức là, việc tăng số lần huấn luyện mạng quá lớn chỉ làm

tăng tổng thời gian tính toán, còn hiệu quả cải thiện chất lượng bản đồ đặc trưng là không cao

Nếu giả thiết rằng L(t)0 (giả thiết này đúng khi T hoặc khi quá trình huấn luyện đã kết thúc),

ta có công thức (1.8) tương đương với:

1

i i

trong đó: N là tổng số mẫu dữ liệu

Nhận thấy, công thức (2.10) có sự tương đồng với công thức (2.5) Do vậy, để giảm QE thì w i

nên được xem xét giống như center i Điều này có nghĩa rằng, thay vì cố gắng tăng số lần huấn luyện

mạng lên quá lớn để giảm QE ta nên điều chỉnh w i theo tâm cụm center i Việc điều chỉnh này chỉ cần thực hiện khi quá trình huấn luyện của mạng đã kết thúc

Ta có bổ đề sau:

Bổ đề Một bản đồ tự tổ chức có lỗi lượng tử nhỏ nhất khi và chỉ khi wi  centeri , trong đó: w i

là vector trọng số của nơron thứ i; center i là tâm cụm của tập I i , với i=1 s Tập I i bao gồm các mẫu

dữ liệu được đại diện bởi nơron thứ i khi quá trình huấn luyện đã kết thúc[6A]

Việc điều chỉnh w i trùng với center i làm tăng độ chính xác của dữ liệu đại diện, nhưng cũng dẫn tới hệ quả là có một số mẫu dữ liệu cần phải chuyển đổi nơron đại diện cho nó, do nó khớp hơn với một nơron khác (so với nơron mà nó đang thuộc về)

Các mẫu dữ liệu cần thay đổi nơron đại diện được gọi là các “phần tử khác biệt” theo định nghĩa

dưới đây:

Định nghĩa

Một mẫu dữ liệu x được gọi là “phần tử khác biệt” của nơron i đối với nơron j (với j  i) khi và

chỉ khi x I i và d x w , jd x w , i[6A]

Hình 2.4 minh họa x 1 là “phần tử khác biệt” của nơron i đối với nơron j, với

g vì không thỏa mãn điều kiện d x w 3 , gd x w 3 , i

Định lý Cho I i và I j là hai tập dữ liệu được đại

diện tương ứng bởi hai nơron i và nơron j; mẫu dữ

liệu x là “phần tử khác biệt” của nơron i đối với

nơron j (với x I i , i j); QE là lỗi lượng tử của mạng

Ta có, QE giảm khi và chỉ khi I i I i \ x và

 

Hệ quả Cho I i , I j và I k là các tập dữ liệu được

đại diện tương ứng bởi các nơron i, j và k; mẫu dữ

liệu x là “phần tử khác biệt” của nơron i đối với đồng

thời cả hai nơron j và k (với x I i , i≠j, i≠k, j≠k) Giả

2.3.2 Thuật toán điều chỉnh trọng số nơron Batch-IMQS

Lặp lại hai bước sau cho tới khi thỏa mãn điều kiện dừng: lỗi lượng tử sau khi lặp giảm so với lỗi lượng tử trước khi lặp nhỏ hơn ngưỡng 

- Bước 1: Xác định các tập con I i của I={I 1 , I 2 , , I s }, với i=1 s

- Bước 2: Tính các vector tâm cụm center i , và gán w i = center i , với i=1 s

Thuật toán có thể giảm lỗi lượng tử của mọi bản đồ mà không quan tâm đến các tham số cấu hình

mạng, cũng như không gia tăng thêm các tham số khác Tuy nhiên, hạn chế của nó là TE tăng tỉ lệ nghịch với QE

2.4 Các tập dữ liệu sử dụng cho thực nghiệm

Sử dụng 12 tập dữ liệu đã được công bố, bao gồm: XOR, Aggregation, Flame, Pathbased, Spiral, Jain, Compound, R15, D31, Iris, Vowel và Zoo

2.5 Thực nghiệm hàm lân cận đối xứng dạng mũ với tham số điều chỉnh

Trường hợp 1: Tham số p cố định, tham số q thay đổi

Bảng 2.1 thống kê kết quả thực nghiệm với tham số p=2 và thay đổi giá trị tham số q=0.5, 2, 4,

0.0549 0.0362 0.0294 0.0245 0.0424 0.0678 Flame 2.1839 1.9512 1.5194 1.1822 0.9129 0.8206

0.0700 0.0567 0.0407 0.0393 0.0479 0.0833 Pathbased 4.5859 0.0561 4.0427 0.0433 3.2618 0.0373 2.4779 1.9392 1.7401

0.0315 0.0434 0.0794 Spiral 4.7595 0.0543 4.1719 0.0404 3.4675 2.9239 2.2975 2.0085

0.0284 0.0364 0.0413 0.0564 Jain 5.2745 0.0513 4.4829 0.0395 3.5726 0.0313 2.3559 1.6236 1.5234

0.0269 0.0443 0.0637 Compound 4.4205 0.0624 3.7595 3.1508 2.5672 1.8323 1.7744

0.0299 0.0349 0.0400 0.0630 0.0690 R15 2.2226 2.0212 1.8005 1.4606 1.0730 0.9562

0.0722 0.0631 0.0368 0.0274 0.0613 0.1162 D31 4.7676 4.1204 3.3943 2.4569 2.0055 1.6793

0.0479 0.0352 0.0284 0.0207 0.0332 0.0394 Iris 0.7709 0.6430 0.5353 0.4403 0.3773 0.3494

0.0739 0.0548 0.0689 0.0940 0.1196 0.1566 Vowel 2.7459 2.5736 2.3755 2.2005 1.9150 1.7468

0.0537 0.0436 0.0412 0.0448 0.0494 0.0497 Zoo 1.5841 1.4421 1.2468 1.0912 0.9790 0.9156

0.0343 0.0254 0.0169 0.0104 0.0162 0.0208

Ghi chú: Các kết quả trong bảng là giá trị trung bình của 10 lần thực nghiệm Kết quả của mỗi

tập dữ liệu trình bày trong hai dòng: dòng thứ nhất biểu diễn độ đo QE và dòng thứ hai biểu diễn độ

đo TE

Dữ liệu in đậm là kết quả tốt nhất, trong đó: TE là nhỏ nhất, còn QE nhỏ hơn so với trường hợp

sử dụng hàm lân cận gốc (q=0.5)

Trường hợp 2: Tham số q cố định, tham số p thay đổi

Bảng 2.2 là kết quả thực nghiệm khi cố định tham số q tương ứng với giá trị độ đo đạt được tốt nhất trong Bảng 2.1 và thay đổi giá trị của tham số p=1, 2, 3, 4, 5, 6 Khi p=1, cả QE và TE tăng cao Khi p2, TE có xu hướng ổn định hoặc tăng nhẹ khi p tăng Điều này cho thấy tham số p có ý nghĩa không đáng kể trong việc cải thiện chất lượng hình trạng khi đã xác định được tham số q phù hợp;

QE có xu hướng tăng với đa số các tập dữ liệu khi tăng p (trừ các tập dữ liệu XOR, Compound và

Iris, QE có xu hướng giảm, nhưng TE lại có xu hướng tăng) Điều này cho thấy, p=2 là tốt nhất trong

số các giá trị thử nghiệm của p

Bảng 2 2 Kết quả thực nghiệm khi thay đổi tham số p, cố định tham số q

XOR

(q=1)

0.1754 0.1587 0.1546 0.1518 0.1525 0.1513 0.0534 0.0203 0.0225 0.0244 0.0238 0.0255 Aggregation

(q=4)

2.7895 3.0003 3.2722 3.6436 3.6100 3.8718 0.0850 0.0300 0.0277 0.0273 0.0316 0.0282 Flame

(q=4)

1.1858 1.2105 1.2306 1.3158 1.4010 1.4209 0.1438 0.0405 0.0284 0.0304 0.0331 0.0330 Pathbased

(q=4)

2.5458 2.4759 2.7586 2.8462 2.9400 2.9928 0.1300 0.0313 0.0363 0.0351 0.0349 0.0304 Spiral

(q=2)

3.5976 3.4319 3.4334 3.4603 3.4926 3.5797 0.0690 0.0290 0.0265 0.0290 0.0261 0.0264 Jain

(q=4)

2.3664 2.3519 2.7136 2.9018 3.1494 3.3035 0.0896 0.0263 0.0270 0.0306 0.0402 0.0403 Compound

(q=1)

4.2063 3.7575 3.6224 3.4969 3.5082 3.4913 0.0666 0.0291 0.0337 0.0340 0.0373 0.0398 R15

(q=4)

1.3161 1.4406 1.5544 1.6498 1.6972 1.7376 0.1055 0.0294 0.0367 0.0390 0.0454 0.0548 D31

(q=4)

2.3832 2.4769 2.8137 2.9886 3.0686 3.1960 0.0803 0.0199 0.0227 0.0238 0.0259 0.0284 Iris

(q=1)

0.7140 0.6382 0.6166 0.6002 0.5880 0.5849 0.0665 0.0518 0.0555 0.0560 0.0572 0.0598 Vowel

(q=2)

2.3938 2.3715 2.4186 2.4310 2.4529 2.4627 0.0635 0.0410 0.0416 0.0414 0.0429 0.0455 Zoo

(q=4)

1.1817 1.0912 1.1780 1.1954 1.2015 1.2131 0.0366 0.0104 0.0182 0.0188 0.0176 0.0180

Ghi chú: Các kết quả trong bảng là giá trị trung bình của 10 lần thực nghiệm Kết quả của mỗi

tập dữ liệu trình bày trong hai dòng: dòng thứ nhất biểu diễn độ đo QE và dòng thứ hai biểu diễn độ

đo TE

Kết luận: Với tham số p=2 (giá trị mặc định), việc điều chỉnh tham số q có ảnh hưởng đáng kể

tới chất lượng của bản đồ Nếu q càng lớn thì lỗi lượng tử càng nhỏ, tuy nhiên q phù nhất khi giá trị

khi lỗi hình trạng đạt giá trị nhỏ nhất Ngược lại, nếu đã xác định được giá trị phù hợp nhất của tham

số q, thì tham số p có ảnh hưởng không đáng kể tới việc cải thiện chất lượng bản đồ

Bảng 2.3 so sánh các độ đo QE, TE đạt được khi sử dụng hàm lân cận với tham số điều chỉnh (p=2 và q xác định riêng cho mỗi tập dữ liệu như Bảng 2.2) và một số dạng hàm lân cận khác

Bảng 2 3 So sánh độ đo QE, TE của một số dạng hàm lân cận

Tập dữ liệu h ci (t) gốc h ci (t) với tham

số điều chỉnh

Hàm

“nổi bọt”

Hàm lân cận bất đối xứng

Ghi chú: Các kết quả trong bảng là giá trị trung bình của 10 lần thực nghiệm Kết quả của mỗi

tập dữ liệu trình bày trong hai dòng: dòng thứ nhất biểu diễn độ đo QE và dòng thứ hai biểu diễn độ

đo TE

2.6 Thực nghiệm thuật toán Batch-IMQS

Bảng 2.4 cho thấy Batch-IMQS có thể cải thiện đáng kể QE của một bản đồ đặc trưng bất kỳ mà

không quan tâm đến các tham số cấu hình mạng, cũng như không gia tăng thêm các tham số khác

Tuy nhiên, lỗi TE tăng tỉ lệ nghịch với QE

Bảng 2 4 Kết quả thực nghiệm thuật toán Batch-IMQS