Luận án tiến sĩ toán học nghiên cứu phát triển một số thuật toán phân cụm bán giám sát sử dụng mạng nơ ron min max mờ và ứng dụng

Các thuật toán phân cụm bán giám sát mờ phải kể đến như eSFCM [75], SSSFC Semi-Supervised Standard Fuzzy Clustering [73], mạng nơron tự tổ chức GSOM [6], GFMM [23]… Pedrycz và Waletzky [

VIỆN KHOA HỌC VÀ CÔNG NGHỆ QUÂN SỰ

-

VŨ ĐÌNH MINH

NGHIÊN CỨU PHÁT TRIỂN MỘT SỐ THUẬT TOÁN PHÂN

CỤM BÁN GIÁM SÁT SỬ DỤNG MẠNG NƠ-RON MIN-MAX MỜ VÀ ỨNG DỤNG

LUẬN ÁN TIẾN SĨ TOÁN HỌC

Hà Nội – 2019

VIỆN KHOA HỌC VÀ CÔNG NGHỆ QUÂN SỰ

-

VŨ ĐÌNH MINH

NGHIÊN CỨU PHÁT TRIỂN MỘT SỐ THUẬT TOÁN

PHÂN CỤM BÁN GIÁM SÁT SỬ DỤNG MẠNG NƠ-RON MIN-MAX MỜ VÀ ỨNG DỤNG

Chuyên ngành: Cơ sở toán học cho tin học

LỜI CAM ĐOAN

Tôi xin cam đoan đây là công trình nghiên cứu của riêng tôi Các kết quả nghiên cứu và các số liệu sử dụng trong luận án là trung thực, chƣa từng đƣợc công bố ở bất cứ công trình nào khác, các dữ liệu tham khảo đƣợc trích dẫn đầy

đủ

Tác giả luận án

Vũ Đình Minh

LỜI CẢM ƠN

Trước hết, tôi xin bày tỏ lòng biết ơn chân thành và sâu sắc tới Thầy giáo hướng dẫn, PGS.TS Lê Bá Dũng và TS Nguyễn Doãn Cường Sự hướng dẫn chỉ bảo trách nhiệm, nhiệt tình của Thầy cùng với nỗ lực của bản thân đã giúp tôi hoàn thành đề tài của mình

Tôi xin cảm ơn Viện Công nghệ Thông tin - Viện Khoa học và Công nghệ quân sự, nơi đã tạo cho tôi môi trường làm việc thuận lợi Xin chân thành cảm

ơn các cán bộ nghiên cứu trong Viện Công nghệ Thông tin - Viện Khoa học và Công nghệ quân sự, những người không chỉ thường xuyên động viên dạy bảo,

mà còn có những nhắc nhở nghiêm khắc giúp tôi hoàn thành công việc nghiên cứu đề tài

Tôi xin chân thành cảm ơn lãnh đạo Trường Cao đẳng Công nghiệp Thái Nguyên đã động viên và tạo điều kiện về mọi mặt giúp tôi tập trung vào công việc nghiên cứu

Tôi xin gửi lời cảm ơn đến tất cả các đồng nghiệp và bạn bè, những người

đã động viên, chia sẻ những kinh nghiệm trong nghiên cứu khoa học cũng như

đã giúp đỡ tôi trong công tác để tôi có thời gian học tập

Cuối cùng, luận án sẽ không thể hoàn thành nếu như không có sự động viên và hỗ trợ về mọi mặt của gia đình Tôi xin gửi tới cha mẹ, anh chị em và những người thân trong gia đình lời cảm ơn chân thành với lòng biết ơn sâu sắc

Xin chân thành cảm ơn

Hà Nội, ngày 13 tháng 5 năm 2019

Vũ Đình Minh

MỤC LỤC

Trang DANH MỤC CÁC KÝ HIỆU, CÁC CHỮ VIẾT TẮT VI DANH MỤC CÁC BẢNG X DANH MỤC CÁC HÌNH VẼ XII

MỞ ĐẦU 1

1 Tính cấp thiết của luận án 1

2 Mục tiêu nghiên cứu 5

3 Đối tượng và phạm vi nghiên cứu 5

4 Phương pháp nghiên cứu 5

5 Đóng góp của luận án 6

6 Bố cục của luận án 6

CHƯƠNG 1 TỔNG QUAN VỀ MẠNG NƠRON MIN-MAX MỜ 8

1.1 Cơ bản về mạng nơron min-max mờ 8

1.1.1 Giới thiệu về mạng nơron min-max mờ 8

1.1.2 Khái niệm siêu hộp 10

1.1.3 Hàm thuộc siêu hộp 10

1.1.4 Cấu trúc mạng nơron min-max mờ 12

1.1.5 Kiểm tra và điều chỉnh chồng lấn giữa các siêu hộp 14

1.1.6 Thuật toán học trong mạng nơron min-max mờ 16

1.2 Một số nghiên cứu nâng cao chất lượng của FMNN 18

1.2.1 Điều chỉnh giới hạn kích thước siêu hộp 18

1.2.2 Sửa đổi cấu trúc FMNN quản lý khu vực chồng lấn 21

1.2.2.1 Mô hình FMCN 21

1.2.2.2 Mô hình DCFMN 23

1.2.3 Bổ sung thêm các trường hợp chồng lấn trong FMNN 25

1.2.4 Cải tiến phương pháp học trong mạng nơron min-max mờ 26

1.3 Đặc điểm chung của các phương thức cải tiến FMNN 28

1.4 Một số vấn đề cần tiếp tục nghiên cứu của FMNN cho phân cụm dữ liệu 30

1.5 Kết luận chương 1 30

CHƯƠNG 2 PHÁT TRIỂN THUẬT TOÁN PHÂN CỤM BÁN GIÁM SÁT SỬ

DỤNG MẠNG NƠRON MIN-MAX MỜ 32

2.1 Thuật toán phân cụm bán giám sát mờ SS-FMM 32

2.1.1 Ý tưởng thuật toán 32

2.1.2 Thuật toán học trong SS-FMM 34

2.1.3 Đánh giá độ phức tạp thuật toán SS-FMM 41

2.2 Thuật toán phân cụm bán giám sát mờ kết hợp SCFMN 42

2.2.1 Ý tưởng thuật toán 42

2.2.2 Thuật toán học trong SCFMN 46

2.2.3 Đánh giá độ phức tạp thuật toán SCFMN 49

2.3 Thuật toán phân cụm mờ dựa trên tâm cụm dữ liệu CFMNN 50

2.3.1 Ý tưởng thuật toán 50

2.3.2 Thuật toán học trong CFMNN 53

2.3.3 Đánh giá độ phức tạp thuật toán CFMNN 55

2.4 Thực nghiệm và đánh giá 56

2.4.1 Phương pháp thực nghiệm 56

2.4.1.1 Tập dữ liệu thực nghiệm 56

2.4.1.2 Mục tiêu và phương pháp thực nghiệm 57

2.4.1.3 Độ đo và tiêu chí đánh giá kết quả 57

2.4.2 Kết quả thực nghiệm 58

2.4.2 So sánh mô hình đề xuất với một số phương thức khác 71

2.4.2.1 So sánh SS-FMM với GFMM và RFMN 71

2.4.2.2 So sánh SCFMN, CFMNN với FMNN và MFMM 72

2.4.2.3 So sánh SCFMN với FMM, FMM-CF và FMM-GA 74

2.4.2.4 So sánh SCFMN, CFMNN với một số phương thức khác 75

2.5 Kết luận chương 2 76

CHƯƠNG 3 ỨNG DỤNG MẠNG NƠRON MIN-MAX MỜ HỖ TRỢ CHẨN ĐOÁN BỆNH GAN 78

3.1 Bài toán chẩn đoán xơ gan 78

3.1.1 Bệnh viêm gan mạn và đánh giá xơ gan 78

3.1.2 Các phương pháp đánh giá xơ gan 79

3.2 Ứng dụng mạng nơron min-max mờ trong chẩn đoán bệnh gan 81

3.2.1 Mô hình hóa bài toán 82

3.2.2 Phân tích mô hình 83

3.2.3 Cắt tỉa siêu hộp 84

3.2.4 Rút trích luật quyết định 84

3.3 Thực nghiệm và đánh giá 85

3.3.1 Tập dữ liệu thực nghiệm 85

3.3.2 Mục tiêu và phương pháp thực nghiệm 86

3.3.3 Độ đo và tiêu chí đánh giá 87

3.3.4 Kết quả thực nghiệm 89

3.3.4.1 Kết quả trên tập cơ sở dữ liệu Cirrhosis 89

3.3.4.2 Kết quả trên tập cơ sở dữ liệu LiverDisease 96

3.3.5 So sánh kết quả thuật toán đề xuất với một số thuật toán khác 100

3.4 Kết luận chương 3 103

KẾT LUẬN 104

TÀI LIỆU THAM KHẢO 106

DANH MỤC CÁC CÔNG TRÌNH KHOA HỌC ĐÃ CÔNG BỐ 114

DANH MỤC CÁC KÝ HIỆU, CÁC CHỮ VIẾT TẮT

l

j

B Nhãn của siêu hộp B j

|B| Lực lượng của tập B

b (A,B) Hàm xác định độ thuộc của mẫu A vào siêu hộp B

f(x,y) Hàm ngưỡng hai tham số x, y

max(x,y) Hàm chọn giá trị max

min(x,y) Hàm chọn giá trị min

Không gian Euclide n-chiều

V Đỉnh min của siêu hộp

W Đỉnh max của siêu hộp

θ (A,B) Kích thước của siêu hộp B khi kết nạp thêm mẫu A

θ max Kích thước tối đa của siêu hộp

A2M Protein huyết tương phân tử lớn (Alpha-2-Macroglobulin)

AIS Hệ thống miễn dịch nhân tạo (Artificial Immune System)

ALP Phosphatase kiềm (Alkaline Phosphatase)

ALT Men Aspartate AminoTransferase

ANN Mạng nơron nhân tạo (Artificial Neural Network)

APRI Phương pháp phân loại xơ hóa gan dựa vào tiểu cầu (Aspartate

aminotransferase to Platelet Ratio Inde)

ART Lý thuyết cộng hưởng thích nghi (Adaptive Resonance Theory)

AST Men Aspartat transaminase

CCH Siêu hộp bù chứa (Containment Compensation Hyperbox)

CDS Hệ thống chẩn đoán xơ gan (Cirrhosis Diagnosis System)

CF Hệ số đóng góp CF (Contribution Factor)

CFMN Thuật toán FMNN cải tiến dựa trên hệ số CF (Contribution-factor

based Fuzzy Min-max Neural network)

CFMNN FMNN dựa trên tâm cụm (Centroid-based Fuzzy Min-max Neural

Netwwork)

CN Siêu hộp không có chồng lấn (Classifying Neurons)

CSPA Phân cụm dựa trên thuật toán phân vùng tương tự (Cluster-based

Similarity Partitioning Algorithm)

DCFMN Mạng FMNN dựa trên tâm cụm dữ liệu (Data-Core-Based Fuzzy

Min–Max Neural Network)

ECT Cây phân cụm (Ensemble of Clustering Trees)

EGWCA Thuật toán phân cụm dựa trên hàm khoảng cách Euclidean

(Euclidean distance Generalized Weighted Cluster Aggregation) EFMN Mạng nơron FMNN tăng cường (Enhanced Fuzzy Min–max

Neural)

eGWCA Thuật toán phân cụm dựa trên hàm khoảng cách Exponential

(exponential distance Generalized Weighted Cluster Aggregation) eSFCM Thuật toán phân cụm bán giám sát mờ sử dụng quy tắc Entropy

(Semi-supervised Entropy regularized Fuzzy Clustering)

FART Lý thuyết cộng hưởng thích nghi mờ (Fuzzy Adaptive Resonance

Theory)

FIB-4 Phương pháp phân loại xơ hóa gan dựa vào tuổi, chỉ số AST, chỉ số

ALT và tiểu cầu (FIBrosis-4)

FMCN Thuật toán FMNN cải tiến sử dụng nút chồng lấn (Fuzzy Min-max

neural network classifier with Compensatory Neurons)

FMM Lý thuyết min-max mờ (Fuzzy Min-Max)

FMNN Mạng nơron min-max mờ (Fuzzy Min-max Neural Network) GFMM Mạng nơron FMNN cải tiến (General Fuzzy Min-Max)

GGT Hoạt độ men GGT trong máu (Gamma Glutamyl Transferase) GSOM Mạng nơron bản đồ tự tổ chức (Growing Self-Organizing Map) HCF Hệ số CF của siêu hộp (Hyperbox Confidence Factor)

HE Hệ số Entropy (Hyperbox Entropy)

ID3 Thuật toán xây dựng cây quyết định (Itemized Dichotomozer 3) INR Tỉ số bình thường hóa quốc tế (International Normalized Ratio)

IT Kỹ thuật thông minh (Intelligent Techniques)

LCA Thuật toán nhóm dẫn đầu (Leader-Cluster Algorithm)

MLF Mạng nơron FMNN đa lớp (Multi-Level Fuzzy min-max neural

network)

MLP Mạng nơron đa lớp (Multi-Layer Perceptron)

MRI Chụp hình cộng hưởng từ trường (Magnetic Resonance Imaging) NAFLD Bệnh gan nhiễm mỡ không do rượu (Non-Alcoholic Fatty Liver

Disease)

NMFC Thuật toán gom cụm NMFC (Non-negative Matrix Factorization

based Consensus)

NoH Số siêu hộp (Number of Hyperbox)

OCH Siêu hộp chồng lấn bù (Overlapped Compensation Hyperbox) OLN Nút chồng lấn (OverLapping Neurons)

PLT Tiểu cầu (Platelet Counts)

PT Thời gian đông máu (Prothrombin Time)

RFMN FMNN phản xạ (Reflex Fuzzy Min-max Neural network)

ROI Phương pháp đa lựa chọn (Regions of Interest)

SoL Tỉ lệ mẫu có nhãn (Scale of Labeled pattern)

SS-FMM Học bán giám sát trong FMM (Semi-Supervised in Fuzzy

DANH MỤC CÁC BẢNG

Trang

Bảng 2.1 Thông tin các tập dữ liệu thực nghiệm Benchmark 56

Bảng 2.2 Thống kê độ đo Accuracy khi thay đổi tỉ lệ mẫu có nhãn của SS-FMM 62

Bảng 2.3 Giá trị độ đo Accuracy của CFMNN 63

Bảng 2.4 Giá trị độ đo Accuracy của SCFMN 64

Bảng 2.5 So sánh độ đo Accuracy của SS-FMM và SCFMN 65

Bảng 2.6 Tổng số siêu hộp khi thay đổi tỉ lệ mẫu có nhãn của SS-FMM 67

Bảng 2.7 So sánh độ đo Accuracy giữa SS-FMM và GFMM, RFMN trên tập dữ liệu Iris 71

Bảng 2.8 So sánh độ đo Accuracy của SS-FMM, GFMM và RFMN 72

Bảng 2.9 So sánh độ đo Accuracy của SCFMN, CFMNN với FMNN, MFMM 73

Bảng 2.10 So sánh độ đo CCC của SCFMN, CFMNN với MFMN, MFMM 73

Bảng 2.11 So sánh thời gian thực hiện của SCFMN, CFMNN với FMNN, MFMM 73

Bảng 2.12 So sánh NoH của SCFMN với FMNN, FMM-CF, FMM-GA 74

Bảng 2.13 So sánh độ đo Accuracy của CFMNN, SCFMN với một số phương thức trên tập dữ liệu Iris 75

Bảng 2.14 So sánh độ đo Accuracy của CFMNN, SCFMN với một số phương thức khác cài đặt trong WEKA 76

Bảng 3.1 Các chỉ điểm sinh học gián tiếp trong đánh giá xơ hóa gan 80

Bảng 3.2 Các thuộc tính dữ liệu đầu vào trong tập dữ liệu bệnh gan 86

Bảng 3.3 Bảng thông tin về các giá trị chẩn đoán 87

Bảng 3.4 Đánh giá hiệu năng của SCFMN trên Cirrhosis theo APRI 90

Bảng 3.5 Đánh giá hiệu năng của SCFMN trên Cirrhosis theo FIB-4 91

Bảng 3.6 So sánh NoH của SCFMN và SS-FMM trên tập dữ liệu Cirrhosis khi thay đổi max 93

Bảng 3.7 Tập 23 luật chẩn đoán theo thông tin từ tập dữ liệu Cirrhosis của

SS-FMM với max = 0.09 95Bảng 3.8 Tập 16 luật chẩn đoán theo thông tin từ tập dữ liệu Cirrhosis của

SCFMN với max = 0.09 95

Bảng 3.9 Tập 6 luật chẩn đoán theo thông tin từ tập dữ liệu Cirrhosis của

SCFMN với max = 0.09 và CF = 0.039 96

Bảng 3.10 Độ đo Accuracy, Jaccard, Rand, FM, Precision, Recall trên tập dữ

liệu LiverFibrosis của CFMNN, SCFMN, SS-FMM 96

Bảng 3.11 Độ đo Accuracy và NoH trên tập dữ liệu LiverDisease khi thay đổi

max 97Bảng 3.12 Thông tin các luật chẩn đoán theo thông tin từ tập dữ liệu

LiverDisease của SCFMN 99

Bảng 3.13 Kết quả chẩn đoán dựa trên thông tin của các mẫu bệnh đƣợc trích xuất

từ kết quả thử nghiệm trên tập dữ liệu LiverDisease của SCFMN 100 Bảng 3.14 Các giá trị dự đoán của SS-FMM, SCFMN, FMM-GA trên tập dữ

liệu Cirrhosis 101

Bảng 3.15 So sánh NoH của FMM-GA, SCMFN và SS-FMM theo APRI 101

DANH MỤC CÁC HÌNH VẼ

Trang

Hình 1.1 Siêu hộp min-max mờ trong không gian 3D 10

Hình 1.2 Sự biến động b j khi thay đổi  11

Hình 1.3 Vùng che phủ của b j trong không gian 2D 12

Hình 1.4 Mô hình mạng nơron 2 lớp 12

Hình 1.5 Mô hình mạng nơron 3 lớp 13

Hình 1.6 Cấu tạo của một nơron B j 13

Hình 1.7 Các trường hợp chồng lấn giữa các siêu hộp 14

Hình 1.8 Phương pháp điều chỉnh chồng lấn giữa các siêu hộp của FMNN 15

Hình 1.9 Quá trình mở rộng các siêu hộp trong không gian 2D của FMNN 19

Hình 1.10 Quá trình tạo các siêu hộp mới của FMNN 21

Hình 1.11 Các dạng chồng lấn giữa hai siêu hộp của FMCN 22

Hình 1.12 Vùng che phủ độ thuộc các nút bù của FMCN 23

Hình 1.13 Giá trị hàm thuộc liên hệ tới thay đổi  của FMNN 24

Hình 1.14 Giá trị hàm thuộc khi thay đổi λ của FMNN 25

Hình 1.15 Các dạng chồng lấn giữa các siêu hộp 26

Hình 2.1 Các siêu hộp tạo bởi GFMM và RFMN 33

Hình 2.2 Sơ đồ thuật toán học SS-FMM 35

Hình 2.3 Cấu trúc SCFMN sử dụng các siêu hộp lớn và nhỏ 43

Hình 2.4 Lược đồ tổng quan thuật toán SCFMN 44

Hình 2.5 Thuật toán học SCFMN 46

Hình 2.6 Giá trị dự đoán sai của FMNN 51

Hình 2.7 So sánh khoảng cách mẫu vào với tâm của siêu hộp của CFMNN 52

Hình 2.8 Đồ họa phân bố dữ liệu của tập dữ liệu thực nghiệm 59

Hình 2.9 Đồ họa phân bố các siêu hộp của SS-FMM 60

Hình 2.10 Sự biến động độ đo Accuracy khi thay đổi tỉ lệ mẫu có nhãn của SS-FMM 62

Hình 2.11 Sự biến động độ đo Accuracy khi thay đổi max của SS-FMM 63

Hình 2.12 Sự biến động độ đo Accuracy của CFMNN khi thay đổi max 64

Hình 2.13 Sự biến động độ đo Accuracy của SCFMN khi thay đổi max 65

Hình 2.14 Sự biến động độ đo Accuracy khi thay max của SS-FMM và

SCFMN 66

Hình 2.15 Sự biến động tổng số siêu hộp khi thay đổi max của SS-FMM 68

Hình 2.16 Sự biến động tổng số siêu hộp khi thay đổi max của SCFMN 68

Hình 2.17 Sự biến động tổng số siêu hộp khi thay đổi max của SCFMN và

SS-FMM 69

Hình 2.18 So sánh Error của GFMM, RFMN và SS-FMM 71 Hình 2.19 So sánh độ đo Accuracy của SCFMN, CFMNN với FMNN, MFMM

74

Hình 2.20 So sánh NoH của SCFMN với một số phương thức khác 75

Hình 3.1 Mô hình hệ hỗ trợ chẩn đoán bệnh gan CDS 82

Hình 3.2 So sánh độ đo Accuracy trên tập dữ liệu Cirrhosis của SCMFN và

SS-FMM 92

Hình 3.3 So sánh NoH của SS-FMM và SCFMN trên tập dữ liệu Cirrhosis khi

thay đổi max 93Hình 3.4 So sánh thời gian thực hiện của SS-FMM, SCFMN trên Cirrhosis khi

thay đổi max 94

Hình 3.5 Sự biến động độ đo Accuracy của SCFMN, SS-FMM khi thay đổi

max trên tập dữ liệu LiverDisease 98

Hình 3.6 Sự biến động NoH của SCFMN với SS-FMM khi thay đổi max trên

tập dữ liệu LiverDisease 98Hình 3.7 So sánh giá trị dự đoán của SS-FMM, SCFMN, FMM-GA theo

APRI 102

Hình 3.8 So sánh giá trị dự đoán của SS-FMM, SCFMN, FMM-GA theo

FIB-4 102

Hình 3.9 So sánh thời gian tính toán của SS-FMM, SCFMN, FMM-GA 102

Hình 3.10 So sánh NoH của SS-FMM, SCFMN, FMM-GA 103

MỞ ĐẦU

1 Tính cấp thiết của luận án

Phân cụm là kỹ thuật rất quan trọng trong khai phá dữ liệu, nó thuộc lớp các phương pháp học không có giám sát trong học máy Có rất nhiều định nghĩa khác nhau về kỹ thuật này, nhưng về bản chất ta có thể hiểu phân cụm dữ liệu là quá trình nhóm các đối tượng tương tự nhau trong tập dữ liệu vào các cụm sao cho các đối tượng cùng cụm là tương đồng [12] Phân cụm là một kỹ thuật phổ biến để phân tích số liệu thông tin, các hệ trợ giúp quyết định, các thuật toán nhận dạng mẫu và phân loại mẫu… Mục đích của phân cụm là tìm ra bản chất bên trong các nhóm của dữ liệu Các thuật toán phân cụm đều sinh ra các cụm, tuy nhiên không có tiêu chí nào là được xem là tốt nhất, điều này phụ thuộc vào mục đích của phân cụm

Phân cụm dữ liệu truyền thống bao gồm hai mô hình lớn: phân cụm có giám sát và phân cụm không có giám sát Phân cụm bán giám sát là sự kết hợp giữa phân cụm giám sát và phân cụm không có giám sát, trong đó sử dụng một

số thông tin bổ trợ cho trước trong quá trình phân cụm

Ngoài cách phân chia các phương pháp phân cụm như trên, các phương phápphân cụm còn được chia thành hai loại: phân cụm rõ và phân cụm mờ [35] Trong phân cụm rõ, với mỗi điểm dữ liệu thuộc vào chính xác một cụm Trong phân cụm mờ, các điểm dữ liệu có thể thuộc vào nhiều hơn một cụm tương ứng giá trị (độ thuộc) đi kèm

Phân cụm mờ là một trong những kỹ thuật phân cụm được nhiều nhà khoa học quan tâm nghiên cứu và được ứng dụng trong nhiều lĩnh vực nhận dạng, xử

lý ảnh, xử lý thông tin… Các thuật toán phân cụm mờ rất đa dạng như

FCM (Fuzzy C-Means) [11], εFCM (-insensitive Fuzzy C-means) [33], FPCM

(Fuzzy Possibilistic Cmeans) [49],

Phân cụm bán giám sát mờ là một mô hình tương đối mới, đây là một mở rộng của phân cụm mờ bằng cách sử dụng các thông tin biết trước để giám sát

và hướng dẫn quá trình phân cụm, từ đó làm tăng chất lượng của cụm

Các thông tin biết trước hay còn gọi là các thông tin bổ trợ nhằm mục đích hướng dẫn, giám sát và điều khiển quá trình phân cụm Các thông tin bổ trợ

có thể được xây dựng dựa trên các ràng buộc Must-link và Cannot-link, hoặc các nhãn đi cùng các mẫu hay độ thuộc được xác định trước [75] Với phương pháp gán nhãn đi cùng mẫu đòi hỏi một phần mẫu nhất định trong không gian mẫu có các nhãn đi kèm, các mẫu còn lại không có nhãn Các thuật toán phân cụm bán giám sát mờ phải kể đến như eSFCM [75], SSSFC (Semi-Supervised Standard Fuzzy Clustering) [73], mạng nơron tự tổ chức GSOM [6], GFMM [23]…

Pedrycz và Waletzky [50] đã chỉ ra rằng thường đối với các ứng dụng trong thế giới thực đòi hỏi nhiều cách thức trung gian của việc tìm kiếm cấu trúc trong bộ dữ liệu, hiệu quả của nó có thể được tăng cường đáng kể bằng cách sử dụng các thông tin biết trước, thậm chí một tỷ lệ phần trăm nhỏ của các mẫu được dán nhãn cũng cải thiện đáng kể các kết quả của phân cụm

Việc lựa chọn phương pháp phân cụm là bước quan trọng trong việc giải quyết vấn đề phân cụm Lựa chọn mô hình phân cụm phụ thuộc rất nhiều vào thuộc tính dữ liệu đầu vào và mục đích phân cụm, hoặc đặt mức độ ưu tiên giữa chất lượng của cụm hay thời gian thực hiện

Phân cụm dữ liệu đã được áp dụng trong các lĩnh vực khác nhau như phân đoạn ảnh, nhận dạng đối tượng, ký tự và các chuyên ngành cổ điển như tâm lý học, kinh doanh Một số ứng dụng cơ bản của phân cụm dữ liệu bao gồm: Thương mại, Sinh học, Phân tích dữ liệu không gian, Quy hoạch đô thị, Khai phá Web, Y tế…

Trong Y tế, nhiều nhà khoa học và các bác sĩ quan tâm đến việc ứng dụng các kỹ thuật phân cụm dữ liệu trong dự báo và chẩn đoán, đặc biệt là chẩn đoán bệnh dựa trên các số liệu của các kết quả xét nghiệm Singh đã thực hiện một cuộc điều tra tổng quan về việc sử dụng các kỹ thuật thông minh trong chẩn đoán các bệnh liên quan đến rối loạn chức năng gan kể từ năm 1993[65] Các đánh giá bao gồm viêm gan, xơ gan, xơ hóa gan, ung thư gan, gan nhiễm mỡ, rối

loạn gan mật… Các kỹ thuật thông minh được sử dụng như mạng nơron nhân tạo, khai phá dữ liệu, logic mờ, giải thuật di truyền…

Lale Ozyilmaz sử dụng mạng nơron MLP, RBF (Radial Basis Function)

và CSFNN cho chẩn đoán bệnh viêm gan (2003) [48] Chien C Lee đề xuất mô hình BP-CMAC (Back Propagation - Cerebellar Model Articulation Controller) phân loại bệnh gan từ hình ảnh CT (2005) [32] Semra Icer đã phát triển hệ thống chẩn đoán xơ gan dựa trên tín hiệu Doppler tĩnh mạch sử dụng phương pháp xử lý tín hiệu thời gian ngắn STFT (Short Time Fourier Transform) và mạng nơron nhân tạo (2006) [26] İhsan Ö Bucak đề xuất mô hình CMAC cho chẩn đoán bệnh gan (2010) [13] Kumar sử dụng thuật toán cây quyết định C4.5, thuật toán ID3 và thuật toán CART (Classification and Regression Trees) để phân loại bệnh viêm gan (2011) [31] Sana Ansari đề xuất sử dụng mạng nơron nhân tạo cho chẩn đoán bệnh gan do virus viêm gan gây ra (2011) [8] Jae H Jeon đã nghiên cứu phương pháp đa lựa chọn ROI phân tích tổn thương gan khu trú dựa trên hình ảnh siêu âm trong phân loại u mạch máu và u ác tính (2013) [28] Agrawal đã đề xuất mạng nơron FCCVNN (Fuzzy Clustering Complex-Valued Neural Network) phân loại các tín hiệu Doppler tĩnh mạch để chẩn đoán

xơ gan (2015) [5]

Chẩn đoán bệnh trong Y tế dựa trên số liệu của các kết quả xét nghiệm có thể được hình thành như là một vấn đề nhận dạng mẫu Vấn đề này thu hút sự chú ý của nhiều nhà khoa học Việc sử dụng mạng nơron min-max mờ được coi

là một cách tiếp cận có hiệu quả [54]

Wang [72] kết hợp sử dụng giải thuật di truyền trong FMNN với rút trích các luật để dự báo bệnh nhân nhập viện Kumar [30], Darne [19] đã kết hợp FMNN với FCM để chẩn đoán ung thư phổi Shinde [61] đã đề xuất dùng FMNN với rút trích các luật phát hiện bệnh tiểu đường Quteishat [54] đã đề xuất FMNN trong chẩn đoán hội chứng mạch vành cấp tính Rajakumar đề xuất

sử dụng kỹ thuật FMNN để chẩn đoán bệnh tim tự động [57]…

Một trong những lý do để FMNN được sử dụng là khả năng sinh các luật

quyết định if then rất đơn giản Mỗi siêu hộp chuyển thành một luật được mô

tả bằng cách định lượng các giá trị của các thuộc tính dữ liệu

Tuy nhiên, bản thân FMNN vẫn còn tồn tại nhiều nhược điểm dẫn tới những khó khăn và khả năng ứng dụng thực tiễn bị hạn chế [21] Do vậy, cải tiến FMNN đã được nhiều nhà nghiên cứu quan tâm

Các nghiên cứu chính cải tiến FMNN thường tập trung vào các hướng chính như cải tiến cấu trúc mạng, tối ưu hóa các tham số, hàm thuộc, giảm thiểu

số siêu hộp trong mạng, cải tiến phương pháp học hay kết hợp với phương thức khác để cải thiện chất lượng

Theo hướng cải tiến cấu trúc của mạng, các công trình nghiên cứu điển hình thuộc nhóm này gồm: mô hình FMCN (2007) [45], DCFMN (2011) [76], MLF (2014) [21]… Theo hướng cải thiện phương pháp học có thể kể đến mô hình GFMM (2000) [23], RFMN (2008) [46]

Để cải thiện hiệu suất của FMNN, Dazhong Ma cải tiến cách xác định giới hạn kích thước của siêu hộp (2012) [39]; Mohammed F Mohammed (2015) [41] và nhóm nghiên cứu của nghiên cứu sinh đã đề xuất bổ sung thêm các luật kiểm tra và điều chỉnh chồng lấn (2016) [69]; Shinde [61], Quteishat [55] và Jin Wang [72] loại bỏ bớt các siêu hộp có chỉ số tin cậy thấp; Mohammed F Mohammed đề xuất giảm thiểu sinh siêu hộp tại vùng biên (2017) [42] và lựa chọn siêu hộp chiến thắng [43]; Peixin Hou phát triển mô hình CFMN sử dụng

hệ số CF (2018) [25]; Jinhai Liu sử dụng hệ số HE đánh giá hiệu suất của các siêu hộp (2017) [37]; Preetee M Sonule đề xuất mô hình EFMN (2017) [66]; Manjeevan Seera phát triển mô hình ECT (2018) [59]…

Trên cơ sở nghiên cứu quá trình phát triển của FMNN, để nâng cao hiệu năng của FMNN và giảm thiểu số siêu hộp từ đó làm giảm số luật quyết định, đề tài luận án tập trung vào việc đề xuất, cải tiến phương pháp học bằng phương pháp học bán giám sát và giảm thiểu số siêu hộp trong mạng Trong các phương pháp mới trình bày trong luận án, thông tin bổ trợ được xác định là nhãn được

gán cho một phần dữ liệu để hướng dẫn và giám sát quá trình phân cụm Đây là một cách tiếp cận mới mà các phương pháp trước đó chưa đề cập đến

2 Mục tiêu nghiên cứu

Trên cơ sở nghiên cứu quá trình phát triển và những vấn đề còn tồn tại cần tiếp tục phát triển của FMNN, đề tài luận án có các mục tiêu như sau:

1) Xây dựng thuật toán cải tiến phân cụm bán giám sát mờ dựa trên lan truyền nhãn Thông tin bổ trợ là một tỷ lệ phần trăm nhỏ của các mẫu được dán nhãn

2) Đề xuất mô hình phân cụm bán giám sát mờ kết hợp, thuật toán học tự xác định thông tin bổ trợ là nhãn của một phần mẫu cho thuật toán phân cụm bán giám sát mờ

3) Phát triển thuật toán phân cụm mờ có tính đến yếu tố phân bố dữ liệu 4) Đề xuất mô hình ứng dụng mạng nơron min-max mờ với kết xuất luật

quyết định if then mờ trong thiết kế hệ hỗ trợ chẩn đoán bệnh gan từ

dữ liệu là số liệu các kết quả xét nghiệm men gan của bệnh nhân

3 Đối tượng và phạm vi nghiên cứu

Đề tài luận án tập trung nghiên cứu các vấn đề sau:

- Nghiên cứu tổng quan về FMNN và các biến thể của FMNN

- Phân tích các hạn chế và giải pháp đã được các nhà nghiên cứu sử dụng

để khắc phục những hạn chế này

- Ứng dụng FMNN với kết xuất luật quyết định if then mờ trong hỗ trợ

chẩn đoán bệnh

4 Phương pháp nghiên cứu

Luận án sử dụng phương pháp nghiên cứu lý thuyết, cụ thể là luận án đã nghiên cứu mô hình mạng nơron min-max mờ cho phân lớp, phân cụm dữ liệu

Từ đó, Luận án tập trung nghiên cứu đề xuất thuật toán phân cụm bán giám sát Luận án cũng sử dụng phương pháp thực nghiệm mô phỏng kết hợp với phân tích, thống kê, đánh giá số liệu thực nghiệm

Các thực nghiệm được thực hiện trên một số tập dữ liệu từ kho dữ liệu học máy UCI, CS đã được công bố và bộ dữ liệu thực tế thu thập từ Bệnh viện

Đa khoa TW Thái Nguyên và Bệnh viện Gang thép Thái Nguyên

Các số liệu thực nghiệm được ghi nhận, phân tích và so sánh với các giải pháp khác để kiểm chứng tính đúng đắn của các kết quả nghiên cứu

5 Đóng góp của luận án

Với mục tiêu nghiên cứu đề ra, luận án có một số đóng góp mới như sau:

- Xây dựng thuật toán SS-FMM cải tiến phân cụm bán giám sát mờ dựa trên lan truyền nhãn

- Đề xuất mô hình phân cụm bán giám sát mờ kết hợp FMNN và FMM, thuật toán học tự xác định thông tin bổ trợ cho thuật toán phân cụm bán giám sát mờ

- Phát triển thuật toán phân cụm mờ có tính đến yếu tố phân bố dữ liệu

6 Bố cục của luận án

Ngoài phần phần mở đầu và kết luận, bố cục của luận án gồm ba chương:

- Chương 1 trình bày nghiên cứu tổng quan của luận án, bao gồm các nội dung cơ bản về mạng nơron min-max mờ và các mở rộng của mạng nơron min-max mờ Đặc điểm chung của các mở rộng, các hạn chế từ đó đưa ra các hướng nghiên cứu tiếp theo Thông qua chương này, luận án đưa ra được cái nhìn tổng quan về bài toán nghiên cứu, các khái niệm và thuật toán cơ bản sử dụng trong nghiên cứu của luận án

- Chương 2 trình bày các đề xuất cải tiến về phương pháp học trong mạng nơron min-max mờ, bao gồm: mô hình học bán giám sát trong mạng nơron min-max mờ cho phân cụm dữ liệu sử dụng thông tin bổ trợ là một phần mẫu trong tập dữ liệu huấn luyện được gán nhãn, sau đó lan truyền nhãn cho các mẫu dữ liệu không có nhãn Mô hình phân cụm bán giám sát mờ kết hợp, thuật toán học

tự xác định thông tin bổ trợ là nhãn của một phần mẫu trong tập dữ liệu huấn luyện Và đây cũng chính là đầu vào cho thuật toán phân cụm bán giám sát mờ

Mô hình phân cụm dữ liệu trong mạng nơron min-max mờ có tính đến yếu tố

phân bố dữ liệu Tiếp theo trình bày kết quả thực nghiệm của các đề xuất trên các tập dữ liệu Benchmark và so sánh với một số phương thức liên quan

- Chương 3 trình bày mô hình ứng dụng mạng nơron min-max mờ với kết

xuất luật quyết định if then mờ trong thiết kế hệ hỗ trợ chẩn đoán bệnh gan từ

dữ liệu là số liệu các kết quả xét nghiệm men gan của bệnh nhân Các luật

if then mờ được kết xuất từ tập các siêu hộp sau khi loại bỏ các siêu hộp có chỉ

số sử dụng thấp hơn ngưỡng

Cuối cùng, kết luận nêu những đóng góp, hướng phát triển, những vấn đề

quan tâm và các công trình đã được công bố của luận án

CHƯƠNG 1 TỔNG QUAN VỀ MẠNG NƠRON MIN-MAX MỜ 1.1 Cơ bản về mạng nơron min-max mờ

1.1.1 Giới thiệu về mạng nơron min-max mờ

Mô hình FMNN do giáo sư Patrick K Simpson đề xuất, cho phân lớp năm

1992 [63] và cho phân cụm năm 1993 [64] FMNN kế thừa và phát triển từ FART [62] FMNN hoạt động theo một cách tương tự như lý thuyết cộng hưởng thích ứng ART [14], [15] và thuật toán nhóm dẫn đầu LCA [22]

FMNN dựa trên những ưu điểm của việc kết hợp logic mờ, mạng nơron nhân tạo, lý thuyết min-max mờ để giải quyết bài toán phân lớp và phân cụm FMNN là một mô hình mạng nơron học gia tăng dựa trên các tập siêu hộp mờ cho khả năng xử lý các bộ dữ liệu quy mô lớn [40] Học gia tăng là một kỹ thuật hiệu quả trong khám phá tri thức, vì nó cho phép sử dụng lại, bổ sung thông tin trong một lần duyệt [38] Ngoài ra, FMNN cung cấp một quyết định mềm thông qua các hàm thuộc FMNN phân lớp/phân cụm dữ liệu dựa trên mức độ thuộc với các siêu hộp tương ứng

FMNN hoạt động dựa trên sự tổng hợp của các siêu hộp [7] để xác định

và giới hạn các không gian con trong không gian mẫu Mỗi siêu hộp mờ được xác định bằng hai điểm min và max Với mỗi mẫu dữ liệu được phân loại dựa trên mức độ thuộc với các siêu hộp tương ứng Thuật toán học trong mạng nơron min-max mờ là quá trình điều chỉnh mở rộng và co lại lại các siêu hộp trong không gian mẫu

Mô hình FMNN có cấu trúc và cơ chế hoạt động đơn giản [64]:

- Không bị ràng buộc số lượng cụm, cụm được phát triển tự nhiên

- Điều chỉnh và thêm cụm rất đơn giản, chỉ yêu cầu so sánh và tích lũy

- Có thể làm giảm ranh giới cụm cứng

- Chỉ điều chỉnh hai thông số, điều chỉnh kích thước tối đa và tham số mờ

- Là mô hình học trực tuyến, nó từng bước tìm hiểu thông tin từ các mẫu huấn luyện mới mà không quên thông tin đã học trước đó

- Là một trình phân cụm phi tuyến, tức là, có thể tìm ranh giới của các cụm với các kích cỡ và hình dạng khác nhau

Tuy nhiên, bản thân FMNN vẫn còn tồn tại nhiều nhược điểm dẫn tới những khó khăn và khả năng ứng dụng thực tiễn bị hạn chế, như: Quá trình co lại các siêu hộp để loại bỏ chồng lấn làm giảm hiệu năng của mạng [21] Với giới hạn kích thước siêu hộp bé thì thuật toán học sinh ra nhiều siêu hộp dẫn đến cấu trúc mạng phức tạp và sự thừa nhận hay quá vừa (overfitting) Với giới hạn kích thước lớn hơn có thể giảm được số siêu hộp nhưng lại làm tăng vùng chồng lấn giảm hiệu năng của mạng [21] Phải xác định trước mô hình mạng, sử dụng phương pháp “thử sai” nhiều lần với các tham số khác nhau của mạng [63]… Do vậy, cải tiến FMNN đã được nhiều nhà nghiên cứu quan tâm

Các nghiên cứu chính cải tiến FMNN thường tập trung vào các hướng chính như cải tiến cấu trúc mạng, tối ưu hóa các tham số, hàm thuộc, giảm thiểu

số siêu hộp trong mạng, cải tiến phương pháp học hay kết hợp với phương thức khác để cải thiện chất lượng

Theo hướng cải tiến cấu trúc của mạng, các công trình nghiên cứu điển hình thuộc nhóm này gồm: mô hình FMCN do nhóm nghiên cứu của Abhijeet

V Nandedkar đề xuất năm 2007 [45], mô hình DCFMN do nhóm nghiên cứu của Huaguang Zhang đề xuất năm 2011 [76], mô hình MLF đa lớp do nhóm nghiên cứu của Davtalab phát triển năm 2014 [21]

Theo hướng cải thiện phương pháp học có thể kể đến mô hình GFMM do Bogdan Gabrys đề xuất năm 2000 [23] và mô hình cải tiến RFMN do A.V Nandedkar cải tiến năm 2008 [46]

Để cải thiện hiệu suất của FMNN, Dazhong Ma đề xuất cải tiến cách xác định giới hạn kích thước tối đa của siêu hộp năm 2012 [39]; nhóm nghiên cứu của Mohammed Falah Mohammed năm 2015 [41] và nhóm nghiên cứu của nghiên cứu sinh năm 2016 đã đề xuất bổ sung thêm các luật kiểm tra và điều chỉnh chồng lấn trong mạng nơron FMNN [69]; Shinde [61] và Quteishat [55]

và Jin Wang [72] loại bỏ bớt các siêu hộp có chỉ số tin cậy thấp; năm 2017 Mohammed F Mohammed đề xuất giảm thiểu sinh siêu hộp tại vùng biên [42]

và lựa chọn siêu hộp chiến thắng [43]; Peixin Hou phát triển mô hình CFMN sử dụng mẫu điển hình là hệ số đóng góp CF của cụm năm 2018 [25]; Jinhai Liu sử dụng hệ số HE đánh giá hiệu suất của các siêu hộp khi co lại các siêu hộp bị chồng lấn năm 2017 [37]; Preetee M Sonule đề xuất mô hình EFMN tối ưu hóa thuộc tính theo nhóm mẫu dữ liệu và kết xuất luật quyết định năm 2017 [66]; Manjeevan Seera phát triển mô hình cây phân cụm ECT để cải thiện hiệu suất của FMNN thực hiện phân cụm trực tuyến năm 2018 [59]…

1.1.2 Khái niệm siêu hộp

Một siêu hộp min-max mờ là một vùng của không gian mẫu n-chiều giới hạn bởi điểm min (ký hiệu là V) và điểm max (ký hiệu là W) với các mẫu đi kèm

với hàm thuộc Kích thước mỗi chiều của siêu hộp nhận giá trị trong khoảng từ 0

đến 1 Không gian mẫu n-chiều có đơn vị là

Hàm thuộc mô tả mức độ thuộc của mẫu vào siêu hộp Trong trường hợp này, giá trị thành thuộc nằm trong khoảng từ 0 đến 1 Một mẫu được chứa trong siêu hộp nếu có giá trị hàm thuộc bằng 1 Hình 1.1 là ví dụ biểu diễn giá trị min

(V) và giá trị max (W) của siêu hộp trong không gian 3-chiều

Hình 1.1 Siêu hộp min-max mờ trong không gian 3D

Mỗi siêu hộp B B j jB j,  1, 2, , B [63] được định nghĩa theo (1.1)

trong đó A là mẫu dữ liệu; V j là điểm min của B j , W j là điểm max của B j;

b j (A,V j ,W j ) là độ thuộc của A với B j

Giá trị hàm thuộc b j (A,V j ,W j ) (hay b j (A,B j )) đo mức độ thuộc của mẫu dữ liệu A tương ứng với siêu hộp B j0b A B j , j1 Điều này quyết định xem mẫu A

thuộc về siêu hộp cụ thể nào đó

Hàm xác định độ thuộc b j (A,B j) được tính theo (1.2) [63] hoặc (1.3) [64]

 a i là thuộc tính của mẫu dữ liệu vào A, Aa a1, , ,2 a n, A

 V j là điểm min củaB j , W j là điểm max của B j

 dùng để điều chỉnh giảm nhanh giá trị hàm thuộc b j khi một mẫu vào bị

tách ra khỏi siêu hộp Hình 1.2 biểu diễn sự biến động của b j của siêu hộp B j có

v ji = 0.4 và w ji = 0.6 với  có giá trị khác nhau

Hình 1.2 Sự biến động b j khi thay đổi 

Hình 1.3 là ví dụ minh họa về vùng che phủ của giá trị hàm thuộc b jgiữa

mẫu vào A so với siêu hộp B j có min V j  0.3,0.3  và max W j 0.7,0.5khi giá

trị của mẫu vào A thay đổi

(a) Học có giám sát (b) Học không có giám sát

Hình 1.3 Vùng che phủ của b j trong không gian 2D

1.1.4 Cấu trúc mạng nơron min-max mờ

FMNN sử dụng cấu trúc mạng nơron truyền thẳng, cấu trúc hai lớp trong học không có giám sát [64] và cấu trúc ba lớp cho học có giám sát [63]

Hình 1.4 biểu diễn cấu trúc FMNN gồm hai lớp F A và F B Lớp vào F A gồm n nút, mỗi nút là một thuộc tính của dữ liệu đầu vào Lớp ra F B gồm k nút, mỗi nút

là một siêu hộp Mỗi siêu hộp đầu ra đại diện cho một cụm

b>0.5 b>=0

b>0.6

b>0.2 b>0.1

b>0.3 b>0.4

1 0.9 0.8 0.7 0.6 0.5 0.4 0.3 0.2 0.1

0

0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1

b=1

b>0.9 b>0.8

b>0.6 b>0.5 b>0.7

Cấu trúc mạng nơron FMNN với học có giám sát gồm 3 lớp được mô tả

trên Hình 1.5, gồm ba lớp F A , F B , F C Lớp vào F A gồm n nút, mỗi nút là một thuộc tính của dữ liệu đầu vào Lớp thứ 2 F B gồm q nút, mỗi nút là một siêu hộp Lớp ra F C gồm k nút, mỗi nút đại diện cho một lớp

Hình 1.5 Mô hình mạng nơron 3 lớp

Mỗi một nơron thứ j trong lớp F B được kết nối với các đầu vào thông qua

một bộ trọng số kép, tương ứng là hai vector V j và W j (Hình 1.6) Kết nối giữa

nút thứ j trong F B với nút thứ i trong F A thông qua hai trọng số min v ji và max w ji

Tức là các điểm min và max của nút thứ j là các vector V j v j1 ,v j2 , ,v jn và

 1 , 2 , , 

Hình 1.6 Cấu tạo của một nơron B j

Kết nối giữa mỗi nút trong F B với F C là một giá trị nhị phân lưu trong U,

được xác định theo công thức (1.5)

với b j là nút thứ j trong lớp F B và c k là nút thứ k trong lớp F C

Đầu ra của nút thuộc lớp F C biểu thị mức độ mà mẫu dữ liệu A phù hợp trong lớp thứ k Hàm truyền cho mỗi nút trong F C được định nghĩa theo (1.6):

trong đó K là tập chỉ số của các siêu hộp tương ứng với lớp k

1.1.5 Kiểm tra và điều chỉnh chồng lấn giữa các siêu hộp

Việc so sánh để kiểm tra chồng lấn giữa hai siêu hộp n-chiều được thực

hiện lần lượt trên tất cả các chiều tương ứng Nếu xảy ra chồng lấn, điều chỉnh chồng lấn được thực hiện trên chiều tương ứng có chồng lấn

1.1.5.1 Kiểm tra chồng lấn

Thuật toán học của FMNN nhằm mục tiêu tạo và điều chỉnh (mở rộng/co

lại) các siêu hộp trong không gian n-chiều Nếu quá trình mở rộng tạo ra sự

chồng lấn giữa các siêu hộp thì thực hiện quá trình co lại các siêu hộp để khử chồng lấn Cần lưu ý rằng thuật toán học của FMNN cho phép có sự chồng lấn giữa các siêu hộp trong cùng một lớp và loại bỏ sự chồng lấn giữa các siêu hộp thuộc các lớp/cụm khác nhau Hình 1.7 minh họa các trường hợp chồng lấn giữa các siêu hộp trong FMNN [63]

Hình 1.7 Các trường hợp chồng lấn giữa các siêu hộp

Với B jB, B kB, j ≠ k, việc kiểm tra chồng lấn giữa B j và B k được thực

hiện bằng cách so sánh giữa các chiều tương ứng của B j và B k Nếu có chồng lấn

giữa B j và B k xảy ra một trong bốn trường hợp sau:

- Trường hợp 1: max của B j chồng lấn với min của B k nếu thỏa mãn:

là một ví dụ minh họa về điều chỉnh chồng lấn giữa các siêu hộp

Hình 1.8 Phương pháp điều chỉnh chồng lấn giữa các siêu hộp của FMNN

Với B jB, B kB, j ≠ k, nếu B j và B k có chồng lấn, thực hiện co lại các siêu hộp trên chiều bị chồng lấn tương ứng để loại bỏ chồng lấn:

- Trường hợp 1: nếu thỏa mãn biểu thức (1.8), điều chỉnh v ki theo (1.12)

và w ji theo (1.13):

2

new ki

2

new ki

new ji

2

new ki

- Trường hợp 3: nếu thỏa mãn biểu thức (1.10):

+ Nếu thỏa mãn biểu thức (1.16), điều chỉnh v jitheo (1.17):

- Trường hợp 4: nếu thỏa mãn biểu thức (1.11):

+ Nếu thỏa mãn biểu thức (1.20), điều chỉnh w kitheo (1.21):

1.1.6 Thuật toán học trong mạng nơron min-max mờ

Thuật toán học trong FMNN chỉ bao gồm việc tạo và điều chỉnh các siêu hộp trong không gian mẫu Các siêu hộp được giới hạn bởi kích tối đa max do

người dùng xác định Khi mở rộng siêu hộp B j j   1,B để tiếp nhận mẫu dữ liệu Aa a1, 2, ,a n, giới hạn  A B, j được tính theo công thức (1.24):

với n là số chiều, v ji và w ji là điểm min và điểm max của B j theo chiều thứ i

Với mỗi siêu hộp B j và mẫu vào A, nếu  A B, j được tính theo (1.24) thỏa

mãn biểu thức (1.25) thì B j có thể mở rộng để chứa mẫu vào A

 ,  ,

A B

với tham số max do người dùng xác định

Thuật toán học trong FMNN gồm 3 bước, mỗi bước được mô tả chi tiết như sau:

1 Tạo và mở rộng siêu hộp: với mỗi mẫu vào A, xác định siêu hộp B jB

có độ thuộc b j (A,B j) cao nhất với mẫu vào và  A B, j được tính theo (1.24) thỏa mãn điều kiện mở rộng (1.25) Nếu có, mở rộng siêu hộp tương ứng bằng cách điều chỉnh điểm min, điểm max của siêu hộp theo (1.26) (1.27):

v new ji  minv old ji ,a i,  i 1, 2, , n (1.26)

w new ji  maxw old ji ,a i,  i 1, 2, , n (1.27)

Nếu không có bất cứ siêu hộp nào có thể mở rộng, thì thêm một siêu hộp mới và khởi tạo điểm min, max theo (1.28):

2 Kiểm tra chồng lấn: xác định chồng lấn giữa siêu hộp mở rộng trong

bước 1 có tạo nên chồng lấn với các siêu hộp còn lại Nếu có, xảy ra một trong các trường hợp được xác định theo (1.8) đến (1.11)

3 Co lại siêu hộp: nếu có chồng lấn, co lại các siêu hộp để loại bỏ chồng

lấn Thực hiện điều chỉnh điểm min, max theo 1 trong các trường hợp tương ứng từ (1.12) đến (1.23)

Các bước từ 1 đến 3 được lặp lại đối với tất cả các mẫu trong tập dữ liệu FMNN ổn định các cụm mẫu chỉ trong vài lần duyệt qua bộ dữ liệu và có khả năng kết hợp các dữ liệu mới và thêm các nhóm mới mà không cần huấn luyện lại Điều chỉnh các tham số max ,  sẽ ảnh hưởng tới mạng và chất lượng mạng Khi max nhỏ sẽ dẫn đến số cụm lớn và ngược lại Nếu tăng , độ thuộc b A B j( , j)

giảm nhanh khi mẫu A rời khỏi siêu hộp B j Khi này, các tập mờ trở lên rõ hơn

Khi có nhiều hơn một b j đạt max, FMNN sẽ phân loại một cách ngẫu nhiên, mẫu

sẽ thuộc vào siêu hộp được kiểm tra giá trị độ thuộc trước

1.2 Một số nghiên cứu nâng cao chất lượng của FMNN

1.2.1 Điều chỉnh giới hạn kích thước siêu hộp

Trong thuật toán học, các siêu hộp trong FMNN được mở rộng để kết nạp thêm các mẫu Khi mở rộng các siêu hộp, kích thước tối đa của siêu hộp không được vượt quá max cho trước max là một tham số quan trọng do người dùng xác định để quyết định xem bao nhiêu siêu hộp sẽ được tạo ra

Nếu tăng giá trị max, số lượng các siêu hộp được tạo ra sẽ giảm đi, điều này có ảnh hưởng tăng khả năng tổng quát của mạng và làm giảm khả năng nắm bắt ranh giới phi tuyến giữa các lớp Chất lượng của FMNN sẽ bị ảnh hưởng, đặc biệt là khả năng dự báo với các mẫu dữ liệu ở vùng biên của cụm

Mặt khác, nếu giảm giá trị max quá nhỏ sẽ sinh ra nhiều siêu hộp và có thể dẫn đến “overfitting” dữ liệu với trường hợp cực đoan của mỗi mẫu vào được ghi nhớ như là một siêu hộp riêng biệt

Khi mở rộng B j để tiếp nhận mẫu A, giới hạn kích thước   A B, j được tính theo công thức (1.24)  A B, j là trung bình của tổng chênh lệch giữa các điểm min và max trên tất cả các chiều của không gian dữ liệu Quá trình này có thể làm tăng thêm các vùng chồng lấn giữa các siêu hộp Điều này có thể dẫn đến các dự đoán không chính xác

Hình 1.9 là một ví dụ minh họa về hạn chế của cách xác định A B, j tính theo công thức (1.24)

Giả sử có trước hai siêu hộp B 1 và B2 (Hình 1.9(a)), lần lượt đưa các mẫu

A1, A2, A3 huấn luyện Giới hạn kích thước tối đa của siêu hộp max = 0.3

Trong đó:

• B 1 có điểm min V 1 = (0.2,0.2), điểm max W 1 = (0.3,0.3);

• B 2 có điểm min V 2 = (0.65,0.28), điểm max W 2= (0.75,0.4);

• A1= (0.4,0.3); A2= (0.6,0.25); A3= (0.7,0.2)

(a) Huấn luyện mẫu vào A1 (b) Mở rộng B1 chứa A1

(c) Huấn luyện mẫu vào A2 (d) Mở rộng B1 chứa A2

(e) Huấn luyện mẫu vào A3 (f) Mở rộng B1 chứa A2

Hình 1.9 Quá trình mở rộng các siêu hộp trong không gian 2D của FMNN

Quá trình huấn luyện với các mẫu vào đƣợc giải thích nhƣ sau:

• Với mẫu vào A1= (0.4,0.3) (Hình 1.9(a)), kiểm tra điều kiện giới

• Với mẫu vào A3 = (0.7;0.2) (Hình 1.9(e)), kiểm tra điều kiện giới

Hình 1.9(d) và Hình 1.9(c) minh họa quá trình kiểm tra giới hạn kích

thước và mở rộng B1 chứa A2 khi cho A2 vào huấn luyện Kích thước tính riêng trên một chiều là 0.4 trong khi tính theo công thức (1.24) lại có giá trị là 0.25

Vậy nếu giới hạn kích thước tính riêng trên mỗi chiều thì với mẫu vào A2 đã

không thỏa mãn để mở rộng B1

Công thức (1.24) cho thấy quá trình học trong FMNN phụ thuộc vào quy cách tính giới hạn kích thước khi mở rộng các siêu hộp FMNN tạo ra các siêu hộp ngay cả khi kích thước của nó đã vượt qua giới hạn kích thước tối đa

Để khắc phục hiện tượng vượt quá giới hạn kích thước siêu hộp khi huấn luyện mạng do phương pháp tính trung bình, Dazhong Ma [39] đề xuất giải pháp thay thế hàm giới hạn kích thước được so sánh trên tất cả các chiều tính theo công thức (1.29)

(a) Tạo mới siêu hộp B3 (b) Mở rộng B3 chứa A3

Hình 1.10 Quá trình tạo các siêu hộp mới của FMNN

1.2.2 Sửa đổi cấu trúc FMNN quản lý khu vực chồng lấn

Thuật toán học của FMNN thực hiện điều chỉnh các điểm min, điểm max của siêu hộp để tìm ranh giới và ổn định các cụm Một trong các vấn đề được nhiều nhà nghiên cứu quan tâm đến là khi co lại các siêu hộp, FMNN sẽ đẩy các mẫu ra khỏi siêu hộp hoặc có thể đẩy tâm cụm dữ liệu ra khỏi siêu hộp [58] Không những vậy, quá trình điều chỉnh các siêu hộp trong FMNN không quan tâm đến phân bố dữ liệu thuộc siêu hộp [44]

Do vậy, thay bằng việc co lại các siêu hộp để điều chỉnh chồng lấn giữa các siêu hộp, các nhà khoa học đã cải tiến theo hướng khác là tạo ra các nút đặc biệt để quản lý các vùng chồng lấn [44] Các nút quản lý các khu vực chồng lấn

có cấu tạo tương tự như các siêu hộp min-max mờ trong không gian n-chiều

1.2.2.1 Mô hình FMCN

Mô hình đề xuất sửa đổi của Nandedkar và đồng tác giả [44] gọi là FMCN (Fuzzy Min-max neural network classifier with Compensatory Neurons) được

đề xuất năm 2005 và sửa đổi sau đó năm 2007 Giải pháp khắc phục cho các vấn

đề gây ra bởi việc co lại các siêu hộp là tạo ra các siêu hộp bù Thay vì điều chỉnh co lại các siêu hộp, FMCN xử lý khu vực chồng lấn bằng cách sử dụng các siêu hộp quản lý vùng chồng lấn riêng biệt FMCN sử dụng hai loại siêu hộp chồng lấn, siêu hộp bù chồng lấn OCH (Overlapped Compensation Siêu hộp) và siêu hộp bù chứa CCH (Containment Compensation Siêu hộp)

Hình 1.11 minh họa các trường hợp chồng lấn siêu hộp, chồng lấn OCH trên Hình 1.11(a) và dạng chồng lấn CCH trên Hình 1.11(b) và Hình 1.11(c)

(a) Chồng lấn OCH (b) Chồng lấn CCH (c) Chồng lấn CCH

Hình 1.11 Các dạng chồng lấn giữa hai siêu hộp của FMCN

Ngoài phương pháp tính độ thuộc của mẫu vào A với các siêu hộp theo

công thức (1.2) và (1.3), với mỗi loại chồng lấn OCH và CCH, FMCN sử dụng hàm tính độ thuộc riêng Với dạng chồng lấn siêu hộp kiểu OCH, FMCN tính độ thuộc sử dụng công thức (1.30) Với dạng chồng lấn siêu hộp kiểu CCH, FMCN tính độ thuộc sử dụng công thức (1.31)

v a

• d j1 đầu ra cho siêu hộp 1;

• d j2 đầu ra cho siêu hộp 2;

• A là mẫu vào, n là số chiều của mẫu dữ liệu;

• V j , W j là điểm min và điểm max của siêu hộp B j dạng chồng lấn OCH;

• V 1 , W 1 là điểm min và điểm max của siêu hộp B1 V 2 , W 2 là điểm min và

điểm max của siêu hộp B2 B1 chồng lấn với B2;

Các nút bù có đầu ra trong vùng chồng lấn tương ứng, nhưng không ảnh hưởng đến kết quả phân loại ở các khu vực khác Kết quả phân loại của FMCN tại khu vực chồng lấn được thể hiện trong Hình 1.12

Hình 1.12 Vùng che phủ độ thuộc các nút bù của FMCN

Hình 1.12 minh họa độ thuộc tại các khu vực chồng lấn như thế nào khi

sử dụng nút bù của FMCN Tuy nhiên trong trường hợp này cho thấy, một phần

các mẫu gần với tâm siêu hộp B1 hơn lại thuộc về siêu hộp B2 và ngược lại, một

phần các mẫu gần với tâm siêu hộp B2 hơn lại thuộc về siêu hộp B1 Không những vậy, FMCN còn có khả năng tạo ra các siêu hộp kép tại các khu vực chồng lấn khi có nhiều hơn hai siêu hộp chồng lấn [20]

1.2.2.2 Mô hình DCFMN

Huaguang Zhang [76] đã phát triển mô hình DCFMN (Fuzzy Min–max Neural network based on Data Core) sử dụng các nút bù quản lý vùng chồng lấn cải tiến dựa trên FMCN Mô hình DCFMN chỉ có hai loại nút, nút CN (Classifying Neuron) quản lý các siêu hộp không có chồng lấn và nút OLN

(Overlapping Neuron) quản lý các siêu hộp chồng lấn Hàm thuộc b j tương ứng

với nút CN thứ j và hàm thuộc d oq tương ứng với nút OLN

Hàm thuộc b j cho các nút CN được tính theo công thức (1.32)

• f(x,y) là hàm ngƣỡng hai tham số xác định theo công thức (1.33)

1 1 1

0, 0,

0, 0,,

0,1

trong đó λ đƣợc sử dụng để kiểm soát tốc độ giảm của hàm thuộc

Giá trị của  phụ thuộc vào độ nhiễu dữ liệu Hình 1.13 minh họa về sự thay đổi giá trị hàm thuộc liên hệ tới thay đổi  với V = 0.45, W = 0.55, λ = 1,

Khi độ nhiễu ít biến động, có thể chọn [0, ]

Hình 1.13 Giá trị hàm thuộc liên hệ tới thay đổi  của FMNN

Sự khác biệt c giữa tâm dữ liệu thuộc siêu hộp và tâm hình học của siêu

Hình 1.14 minh họa về sự thay đổi λ ảnh hưởng đến giá trị hàm thuộc với

V = 0.45, W =0.55, ε = 0, c= 0.46 Tốc độ giảm của hàm thuộc thay đổi chậm

hơn khi λ tăng dần

Hình 1.14 Giá trị hàm thuộc khi thay đổi λ của FMNN

Hàm thuộc d oq trong DCFMN cho các nút OLN được tính theo (1.36)

• y q là tâm của dữ liệu thuộc siêu hộp chồng lấn

Các tham số λ, ε, và c có thể thay đổi hình dạng của hàm thuộc theo các

thuộc tính của dữ liệu, do vậy DCFMN [76] đã cải thiện đáng kể hiệu năng phân loại của FMNN [63] và FMCN [45]

1.2.3 Bổ sung thêm các trường hợp chồng lấn trong FMNN

Thuật toán học trong FMNN thực hiện mở rộng hoặc co lại các siêu hộp trong không gian mẫu để điều chỉnh ranh giới Sau mỗi lần mở rộng siêu hộp, thuật toán học thực hiện kiểm tra xem việc mở rộng có tạo nên chồng lấn giữa