Mục tiêu nghiên cứu của Luận án nhằm đề xuất các thuật toán gia tăng tìm tập rút gọn của bảng quyết định thay đổi dựa trên tập thô mờ theo tiếp cận kết hợp filter-wrapper nhằm giảm thiểu số lượng thuộc tính tập rút gọn và cải thiện độ chính xác của mô hình phân lớp, từ đó giảm thiểu độ phức tạp của mô hình khai phá dữ liệu Mời các bạn cùng tham khảo!
Trang 1BỘ GIÁO DỤC VÀ ĐÀO TẠO VIỆN HÀN LÂM KHOA HỌC
VÀ CÔNG NGHỆ VIỆT NAM HỌC VIỆN KHOA HỌC VÀ CÔNG NGHỆ
-
HỒ THỊ PHƯỢNG
PHƯƠNG PHÁP GIA TĂNG RÚT GỌN THUỘC TÍNH
TRONG BẢNG QUYẾT ĐỊNH THAY ĐỔI
THEO TIẾP CẬN TẬP THÔ MỜ
Chuyên ngành: Khoa học máy tính
Mã số: 9 48 01 01
TÓM TẮT LUẬN ÁN TIẾN SĨ MÁY TÍNH
Hà Nội - 2021
Trang 2Công trình đƣợc hoàn thành tại:
Học viện Khoa học và Công nghệ Viện Hàn lâm Khoa học và Công nghệ Việt Nam
Người hướng dẫn khoa học: PGS.TS Nguyễn Long Giang
Vào hồi… ngày tháng năm 20
Có thể tìm hiểu luận án tại:
- Thƣ viện Học viện Khoa học và Công nghệ
- Thƣ viện Quốc gia Việt Nam
Trang 3MỞ ĐẦU
Rút gọn thuộc tính là bài toán quan trọng trong bước tiền xử lý dữ liệu của quá trình khai phá tri thức từ dữ liệu Mục tiêu của rút gọn thuộc tính là loại bỏ các thuộc tính dư thừa, không cần thiết nhằm nâng cao tính hiệu quả của các mô hình khai phá dữ liệu Rút gọn thuộc tính của bảng quyết định là quá trình lựa chọn tập con nhỏ nhất của tập thuộc tính điều kiện, loại bỏ các thuộc tính dư thừa mà bảo toàn thông tin phân lớp của bảng quyết định, gọi là tập rút gọn (reduct) Kết quả rút gọn thuộc tính ảnh hưởng trực tiếp đến hiệu quả thực hiện các nhiệm vụ khai phá: Gia tăng tốc độ, cải thiện chất lượng, tính dễ hiểu của các kết quả thu được Cho đến nay, có hai hướng tiếp cận chính đối với bài toán lựa chọn thuộc tính: Lọc (filter) và đóng gói (wrapper) Cách tiếp cận fifter thực hiện việc lựa chọn thuộc tính độc lập với thuật toán khai phá sử dụng sau này Các thuộc tính được chọn chỉ dựa trên
độ quan trọng của chúng trong việc mô tả dữ liệu Trong khi đó, cách tiếp cận wrapper tiến hành việc lựa chọn bằng cách áp dụng ngay thuật khai phá, độ chính xác của kết quả được lấy làm tiêu chuẩn để lựa chọn các tập con thuộc tính
Lý thuyết tập thô mờ (fuzzy rough set) do Dübois và các cộng sự [1] đề xuất là công
cụ hiệu quả giải quyết bài toán rút gọn thuộc tính trực tiếp trên bảng quyết định gốc không qua bước tiền xử lý dữ liệu nhằm nâng cao hiệu quả độ chính xác mô hình phân lớp Cho đến nay, nhiều phương pháp rút gọn thuộc tính theo tiếp cận tập thô mờ đã được đề xuất, điển hình là các phương pháp sử dụng hàm thuộc mờ [2, 3, 4], các phương pháp sử dụng miền dương mờ [5, 6], các phương pháp sử dụng entropy mờ [7, 8, 9], các phương pháp sử dụng khoảng cách mờ [10, 11, 12] và một số phương pháp khác [13, 14, 15, 16, 17, 18] Trong xu thế dữ liệu lớn (Big data) hiện nay, các bảng quyết định ngày càng có số thuộc tính rất lớn, ví dụ các bảng dữ liệu trong lĩnh vực tin sinh học có hàng triệu thuộc tính Hơn nữa, các bảng quyết định luôn luôn thay đổi, cập nhật với các tình huống như bổ sung và loại bỏ tập đối tượng, bổ sung và loại bỏ tập thuộc tính, giá trị tập đối tượng, tập thuộc tính thay đổi Để xây dựng mô hình phân lớp hiệu quả, ta cần giải quyết bài toán rút gọn thuộc tính trên các bảng quyết định kích thước lớn và thay đổi Các phương pháp rút gọn thuộc tính theo tiếp cận truyền thống trên các bảng quyết định như vậy gặp hai thách thức Thứ nhất, với các bảng quyết định có kích thước lớn, việc thực hiện các thuật toán tìm tập rút gọn gặp khó khăn về không gian lưu trữ và tốc độ tính toán Thứ hai, với các bảng quyết định thay đổi, cập nhật, các thuật toán này phải tính toán lại tập rút gọn trên toàn bộ bảng quyết định sau khi thay đổi, do đó chi phí về thời gian tính toán tăng lên đáng kể Để giải quyết hai thách thức trên, các nhà nghiên cứu đề xuất hướng tiếp cận tính toán gia tăng tìm tập rút gọn Các thuật toán gia tăng chỉ cập nhật lại tập rút gọn trên phần dữ liệu bị thay đổi
mà không tính lại tập rút gọn trên toàn bộ bảng quyết định ban đầu Do đó, chúng giảm thiểu đáng kể thời gian thực hiện Hơn nữa, các thuật toán gia tăng có thể thực hiện được trên các bảng quyết định kích thước lớn bằng giải pháp chia nhỏ bảng quyết định thành nhiều phần, tập rút gọn được tính khi lần lượt bổ sung từng phần
Hướng tiếp cận tính toán gia tăng tìm tập rút gọn của bảng quyết định đã và đang thu hút sự quan tâm của các nhà nghiên cứu trong suốt hơn thập kỷ qua
Theo tiếp cận lý thuyết tập thô truyền thống của Pawlak [19] và các mô hình tập thô
mở rộng, các nhà nghiên cứu đã đề xuất nhiều thuật toán gia tăng tìm tập rút gọn của bảng
quyết định thay đổi Với trường hợp bổ sung, loại bỏ tập đối tượng, một số thuật toán gia
tăng đề xuất sử dụng khoảng cách [20, 21], hạt thông tin [22, 23, 24, 25, 26, 27], ma trận phân biệt [28, 29, 30, 31, 32], miền dương [33, 34, 35], hàm thuộc [36], quan hệ không phân biệt được [37], entropy thông tin [38], độ đo không nhất quán [39], lựa chọn mẫu kích hoạt
Trang 4[40] Với trường hợp bổ sung, loại bỏ tập thuộc tính, một số thuật toán gia tăng tìm tập rút
gọn đã được đề xuất sử dụng miền dương [41], entropy thông tin [42], ma trận phân biệt [43, 44, 45], quan hệ không phân biệt [46, 47], khoảng cách [48], độ phụ thuộc của thuộc tính [49], hạt tri thức [50, 51]
Theo tiếp cận tập thô mờ [1], trong mấy năm gần đây một số thuật toán gia tăng tìm tập
rút gọn của bảng quyết định đã được đề xuất với các trường hợp: bổ sung và loại bỏ tập đối
tượng [52, 53, 54, 55, 56, 57], bổ sung và loại bỏ tập thuộc tính [58] Với trường hợp bổ
sung, loại bỏ tập đối tượng, Liu và các cộng sự [52] xây dựng công thức gia tăng tính độ
phụ thuộc mờ và đề xuất thuật toán giăng FIAT tìm tập rút gọn khi bổ sung tập đối tượng Yang và các cộng sự [53] xây dựng công thức gia tăng tính quan hệ phân biệt, trên cơ sở đó xây dựng thuật toán gia tăng IARM tìm tập rút gọn khi bổ sung tập đối tượng Yang và các cộng sự [54] xây dựng cơ chế cập nhật quan hệ phân biệt và đề xuất hai thuật toán IV-FS-FRS-1 và IV-FS-FRS-2 tìm tập rút gọn trong trường hợp bổ sung tập đối tượng Zhang và các cộng sự [56] đề xuất thuật toán gia tăng AIFWAR tìm tập rút gọn sử dụng entropy có điều kiện mở rộng trong trường hợp bổ sung tập đối tượng Ni và các cộng sự [57] đưa ra khái niệm tập đối tượng chính (key instance set), trên cơ sở đó xây dựng hai thuật toán gia tăng tìm tập rút gọn dựa trên tập đối tượng chính trong trường hợp bổ sung tập đối tượng:
thuật toán DIAR sử dụng hàm thuộc mờ và thuật toán PIAR sử dụng miền dương mờ Với
trường hợp bổ sung, loại bỏ tập thuộc tính, các kết quả nghiên cứu về các thuật toán gia
tăng tìm tập rút gọn theo tiếp cận tập thô mờ còn hạn chế Zeng và các cộng sự [58] xây dựng các công thức gia tăng cập nhật độ phụ thuộc mờ trong hệ thông tin hỗn hợp (HIS), trên cơ sở đó đề xuất hai thuật toán gia tăng cập nhật tập rút gọn sử dụng độ phụ thuộc mờ: thuật toán FRSA-IFS-HIS(AA) trong trường hợp bổ sung tập thuộc tính và thuật toán FRSA-IFS-HIS(AD) trong trường hợp loại bỏ tập thuộc tính Kết quả thực nghiệm trong các công trình nêu trên cho thấy, các thuật toán gia tăng giảm thiểu đáng kể thời gian thực hiện
so với các thuật toán không gia tăng Do đó, chúng có thể thực thi hiệu quả trên các bảng
quyết định có kích thước lớn và thay đổi, cập nhật Tuy nhiên, phần lớn các thuật toán đề
xuất đều theo hướng tiếp cận lọc (filter) truyền thống Với cách tiếp cận này, tập rút gọn tìm
được là tập thuộc tính tối thiểu bảo toàn độ đo được xây dựng Việc đánh giá độ chính xác phân lớp được thực hiện sau khi tìm được tập rút gọn Vì vậy, tập rút gọn thu được chưa phải là lựa chọn tốt nhất trên hai tiêu chí: số lượng thuộc tính tập rút gọn và độ chính xác
phân lớp Do đó, động lực nghiên cứu của luận án là nghiên cứu, đề xuất các thuật toán gia
tăng theo tiếp cận kết hợp filter-wrapper nhằm mục tiêu giảm thiểu số thuộc tính tập rút gọn và cải thiện độ chính xác mô hình phân lớp
Mục tiêu nghiên cứu
Nghiên cứu, đề xuất các thuật toán gia tăng tìm tập rút gọn của bảng quyết định thay đổi
dựa trên tập thô mờ theo tiếp cận kết hợp filter-wrapper nhằm giảm thiểu số lượng thuộc
tính tập rút gọn và cải thiện độ chính xác của mô hình phân lớp, từ đó giảm thiểu độ phức
tạp của mô hình khai phá dữ liệu
Với mục tiêu đặt ra, luận án đã thu đƣợc các kết quả chính nhƣ sau:
1) Đề xuất thuật toán filter-wrapper tìm tập rút gọn của bảng quyết định sử dụng độ đo khoảng cách mờ Đóng góp này được trình bày ở Chương 2 của luận án
2) Đề xuất hai thuật toán gia tăng filter-wrapper tìm tập rút gọn của bảng quyết định thay đổi trong trường hợp bổ sung, loại bỏ tập đối tượng Đóng góp này được trình bày ở Chương 3 của luận án
Trang 53) Đề xuất hai thuật toán gia tăng filter-wrapper tìm tập rút gọn của bảng quyết định thay đổi trong trường hợp bổ sung, loại bỏ tập thuộc tính Đóng góp này được trình bày ở Chương 4 của luận án
CHƯƠNG 1 TỔNG QUAN VỀ RÚT GỌN THUỘC TÍNH THEO TẬP THÔ MỜ
1.1 Tổng quan về rút gọn thuộc tính
Rút gọn thuộc tính là bài toán quan trọng trong bước tiền xử lý dữ liệu với mục tiêu là loại bỏ các thuộc tính dư thừa, không liên quan nhằm tăng tính hiệu quả của các thuật toán khai phá dữ liệu: Gia tăng tốc độ, cải thiện chất lượng và tính dễ hiểu của các kết quả thu được Các kỹ thuật rút gọn thuộc tính thường được phân thành hai loại: Lựa chọn thuộc tính (Attribute selection) và biến đổi thuộc tính (Attribute transformation) Trong luận án này, tác giả nghiên cứu hướng tiếp cận lựa chọn thuộc tính, gọi chung là rút gọn thuộc tính
1.2 Các hướng tiếp cận filter-wrapper trong rút gọn thuộc tính
Hiện nay có hai cách tiếp cận chính đối với bài toán rút gọn thuộc tính [43, 44]: filter (lọc) và wrapper (đóng gói) Cách tiếp cận filter thực hiện việc rút gọn thuộc tính độc lập
với thuật khai phá dữ liệu sử dụng sau này Cho đến nay, phần lớn các phương pháp rút gọn thuộc tính dựa trên lý thuyết tập thô và các mở rộng đều theo hướng tiếp cận này Cách tiếp cận wrapper tiến hành việc lựa chọn bằng cách áp dụng ngay thuật khai phá, độ chính xác của kết quả được lấy làm tiêu chuẩn để lựa chọn các tập con thuộc tính
Cách tiếp cận filter có ưu điểm là thời gian tính toán nhanh, nhược điểm là không sử dụng sử dụng thông tin nhãn lớp của các bộ dữ liệu nên độ chính xác không cao
Hình 1.1 Cách tiếp cận filter và wrapper trong rút gọn thuộc tính
Nhằm kết hợp các ưu điểm của cả hai cách tiếp cận filter và wrapper, một số cách tiếp cận mới cũng đã được các tác giả đã đề xuất, chẳng hạn cách tiếp cận lai ghép filter-wrapper [67, 91]
1.3 Tổng quan về tập thô mờ
1.3.1 Quan hệ tương đương mờ
Định nghĩa 1.1 [1] Cho bảng quyết định DSU C, D, một quan hệ R xác định trên
miền giá trị thuộc tính được gọi là quan hệ tương đương mờ nếu thỏa mãn các điều kiện sau
với mọi x y z, , U
1) Tính phản xạ (reflexive): R x x , 1;
2) Tính đối xứng (symetric): R x y , R y x , ;
Trang 63)Tính bắc cầu max-min (max-min transitive):R x y , supz U min R x z R y z , , , với
,
R x y là giá trị quan hệ giữa hai đối tượng x và y
Mệnh đề 1.1 [58] Cho bảng quyết định DSU C, D và quan hệ tương đương mờ R
Ký hiệu R P, R Q tương ứng là quan hệ R xác định trên tập thuộc tính P, Q Khi đó, với mọi ,
Định nghĩa 1.2.[58] Cho bảng quyết định DSU C, D với Ux x1 , 2 , ,x n và R P là
quan hệ tương đương mờ xác định trên tập thuộc tính PC Khi đó, ma trận tương đương
mờ biểu diễn R P, ký hiệu là ( ) ij
n n P
M R p được định nghĩa như sau:
Như vậy, giá trị các phần tử của ma trận tương đương mờ M R( P)phụ thuộc vào quan hệ
tương đương mờ R P được chọn Mặt khác, ma trận tương đương mờ là cơ sở để xây dựng các
độ đo sử dụng để giải quyết bài toán rút gọn thuộc tính trong bảng quyết định Do đó, việc lựa
chọn các quan hệ tương đương mờ ảnh hưởng đến kết quả thực hiện các phương pháp rút gọn
Trang 71.4 Các nghiên cứu liên quan đến rút gọn thuộc tính theo tiếp cận tập thô mờ
1.4.1 Rút gọn thuộc tính theo tiếp cận tập thô mờ
1.4.1.1 Các nghiên cứu liên quan
Bảng 1 1 Liệt kê các nghiên cứu liên quan đến các thuật toán heuristic tìm tập rút gọn của
bảng quyết định theo tiếp cận tập thô mờ
STT Công bố, năm xuất bản Thuật toán
1.4.1.2 Các vấn đề còn tồn tại
Các thuật toán đã đề xuất được trình bày trong Bảng 1.1 nêu trên đều là các thuật toán heuristic theo tiếp cận filter truyền thống, nghĩa là tập rút gọn thu được là tập thuộc tính tối thiểu bảo toàn độ đo được định nghĩa Việc đánh giá độ chính xác của mô hình phân lớp được thực hiện sau khi tìm được tập rút gọn Do đó, tập rút gọn của các thuật toán filter nêu trên chưa tối ưu về số lượng thuộc tính và độ chính xác phân lớp
1.4.2 Phương pháp gia tăng rút gọn thuộc tính theo tiếp cận tập thô mờ
1.4.2.1 Các nghiên cứu liên quan
Bảng 1.2 Liệt kê các nghiên cứu liên quan đến các thuật toán gia tăng tìm tập rút gọn của
bảng quyết định theo tiếp cận tập thô mờ
STT Công bố, năm xuất bản Thuật toán
1 Trường hợp bổ sung, loại bỏ tập đối tượng
1.1 Tiếp cận tập thô truyền thống
Trang 86 Nandhini và cộng sự 2019, [37] Các thuật toán gia tăng tìm tập rút gọn
sử dụng quan hệ không phân biệt được
7 Shu và cộng sự 2020, [38] Các thuật toán gia tăng tìm tập rút gọn
sử dụng entropy thông tin
8 Xie và cộng sự 2018, [39] Thuật toán gia tăng tìm tập rút gọn sử
dụng độ đo không nhất quán
9 Y.Y Yang và cộng sự Các thuật toán gia tăng tìm tập rút gọn
sử dụng lựa chọn mẫu kích hoạt
1.2 Tiếp cận tập thô mờ
10 Liu và các cộng sự 2017, [52] Thuật toán gia tăng FIAT tìm tập rút
gọn sử dụng độ phụ thuộc mờ
11 Yang và các cộng sự 2017, [53] Các thuật toán gia tăng IARM tìm tập
rút gọn sử dụng quan hệ phân biệt mờ
12
Yang và các cộng sự 2017, [54] Các thuật toán gia tăng IV-FS-FRS-1
và IV-FS-FRS-2 tìm tập rút gọn sử dụng quan hệ phân biệt mờ
13
Giang và các cộng sự 2020, [55] Các thuật toán gia tăng
IFW_FDAR_AdObj và IFW_FDAR_DelObj tìm tập rút gọn
sử dụng quan hệ khoảng cách mờ
14
Zhang và các cộng sự 2020, [56] Thuật toán gia tăng AIFWAR tìm tập
rút gọn sử dụng entropy có điều kiện
mở rộng
15
Ni và các cộng sự 2020, [57] Thuật toán gia tăng DIAR sử dụng
hàm thuộc mờ và thuật toán PIAR sử dụng miền dương mờ tìm tập rút gọn dựa trên tập đối tượng chính
2 Trường hợp bổ sung, loại bỏ tập thuộc tính
2.1 Tiếp cận tập thô truyền thống
16 W.H Shu và cộng sự 2014, [41] Thuật toán gia tăng tìm tập rút gọn sử
dụng miền dương
Trang 917 F Wang và cộng sự 2013, [42] Thuật toán gia tăng tìm tập rút gọn sử
dụng entropy thông tin
21 M.S Raza và cộng sự 2016, [49] Thuật toán gia tăng tìm tập rút gọn sử
dụng độ phụ thuộc của thuộc tính
A.P Zeng và các cộng sự 2015, [58] Xây dựng các công thức gia tăng cập
nhật độ phụ thuộc mờ trong hệ thông tin hỗn hợp (HIS), trên cơ sở đó đề xuất hai thuật toán gia tăng cập nhật tập rút gọn sử dụng độ phụ thuộc mờ: thuật toán FRSA-IFS-HIS(AA) trong trường hợp bổ sung tập thuộc tính và thuật toán FRSA-IFS-HIS(AD) trong trường hợp loại bỏ tập thuộc tính
1.4.2.2 Các vấn đề còn tồn tại
Các thuật toán gia tăng tìm tập rút gọn theo tiếp cận tập thô mờ nêu trên có thời gian thực hiện nhỏ hơn đáng kể các thuật toán không gia tăng và có thể thực thi trên các bảng dữ liệu kích thước lớn Tuy nhiên, các thuật toán nêu trên đều theo hướng tiếp cận lọc truyền thống (filter) Trong đó, tập rút gọn tìm được là tập thuộc tính tối thiểu bảo toàn độ đo được định nghĩa (hàm thuộc mờ, quan hệ phân biệt…), việc đánh giá độ chính xác phân lớp được thực hiện sau khi tìm được tập rút gọn Vì vậy, tập rút gọn tìm được của các thuật toán nêu trên chưa tối ưu cả về số lượng thuộc tính và độ chính xác phân lớp, nghĩa là tập rút gọn tìm được chưa chắc có độ chính xác phân lớp tốt nhất
CHƯƠNG 2 THUẬT TOÁN FIFTER-WRAPPER RÚT GỌN THUỘC TÍNH
TRONG BẢNG QUYẾT ĐỊNH SỬ DỤNG KHOẢNG CÁCH MỜ
2.1 Mở đầu
Trong mấy năm gần đây, nhóm nghiên cứu của Nguyễn Long Giang và cộng sự đã sử dụng các độ đo khoảng cách để giải quyết bài toán rút gọn thuộc tính trong bảng quyết định theo tiếp cận tập thô truyền thống [9, 24, 57, 65] và bảng quyết định không đầy đủ theo tiếp cận tập thô dung sai [9, 10, 12, 25, 58] Theo tiếp cận tập thô mờ, nhóm nghiên cứu đã mở rộng các độ đo khoảng cách đã đề xuất thành các độ đo khoảng cách mờ và đã có một số kết quả trong việc sử dụng độ đo khoảng cách mờ để giải quyết bài toán rút gọn thuộc tính trên bảng quyết định có miền giá trị số [3, 8, 18]
Tiếp tục hướng nghiên cứu này, với mục tiêu tìm kiếm các độ đo khoảng cách hiệu quả (có công thức tính toán đơn giản) giải quyết bài toán rút gọn thuộc tính, giảm thiểu thời gian thực hiện, trong chương này luận án đề xuất độ đo khoảng cách mờ (sau đây gọi là khoảng
Trang 10cách mờ) dựa trên độ đo khoảng cách phân hoạch trong công trình [65] Sử dụng khoảng cách mờ được xây dựng, luận án đề xuất phương pháp filter-wrapper rút gọn thuộc tính trong bảng quyết định nhằm nâng cao độ chính xác phân lớp và giảm thiểu số lượng thuộc tính tập rút gọn Bao gồm các nội dung sau:
(1) Xây dựng khoảng cách giữa hai tập mờ;
(2) Xây dựng khoảng cách mờ giữa hai phân hoạch mờ;
(3) Thuật toán filter tìm tập rút gọn sử dụng khoảng cách mờ;
(4) Thuật toán filter-wrapper tìm tập rút gọn sử dụng khoảng cách mờ;
(5) Thử nghiệm và đánh giá tính hiệu quả của các thuật toán đề xuất
Các kết quả trong chương này được công bố trong các công trình 1, 2 phần “Danh mục
các công trình khoa học đã công bố”
2.2 Xây dựng khoảng cách giữa hai tập mờ
2.2.1 Độ đo khoảng cách mờ
Mệnh đề 2.1 Cho 2 tập mờ trên tập đối tượng U, khi đó FD X Y , X Y XY là khoảng cách giữa và
2.2.2 Độ đo khoảng cách mờ và các tính chất
Mệnh đề 2.2 Cho bảng quyết định DSU C, D với Ux x1 , 2 , ,x n và R P , R Q
là 2 phân hoạch mờ sinh bởi hai quan hệ tương đương mờ R P , R Q trên P ,QC khi đó:
Là một khoảng cách mờ giữa R P và R Q , gọi là khoảng cách mờ
Mệnh đề 2.3 Cho bảng quyết định DSU C, D với Ux x1 , 2 , ,x n và R là một quan
hệ tương đương mờ xác định trên miền giá trị tập thuộc tính điều kiện, khi đó khoảng cách
mờ giữa hai tập thuộc tính C và CD được xác định như sau:
2.3 Thuật toán filter tìm tập rút gọn sử dụng khoảng cách mờ
Định nghĩa 2.1 Bảng quyết định DSU C, D và R B,R C là các quan hệ tương đương
mờ trên tập thuộc tính điều kiện B, C với BC Nếu:
1)FPD Φ R B ,Φ R B D FPD Φ R C ,Φ R CD
2) b B, FPD Φ R B b ,ΦRB bD FPD Φ R C ,Φ R CD
Thì B là tập rút gọn của bảng quyết định sử dụng khoảng cách mờ
Định nghĩa 2.2 Bảng quyết định DSU C, D với BC và b C B Độ quan trọng của thuộc tính đối với được định nghĩa bởi:
FPD Φ ,Φ FPD Φ ,Φ
Theo tính chất của khoảng cách mờ ta có SIG B b 0 Độ quan trọng SIG B b đặc trưng
cho chất lượng phân lớp của thuộc tính b đối với thuộc tính quyết định D và được sử dụng
làm tiêu chuẩn lựa chọn thuộc tính cho thuật toán filter F_FDBAR tìm tập rút gọn
Thuật toán F_FDBAR (Filter - Fuzzy Distance Based Attribute Reduction): Thuật toán
filter tìm tập rút gọn sử dụng khoảng cách mờ
Đầu vào: Bảng quyết định DSU C, D, quan hệ tương đương mờ R xác định trên tập thuộc tính điều kiện
Trang 112.4 Thuật toán filter-wrapper tìm tập rút gọn sử dụng khoảng cách mờ
Thuật toán filter-wrapper tìm tập rút gọn xấp xỉ sử dụng khoảng cách mờ được mô tả như sau:
Thuật toán FW_FDBAR (Filter-Wrapper Fuzzy Distance Based Attribute Reduction):
Thuật toán filter-wrapper tìm tập rút gọn xấp xỉ sử dụng khoảng cách mờ
Đầu vào: Bảng quyết định DSU C, D, quan hệ tương đương mờ R trên miền giá trị thuộc tính điều kiện
Đầu ra: Tập rút gọn xấp xỉ B x có độ chính xác phân lớp tốt nhất
// Khởi tạo
1 B ; F D P R B , R B D 1 ;
2 Tính khoảng cách mờ FPD R C , R CD ;
// Giai đoạn filter, tìm các ứng viên cho tập rút gọn
// Thêm dần vào B các thuộc tính có độ quan trọng lớn nhất
Trang 12// Giai đoạn Wrapper,tìm tập rút gọn có độ chính xác phân lớp cao nhất
9 Đặt t B // t là số phần tử của B, B chứa các chuỗi thuộc tính được chọn tại mỗi bước lặp của vòng lặp While, nghĩa là 1 , 1 , 2, , 1 , 2 , ,
của bộ phân lớp là O T và độ phức tạp của giai đoạn wrapper là O C T *
2.5 Thực nghiệm và đánh giá kết quả các thuật toán
2.5.1 Mục tiêu thực nghiệm
1) So sánh thuật toán filter-wrapper đề xuất FW_FDBAR với thuật toán filter-wrapper FEBAR trong [9] về thời gian thực hiện, độ chính xác phân lớp và số lượng thuộc tính tập rút gọn
2) So sánh thuật toán filter-wrapper đề xuất FW_FDBAR với thuật toán filter FPDAR trong [12] về thời gian thực hiện, số lượng thuộc tính tập rút gọn và độ chính xác phân lớp
2.5.2 Số liệu thực nghiệm
Bảng 2.1 Bộ dữ liệu thử nghiệm thuật toán FW_FDBAR
STT Bộ dữ liệu Mô tả Số đối
tƣợng
Số thuộc tính điều kiện
Số lớp quyết định
Tất
cả
Thuộc tính định danh (nominal)
Thuộc tính thực (Real- valued)
8 German German credit
2.5.3 Kết quả so sánh độ chính xác phân lớp và số lượng thuộc tính tập rút gọn
Độ chính xác phân lớp được biểu diễn bởi v trong đó v là giá trị độ chính xác trung bình (mean) và là sai số chuẩn (standard error) Sử dụng bộ phân lớp CART (cây phân
Trang 13lớp, hồi quy) để tính độ chính xác phân lớp trong giai đoạn wrapper với phương pháp kiểm tra chéo 10-fold
Hình 2.1 Độ chính xác phân lớp của ba thuật toán
Hình 2.2 Số lượng thuộc tính tập rút gọn của ba thuật toán
Kết quả ở Hình 2.1 và Hình 2.2 cho thấy, số thuộc tính tập rút gọn của thuật toán đề xuất FW_FDAR nhỏ hơn nhiều so với thuật toán filter FPDAR Độ chính xác của FW_FDAR cao hơn FPDAR trên tất cả các bộ dữ liệu Với thuật toán filter-wrapper FEBAR [91] sử dụng -entropy mờ, số lượng thuộc tính tập rút gọn của FW_FDAR xấp xỉ FEBAR, độ chính xác phân lớp của FW_FDAR xấp xỉ FEBAR
2.5.4 Kết quả so sánh thời gian thực hiện
Hình 2.3 Thời gian thực hiện FW_FDBAR, FEBAR, FPDAR
Hình 2.3 cho thấy, thuật toán FW_FDAR có thời gian thực hiện nhỏ hơn đáng kể thuật toán FEBAR [91], chủ yếu là ở thủ tục filter tìm tập rút gọn Nguyên nhân là thuật toán FEBAR phải tính miền dương mờ để xác định hệ số , hơn nữa thuật toán FEBAR phải tính toán các công thức logarit phức tạp trong công thức entropy Shannon Tuy nhiên, các thuật toán theo tiếp cận filter-wrapper FW_FDAR và FEBAR [91] có thời gian thực hiện lớn hơn thuật toán theo tiếp cận filter FPDAR [18] vì phải thực hiện bộ phân lớp để tính độ chính xác của các tập rút gọn xấp xỉ trong giai đoạn wrapper