VỀ TÍNH HIỆU QUẢ CỦA CÁC THUẬT TOÁN TỐI ƢU TIẾN HÓA CHO PHÂN CỤM MỜ VÀ ỨNG DỤNG TRONG PHÂN TÍCH NHU CẦU KHÁCH HÀNG

ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ NGUYỄN THỊ NHƯ NA VỀ TÍNH HIỆU QUẢ CỦA CÁC THUẬT TOÁN TỐI ƯU TIẾN HÓA CHO PHÂN CỤM MỜ VÀ ỨNG DỤNG TRONG PHÂN TÍCH NHU CẦU KHÁCH HÀNG LU

ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ

NGUYỄN THỊ NHƯ NA

VỀ TÍNH HIỆU QUẢ CỦA CÁC THUẬT TOÁN TỐI ƯU TIẾN HÓA CHO PHÂN CỤM MỜ VÀ ỨNG DỤNG TRONG PHÂN TÍCH NHU CẦU KHÁCH HÀNG

LUẬN VĂN THẠC SĨ CÔNG NGHỆ THÔNG TIN

Hà Nội – 2015

ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ

NGUYỄN THỊ NHƯ NA

VỀ TÍNH HIỆU QUẢ CỦA CÁC THUẬT TOÁN TỐI ƯU TIẾN HÓA CHO PHÂN CỤM MỜ VÀ ỨNG DỤNG TRONG PHÂN TÍCH NHU CẦU KHÁCH HÀNG

Ngành: Công nghệ thông tin Chuyên ngành: Hệ thống thông tin

Mã số: 60.48.01.04

LUẬN VĂN THẠC SĨ CÔNG NGHỆ THÔNG TIN

NGƯỜI HƯỚNG DẪN KHOA HỌC: TS Lê Hoàng Sơn

Hà Nội – 2015

i

LỜI CAM ĐOAN

Tôi xin cam đoan đây là công trình nghiên cứu độc lập của riêng tôi, không sao chép ở bất kỳ một công trình hoặc một luận văn, luận án của các tác giả khác Các số liệu, kết quả nêu trong luận văn này là trung thực và chưa được công bố trong bất kỳ công trình nào khác Các trích dẫn, các số liệu và kết quả tham khảo dùng để so sánh đều có nguồn trích dẫn rõ ràng

Tôi xin hoàn toàn chịu trách nhiệm và chịu mọi hình thức kỷ luật theo quy định cho lời cam đoan của mình

Hà Nội, tháng 5 năm 2015

Tác giả luận văn

Nguyễn Thị Nhƣ Na

ii

LỜI CẢM ƠN

Để hoàn thành tốt luận văn này, đầu tiên em xin bày tỏ lòng biết ơn chân thành

và sâu sắc đến Tiến sĩ Lê Hoàng Sơn, người đã tận tình và trực tiếp hướng dẫn em trong suốt quá trình triển khai và nghiên cứu đề tài, tạo điều kiện để em hoàn thành luận văn này

Thứ hai, em xin bày tỏ lòng biết ơn chân thành tới toàn thể các thầy cô giáo trong khoa Công nghệ thông tin, trường Đại học Công nghệ Hà Nội, Đại học Quốc gia Hà Nội đã dạy bảo tận tình em trong suốt quá trình em học tập tại khoa

Thứ ba, em xin được gửi lời cảm ơn tới các thầy cô, các anh chị và các bạn trong Trung tâm Tính toán Hiệu năng cao, trường Đại học Khoa học tự nhiên đã giúp đỡ em trong suốt thời gian làm luận văn này

Cuối cùng em xin chân thành cảm ơn tới gia đình, bạn bè, đồng nghiệp đã luôn bên em cổ vũ, động viên, giúp đỡ em trong suốt quá trình học tập và thực hiện luận văn Luận văn này được thực hiện dưới sự tài trợ của đề tài NAFOSTED, mã số: 102.05-2014.01

Mặc dù đã cố gắng hoàn thành luận văn trong phạm vi và khả năng cho phép nhưng chắc chắn sẽ không tránh khỏi những thiếu sót Em rất mong được sự góp ý chân thành của thầy cô và các bạn để em hoàn thiện luận văn của mình

Xin chân thành cảm ơn!

Hà Nội, ngày 5 tháng 5 năm 2015

Học viên

Nguyễn Thị Như Na

iii

MỤC LỤC

LỜI CAM ĐOAN i

LỜI CẢM ƠN ii

MỤC LỤC iii

DANH SÁCH HÌNH VẼ vi

DANH SÁCH BẢNG vi

DANH MỤC CÁC KÝ HIỆU VIẾT TẮT vii

1/ ĐẶT VẤN ĐỀ 1

2/ MỤC ĐÍCH CỦA LUẬN VĂN 2

3/ BỐ CỤC CỦA LUẬN VĂN 3

CHƯƠNG 1: TỔNG QUAN VỀ PHÂN CỤM MỜ 5

1.1 Tập mờ 5

1.1.1 Lý thuyết mờ 5

1.1.2 Tập mờ 5

1.2 Giới thiệu về phân cụm mờ 8

1.2.1 Khái quát phân cụm 8

1.2.2 Độ đo gần gũi 10

1.2.3 Các bước phân cụm Error! Bookmark not defined 1.2.4 Phân cụm mờ Error! Bookmark not defined

1.3 Thuật toán Fuzzy C – Means (FCM) Error! Bookmark not defined 1.3.1 Thuật toán Fuzzy C - Means Error! Bookmark not defined

1.3.2 Cài đặt chương trình Error! Bookmark not defined

1.4 Kết luận chương Error! Bookmark not defined

iv

CHƯƠNG 2: CÁC THUẬT TOÁN TỐI ƯU TIẾN HÓA CHO PHÂN CỤM

MỜ Error! Bookmark not defined 2.1 Tính toán tiến hóa Error! Bookmark not defined 2.2 Các dạng của thuật toán tiến hóa Error! Bookmark not defined

2.2.1 Thuật toán lập trình tiến hóa Error! Bookmark not defined 2.2.2 Chiến lược tiến hóa Error! Bookmark not defined 2.2.3 Thuật toán di truyền Error! Bookmark not defined 2.2.4 Lập trình di truyền Error! Bookmark not defined 2.2.5 Tiến hóa vi phân Error! Bookmark not defined 2.2.6 Thuật toán văn hóa Error! Bookmark not defined

2.3 Một số thuật toán cụ thể Error! Bookmark not defined

2.3.1.Tìm kiếm cục bộ Error! Bookmark not defined 2.3.2 Thuật toán tìm kiếm Tabu Error! Bookmark not defined 2.3.3 Tìm kiếm lân cận biến đổi (VNS) Error! Bookmark not defined 2.3.4 Tối ưu bầy đàn PSO Error! Bookmark not defined

2.4 Áp dụng thuật toán tối ưu tiến hóa cho phân cụm mờ Error! Bookmark not defined

2.4.1 Thuật toán Fuzzy J – Means heuristic (FJM) Error! Bookmark not

v

CHƯƠNG 3: SO SÁNH HIỆU NĂNG THUẬT TOÁN TỐI ƯU TIẾN HÓA Error! Bookmark not defined 3.1 Thiết lập môi trường thực nghiệm Error! Bookmark not defined

3.1.1 Dữ liệu Error! Bookmark not defined 3.1.2 Cấu hình cài đặt Error! Bookmark not defined 3.1.3 Kết quả thực nghiệm Error! Bookmark not defined 3.1.4 So sánh hiệu năng thuật toán Error! Bookmark not defined

3.2 Ứng dụng Error! Bookmark not defined

3.2.1 Bài toán Error! Bookmark not defined 3.2.2 Dữ liệu Error! Bookmark not defined 3.2.3 Kết quả chạy thực nghiệm bài toán Error! Bookmark not defined

3.3 Kết luận chương Error! Bookmark not defined KẾT LUẬN Error! Bookmark not defined TÀI LIỆU THAM KHẢO 11

Hình 3.1 Minh họa dữ liệu đầu vào thử nghiệm lưu trên tệp excel

Hình 3 2 Tóm tắt trường dữ liệu đầu vào

Hình 3 3 Tóm tắt trường dữ liệu đầu vào

Hình 3 4 Tóm tắt trường dữ liệu đầu vào

Hình 3.5 Minh họa dữ liệu đầu vào cho bài toán ứng dụng lưu trên tệp exel Hình 3.6 Ma trận mờ thuộc

DANH SÁCH BẢNG

Bảng 3.1: Kêt quả thực nghiệm trường hợp 1

Bảng 3.2: Kêt quả thực nghiệm trường hợp 2

Bảng 3.3: Kêt quả thực nghiệm trường hợp 3

Bảng 3.4: Kêt quả thực nghiệm trường hợp 4

vii

Bảng 3.5: Bệnh viện thuộc cụm 1

Bảng 3.6: Bệnh viện thuộc cụm 2

Bảng 3.7: Bệnh viện thuộc cụm 3

Bảng 3.8: Không gian tham chiếu của các thuộc tính

DANH MỤC CÁC KÝ HIỆU VIẾT TẮT

viết tắt

Từ Tiếng Anh

Phân cụm mờ C - Means FCM Fuzzy C – Means

Phân cụm mờ J - Means FJM Fuzzy J – Means

Tìm kiếm lân cận biến đổi VNS Variable neighbourhood

search Tối ưu bầy đàn PSO Particle Swarm Optimization

viii

Optimization Lập trình tiến hóa EP Evolutionary Programming Chiến lược tiến hóa ES Evolutionary Strategies

Thuật toán di truyền GA Genetic Algorithms

Thuật toán tiến hóa EA Evolutionary Algorithms

Thuật toán tìm kiếm Tabu TS Tabu search

1

MỞ ĐẦU 1/ ĐẶT VẤN ĐỀ

Trong những năm gần đây, công nghệ thông tin đã có những chuyển biến mạnh mẽ, tác động lớn đến sự phát triển của xã hội Sự bùng nổ thông tin đã đem đến lượng dữ liệu khổng lồ Chúng ta càng có nhu cầu khám phá kho dữ liệu đó phục vụ cho nhu cầu con người, điều đó đòi hỏi con người phải biết khai thác dữ liệu và xử lý thông tin đó thành tri thức có ích

Một trong những kỹ thuật quan trọng trong quá trình khai phá dữ liệu và xử

lý dữ liệu lớn là kỹ thuật phân cụm dữ liệu Phân cụm đặc biệt hiệu quả khi ta không biết về thông tin của các cụm, hoặc khi ta quan tâm tới những thuộc tính của cụm mà chưa biết hoặc biết rất ít về những thông tin đó Phân cụm được coi như một công cụ độc lập để xem xét phân bố dữ liệu, làm bước tiền xử lý cho các thuật toán khác Việc phân cụm dữ liệu có rất nhiều ứng dụng như trong lập quy hoạch

đô thị, nghiên cứu trái đất, địa lý, khai phá Web v.v

Ngày nay, cùng với kỹ thuật phân cụm kết hợp với lý thuyết mờ của Zadeh phương pháp phân cụm mờ đã và đang phát triển và được ứng dụng rộng rãi trong thực thực tiễn, ví dụ như phân tích nhu cầu khách hàng, phân đoạn ảnh, nhận dạng mặt người, nhận dạng cử chỉ và điệu bộ, phân tích rủi ro, dự báo nguy cơ phá sản cho ngân hàng và nhiều bài toán khác Những vấn đề chính được quan tâm nhiều trong phân cụm nói chung và phân mờ nói riêng là nâng cao chất lượng phân cụm, tính toán thông qua một số độ đo chất lượng cụ thể Những nhược điểm của phân cụm mờ liên quan đến việc xác định số cụm tự động, học đo khoảng cách thích nghi, lựa chọn tham số tối ưu, xây dựng tập mờ trên các tập mờ mở rộng, v.v đã được quan tâm nghiên cứu nhiều trong thời gian gần đây Tuy nhiên, các nghiên cứu này chưa quan tâm đến việc xác định nghiệm tối ưu toàn cục của bài toán phân cụm, và hàm mục tiêu của bài toán hay cách thức phân chia dữ liệu vẫn được sử

2

dụng chung cho mọi bài toán Để xác định nghiệm tối ưu toàn cục của bài toán phân cụm, các thuật toán tối ưu tiến hóa như thuật toán di truyền, tối ưu bầy đàn, v.v được áp dụng trong việc tìm nghiệm tối ưu toàn cục của bài toán tối ưu Và trong khuôn khổ luận văn này sẽ tìm hiểu vấn đề đó trên cơ sở khảo sát một số thuật toán tối ưu tiến hóa cho bài toán phân cụm mờ, cụ thể là thuật toán Fuzzy J - Means, Variable Neighbourhood Search và Fuzzy Particle Swarm Optimization

2/ MỤC ĐÍCH CỦA LUẬN VĂN

Trong luận văn này chúng tôi khảo sát môt số thuật toán tối ưu tiến hóa cho bài toán phân cụm mờ, cụ thể là thuật toán Fuzzy J – Means (FJM), Variable Neighbourhood Search (VNS) và Fuzzy Particle Swarm Optimization (FPSO) Các thuật toán này sẽ được áp dụng cho bài toán phân tích nhu cầu khách hàng – là mục tiêu quan trọng của bất kỳ doanh nghiệp nào trong việc xác định các khách hàng tiềm năng, nhu cầu của nhóm khách hàng đó và mức độ hài lòng về sản phẩm và dịch vụ Từ đó hỗ trợ doanh nghiệp đưa ra quyết định trong chiếm lược kinh doanh trong tương lai dựa vào kết quả của quá trình phân tích khách hàng tiềm năng, nhu cầu của nhóm khách hàng và mức độ hài lòng về sản phẩm và dịch vụ của doanh nghiệp

Cụ thể với một cơ sở dữ liệu mẫu về thống kê doanh doanh số bán hàng của một công ty kinh doanh thiết bị y tế cho khoảng 500 bệnh viện [26] được sử dụng làm dữ liệu đầu vào cho các thuật toán trên Qua đây, tính hiệu quả của các thuật toán tối ưu tiến hóa cho bài toán phân cụm mờ theo các tiêu chí về chất lượng và thời gian tính toán được làm rõ đồng thời phác họa chi tiết về các chức năng chính của bài toán phân tích nhu cầu khách hàng

3

3/ BỐ CỤC CỦA LUẬN VĂN

Luận văn gồm 3 chương, có phần mở đầu, phần kết luận, phần mục lục, phần tài liệu tham khảo Các nội dung cơ bản của luận văn được trình bày theo cấu trúc như sau:

Chương 1: Tổng quan về phân cụm mờ

Trong chương này, luận văn sẽ trình bày tổng quan về tập mờ, bài toán phân cụm và phân cụm mờ và thuật toán cơ bản giải quyết vấn đề phân cụm trên tập mờ

đó là thuật toán Fuzzy C – Means (FCM) Từ thuật toán này chúng tôi sẽ khảo sát các thuật toán tối ưu tiến hóa cho bài toán phân cụm mờ

Chương 2: Các thuật toán tối ưu tiến hóa cho phân cụm mờ

Trong chương này, các khái niệm cơ bản về tối ưu tiến hóa sẽ được nhắc lại ở đầu chương Tiếp theo, chúng tôi sẽ trình bày thuật toán Fuzzy J – Means (FJM) được phát triển từ thuật toán Fuzzy C – Means (FCM) trong việc tìm nghiệm tối ưu cho bài toán, từ đó có nhận xét về hiệu quả của bài toán phân cụm mờ được áp dụng thuật toán trên Tiếp theo, chúng tôi khảo sát thuật toán Variable Neighbourhood Search (VNS) được phát triển tiếp từ thuật toán Fuzzy J – Means

và phần cuối của chương này trình bày về thuật toán Fuzzy Particle Swarm Optimization (FPSO) lai của hai phương pháp Fuzzy C – Means và Particle Swarm Optimization (PSO) Nhận xét chung các thuật toán cũng được nhắc trong chương này

Chương 3: So sánh hiệu năng thuật toán tối ưu tiến hoá

Trong chương này, chúng tôi cài đặt và đánh giá hiệu năng các thuật toán: FCM, FJM, VNS và FPSO theo các tiêu chí về chất lượng phân cụm thông qua giá trị hàm mục tiêu và thời gian tính toán Từ đây, hiệu quả của các thuật toán tối ưu tiến hóa cho phân cụm mờ được khẳng định

4

Lotfi A Zadeh và Dieter Klaua là người sáng lập ra lý thuyết tập mờ [25], mở

đầu bằng bài báo “Fuzzy Sets” trên tạp chí “Information and Control” năm 1965 Ý tưởng lý thuyết tập mờ của Zadeh là từ những khái niệm trừu tượng, không chắc chắn của thông tin như độ tuổi (trẻ – già), chiều cao (cao – thấp), nhiệt độ (nóng – lạnh), v.v ông đã tìm ra cách biểu diễn bằng một khái niệm toán học được gọi là tập mờ FS, như là một sự khái quát của khái niệm tập hợp

Bằng các phương pháp tiếp cận khác nhau, các nhà nghiên cứu như Dubois, Prade, Mamdani, Tagaki, Sugeno, Ishibuchi, Herrera, v.v đã đưa ra những kết quả

cả về lý thuyết và ứng dụng trong các bài toán điều khiển mờ, khai phá dữ liệu mờ,

cơ sở dữ liệu mờ, các hệ hỗ trợ quyết định

Tập mờ FS được định nghĩa như sau:

1.1.2 Tập mờ

Ftrên tậpX được định nghĩa bởi một hàm thành viên hay còn gọi là hàm thuộc

6

Khi F x = 0 thì x F hoàn toàn Khi F x = 1 thì x F hoàn toàn

Tập mờ F rỗng nếu và chỉ nếu F x = 0 với xX

Tập mờ F toàn phần nếu và chỉ nếu F x = 1 với xX

Như vậy, khái niệm tập mờ là sự tổng quát hóa khái niệm tập rõ bởi hàm thuộc của nó có thể lấy giá trị bất kỳ trong khoảng [0, 1], tập rõ chỉ là một tập mờ đặc biệt

vì hàm thuộc F x chỉ nhận hai giá trị 0 hoặc 1

Ví dụ 1.3: X = {X1, X2, X3, X4}

Hàm thuộc không còn mang 2

giá trị tuyệt đối 0 hay 1, mà là giá trị

7

Khi đó tập mờ F = {(50, 0.35) (10, 0.95) (15, 0.75) (55, 0.30)(70, 0.05)} và F được biểu diễn như Hình 1.2 sau:

Hình 1.2: Ví dụ một tập mờ

* Số mờ

Xét tập mờ F trên tập các số thực R Về nguyên tắc, không có ràng buộc chặt

đối với việc xây dựng các tập mờ để biểu thị ngữ nghĩa của các khái niệm ngôn ngữ Tuy nhiên, để đơn giản trong xây dựng các tập mờ và trong tính toán trên các tập mờ, người ta đưa ra khái niệm tập mờ có dạng đặc biệt, gọi là số mờ để biểu thị

các khái niệm mờ về số như gần 10, khoảng 15, lớn hơn nhiều so với 10,v.v

Trong điều khiển, với mục đích sử dụng các hàm thuộc sao cho khả năng tích hợp chúng là đơn giản, người ta thường chỉ quan tâm đến hai dạng số mờ hình thang và số mờ hình tam giác

Số mờ hình thang

Hàm thành viên có dạng sau [1]:

8

0, / , 1, / , 0,

1.2.1 Khái quát phân cụm

Phân cụm là kỹ thuật rất quan trọng trong khai phá dữ liệu, nó thuộc lớp các phương pháp học không giám sát trong học máy, nhằm tìm kiếm, phát hiện các cụm, các mẫu dữ liệu tự nhiên tiềm ẩn và quan trọng trong tập dữ liệu lớn để từ đó cung cấp thông tin, tri thức cho việc ra quyết định

Có rất nhiều định nghĩa khác nhau về kỹ thuật này, nhưng về bản chất ta có thể hiểu phân cụm là các qui trình tìm cách nhóm các đối tượng đã cho vào các cụm,

9

sao cho các đối tượng trong cùng một cụm tương tự nhau và các đối tượng khác

cụm thì không tương tự nhau [23]

Mục đích của phân cụm là tìm ra bản chất bên trong các nhóm nội tại bên trong của bộ dữ liệu không có nhãn Tuy nhiên, không có tiêu chí nào là được xem

là tốt nhất để đánh giá hiệu quả của phân tích phân cụm, điều này phụ thuộc vào mục đích cuối cùng của phân cụm dữ liệu Do đó, người sử dụng phải cung cấp tiêu chuẩn, theo cách như vậy mà kết quả của phân cụm sẽ phù hợp với nhu cầu của người sử dụng cần

Phân cụm được đóng vai trò quan trọng trong các nghành khoa học:

- Thương mại: Phân cụm dữ liệu giúp các nhà cung cấp biết được nhóm khác hàng quan trọng có các đặc trưng tương đồng nhau và đặc tả họ từ các mẫu trong

cơ sở dữ liệu khách hàng

- Sinh học: Phân cụm dữ liệu được sử dụng để xác định các loại sinh vật, phân loại các Gen với chức năng tương đồng và thu được các cấu trúc trong các mẫu

- Phân tích dữ liệu không gian: Do sự đồ sộ của dữ liệu không gian như dữ liệu thu được từ các hình ảnh chụp từ vệ tinh, các thiết bị y học hoặc hệ thống thông tin địa lý (GIS), v.v, làm cho người dùng rất khó để kiểm tra các dữ liệu không gian một cách chi tiết Phân cụm dữ liệu có thể trợ giúp người dùng tự động