Một số giải thuật cho các bài toán tối ưu và ứng dụng (tt)

BỘ GIÁO DỤC VÀ ĐÀO TẠOĐẠI HỌC HUẾ TRƯỜNG ĐẠI HỌC SƯ PHẠM LÊ QUANG THÙY MỘT SỐ GIẢI THUẬT CHO CÁC BÀI TOÁN TỐI ƯU LỒI VÀ ỨNG DỤNG Chuyên ngành: TOÁN GIẢI TÍCH Mã số: 60 46 01 02 LUẬN VĂN

BỘ GIÁO DỤC VÀ ĐÀO TẠO

ĐẠI HỌC HUẾ TRƯỜNG ĐẠI HỌC SƯ PHẠM

LÊ QUANG THÙY

MỘT SỐ GIẢI THUẬT CHO CÁC BÀI TOÁN

TỐI ƯU LỒI VÀ ỨNG DỤNG

Chuyên ngành: TOÁN GIẢI TÍCH

Mã số: 60 46 01 02

LUẬN VĂN THẠC SĨ TOÁN HỌC

NGƯỜI HƯỚNG DẪN KHOA HỌC

TS NGUYỄN MẬU NAM

Demo Version - Select.Pdf SDK

LỜI CAM ĐOAN

Tôi xin cam đoan đây là công trình nghiên cứu của riêng tôi, các số liệu và kết quả nghiên cứu nêu trong luận văn là trung thực, được các đồng tác giả cho phép sử dụng và chưa từng được công

bố trong bất kì một công trình nào khác.

Lê Quang Thùy

Demo Version - Select.Pdf SDK

LỜI CẢM ƠN

Luận văn này được hoàn thành dưới sự hướng dẫn tận tình, chu đáo của thầy giáo TS Nguyễn Mậu Nam Trong khoảng thời gian gần một năm thực hiện luận văn, ngoài việc tiếp thu rất nhiều kiến thức, tôi còn học được ở thầy một tác phong làm việc nghiêm túc, một phương pháp nghiên cứu khoa học thực thụ Thầy là người dẫn dắt tôi đến với con đường nghiên cứu và truyền cho tôi niềm đam mê toán học Tôi xin được bày tỏ lòng biết ơn sâu sắc cũng như mong muốn có được

cơ hội tiếp tục học tập và nghiên cứu dưới sự hướng dẫn của Thầy

Xin đặc biệt cảm ơn thầy giáo PGS.TS Nguyễn Hoàng và thầy giáo PGS.TS Huỳnh Thế Phùng là những người đã truyền thụ cho tôi rất nhiều kiến thức về Giải tích hàm, Giải tích lồi, Lý thuyết các bài toán cực trị, Đây là cơ sở, là nền tảng quan trọng cho tôi trong suốt quá trình làm luận văn

Xin được bày tỏ lòng biết ơn đến quý thầy cô giáo trong khoa Toán trường Đại học Sư phạm Huế cùng thầy giáo PGS.TS Phan Nhật Tĩnh là những người đã tận tình giảng dạy và luôn động viên để tôi hoàn thành luận văn này

Xin cảm ơn Huyện ủy, UBND huyện Quảng Ninh, lãnh đạo Phòng Giáo dục

và Đào tạo huyện Quảng Ninh và toàn thể các đồng chí trong đơn vị đã tạo điều kiện thuận lợi giúp đỡ để tôi hoàn thành khóa học

Cuối cùng xin gửi lời cảm ơn sâu sắc đến những người thân, các anh chị và các bạn học viên cao học khóa XXI đã luôn quan tâm giúp đỡ tôi trong suốt thời gian học tập

Lê Quang Thùy

Demo Version - Select.Pdf SDK

MỤC LỤC

Trang

TRANG PHỤ BÌA i

LỜI CAM ĐOAN ii

LỜI CẢM ƠN iii

MỤC LỤC 1

MỞ ĐẦU 3

CHƯƠNG I KIẾN THỨC CHUẨN BỊ 5

1.1 Hàm khả vi 5

1.2 Hàm lồi 7

1.3 Hàm khoảng cách 10

1.4 Dưới vi phân 14

1.5 Bài toán tối ưu 17

CHƯƠNG II CÁC THUẬT TOÁN 20

2.1 Phương pháp dưới vi phân 20

2.1.1 Thuật toán dưới vi phân 20

2.1.2 Sự hội tụ của thuật toán dưới vi phân 20

2.1.3 Phương pháp dưới vi phân cho bài toán có ràng buộc 25

2.2 Kỹ thuật làm trơn và phương pháp vi phân cải tiến Nesterov 26

Demo Version - Select.Pdf SDK

2.4 Phương pháp vi phân proximal 39

2.4.1 Ánh xạ proximal 39

2.4.2 Thuật toán vi phân proximal 40

2.4.3 Sự hội tụ của thuật toán vi phân proximal 40

2.4.4 Thuật toán vi phân proximal cải tiến 43

CHƯƠNG III ỨNG DỤNG 46

3.1 Ứng dụng vào bài toán Điểm chung 46

3.1.1 Bài toán Điểm chung 46

3.1.2 Giải bài toán Điểm chung bằng thuật toán dưới vi phân 46

3.1.3 Giải bài toán Điểm chung bằng thuật toán MM 48

3.1.4 Ví dụ minh họa 51

3.2 Ứng dụng vào bài toán Phân loại tuyến tính 52

3.2.1 Bài toán Phân loại tuyến tính (PLTT) 52

3.2.2 Giải bài toán PLTT bằng thuật toán vi phân cải tiến Nesterov 54 3.2.3 Giải bài toán PLTT bằng thuật toán MM 55

3.2.4 Ví dụ minh họa 58

3.3 Ứng dụng vào bài toán Đầy đủ hóa ma trận 58

3.3.1 Chuẩn hạt nhân 58

3.3.2 Bài toán Đầy đủ hóa ma trận 62

3.3.3 Giải bài toán Đầy đủ hóa ma trận bằng phương pháp vi phân proximal 62

3.3.4 Ví dụ minh họa 65

KẾT LUẬN 66

TÀI LIỆU THAM KHẢO 67

Demo Version - Select.Pdf SDK

MỞ ĐẦU

Phương pháp dưới vi phân được Naum Z Shor và một số các tác giả khác giới thiệu và nghiên cứu vào những năm 1960 để giải quyết các bài toán tối ưu lồi không trơn Với Ω ⊂ Rn là một tập lồi và f : Rn → R là một hàm lồi trên Ω, phương pháp dưới vi phân để giải bài toán tối ưu có ràng buộc

minimize f (x), x ∈ Ω

như sau: Cho trước dãy số dương (αk) và x1 ∈ Rn, thành lập dãy (xk) theo công thức

xk+1 := Π(xk − αkvk; Ω), với vk ∈ ∂f (xk) và Π(u; Ω) là phép chiếu từ điểm u đến tập Ω; xem [10], [17].

Phương pháp dưới vi phân có nhiều ưu điểm như yêu cầu bộ nhớ thấp, tốc độ hội tụ không phụ thuộc nhiều vào số chiều của không gian, có thể áp dụng được vào nhiều bài toán tối ưu không trơn khác nhau thì hạn chế của phương pháp này

là tốc độ hội tụ chậm Một câu hỏi đặt ra là làm thế nào để cải thiện tốc độ hội tụ của phương pháp dưới vi phân Trong những năm gần đây, rất nhiều bài báo đã đề cập đến việc cải tiến tốc độ hội tụ của phương pháp này; xem [2], [5], [18] Một ý tưởng khác để giải quyết bài toán tối ưu không trơn là sử dụng kỹ thuật làm trơn để xấp xỉ bài toán không trơn bằng một bài toán trơn Sau đó áp dụng các phương pháp tối ưu trơn khác nhau để tìm nghiệm xấp xỉ cho bài toán không trơn ban đầu Nesterov là một trong những người đã có nhiều đóng góp quan trọng trong lĩnh vực này, ông đã đưa ra phương pháp vi phân cải tiến để áp dụng cho bài toán tối ưu trơn với hàm mục tiêu có đạo hàm Lipschitz So với tốc độ hội

tụ O(1/k) khi áp dụng phương pháp vi phân cổ điển cho các bài toán nói trên,

Demo Version - Select.Pdf SDK

Đối với bài toán tối ưu trơn, ngoài việc sử dụng các phiên bản khác nhau của

phương pháp vi phân cải tiến, người ta còn dùng phương pháp MM Ý tưởng chính

của phương pháp MM là xấp xỉ hàm mục tiêu với một hàm khác có nhiều tính chất tốt hơn Sau đó, thông qua hàm này để tìm nghiệm xấp xỉ của bài toán ban đầu; xem [11] Đây là phương pháp được áp dụng nhiều trong kỹ thuật và trong lĩnh vực Machine learning

Ngoài ra, nếu hàm mục tiêu là tổng của một hàm lồi có đạo hàm Lischitz với

một hàm lồi không trơn, người ta đưa ra phương pháp vi phân proximal; xem [16].

Sau khi cải tiến, phương pháp này có tốc độ hội tụ là O(1/k2), vì vậy nó được áp dụng rộng rãi cho các bài toán tối ưu không trơn, đặc biệt là bài toán Đầy đủ hóa

ma trận và bài toán Phục hồi hình ảnh

Dựa trên công cụ của Giải tích lồi và Lý thuyết tối ưu cùng với việc sử dụng

phần mềm Matlab, trong luận văn này chúng tôi đề xuất nghiên cứu: "Một số giải

thuật cho các bài toán tối ưu lồi và ứng dụng" Toàn bộ nội dung của luận văn được trình bày thành ba chương

Chương I trình bày những kiến thức cơ bản của Giải tích lồi và Lý thuyết tối

ưu để làm cơ sở cho các chứng minh ở chương II Một số kết quả ở đây chỉ được chúng tôi nêu ra mà không chứng minh cụ thể

Chương II tập trung nghiên cứu phương pháp dưới vi phân, kỹ thuật làm trơn

và phương pháp vi phân cải tiến Nesterov, phương pháp MM và phương pháp vi phân proximal Các phương pháp trên được trình bày có hệ thống và được chứng minh một cách chi tiết Bên cạnh đó, chúng tôi cũng đưa ra một số hình ảnh minh họa nhằm làm rõ vấn đề đang tiếp cận

Chương III là phần áp dụng của các thuật toán được nêu ở chương II Nội dung chính của chương này là ứng dụng của thuật toán dưới vi phân và thuật toán MM

để giải bài toán Điểm chung; thuật toán vi phân cải tiến Nesterov và thuật toán

MM để giải bài toán Phân loại tuyến tính; thuật toán vi phân proximal để giải bài toán Đầy đủ hóa ma trận Trong chương này, ngoài việc nghiên cứu để đưa ra các

thuật toán cụ thể cho từng bài toán nêu trên, chúng tôi cũng sẽ chỉ ra tốc độ hội

tụ cho từng thuật toán để thấy rõ hiệu quả khi áp dụng Tất cả các thuật toán trên được chúng tôi kiểm chứng và minh họa bằng phần mềm Matlab

Demo Version - Select.Pdf SDK