Chặn sai số và vấn đề hội tụ của một số thuật toán trong tối ưu hóa

LÊ DUY HOÀNG HỮUCHẶN SAI SỐ VÀ VẤN ĐỀ HỘI TỤ CỦA MỘT SỐ THUẬT TOÁN TRONG TỐI ƯU HÓA LUẬN VĂN THẠC SĨ TOÁN HỌC Nghệ An, 2018... LÊ DUY HOÀNG HỮUCHẶN SAI SỐ VÀ VẤN ĐỀ HỘI TỤ CỦA MỘT SỐ THU

LÊ DUY HOÀNG HỮU

CHẶN SAI SỐ VÀ VẤN ĐỀ HỘI TỤ CỦA MỘT SỐ THUẬT TOÁN

TRONG TỐI ƯU HÓA

LUẬN VĂN THẠC SĨ TOÁN HỌC

Nghệ An, 2018

LÊ DUY HOÀNG HỮU

CHẶN SAI SỐ VÀ VẤN ĐỀ HỘI TỤ CỦA MỘT SỐ THUẬT TOÁN

TRONG TỐI ƯU HÓA

LUẬN VĂN THẠC SĨ TOÁN HỌC

Chuyên ngành: Toán Giải tích

Mã số: 8 46 01 02

Người hướng dẫn khoa học

TS Nguyễn Thị Quỳnh Trang

Nghệ An, 2018

Để hoàn thành luận văn này tôi xin chân thành cảm ơn các thầy cô giáo

đã tận tình hướng dẫn, giảng dạy trong suốt quá trình học tập và nghiên cứutại trường Đại học Vinh Xin chân thành cảm ơn các thầy cô giáo trong Bộmôn Giải tích, Viện Sư phạm Tự nhiên, Trường Đại học Vinh Đặc biệt, tôixin chân thành cảm ơn Cô giáo TS Nguyễn Thị Quỳnh Trang đã trực tiếptận tình hướng dẫn, cung cấp tài liệu cũng như tận tình giúp đỡ trong suốtquá trình thực hiện và hoàn thành luận văn Mặc dù đã có nhiều cố gắngnhưng luận văn không tránh khỏi những thiếu sót Rất mong nhận được sựgóp ý, bổ sung của quý thầy, cô và các bạn học viên

Tôi xin chân thành cảm ơn!

2 Sự hội tụ của thuật toán giải bài toán tối ưu lồi 192.1 Sự hội tụ của thuật toán giải bài toán tối ưu lồi không ràng buộc 192.2 Một số áp dụng 25

MỞ ĐẦU

1 Lý do chọn đề tài

Khái niệm chặn sai số cho hệ tuyến tính được A J Hoffman đưa ra từnhững năm 1950 Sau đó, khái niệm này được nghiên cứu cho các hệ hàm lồibởi một số tác giả như S M Robinson, O L Mangasarian, A Auslender,J.-P Crouzeix Đến nay, khái niệm chặn sai số được mở rộng cho các hệ hàmkhông lồi Khác với hệ tuyến tính, các hệ hàm còn lại muốn có tính chấtchặn sai số thì phải thỏa mãn một số điều kiện nhất định Có rất nhiều kếtquả đưa ra những điều kiện đủ khác nhau để một hệ có tính chất chặn sai số(xem [8]) Chặn sai số đóng vai trò quan trọng trong tối ưu số Chẳng hạn,

nó có thể dùng để chứng minh tốc độ hội tụ của các thuật toán (xem [7],[8]).Bất đẳng thức Lojasiewicz xuất hiện vào cuối thập niên 1950 trong lĩnhvực hình học nửa đại số Tuy nhiên, phải đến những năm 1990, kết quả nàymới được cộng đồng các nhà toán học trong lĩnh vực tối ưu hóa chú ý đến.Tương tự như khái niệm chặn sai số, bất đẳng thức Lojasiewicz có thể sửdụng để thiết lập các kết quả về tốc độ hội tụ của các phương pháp giải bàitoán tối ưu (xem [6],[8]) Gần đây, J Bolte và các cộng sự (xem [4]) chứngminh được rằng, dưới một số giả thiết, bất đẳng thức Kurdyka- Lojasiewicztương đương với tính chất chặn sai số Hiện nay, nghiên cứu chặn sai số vàbất đẳng thức Lojasiewicz cho các hệ có cấu trúc đặc biệt với các ứng dụngvào lý thuyết thuật toán giải bài toán tối ưu và các bài toán liên quan đang

là một hướng nghiên cứu có tính thời sự trong lĩnh vực tối ưu hóa Một sốkết quả gần đây theo hướng này có thể xem trong các tài liệu tham khảo [2],[4] và [5]

Nhằm tìm hiểu về chặn sai số, bất đẳng thức Lojasiewicz và một số ứng

dụng của chúng vào tối ưu số, chúng tôi chọn đề tài cho luận văn là "Chặnsai số và vấn đề hội tụ của một số thuật toán trong tối ưu hóa".Mục đích là tổng hợp, phân tích và trình bày lại một số kết quả gần đây theohướng nghiên cứu này.

ra một tài liệu hữu ích theo hướng sử dụng chặn sai số như là một công cụ

để tiếp cận bài toán khảo sát sự hội tụ của các thuật toán trong tối ưu

3 Đối tượng, khách thể và phạm vi nghiên cứu

Luận văn tập trung nghiên cứu chặn sai số, bất đẳng thức

Lojasiewicz, sự hội tụ của thuật toán giải bài toán tối ưu lồi Phạm vi nghiêncứu là mối quan hệ giữa chặn sai số và bất đẳng thức Kurdyka- Lojasiewicz,

sự hội tụ của thuật toán giảm bậc nhất cho các hàm lồi

4 Giả thuyết khoa học

Khi các yêu cầu xác định được các thông số cần thiết của chặn sai số chomột bài toán tối ưu được đáp ứng, câu hỏi nảy sinh một cách tự nhiên là cácthông số này có liên hệ như thế nào với độ phức tạp của các phương phápgiải Bất đẳng thức Kurdyka- Lojasiewicz đã được dùng để phân tích tốc độhội tụ của cho một số thuật toán quan trọng trong tối ưu hóa Hơn nữa, trongtình huống các hàm là nửa đại số trong Rn, thì chặn sai số tương đương vớibất đẳng thức Kurdyka- Lojasiewicz Điều này dẫn đến vấn đề được đặt ra làkhảo sát mối liên hệ giữa chặn sai số với bất đẳng thức Kurdyka- Lojasiewicz,

và vận dụng mối liên hệ đó để đánh giá độ phức tạp của thuật toán tối ưu

5 Nhiệm vụ nghiên cứu

Dựa trên việc tổng hợp và phân tích các tài liệu tham khảo để khảo sátgiả thuyết khoa học nêu trên

6 Phương pháp nghiên cứu

Trong quá trình nghiên cứu nội dung của luận văn này, chúng tôi đã sửdụng các phương pháp nghiên cứu lý thuyết như phương pháp phân tích

và tổng hợp lý thuyết, phương pháp phân loại và hệ thống hóa lý thuyết,phương pháp nghiên cứu lịch sử

7 Cấu trúc của luận văn

Ngoài phần Mở đầu, Kết luận và Danh mục tài liệu tham khảo, luận vănđược trình bài trong hai chương

Chương 1 dành để trình bày các khái niệm, tính chất cơ bản về các đốitượng được nghiên cứu Mục 1.1 gồm có các khái niệm, ký hiệu và tínhchất cần thiết Mục 1.2 được dành để trình bày các vấn đề cơ bản về chặnsai số đồng thời phân tích mối liên hệ giữa chặn sai số và bất đẳng thứcKurdyka- Lojasiewicz

Chương 2 có nội dung là các kết quả về việc đánh giá sự hội tụ của cácphương pháp giảm giải các bài toán tối ưu lồi không ràng buộc, và áp dụngcác kết quả đó vào một số thuật toán cơ bản Mục 2.1 dành cho các kết quảchính về việc sử dụng chặn sai số để thiết lập điều kiện hội tụ của thuật toángiảm bậc nhất Mục 2.2 là phần áp dụng các kết quả thu được vào một sốthuật toán cơ bản: thuật toán chiếu tâm tỷ cự, thuật toán chiếu luân phiên

CHƯƠNG 1

CHẶN SAI SỐ VÀ MỘT SỐ VẤN ĐỀ LIÊN QUAN

Chương này dành để trình bày các khái niệm về chặn sai số, bất đẳngthức Kurdyka- Lojasiewicz và một số vấn đề liên quan Đồng thời, chúng tôicũng nhắc lại một số khái niệm, tính chất từ giải tích lồi, giải tích biến phân(xem [1])

1.1.2 Chú ý Hàm f là nửa liên tục dưới khi và chỉ khi epif là tập đóngtrong H ×R Nếu f (x) ∈ R thì f nửa liên tục dưới quanh x khi và chỉ khiepif là một tập con đóng địa phương quanh điểm x, f (x)
∈ H ×R

1.1.3 Định nghĩa ([1])(i) Tập con X ⊂ H được gọi là tập lồi nếu x1, x2 ∈

1.1.6 Định nghĩa ([1]) Cho f : H → (−∞, +∞] là hàm chính thường.(i) Dưới vi phân của f là ánh xạ đa trị

∂f : H → 2H : x 7→ {u ∈ H : f (y) ≥ f (x)+hu, y−xi với mọi y ∈ H},

ở đây 2H là tập tất cả các tập con của H

(ii) Với mỗi x ∈ H, tập ∂f (x) được gọi là dưới vi phân của f tại x.1.1.7 Mệnh đề ([1, Corollary 16.3]) Cho f : H → R là hàm chính thường

và x ∈ domf Khi đó ∂f (x) là tập lồi, đóng

Tiếp theo là quy tắc tổng cho dưới vi phân của hàm lồi, kết quả này làmột phiên bản của Định lý Moreau-Rockafellar

1.1.8 Mệnh đề ([1, Corollary 16.38]) Cho fi : H → R (i = 1, 2) là cáchàm lồi, chính thường, nửa liên tục dưới và domf1 ∩ intdomf2 6= ∅ Khi đó,

∂(f1 + f2)(x) = ∂f1(x) + ∂f2(x), ∀x ∈ H

Trong luận văn này, nếu không giải thích gì thêm thì ta luôn xét H là mộtkhông gian Hilbert thực và f : H → (−∞, +∞] là hàm lồi, chính thường,nửa liên tục dưới Giả sử tập các điểm cực tiểu của f không rỗng và ký hiệubởi arg f hoặc S Không mất tính tổng quát, ta giả sử rằng min f = 0.Cực tiểu toàn cục của một hàm chính thường có thể được đặc trưng bởinguyên lý sau đây, còn được gọi là Quy tắc Fermat cho dưới vi phân.

1.1.9 Mệnh đề ([1, Theorem 16.2]) Chof : H → (−∞, +∞] là hàm chínhthường Khi đó

arg f = {x ∈ H| 0 ∈ ∂f (x)}

Với x ∈ dom∂f, ký hiệu ∂0f (x) là phần tử có chuẩn bé nhất của ∂f (x).Véctơ∂0f (x)chính là hình chiếu của0 ∈ H lên tập lồi đóng khác rỗng ∂f (x).Như vậy k∂0f (x)k = dist 0, ∂f (x)
Trường hợp x không thuộc dom∂f, tađặt k∂0f (x)k = +∞ Chúng ta cũng quy ước s × (+∞) = +∞ với mọi

s > 0 Với mỗi x ∈ H, hàm fx xác định bởi

Ví dụ sau đây cho thấy phép chiếu trực giao lên tập lồi đóng là trườnghợp đặc biệt của toán tử gần kề

1.1.10 Ví dụ Cho C ⊂ H tập lồi, đóng và không rỗng, hàm chỉ của C được

kí hiệu là δC : H → (−∞, ∞], và được cho bởi

δC(x) =



0 nếu x ∈ C,+∞ trong các trường hợp khác.Hàm δC(x) là hàm lồi, chính thường nửa liên tục dưới Với mỗi x ∈ H,

∂δC(x) = NC(x) Ở đây, NC(x) là nón pháp tuyến của C tại x xác định bởi

NC(x) =

{v ∈ H : hv, u − xi ≤ 0 ∀u ∈ C} nếu x ∈ C

Ánh xạ proxδC chính là phép chiếu trực giao từ H lên C, ký hiệu bởi PC.1.1.11 Định nghĩa Cho I ⊂ R, f : I → H là liên tục tuyệt đối trên Inếu với mọi số dương ε, tồn tại δ > 0 sao cho Pnk=1|f (yk) − f (xk)| < ε vớimỗi dãy các đoạn con không giao nhau [xk, yk] ⊂ I, k = 1, , n thỏa mãn

trong đó x ∈ domf và y(·) là một cung liên tục tuyệt đối trong H Bổ đềsau đây cung cấp một số tính chất cơ bản của hệ này, được sử dụng trongluận văn

1.1.12 Bổ đề ([4, Theorem 1]) Với mỗi x ∈ domf , tồn tại duy nhất mộtcung liên tục tuyệt đối χx : [0, ∞) → H sao cho χx(0) = x và

(iii) Với mỗi z ∈ S, hàm t 7→ kχx(t) − zk là giảm;

(iv) Hàm t 7→ f χx(t)
là không tăng và lim

t→∞f χx(t)
= min f ;(v) χx(t) hội tụ yếu đến x ∈ S,ˆ khi t → ∞

Phần tiếp theo được dành để trình bày về bất đẳng thức Kurdyka- Lojasiewicz

Ký hiệu [f < µ] := {x ∈ H : f (x) < µ} Cho r0 > 0 và tập

K(0, r0) = ϕ ∈ C0[0, r0) ∩ C1(0, r0), ϕ(0) = 0, ϕ là lõm và ϕ0 > 0 ,tức là ϕ ∈ K(0, r0) khi và chỉ khi ϕ liên tục trên [0, r0), khả vi liên tục trên(0, r0), ϕ(0) = 0, ϕ lõm, ϕ0 > 0

1.1.13 Định nghĩa ([4]) Hàm f được gọi là thỏa mãn bất đẳng thứcKurdyka- Lojasiewicz (KL) (hoặc có tính chất KL) địa phương tại x ∈ domf¯nếu tồn tại r0 > 0, ϕ ∈ K(0, r0) và ε > 0 sao cho

ϕ0 f (x) − f (¯x)
dist 0, ∂f (x)
≥ 1với mọi x ∈ B ¯x, ε
∩

f (¯x) < f (x) < f (¯x) + r0

.Hàm f được gọi là có tính chất KL trên S nếu nó có tính chất đó tại mỗiđiểm của S

1.1.14 Nhận xét Nếu x¯ không phải là một cực tiểu của f, thì bất đẳngthức KL thỏa mãn tại x.¯ Vì thế, chúng ta tập trung vào trường hợp x ∈ S.¯Trong trường hợp này, do f (¯x) = 0, bất đẳng thức KL trở thành

ϕ0 f (x)
k∂0f (x)k ≥ 1 (1.1)với x ∈ B(¯x, ε) ∩ [0 < f < r0]

1.1.15 Chú ý Trường hợp ϕ(s) = cs1−θ với c > 0 và θ ∈ [0, 1) Bất đẳngthức Lojasiewicz ở (1.1) trở thành

k∂0f (x)k ≥ c0f (x)θ, ∀x ∈ B(¯x, ε) ∩ [0 < f < r0]

trong đó c0 = [(1 − θ)c]−1 Số θ được gọi là số mũ Lojasiewicz

1.1.16 Mệnh đề ([4, Theorem 2]) Giả sử f : Rn → (−∞, +∞] là hàmlồi, chính thường, nửa liên tục dưới và nửa đại số Khi đó f có tính chất KLquanh mỗi điểm thuộc domf.

Cho x ∈ dom∂f , ký hiệu χx : [0, ∞) → H là nghiệm duy nhất của baohàm thức vi phân

˙y(t) ∈ −∂f (y(t)), hầu khắp nơi trên (0, +∞),với điều kiện đầu y(0) = x

Kết quả sau đây cho phép ước lượng độ dài quỹ đạo của dưới vi phân khi

f thỏa mãn bất đẳng thức KL

1.1.17 Bổ đề ([4, Theorem 27]) Cho x ∈ S, ρ > 0¯ và ϕ ∈ K(0, r0) Cácmệnh đề sau là tương đương

(i) Với mỗi x ∈ B(¯x, ρ) ∩ [0 < f < r0], ta có

ϕ0 f (y)
k∂0f (y)k ≥ 1

(ii) Với mỗi x ∈ B(¯x, ρ) ∩ [0 < f ≤ r0], và 0 ≤ t < s, ta có

length χx, t, s
≤ ϕ f(χx(t))
− ϕ f(χx(s))
,trong đó

1.2 Chặn sai số và bất đẳng thức Kurdyka- Lojasiewic

Trong mục này, chúng tôi trình bày mối liên hệ giữa chặn sai số và bấtđẳng thức Kurdyka- Lojasiewic

1.2.1 Định nghĩa ([4]) Xét hàm không giảm w : [0, +∞) → [0, +∞) vớiw(0) = 0 Hàm f gọi là thỏa mãn một chặn sai số địa phương với hàm dư

w nếu có r0 > 0 sao cho

(w ◦ f )(x) ≥ dist(x, S)với mọi x ∈ [0 ≤ f ≤ r0]

1.2.2 Chú ý Trường hợp w(s) = γ−1sp1 với γ > 0 và p ≥ 1, bất đẳng thứctrên trở thành

f (x) ≥ γdist(x, S)pvới mọi x ∈ [0 ≤ f ≤ r0]

1.2.3 Nhận xét Nếu f là hàm lồi, nửa liên tục dưới, thì chúng ta cóthể mở rộng chặn sai số ra ngoài [0 ≤ f ≤ r0] Cụ thể, lấy x ∈ domfsao cho f (x) > r0 Khi đó, f liên tục trên đoạn [x, PS(x)], do đó, tồn tại

x0 ∈ 

x, PS(x) sao cho f (x0) = r0 Kết hợp với tính lồi của f, ta có

f (x) − 0dist(x, S) ≥ f (x0) − 0

dist(x0, S) ≥ r0(γ

r0)

1

p.Dẫn đến

0 γ1p dist(x, S) với x /∈ [0 ≤ f ≤ r0]

Điều này đòi hỏi rằng

f (x) + f (x)1p ≥ γ0dist(x, S)với mọi x ∈ H, trong đó γ0 = (1 + r

p−1 p

0 )γp1.Bằng cách đặt w(s) = γ1

0(s + s1p), bất đẳng thức trên có dạngw(f (x)) ≥ dist(x, S)

1.2.4 Mệnh đề ([4, Theorem 3]) Cho f : Rn → (−∞, +∞] là hàm lồi,chính thường, nửa liên tục dưới và nửa đại số, và giả sử rằng arg f là tậpcompact khác rỗng Khi đó f có một chặn sai số toàn cục

f (x) + f (x)1p ≥ γ0dist(x, arg f ), ∀x ∈ Rn,trong đó γ0 > 0 và p ≥ 1 là một số hữu tỷ

Định lý sau đây cho một mối liên hệ giữa tính chất KL và chặn sai số.1.2.5 Định lý ([4, Theorem 5]) (Đặc trưng của bất đẳng thức Lojasiewiczcho các hàm lồi) Cho f : H → (−∞, +∞] là một hàm lồi, chính thường vànửa liên tục dưới, có min f = 0 Cho r0 > 0, ϕ ∈ K(0, r0), c > 0, ρ > 0 và

Chứng minh (i) Xét ánh xạ cho tương ứng mỗi (t, x) ∈ [0, +∞) × domfvới χx(t) Do f thỏa mãn bất đẳng thức Kurdyka- Lojasiewicz, áp dụng Bổ

đề 1.1.17 ta có

kχx(t) − χx(s)k ≤ ϕ f (χx(t))
− ϕ f (χx(s))
,với mỗi x ∈ B(¯x, ρ) ∩ [0 < f ≤ r0] và 0 ≤ t < s Cũng theo Bổ đề 1.1.17,

χx(s) hội tụ mạnh tới x ∈ S˜ nào đó khi s → ∞ Lấy t = 0 và cho s → ∞

ta thu được kx − ˜xk ≤ ϕ f (x)
Do đó ϕ f (x)
≥ dist(x, S)

(ii) Lấy x ∈ [0 < f < r0] ∩ B(x, ρ) và đặt y := PS(x) Do f là hàm lồinên ta có

0 = f (y) ≥ f (x) + h∂0f (x), y − xi

Điều này kéo theo

f (x) ≤ k∂0f (x)kky − xk = dist(x, S)k∂0f (x)k ≤ ϕ f (x)
k∂0f (x)k

Do f (x) > 0, nên dẫn đến

1 ≤ k∂0f (x)kϕ(f (x))

f (x) ≤ 1

ck∂0f (x)kϕ0(f (x)),

và ta có điều phải chứng minh

Theo cách tương tự, chúng ta có thể đặc trưng bất đẳng thức Lojasiewicztoàn cục cho các hàm lồi như sau

1.2.6 Hệ quả ([4, Corollary 6]) (Đặc trưng của bất đẳng thức Lojasiewiczcho các hàm lồi: trường hợp toàn cục) Cho f : H → (−∞, +∞] là một hàmlồi, chính thường và nửa liên tục dưới, có min f = 0 Cho ϕ ∈ K(0, +∞) và

fi = f |Pi là một đa thức với mỗi i = 1, , k Bậc của f được định nghĩadeg(f ) := max{deg(fi) : i = 1, , k}

1.2.9 Mệnh đề ([4, Proposition 8]) Cho f : Rn → R là hàm lồi, đa thứctừng mảnh, có argf 6= ∅ Khi đó, với mỗi r ≥ min f, tồn tại γr > 0 sao cho

f (x) − min f ≥ γrdist(x, argf )(deg(f )−1)n+1với mọi x ∈ [f ≤ r]

1.2.10 Hệ quả ([4, Corollary 9]).Cho f :Rn → R là hàm lồi, đa thức từngmảnh có argf 6= ∅ Khi đó f có tính chất Lojasiewicz trên [f ≤ r], với số

X = {x ∈ Rn : Ax ≤ a}, Y = {x ∈ Rn : Ex = e},

và giả sử X ∩ Y 6= ∅ Chặn sai số Hoffman được thỏa mãn nếu tồn tại mộthằng số ν = ν(A, E) ≥ 0, chỉ phụ thuộc vào cặp (A, E) và được gọi là hằng

số Hoffman cho cặp (A, E), sao cho

dist(x, X ∩ Y ) ≤ νkEx − ek, ∀x ∈ X

TậpS = argRnf là lồi, compact và không rỗng Với bất kỳx∗ ∈ S, f (x∗) ≤

= min1

2kAx − bk22 + µy : (x, y) ∈ Rn ×R, kxk1 − y ≤ 0, y ≤ R

= min1

2k ˜A˜x − ˜bk22 + h˜µ, ˜xi : ˜x = (x, y) ∈ Rn×R, M ˜x ≤ ˜R trong đó

• ˜x∗ = (x∗, y∗) là điểm tối ưu bất kỳ thuộc S,˜

• ν là hằng số Hoffman liên kết với cặp (M, [ ˜AT, ˜µT]T) như trong Địnhnghĩa 1.2.11

• D là đường kính của đa diện X =˜ 

(x, y) ∈ Rn+1 : kxk1 ≤ y ≤ R

, nghĩa

là khoảng cách lớn nhất giữa hai đỉnh Do đó D = 2R

• G là chuẩn lớn nhất của gradient của 1

2k · −˜bk2 trên A( ˜˜ X), vì thế, G ≤RkAk + kbk

• DA là đường kính của tậpA( ˜˜ X),do đóDA = max

x i ∈X kA(x1−x2)k ≤ 2RkAk

Bất đẳng thức trên có thể viết như sau

ϕ(s) =

q2γR−1s

Xét các tập con lồi đóng C1, , Cm, m ≥ 2, của H có phần giao chứa mộthình cầu mở khác rỗng

1.2.13 Mệnh đề ([4, Proposition 11]) Giả sử rằng có x ∈ H¯ và R > 0 saocho