Tính ổn định địa phương và sự hội tụ địa phương của phương pháp miền tin cậy cơ bản

Nguyễn Lan HươngTÍNH ỔN ĐỊNH ĐỊA PHƯƠNG VÀ SỰ HỘI TỤ ĐỊA PHƯƠNG CỦA PHƯƠNG PHÁP MIỀN TIN CẬY CƠ BẢN KHÓA LUẬN TỐT NGHIỆP ĐẠI HỌC Chuyên ngành: Toán giải tích Hà Nội – Năm 2016... Nguyễn

Nguyễn Lan Hương

TÍNH ỔN ĐỊNH ĐỊA PHƯƠNG VÀ SỰ HỘI TỤ ĐỊA PHƯƠNG

CỦA PHƯƠNG PHÁP MIỀN TIN CẬY CƠ BẢN

KHÓA LUẬN TỐT NGHIỆP ĐẠI HỌC

Chuyên ngành: Toán giải tích

Hà Nội – Năm 2016

Nguyễn Lan Hương

TÍNH ỔN ĐỊNH ĐỊA PHƯƠNG VÀ SỰ HỘI TỤ ĐỊA PHƯƠNG

CỦA PHƯƠNG PHÁP MIỀN TIN CẬY CƠ BẢN

KHÓA LUẬN TỐT NGHIỆP ĐẠI HỌCChuyên ngành: Toán giải tích

Người hướng dẫn khoa học:

ThS BÙI NGỌC MƯỜI

Hà Nội – Năm 2016

Em xin chân thành cảm ơn Th.S Bùi Ngọc Mười đã tận tình hướngdẫn em đọc các tài liệu và góp ý chi tiết về cách trình bày một số kết quảtrong khóa luận.

Em xin chân thành cảm ơn các thầy cô trong tổ Giải tích-khoa Toán,trường Đại học sư phạm Hà Nội 2 đã tạo mọi điều kiện giúp đỡ em hoànthành khóa luận này

Tuy đã có nhiều cố gắng nhưng do thời gian và khả năng có hạn nêncác vấn đề trong khóa luận vẫn chưa được trình bày sâu sắc và không thểtránh khỏi có những sai sót trong cách trình bày Em mong nhận được sựgóp ý xây dựng của thầy cô và các bạn

Em xin chân thành cảm ơn!

Hà Nội, ngày tháng 05 năm 2016

Sinh viên

Nguyễn Lan Hương

LỜI CAM ĐOAN

Em xin cam đoan, dưới sự hướng dẫn của Th.S Bùi Ngọc Mười khóa luận

"Tính ổn định địa phương và sự hội tụ địa phương của phươngpháp Miền Tin Cậy cơ bản" được hoàn thành không trùng khớp vớibất kì đề tài nào khác

Trong quá trình hoàn thành khóa luận, em đã thừa kế những thành tựucủa các nhà khoa học với sự trân trọng và biết ơn

Hà Nội, ngày tháng 05 năm 2016

Sinh viên

Nguyễn Lan Hương

Lời mở đầu 1

1 Phương pháp Miền Tin Cậy cơ bản cho bài toán tối ưu

1.1 Thuật toán 4

1.1.1 Phương Cauchy 8

1.1.2 Điểm Cauchy cho hàm xấp xỉ dạng toàn phương 8 1.1.3 Ví dụ minh họa cho thuật toán 9

1.2 Một số kết quả về sự hội tụ của thuật toán 12

1.2.1 Một số giả thiết với hàm mục tiêu 12

1.2.2 Một số giả thiết với hàm xấp xỉ 13

1.2.3 Sự hội tụ đến điểm tới hạn bậc nhất 16

2 Tính ổn định địa phương và sự hội tụ địa phương của phương pháp Miền Tin Cậy cơ bản 19 2.1 Một số khái niệm cơ bản 19

2.2 Tính ổn định địa phương và sự hội tụ địa phương 22

Lời mở đầu

Bài toán tối ưu có ứng dụng rộng rãi trong toán học cũng như trongđời sống Nó được nghiên cứu một cách toàn diện nhờ các phương phápđịnh tính và định lượng như phương pháp gradient chiếu, phương phápgradient, phương pháp gradient liên hợp, phương pháp Newton, phươngpháp nhân tử Lagrange, phương pháp điểm trong,

Cùng với sự phát triển của khoa học công nghệ, chúng ta đã tạo ranhững thuật toán hữu hiệu giúp ta giải số các bài toán tối ưu một cáchhiệu quả nhất Và phương pháp miền tin cậy được xem là một trong số

đó Phương pháp Miền Tin Cậy (viết tắt là TRM) được áp dụng để giảinhững bài toán tối ưu không có ràng buộc và những bài toán tối ưu córàng buộc tuyến tính

Xét bài toán tìm cực tiểu hàm f : Rn −→ R, được giả thiết là khả viliên tục đến cấp hai và bị chặn dưới ở trên Rn Với mỗi điểm khởi đầu

x0 ∈ Rn được chọn tùy ý, phương pháp miền tin cậy (thuật ngữ tiếngAnh là Trust-Region Method) cho phép tạo ra dãy lặp {xk} mà, tại mỗibước k, việc chuyển từ điểm xk sang điểm xk+1 làm giảm hàm mục tiêuxấp xỉ, được ký hiệu bởi mk(x), của f (x) Một trong những cách xấp xỉthông dụng nhất là thay hàm số f (x) bởi phần tuyến tính-toàn phươngtrong khai triển Taylor bậc hai của nó tại điểm xk Ở mỗi bước k, thaycho Rn người ta xét một hình cầu tâm xk với bán kính ∆k thích hợp.Quy tắc chọn ∆k, nhằm đảm bảo tốc độ tính toán cao nhất có thể được,

là một phần nội dung quan trọng của phương pháp này Cụ thể, tỷ số

giữa độ giảm hàm mục tiêu f (x) và độ giảm của hàm xấp xỉ của nó tạibước k, tức là hàm mk(x), là cơ sở để xác định bán kính ∆k+1 Bài toán

bổ trợ ở bước k chính là bài toán tìm cực tiểu hàm mk(x) trên hìnhcầu đóng ¯B(xk, ∆k) Việc tính toán được điều khiển bởi một số tham sốdương Dưới một số điều kiện, dãy lặp {xk} hội tụ đến một điểm tới hạnbậc nhất của bài toán Thuật toán miền tin cậy là thuật toán làm giảmhàm mục tiêu, tức là ta có f (xk+1) ≤ f (xk) với mọi k

Cuốn chuyên khảo [2] của các tác giả A R Conn, N I M Gould, và

P L Toint là một cẩm nang khá đầy đủ và chi tiết về lý thuyết phươngpháp miền tin cậy

Tính ổn định địa phương và sự hội tụ địa phương là những tính chấtđịnh tính cần được xem xét khi nghiên cứu về lý thuyết của các thuậttoán Trong khóa luận này, em sẽ tìm hiểu một định lí về những tínhchất trên của dãy lặp được sinh ra bởi thuật toán miền tin cậy trongtrường hợp bài toán không có ràng buộc

Khóa luận gồm 2 chương:

Chương 1: Trình bày về phương pháp Miền Tin Cậy của bài toán tối

ưu trơn không có ràng buộc Nội dung chính của chương này là trìnhbày thuật toán Miền Tin Cậy, ví dụ minh họa cho thuật toán và một sốkết quả về sự hội tụ của thuật toán

Chương 2: Trình bày về tính ổn định địa phương và sự hội tụ địaphương của phương pháp Miền Tin Cậy cơ bản Mục 2.1 nhắc lại một sốkhái niệm cơ bản Mục 2.2 tìm hiểu một định lí về những tính chất trêndãy lặp được sinh ra bởi thuật toán Miền Tin Cậy trong trường hợp bàitoán không có ràng buộc

Phương pháp Miền Tin Cậy cơ bản cho bài toán tối ưu trơn không có ràng buộc

Chúng ta đưa vào một số kí hiệu

Định nghĩa 1.1 Tập điểm tới hạn bậc nhất của (P), được kí hiệu S(P),là:

S(P ) = {x∗ ∈ Rn|∇f (x∗) = 0} (1.2)

Ở đây ∇f (x∗) là gradient của hàm f (x) tại điểm x∗

Chúng ta xem xét kĩ thuật để sinh ra một dãy lặp xk, mà ta hi vọng

nó hội tụ tới điểm tới hạn bậc nhất của bài toán (1.1)

Thuật toán miền tin cậy cơ bản cho bài toán (P) được tiến hành nhưsau: Với mỗi bước lặp xk, chúng ta xác định một hàm mục tiêu xấp xỉ

mk(x) trong một lân cận thích hợp của xk, mà ta gọi là miền tin cậy

Định nghĩa 1.2 Miền tin cậy của (P) là tập hợp các điểm

xk+1= xk+ sk và miền tin cậy sẽ được tăng lên hoặc giữ nguyên Ngượclại, nếu tỉ số nhỏ, thậm chí là một số âm, khi đó điểm thử bị bác bỏ và

ở bước lặp tiếp theo vẫn giữ nguyên điểm thử này nhưng miền tin cậy

sẽ bị thu hẹp Khi đó, miền tin cậy cơ bản (được viết tắt là thuật toánBTR), được mô tả như sau:

Thuật toán 1.1: Thuật toán miền tin cậy cơ sở (BTR)

Bước 0: Khởi đầu Chọn điểm ban đầu x0 và bán kính ban đầu ∆0.Chọn các hằng số η1, η2, γ1, γ2 thỏa mãn

(1.6)

Tăng k thêm 1 và quay trở lại bước 1

Việc tìm kiếm cách lựa chọn tối ưu các hằng số η1, η2, γ1, γ2 (nhằm

đảm bảo tốc độ tính toán cao nhất có thể) nằm ngoài việc nghiên cứutrong chương này.

(1.7)

Tại mỗi bước k, việc chọn µk thỏa mãn (1.7) không là tất định Ví

dụ, khi ρk ∈ [η2, +∞) ta có thể lấy µk là một số bất kì thuộc đoạn[1, +∞) Để lập trình, người ta thường chọn một "chiến lược" cố định;

ví dụ µk = 1.2 với mọi k mà ρk ∈ [η2, +∞) (Tất nhiên, ta cũng cóthể lấy µk = 2, hoặc µk = 1) Đối với các trường hợp ρk ∈ [η1, η2) và

ρk ∈ (−∞, η1), người ta cũng làm tương tự Lưu ý rằng, các định lý hội

tụ trong [2, Chương 6] được chứng minh cho trường hợp µk chỉ cần thỏamãn điều kiện (1.7) với mọi k

Bước lặp mà ρk ≥ η1 ứng với xk+1 = xk+ sk được gọi là bước lặp chấpnhận được Bước lặp mà ρk ≥ η2 được gọi là bước lặp chấp nhận được tốt.

1.1.1 Phương Cauchy

Định nghĩa 1.3 Phương cauchy được xác định bởi

xCt := xk − tgk, t ≥ 0, x ∈ ¯Bk (1.8)

Chú ý rằng xCt = xk với mọi t ≥ 0 khi đó gk = 0

Trong phần này, chúng ta đưa vào

1.1.2 Điểm Cauchy cho hàm xấp xỉ dạng toàn phương

Định nghĩa 1.4 Điểm Cauchy, kí hiệu xCk(t), là điểm cực tiểu (duynhất) của hàm xấp xỉ dọc theo phương Cauchy, tức

xCk(t) = xk−tCkgk = arg min{mk(xk−tgk) : t ≥ 0, xk−tgk ∈ ¯Bk} (1.11)

Trong thực tế, người ta thường chọn hàm xấp xỉ toàn phương có dạng

mk(x) = f (xk) + hgk, x − xki + 1

2hx − xk, Hk(x − xk)i (1.12)

Ở đây, gk = ∇f (xk) là gradient của f ở xk và Hk = ∇2f (xk) là ma trậnHessian của f tại xk Hàm mk(x) này là hàm tuyến tính-toàn phương.Nếu chúng ta giả thiết rằng hàm xấp xỉ là toàn phương, thì ta cóthể cực tiểu hóa mk(x) chính xác trên cung Cauchy (ví dụ trên đoạn

1.1.3 Ví dụ minh họa cho thuật toán

Chúng ta xem xét hai ví dụ minh họa cho thuật toán trên

Ví dụ 1.1.1 Xem xét bài toán không ràng buộc:

min{f (x) = x21 + 2x22 : x = (x1, x2) ∈ R2} (1.15)

Để tìm một nghiệm xấp xỉ của bài toán trong ví dụ (1.1.1), chúng

ta áp dụng thuật toán Miền Tin Cậy cơ bản với phương pháp điểmCauchy, điểm ban đầu x0 = (−2; 3), bán kính miền tin cậy ban đầu

∆0 = 1, và độ sai số ε = 10−3 Các thông số η1, η2, γ1, γ2 được chọn nhưsau: η1 = 0.25, η2 = 0.75, γ1 = γ2 = 0.5 Véc tơ gradient và ma trậnHessian ở bước lặp thứ k lần lượt là: gk =



2xk,1

Ở đây, điểm Cauchy là xCk = xk − tC

(1.17)

Kết quả tính toán trong Matlab được đưa ra trong bảng 1.1

Trong Ví dụ (1.1.1), hàm mục tiêu lồi mạnh, toàn phương

Ví dụ 1.1.2 Xem xét bài toán không lồi, không toàn phương như sau:

Bảng 1.1: Kết quả tính toán cho ví dụ 1.1.1

Nó có hai điểm cực tiểu địa phương x = −1 và x = 1 và một điểmcực đại địa phương x = 0 Chọn M0= 0.5 và ε = 10−3 Các thông số

η1, η2, γ1, γ2, công thức xác định điểm Cauchy và quy tắc cập nhật bánkính miền tin cậy là giống như trong ví dụ trước Với trường hợp x0 = 3,kết quả tính toán trong Matlab được đưa ra bởi bảng 1.2 Bây giờ, chúng

ta đặt x0 để được 1 trong 21 điểm cách đều nhau từ đoạn [−2; 2] Kếtquả tính toán trong Matlab của điểm dừng tương ứng như trong bảng1.3 Với x0 ∈ (−2; 0), dãy lặp hội tụ đến x∗ = −1 Với x0 ∈ (0; 2), dãylặp hội tụ đến x∗ = 1 Với x = 0, thuật toán dừng lại ngay ở bước 1, vì

x0 là điểm dừng của bài toán trong ví dụ (1.1.2)

Bảng 1.3: Kết quả tính toán xa hơn cho ví dụ 1.1.2

1.2.1 Một số giả thiết với hàm mục tiêu

AF.1 Hàm f nhận giá trị thực, khả vi liên tục đến cấp hai trên toànkhông gian Rn

AF.2 Hàm f bị chặn dưới ở trên Rn, tức là tồn tại hằng số Klbf > 0sao cho

f (x) ≥ Klbf ∀x ∈ Rn.AF.3 Ma trận Hessian của hàm mục tiêu bị chặn đều, tức là tồn tại

hằng số dương Kuf h sao cho

k∇2f (x)k ≤ Kuf h ∀x ∈ Rn.1.2.2 Một số giả thiết với hàm xấp xỉ

AM.1 Hàm xấp xỉ mk(x) khả vi đến cấp hai trên ¯Bk với mọi k

AM.2 Giá trị của hàm mục tiêu và hàm xấp xỉ trùng nhau tại mộtdòng lặp,tức là mk(xk) = f (xk) với mọi k

AM.3 Gradient của hàm xấp xỉ bằng gradient của hàm mục tiêu,tức

là gk = ∇mk(xk) = ∇f (xk) với mọi k

AM.4 Định thức của ma trận Hesian của hàm xấp xỉ cũng bị chặntrong miền tin cậy, tức là k∇2mk(x)k ≤ Kumh − 1 với mọi x ∈ ¯Bk,trong đó hệ số Kumh > 1 phụ thuộc vào mỗi bước k

Chúng ta hoàn thiện những giả thiết trong thuật toán nhờ việc chỉ

rõ mối quan hệ giữa các chuẩn kxkk khác nhau xác định hình dạng củamiền tin cậy trong (1.3)

AN.1 Tồn tại hằng số Kune ≥ 1 sao cho

1

Kunekxkk ≤ kxk ≤ Kunekxkkvới ∀k ∈ N, ∀x ∈ Rn

Định lý 1.1 ([2, Theorem 6.3.1, p 125]) Nếu hàm xấp xỉ được cho bởi

(1.12) và điểm cauchy được xác định bởi (1.11), chúng ta có

mk(xk − tgk) = mk(xk) − tkgkk2 + 1

2t

2hgk, Hkgki (1.20)Xét trường hợp hgk, Hkgki > 0 Khi đó

và thay vào (1.13) ta được

kgkk4

hgk, Hkgki

= 12

kgkk4

hgk, Hkgki.Theo bất đẳng thức Cauchy-Schwarz, ta có |hgk, Hkgki| ≤ kgkk2βk Vì

mk(xk − tgk) = mk(xk) − tkgkk2 + 1

2t

2hgk, Hkgki

≤ mk(xk) − tkgkk2,với mọi t ≥ 0 Ngoài ra, ta thấy rằng điểm Cauchy xCk nằm trên biên

của miền tin cậy, tức là (1.23) vẫn đúng Vì

νkc ≥ 1

Kune > 0.

Khi đó, theo Định lý 1.1, điểm Cauchy thỏa mãn điều kiện

(AA1) Với mọi k,

mk(xk) − mk(xk + sk) ≥ Kmdckgkk min kgkk

βk , ∆k



với hằng số Kmdc ∈ (0, 1)

Điều này có nghĩa là hàm xấp xỉ sẽ giảm một phần tại điểm Cauchy

1.2.3 Sự hội tụ đến điểm tới hạn bậc nhất

Định lý 1.2 ([2, Theorem 6.4.1, p 133]) Giả sử các điều kiện (AF1),

(AF3), (AM1)–(AM4) được thỏa mãn Với mọi k ta có

∆k ≤ Kmdckgkk (1 − η2)

Khi đó, bước lặp thứ k là chấp nhận được tốt và ∆k+1 ≥ ∆k

Định lý 1.4 ([2, Theorem 6.4.3, p 135]) Giả sử các điều kiện (AF1)–(AF3), (AN1), (AM1)–(AM4) và (AA1) được thỏa mãn Giả sử thêmrằng có tồn tại hằng số Klbg > 0 sao cho kgkk ≥ Klbg với mọi k Khi đó,tồn tại hằng số Klbd > 0 sao cho

Định lý 1.5 ([2, Theorem 6.4.4, p 136]) Giả sử rằng các điều kiện

(AF1), (AF3), (AN1), (AM1)–(AM4), (AA1) được thỏa mãn Nếu chỉ cóhữu hạn bước lặp chấp nhận được, thì xk = x∗ với mọi k đủ lớn và x∗ làđiểm tới hạn bậc nhất.

Định lý 1.6 ([2, Theorem 6.4.5, p 136]) Nếu các điều kiện (AF1)–(AF3), (AN1), (AM1)–(AM4) và (AA1) được thỏa mãn, thì ta có

Tính ổn định địa phương và sự hội

tụ địa phương của phương pháp

Miền Tin Cậy cơ bản

Chúng ta đi đến thiết lập một sự tương tự của [5, Định lí 3, trang 486],

ở đó các tác giả đã chứng minh tính ổn định địa phương và sự hội tụđịa phương của dãy lặp tổng quát bởi thuật toán DCA chiếu (xem thuậttoán A ở [5, trang 484]) Ở đây, ta cũng chỉ ra tốc độ hội tụ tuyến tính

Định nghĩa 2.1 x∗ được gọi là điểm cực tiểu địa phương không suybiến của (1.1) nếu

Ở đây, ma trận vuông A, viết A  0 nghĩa là A là xác định dương

Định nghĩa 2.2 (xem [7]) Đặt {xk} là một dãy trong Rn hội tụ đến

x∗ Chúng ta nói rằng sự hội tụ là R-tuyến tính nếu

lim sup

k→∞

kxk − x∗k1/k < 1

Nhằm hoàn chỉnh cho chứng minh, chúng ta đi chứng minh bổ đề sau

Bổ đề 2.1 ([1]) Nếu x∗ là 1 điểm cực tiểu địa phương không suy biếncủa (1.1), thì tồn tại các hằng số dương δ, α1, α2 với α1 < α2, sao cho

Sử dụng tính liên tục của ∇2f (x), chúng ta có thể tìm được lân cận

mở U1 cuả x∗ sao cho

h∇2f (x)¯v, ¯vi ≤ h∇2f (¯x)¯v, ¯vi + ε ∀x ∈ U1

Khi đó, với bất kì x ∈ U1, chúng ta đảm bảo rằng

ϕ(x) ≤ g(x, ¯v) = h∇2f (x)¯v, ¯vi ≤ h∇2f (¯x)¯v, ¯vi + ε = ϕ(¯x) + ε

Do đó, ϕ(x) − ϕ(¯x) ≤ ε với mỗi x ∈ U1

Với bất kì v ∈ Sn−1, vì hàm số h(x, v0) := g(¯x, v0) − g(x, v0) là liên tụctại (¯x, v) và h(¯x, v) = 0 nên tồn tại lân cận mở Uv và Wv của ¯x và v saocho

Cho nên ϕ(¯x) − ε ≤ min{g(x, v0) : v0 ∈ Sn−1} = ϕ(x)

Vì vậy, chúng ta có |ϕ(x) − ϕ(¯x)|≤ ε với mỗi x ∈ U1 ∩ U2

Tính liên tục của ϕ được chứng minh

Từ ϕ(x∗) là giá trị riêng nhỏ nhất của ma trận ∇2f (x∗) và từ x∗ làcực tiểu địa phương không suy biến của (1.1), chúng ta có ϕ(x∗) > 0.Tính liên tục của ϕ tại x∗, với bất kì α1 ∈ (0; ϕ(x∗)) tạo ra δ1 > 0 sao

ψ(x) ≤ α2 ∀x ∈ ¯B(x∗, δ2).

Vì ψ(x) là giá trị riêng lớn nhất của ∇2f (x), nên hàm ý sau là ∇2f (x) 

α2I với mọi ∀x ∈ ¯B(x∗, δ2)

Đặt δ = min{δ1, δ2}, chúng ta được tính chất trong (2.2)

Chúng ta cũng sẽ cần kết quả bổ trợ tiếp, một biến thể địa phươngcủa Bổ đề 5.6 từ [9] Chú ý rằng lí luận đưa ra bởi Ruszczynski [9,trang 226] hiển nhiên được áp dụng cho trường hợp ta đang xét

Bổ đề 2.2 Nếu δ, α1, α2, α1 < α2 là hằng số dương thỏa mãn (2.2) thì

k∇f (x)k2 ≥ α1(1 + α1

α2)[f (x) − f (x∗)] ∀x ∈ ¯B(x∗, δ) (2.4)

Trong mục này, chúng ta sẽ quan tâm đến tính ổn định địa phương và

sự hội tụ địa phương của dãy lặp được tạo ra bởi phương pháp miền tincậy

Cụ thể, chúng ta sẽ tìm kiếm kết quả tương tự [5, Định lí 3] Ở đây,

các tác giả chứng minh rằng: Nếu ¯x là một nghiệm địa phương riêng biệtcủa bài toán toàn phương với một tập ràng buộc đa diện lồi C, khi đótồn tại hằng số dương δ và µ sao cho với bất kì x0 ∈ C ∩ B(¯x, δ) vớiB(¯x, δ) := {x ∈ Rn : kx − ¯xk< δ}, dãy lặp {xk} được tạo ra bởi thuậttoán DCA chiếu với điểm ban đầu x0 có tính chất sau:

(i) xk ∈ C ∩ B(¯x, µ) với mọi k ≥ 0;

(ii) Dãy {xk} hội tụ về x∗;

(iii) Tốc độ hội tụ của {xk} về x∗ là R-tuyến tính

Chứng minh Theo Bổ đề (2.1), tồn tại các số dương ¯δ, α1 và α2 sao cho(2.2) đúng với δ = ¯δ và với mọi x ∈ ¯B(x∗, ¯δ) Do x∗ là điểm tới hạnkhông suy biến của (1.1), tồn tại ¯δ > 0, sao cho f (x) lồi mạnh trên tập

¯

B(x∗, ¯δ), x∗ là nghiệm địa phương duy nhất của (1.1) thuộc về ¯B(x∗, ¯δ),

ta có thể tìm α > 0 thỏa mãn

f ((1 − t)x1 + tx2) ≤ (1 − t)f (x1) + tf (x2) − αt(1 − t)kx1 − x2k2