luận văn thạc sĩ bài toán cực tiểu hàm toàn phương trên hình cầu

Mới rồi, một số tính chất ổn định của bài toán này lần đầu tiênđã được nghiên cứu trong [3].. Tuy vậy, một số vấn đề về ổn định của nóvẫn còn bỏ ngỏ; chẳng hạn, sự ổn định của tập nghiệm

Nhiều tác giả đã quan tâm nghiên nghiên cứu bài toán này theo nhữngkhía cạnh khác nhau Đã có nhiều tính chất của bài toán được thiết lập([3], [4]) Mới rồi, một số tính chất ổn định của bài toán này lần đầu tiên

đã được nghiên cứu trong [3] Tuy vậy, một số vấn đề về ổn định của nóvẫn còn bỏ ngỏ; chẳng hạn, sự ổn định của tập nghiệm địa phương, sự ổnđịnh của bài toán theo tất cả các dữ liệu ([3])

Sau khi được học những kiến thức về Toán giải tích, với mong muốntìm hiểu sâu hơn về những kiến thức đã học, mối quan hệ và ứng dụng củachúng, tôi đã chọn đề tài nghiên cứu:

“Bài toán cực tiểu hàm toàn phương trên hình cầu ”

2 Mục đích nghiên cứu

Nắm vững những tính chất khác nhau của bài toán cực tiểu hàm toànphương trên hình cầu và ứng dụng

3 Đối tượng và phạm vi nghiên cứu

Những khía cạnh khác nhau của bài toán cực tiểu hàm toàn phươngtrên hình cầu: Điều kiện cực trị, nghiệm, nghiệm địa phương, điểm dừng, giátrị tối ưu, sự ổn định

4 Phương pháp nghiên cứu

Tổng hợp kiến thức thu thập được qua những tài liệu liên quan đến đềtài, sử dụng các phương pháp nghiên cứu của giải tích, giải tích lồi, tối ưuhóa và giải tích đa trị

5 Dự kiến đóng góp mới

Một số tính chất về ổn định của bài toán

II NỘI DUNG

Những vấn đề chính được nghiên cứu:

Chương 1 Cực tiểu hàm toàn phương trên hình cầu

1 Phát biểu bài toán

2 Lịch sử và tầm quan trọng của bài toán

3 Sự ổn định của tập nghiệm địa phương

4 Tính liên tục và khả vi của hàm giá trị tối ưu

x : Véctơ hàng là chuyển vị của véctơ cột x

x : chuẩn của véctơ x

Chương 1 Cực tiểu hàm toàn phương trên hình cầu

1 Phát biểu bài toán:

Chúng ta xem xét bài toán cực tiểu hàm toàn phương trên một hình cầu:

L x λ = x Qx c x+ + λ x −r

Chúng ta đều biết rằng nếu x∈ ¡ n là một nghiệm của địa phương của bài toán (1), thì ở đó tồn tại duy nhất λ ∈ ¡ ( ta gọi là nhân tử Lagrange tương ứng với x) sao cho

(Q+ λI x) = −c g x r, λ ( ), = 0, λ ≥ 0,g x r( ), ≤ 0 (3)

Ở đây I là ma trận đơn vị n n× Tính duy nhất của nhân tử Lagrange λ

tương ứng một nghiệm địa phương x≠ 0 suy ra từ (3)

Nghĩa là, từ phương trình đầu tiên của (3), ta có:

khi x =r.

Từ phương trình thứ 2 trong (3) suy ra λ = 0khi x B∈ r.

Ta nói rằng x là một điểm Karush- Kuhn- Tucker ( kí hiệu là điểm KKT) của(1) nếu tồn tại λ ∈ ¡ thoả mãn (3)

Một cách tương tự như nghiệm địa phương, với mỗi điểm KKT x, tồn tại duy nhất nhân tử Lagrange λ thoả mãn (3).Ta kí hiệu (viết tắt) tập hợp các điểm KKT, tập hợp các nghiệm địa phương, và tập hợp các nghiệm toàn cục của (2) tương ứng là

Bài toán (1) có những đặc điểm riêng dưới đây:

(i) Một điểm x B∈ r là một nghiệm toàn cục nếu và chỉ nếu tồn tại

0

λ ≥ sao cho (2) đúng và Q+ λI là một ma trận nửa xác định

dương.Nếu Q+ λI là xác định dương, thì (1) có duy nhất một

nghiệm toàn cục

(ii) Ở đó tồn tại nhiều nhất một nghiệm không toàn cục địa phương

của bài toán (1) Nếu x là một nghiệm như vậy , thì g x r( ), = 0

Hơn nữa, nếu n≥ 2 thì (2) đúng với λ ∈ −( µ 2 , − µ 1), trong đó

µ µ < là hai giá trị riêng nhỏ nhất của Q.

(iii) Ở đó tồn tại nhiều nhất min 2{ m+ 2, 2n+ 1} điểm KKT phân biệt rõ

ràng với nhân tử Lagrange, ở đây m là số các giá trị riêng âm của Q

2 Lịch sử và tầm quan trọng của bài toán

Bài toán cực tiểu hàm toàn phương trên hình cầu có tên là Bài toán miền tin cậy (trust region subproblem) vì nó được giải trong mỗi bước của thuật toán

miền tin cậy Đây là bài toán được đặc biệt quan tâm trong tối ưu hoá và trong toán học ứng dụng Nó đóng một vai trò quan trọng trong việc nghiên cứu những phương pháp giải các bài toán tối ưu phi tuyến ([5], [7], [8], [9]) Những bài toán dạng này xuất hiện trong nhiều ứng dụng khác bao gồm phương pháp chính qui cho bài toán đặt không chỉnh và bài toán phân chia

(ii) Q− µ *I là nửa xác định dương (6)

(iii) x* =r (7)

Chứng minh

Ta thấy rằng điều kiện (7) là điều kiện cần cho nghiệm tối ưu x*.Cũng vậy (5) chỉ là điều kiện tiêu chuẩn KKT cho nghiệm tối ưu của phương trình phi tuyến (1) Còn lại chứng minh (6)

2 2

Chú ý:Đối với những bài toán không lồi điều kiện (5) – (7) là cần nhưng

thường không phải điều kiện đủ thậm chí cho bài toán tối ưu địa phương.Thực tế thì nghiệm tối ưu toàn cục có thể có đầy đủ các đặc trưng bởi điều kiện tương tự (5) - (7) là rất cao không bình thường trong tối ưu hóa không lồi.Cũng lưu ý rằng bởi một kết qủa gần đây của Martinez (1994)(TRS) có nhiều nhất một nghiệm không toàn cục địa phương

Địnhlý 2: x* là một nghiệm tối ưu của bài toán (1) nếu và chỉ nếu tồn tại λ *

( i ) (Q+ λ *I) là nửa xác định dương (11)

( ii )(Q+ λ *I x) * = −c (12)

( iii ) x* =r , số λ * này là duy nhất (13 )

4 Điểm dừng, nghiệm và nghiệm địa phương

Một điểm x* sao cho * 2

x ≤r là một nghiệm toàn cục của bài toán (1) nếu và

chỉ nếu tồn tại duy nhất *

Và ma trận (Q+ λ *I) là nửa xác định dương Nếu (Q+ λ *I) là xác định dương

thì bài toán (1) có duy nhất một nghiệm toàn cục

4.3 Nghiệm địa phương

Mệnh đề

Tồn tại nhiều nhất một cực tiểu địa phương x của bài toán (1).

Kí hiệu λ λ 1 ≤ 2 ≤ ≤ λn là những giá trị riêng của Q và µ µ1, 2, , µncấu

thành(thiết lập) thành cơ sở trực giao của ¡ n Dễ dàng thấy rằng nghiệm củaphương trình tuyến tính cho bởi

Chương 2 Sự ổn định của bài toán

1 Sự ổn định của tập điểm dừng

1.1.Nửa liên tục trên và nửa liên tục dưới

Một hàm đa trị F Z: ⇒ ¡ nxác định trên một tập con Z của một không gian định chuẩn được gọi là nửa liên tục trên (viết tắt là usc) tại z∈Z nếu cho mỗi tập mở n

V ⊂ ¡ thỏa mãn F z( ) ⊂V, ở đó tồn tại δ > 0sao cho F z( )⊂V

khi z z− < δ .

Nếu cho mỗi tập mở n

V ⊂ ¡ thỏa mãn F z( )∩ ≠ ∅V ở đó tồn tại δ > 0sao cho

( )

F z ∩ ≠ ∅V khi z z− < δ thì Flà nửa liên tục dưới (lsc) tại z∈Z

Nếu Fđồng thời vừa là ucs và lsc tại z , ta nói rằng nó liên tục tại z

1.2 Sự ổn định của tập điểm dừng

Trước tiên ta chứng minh tính chất nửa liên tục dưới của hàm đa trị S( ).

Địnhlý 2.1 Cho bài toán (1) với tập dữ kiện {Q c r, , } cố định Hàm đa trị

Giả sử rằng x k∈S Q c r( k, ,k k) (, Q c r k, ,k k)∈Z với mọi k N∈ ,

Chọn λ = 0, ta có cặp điểm (x, λ) thỏa mãn (3); do vậy x S Q c r∈ ( , , )

Trường hợp 2: Tồn tại k ∈N sao cho x k =r k, ∀ ≥k k .

Kết hợp phương trình đầu tiên của (15) ta kết luận (Q+ λI x) = −c.

Từ đó (3) thỏa mãn, đúng với cả x S Q c r∈ ( , , ) Có nghĩa là tính chất đóng của( ).

S tại (Q c r, , ) đã được chứng minh Như vậy ta có địnhlý được chứng minh

Ta có hệ que suy ra trực tiếp từ địnhlý 2.1

Hệ quả 2.1

Đối với bất kỳ (Q c r, , )∈Z ánh xạ S Q c r( , , :) ¡ n ⇒ ¡ n là usc tại c

Địnhlý dưới đây đưa ra điều kiện cần cho tính nửa liên tục dưới của ánh xạ tập hợp điểm KKT

Chứng minh hoàn thành nếu ta có thể chỉ ra rằng S Q c r( , , )∩S r, ở đây

Với mỗi j kết hợp phương trình đầu tiên trong (3) với (17) suy ra

Nếu µ λi+ ≠ ∀ = 0, i 1, ,n, thì vectơ k j

x được xác định duy nhất bởi (18) Điều này mâu thuẫn với những tính chất là các vectơ k j,

x j N∈ từng đôi một phân biệt rõ ràng

Vậy thì , phải tồn tại số i0 nào đó i0 ∈{1, ,n}sao cho µi0 + = λ 0

Không mất tính tổng quát ta có thể gải sử rằng i0 là số mũ nhỏ nhất trong các

số i0 ∈{1, ,n} với tính chất là µ λi + = 0

Vì λ > 0 ta có µ <i0 0.Giả sử l biểu thị sự vô số của các giá trị riêng của µi0

Trường hợp 1: l = 1 Đối với mỗi j N∈ , do (18) ta có

i i

i I

c r

x là một chuỗi không đổi

Các điều kiện (20) và (21) mô tả một hình cầu, kí hiệu là SβΛ

, có bán kính0

β > trong đa tạp aphin

Giả sử cho ε > 0tùy ý Đặt cε =(c1ε, ,c nε), ở đây c iε =c i, ∀ ∉i {i i0 , 0 + 1} và

x x

Nếu tập hợp S Q c r( , , )∩B r ≠ ∅ và hữu hạn, thì nó là duy nhất.

Thật vậy, giả sử rằng tồn tại x u S Q c r, ∈ ( , , )∩B r sao cho x u≠ .

Vì S Q c r( , , )là vô hạn, S Q c r( , , )không phải là lsc tại c do địnhlý 2.2

Rõ ràng, nếu S( ). là lsc tại (Q c r, , ) thì S Q r( ,., ) là lsc tại c Như vậy địnhlý

( )

Hệ quả 2.2

Nếu ánh xạ ( ) : n

S Z⇒ ¡ là lsc tại (Q c r, , )∈Z thì S Q c r( , , )là hữu hạn

Một điều đáng chú ý rằng, nói chung, sự hữu hạn của tập hợp S Q c r( , , )

không phải là điều kiện đủ cho tính nửa liên tục dưới của ánh xạ S Q c r( , , )

Ví dụ 2.2

Xem xét bài toán (1) với n= 1, Q= −( )1 ,c= 1 và r= 1

Ta có S Q c r( , , ) {= − 1,1} nhưng, với mỗi ε > 0, thì có S Q( ,1 + ε ,r) { }= − 1 .

Điều này chứng tỏ rằng S Q r( ,., )là không lsc tại c= 1

Bây giờ ta đi thiết lập một số điều kiện đủ cho tính nửa liên tục dưới của

x S Q c r∈ với nhân tử Lagrange tương ứng kí hiệu là λ, ít nhất một trong

ba điều kiện sau đây được thỏa mãn:

Vì S Q c r( , , ) ≠ ∅,để chứng minh rằng S Q r( ,., )là lsc tại c, điều kiện đủ cần chỉ

ra rằng với bất kỳ x S Q c r∈ ( , , ) và bất kỳ lân cận mở U x của x, ở đó tồn tại

Đầu tiên ta xem xét trường hợp (i) đúng , đó là x B∈ r Do (3) ta có λ = 0 và

x là một nghiệm của hệ phương trình tuyến tính

Bây giờ giả sử (ii) đúng Không mất tính tổng quát, ta có thể gỉa sử rằng Q

là một ma trận đường chéo của dạng (17).Vì − λ không phải giá trị riêng của

Q, ma trận Q+ λI là không suy biến từ (3) và giả thiết ta suy ra

i i

r r

′ +

∂ do các giả thiết của (17), sử dụng

địnhlý hàm ẩn cổ điển ta có thể tìm được δ > 0sao cho bất kỳ c′∈B c( ), δ ,(34)

chấp nhận một nghiệm duy nhất λ′ = Φ( )c′ trong một lân cận của λ

Mặt khác, λ φ = ( )c và φ( ). là một hàm liên tục Do đó, nếu chọn được λ > 0

Cuối cùng, ta xem xét trường hợp (iii) đúng Vì Q+ λI là xác định dương, x

là nghiệm toàn cục duy nhất của (1) Từ sự khẳng định của địnhlý 3.1 từ phần tiếp theo, ở đó tồn tại δ > 0sao cho Sol Q c r( , , ′ )∩U x ≠ ∅với mỗi

λ = λ = và λ = 3 0 Đối với mỗi điểm KKT x S Q c r∈ ( , )và

nhân tử Lagrange tương ứng λ, ít nhất là một trong những điều kiện của (i) – (iii) của địnhlý 2.3 đúng Thật vậy, (iii) và (i) là hợp lệ ( thỏa mãn ), cho

3 Sự ổn định của tập nghiệm

Định lý tiếp theo đưa ra một đặc trưng đầy đủ cho tính liên tục của nghiệm toàn cục ánh xạ Sol Q r( ,., )

Định lý 3.1 Với bất kỳ (Q c r, , )∈Z các khẳng định sau đây là đúng:

(i) Hàm đa trị Sol Q r( ,., )là usc tại c;

(ii) Hàm đa trị Sol Q r( ,., )là lsc tại c nếu và chỉ nếu Sol Q c r( , , )là duy

cε − = <c ε δ Mục đích tiếp theo của ta là chỉ ra Sol Q c( , ,ε α ∩ = ∅) U

Với mỗi x B∈ α∩U , từ x y Sol Q c r, ∈ ( , , ), do (24) ta có

Do (i), hàm đa trị Sol Q r( ,., ) là usc tại c Do đó tồn tại δ > 0sao cho ∀ ∈c′ ¡ n

thỏa mãn c c− ′ < δ ta có Sol Q c r( , , ′ )⊂U Đối với mỗi δ , tập hợp

Sol Q c r′ ∩ ≠ ∅U khi c c− ′ < δ Điều này chứng tỏ rằng Sol Q r( ,., ) là lsc tại c W

(iii) Khẳng định này suy ra từ (i) và (ii)

Ví dụ 3.1 Cho n Q c, , và r như trong Ví dụ 2.3 Vì Sol Q c r( , , ) { }= − 1 ,

Sol Q c r là liên tục tại c

Liên quan đến định lí 3.1, một câu hỏi đặt (có thể được hay không) ra là tính liên tục của Sol Q r( ,., )tại c ngụ ý rằng Sol Q c r( , , ′ )là duy nhất bất cứ khi nào

c′ đủ gần tới c Ví dụ sau đây trả lời câu hỏi

4 Tính liên tục và khả vi của hàm giá trị tối ưu

Tính liên tục và khả vi của hàm giá trị tối ưu ϕ(Q r,., ) được nghiên

cứu trong phần này Ta sẽ chỉ ra rằng hàm số là khả vi có hướng Hơn nữa,

sẽ thu được một điều kiện cần và đủ cho tính khả vi Frechet của nó tại một điểm đã cho

Vì vậy ϕ( ). là liên tục Lipschitz với hằng số Lipschitz α trên ¡ n W

Bổ đề 4.1 Cho c∈ ¡ n và cho ∂ −( ) ( )ϕ c biểu thị là dưới vi phân của hàm lồi

T k T k

Kết hợp điều này vói tính compac của Sol Q c r( , , ), ta có (38), và như vậy chứng minh hoàn thành W

Cần Nếu ϕ( ). là khả vi Frechet tại c , thì ( ) ( )− ϕ là khả vi Frechet tại c Do

đó ∂ −( ) ( )ϕ c là duy nhất Vì Sol Q c r( , , ) ≠ ∅, từ (37) suy ra Sol Q c r( , , )là duy nhất

vi Frechet tại c Từ (40) ta suy ra ϕ′( )c =x T. W

5 Ảnh hưởng của sự nhiễu loạn với dạng toàn phương

Phần cuối của phần này là để thực hiện theo đề nghị của trong tài người tin

…

Định lí 5.1 Cho (Q c r, , )∈Z tùy ý Nếu ánh xạ (., , :) n n n

S

S c r ¡ × ⇒ ¡ là lsc tại Q, thì S Q c r( , , )là một tập hợp hữu hạn

Giả sử S(., ,c r) là lsc tại Q và giả sử c ibiểu thị thành phần thứ i của c

Đầu tiên ta chứng minh rằng S Q c r( , , )∩B r không thể chứa nhiều hơn một

điểm

Để đạt được mục tiêu này, đặt 0 { : i 0}

Nếu I0 = ∅, thì detQ≠ 0. Do đó hệ Qx= −c chỉ có một nghiệm.

Do đó (2) cho nhiều nhất một điểm KKT với nhân tử Lagrange λ = 0

Xem xét trường hợp khi I0 ≠ 0 Giả sử rằng S Q c r( , , )∩B r ≠ ∅ Lấy bất kỳ

Vì Qε →Q khi ε → 0 +và S(., ,c r) là lsc tại Q, với mỗi chuỗi εk → 0 + có một

chuỗi xεk →x với xεk ∈S Q c r( εk, , ) ∀ ∈k N Vì x B∈ r, không mất tính tổng

Nếu λ = 0, sau đó chúng tôi suy luận bằng (7) mà Qxk1 =-c và Qxk2 =-c Do

đó các cặp (xt, λ) với xt: = (1 - t) xk1 + txk2, t ∈ (0, 1), và λ = 0 thỏa mãn (2)