Luận văn sư phạm Tối ưu của các hàm lồi toàn cục

0.2Chúng ta cũng biết rằng, tính lồi là giả thiết rất hữu ích cho cảbài toán cực tiểu và bài toán cực đại: P1 Mỗi điểm cực tiểu địa phương của một hàm lồi là một điểmcực tiểu toàn cục..

TRƯỜNG ĐẠI HỌC SƯ PHẠM HÀ NỘI 2

KHOA TOÁN

****************

NGUYỄN THỊ HÀ

TỐI ƯU CỦA CÁC HÀM LỒI TOÀN CỤC

KHOÁ LUẬN TỐT NGHIỆP ĐẠI HỌC

Chuyên ngành: Giải Tích

Người hướng dẫn khoa học

ThS Nguyễn Văn Tuyên

Hà Nội - 2013

LỜI CẢM ƠN

Em xin được gửi lời cảm ơn tới các thầy cô giáo trường Đại học

Sư phạm Hà Nội 2, các thầy cô giáo khoa Toán đã giúp đỡ em trong quátrình học tập tại trường và tạo điều kiện cho em hoàn thành khoá luận

Đặc biệt em xin bày tỏ lòng biết ơn sâu sắc tới thầy giáo NguyễnVăn Tuyên đã tận tình giúp đỡ em trong suốt quá trình học tập, nghiêncứu và hoàn thành khoá luận này

Là sinh viên lần đầu tiên nghiên cứu khoa học nên không tránhkhỏi những thiếu sót và hạn chế Kính mong nhận được sự đóng góp ýkiến của các thầy giáo, cô giáo và toàn thể bạn đọc để khoá luận đượchoàn thiện hơn

Em xin chân thành cảm ơn !

Hà Nội, tháng 5 năm 2013

Sinh viênNguyễn Thị Hà

LỜI CAM ĐOAN

Em xin cam đoan dưới sự hướng dẫn của thầy giáo Nguyễn VănTuyên khoá luận của em được hoàn thành không trùng với bất kì côngtrình khoa học nào khác

Trong khi thực hiện khoá luận em đã sử dụng và tham khảo cácthành tựu của các nhà khoa học với lòng biết ơn trân trọng

Hà Nội, tháng 5 năm 2013

Sinh ViênNguyễn Thị Hà

Mục lục

1.1 Một số kiến thức cơ sở về giải tích lồi 4

1.1.1 Tập lồi 4

1.1.2 Hình chiếu 7

1.1.3 Các định lý tách 11

1.1.4 Nón 12

1.1.5 Hàm lồi 14

1.1.6 Hàm lồi khả vi 15

1.1.7 Dưới vi phân 18

1.2 Các điều kiện tối ưu cho bài toán tối ưu trơn có ràng buộc 21 1.2.1 Các điều kiện cho bài toán tối ưu không có ràng buộc 21 1.2.2 Các điều kiện cho bài toán tối ưu có ràng buộc 22

2 Tối ưu hoá của các hàm lồi toàn cục 35

2.1 Một số phiên bản lồi toàn cục 35

2.2 Cực tiểu 42

2.3 Tính chất định tính của ρ(C, c) 44

2.4 Cực đại 51

2.5 Ước lượng của ρ(E) 54

(a) Tập chấp nhận được C là một tập con lồi của không gianMinkowski E (hay một không gian định chuẩn thực hữu hạn chiều);

(b) Hàm mục tiêu ϕ là hàm lồi, nghĩa là ϕ là một hàm lấy giá trịthực trên C sao cho

ϕ(y) ≤ λϕ(x) + (1 − λ)ϕ(z) (0.1)với mọi

x, z ∈ C với x 6= z, 0 < λ < 1, y = λx + (1− λ)z (0.2)Chúng ta cũng biết rằng, tính lồi là giả thiết rất hữu ích cho cảbài toán cực tiểu và bài toán cực đại:

(P1) Mỗi điểm cực tiểu địa phương của một hàm lồi là một điểmcực tiểu toàn cục

(P2) Nếu một hàm lồi đạt cực đại thì nó phải đạt được tại cácđiểm cực biên của miền hữu hiệu

Mỗi tính chất (P1) và (P2) gặp những khó khăn trong việc tìm giátrị cực trị của các hàm và nó là cơ sở của các thuật toán tìm các giá trịxấp xỉ tối ưu và các điểm thuộc C để các hàm đạt cực trị Tuy nhiên,trong các thuật toán được đưa ra dường như giả thiết (a) luôn được thỏamãn Trong khi đó, giả thiết (b) như là một sự hạn chế trong thực tế Vìvậy người ta đưa ra ý tưởng lồi hóa các hàm mục tiêu tương tự như việctuyến tính hóa hay đơn điệu hóa Việc toàn cục hóa các tính chất quantrọng của hàm số là cực kì quan trọng trong bài toán tối ưu Các kếtquả hay các lược đồ toán học, đặc biệt khi nó áp dụng cho thực hànhđòi hỏi thuật toán phải hội tụ nhanh và đủ gần giá trị tối ưu.

Với các lý do như trên, được sự định hướng của thầy hướng dẫn

em đã chọn đề tài “Tối ưu của các hàm lồi toàn cục” để hoàn thànhkhóa luận Tốt nghiệp Đại học

Khóa luận được bố cục như sau:

Chương 1 Trình bày các kiến thức cơ sở của Giải tích lồi như: Tậplồi, hàm lồi, dưới vi phân của hàm lồi, các điều kiện cực trị,

Chương 2 Trình bày về vấn đề tối ưu hóa của các hàm lồi toàncục Các kết quả của chương này trình bày một cách chi tiết các kết quả

có trong [17]

2 Mục đích nghiên cứu

Nghiên cứu các vấn đề về tối ưu hoá của các hàm lồi toàn cục

3 Nhiệm vụ nghiên cứu

Nghiên cứu các vấn đề cơ bản của Giải tích lồi như: Tập lồi, hàmlồi, dưới vi phân của hàm lồi, các điều kiện cực trị,

Nghiên cứu các vấn đề về tối ưu hoá của các hàm lồi toàn cục

4 Phương pháp nghiên cứu

Tra cứu, tổng hợp và phân tích tài liệu theo sự hướng dẫn của thầygiáo hướng dẫn để hoàn thành mục tiêu đề ra

Định nghĩa 1.1 Tập X ⊂ Rn được gọi là tập lồi nếu với mọi x1, x1 ∈ X

Bổ đề 1.2 Cho X, Y là tập lồi trong Rn và các số thực λ, µ Khi đó,

λX + µY là tập lồi

Chứng minh Lấy tùy ý x, y ∈ λX + µY , với mọi t ∈ (0; 1) Suy ra,

x = λx1 + µy1( với x1 ∈ X, y1 ∈ Y )

y = λx2 + µy2( với x2 ∈ X, y2 ∈ Y )Khi đó

(1− t)x + ty

= (1− t)(λx1 + µy1) + t(λx2 + µy2)

= λ((1− t)x1 + tx2) + µ((1− t)y1 + ty2)

Do X, Y là các tập lồi nên λ((1−t)x1+ tx2) ∈ λX và µ((1−t)y1+ ty2) ∈

µY Suy ra, λ((1 − t)x1 + tx2) + µ((1 − t)y1 + ty2) ∈ λX + µY hay(1− t)x + ty ∈ λX + µY Vậy λX + µY là tập lồi

Định nghĩa 1.2 Một điểm x được gọi là tổ hợp lồi của các điểm

x1, x2, , xm, nếu tồn tại các số thực không âm α1, α2, , αm sao cho

Chứng minh Xét tập Y là tổ hợp lồi của tất cả các điểm thuộc X Nếu

y1 ∈ Y, y2 ∈ Y , khi đó:

y1 = α1x1 + α2x2 + + αmxm,

y2 = β1z1 + β2z2 + + βlzl,trong đó, x1, , xm, z1, , zm ∈ X, các hệ số α, β là các hệ số không âmvà

X và phải được chứa trong mỗi tập lồi chứa X Do đó, convX ⊃ Y Đếnđây ta hoàn thành điều phải chứng minh

Bổ đề 1.4 (Định lý Carathéodory) Nếu X ⊂ Rn thì mọi phần tửcủa convX là tổ hợp lồi của không quá (n + 1) điểm thuộc X

Chứng minh Cho x là một tổ hợp lồi của m > n + 1 điểm thuộc X Ta

sẽ chỉ ra rằng m có thể bị giảm giá trị đi một đơn vị Nếu αj = 0 vớimột vài j thì ta có thể xóa điểm thứ j đó và thực hiện Vì vậy, cho tất

cả αi > 0 Vì m > n + 1, tồn tại các số γ1, γ2, , γm không đồng thờibằng 0, do đó:

γ1

x11

+ γ2

x21

+ + γm

xm1



Đặt τ = min{α i

γ i : γi > 0} Chú ý rằng τ được định nghĩa tốt vì một vài

γj > 0, nếu tổng của chúng bằng 0 Đặt ¯αi = αi− τγi, i = 1, 2, , m Từ(1.1) ta có Pm

i=1α¯i = 1 và Pm

i=1α¯ixi = x Từ cách đặt của τ , ít nhất cómột ¯αj = 0 và ta có thể xóa điểm thứ j đó Cứ tiếp tục quá trình trên,

ta có thể giảm giá trị của m tới n + 1

Bổ đề 1.5 Nếu X ⊂ Rn là tập lồi thì khi đó intX và X cũng là các tậplồi

Chứng minh Cho B là một hình cầu đơn vị Nếu x1 ∈ intX, x2 ∈ intX,khi đó, ta có thể tìm ε > 0 sao cho x1+ εB ⊂ X và x2+ εB ⊂ X Do đó,(1− t)x1 + tx2 + εB ⊂ X với t ∈ (0; 1) Vì vậy, (1 − t)x1 + tx2 ∈ intX

Để chứng minh phần 2 của bổ đề, ta cho xk → x và yk → y với xk ∈ X

và yk ∈ X Khi đó, dãy của các điểm

(1− t)xk + tykđược chứa trong X và hội tụ tới (1 − t)x + ty ∈ X

Chứng minh Đặt µ = inf

y ∈V ky − xk Vì V 6= ∅ nên 0 ≤ µ < +∞ Lấy{yk ⊂ V } sao cho yk − x → µ Rõ ràng {yk} là dãy bị chặn Khi đó,tồn tại {yk j

} là dãy con của {yk} sao cho limj

Giả sử z1, z2 là hình chiếu của x trên V (z1, z2 ∈ ΠV(x)) Chọn

Bổ đề 1.6 Giả sử V ⊂ Rn là một tập lồi, đóng, khác rỗng và x ∈ Rn.Khi đó, z = ΠV(x) khi và chỉ khi z ∈ V, hv − z, x − zi ≤ 0 ∀v ∈ V.Chứng minh Giả sử z = ΠV(x) và z ∈ V, v ∈ V Đặt:

hv − ΠV(x), x− ΠV(x)i ≤ 0, ∀v ∈ Vsuy ra

hz − ΠV(x), x− ΠV(x)i ≤ 0 (1.3)Cộng theo vế của (1.2) và (1.3), ta được:

hΠV(x)− z, ΠV(x)− zi ≤ 0

Suy ra

kΠV(x)− zk2 ≤ 0

Vậy ΠV(x) = z

Nhận xét: Nếu V là một đa tạp tuyến tính, tức là với mọi x, y ∈

V, với mọi α, β ∈ R suy ra αx + βy ∈ V , thì với mỗi v ∈ V , w =2ΠV(x)− v ∈ V Ta có:

hv − ΠV(x), x− ΠV(x)i ≤ 0, ∀v ∈ V (1.4)và

hw − ΠV(x), x− ΠV(x)i ≤ 0

Suy ra

hΠV(x)− v, x − ΠV(x)i ≤ 0,

hΠV(x)− ΠV(y), (ΠV(x)− ΠV(y)) + (y − x)i ≤ 0 (1.8)

1.1.3 Các định lý tách

Định lý 1.3 Giả sử X ⊂ Rn là một tập lồi, đóng, khác rỗng và x /∈ X.Khi đó, tồn tại y ∈ Rn, y 6= 0 và ε > 0

hy, vi ≤ hy, xi − ε, ∀v ∈ X

Chứng minh Gọi z = ΠV(x) theo Bổ đề 1.6, ta có hx − z, v − zi ≤

0,∀v ∈ X Đặt y = x − z suy ra hy, v − zi ≤ 0, ∀v ∈ X Khi đó

hy, vi ≤ hy, zi = hy, x − yi = hy, xi − kyk2.Suy ra

hy, vi ≤ hy, xi − ε,với ε = kyk2 Do x /∈ X, suy ra y 6= 0 vậy ε > 0.

Định lý 1.4 Cho X ⊂ Rn là tập lồi, khác rỗng, x /∈ X Khi đó, tồn tại

Định lý 1.5 Giả sử X1, X2 ⊂ Rn là các tập lồi Nếu X1 ∩ X2 = ∅ thìkhi đó tồn tại y 6= 0, y ∈ Rn sao cho:

1 2 , ∀x1 ∈ X1, x2 ∈ X2.Chứng minh Đặt:

X1 − X2 là tập đóng và X là tập lồi Do 0 /∈ X, theo định lý 1.3 tồn tại

y 6= 0, ε > 0 sao cho hy, vi ≤ −ε, ∀v ∈ X.Suy ra:

1 − x2 ≤ −ε, ∀x1 ∈ X1, x2 ∈ X2,

1 2 − ε, ∀x1 ∈ X1, x2 ∈ X2.1.1.4 Nón

Định nghĩa 1.4 Một tập K ⊂ Rn được gọi là nón nếu với mọi x ∈ K,

và với mọi α > 0 ta có: αx ∈ K K được gọi là nón lồi nếu K là mộtnón và là một tập lồi

Bổ đề 1.7 Cho K là một nón lồi Khi đó, nếu x1 ∈ K, x2 ∈ K, , xm ∈

K và α1 > 0, α2 > 0, , αm > 0 thì α1x1 + α2x2 + + αmxm ∈ K.Chứng minh Bằng tính lồi, ta có:

Bổ đề 1.8 Nếu X là tập lồi thì cone(X) là một tập lồi

Định nghĩa 1.6 Cho x ⊂ Rn, tập KX(x) = cone(X − x) được gọi lànón các phương chấp nhận được của X tại x

Định nghĩa 1.7 Cho X ⊂ Rn là một tập lồi Tập

X∞ = {d ∈ Rn | X + d ⊂ X}

được gọi là nón lùi xa của X

Định nghĩa 1.8 Cho K là một nón trong Rn Tập

Ko = {y ∈ Rn : hy, xi ≤ 0, ∀x ∈ K}

được gọi là nón cực của X

Định nghĩa 1.9 Cho X là một tập lồi trong Rn và x ∈ X Tập

NX(x) = [cone(X − x)]ođược gọi là nón pháp tuyến đối với X tại x

Nhận xét : v ∈ NX(x) ⇔ hv, y − xi ≤ 0, ∀y ∈ X

Trên đồ thị của f: epif := {(x, v) ∈ Rn× R : v ≥ f(x)}.

Định nghĩa 1.10 Hàm f được gọi là hàm lồi nếu epif là tập lồi

Hàm f được gọi là hàm lõm nếu −f là hàm lồi

Hàm f được gọi là hàm chính thường nếu f(x) > −∞, với mọi

x ∈ Rn và tồn tại ¯x ∈ Rn sao cho f(¯x) < +∞

Bổ đề 1.9 (Bất đẳng thức Jensen) Một hàm f là lồi khi và chỉ khivới mọi x1, x2 ∈ Rn, với mọi t ∈ (0; 1):

f ((1− t)x1 + tx2) ≤ (1 − t)f(x1) + tf (x2)

Chứng minh Giả sử f là hàm lồi, ta có

((x1, f (x1), (x2, f (x2)))∈ epifsuy ra ((1 − t)x1 + tx2, (1− t)f(x1) + tf (x2)) ∈ epif,

Suy ra

((1− t)x1 + tx2, (1− t)v1 + tv2) ∈ epif

Khi đó

(1− t)(x1, v1) + t(x2, v2) ∈ epif

Vậy epif là tập lồi hay f là hàm lồi

Định nghĩa 1.11 Hàm f được gọi là hàm lồi chặt nếu với mọi x1 6= x2,với mọi t ∈ (0; 1) ta có:

1.1.6 Hàm lồi khả vi

Phần này trình bày tiêu chuẩn tính lồi của hàm trơn Ta kí hiệu

∇f(x) là gradient của hàm f tại x:

Nếu f là hàm khả vi liên tục bậc 2 thì ∇2f (x) được gọi là Hessiancủa f tại x và

Định lý 1.7 Giả sử f là hàm khả vi và liên tục Khi đó:

i) f là lồi khi và chỉ khi

f (y) ≥ f(x) + h∇f(x), y − xi , với mọi x, y ∈ Rn, (1.9)ii) f là hàm lồi chặt khi và chỉ khi

f (y) > f (x) +h∇f(x), y − xi , với mọi x 6= y (1.10)Chứng minh i) Giả sử f là hàm lồi Nếu (1.9) không thỏa mãn thì tồntại ε > 0 sao cho

Vì f khả vi nên h∇f(x), y − xi ≤ h∇f(x), y − xi − ε (vô lý) Vậy ta có(1.9) Giả sử ngược lại (1.9) được thỏa mãn Lấy tùy ý x, y ∈ Rn và

t∈ (0; 1) Đặt z = (1 − t)x + ty, ta có:

f (x) ≥ f(z) + h∇f(x), x − zi , (1.11)

f (y) ≥ f(z) + h∇f(x), y − zi (1.12)Nhân hai vế của (1.11) với (1 − t) và (1.12) với t ta được:

2x + 12y, khi đó do tính lồi chặt của f và từđẳng thức trong (1.9), ta có:

Định lý 1.8 Giả sử f : Rn → R là hàm khả vi liên tục bậc hai Khi đó:

i) f là lồi khi và chỉ khi ∇2f (x) là nửa xác định dương với mọi

và ta có (1.9) Nếu Hessian là xác định dương thì với x 6= y số hạng bậchai trong (1.14) là dương và ta có (1.10)

Giả sử Hessian không là nửa xác định dương với x Khi đó tồn tại

Tập các dưới vi phân của f tại ¯x được kí hiệu là: ∂f(¯x)

Ví dụ 1.1 Cho hàm f(x) = x2, tìm dưới vi phân của hàm f tại ¯x = 1

Giả sử x∗ là dưới vi phân của f tại ¯x, khi đó ta có:

Chứng minh Ta có x∗ ∈ ∂f(x) khi và chỉ khi

Chứng minh Ta có x∗ ∈ ∂f(Ax) khi và chi khi

f (Ay) ≥ f(Ax) + hx∗, Ay− Axi ∀y,

⇔ h(y) ≥ h(x) + Tx∗, y− x ∀y

Hay ATx∗ ∈ ∂h(x) Vậy ∂h(x) = AT∂f (Ax)

Định lý 1.9 Giả sử f = f1 + f2 trong đó f1 : Rn → R và f2 : Rn → R

là các hàm lồi chính thường Nếu tồn tại một điểm x0 ∈ domf sao cho

f1 liên tục tại x0 thỏa mãn

∂f (x) = ∂f1(x) + ∂f2(x), với mọi x ∈ domf

Ví dụ 1.2 Cho C là một tập lồi, khác rỗng trong Rn và hàm chỉ củaC:

Đầu tiên, ta đi chứng minh δC(x) là hàm lồi Ta sử dụng bất đẳngthức Jensen:

+ Nếu x1 ∈ C hoặc x/ 2 ∈ C thì hoặc ∂δ/ C(x1) = +∞ hoặc ∂δC(x2) =+∞, khi đó:

δC((1− t)x1 + tx2) ≤ (1 − t)δC(x1) + tδC(x2)suy ra bất đẳng thức Jensen thỏa mãn

+ Nếu x1, x2 ∈ C thì (1 − t)x1 + tx2 ∈ C (vì C là tập lồi) Suy ra

δC((1− t)x1 + tx2) = 0 mà (1− t)δC(x1) + tδC(x2) = 0 Suy ra bất đẳngthức Jensen trong trường hợp này cũng thỏa mãn

Vậy δC(x) là hàm lồi

Tiếp theo, ta đi tính ∂δC(x) Giả sử x∗ ∈ ∂δC(x) Khi đó

∂δC(y) ≥ ∂δC(x) +hx∗, y− xi , ∀y ∈ Rn.+ Nếu y /∈ C thì δC(y) = +∞ suy ra bất đẳng thức trên luôn thỏamãn

+ Nếu y ∈ C thì δC(y) = 0, δC(x) = 0 suy ra hx∗, y− xi ≤ 0, ∀y ∈

C Khi đó, x∗ ∈ NC(x)

Vậy ∂δC(x) = NC(x)

1.2 Các điều kiện tối ưu cho bài toán tối ưu trơn

có ràng buộc

1.2.1 Các điều kiện cho bài toán tối ưu không có ràng buộc

Cho f : Rn → R, X ⊂ Rn Xét bài toán

(P ) : min

x ∈X f (x)Điểm ¯x ∈ X được gọi là nghiệm địa phương (hay điểm cực tiểu địaphương) của (P ) nếu tồn tại ε > 0:

Chứng minh i) Từ định nghĩa của gradient, với mọi y ∈ Rn ta có:

f (y) = f (¯x) +h∇f(¯x), y − ¯xi + r(¯x, y)

2k∇f(¯x)k ,tương đương với

r(¯x, y(τ )) ≤ 1

2τ k∇f(¯x)k2.Thế bất đẳng thức cuối cùng của (1.16), ta có với mọi τ ∈ (0; ¯τ)

Do đó, ¯x là một nghiệm cực tiểu toàn cục

1.2.2 Các điều kiện cho bài toán tối ưu có ràng buộc

Định nghĩa 1.13 Hướng d được gọi là một hướng tiếp xúc của tập

X ⊂ Rn tại điểm x ∈ X, nếu tồn tại các dãy của các điểm xk ∈ X và vô

hướng τk > 0, k = 1, 2, , sao cho τk ↓ 0 và

Cho các hướng dj tiếp xúc với X tại x với các dãy tương ứng {xj,k}

và {τj,k}, k = 1, 2, , thỏa mãn Định nghĩa 1.13 và cho lim

j →∞dj = d Vìhướng d là tiếp tuyến, với mỗi j tồn tại k(j) sao cho

Nón tiếp tuyến rất quan trọng cho việc phát triển các điều kiệntối ưu của bài toán tối ưu hóa phi tuyến Nói chung, nón của các hướngtiếp xúc có thể không lồi làm cho giải tích của tối ưu hóa trở nên khókhăn Nhưng ta vẫn có thể đồng nhất một vài trường hợp quan trọngkhi những nón này là lồi và ta có thể đưa ra phân tích chúng Nhắc lại

về khái niệm nón các phương chấp nhận được của X tại x:

KX(x) = {d ∈ Rn : d = β(y− x), y ∈ X, β ≥ 0}

Bổ đề 1.14 Cho X ⊂ Rn là một tập lồi và x ∈ X Khi đó

TX(x) = KX(x)

Chứng minh Từ định nghĩa với mỗi d ∈ KX(x) là một hướng tiếp xúc.Hơn nữa, KX(x) là một nón lồi Vì nón tiếp tuyến bị đóng nên

KX(x) ⊂ TX(x)

Nếu các tập đó là không bằng nhau thì tồn tại một hướng h thuộc

TX(x)\KX(x) Từ Định lý tách 1.3 tồn tại y 6= 0 sao cho hy, hi > 0 và

hy, di ≤ 0 với mọi d ∈ KX(x) Hướng h tiếp xúc với X tại x Nếu dãy{xk} các điểm của X và dãy τk ↓ 0 thỏa mãn Định nghĩa 1.13 với hướng

Để đưa ra dạng đại số của nón tiếp tuyến, ta xét một hệ trừutượng:

g(xR)− ¯u ∈ Y0,

và sao cho

kxR − ¯xk ≤ C(dist(¯x, X0) + dist(g(¯x)− ¯u, Y0)) (1.18)Định lý 1.11 Nếu hệ (1.17) là chính qui metric thì

TX(x0) =nd ∈ Rn : d ∈ TX 0(x0), g′(x0)d ∈ TY 0(g(x0))o (1.19)Chứng minh Trước hết, ta chứng tỏ rằng mỗi hướng tiếp xúc d là mộtphần tử của tập bên phải (1.19) Vì X ⊂ X0, nên hướng d là một phần

tử của TX0(x0) Do Định nghĩa 1.13 tồn tại các điểm xk ∈ X và vô hướng

yk = y0 + g′(x0)(xk − x0) + ok,với lim

k →∞(ok/τk) = 0 Chia phương trình trên cho τk và lấy giới hạn, tacó:

g(x(τ )) = g(x0) + τ g′(x0)d + o2(τ ),

với ko2(τ )k /τ → 0, khi τ ↓ 0 Vì g (x0)d ∈ TY 0(g(x0)), theo sau là

dist(g(x(τ)), Y0) ≤ ko2(τ )k + dist(g(x0) + τ g′(x0)d, Y0) = o3(τ ), (1.21)với o3(τ )/τ → 0 khi τ ↓ 0 Vì vậy, các điểm x(τ) hầu như thuộc vào X0

và hầu như thỏa mãn ràng buộc g(x) ∈ Y0 Sai số là không đáng kể với

τ Ta có thể sử dụng tính chất chính qui metric Đặt ¯x = x(τ) và ¯u = 0trong định nghĩa 1.14, cho τ > 0 đủ nhỏ, ta có thể tìm thấy các điểm

Do đó d là một hướng tiếp xúc của X tại x0

Bây giờ ta có thể dễ dàng phát triển dạng đại số của nón tiếptuyến đến các hệ đẳng thức và bất đẳng thức Xét hệ:

gi(x) ≤ 0, i = 1, , m,

hi(x) = 0, i = 1, , p, (1.22)

x ∈ X0,với các hàm khả vi liên tục g : Rn → Rm và h : Rn → Rp và với tập lồiđóng X0 Ta xét điểm x0 thỏa mãn (1.22) và ta định nghĩa tập chỉ sốhoạt là:

I0(x0) ={1 ≤ i ≤ m : gi(x0) = 0}

Hệ (1.22) là một trường hợp đặc biệt của hệ (1.17) với

Y0 = {(y, 0) ∈ Rm × Rp : yi ≤ 0, i ∈ I0(x0)}

Điều kiện chính qui Robinson có dạng:



= Rm × Rp

(1.23)Khi tập ở vế trái là nón, điều đó có nghĩa là 0 thuộc phần trong của tậpnày Điều kiện đủ đơn giản hơn của tính chính qui metric có thể phátbiểu như sau

Bổ đề 1.15 Giả sử tồn tại một điểm xM F ∈ intX0 sao cho

h∇gi(x0), xM F − x0i < 0, i ∈ I0(x0),h∇hi(x0), xM F − x0i = 0, i = 1, , p, (1.24)

và các gradient ∇hi(x0), i = 1, , p, là độc lập tuyến tính Khi đó hệ(1.22) là chính qui metric tại x0

Chứng minh Khi xM F là một điểm trong thì tồn tại ε > 0 sao cho mộthình cầu tâm xM F có bán kính ε cũng được bao hàm trong phần trongcủa tập X0 Đặt B = {s ∈ Rn : ksk ≤ ε} Khi đó

Để chứng minh điều kiện chính qui Robinson (1.23), chọn bất kì(y, z) ∈ Rm × Rp sao cho k(y, z)k ≤ δ Do (1.26), tồn tại s ∈ B sao cho

h′(x0)s = z Khi đó điều kiện thứ hai của (1.24) có

h′(xM F − x0 + s) = z

Điều kiện (1.25) bao hàm rằng ta có thể tìm v ≤ 0 sao cho

g′(x0)(xM F − x0 + s)− v = y

Điều này có nghĩa là cho hướng d = xM F − x0 + s và chọn v là phần

tử tương ứng với tập vế trái của (1.23) bằng (y, z) Điều này có thểthực hiện với mọi (y, z) sao cho k(y, z)k ≤ δ Vậy điều kiện chính quiRobinson là đúng và hệ là chính qui metric

Ta phải nhận mạnh rằng, điều kiện của Bổ đề 1.15 là không tươngđương với tính chính qui metric, vì ta đã giả định rằng xM F là một điểmtrong của X0

Giả định của Bổ đề 1.15 cho X0 = Rn được biết đến như là điềukiện chính qui Mangasarian-Fromovitz Trong trường hợp này nó tươngđương với tính chính qui metric

Bổ đề 1.16 Hệ (1.22) với X0 = Rn thỏa mãn điều kiện chính quyMangasarian-Fromovitz tại điểm x0 khi và chỉ khi nó là chính qui metrictại x0

Chứng minh Không mất tính tổng quát ta giả sử tất cả các ràng buộcbất đẳng thức là chủ động tại x0 Tính chính qui metric của (1.22) với

X0 = Rn là tương đương với điều kiện chính qui Robinson:



= Rm × Rp

Đặc biệt,{h(x0)d : d ∈ Rn} = Rp, và do đó các gradient ∇hi(x0) là độclập tuyến tính Hơn nữa, với mỗi vectơ có dạng (y, 0) ∈ Rm+p rút từ điềukiện Robinson thì tồn tại d ∈ Rn và v ≤ 0 sao cho

h∇gi(x0), di = yi + vi, i = 1, , m,h∇hi(x0), di = 0, i = 1, , p

Chọn yi < 0, i = 1, , m, ta có điều kiện chính qui Fromovitz

Mangasarian-Xét bài toán tối ưu có ràng buộc:

min

với hàm khả vi f : Rn → R và tập X ⊂ Rn Nếu nghiệm của bài toán ¯x

là một điểm biên của tập chấp nhận được X, điều kiện cần của tính tối

ưu được trình bày trong Định lý 1.10 không cần phải thỏa mãn Lý dochính là nhiễu của điểm ¯x khi mà lấy nó ra khỏi tập X chấp nhận được

là không được phép và do đó chúng có thể làm giảm hàm mục tiêu Để

có điều kiện cần của tính tối ưu, ta hạn chế tập các nhiễu chấp nhậnđược của hướng tiếp xúc tại ¯x

Định lý 1.12 Giả sử ¯x là cực tiểu địa phương của bài toán (1.27) vàhàm f khả vi tại ¯x Cho TX(¯x) là nón tiếp tuyến của tập X tại ¯x Khiđó

−∇f(¯x) ∈ [TX(¯x)]o (1.28)Như vậy, nếu hàm f là hàm lồi, tập X là tập lồi và điểm ¯x ∈ X thỏa mãnđiều kiện (1.28) thì ¯x là nghiệm cực tiểu toàn cục của bài toán (1.27).Chứng minh Giả sử khẳng định trên là sai:

−∇f(¯x) /∈ [TX(¯x)]o

Điều này có nghĩa là tồn tại một hướng d ∈ TX(¯x) sao cho

Khi d là một hướng tiếp xúc thì tồn tại một dãy các điểm xk ∈ X hội

tụ đến ¯x và một dãy các vô hướng τk ↓ 0 sao cho

τk

.Bất đẳng thức (1.29) bao hàm rằng kdk 6= 0 và do đó

Tiếp theo, giả sử rằng hàm f và tập X là lồi và (1.28) thỏa mãntại ¯x ∈ X Vì tập X là lồi, với mỗi y ∈ X thì hướng

d = y− ¯x

là một hướng tiếp xúc của X tại ¯x (Bổ đề 1.14) Do đó, điều kiện (1.28)nói rằng

f′(¯x, d) thay cho h∇f(¯x), di

Khai triển điều kiện cần của tính tối ưu cho các lớp khác nhau củabài toán tối ưu hóa phi tuyến bao gồm chủ yếu là việc giải quyết cơ bảnđiều kiện (1.28) cho các dạng khác nhau của các tập chấp nhận được X.Công thức cho nón cực của nón tiếp tuyến tới X tại ¯x đóng vai trò làchìa khóa

Xét bài toán tối ưu hóa phi tuyến

Min f(x)với ràng buộc gi(x) ≤ 0, i = 1, , m,

hi(x) = 0, i = 1, , p, (1.32)

x ∈ X0

Giả sử các hàm f : Rn → R, gi : Rn → R, i = 1, , m, và hi : Rn →

R, i = 1, , p, là các hàm khả vi liên tục, tập X0 ⊂ Rn là tập lồi và đóng

Kí hiệu X là tập chấp nhận được của bài toán này

Điều kiện tối ưu của Định lý 1.12 cho bài toán (1.32) nón tiếptuyến với tập X chấp nhận được tại điểm ¯x Trong Định lý 1.11 ta thiếtlập rằng nếu hệ ràng buộc của bài toán (1.32) là chính qui metric tạiđiểm ¯x thì nón tiếp tuyến của tập chấp nhận được X có dạng

là đúng Cho X0 = Rn điều kiện chính qui Mangasarian-Fromovitz Sửdụng hệ quả:

Phần trong của tập X0 có thể được thay thế bởi phần trong tương đối,nếu cần

Cho các hàm lồi trơn, ta thấy công thức (1.33) vẫn đúng nếu bàitoán (1.32) thỏa mãn điều kiện chính qui Slater: các hàm gi, i = 1, , m

là các hàm lồi, các hàm hi, i = 1, , p là các hàm afin thì tồn tại mộtđiểm chấp nhận được xs sao cho gi(xs) < 0, i = 1, , m và xs ∈ intX0

nếu p > 0

Nếu một trong những điều kiện đủ cho bởi (1.33) được thỏa mãn,

ta nói rằng bai toán (1.32) thỏa mãn điều kiện chính qui

Định lý 1.13 Cho ¯x là một cực tiểu địa phương của bài toán (1.32).Giả sử rằng tại ¯x điều kiện chính quy được thỏa mãn Khi đó tồn tại các

−∇f(¯x) ∈ (TX(¯x))o

Nó mô tả nón cực của nón tiếp tuyến Giả sử cho đơn giản I0(¯x) ={1, , m0} Điều kiện chính qui Robinson bao hàm rằng giả thiết củađịnh lý : Giả sử K1, K2 là các nón lồi đóng và K được định nghĩa bởi

K = {x ∈ K1 : Ax ∈ K2}, trong đó K1 ⊂ Rn, K2 ⊂ Rn và A là ma trậncấp m × n Nếu 0 ∈ int{Ax − y : x ∈ K1, y ∈ K2} thì Ko = K1o+{ATλ :

λ ∈ K2o} được thỏa mãn với

(∇gm 0(¯x))T(∇h1(¯x))T

− × {0}p