luận văn thạc sĩ toán học bài toán quy hoạch lồi

Một số phương pháp giải bài toán quy hoạch lồi.. Mục đích của bản luận văn này là để trình bày một số phương phápcơ bản nhất cho bài toán quy hoạch lồi.. Luận văn gồm có 3 chương: • Chươ

Mục lục

Mục lục i

Lời cảm ơn ii

Mở đầu 1

Chương 1 Các kiến thức cơ bản về tập lồi và hàm lồi 2

1.1 Tập lồi 2

1.2 Hàm lồi 6

Chương 2 Điều kiện cực tiểu hàm lồi 12

2.1 Bài toán quy hoạch lồi 12

2.1.1 Các khái niệm 12

2.1.2 Sự tồn tại nghiệm tối ưu 13

2.1.3 Điều kiện tối ưu 14

2.2 Tối ưu có ràng buộc 16

2.2.1 Đối ngẫu Lagrange 16

2.2.2 Điều kiện tối ưu 19

Chương 3 Một số phương pháp giải bài toán quy hoạch lồi 27

3.1 Các thuật toán sử dụng đạo hàm bậc nhất 27

3.1.1 Thuật toán gradient 27

3.1.2 Phương pháp chiếu Gradient 30

3.1.3 Thuật toán chiếu dưới gradient xấp xỉ 32

3.1.4 Thuật toán Frank-Wolfe 38

3.2 Phương pháp Newton 40

3.3 Phương pháp hàm phạt 46

3.3.1 Phương pháp hàm phạt điểm ngoài 46

3.3.2 Phương pháp hàm phạt điểm trong 48

Kết luận 57

Tài liệu tham khảo 58

Mặc dù đã có nhiều cố gắng nhưng Luận văn khó tránh khỏi nhữngthiếu sót Tác giả rất mong nhận được ý kiến đóng góp của quý thầy, cô

và bạn đọc để luận văn được hoàn thiện hơn

Xin trân trọng cảm ơn!

Hà Nội, ngày 30 tháng 08 năm 2011

Tác giả

Quách Thị Mai Liên

Mục đích của bản luận văn này là để trình bày một số phương pháp

cơ bản nhất cho bài toán quy hoạch lồi Cụ thể luận văn trình bày cácphương pháp sau: các phương pháp sử dụng đạo hàm bậc nhất, phươngpháp Newton và các phương pháp hàm phạt

Luận văn gồm có 3 chương:

• Chương 1: Giới thiệu các kiến thức cơ bản nhất về giải tích lồi, đặcbiệt chú trọng vào phép chiếu vuông góc lên một tập lồi đóng và tính dưới

vi phân của hàm lồi; chúng được sử dụng trong các chương tiếp theo

• Chương 2: Trình bày đối ngẫu Lagrange và áp dụng Định lý Krush Kuhn - Tucker, Định lý Kuhn - Tucker để giải bài toán quy hoạch lồi vàcác định lý về sự tồn tại nghiệm tối ưu của bài toán quy hoạch lồi

-•Chương 3: Trình bày các phương pháp giải bài toán quy hoạch lồi như:phương pháp dùng đạo hàm bậc nhất gradient, chiếu gradient và trườnghợp tổng quát của nó là chiếu dưới gradient xấp xỉ, thuật toán Frank -Wolf, phương pháp Newton dùng đạo hàm bậc hai và các phương pháphàm phạt

Chương 1

Các kiến thức cơ bản về tập lồi và hàm lồi

Trong luận văn này, ta chỉ xét không gian hữu hạn chiều IRn với tích

vô hướng được ký hiệu là h., i và chuẩn tương ứng được ký hiệu là k.k.Chương này trình bày một số kiến thức cơ bản nhất của giải tích lồi

sẽ được sử dụng ở chương sau Nội dung của chương được trích dẫn chủyếu từ tài liệu tham khảo [1] và [3]

Định nghĩa 1.1 Cho hai điểm a, b ∈ IRn

(i) Một đường thẳng đi qua hai điểm a, b là tập hợp có dạng

Mệnh đề 1.1 Tập D 6= ∅ là tập affine khi và chỉ khi nó có dạng D =

M + a với M là một không gian con của IRn và a ∈ IRn Không gian M

được xác định duy nhất và được gọi là không gian con song song của D

Định nghĩa 1.3 Thứ nguyên (hay chiều) của một tập affine D là thứnguyên của không gian con song song với D và được ký hiệu là dim D.Định nghĩa 1.4 Siêu phẳng trong không gian IRn là một tập hợp cácđiểm có dạng

gọi là nửa không gian mở

Định nghĩa 1.6 Một tập D được gọi là một tập lồi nếu

∀a, b ∈ D và 0 ≤ λ ≤ 1 ⇒ λa + (1 − λ)b ∈ D

Định lí 1.1 Tập lồi là đóng với phép giao, phép cộng, phép nhân với một

số thực Tức là, nếu C và D là hai tập lồi trong IRn thì C ∩ D, λC + βD

Định nghĩa 1.9 Bao lồi của một tập D là giao của tất cả các tập lồichứa D Bao lồi của tập D được ký hiệu là coD.

Bao lồi của một tập D là tập lồi nhỏ nhất chứa D

Định nghĩa 1.10 Thứ nguyên của một tập lồi D được cho bởi thứ nguyêncủa đa tạp affine nhỏ nhất chứa D Đa tạp affine này được gọi là bao affinecủa D và được ký hiệu là aff D Thứ nguyên của tập lồi D sẽ được ký hiệu

là dimD

Định nghĩa 1.11 Một điểm a của một tập lồi D gọi là điểm trong tươngđối nếu với mọi x ∈ D đều có một số λ > 0 để cho a + λ(x − a) ∈ D Tậpcác điểm trong tương đối của D được ký hiệu riD

Định nghĩa 1.12 Một tập D được gọi là nón nếu

∀λ > 0, ∀x ∈ D ⇒ λx ∈ D

Một nón được gọi là nón nhọn nếu nó không chứa đường thẳng Một nónđược gọi là nón lồi nếu nó đồng thời là tập lồi Nếu nón lồi này lại là mộttập lồi đa diện thì ta nói nó là nón lồi đa diện

Định nghĩa 1.13 Cho D ⊆ IRn là một tập lồi và x0 ∈ D

(i) Tập

ND(x0) := {ω ∈ IRn : hω, x − x0i ≤ 0, ∀x ∈ D}

gọi là nón pháp tuyến ngoài của D tại x0 và tập −ND(x0) được gọi

là nón pháp tuyến trong của D tại x0

(ii) Tập

ND(x0) := {ω ∈ IRn : hω, x − x0i ≤ , ∀x ∈ D}

được gọi là nón pháp tuyến  của D tại x0

Hiển nhiên 0 ∈ ND(x0) và dùng định nghĩa ta có ND(x0) là một nón lồiđóng

Trong chương 2 và chương 3, ta sẽ sử dụng các định lý tách tập lồi, đâycũng là những định lý cơ bản nhất của giải tích lồi

Định nghĩa 1.14 Cho hai tập C và D, ta nói rằng siêu phẳng

Định lí 1.2 (Định lý tách 1) Cho C và D là hai tập lồi khác rỗng trong

IRn sao cho C ∩ D = ∅ Khi đó có một siêu phẳng tách C và D

Định lí 1.3 (Định lý tách 2) Cho C và D là hai tập lồi khác rỗng trong

IRn sao cho C ∩ D = ∅ Giả sử có ít nhất một tập là compăc Khi đó haitập C và D có thể tách mạnh được bởi một siêu phẳng

Hệ quả 1.1 (Bổ đề Farkas) Cho a ∈ IRn và A là ma trận cấp m × n.Khi đó ha, xi ≥ 0 với mọi x thỏa mãn Ax ≥ 0, khi và chỉ khi tồn tại y ≥ 0

thuộc IRm sao cho a = ATy

Ý nghĩa hình học của bổ đề Farkas: siêu phẳng đi qua gốc tọa độ

ha, xi = 0 để nón Ax ≥ 0 về một phía của nó khi và chỉ khi vectơ pháptuyến a của siêu phẳng nằm trong nón sinh bởi các hàng của ma trận A.Định nghĩa 1.15 Cho D 6= ∅ (không nhất thiết lồi) và y là một vectơ bất

kỳ, đặt:

dD(y) := inf

x∈Dkx − yk

Ta nói dD(y) là khoảng cách từ y đến D Nếu tồn tại π ∈ D sao cho

dD(y) = ky − πk, thì ta nói π là hình chiếu (vuông góc) của y trên D và

ký hiệu là π = PD(y)

Theo định nghĩa, ta thấy rằng hình chiếu PD(y) của y trên D lànghiệm của bài toán tối ưu

0 ≤ dD(y) ≤ kx − yk, ∀x ∈ D

Mệnh đề 1.3 Cho D là một tập lồi đóng khác rỗng Khi đó

(i) Với mọi y ∈ IRn, π ∈ D hai tính chất sau là tương đương:

a) π = PD(y),

b) y − π ∈ ND(π)

(ii) Với mọi y ∈ IRn, hình chiếu PD(y) của y trên D luôn tồn tại và duynhất

(iii) kPD(x) − PD(y)k ≤ kx − yk, ∀x, y ∈ IRn (tính không giãn),

(iv) kPD(x)−PD(y)k2 ≤ hPD(x)−PD(y), x−yi, ∀x, y ∈ IRn (tính đồng bức)

Trong phần này ta chỉ xét những hàm f không nhận giá trị −∞

Định nghĩa 1.16 Một hàm số f xác định trên tập lồi D được gọi là(i) lồi trên D nếu

Định lí 1.4 Cho f và g là các hàm lồi trên tập lồi C và D tương ứng.Khi đó các hàm số αf + βg, (∀α, β ≥ 0) và max{f, g} cũng lồi trên C ∩ D.Một hàm lồi có thể không liên tục tại một điểm trên biên miền xácđịnh của nó Tuy nhiên, nó liên tục tại mọi điểm trong của tập đó theođịnh lý sau:

Định lí 1.5 Một hàm lồi xác định trên tập lồi D thì liên tục tại mọi điểmtrong của D

Tính chất sau đây đặc trưng cho một hàm lồi khả vi, và thuận lợi đểkiểm tra tính lồi của một hàm số Ký hiệu f0(a) hoặc ∇f (a) là đạo hàmcủa f tại a

Định lí 1.6 Cho f : D → IR là một hàm khả vi trên tập lồi mở D Điềukiện cần và đủ để f lồi trên D là

f (x) + h∇f (x), y − xi ≤ f (y), ∀x, y ∈ D

Nếu f khả vi hai lần thì điều kiện cần và đủ để f lồi trên D là với mọi

x ∈ A ma trận Hessian H(x) của f tại x xác định không âm, tức là

yTH(x)y ≥ 0, ∀x ∈ D, y ∈ IRn

Như vậy, một dạng toàn phương xTQx là một hàm lồi khi và chỉ khi Q

xác định không âm Một dạng toàn phương là một hàm lồi chặt khi và chỉkhi ma trận của nó xác định dương

Tính khả vi của một hàm lồi giữ vai trò quan trọng trong các phươngpháp tối ưu hóa Lớp các hàm lồi có những tính chất khả vi rất đẹp màcác lớp hàm khác không có Giả sử f : IRn → IR ∪ {+∞} là hàm lồi Ta

có các khái niệm sau

Định nghĩa 1.17 Cho  > 0 Một véc tơ w ∈ IRn được gọi là một −

dưới gradient của f tại x0 ∈ IRn nếu:

hw, x − x0i ≤ f (x) − f (x0) + , ∀x ∈ IRn

Tập hợp tất cả các −dưới gradient gọi là − dưới vi phân của hàm f tại

Hàm f được gọi là khả dưới vi phân tại x0 nếu ∂f (x0) 6= ∅

Ví dụ 1.1 Cho D là một tập lồi, khác rỗng của không gianIRn Xét hàmchỉ trên tập D

δD(x) :=



0 nếu x ∈ D,+∞ nếu x /∈ D

Định lí 1.7 Cho f là một hàm lồi (hữu hạn) trên tập lồi D Lúc đó f códưới vi phân tại mọi điểm thuộc riD

Từ định lý này suy ra rằng nếu f là một hàm lồi trên toàn không gian

IRn thì nó có dưới vi phân tại mọi điểm, vì riIRn = IRn

Định nghĩa 1.19 Ta gọi đạo hàm theo hướng d của một hàm số f (khôngnhất thiết là lồi) tại điểm x là đại lượng

f0(x, d) := lim

λ→0 +

f (x + λd) − f (x)

λ

nếu giới hạn này tồn tại

Định lí 1.8 Nếu f là một hàm lồi trên tập lồi D thì với mọi x ∈ D vàmọi d sao cho x + d ∈ D, đạo hàm theo hướng d của f tại x luôn tồn tại

Định nghĩa 1.20 Cho D ⊆ IRn là tập lồi, f : D → IR là hàm lồi và

Chứng minh Giả sử x ∈ D¯ là  - nghiệm của bài toán (P ) Khi đó

Chứng tỏ x¯ là − nghiệm của bài toán (P )

Định nghĩa 1.21 ChoD là một tập lồi đóng khác rỗng trongIRn, x ∈ IRn

và  ≥ 0 Một điểm px ∈ D được gọi là  - chiếu của x trên D nếu px làmột  - nghiệm của bài toán

trong đó PD(x) là hình chiếu của x trên D

Mệnh đề 1.5 Cho D là tập lồi đóng khác rỗng Khi đó px là  - chiếucủa x trên D khi và chỉ khi

Theo Định nghĩa 1.21, px là  − nghiệm của bài toán (1.3) Từ Mệnh đề1.4 ta được

Chương 2

Điều kiện cực tiểu hàm lồi

Chương này trình bày một số kiến thức quan trọng phục vụ chochương 3 Đó là đối ngẫu Lagrange và áp dụng vào giải bài toán tối ưu lồi;các định lý cơ bản như Định lý Karush - Kuhn - Tucker, Định lý Kuhn -Tucker Nội dung của chương chủ yếu được trích dẫn từ tài liệu tham khảo[1]

2.1 Bài toán quy hoạch lồi

2.1.1 Các khái niệm

Cho D ⊆ IRn và f : IRn → IR Xét bài toán quy hoạch toán học

min{f (x) : x ∈ D} (P )

Bài toán này được hiểu là hãy tìm một điểm x∗ ∈ D sao cho f (x∗) ≤ f (x)

với mọi x ∈ D Mỗi điểm x∗ ∈ D được gọi là một phương án chấp nhậnđược của bài toán (P ) Tập D được gọi là miền (tập) chấp nhận được, f

được gọi là hàm mục tiêu của bài toán (P ) Thông thường, tập D đượccho như là tập nghiệm của một hệ bất đẳng thức hoặc đẳng thức có dạng

D := {x ∈ X : gj(x) ≤ 0, hi(x) = 0, j = 1, , m, i = 1, , p}, (2.1)

trong đó ∅ 6= X ⊆ IRn và gj, hi : IRn → IR (j = 1, m, i = 1, p) Bàitoán (P ) với D cho bởi (2.1) gọi là trơn nếu cả hàm mục tiêu và các ràngbuộc đều trơn (khả vi)

Bài toán (P ) có rất nhiều ứng dụng trong các lĩnh vực khác nhau Ví

dụ, trong kinh tế nó là bài toán xác định phương án sản xuất sao cho chiphí thấp nhất Trong ví dụ này, x là phương án sản xuất mà mỗi tọa độ

xj của nó là số lượng sản phẩm loại j cần sản xuất, còn f (x) là chi phíứng với phương án x Bài toán (P ) trong mô hình này có nghĩa là tìm mộtphương án sản xuất trong tập hợp các phương án chấp nhận được D saocho chi phí sản xuất ứng với phương án này là thấp nhất

Định nghĩa 2.1 Điểm x∗ ∈ D được gọi là lời giải tối ưu địa phương củabài toán (P) nếu tồn tại một lân cận U của x∗ sao cho

f (x∗) ≤ f (x), ∀x ∈ U ∩ D

và x∗ gọi là lời giải tối ưu toàn cục của (P) nếu

f (x∗) ≤ f (x), ∀x ∈ D

2.1.2 Sự tồn tại nghiệm tối ưu

Xét bài toán tối ưu toàn cục (P ) Có 4 trường hợp tồn tại nghiệm tối

ưu của bài toán này

• D = ∅ (Không có nghiệm)

• f không bị chặn dưới trên D inf

x∈Df (x) = −∞

• inf

x∈Df (x) < ∞ nhưng giá trị cực tiểu không đạt được trên D

• tồn tại x∗ ∈ D sao cho f (x∗) = min

Chứng minh Nếu x∗ là nghiệm tối ưu thì F+(D) = [f (x∗), +∞] đóng (làphần bù của một tập mở) và bị chặn dưới.

Ngược lại, giả sử F+(D) bị chặn dưới Đặt t∗ = inf F+(D) thì t > −∞

Do F+(D) đóng, t∗ ∈ F+D nên tồn tại x∗ ∈ D sao cho f (x∗) = t∗ Chứng

tỏ x∗ là một điểm cực tiểu của f trên D

Định lí 2.2 (Weierstrass) Nếu D là tập compact và f nửa liên tục dướitrên D, thì bài toán (P ) có nghiệm tối ưu

Chứng minh Đặt α := infx∈Df (x) Theo định nghĩa có một dãy {xk} ⊂

D sao cho limk→+∞f (xk) = α Do D compact nên có một dãy con hội tụ

về x0 ∈ D, không giảm tính tổng quát có thể coi xk → x0 Vì f nửa liêntục dưới nên α > −∞ Nhưng x0 ∈ D nên theo định nghĩa của α, ta phải

có f (x0) ≥ α Vậy f (x0) = α

Định lí 2.3 Nếu f nửa liên tục dưới trên D và thỏa mãn điều kiện bứcsau

f (x) → +∞ khi x ∈ D, kxk → +∞

thì f có điểm cực tiểu trên D

Chứng minh Đặt D(a) := {x ∈ D : f (x) ≤ f (a)} với a ∈ D Rõ ràng,

D(a) đóng và bị chặn nên f có điểm cực tiểu trên D(a) và điểm đó cũngchính là điểm cực tiểu của f trên D

2.1.3 Điều kiện tối ưu

Định lí 2.4 Giả sử D là tập lồi và f là hàm lồi, khả dưới vi phân trên

D Khi đó x∗ là nghiệm tối ưu của bài toán (P) nếu và chỉ nếu

0 ∈ ∂f (x∗) + ND(x∗), (2.2)

trong đó ND(x∗) ký hiệu nón pháp tuyến của D tại x∗

Chứng minh ” ⇐ ” : Giả sử có (2.2) Khi đó tồn tại p∗ sao cho

p∗ ∈ ∂f (x∗) ∩ (−ND(x∗))

Chứng tỏ x∗ là nghiệm tối ưu của bài toán (P ).

” ⇒ ” : Giả sử x∗ là nghiệm tối ưu Bằng cách lấy không gian affine của

D, ta có thể giả sử D là một tập có số chiều đầy đủ Do D là tập lồi,

intD 6= ∅ Xét hai tập sau

2.2.1 Đối ngẫu Lagrange

Đối ngẫu là một phần quan trọng của bài toán tối ưu Có rất nhiềukiểu đối ngẫu, nhưng đối ngẫu Lagrange được sử dụng rộng rãi hơn cả.Đối ngẫu Lagrange dựa trên cơ sở hàm Lagrange Ta xét bài toán

Bài toán (D) được gọi là đối ngẫu chính xác của bài toán (P ) nếu (D) làbài toán đối ngẫu của (P ) và tồn tại x∗ ∈ (P ), y∗ ∈ (D) sao cho

f (x∗) ≤ d(y∗)

Từ Định nghĩa 2.2 ta thấy rằng, nếu bài toán (D) là đối ngẫu chínhxác của bài toán (P ) thìf (x∗) = d(y∗)và hiển nhiên (P ) cũng là đối ngẫuchính xác của (D)

Xét bài toán (P ), ta định nghĩa hàm Lagrange

Chứng tỏ (LD) là đối ngẫu của bài toán (P )

Nhận xét 2.1 Nhìn chung, một cặp đối ngẫu chưa chắc đã là đối ngẫuchính xác như ví dụ sau đây sẽ chỉ ra

Ví dụ 2.1 Xét bài toán

min{f (x) = −x2, x ∈ X = [0, 2], x − 1 ≤ 0},

Vậy cặp đối ngẫu là không chính xác.

Vậy cần thêm điều kiện gì để hai bài toán (P ) và (LD) là cặp đối ngẫuchính xác? Ta có định lý sau:

Định lí 2.6 (Đối ngẫu chính xác) Giả sử

(i) (P ) có một lời giải tối ưu,

(ii) Các hàm f và gj, (j = 1, , m) lồi và liên tục trên X

(iii) Điều kiện Slater thỏa mãn, nghĩa là có x0 sao cho gj(x0) < 0 với mọi

Do các hàm f và gj liên tục, bất đẳng thức trên đúng với mọi (t, z) ∈ A

(A là bao đóng của tập A) Mà (f (x), g(x)) ∈ A,

αf (x) + yTg(x) ≥ αf (x∗), ∀x ∈ X (2.8)

Ta chỉ ra rằng (α, y) ≥ 0 Thực vậy, giả sử có chỉ số j thỏa mãn yj < 0.Lấy (t0, z0) ∈ A Điểm (t0, z) ≡ (t0, z0 + ξej) ∈ A với mọi ξ ≥ 0 (ej làvectơ đơn vị thứ j) Thay (t, z) = (t0, z) vào (2.7) và cho ξ → +∞ Ta có

vế trái bằng −∞ mà vế phải hữu hạn Mâu thuẫn này chứng tỏ y ≥ 0.Chứng minh tương tự ta chỉ ra được α ≥ 0 Hơn nữa, α > 0 vì nếu α = 0

thì y 6= 0 Trong trường hợp này từ (2.8) ta có:

yTg(x) ≥ 0, ∀x ∈ X

Mâu thuẫn với điều kiện Slater Chia cả hai vế của (2.7) cho α và theođịnh nghĩa của d ta có

dyα



≥ f (x∗)

Do đó(LD) là đối ngẫu của bài toán(P )và theo Định lý 2.5,(P ) và(LD)

là cặp đối ngẫu chính xác

2.2.2 Điều kiện tối ưu

Xét bài toán (P ) định nghĩa bởi

min f (x)

với điều kiện

x ∈ D := {x ∈ X : gj(x) ≤ 0, hi(x) = 0, j = 1, , m, i = 1, , k}

trong đó ∅ 6= X ⊆ IRn và f, gj, hi : IRn → IR (∀j, i) Ta gọi bài toán (P )

là bài toán lồi nếu X là tập lồi đóng và các hàm f, gj là lồi, hi là hàmaffine

Định lí 2.7 (Karush-Kuhn-Tucker) Giả sử (P ) là bài toán lồi Nếu x∗

là một nghiệm tối ưu của bài toán (P ) thì tồn tại λ∗i ≥ 0 (i = 0, 1, , m)

và µ∗j (j = 1, , k) không đồng thời bằng 0 sao cho

được thỏa mãn và các hàm affine hi (i = 1, , k) độc lập tuyến tính trên

X thì λ∗0 > 0 và các điều kiện đạo hàm triệt tiêu và điều kiện bù là điềukiện đủ để điểm chấp nhận được x∗ là nghiệm tối ưu của bài toán (P ).Chứng minh Giả sử x∗ là một nghiệm tối ưu của bài toán (P ) Đặt

C := {(λ0, λ1, · · · , λm, µ1, · · · , µk) : (∃x ∈ X) :

f (x)−f (x∗) < λ0, gi(x) ≤ λi, hj(x) = µj, (i = 1, , m; j = 1, , k)}

Do X 6= ∅ lồi, f, gi là các hàm lồi và hj là hàm affine trên X, nên C làtập lồi đóng, khác rỗng trong IRm+k+1

Hơn nữa0 6∈ C vì nếu0 ∈ C thì tồn tại một điểm chấp nhận đượcxsao cho

f (x) < f (x∗) Điều này mâu thuẫn với giả thiết x∗ là nghiệm tối ưu củabài toán (P ) Theo định lý siêu phẳng tách, có các số λ∗i (i = 0, 1, , m),

µ∗j (j = 1, , k) không đồng thời bằng 0 sao cho

và thay vào (2.9), cho  → 0 ta được:

hay

L(x∗, λ∗, µ∗) ≤ L(x, λ∗, µ∗), ∀x ∈ X

Điều kiện đạo hàm triệt tiêu được chứng minh Để chứng minh điều kiện

bù, ta thấy, do x∗ là điểm chấp nhận được, gj(x∗) ≤ 0 với mọi j Nếu có

chỉ số i sao cho gi(x∗) = ξ < 0, thì với mọi  > 0, ta có

(, , ξ, , , , 0, , 0) ∈ C (ξ ở vị trí i + 1)

Thay vào (2.9) và cho  → 0, ta có λ∗iξ ≥ 0 Nhưng vì ξ < 0, nên λ∗i ≤ 0

Do đó, λ∗i = 0

Bây giờ ta chứng minh điều kiện đủ Trước hết, ta có λ∗0 > 0 Thật vậy,

nếu λ∗0 = 0, do điều kiện đạo hàm triệt tiêu và điều kiện bù, ta có

Do λ∗0 = 0, nên xảy ra 2 trường hợp:

• Trường hợp 1: Tồn tại chỉ số i sao cho λ∗i > 0 Khi đó thay thếx = x0

Theo giả thiết, các hàm hj độc lập tuyến tính trên X, nên µ∗j = 0 với mọi

j Điều này mâu thuẫn với giả thiết λ∗i và µ∗j không đồng thời bằng 0 Do

đó λ∗0 > 0 và chia cả hai vế của (2.10) cho λ∗0 > 0, ta có thể giả sử hàmLagrange của bài toán (P ) có dạng:

Điều này chứng tỏ rằng x∗ là một nghiệm tối ưu của bài toán (P )

Chú ý 2.1 Nếu X là tập mở (hơn nữa, X là toàn bộ không gian), thìtheo Moreau-Rockafellar, điều kiện đạo hàm triệt tiêu kéo theo

Định lí 2.8 Giả sử hàm f khả vi trên một tập mở chứa D và x∗ là mộtđiểm cực tiểu địa phương của f trên D Khi đó:

Chứng minh Sử dụng khai trển Taylor

Xét bài toán tối ưu lồi không ràng buộc

min{f (x) : x ∈ IRn} (P )

trong đó

(i) Mọi hướng đều là hướng chấp nhận được của bài toán (P )

(ii) Có một vài phương pháp để xác định hướng giảm, trong đó hướnggiảm nhanh nhất là hướng đạo hàm

3.1.1 Thuật toán gradient

Nếu hàm f là khả vi thì hướng gradient là hướng tăng nhanh nhất,

do đó hướng ngược lại là hướng giảm nhanh nhất (hay hướng dốc nhất)giá trị của hàm f Cho nên phương pháp gradient còn được gọi là phương

trong đó 0 <  < 1, ξ > 0 cho trước Khi đó, lấy λk = 2ξm.

Định lí 3.1 Giả sử f bị chặn dưới và gradient ∇f là Lipschitz, nghĩa là