Một phương pháp tách giải một lớp bài toán tối ưu lồi mạnh

Mở đầuBài toán tối ưu hàm lồi mạnh với ràng buộc lồi là lớp bài toánquan trọng của bài toán quy hoạch lồi.. Chính vì thế bài toán cực tiểu hàm lồi mạnh là một trongnhững vấn đề quan trọn

TRƯỜNG ĐẠI HỌC KHOA HỌC

THÁI NGUYÊN - 2016

ĐẠI HỌC THÁI NGUYÊN

TRƯỜNG ĐẠI HỌC KHOA HỌC

Người hướng dẫn khoa học:

GS.TSKH Lê Dũng Mưu

THÁI NGUYÊN - 2016

Mở đầu 1

1.1 Kiến thức chuẩn bị 3

1.2 Hàm lồi 8

1.3 Bài toán tối ưu lồi 12

1.3.1 Các khái niệm 12

1.3.2 Sự tồn tại nghiệm tối ưu 13

1.3.3 Điều kiện tối ưu 15

1.4 Tối ưu có ràng buộc 16

1.4.1 Đối ngẫu 16

1.4.2 Điều kiện tối ưu có ràng buộc 20

2 Một thuật toán tách giải bài toán tối ưu lồi mạnh 26 2.1 Toán tử chiếu lên tập lồi đóng 26

2.2 Một thuật toán chiếu giải bài toán tối ưu lồi 30

2.2.1 Thuật toán chiếu dưới đạo hàm 30

Kí hiệu Ý nghĩa

< x; y >= xTy Tích vô hướng của 2 vectơ x và y;

∂f (x) Dưới vi phân của f theo x;

∂εf (x) ε - dưới vi phân của f theo x

Mở đầu

Bài toán tối ưu hàm lồi mạnh với ràng buộc lồi là lớp bài toánquan trọng của bài toán quy hoạch lồi Bài toán này có nhiều ứng dụngtrong các vấn đề thực tế Ngoài ra đây là bài toán xuất hiện như bàitoán phụ trong các phương pháp giải các bài toán tối ưu lồi tổng quát,cũng như các bài toán khác như bài toán cân bằng, các mô hình kinh tế,

kĩ thuật Chính vì thế bài toán cực tiểu hàm lồi mạnh là một trongnhững vấn đề quan trọng được nhiều nhà toán học trong và ngoài nướcnghiên cứu, nhằm mục đích đưa ra những thuật toán hiệu quả để giảilớp bài toán này Trong các phương pháp giải, phương pháp tách có rấtnhiều ưu điểm, đặc biệt phương pháp này cho phép tách các ràng buộcphức tạp thành các ràng buộc đơn giản dễ tính toán hơn Vì vậy tôithực hiện đề tài Một phương pháp tách giải một lớp bài toán tối ưu lồimạnh

Luận văn được chia làm 2 chương:

Chương 1: Bài toán tối ưu lồi

Chương này trình bày một số kiến thức cơ bản về giải tích lồi, phátbiểu bài toán tối ưu, sự tồn tại nghiệm và điều kiện tối ưu

Chương 2: Một thuật toán tách giải bài toán tối ưu lồi mạnh

Chương này trình bày chi tiết về toán tử chiếu lên tập lồi đóng và tínhchất của toán tử chiếu; thuật toán chiếu dưới đạo hàm Cuối chương

là thuật toán chiếu tách để giải một số bài toán tối ưu lồi mạnh qua

m

T

j=1

Nhân dịp này tôi xin bày tỏ lòng biết ơn sâu sắc tới GS TSKH LêDũng Mưu, người thầy đã tận tâm, nhiệt tình hướng dẫn, cung cấp tàiliệu, truyền đạt cho tôi kiến thức trong quá trình học tập và luôn giúp

đỡ, động viên tôi hoàn thành luận văn

Tôi xin trân trọng cảm ơn Ban giám hiệu, Phòng Đào tạo, Khoa Toán– Tin trường Đại học Khoa học, Đại học Thái Nguyên cùng các thầy,

cô giáo tham gia giảng dạy cao học khóa 2014 – 2016 đã quan tâm vàgiúp đỡ tôi trong suốt quá trình học tập tại trường

Tôi xin cảm ơn trường Đại học Hạ Long – Quảng Ninh và gia đình

đã tạo điều kiện tốt nhất cho việc học tập của tôi Cảm ơn bạn bè vàđồng nghiệp đã hỗ trợ tôi trong việc hoàn thành luận văn này

Thái Nguyên, tháng 10 năm 2016

Học viên

Nguyễn Văn Mạnh

Chương 1

Bài toán tối ưu lồi

Chương này trình bày một số kiến thức cơ bản về giải tích lồi,giới thiệu bài toán tối ưu, sự tồn tại nghiệm tối ưu, điều kiện tối ưu nhưtối ưu không ràng buộc, tối ưu có ràng buộc và điều kiện tối ưu Kuhn

- Tucker Nội dung của chương được trích dẫn chủ yếu từ tài liệu thamkhảo [1]; [2]; [3] và [5]

∀x, y ∈ D, ∀λ ∈ R ⇒ λx + (1 − λ)y ∈ D

D = M + a, M ⊆ Rn, a ∈ Rn

Định nghĩa 1.3 Thứ nguyên (chiều) của một tập affine D là thứ

được gọi là nửa không gian mở

và chỉ khi

∀x, y ∈ D, ∀λ ∈ [0, 1] ⇒ λx + (1 − λ)y ∈ D

Định lý 1.1 Tập lồi là đóng với phép giao, phép cộng, phép nhân với

Định nghĩa 1.8 Một tập được gọi là tập lồi đa diện, nếu nó là giaocủa một số hữu hạn các nửa không gian đóng.

∀λ > 0, ∀x ∈ D ⇒ λx ∈ D

Một nón được gọi là nón nhọn nếu nó không chứa đường thẳng Mộtnón được gọi là nón lồi nếu nó đồng thời là tập lồi Nếu nón lồi này lại

là một tập lồi đa diện thì ta nói nó là tập lồi đa diện

(i) Tập

ND(x0) := {ω ∈Rn : ω, x − x0 ≤ 0, ∀x ∈ D}

(ii) Tập

NDε(x0) := {ω ∈ Rn : ω, x − x0 ≤ ε, ∀x ∈ D}

Định nghĩa 1.14 Cho hai tập C và D, ta nói rằng siêu phẳng

a − x0, x − x0 ≤ 0, ∀x ∈ C

Chứng minh

Xét

C − D := {x − y |x ∈ C, y ∈ D }

Đặt E := cl (C − D) Với mọi a ∈ ri(C − D), do 0 /∈ C − D, nên điểm

C − D, suy ra 0 /∈ E hoặc 0 ∈ E\riE

x0 ∈ E : t = 0 − x0 6= 0 sao cho t, x − x0 ≤ 0, ∀x ∈ E

⇒ ht, zi ≤ 0, ∀z ∈ E ⇒ sup ht, zi ≤ 0

⇒ ht, x − yi ≤ 0, ∀x ∈ C, ∀y ∈ D

Chứng minh

Đặt E := C − D, suy ra E đóng

yk = xk − zk → x0 − z0

C ∩ D = ∅, nhưng C và D không tách mạnh được.

y ≥ 0 thuộc Rm sao cho a = ATy

Ý nghĩa hình học của bổ đề Farkas: siêu phẳng đi qua gốc tọa độ

ha, xi = 0 để nón Ax ≥ 0 về một phía của nó khi và chỉ khi vectơ pháp

A

1.2 Hàm lồi

Hàm f (x) = ex lồi chặt trên R, nhưng không lồi mạnh.

C ∩ D

Một số hàm lồi có thể không liên tục tại một điểm trên biên miềnxác định của nó Tuy nhiên, nó phải liên tục tại mọi điểm trong củatập đó theo định lý sau:

Tính chất sau đây đặc trưng cho một hàm lồi khả vi, và thuận lợi

f tại a

f (x) + h∇f (x), y − xi ≤ f (y), ∀x, y ∈ D

x ∈ D ma trận Hessian H(x) của f tại x xác định không âm, tức là

yTH(x)y ≥ 0, ∀x ∈ D, y ∈ Rn

và chỉ khi ma trận của nó xác định dương

Tính khả vi của một hàm lồi giữ vai trò quan trọng trong các bàitoán tối ưu hóa Lớp các hàm lồi có những tính chất khả vi rất đẹp mà

khái niệm sau:

∂f (x0) := {ω ∈ Rn : hω, x − x0i ≤ f (x) − f (x0), ∀x ∈ Rn}

Cũng có trường hợp tồn tại những điểm x∗ tại đó f không có dưới

hàm lồi ta có định lý sau:

f0(x, d) := lim

f (x + λd) − f (x)

λ

nếu giới hạn tồn tại

Nói chung một hàm lồi không nhất thiết khả vi tại mọi điểm Dưới

vi phân là một khái niệm mở rộng của đạo hàm trong trường hợp hàm

1.3 Bài toán tối ưu lồi

nghiệm của một hệ bất đẳng thức hoặc đẳng thức có dạng

D := {x ∈ X : gj(x) ≤ 0, hi(x) = 0, j = 1, , m; i = 1, , p}, (1.1)trong đó

∅ 6= X ⊆ Rn; gj, hi :Rn → R, j = 1, , m; i = 1, , p

các ràng buộc là trơn (khả vi)

Bài toán (P) có rất nhiều ứng dụng trong các lĩnh vực khác nhau Ví

dụ, trong kinh tế nó là bài toán xác định phương án sản xuất sao chochi phí thấp nhất Trong ví dụ này, là phương án sản xuất mà mỗi tọa

tìm phương án sản xuất trong tập hợp các phương án chấp nhận được

f (x∗) ≤ f (x), ∀x ∈ U ∩ D

và x∗ gọi là nghiệm tối ưu toàn cục của (P) nếu

f (x∗) ≤ f (x), ∀x ∈ D

cục và tập nghiệm tối ưu là lồi (có thể rỗng)

Xét bài toán tối ưu toàn cục (P) Các khả năng xảy ra đối với bài toán(P):

• D = ∅ (không có giải pháp chấp nhận);

x∈Df (x) = −∞);

• inf

x∈Df (x) > −∞ nhưng giá trị cực tiểu không đạt được trên D;

x∈D f (x)

Định lý 1.10 Điều kiện cần và đủ để tồn tại nghiệm tối ưu toàn cụccủa bài toán (P) là

thì bài toán (P) có nghiệm tối ưu

Đặt D(a) := {x ∈ D : f (x) ≤ f (a)} với a ∈ D Rõ ràng, D(a) đóng

Hệ quả 1.2 Nếu f là nửa liên tục trên trên D và thỏa mãn điều kiệnbức sau:

2 khi x = 0 là nửa liên tục trên trên R

Tuy nhiên các hàm này không liên tục trên R

(không nhất thiết compact) luôn tồn tại duy nhất điểm cực tiểu trêntập đó

được viết lại thành bài toán không ràng buộc:

min {f (x) + δD(x), x ∈ Rn} (UP)

0 ∈ ∂(f (x∗) + δD(x∗))

Theo định lý Moreau - Rockafellar, ta có:

0 ∈ ∂f (x∗) + ∂δD(x∗)

Từ 0 ∈ ∂δD(x∗) = ND(x∗) = {ω : hω, x − x∗i ≤ 0, ∀x ∈ D} Do vậy

0 ∈ ∂f (x∗) + ND(x∗)

nghiệm tối ưu của bài toán (P) thì

0 ∈ ∂f (x∗)

1.4 Tối ưu có ràng buộc

Đối ngẫu là một phần quan trọng của bài toán tối ưu Có rất nhiềukiểu đối ngẫu, nhưng đối ngẫu Lagrange được sử dụng rộng rãi hơn cả.Đối ngẫu Lagrange dựa trên cơ sở hàm Lagrange Ta xét bài toán

f (x) ≥ d(y)

f (x∗) ≤ d(y∗)

Từ Định nghĩa 1.20 ta thấy rằng, nếu bài toán (D) là đối ngẫu chính

Chứng tỏ (LD) là đối ngẫu của bài toán (P)

Nhận xét 1.4 Nhìn chung, một cặp đối ngẫu chưa chắc đã là đối ngẫuchính xác như ví dụ sau đây sẽ chỉ ra

Vậy cặp đối ngẫu là không chính xác

Vậy cần thêm điều kiện gì để hai bài toán (P) và (LP) là cặp đối ngẫuchính xác? Ta có định lí sau:

Định lý 1.15 (Đối ngẫu chính xác) Giả sử

(i) (P) có một lời giải tối ưu;

Do f và gj (j = 1, , m) lồi nên tập A là lồi Giả sử x∗ là nghiệm tối

ưu của bài toán (P) thì

(f (x∗), 0) /∈ A

αt + yTz ≥ αf (x∗), ∀(t, z) ∈ A (1.3)

Thay (t, z) = (t0, z) vào (1.3) và cho ξ → +∞ Ta có vế trái bằng −∞

Chứng minh tương tự ta chỉ ra được α ≥ 0 Hơn nữa α > 0 vì nếu

α = 0 thì y 6= 0 Trong trường hợp này, từ (1.4) ta có:

là nghiệm tối ưu của bài toán và

Định lý 1.16 (Karush-Kuhn-Tucker) Giả sử (P) là bài toán tối

0 (i = 0, 1, , m) và µ∗j (j = 1, 2, , k) không đồng thời bằng 0 sao cho

trên X thì λ∗0 > 0 và các điều kiện đạo hàm triệt tiêu và điều kiện bù

toán (P)

Chứng minh

C := {(λ0, , λm, µ1, , λk) :(∃x ∈ X) : f (x) − f (x∗) < λ0, gi(x) ≤ λi, hj(x) = µj,

(i = 1, , m; j = 1, , k)}

Do X 6= ∅ lồi; f, gi là các hàm lồi và hj là hàm affine trên X nên C là

cho f (x) < f (x∗) Điều này mâu thuẫn với giả thiết x∗ là nghiệm tối ưu

0, 1, , k) không đồng thời bằng 0 sao cho:

Nếu λ0, , λm > 0 thì thay x = x∗ ta được:

Điều kiện đạo hàm triệt tiêu được chứng minh Để chứng minh điều

(ε, , ξ, ε, , ε, 0, , 0) ∈ C, (ξ ở vị trí i + 1)

vào bất đẳng thức (1.7) ta được:

Ví dụ 1.6 Xét bài toán quy hoạch lồi:

minf (x) = 2x21 + 3x22 + 4x1x2 − 6x1 − 3x2

,

; ∇g1 =

"

11

#

"

−10

#

+ u2

"

23

#

+ u3

"

−10

#

Thay vào hệ trên:

#

là phương án tối ưu toàn cục

Ví dụ 1.7 Xét bài toán quy hoạch lồi:

Xét x∗ =

"

24

#

là phương án tối ưu toàn cục của bài toán đã cho

là thuật toán chiếu tách để giải một số bài toán tối ưu lồi mạnh qua

m

T

j=1

sẽ dễ dàng hơn Nội dung của chương được trích dẫn chủ yếu từ tài liệutham khảo [1]; [2]; [3]; [4] và [5]

2.1 Toán tử chiếu lên tập lồi đóng

đặt:

dD(y) := inf

x∈D||y − x||

Theo định nghĩa, ta thấy rằng hình chiếuPD(y) củay trên D là nghiệmcủa bài toán tối ưu

mọi x ∈ D

Chứng minh

Nếu y ∈ C thì rõ ràng:

P (y) = y, dC(y) = 0

inf imum tìm được một dãy xk ⊂ C sao cho

||x1 − y|| = ||x2 − y|| = dC(y)

Vì tập C lồi nên điểm z = 12 x1 + x2
∈ C Theo định lý Pitago ta có

a) π = PC(y)

b) y − π ∈ NC(π)

hPC(y) − y, x − PC(y)i ≥ 0, ∀x ∈ C

và

hPC(y) − y, x − PC(y)i < 0

a) ||PC(x) − PC(y)|| ≤ ||x − y||, ∀x, ∀y (tính không giãn);

b) hPC(x) − PC(y), x − yi ≥ ||PC(x) − PC(y)||2 (tính đồng bức).Chứng minh

Điều này đúng với mọi xλ ∈ C và λ ∈ (0; 1) Do đó khi cho λ tiến tới

0, ta được

hπ − y, x − πi ≥ 0, ∀x ∈ C

Vậy y − π ∈ NC(π)

||y − π||2 ≤ (y − π)T(y − x) ≤ ||y − π||||y − x||

hπ − y, x − πi ≥ 0, ∀x ∈ C

Vậy hπ − y, xi = hπ − y, πi là một siêu phẳng tựa của C tại π Siêu

2.2 Một thuật toán chiếu giải bài toán tối ưu lồi

Xét bài toán tối ưu lồi không ràng buộc (P):

Định lý 2.2 Xét bài toán tối ưu lồi không ràng buộc (P)

bài toán (P)

của bài toán (P) nghĩa là

(P) Khẳng định (ii) sẽ được chứng minh dựa vào các bổ đề dưới đây

Bổ đề 2.1 Ta có:

||xk+1 − xk|| ≤ βk, ∀k ∈ N

Từ gk ∈ ∂f (xk) ta có:

hgk, x∗ − xki ≤ f (x∗) + f (xk) (2.8)Thay (2.8) vào (2.7):

Trong một số bài toán, phương pháp trên nhìn chung việc tính hình

F : H → 2H là một ánh xạ đa giá trị và D ⊆ domF

kết quả dưới đây

Ta có thuật toán dưới đây là một sự phối hợp giữa phương pháp dient và phương pháp lặp Mann-Kranosel’skii.

là hằng số Lipschitz của đạo hàm:

||∇f (x) − ∇f (x0)|| ≤ L||x − x0||, ∀x, x0 ∈ Rn

Thuật toán trên có thể kéo dài vô hạn, cũng có thể dừng giữa chừngkhi

xk = yk = xk+1

Thật vậy, theo định nghĩa của yk, xk+1, P (xk), ta có:

Như vậy xk là bị chặn Mà lim

α2kg∗k2

− 2λkα

# Chọn

x0 = (−1, 0) ∈ D ⇒ g0 =

"

−20

#

− 16

"

−20

y1 = x1 − α1g1 =

"

−230

#

− 16

"

−430





−490



2.

12

""

−10

#

+

3 3 4

##

=

36 3 16

#

⇒ g2 =

18 3 4

#

− 16

18 3 4

#

=

54 1 16

#

⇒ x3 = λ2y2 + (1 − λ2)µ1PD1(x2) + µ2PD2(x2)

= 13

"

−23 54 1 16

#

+ 1

2.

23

√ 9193



36 3 4

# Chọn

x0 = (1, 0) ∈ D ⇒ g0 =

"

20

#

− 111

"

20

""

10

#

+

"

00

""

10

#

+

"

00

Kết luận

Luận văn đã trình bày các vấn đề sau:

1 Trình bày các kiến thức cơ bản nhất về tập lồi, hàm lồi, hàm lồimạnh

2 Phát biểu bài toán tối ưu, sự tồn tại nghiệm tối ưu và các điềukiện tối ưu không ràng buộc, tối ưu có ràng buộc, điều kiện Kuhn -Tucker và các ví dụ minh họa

3 Trình bày các kiến thức cơ bản về toán tử chiếu lên tập lồi đóng,các tính chất của toán tử chiếu và thuật toán chiếu dưới đạo hàm đểgiải bài toán này và đặc biệt là thuật toán chiếu tách để giải các bài

m

T

j=1

khó, thậm chí không thực hiện được, thay vào đó ta tách, chiếu lên từng

Mặc dù đã rất cố gắng nhưng do kiến thức và thời gian có hạn nênkết quả trong luận văn còn nhiều hạn chế và chắc chắn không tránhkhỏi những thiếu sót, rất mong nhận được nhiều ý kiến đóng góp quýbáu của thầy cô và bạn bè đồng nghiệp

Tài liệu tham khảo

Tài liệu Tiếng Việt

trình Giải tích lồi ứng dụng, NXB Đại học Quốc gia Hà Nội

tuyến, NXB Đại học Quốc gia Hà Nội

Tài liệu Tiếng Anh

equilibrium problems involving nonexpansive mappings, Optimization(will publish)

problems with convergence rate O(1/ k2), Soviet Math Dokl, 27(2), pp

372 - 377