Một số phương pháp cơ bản giải quy hoạch lồi

Một số phương pháp cơ bản giải quy hoạch lồi

TRƯỜNG ĐẠI HỌC KHOA HỌC

NGUYỄN ANH TUẤN

MỘT SỐ PHƯƠNG PHÁP CƠ BẢN

GIẢI QUY HOẠCH LỒI

LUẬN VĂN THẠC SĨ TOÁN HỌC

Thái Nguyên - Năm 2011

TRƯỜNG ĐẠI HỌC KHOA HỌC

NGUYỄN ANH TUẤN

MỘT SỐ PHƯƠNG PHÁP CƠ BẢN

GIẢI QUY HOẠCH LỒI

Chuyên ngành: TOÁN ỨNG DỤNG

Mã số : 60.46.36

LUẬN VĂN THẠC SĨ TOÁN HỌC

NGƯỜI HƯỚNG DẪN KHOA HỌCGS.TSKH LÊ DŨNG MƯU

Thái Nguyên - Năm 2011

Mục lục

Trang phụ bìa

Mục lục ii

Lời cảm ơn 1 Mở đầu 1 1 Kiến thức cơ bản về tập lồi và hàm lồi 3 1.1 Tập lồi 3

1.2 Hàm lồi 7

1.2.1 Hàm lồi và hàm lõm 7

1.2.2 Hàm lồi liên tục 11

1.2.3 Dưới vi phân 13

1.2.4 Hàm lồi mạnh 17

2 Các phương pháp giải quy hoạch lồi không ràng buộc 20 2.1 Bài toán quy hoạch lồi và các tính chất cơ bản 20

2.2 Thuật toán hướng đạo hàm (dốc nhất) giải quy hoạch lồi 25

2.3 Phương pháp Newton 28

3 Phương pháp giải quy hoạch lồi có ràng buộc 31 3.1 Bài toán quy hoạch lồi có ràng buộc và điều kiện tối ưu 31

3.1.1 Bài toán quy hoạch lồi có ràng buộc 31

3.1.2 Điều kiện tối ưu 33

3.1.3 Định lý (Karush-Kuhn-Tucker) 35

3.1.4 Định lý (Kuhn-Tucker) 39

3.2 Phương pháp hàm phạt giải quy hoạch lồi có ràng buộc 41

3.2.1 Phương pháp hàm phạt điểm trong 42

3.2.2 Phương pháp hàm phạt điểm ngoài 45

3.3 Phương pháp Frank – Wolfe 47

Lời cảm ơn

Nghiên cứu khoa học là một chặng đường đầy khó khăn và thử thách.Sau hơn một năm làm luận văn, tôi đã trải nghiệm được rất nhiều điều,rút ra được những bài học bổ ích cho cuộc sống

Công trình được hoàn thành bên cạnh sự cố gắng của cá nhân là sựgiúp đỡ tận tình của các thầy cô giáo, của đồng nghiệp, của bạn bè vànhững người thân

Trước tiên, tôi xin bày tỏ lòng kính trọng và biết ơn sâu sắc tớiGS.TSKH Lê Dũng Mưu – người thầy đã trực tiếp hướng dẫn, động viên

và giúp đỡ tôi trong quá trình học tập và nghiên cứu để hoàn thành luậnvăn này Kính chúc thầy và gia đình luôn mạnh khỏe, hạnh phúc !

Tôi xin gửi lời cảm ơn tới các thầy cô giáo thuộc bộ môn Toán - Tin,phòng Đào tạo và quan hệ Quốc tế, các cán bộ khoa Sau đại học trườngĐại học Khoa học – Đại học Thái Nguyên đã dạy dỗ, chỉ bảo tôi trongsuốt hai năm học vừa qua

Tôi xin cảm ơn các bạn học viên Cao học Toán khóa 3 đã động viên,giúp đỡ tôi trong quá trình học tập và rèn luyện tại trường, cũng như trongquá trình nghiên cứu để hoàn thành luận văn

Tôi xin được bày tỏ sự cảm ơn chân thành của mình tới bạn bè đồngnghiệp, tới những người thân trong gia đình đã động viên, giúp đỡ tôi vềmọi mặt để tôi có thể hoàn thành khóa học và thực hiện luận văn này.Mặc dù đã có nhiều cố gắng nhưng luận văn khó tránh khỏi những

thiếu xót và hạn chế Tác giả mong nhận được những ý kiến đóng góp củacác thầy cô và bạn đọc để luận văn được hoàn thiện hơn.

Xin trân trọng cảm ơn !

Thái Nguyên, 15 tháng 09 năm 2011

Người thực hiệnNguyễn Anh Tuấn

Mở đầu

Quy hoạch toán học là một bộ môn quan trọng của toán học ứng dụng.Lớp bài toán quan trọng của quy hoạch toán học là quy hoạch tuyến tính.Tuy nhiên tính chất tuyến tính nhiều khi không thỏa mãn trong nhữngtrường hợp thực tế Một tính chất khá gần với tính chất tuyến tính là tínhlồi Trong đó quy hoạch lồi là lớp bài toán tối ưu có cấu trúc lồi Một tínhchất cơ bản nhất của bài toán quy hoạch lồi là cực tiểu địa phương cũng

là cực tiểu toàn cục Điều này cho phép các công cụ địa phương như giớihạn, đạo hàm được sử dụng rất hiệu quả cho quy hoạch lồi Chính vì đó

mà tuy mới hình thành và phát triển chưa lâu, nhưng quy hoạch lồi đã cónhiều kết quả quan trọng cả về lý thuyết và phương pháp giải

Bản luận văn cao học này nhằm mục đích chủ yếu giới thiệu các phươngpháp cơ bản nhất để giải quy hoạch lồi không ràng buộc Đó là các phươngpháp hướng giảm, sử dụng đạo hàm cấp một và đạo hàm cấp hai của hàmlồi khả vi Tuy nhiên luận văn cũng trình bày thêm các phương pháp hàmphạt, cho phép chuyển việc giải bài toán quy hoạch lồi có ràng buộc vềviệc giải các bài toán quy hoạch lồi không ràng buộc Để thấy rõ thêm vaitrò của các phương pháp giải quy hoạch lồi không ràng buộc, trong luậnvăn cũng có trình bày một thuật toán cơ bản giải trực tiếp quy hoạch lồi

có ràng buộc tuyến tính, đó là phương pháp Frank-Wolf

Bản luận văn gồm có 3 chương Chương 1 nhằm mục đích giới thiệucác kiến thức cơ bản về hàm lồi, tập lồi, sẽ được sử dụng trong các chươngsau Chương 2 giới thiệu về bài toán quy hoạch lồi, một số khái niệm, định

lý quan trọng và một số phương pháp giải bài toán Chương 3 giới thiệubài toán quy hoạch lồi có ràng buộc và một số định lý, tính chất quantrọng từ đó đưa ra một số phương pháp giải bài toán.

Chương 1

Kiến thức cơ bản về tập lồi và hàm lồi

Trong chương này chúng ta nghiên cứu một số kiến thức cơ bản về tậplồi và hàm lồi Trong đó các khái niệm và kết quả được lấy từ các tài liệu[1], [3], [4]

Cho hai điểm a, b ∈ Rn Tập tất cả các điểm x = (1 − λ)a + λb với

06 λ 6 1 gọi là đoạn thẳng (đóng) nối a và b, và được ký hiệu là [a, b]

Định nghĩa 1.1 Một tập C ⊆ Rn được gọi là một tập lồi nếu nó chứatrọn đoạn thẳng nối hai điểm bất kỳ thuộc nó Tức là, nếu(1−λ)a+λb ∈ C

với mọi a, b ∈ C và mọi 0 6 λ 6 1

Định nghĩa 1.2 Điểm x ∈ Rn có dạng

x = λ1a1 + λ2a2 + + λkak =

kX

i=1

λi = 1

được gọi là một tổ hợp lồi của các điểm a1, a2, , ak

Ta dễ thấy rằng tập C là lồi khi và chỉ khi nó chứa mọi tổ hợp lồi củacác phần tử thuộc nó.

Thứ nguyên (hay số chiều) của một tập lồi C, ký hiệu dim C, là thứnguyên hay số chiều của bao afin của nó Một tập lồi C trong Rn gọi là

có thứ nguyên đầy nếu dim C = n

i=1

λi = 1

được gọi là tổ hợp afin của các điểm a1, a2, , ak

M là một tập afin khi và chỉ khi M chứa mọi tổ hợp afin các phần tửthuộc nó

Giao của một họ bất kỳ các tập afin cũng là một tập afin

Cho E là một tập bất kỳ trong Rn, có ít nhất một tập afin chứa E, cụthể là Rn

Mệnh đề 1.1 Tập hợp C là lồi khi và chỉ khi nó chứa mọi tổ hợp lồi củacác điểm của nó Tức là: C lồi khi và chỉ khi ∀k ∈ N, ∀λ1, , λk > 0 :

kX

j=1

λj = 1, ∀x1, , xk ∈ C ⇒

kX

j=1

λjxj ∈ C

Chứng minh Điều kiện đủ là hiển nhiên từ định nghĩa Ta chứngminh điều kiện cần bằng quy nạp theo số điểm Với k = 2, điều cần chứngminh suy ra ngay từ định nghĩa của tập lồi và tổ hợp lồi Giả sử mệnh đềđúng với k - 1 điểm Ta cần chứng minh với k điểm

Giả sử x là tổ hợp lồi của k điểm x1, , xk ∈ C Tức là

x =

kX

j=1

λjxj, λj > 0 ∀j = 1, , k,

j=1

λjxj + λkxk = ξ

k−1X

j=1

λj = 1,

nên x là một tổ hợp lồi của hai điểm y và xk đều thuộc C Vậy x ∈ C.Tập các tập lồi là đóng với các phép giao, phép cộng đại số và phépnhân tích Descartes Cụ thể, ta có mệnh đề sau:

Mệnh đề 1.2 Nếu A, B là các tập lồi trong Rn, C là lồi trong Rm, thìcác tập sau là lồi:

A ∩ B := {x |x ∈ A, x ∈ B } ,

λA + βB := {x |x = αa + βb, a ∈ A, b ∈ B; α, β ∈ R } ,

A × C := x ∈ Rn+m|x = (a, c) : a ∈ A, c ∈ C

Ví dụ 1.1 Các tập sau đây đều là các tập lồi:

a) Các tập afin (nói riêng, các siêu phẳng);

b) Các nửa không gian đóng, các nửa không gian mở;

c) Hình cầu đóng B(a, r) = {x ∈ Rn : kx − ak 6 r};

d) Hình cầu mở B(a, r) = {x ∈ Rn : kx − ak < r} với a ∈ Rn, r > 0

Định nghĩa 1.4 Ta nói hai tập lồi khác rỗng C, D trong Rntách được bởisiêu phẳng H = {x ∈ Rn : ht, xi = α} với t ∈ Rn\ {0} và α ∈ R, nếu

infx∈C

Định nghĩa 1.5 Ta nói hai tập lồi khác rỗng C, D trong Rn là tách hẳnbởi siêu phẳng H = {x ∈ Rn : ht, xi = α}, nếu

infx∈C

Định nghĩa 1.6 Một tập được gọi là tập lồi đa diện, nếu nó là giao củamột số hữu hạn các nửa không gian đóng

Như vậy, theo định nghĩa, tập lồi đa diện là tập hợp nghiệm của một

hệ hữu hạn các bất phương trình tuyến tính Dạng tường minh của một

tập lồi đa diện được cho như sau:

là một tập lồi đa diện

1.2.1 Hàm lồi và hàm lõm

Định nghĩa 1.7 Hàm f : S → (−∞, +∞] xác định trên một tập hợp lồi

S ⊆ Rn được gọi là một hàm lồi trên S nếu với mọi x1, x2 ∈ S và mọi sốthực λ ∈ [0, 1] ta có

và vừa lồi vừa lõm trên S Một hàm afin trên Rn có dạng f (x) = ha, xi + α

với a ∈ Rn, α ∈ R, bởi vì với mọi x1, x2 ∈ Rn và mọi λ ∈ [0, 1] ta có

f (1 − λ)x1 + λx2 = (1 − λ)f (x1) + λf (x2)

Tuy nhiên, hàm afin không lồi chặt hay lõm chặt

Định nghĩa 1.8 Cho hàm bất kỳ f : S → (−∞, +∞] với S ⊆ Rn, cáctập

ta nói hàm f là chính thường Nói cách khác, f chính thường nếu domf 6= ∅

và f hữu hạn trên domf

Có thể chứng minh rằng hàm f lồi trên S khi và chỉ khi

a) Tập trên đồ thị epif là một tập lồi

b)

f (

mX

k=1

λkxk) 6

mX

k=1

λkf (xk)

với mọi xk ∈ S,

mP

Vì vậy để đơn giản ta thường xét hàm lồi trên toàn Rn

Sau đây là một số ví dụ quen thuộc về hàm lồi Cho C ⊂ Rn là mộttập lồi khác rỗng, các hàm sau là lồi:

Hàm chuẩn Euclid kxk =phx, xi, x ∈ Rn

Hàm chỉ của C : δC(x) =



0 khi x ∈ C,+∞ khi x 6= C

Hàm tựa của C : sc(x) = supy∈Chy, xi (cận trên của xTy trên tập C).Hàm khoảng cách từ điểm x ∈ Rn tới C : dc(x) = infy∈Ckx − yk

Bốn phép toán cơ bản bảo toàn hàm lồi (suy trực tiếp từ định nghĩa)a) Nếu fi : Rn → R (i = 1, , m) là hàm lồi thì α1f1 + + αmfm

lồi với mọi αi > 0 và lồi chặt nếu ít nhất một trong các hàm fi lồi chặtvới αi > 0

b) Nếu fi (i ∈ I): Rn → R là hàm lồi thì f (x) = supi∈Ifi(x) là hàmlồi

c) Nếu A : Rn → Rm là biến đổi tuyến tính và g : Rm → R là hàmlồi thì hàm hợp f (x) = g(Ax) là hàm lồi

d) Nếu g : D ⊆ Rn → R là hàm lồi và h : R → R là hàm lồi khônggiảm thì hàm hợp f (x) = h(g(x)) là hàm lồi

Ví dụ 1.2 Theo d), hàm f (x) = c1eg1 (x)+ + cmegm (x)(x ∈ Rn) lồi nếumọi ci > 0 và mọi hàm gi(x) lồi (chẳng hạn f (x1, x2) = ex1 +x 2 + 2ex1 −x 2

Từ đó suy ra các kết luận của định lý.

Tuy nhiên, mệnh đề đảo của định lý trên không đúng

Một hàm f mà mọi tập mức dưới là tập lồi gọi là một hàm tựa lồi

Ví dụ 1.3 f (x) = x3 hay f (x) = p|x| trên R là hàm tựa lồi nhưng khônglồi

Định lý 1.4 Cho C là một tập lồi, khác rỗng trong Rn và f : Rn → R làmột hàm lồi Mọi điểm cực tiểu địa phương của f trên C đều là điểm cựctiểu toàn cục Tập tất cả các điểm cực tiểu của f trên C:

Argminx∈Cf (x)

là một tập con lồi của C

Chứng minh Giả sử x0 ∈ C là một điểm cực tiểu địa phương của

f trên C và U (x0) là một lân cận của x0 sao cho f (x0) 6 f (x) với mọi

do tính lồi chặt của f nên f (12x1+ 12x2) < f (x1) = f (x2), điều này khôngthể xảy ra

Ví dụ 1.4 Hàm lồi chặt một biến f (x) = x2 có duy nhất một điểm cựctiểu x∗ = 0 Còn hàm lồi chặt f (x) = ex(x ∈ R) không có điểm cực tiểunào.

Định lý 1.6 Hàm f (x), x ∈ Rn là hàm lồi khi và chỉ khi hàm một biến

số ϕ(λ) ≡ f (x + λd) là hàm lồi theo λ với mỗi x, d ∈ Rn cố định

Chứng minh Điều kiện cần là rõ ràng Ta chứng minh điều kiện đủ.Giả sử ϕ(λ) là hàm lồi với mọi x, d ∈ Rn Lấy bất kỳ x, y ∈ Rn và đặt

d = y − x Khi đó với mọi λ ∈ [0, 1] ta có

Vì thế

f (x0+x) −f (x0) 6 λ1[f (x0+ d1)−f (x0) ]+ +λ2n[f(x0 +d2n) - f (x0)].Như vậy

f (x0 + x) - f (x0)

6 λ1 f (x0 + d1) − f (x0) + + λ2n ... f(x) lồi mạnh hàm f (x) −ρ.kxk2 lồi Rõ ràng hàm số lồi mạnh lồi chặt, điều ngượclại khơng Chẳng hạn, hàm ex với x ∈ R, lồi chặt nhưngkhông lồi mạnh

Các hàm lồi mạnh... 1.11 Hàm f(x) xác định tập lồi C ⊂ Rn gọi

là lồi mạnh, tồn hệ số ρ > (hệ số lồi mạnh) cho với

∀x, y ∈ C số λ ∈ [0, 1] ta có bất đẳng thức:

f [λx + (1 − λ)y] λf... 1.1 Một hàm lồi thường gián đoạn nhữngđiểm biên miền hữu dụng

Ví dụ 1.5 Xét hàm biến số xác định tập D = [0, + ∞) códạng: f (x) = ex với x > f(0) = Dễ thấy epi f tập lồi