Toán tử chiếu và ứng dụng vào bài toán tối ưu lồi không trơn

MỞ ĐẦUGiải tích lồi nghiên cứu về tập lồi và hàm lồi có một vị trí quan trọngtrong toán học, liên quan đến hầu hết các lĩnh vực khác nhau của toánhọc ứng dụng như trong tối ưu hóa, bài t

TRƯỜNG ĐẠI HỌC KHOA HỌC

BÙI VĂN HOAN

TOÁN TỬ CHIẾU VÀ ỨNG DỤNG VÀO BÀI

TOÁN TỐI ƯU LỒI KHÔNG TRƠN

LUẬN VĂN THẠC SĨ TOÁN HỌC

Thái Nguyên - 2016

TRƯỜNG ĐẠI HỌC KHOA HỌC

BÙI VĂN HOAN

TOÁN TỬ CHIẾU VÀ ỨNG DỤNG VÀO BÀI

TOÁN TỐI ƯU LỒI KHÔNG TRƠN

LUẬN VĂN THẠC SĨ TOÁN HỌC Chuyên ngành: Toán ứng dụng

NGƯỜI HƯỚNG DẪN KHOA HỌC

GS.TSKH LÊ DŨNG MƯU

Thái Nguyên - 2016

2.1 Bài toán tối ưu lồi 242.1.1 Phát biểu bài toán tối ưu lồi 242.1.2 Sự tồn tại nghiệm của bài toán tối ưu lồi 262.1.3 Điều kiện tối ưu với ràng buộc hình học 292.2 Phương pháp chiếu dưới đạo hàm giải bài toán tối

ưu lồi không trơn 39

Danh mục các kí hiệu và các từ viết tắt

• Rn: Không gian Euclide n-chiều trên trường số thực

• ⟨, ⟩: Tích vô hướng

• ∥.∥: Chuẩn

• A: Bao đóng của A

• coA: Bao lồi của A

• affA: Bao affine của A

• intA: Tập hợp các điểm trong của A

• riA: Tập hợp các điểm trong tương đối của A

• N C (x): Nón pháp tuyến ngoài của C tại x

• N ϵ

C (x): ϵ-nón pháp tuyến của C tại x

• P C (x): Hình chiếu của x lên C

• d C (x): Khoảng cách từ điểm x đến tập C

• domf: Tập hợp hữu dụng của f

• epif: Trên đồ thị của f

• ∇f hay f ′ (x): Đạo hàm của f tại x

• f ′ (x, d): Đạo hàm theo phương d của f tại x.

• ∂f(x): Dưới vi phân của f tại x

• ∂ ϵ f (x): ϵ-dưới vi phân của f tại x

MỞ ĐẦU

Giải tích lồi nghiên cứu về tập lồi và hàm lồi có một vị trí quan trọngtrong toán học, liên quan đến hầu hết các lĩnh vực khác nhau của toánhọc ứng dụng như trong tối ưu hóa, bài toán cân bằng,

Bài toán cực tiểu hàm lồi trên môt tập lồi, thường được gọi là quy hoạchlồi, là lớp bài toán quan trọng của Quy hoạch toán học Bài toán này xuấthiện trong nhiều ứng dụng khác nhau Nó cũng là bài toán phụ trongnhiều phương pháp giải các bài toán tối ưu, bất đẳng thức biến phân vàcân bằng Một hướng nghiên cứu cho đến nay vẫn được quan tâm là xâydựng các phương pháp giải hữu hiệu, đặc biệt là cho bài toán tối ưu lồi,không trơn

Mục đích của luận văn này là trình bày bài toán cực tiểu hàm lồi vớiràng buộc lồi và sử dụng toán tử chiếu để giải bài toán tối ưu lồi Cụ thể,luận văn đi sâu vào việc trình bày thuật toán chiếu dưới đạo hàm, là mộtkết quả mới thu được trong thời gian gần đây

Nội dung của luận văn gồm hai chương:

Chương 1: Tập lồi, hàm lồi và toán tử chiếu

Trong chương này, ta trình bày các kiến thức về tập lồi, hàm lồi, toán tửchiếu và cùng với các tính chất đặc trưng của nó

Chương 2: Bài toán tối ưu lồi

Trong chương này, ta trình bày các khái niệm và các tính chất cơ bản củabài toán cực tiểu hàm lồi với ràng buộc lồi Đó là sự tồn tại nghiệm tối ưu

và điều kiện tối ưu của bài toán lồi trơn và không trơn Nội dung chínhcủa chương này là trình bày một thuật toán giải bài toán cực tiểu hàmkhông trơn như thuật toán chiếu dưới đạo hàm

Qua luận văn này, tôi xin bày tỏ lòng biết ơn sâu sắc tới thầy giáo hướngdẫn GS.TSKH Lê Dũng Mưu, người thầy đã tận tình hướng dẫn, giúp đỡtôi trong suốt quá trình làm và hoàn thiện luận văn Tôi cũng xin gửi lờicảm ơn tới các thầy giáo, cô giáo trong Trường Đại học Khoa học, Đại họcThái Nguyên đã tận tình giảng dạy và giúp đỡ tôi trong suốt quá trìnhhọc tập Đồng thời, tôi cũng gửi lời cảm ơn tới gia đình và bạn bè đã luônđộng viên, giúp đỡ tôi trong suốt quá trình học tập và làm luận văn tốtnghiệp

Thái Nguyên, tháng 6 năm 2016

Tác giảBùi Văn Hoan

Chương 1

Tập lồi, hàm lồi và toán tử chiếu

Trong chương này, ta trình bày những khái niệm cơ bản nhất của tập lồi,hàm lồi, toán tử chiếu và cùng với các tính chất đặc trưng của nó Nộidung của chương được trích dẫn chủ yếu từ tài liệu tham khảo [1], [2], [3]

và [4]

1.1 Tập lồi

Trong luận văn này chúng ta kí hiệu Rn là không gian Euclide thực n

chiều Một phần tử x = (x1, x2, , x n)T ∈ Rn là một vectơ cột với n

Định nghĩa 1.3 Một tập hợp C ⊂ Rn được gọi là lồi nếu:

∀a, b ∈ C, 0 ≤ λ ≤ 1 ⇒ λa + (1 − λ)b ∈ C.

Ví dụ 1.4 + Tập rỗng là một tập lồi.

+ Toàn bộ không gian là tập lồi.

+ Các không gian con là các tập lồi.

+ Các hình tam giác, hình tròn trong mặt phẳng là các tập lồi.

+ Hình cầu C = {x :∥ x ∥≤ 1} là tập lồi.

+ Đường tròn trong mặt phẳng là tập không lồi.

Một số hình vẽ về tập lồi và tập không lồi trong R2:

Chứng minh Điều kiện đủ là hiển nhiên từ định nghĩa Ta chứng minh

điều kiện cần bằng quy nạp theo số điểm Với k = 2, điều cần chứng minhđược suy ra ngay từ định nghĩa của tập lồi và tổ hợp lồi Giả sử mệnh đềđúng với k − 1 điểm Ta cần chứng minh đúng với k điểm

Giả sử x là tổ hợp lồi của k điểm x1, x2, , x k ∈ C Tức là

nên x là tổ hợp lồi của hai điểm y và x k đều thuộc C Vậy x ∈ C.

Mệnh đề 1.7 Nếu A, B là các tập lồi trong Rn , C là lồi trong Rm thì các tập sau là tập lồi:

A ∩ B := {x|x ∈ A và x ∈ B},

αA + βB := {x : x = αa + βb, a ∈ A, b ∈ B},

A × C := {x ∈ Rn+m |x = (a, c), a ∈ A, c ∈ C}.

Định nghĩa 1.8 Tập C được gọi là tập affine nếu nó chứa đường thẳng

đi qua hai điểm bất kì của nó, tức là:

Trong Rn, siêu phẳng H chia Rn thành hai nửa không gian

Định nghĩa 1.10 Nửa không gian đóng là một tập hợp có dạng

Định nghĩa 1.12 Một tập được gọi là một tập lồi đa diện nếu nó là giao

của một số hữu hạn các nửa không gian đóng.

Định nghĩa 1.13 Một điểm a của tập lồi C gọi là điểm trong tương đối nếu với mọi x ∈ C đều có một số λ > 0 để cho a + λ(x − a) ∈ C Tập các điểm trong tương đối của C được kí hiệu là ri C

Định nghĩa 1.14 Một tập C được gọi là nón nếu

∀λ > 0, ∀x ∈ C ⇒ λx ∈ C.

Định nghĩa 1.15 Tập C được gọi là nón lồi nếu C đồng thời là một nón

và là một tập lồi.

Mệnh đề 1.16 Một tập C là nón lồi khi và chỉ khi nó có các tính chất sau đây:

i) λC ⊆ C,

ii) C + C ⊆ C.

Định nghĩa 1.17 Cho C là một tập lồi trong Rn và x ∈ C

Tập N C (x) := {w|⟨w, y − x⟩ ≤ 0, ∀y ∈ C} được gọi là nón pháp tuyến ngoài của C tại x

Tập −N C (x) := {w|⟨w, y − x⟩ ≥ 0, ∀y ∈ C} được gọi là nón pháp tuyến trong của C tại x

Tập N C ϵ (x) = {w|⟨w, y − x⟩ ≤ ϵ, ϵ > 0, ∀y ∈ C} được gọi là ϵ -nón pháp tuyến của C tại x

Định nghĩa 1.18 Cho C là một tập lồi khác rỗng và x ∈ C Ta nói

d ∈ Rn là hướng chấp nhận được của C nếu tồn tại t0 sao cho

x + td ∈ C, 0 ≤ t ≤ t0 Tập tất cả các hướng chấp nhận được là một nón lồi chứa gốc Ta kí hiệu

là F C (x) , gọi là nón các hướng chấp nhận được.

Định nghĩa 1.19 Cho hai tập lồi C và D khác rỗng, ta nói siêu phẳng

Định lý 1.21 (Định lý tách 1) Cho C và D là hai tập lồi khác rỗng trong Rn sao cho C ∩ D = Ø Khi đó có một siêu phẳng tách C và D

Chứng minh Do C và D là hai tập lồi nên C − D là tập lồi Hơn nữa

ta có 0 / ∈ (C − D), vì C ∩ D = Ø Theo bổ đề trên áp dụng với x0 = 0,tồn tại véc tơ t ∈ Rn , t ̸= 0 sao cho ⟨t, z⟩ ≥ 0, ∀z ∈ C − D Vì z = x − y

Chứng minh Do C đóng và 0 / ∈ C nên tồn tại quả cầu B tâm ở gốc tọa

độ, bán kính r > 0 sao cho C ∩ B = Ø Áp dụng định lý tách 1 cho haitập C và B, ta có t ∈ Rn , t ̸= 0 và α ∈ R, sao cho

Chứng minh Giả sử C là tập compact Ta chỉ ra tập C − D là tậpđóng Thật vậy, giả sử z k ∈ C − D và z k → z Ta có z k = x k − y k, với

x k ∈ C, y k ∈ D Vì C compact nên có một dãy con x k j → x khi j → +∞.Vậy y k j = z k j − x k j → z − x ∈ D Vậy z k = x k − y k ∈ C − D Chứng tỏtập C − D là tập đóng Do 0 / ∈ C − D nên theo bổ đề trên, tồn tại t ̸= 0,sao cho

Một số hình vẽ minh họa các trường hợp tách của hai tập hợp

Hình 1.3: (a) - Hai tập lồi C và D được tách chặt bởi một siêu phẳng; (b) - Hai tập lồi C và D tách nhưng không tách mạnh; (c) - Tập C và D giao nhau bằng rỗng nhưng không thể tách được vì D

không phải tập lồi.

1.2 Hàm lồi

Trong phần này ta chỉ xét những hàm f không nhận giá trị −∞

Định nghĩa 1.25 Cho một hàm số f xác định trên tập lồi C ⊂ Rn Hàm f được gọi là hàm lồi trên C nếu

f (λx + (1 − λ)y) ≤ λf(x) + (1 − λ)f(y), ∀x, y ∈ C, ∀λ ∈ (0, 1) Hàm f được gọi là hàm lồi chặt trên C nếu

f (λx + (1 − λ)y) < λf(x) + (1 − λ)f(y), ∀x, y ∈ C, x ̸= y, ∀λ ∈ (0, 1) Hàm f được gọi là hàm lồi mạnh trên C với hệ số η > 0 nếu

+ Hàm hai biến f (x1, x2) = x21 + 2x22 là hàm lồi mạnh trên R2.

Định nghĩa 1.27 Cho hàm lồi f xác định trên tập lồi C ⊂ Rn , hàm lồi g xác định trên tập lồi D ⊂ Rn và số thực λ > 0 Các phép toán

λf, f + g, max {f, g} được định nghĩa như sau:

Định lý 1.29 Một hàm lồi xác định trên một tập lồi C thì liên tục tại mọi điểm trong của C

Sự gián đoạn của hàm lồi chỉ có thể xảy ra tại biên của tập xác định

Đạo hàm của f (x) tại x ∈ Rn đươc kí hiệu là f ′ (x) hoặc ∇f(x).

Các tính chất sau đặc trưng cho một hàm lồi khả vi và thuận tiện cho việckiểm tra tính lồi của một hàm số

Định lý 1.31 Cho f : C −→ R là hàm khả vi trên tập lồi mở C Điều kiện cần và đủ để f lồi trên C là

nếu giới hạn này tồn tại.

Định lý 1.34 Nếu f là hàm lồi trên tập lồi C thì với mọi x ∈ C và mọi

d sao cho x + d ∈ C , đạo hàm theo hướng d của f tại x luôn tồn tại và nghiệm đúng

f ′ (x, d) ≤ f(x + d) − f(x).

Ngoài ra với mỗi điểm x cố định, f ′ (x, ) là một hàm lồi trên trên tập lồi {d : x + d ∈ C}.

Từ định lý này dễ dàng suy ra rằng nếu f khả vi thì

Nói chung một hàm lồi không nhất thiết khả vi tại mọi điểm Dưới viphân là một khái niệm mở rộng của đạo hàm trong trường trường hợphàm không khả vi

Trong trường hợp ∂f (x0) chỉ gồm duy nhất một điểm thì f khả vi tại x0

Nếu x / ∈ C thì δ C (x) = + ∞, nên bất đẳng thức này luôn đúng.

Nếu x ∈ C thì

∂f (x0) = ∂δ C (x0) ={w : ⟨w, x − x0⟩ ≤ 0, ∀x ∈ C} = N C (x0).

Vậy dưới vi phân của hàm chỉ của một tập lồi C khác Ø tại một điểm

x0 ∈ C chính là nón pháp tuyến ngoài của C tại x0.

Cũng có trường hợp tồn tại những điểm x0 tại đóf không có dưới vi phân,nghĩa là tập ∂f (x0) = Ø

Đối với hàm lồi ta có đinh lý sau:

Định lý 1.37 Cho f là hàm lồi (hữu hạn) trên tập lồi C Lúc đó f có dưới vi phân tại mọi điểm thuộc riC

Từ định lý này suy ra rằng nếu f là một hàm lồi hữu hạn trên toànkhông gian Rn thì nó có dưới vi phân tại mọi điểm, vì riRn = Rn

Cho C ⊂ Rn Ta nhớ lại là nón pháp tuyến (ngoài) của tập C tại x0 làtập hợp

N C (x0) ={w|w T (x − x0) ≤ 0, ∀x ∈ C}.

Hình 1.4: Hình chiếu vuông góc.

Mệnh đề 1.39 Cho C là một tập lồi đóng khác rỗng Khi đó:

i) Với mọi y ∈ Rn hai tính chất sau là tương đương:

a) π = P C (y),

b) y − π ∈ N C (π).

ii) Với mọi y ∈ Rn , hình chiếu P C (y) luôn tồn tại và duy nhất.

iii) Nếu y / ∈ C , thì ⟨P C (y) − y, x − P C (y) ⟩ = 0 là siêu phẳng tựa của C tại P C (y) và tách hẳn y khỏi C Tức là

⟨P C (y) − y, x − P C (y) ⟩ ≥ 0, ∀x ∈ C, và

⟨P C (y) − y, y − P C (y) ⟩ < 0.

iv) Ánh xạ y 7−→ P C (y) có các tính chất sau:

a) ∥ P C (x) − P C (y) ∥≤∥ x − y ∥, ∀x, y (tính không giãn) ,

b) ⟨P C (x) − P C (y), x − y⟩ ≥∥ P C (x) − P C (y) ∥2, (tính đồng bức)

Chứng minh (i)

+ Đầu tiên ta chứng minh cho a) ⇒ b)

Giả sử có a) Lấy x ∈ C và λ ∈ (0, 1) Đặt

+ Bây giờ giả sử có b) Với mọi x ∈ C, có

0≥ (y−π) T (x −π) = (y−π) T (x −y+y−π) =∥ y−π ∥2 +(y −π) T (x −y).

Vậy dãy x k bị chặn, do đó nó có một dãy con x k j hội tụ đến một điểm π

nào đó Do C đóng, nên π ∈ C Vậy

∥ π − y ∥= lim

j →+∞ ∥ x k j − y ∥= d C (y).

Chứng tỏ π là hình chiếu của y trên C

Bây giờ ta chỉ ra tính duy nhất của hình chiếu Thật vậy, nếu tồn tại haiđiểm π và π1 đều là hình chiếu của y trên C, thì y − π ∈ N C (π), y − π1 ∈

Vậy ⟨π − y, x⟩ = ⟨π − y, π⟩ là một siêu phẳng tựa của y tại π

Siêu phẳng này tách y khỏi C vì y ̸= π, nên

Cộng hai bất đẳng thức lại, ta có

⟨P (y) − P (x), P (y) − P (x) + x − y⟩ ≤ 0.

Từ đây và theo bất đẳng thức Cauchy-Schwarz, suy ra

⟨P (x) − P (y), x − y⟩ ≥∥ P (x) − P (y) ∥2 .

Đây chính là tính đồng bức cần được chứng minh

Sau đây là một số công thức xác định hình chiếu của một điểm lên siêuhộp, hình cầu và không gian con của Rn

Bài toán 1 Trong Rn, cho siêu hộp K có phương trình:

K = {x = (x1, x2, , x n)T ∈ Rn

: a i ≤ x i ≤ b i , i = 1, 2, , n },

trong đó a = (a1, a2, , a n)T , b = (b1, b2, , b n)T ∈ Rn Hãy tìm hìnhchiếu của y = (y1, y2, , y n)T lên K

Vì a i ≤ c i ≤ b i , ∀i = 1, 2, , n nên c ∈ K Ta chứng minh c là hình chiếucủa y trên K.

Vậy c là hình chiếu của y trên K

Bài toán 2 Giả sử C là hình cầu tâm I = (a1, a2, , a n)T ∈ Rn vàbán kính r:

+Nếu b / ∈ C thì hình chiếu của b lên C là giao điểm của đường thẳng nối

b và tâm I của C với mặt cầu:

Thay x i = a i + t(b i − a i) vào phương trình của S ta được:

Vì vậy y là hình chiếu của x lên C

Xác định biểu thức tọa độ của y:

Hơn nữa, theo định nghĩa A là ma trận xác định dương nên detA ̸= 0 hay

hệ phương trình trên có nghiệm duy nhất y T = A −1 b

Do đó, hình chiếu của x lên C là:

Định nghĩa 1.40 Cho C ⊂ Rn là tập lồi, f : C −→ R là hàm lồi và

ϵ ≥ 0 Xét bài toàn quy hoạch

Chứng minh Giả sử x ϵ ∈ C được gọi là điểm ϵ-tối ưu của bài toán (P ).Khi đó

Chứng tỏ x ϵ là điểm ϵ-tối ưu của bài toán (P )

Định nghĩa 1.42 Cho C là tập lồi đóng khác rỗng trong Rn , x ∈ Rn và

ϵ ≥ 0 Một điểm P x được gọi là ϵ -chiếu của x trên C nếu P x là một ϵ -tối

ưu của bài toán

trong đó P C (x) là hình chiếu của x trên C

Mệnh đề 1.43 Cho C là một tập lồi đóng khác rỗng Khi đó P x là ϵ -chiếu của x trên C khi và chỉ khi

Chương 2

Bài toán tối ưu lồi

Trong chương này, ta trình bày về bài toán tối ưu lồi, sự tồn tại nghiệmcủa bài toán tối ưu lồi, điều kiện tối ưu với ràng buộc lối Tiếp theo trìnhbày một số thuật toán dùng để giải bài toán tối ưu lồi Đó là thuật toánchiếu dưới đạo hàm giải bài toán cực tiểu hàm không trơn Các kiến thứctrình bày trong chương này được tham khảo chủ yếu từ tài liệu tham khảo[2], [3], [4] và [5]

2.1 Bài toán tối ưu lồi

Xét bài toán tìm cực tiểu một hàm lồi trên một tập lồi có dạng sau

được gọi là các ràng buộc

X ⊂ Rn là một tập lồi đóng khác rỗng và f, g i là các hàm lồi hữu hạn trên

X Hàm f được gọi là hàm mục tiêu h j là các hàm affine hữu hạn trêntập affine X Các hàm affine h j độc lập tuyến tính trên X, theo nghĩa,nếu

k

∑

j=1

µ j h j (x) = 0, ∀x ∈ X, thì µ j = 0, ∀j = 1, , k.

Bài toán(P )được hiểu là hãy tìm một điểm x ∗ sao chof (x ∗) ≤ f(x), ∀x ∈

C Mỗi điểm x ∈ C được gọi là một phương án chấp nhận được của bàitoán (P )

Do X là tập lồi, g i là các hàm lồi hữu hạn trên X, h i là các hàm affinehữu hạn trên tập affine của X nên C là một tập lồi Điểm cực tiểu của f

trên C cũng được gọi là nghiệm tối ưu của bài toán (P )

Bài toán (P ) này được gọi là một quy hoạch lồi

Bài toán (P ) với miền chấp nhận đượcC như trên gọi là trơn (khả vi) nếu

cả hàm mục tiêu và các ràng buộc đều trơn

Bài toán (P ) có rất nhiều ứng dụng trong các lĩnh vực khác nhau Ví

dụ, trong kinh tế nó là bài toán xác định phương án sản xuất sao cho chiphí thấp nhất Trong ví dụ này, x là phương án sản xuất mà mỗi tọa độ

x i của nó là số lượng sản phẩm loại i cần sản xuất, còn f (x) là chi phíứng với phương án x Bài toán (P ) trong mô hình này có nghĩa là tìm mộtphương án sản xuất trong tập hợp các phương án chấp nhận được C saocho chi phí sản xuất ứng với phương án này là thấp nhất

Định nghĩa 2.1 Điểm x ∗ được gọi là một cực tiểu địa phương của f trên

C nếu tồn tại một lân cận U của x ∗ sao cho

cực tiểu (cực đại) toàn cục của f trên C là

Argmin

x ∈C f (x)

(Argmax

Chứng minh Do domf ̸= Ø, nên có c ∈ ∂f(y) Vậy y ∈ domf Theođịnh nghĩa của dưới vi phân, ta suy ra

Xét bài toán tối ưu toàn cục (P ) Có bốn trường hợp xảy ra:

• C = Ø (không có nghiệm)

• f không bị chặn dưới trên miền C (inf

x ∈C f (x) = −∞)

• f bị chặn dưới trên C nhưng giá trị cực tiểu không đạt được trên C

• Tồn tại x ∗ ∈ C sao cho f (x ∗) = inf

x ∈C f (x).