Tập lồi
Trong luận văn này, không gian Euclide thực n chiều được ký hiệu là R^n, là không gian chứa các n chiều vectơ cột với các thành phần là các số thực Một phần tử x = (x₁, x₂, , xₙ) trong R^n được xem như một vectơ cột gồm n thành phần thực Định nghĩa 1.1 xác định rằng, một đường thẳng đi qua hai điểm a và b trong R^n là tập hợp các điểm x ∈ R^n có dạng cụ thể, tạo thành một đường thẳng trong không gian Euclide.
{x ∈ R n : x = λa+ (1−λ)b,∀λ ∈ R}. Định nghĩa 1.2 Một đoạn thẳng đi qua hai điểm a và b trong R n là tập hợp các điểm x ∈ R n có dạng
Tập lồi là một khái niệm cơ bản nhất của giải tích lồi, nó được định nghĩa như sau: Định nghĩa 1.3 Một tập hợp C ⊂ R n được gọi là lồi nếu:
Ví dụ 1.4 + Tập rỗng là một tập lồi.
+ Toàn bộ không gian là tập lồi.
+ Các không gian con là các tập lồi.
+ Các hình tam giác, hình tròn trong mặt phẳng là các tập lồi.
+ Hình cầu C = {x :∥ x ∥≤ 1} là tập lồi.
+ Đường tròn trong mặt phẳng là tập không lồi.
Một số hình vẽ về tập lồi và tập không lồi trong R 2 :
Hình 1.1 Định nghĩa 1.5 Ta nói x là tổ hợp lồi của các điểm x 1 , , x k nếu x ∑ k j=1 λ j x j , λ j > 0,∀j = 1, , k,
Tương tự, x là tổ hợp affine của các điểm x 1 , , x k nếu x ∑ k j=1 λ j x j ,
Mệnh đề 1.6 Tập hợp C là lồi khi và chỉ khi nó chứa mọi tổ hợp lồi của các điểm của nó Tức là C lồi khi và chỉ khi
Chứng minh điều kiện đủ là hiển nhiên dựa trên định nghĩa của tập lồi và tổ hợp lồi, đảm bảo tính đúng đắn của lý thuyết Để chứng minh điều kiện cần, ta sử dụng phương pháp quy nạp theo số điểm, bắt đầu từ trường hợp cơ sở với k = 2 Giả sử mệnh đề đúng với k−1 điểm, ta cần chứng minh rằng nó vẫn đúng khi mở rộng lên k điểm, qua đó xác nhận tính chất của tập lồi và tổ hợp lồi trong phạm vi số điểm tăng lên.
Giả sử x là tổ hợp lồi của k điểm x 1 , x 2 , , x k ∈ C Tức là x ∑ k j=1 λ j x j , λ j > 0,∀j = 1, , k,
Do ∑ k − 1 j=1 λ j γ = 1 và λ γ j > 0,∀j = 1, , k −1 nên theo giả thiết quy nạp, điểm y : k − 1
Do γ > 0, λ k > 0 và γ +λ k ∑ k j=1 λ j = 1, nên x là tổ hợp lồi của hai điểm y và x k đều thuộc C Vậy x ∈ C.
Mệnh đề 1.7 Nếu A, B là các tập lồi trong R n , C là lồi trong R m thì các tập sau là tập lồi:
A×C := {x ∈ R n+m |x = (a, c), a ∈ A, c ∈ C}. Định nghĩa 1.8 Tập C được gọi là tập affine nếu nó chứa đường thẳng đi qua hai điểm bất kì của nó, tức là:
Trong không gian Rn, một ví dụ điển hình của tập affine là siêu phẳng, được định nghĩa là tập hợp các điểm x có dạng nhất định Định nghĩa 1.9 mô tả rõ ràng rằng siêu phẳng trong không gian Rn là một tập hợp các điểm thỏa mãn một điều kiện tuyến tính, tạo thành một mặt phẳng hoặc siêu phẳng trong không gian đa chiều Các siêu phẳng này đóng vai trò quan trọng trong hình học affine và có ứng dụng rộng rãi trong các lĩnh vực như toán học, hình học máy tính và tối ưu hóa.
H = {x ∈ R n |a T x = α}, trong đó a ∈ R n là vectơ khác 0, gọi là vectơ pháp tuyến của H và α ∈ R.
Trong R n , siêu phẳng H chia R n thành hai nửa không gian. Định nghĩa 1.10 Nửa không gian đóng là một tập hợp có dạng
{x ∈ R n |a T x ≥ α}. Nửa không gian mở là một tập hợp có dạng
Mệnh đề 1.11 cho biết rằng một tập affine M khác R là khi và chỉ khi nó có dạng M = a + L, trong đó L là một không gian con và a thuộc M, và không gian con L này là duy nhất Định nghĩa 1.12 mô tả tập lồi đa diện là tập hợp được biểu diễn là giao của một số hữu hạn các nửa không gian đóng Theo định nghĩa 1.13, điểm trong tương đối của tập lồi C là điểm a sao cho với mọi x thuộc C, tồn tại một số λ > 0 để a + λ(x - a) vẫn nằm trong C, đồng thời tập các điểm trong tương đối của C được ký hiệu là riC Cuối cùng, định nghĩa 1.14 định nghĩa tập C là nón khi nó thỏa mãn các đặc điểm riêng biệt của một nón trong không gian vectơ.
∀λ > 0,∀x ∈ C ⇒ λx ∈ C. Định nghĩa 1.15 Tập C được gọi là nón lồi nếu C đồng thời là một nón và là một tập lồi.
Mệnh đề 1.16 Một tập C là nón lồi khi và chỉ khi nó có các tính chất sau đây: i) λC ⊆C, ii) C + C ⊆ C. Định nghĩa 1.17 Cho C là một tập lồi trong R n và x ∈ C.
Tập N C (x) := {w|⟨w, y − x⟩ ≤ 0,∀y ∈ C} được gọi là nón pháp tuyến ngoài của C tại x.
Tập −N C (x) := {w|⟨w, y −x⟩ ≥ 0,∀y ∈ C} được gọi là nón pháp tuyến trong của C tại x.
Tập N C ϵ (x) được gọi là ϵ-nón pháp tuyến của tập C tại điểm x, gồm các vector w thỏa mãn ⟨w, y − x⟩ ≤ ϵ cho mọi y thuộc C Định nghĩa 1.18 xác định rằng, với một tập lồi khác rỗng C và điểm x trong C, một vector d được coi là hướng chấp nhận được của C nếu tồn tại một t 0 ≥ 0 sao cho x + t d nằm trong C với mọi t trong khoảng từ 0 đến t 0.
Trong lĩnh vực toán học, khái niệm về tập các hướng chấp nhận được đóng vai trò quan trọng, được định nghĩa là một nón lồi chứa gốc Tập này thường ký hiệu là F C(x), gọi là nón các hướng chấp nhận được, phản ánh các hướng mà một điểm tại đó có thể mở rộng mà vẫn nằm trong tập lồi C Định nghĩa 1.19 trình bày về các mối quan hệ giữa các tập lồi C và D khác rỗng, đặc biệt khi lượng hóa về siêu phẳng, mở rộng khả năng phân tích và ứng dụng trong tối ưu hóa.
Ta nói siêu phẳng H tách chặt C và D nếu a T x < α < a T y,∀x ∈ C,∀y ∈ D (1.2)
Ta nói siêu phẳng H tách mạnh C và D nếu sup x ∈ C a T x < α < inf y ∈ D a T y (1.3)
Bổ đề 1.20 (Bổ đề liên thuộc) Cho C ⊂ R n là một tập lồi khác rỗng. Giả sử x 0 ∈/ C Khi đó tồn tại t ∈ R n , t ̸= 0 thỏa mãn
⟨t, x⟩ ≥ ⟨t, x 0 ⟩ (1.4) Định lý 1.21 (Định lý tách 1) Cho C và D là hai tập lồi khác rỗng trong R n sao cho C ∩D = ỉ Khi đú cú một siờu phẳng tỏch C và D.
Chứng minh rằng, do C và D là hai tập lồi nên tập hiệu C − D cũng là tập lồi Hơn nữa, 0 không thuộc vào tập C − D, và giao của hai tập C và D là rỗng Áp dụng bổ đề theo học thuyết lồi, với x₀ = 0, ta có tồn tại véc tơ t ∈ ℝⁿ, t ≠ 0, sao cho ⟨t, z⟩ ≥ 0 với mọi z trong C − D Vì z có thể viết dưới dạng z = x − y, với x ∈ C và y ∈ D, nên ta có thể chứng minh các điều kiện cần thiết để thiết lập mối quan hệ giữa véc tơ t và các tập lồi này, từ đó xác nhận tính chất của chúng trong bài toán.
Lấy α := sup y ∈ D ⟨t, y⟩, khi đó siêu phẳng ⟨t, x⟩ = α tách C và D.
Bổ đề 1.22 Cho C ⊂ R n là một tập lồi đóng khác rỗng sao cho 0 ∈/ C. Khi đó tồn tại véc tơ t∈ R n và α > 0 sao cho
Theo bổ đề này thì C và điểm gốc tọa độ có thể tách mạnh, ví dụ bởi siêu phẳng
Chứng minh rằng tập C không chứa điểm 0, nên tồn tại quả cầu B tâm tại gốc tọa độ với bán kính nhỏ hơn r sao cho C và B không giao nhau Áp dụng định lý tách cho hai tập C và B, ta xác định được tồn tại một véc-tơ t khác không và một hệ số α trong R để phân chia hai tập này rõ ràng hơn.
Bằng cách chuẩn hóa, ta có thể xem ∥t ∥= 1 và do đó khoảng cách từ gốc đến siêu phẳng ít nhất là bằng α ≥r.
Trong bài viết này, chúng tôi trình bày Định lý 1.23, còn gọi là Định lý tách 2, nhằm xác định các điều kiện để hai tập lồi đóng, khác rỗng trong không gian Rⁿ, được tách biệt rõ ràng Cụ thể, nếu tồn tại một điểm ⟨t, x⟩ thỏa mãn bất đẳng thức ⟨t, x⟩ ≥ α ≥ r > 0 và ít nhất một trong hai tập là compact, thì hai tập này sẽ được tách mạnh bởi một siêu phẳng Điều này có ý nghĩa quan trọng trong hình học giải tích, giúp phân chia các tập lồi đóng dễ dàng và chính xác hơn.
Chứng minh rằng tập C−D là tập đóng khi C là tập compact Giả sử z_k ∈ C−D và z_k hội tụ đến z, tức là z_k → z Với z_k = x_k − y_k, trong đó x_k ∈ C và y_k ∈ D, vì C compact nên tồn tại một dãy con x_k_j → x khi j → +∞ Điều này chứng tỏ rằng giới hạn của các thành phần trong C vẫn thuộc C, do đó, tập C−D là tập đóng.
Vậy y k j = z k j −x k j → z −x ∈ D Vậy z k = x k −y k ∈ C −D Chứng tỏ tập C −D là tập đóng Do 0∈/ C −D nên theo bổ đề trên, tồn tại t̸= 0, sao cho
Chứng tỏ C và D là tách mạnh.
Trong định lý, ta không thể bỏ điều kiện một trong hai tập là compact. Hãy xét ví dụ sau.
Ví dụ 1.24 Cho hai tập
Hình 1.2 Đó là hai tập lồi, đóng và không có điểm chung, nhưng chúng không thể tách mạnh được.
Một số hình vẽ minh họa các trường hợp tách của hai tập hợp
Hình 1.3 trình bày các tình huống về tách các tập lồi và không lồi Trong hình (a), hai tập lồi C và D được tách hoàn toàn bởi một siêu phẳng, cho thấy sự phân chia rõ ràng giữa hai tập này Trong hình (b), hai tập lồi C và D tách nhau nhưng không mạnh mẽ, nghĩa là vẫn còn có các điểm gần nhau mà không bị tách rời hoàn toàn Còn trong hình (c), hai tập C và D không giao nhau, nhưng không thể tách chúng vì D không phải là tập lồi, làm cho quá trình phân chia trở nên phức tạp hơn.
Hàm lồi
Trong phần này, chúng ta tập trung vào những hàm số f không nhận giá trị −∞ Định nghĩa 1.25 xác định rằng một hàm số f trên tập lồi C ⊂ R^n được gọi là hàm lồi nếu nó thỏa mãn bất đẳng thức Jensen: f(λx + (1−λ)y) ≤ λf(x) + (1−λ)f(y) đối với mọi x, y thuộc tập C và mọi λ thuộc khoảng (0,1) Hàm lồi đóng vai trò quan trọng trong tối ưu hóa, đặc biệt trong việc xác định tính chất convexity của các hàm số trên tập lồi Việc hiểu rõ định nghĩa này giúp phân biệt các hàm lồi với các hàm không lồi, từ đó phát triển các phương pháp tối ưu hiệu quả hơn trong phân tích và toán học ứng dụng.
Hàm f được gọi là hàm lồi chặt trên C nếu f(λx+ (1−λ)y) < λf(x) + (1−λ)f(y),∀x, y ∈ C, x ̸= y,∀λ ∈ (0,1).
Hàm f được gọi là hàm lồi mạnh trên C với hệ số η >0nếu f(λx+ (1−λ)y) < λf(x) + (1−λ)f(y)− 1
Miền hữu dụng của f là tập domf := {x ∈ C|f(x) < +∞}.
Trên đồ thị của hàm f là tập epif := {(x, à) ∈ C ìR|f(x) ≤ à}.
Hàm f được gọi là hàm lõm (lõm chặt) trên C nếu −f là hàm lồi (lồi chặt) trên C.
Ví dụ 1.26 Sau đây là một số hàm lồi, hàm lồi chặt, hàm lồi mạnh (C ∈⊂ R n là một tập lồi khỏc ỉ):
+ Hàm tựa của C : S C (x) = sup y ∈ C ⟨y, x⟩. + Hàm khoảng cách từ điểm x ∈ R n tới C : d C (x) = inf y ∈ C ∥ x−y ∥ + Hàm một biến f(x) =x 2 và f(x) =e x là hàm lồi chặt.
Hàm hai biến \(f(x_1, x_2) = x_1^2 + 2x_2^2\) là hàm lồi mạnh trên \(\mathbb{R}^2\) Trong phần định nghĩa, nếu \(f\) là hàm lồi xác định trên tập lồi \(C \subset \mathbb{R}^n\), và \(g\) là hàm lồi xác định trên tập lồi \(D \subset \mathbb{R}^n\), cùng với số thực \(\lambda > 0\), thì các phép toán như \(\lambda f\), \(f + g\), và \(\max\{f, g\}\) được định nghĩa theo cách tương ứng nhằm đảm bảo tính lồi của các hàm này trong các phạm vi đã cho.
Trong bài viết này, chúng ta xem xét các định lý liên quan đến hàm lồi Định lý 1.28 cho biết rằng nếu f và g là các hàm lồi xác định trên các tập lồi C và D tương ứng, thì các hàm số tổng f + g, các hàm nhân vô hướng αf + βg (với mọi α, β ≥ 0), và hàm tối đa max{f, g} đều là hàm lồi trên tập hợp giao C ∩ D Đồng thời, Định lý 1.29 khẳng định rằng một hàm lồi xác định trên một tập lồi C sẽ đảm bảo tính liên tục tại mọi điểm của tập Các kết quả này cung cấp nền tảng quan trọng trong lý thuyết hàm lồi và các ứng dụng tối ưu hóa.
Sự gián đoạn của hàm lồi chỉ có thể xảy ra tại biên của tập xác định.
Ví dụ 1.30 Xét hàm một biến trên tập X = (−∞,1], f(x)
Tập \( \text{epif} \subset \mathbb{R}^2 \) là tập lồi, do đó hàm \( f \) là hàm lồi trên miền \( X \) Hàm \( f \) liên tục trên \( X \), ngoại trừ điểm \( x = 1 \) nơi \( f \) không liên tục Đạo hàm của hàm \( f(x) \) tại \( x \in \mathbb{R}^n \) được ký hiệu là \( f'(x) \) hoặc \( \nabla f(x) \), phản ánh khả năng tính đạo hàm của \( f \) tại từng điểm.
Các đặc tính của hàm lồi khả vi giúp dễ dàng kiểm tra tính lồi của hàm số Theo Định lý 1.31, một hàm khả vi trên tập lồi mở C là lồi nếu và chỉ nếu dạng bất đẳng thức f(x) + ⟨∇f(x), y−x⟩ ≤ f(y) đúng với mọi x, y ∈ C Định lý 1.32 cho biết, hàm khả vi hai lần trên C là lồi khi và chỉ khi ma trận Hessian H(x) của nó xác định không âm, tức y^T H(x) y ≥ 0, và là lồi chặt khi H(x) xác định dương, tức y^T H(x) y > 0, với mọi x ∈ C và y ∈ R^n Định nghĩa 1.33 định nghĩa đạo hàm theo hướng d của hàm f tại điểm x là giới hạn của (f(x + λd) − f(x))/λ khi λ tiến tới 0, giữ giới hạn này tồn tại Đặc biệt, Định lý 1.34 cho biết, nếu f là hàm lồi trên C, thì đạo hàm theo hướng d tại x luôn tồn tại và có giá trị thấp hơn hoặc bằng hiệu f(x + d) − f(x), với mọi x ∈ C và mọi d sao cho x + d thuộc C.
Ngoài ra với mỗi điểm x cố định, f ′ (x, ) là một hàm lồi trên trên tập lồi {d :x+d ∈ C}.
Từ định lý này dễ dàng suy ra rằng nếu f khả vi thì f ′ (x, d) = ⟨∇f(x), d⟩,∀d (1.5) Định nghĩa 1.35 Véctơ w được gọi là dưới đạo hàm của f tại x 0 ∈ R n nếu
Tập hợp tất cả các dưới đạo hàm của f tại x 0 được gọi là dưới vi phân của f tại x 0 , kí hiệu là
Hàm f được gọi là khả dưới vi phõn tại x 0 nếu ∂f(x 0 ) ̸= ỉ.
∂ ϵ f(x 0 ) := {w ∈ R n : ⟨w, x−x 0 ⟩ ≤ f(x)−f(x 0 ) +ϵ, ϵ > 0,∀x ∈ R n }. được gọi là ϵ-dưới vi phân của f tại x 0
Hàm lồi không nhất thiết phải khả vi tại mọi điểm, điều này thể hiện tính chất đặc trưng của hàm trong phân tích toán học Để mở rộng khái niệm đạo hàm cho những hàm không khả vi, người ta sử dụng khái niệm dưới vi phân – một công cụ quan trọng giúp mô tả đặc điểm của hàm trong nhiều tình huống phức tạp hơn.
Trong trường hợp ∂f(x 0 ) chỉ gồm duy nhất một điểm thì f khả vi tại x 0
Vớ dụ 1.36 Cho C là một tập lồi khỏc ỉ Hàm chỉ f(x) = δ C (x)
Lời giải Tại x 0 ∈ C, ta có
Nếu x /∈ C thì δ C (x) = +∞, nên bất đẳng thức này luôn đúng.
Vậy dưới vi phõn của hàm chỉ của một tập lồi C khỏc ỉ tại một điểm x 0 ∈ C chính là nón pháp tuyến ngoài của C tại x 0
Cũng có trường hợp tồn tại những điểm x 0 tại đóf không có dưới vi phân, nghĩa là tập ∂f(x 0 ) = ỉ. Đối với hàm lồi ta có đinh lý sau: Định lý 1.37 Cho f là hàm lồi (hữu hạn) trên tập lồi C Lúc đó f có dưới vi phân tại mọi điểm thuộc riC.
Từ định lý này suy ra rằng nếu f là một hàm lồi hữu hạn trên toàn không gian R n thì nó có dưới vi phân tại mọi điểm, vì ri R n = R n
Toán tử chiếu
Định nghĩa 1.38 Cho C ̸= ỉ (khụng nhất thiết lồi) và y là một vộc tơ bất kỳ Ta nói d C (y) := inf x ∈ C ∥x−y ∥, là khoảng cách từ y đến C.
Nếu tồn tại π ∈ C sao cho d C (y) =∥ y −π ∥, thì ta nói π là hình chiếu (vuông góc) của y trên C và kí hiệu là π = P C (y) hoặc P(y).
Theo định nghĩa, ta thấy hình chiếu P C (y) của y trên C là nghiệm của bài toán tối ưu min x ∈ C {1
Nói cách khác, việc tìm hình chiếu của y trên C có thể đưa về tìm cực tiểu của hàm toàn phương ∥ x−y ∥ 2 trên C.
Nếu C ̸= ỉ thỡ d C (y) hữu hạn, vỡ
Cho C ⊂ R n Ta nhớ lại là nón pháp tuyến (ngoài) của tập C tại x 0 là tập hợp
Hình 1.4: Hình chiếu vuông góc.
Mệnh đề 1.39 Cho C là một tập lồi đóng khác rỗng Khi đó: i) Với mọi y ∈ R n hai tính chất sau là tương đương: a) π = P C (y), b) y −π ∈ N C (π). ii) Với mọi y ∈ R n , hình chiếu P C (y) luôn tồn tại và duy nhất. iii) Nếu y /∈ C, thì ⟨P C (y) −y, x−P C (y)⟩ = 0 là siêu phẳng tựa của C tại P C (y) và tách hẳn y khỏi C Tức là
⟨P C (y)−y, y −P C (y)⟩ < 0. iv) Ánh xạ y 7−→ P C (y) có các tính chất sau: a) ∥ P C (x)−P C (y) ∥≤∥ x−y ∥,∀x, y (tính không giãn) , b) ⟨P C (x)−P C (y), x−y⟩ ≥∥ P C (x)−P C (y) ∥ 2 ,(tính đồng bức).
+ Đầu tiên ta chứng minh cho a) ⇒b).
Giả sử có a) Lấy x ∈ C và λ ∈ (0,1) Đặt x λ := λx+ (1−λ)π.
Do x, π ∈ C và C lồi, nên x λ ∈ C Hơn nữa do π là hình chiếu của y, nên suy ra
Khai triển vế phải, ước lược và chia hai vế cho λ >0, ta có λ ∥x−π ∥ 2 +2⟨x−π, π−y⟩ ≥ 0. Điều này đúng với mọi x ∈ C và λ ∈ (0,1) Do đó khi cho λ →0, ta được
+ Bây giờ giả sử có b) Với mọi x ∈ C, có
Từ đây và b), dùng bất đẳng thức Cauchy-Schwarz ta có:
Do d C (y) = inf x ∈ C ∥ y −x ∥ nên theo định nghĩa của cân dưới đúng (infi- mum), tồn tại một dãy {x k } ⊂ C sao cho k → lim+ ∞ ∥x k −y ∥= d C (y) < +∞.
Vậy dãy x k bị chặn, do đó nó có một dãy con x k j hội tụ đến một điểm π nào đó Do C đóng, nên π ∈ C Vậy
Chứng tỏ π là hình chiếu của y trên C.
Bây giờ ta chỉ ra tính duy nhất của hình chiếu Thật vậy, nếu tồn tại hai điểm π và π 1 đều là hình chiếu của y trên C, thì y−π ∈ N C (π), y−π 1 ∈
Cộng hai bất đẳng thức này ta suy ra ∥ π −π 1 ∥≤ 0 , do đó π = π 1 (iii)
Vậy ⟨π −y, x⟩ = ⟨π−y, π⟩ là một siêu phẳng tựa của y tại π.
Siêu phẳng này tách y khỏi C vì y ̸= π, nên
Theo phần (ii) ánh xạ x 7−→ P(x) xác định khắp nơi Do z −P(z) ∈ N C (P(z)),∀z.
Ta áp dụng với z = x và z = y được:
Cộng hai bất đẳng thức lại, ta có
Từ đây và theo bất đẳng thức Cauchy-Schwarz, suy ra
∥ P(y)−P(x) ∥≤∥ x−y ∥. Để chứng minh tính đồng bức, áp dụng tính chất b) của (i), lần lượt với
Cộng hai bất đẳng thức ta được
⟨P(x)−P(y), x−y⟩ ≥∥P(x)−P(y) ∥ 2 Đây chính là tính đồng bức cần được chứng minh.
Sau đây là một số công thức xác định hình chiếu của một điểm lên siêu hộp, hình cầu và không gian con của R n
Bài toán 1 Trong R n , cho siêu hộp K có phương trình:
K = {x = (x 1 , x 2 , , x n ) T ∈ R n : a i ≤ x i ≤b i , i = 1,2, , n}, trong đó a = (a 1 , a 2 , , a n ) T , b = (b 1 , b 2 , , b n ) T ∈ R n Hãy tìm hình chiếu của y = (y 1 , y 2 , , y n ) T lên K.
Lời giải. Đặt c = (c 1 , c 2 , , c n ) T trong đó: c i
Vì a i ≤ c i ≤b i ,∀i = 1,2, , n nên c ∈ K Ta chứng minh c là hình chiếu của y trên K.
Theo cách xác định của c i ta có:
Từ (1.6), (1.7) và (1.8), ta suy ra:
Vậy c là hình chiếu của y trên K.
Bài toán 2 Giả sử C là hình cầu tâm I = (a 1 , a 2 , , a n ) T ∈ R n và bán kính r:
(x i −a i ) 2 ≤ r 2 }, và b = (b 1 , b 2 , , b n ) ∈ R n Tìm hình chiếu của b trên C.
+Nếu b /∈ C thì hình chiếu của b lên C là giao điểm của đường thẳng nối b và tâm I của C với mặt cầu:
Phương trình tham số của đường thẳng này như sau: δ = {x ∈ R n :
Thay x i = a i +t(b i −a i ) vào phương trình của S ta được: t 2
Vậy hình chiếu P C (b) của b lên C có tọa độ là: x i = a i + (b i −a i ) r
Bài toán 3 Cho C ⊂ R n là một không gian con k chiều với một cơ sở
B = (η 1 , η 2 , , η k ) Giả sử x ∈ R n và y = ∑ k i=1 y i η i ∈ C, trong đó y i là các hệ số thực sao cho: w = x−y thỏa mãn ⟨w, η i ⟩ = 0,∀i = 1,2, , k. Chứng minh y là hình chiếu của x lên C Tìm biểu thức tọa độ của y.
Thật vậy, vì w trực giao nên với mọi véctơ trong cơ sở của C nên ta có:
Vì vậy y là hình chiếu của x lên C.
Xác định biểu thức tọa độ của y:
Khi đó, ta thu được một hệ tuyến tính k phương trình có k ẩn:
Hơn nữa, theo định nghĩa A là ma trận xác định dương nên detA ̸= 0 hay hệ phương trình trên có nghiệm duy nhất y T = A − 1 b.
Do đó, hình chiếu của x lên C là: y ∑ k j=1 y j η j , trong đó y T = A − 1 b.
Trong trường hợp B được chọn làm cơ sở trực chuẩn trong C, ta có:
Khi đó, ma trận A là ma trận đơn vị Do đó, ta có: y j = b j = ⟨x, η j ⟩, i = 1,2, , k.
⟨x, η j ⟩η j Định nghĩa 1.40 Cho C ⊂ R n là tập lồi, f : C −→ R là hàm lồi và ϵ≥ 0 Xét bài toàn quy hoạch min{f(x)|x ∈ C} (P)
Một điểm x ϵ ∈ C được gọi là điểm ϵ-cực tiểu của f trên C nếu f(x ϵ ) ≤f(x) +ϵ,∀x ∈ C.
Mệnh đề 1.41 Véctơ x ϵ ∈ C được gọi là điểm ϵ-tối ưu của bài toán (P) khi và chỉ khi 0 ∈ ∂ ϵ f(x ϵ ).
Chứng minh Giả sử x ϵ ∈ C được gọi là điểm ϵ-tối ưu của bài toán (P). Khi đó f(x ϵ ) ≤f(x) +ϵ,∀x ∈ C.
Ngược lại, nếu 0 ∈ ∂ ϵ f(x ϵ ) thì ta có
Chứng tỏ x ϵ là điểm ϵ-tối ưu của bài toán (P). Định nghĩa 1.42 Cho C là tập lồi đóng khác rỗng trong R n , x ∈ R n và ϵ ≥ 0 Một điểm P x được gọi là ϵ-chiếu của x trên C nếu P x là một ϵ-tối ưu của bài toán min y ∈ C {1
2 ∥x−P C (x) ∥ 2 +ϵ, trong đó P C (x) là hình chiếu của x trên C.
Mệnh đề 1.43 ChoC là một tập lồi đóng khác rỗng Khi đóP x là ϵ-chiếu của x trên C khi và chỉ khi
Chứng minh Giả sử P x là ϵ-chiếu của x trên C Ta có min y ∈ C
2 ∥ x−y ∥ 2 +δ C (y)} (1.10) Trong đó δ C (y) là hàm chỉ của y trên C Đặt f(y) = 1
Theo Định nghĩa 1.40, P x là điểm ϵ-tối ưu của bài toán (1.10).
Từ Mệnh đề 1.41, ta được
Ta lại có ∂ ϵ δ C (P x ) = N C ϵ (P x ) nên ta có
Ngược lại, giả sử ta có (1.9) Khi đó
Chứng tỏ P x là ϵ-chiếu của x trên C.
Bài toán tối ưu lồi
Chương này trình bày về bài toán tối ưu lồi, bao gồm các điều kiện tồn tại nghiệm và điều kiện tối ưu với ràng buộc lối Ngoài ra, nội dung còn giới thiệu các thuật toán giải bài toán tối ưu lồi, đặc biệt là thuật toán chiếu dưới đạo hàm dùng cho bài toán cực tiểu hàm không trơn Các kiến thức trong chương này dựa chủ yếu từ các tài liệu tham khảo uy tín trong lĩnh vực tối ưu hóa.
Bài toán tối ưu lồi
Phát biểu bài toán tối ưu lồi
Xét bài toán tìm cực tiểu một hàm lồi trên một tập lồi có dạng sau min{f(x)|x ∈ C} (P) Trong đó,
C = {x ∈ X|g i (x) ≤ 0, h j (x) = 0, i = 1,2, , m, j = 1,2, , k}, (2.1) được gọi là miền chấp nhận được.
Các điều kiện g i (x) ≤ 0, i= 1,2, , m;h j (x) = 0, j = 1,2, , k được gọi là các ràng buộc.
X ⊂ R n là một tập lồi đóng khác rỗng và f, g i là các hàm lồi hữu hạn trên
X Hàm f được gọi là hàm mục tiêu h j là các hàm affine hữu hạn trên tập affine X Các hàm affine h j độc lập tuyến tính trên X, theo nghĩa, nếu ∑ k j=1 à j h j (x) = 0,∀x ∈ X, thỡ à j = 0,∀j = 1, , k.
Bài toán(P)được hiểu là hãy tìm một điểm x ∗ sao chof(x ∗ ) ≤ f(x),∀x ∈
C Mỗi điểm x ∈ C được gọi là một phương án chấp nhận được của bài toán (P).
Do X là tập lồi, g i là các hàm lồi hữu hạn trên X, h i là các hàm affine hữu hạn trên tập affine của X nên C là một tập lồi Điểm cực tiểu của f trên C cũng được gọi là nghiệm tối ưu của bài toán (P).
Bài toán (P) này được gọi là một quy hoạch lồi.
Bài toán (P) với miền chấp nhận đượcC như trên gọi là trơn (khả vi) nếu cả hàm mục tiêu và các ràng buộc đều trơn.
Bài toán (P) có nhiều ứng dụng trong các lĩnh vực khác nhau, điển hình như trong kinh tế để xác định phương án sản xuất tối ưu với chi phí thấp nhất Trong đó, vector x biểu thị phương án sản xuất, với mỗi thành phần x_i là số lượng sản phẩm loại i cần sản xuất, còn f(x) đại diện cho chi phí liên quan đến phương án đó Mục tiêu của bài toán trong mô hình này là tìm một phương án sản xuất trong tập hợp các phương án chấp nhận được C sao cho chi phí sản xuất thấp nhất có thể Định nghĩa 2.1 cho biết rằng điểm x∗ được gọi là cực tiểu địa phương của hàm f trên miền xác định.
C nếu tồn tại một lân cận U của x ∗ sao cho f(x ∗ ) ≤ f(x),∀x∈ U ∩C. Điểm x ∗ được gọi là cực tiểu toàn cục của f trên C nếu f(x ∗ ) ≤f(x),∀x ∈ C.
Các khái niệm cực đại địa phương và cực đại toàn cục đều được định nghĩa tương tự nhau Đối với hàm tùy ý f trên tập C, tập tất cả các điểm cực tiểu và cực đại toàn cục của f trên C chính là các điểm nơi hàm đạt giá trị cực trị lớn nhất hoặc nhỏ nhất trên toàn bộ tập C Hiểu rõ các điểm cực trị này giúp phân tích chính xác hơn về hành vi của hàm số trong các ứng dụng toán học và kỹ thuật Các điểm cực đại toàn cục là những điểm mà tại đó hàm đạt giá trị cực đại so với mọi điểm khác trong tập C, còn cực tiểu toàn cục phản ánh các điểm cực tiểu của hàm Việc xác định các điểm cực trị toàn cục có ý nghĩa quan trọng trong tối ưu hóa và mô hình hóa các hiện tượng thực tế.
Trong lý thuyết tối ưu, ta có hiện tượng rằng cực tiểu của hàm f(x) trên tập C bằng âm của cực đại của hàm -f(x) trên cùng tập, nghĩa là: do min{f(x) : x ∈ C} = −max{−f(x) : x ∈ C} Tập nghiệm của hai bài toán này trùng nhau, điều này cho thấy rằng lý thuyết cực tiểu (hoặc cực đại) của hàm lồi cũng chính là lý thuyết cực đại (hoặc cực tiểu) của hàm lõm, phản ánh sự đối xứng trong các khái niệm tối ưu của hàm bậc cao.
Bổ đề 2.2 Cho f là một hàm lồi mạnh, ∀d ∈ R n hàm số ϕ d (x) := f(x) + 1
2 ∥ x ∥ −⟨d, x⟩, thỏa mãn điều kiện bức, theo nghĩa ϕ d (x) −→ +∞ khi ∥x ∥−→ +∞
Chứng minh Do domf ̸= ỉ, nờn cú c ∈ ∂f(y) Vậy y ∈ domf Theo định nghĩa của dưới vi phân, ta suy ra ϕ d (x) ≥ f(y) + 1
Sự tồn tại nghiệm của bài toán tối ưu lồi
Xét bài toán tối ưu toàn cục (P) Có bốn trường hợp xảy ra:
• f không bị chặn dưới trên miền C (inf x ∈ C f(x) = −∞ ).
• f bị chặn dưới trên C nhưng giá trị cực tiểu không đạt được trên C.
• Tồn tại x ∗ ∈ C sao cho f(x ∗ ) = inf x ∈ C f(x). Định lý 2.3 Điều kiện cần và đủ để tồn tại nghiệm tối ưu toàn cục của bài toán (P) là
F + (C) = {t ∈ R : f(x) ≤ t,∀x ∈ C}, đóng và bị chặn dưới.
Chứng minh Nếu x ∗ là nghiệm tối ưu thì F + (C) = [f(x ∗ ),+∞] đóng và bị chặn dưới.
Ngược lại, giả sử F + (C) bị chặn dưới Đặt t 0 = infF + (C) thì t > −∞
Trong bài toán tối ưu, do F + (C) đóng và t0 ∈ F + (C), nên tồn tại x* ∈ C sao cho f(x*) = t0, chứng tỏ x* là nghiệm cực tiểu của hàm f trên tập C Theo định lý 2.4 (Weierstrass), nếu C là tập compact và hàm f nửa liên tục dưới trên C, thì bài toán (P) sẽ có nghiệm tối ưu.
Chứng minh Đặt α := inf x ∈ C f(x) Theo định nghĩa có một dãy {x k } ⊂ C sao cho lim k → + ∞ f(x k ) = α Do C compact nên có một dãy con hội tụ về x 0 ∈ C Không giảm tính tổng quát, ta có thể coi x k →x 0 Vì f nửa liên tục dưới, nên α > −∞
Trong bài toán, xét x₀ ∈ C và theo định nghĩa của α, ta có f(x₀) ≥ α Do đó, f(x₀) bằng α, chứng tỏ x₀ là điểm có giá trị tiệm cận cực tiểu của hàm số trên tập C Định lý 2.5 khẳng định rằng nếu hàm số f là nửa dưới liên tục trên tập đóng C và có đặc điểm bức là f(x) → +∞ khi ∥x∥ → +∞, thì hàm số này sẽ có cực tiểu trên C Điều này đảm bảo sự tồn tại của điểm cực tiểu trong điều kiện liên tục và bức theo chiều xa của hàm.
Trong bài toán quy hoạch lồi, đường cong C(a) đóng và bị chặn, nên hàm số f đạt cực tiểu tại điểm trên C(a) Đặc biệt, điểm đó chính là điểm cực tiểu của hàm số trên tập C(a) Theo Định lý 2.6, khi (P) là một bài toán quy hoạch lồi, ta có thể xác định rõ ràng các điểm cực tiểu của bài toán này, giúp tối ưu hoá các giải pháp một cách hiệu quả.
(i) Nếu x ∗ là nghiệm tối ưu địa phương thì x ∗ cũng là nghiệm tối ưu toàn cục.
(ii) Nếu f lồi chặt thì x ∗ là nghiệm tối ưu toàn cục duy nhất của bài toán.(iii) Nếu f lồi mạnh thì bài toán (P) luôn tồn tại nghiệm.
Chứng minh (i) Giả sửx ∗ là một nghiệm tối ưu địa phương của bài toán (P) Theo định nghĩa, tồn tại một ϵ-lân cận B(x ∗ , ϵ) của điểm x ∗ ∈ C sao cho f(x ∗ ) ≤ f(x),∀x ∈ B(x ∗ , ϵ)∩C.
Với bất kì x ∈ C, ta có x = λx+ (1−λ)x ∗ = x ∗ + λ(x−x ∗ ) ∈ B(x ∗ , ϵ)∩ C, khi 0< λ < 1 và λ đủ nhỏ.
Do x ∗ là nghiệm cực tiểu địa phương và f là hàm lồi nên f(x ∗ ) ≤f(x) ≤ λf(x) + (1−λ)f(x ∗ ) ⇒ f(x) ≤f(x ∗ ). Điều đó chứng tỏ x ∗ là nghiệm tối ưu toàn cục của bài toán (P).
(ii) Giả sử x ∗ là nghiệm tối ưu địa phương và hàm mục tiêu f lồi chặt.
Vì hàm lồi chặt là hàm lồi nên, theo điều kiện (i), điểm x* là nghiệm tối ưu toàn cục của bài toán Giả sử ngược lại, x* không phải là nghiệm tối ưu duy nhất, nghĩa là tồn tại một điểm x thuộc tập C, khác x* nhưng vẫn thỏa mãn điều kiện f(x) = f(x*).
Do f là hàm lồi chặt nên f(1
Do C là tập lồi nên 1 2 x+ 1 2 x ∗ ∈ C và bất đẳng thức trên mâu thuẫn với giả thiết x ∗ là nghiệm tối ưu toàn cục duy nhất của bài toán (P).
(iii) Dễ thấy f lồi mạnh trên C với hệ số η khi và chỉ khi hàm ϕ(x) =f(x)− η
Áp dụng Bổ đề 2.2, ta thấy hàm ϕ(x) thỏa mãn điều kiện bức và ϕ(x) → +∞ khi ∥x∥ → +∞, đảm bảo tính bức của hàm Do đó, nếu hàm f là lồi mạnh, bài toán (P) luôn tồn tại nghiệm, theo Định lý 2.4.
Điều kiện tối ưu với ràng buộc hình học
1) Trường hợp không khả vi Định lý 2.7 Giả sử C là tập lồi và f là hàm lồi, khả dưới vi phân trên
C Khi đó x ∗ là nghiệm tối ưu của bài toán (P) nếu và chỉ nếu
Trong đó N C (x ∗ ) là nón pháp tuyến của C tại x ∗
Chứng minh (i) Điều kiện đủ: Giả sử có (2.2) Khi đó tồn tại p ∗ sao cho p ∗ ∈ ∂f(x ∗ )∩(−N C (x ∗ )).
Chứng tỏ x ∗ là nghiệm tối ưu của bài toán (P).
Trong bài toán tối ưu (P), điều kiện cần là giả sử x* là nghiệm tối ưu và không gian affine của tập C là đầy đủ chiều Vì C là tập lồi, nên nội miền của C không rỗng (int C ≠ ∅), điều này đảm bảo tính khả thi của bài toán Ngoài ra, việc xem xét hai tập liên quan giúp xác định các điều kiện cần thiết để đạt được nghiệm tối ưu trong bài toán này.
Cả E và G đều là tập lồi (do C lồi và f lồi) Hơn nữa, G∩ E = ỉ Áp dụng định lý siêu phẳng tách, tồn tại ⟨u 0 , u⟩ ̸= 0 sao cho u 0 t+u T x ≤ u 0 t+u T y,∀(t, x) ∈ E,∀y ∈ C (2.3)
Từ (2.3), cho t →+∞ ta thấy u 0 ≤ 0 Cũng từ (2.3) nếu u 0 = 0 thì
Hiển nhiên 0 ∈ D và bằng phép tịnh tiến ta có thể giả sử 0∈ intD Theo (2.4), không thể xảy ra u = 0 (vì ⟨u 0 , u⟩ ̸= 0 và u o ̸= 0) Do đó u 0 < 0. Chia 2 vế của (2.3) cho u 0 ta được
Do đó f(x ∗ )−f(x) +u T (x−x ∗ ) ≤0,∀x ∈ C (2.6) Nếu x /∈ C, bằng cách lấy f(x) =∞ nên từ (2.6) ta cũng nhận được f(x ∗ )−f(x) +u T (x−x ∗ ) ≤ 0,∀x ∈ X, nghĩa là u ∈ ∂f(x ∗ ).
Mặt khác thay x = x ∗ vào (2.5) ta được u(y −x ∗ ) ≥0,∀y ∈ C.
Suy ra −u ∈ N C (x ∗ ) Kết hợp với u ∈ ∂f(x ∗ ) ta được
Hệ quả 2.8 Giả sử C là tập lồi và f là hàm lồi, khả dưới vi phân trên
C Nếu x ∗ ∈ intC là nghiệm tối ưu của bài toán (P) thì 0 ∈ ∂f(x ∗ ). Hơn nữa, nếu f khả vi và C = R n thì 0 = ∇f(x ∗ ).
Ta xây dựng hàm sau, được gọi là hàm Lagrange cho bài toán
Định lý 2.9 (Karush-Kuhn-Tucker) cho biết rằng nếu x* là nghiệm tối ưu của bài toán (P) với tập C là tập lồi xác định rõ trong (2.1), thì tồn tại các nhân tố phản ứng λi* ≥ 0 (i = 0,1,2, , m) cùng các phần tử àj* không đồng thời bằng 0 (j = 1,2, ,k), đảm bảo các điều kiện tối ưu cần thiết.
L(x ∗ , λ ∗ , à ∗ ) = min x ∈ X L(x, λ ∗ , à ∗ ) (điều kiện đạo hàm triệt tiờu) , λ ∗ i g i (x ∗ ) = 0,(i = 1,2, , m) (điều kiện độ lệch bù).
Hơn nữa nếu intX ̸= ỉ và điều kiện Slater sau đõy được thỏa món
∃x 0 ∈ X : g i (x 0 ) < 0,(i = 1,2, , m), thì λ ∗ 0 > 0 và hai điều kiện đạo hàm triệt tiêu và độ lệch bù ở trên, cũng là điều kiện đủ để chấp nhận x ∗ là nghiệm tối ưu của bài toán (P).
Chứng minh Giả sử x ∗ là nghiệm tối ưu của bài toán (P) Đặt
Do X ̸= ỉ là tập lồi, f, g i là cỏc hàm lồi và h j là cỏc hàm affine trờn X nên C là một tập lồi đóng, khác rỗng trong R m+k+1 Hơn nữa 0 ∈/ C Thật vậy, vì nếu trái lại 0 ∈ C thì tồn tại điểm chấp nhận được x thỏa mãn f(x) < f(x ∗ ) Điều này mâu thuẫn với giả thiết x ∗ là nghiệm tối ưu của bài toán (P).
Theo Định lý tách 1, ta có thể tách các tập C và 0, tức là tồn tại các λ ∗ i (i = 0,1, , m) và à ∗ j (j = 1,2, , k) khụng đồng thời bằng 0 sao cho
Khi tất cả các λ 0, λ 1, , λ m đều lớn hơn 0, thì vector (λ 0, λ 1, , λ m, 0, , 0) thuộc tập C, theo định nghĩa của C, dựa trên việc chọn x = x* Điều này dẫn đến kết luận rằng tất cả các λ 0, λ 1, , λ m đều ≥ 0 Ngoài ra, với mọi ϵ > 0 và x thuộc tập X, ta chọn λ 0 = f(x) − f(x*) + ϵ, λ i = g i(x) (i = 1, , m), và j = 1, 2, , k, sau đó thay vào (2.7) và để ϵ → 0, ta thu được λ* 0 f(x) + nhằm mô tả các điều kiện tối ưu trong lập trình tuyến tính. -🌸 **Quảng cáo** 🌸 Tăng tốc tối ưu hóa bài toán của bạn với trợ lý AI giúp phân tích điều kiện λ và lập trình tuyến tính vượt trội – [Tìm hiểu thêm](https://pollinations.ai/redirect/claude)
L(x ∗ , λ ∗ , à ∗ ) ≤ L(x, λ ∗ , à ∗ ),∀x ∈ X. Đây chính là điều kiện đạo hàm triệt tiêu. Để chứng minh điều kiện bù, ta chú ý rằng do x ∗ là điểm chấp nhận được, nên g i (x) ≤ 0 với mọi i Nếu như tồn tại một i nào đó mà g i (x ∗ ) =ζ < 0, thì với mọi ϵ >0, ta có
Thay vào (2.7) và cho ϵ → 0 ta có λ ∗ ζ ≥ 0 Nhưng vì ζ < 0, nên λ ∗ i ≤ 0.
Bây giờ ta chứng minh điều kiện đủ Trước hết, ta có λ ∗ 0 > 0 Thật vậy, nếu λ ∗ 0 = 0, do điều kiện đạo hàm triệt tiêu và điều kiện bù, ta có
Do λ ∗ 0 = 0, nên xảy ra 2 trường hợp:
* Trường hợp 1: Tồn tại chỉ số i sao cho λ ∗ i > 0 Khi đó thay thế x = x 0 vào bất đẳng thức (2.9) ta được
* Trường hợp 2: λ ∗ i = 0 với mọi i và tồn tại j sao cho à ∗ j > 0, ta cú
Do intX ̸= ỉ và h j là hàm affine với mọi j nờn ta cú
Theo giả thiết, cỏc hàm h j độc lập tuyến tớnh trờn X, nờn à ∗ j = 0 với mọi j Điều này mõu thuẫn với giả thiết λ ∗ i và à ∗ j khụng đồng thời bằng 0.
Do đó λ ∗ 0 > 0 và chia cả hai vế của (2.8) cho λ ∗ 0 , ta có thể giả sử hàm Lagrange của bài toán (P) có dạng
Sử dụng điều kiện đạo hàm triệt tiêu và điều kiện độ lệch bù, với mọi nghiệm chấp nhận được x ∗ , ta có f(x ∗ ) = f(x ∗ ) +
∑ k j=1 à j h j (x) ≤f(x). Điều này chứng tỏ rằng x ∗ là một nghiệm tối ưu của bài toán (P).
Ví dụ 2.10 Áp dụng định lý cho bài toán sau: min{f(x)|g i (x) ≤ 0, i = 1,2, x ∈ X}, (P) trong đó f(x) = x 2 , g 1 (x) =x 2 −x, g 2 (x) =−x, X = [− 1 2 , 1 2 ].
Ta có miền chấp nhận được
Giả sử tồn tại λ ∗ i ≥0(i = 0,1,2) không đồng thời bằng 0 sao cho
Từ Định lý 2.9, suy ra x ∗ là nghiệm tối ưu của bài toán (P) khi và chỉ khi f(x ∗ ) ≤ f(x),∀x ∈ C.
Ngược lại, nếu x ∗ = 0 là nghiệm của bài toán (P) thì từ Định lý 2.9, suy ra tồn tại λ ∗ i ≥ 0, i= 0,1,2 không đồng thời bằng 0 sao cho:
Do λ ∗ i ≥ 0, i = 0,1,2 không đồng thời bằng 0 nên xét các trường hợp.
Do đó không tồn tại λ ∗ 0
Suy ra không tồn tại λ ∗ 0
Suy ra không tồn tại λ ∗ 0
Vậy x ∗ = 0 là nghiệm tối ưu của bài toán (P) và λ ∗ 0 = 1, λ ∗ 1 = λ ∗ 2 = 0 là các nhân tử Lagrange tương ứng.
2) Trường hợp khả vi Định nghĩa 2.11 Một véc tơ d ∈ R n , d ̸= 0 được gọi là một hướng chấp nhận được của tập C tại x ∗ ∈ C nếu x ∗ +λd ∈ C,∀λ >0 đủ nhỏ.
Khi di chuyển từ điểm x* theo hướng d trong một đoạn nhỏ sẽ không vượt ra ngoài miền chấp nhận C, với C* là tập tất cả các hướng chấp nhận được của C tại x* Một hướng d ∈ R^n, d ≠ 0, được coi là hướng sử dụng được của C tại x* nếu đoạn đi theo hướng d vẫn nằm trong C khi λ>0 và hàm f tại điểm mới nhỏ hơn tại x* trong mọi λ>0 đủ nhỏ Theo định lý 2.12, nếu hàm f khả vi trên một tập mở chứa C và x* là điểm cực tiểu cục bộ của f trên C, thì vector gradient ∇f(x*) luôn thỏa mãn d^T ∇f(x*) ≥ 0 với mọi d thuộc tập hướng chấp nhận được của C tại x*.
Chứng minh Khai triển Taylor của f tại x ∗ là f(x ∗ + λd) =f(x ∗ ) + λ⟨∇f(x ∗ ), d⟩+o(λ ∥d ∥) (2.11)
Do x ∗ là cực tiếu địa phương của bài toán (P) nên f(x ∗ + λd)−f(x ∗ ) ≥0,∀λ > 0 đủ nhỏ.
Từ (2.11) ta được d T ∇f(x ∗ ) + o(λ ∥ d ∥) λ ,∀λ > 0 đủ nhỏ.
Suy ra (2.10) được chứng minh rõ ràng, thể hiện tính logic của định đề Định nghĩa 2.13 xác định rằng: một điểm x* thuộc tập C gọi là điểm dừng của hàm số f trên C nếu thỏa mãn điều kiện (2.10) Tuy nhiên, cần lưu ý rằng một điểm dừng chưa chắc đã là điểm cực tiểu địa phương của hàm.
Ví dụ 2.14 Xét bài toán minf(x) = x 5 trên C = [−1,2].
Rõ ràng x ∗ = 0 là điểm dừng của f nhưng điểm cực tiểu của f trên C đạt tại x= −1.
Xét bài toán (P) như trên, cho x 0 ∈ C và tập
A(x 0 ) := {i :g i (x 0 ) = 0}, được gọi là tập chỉ số tích cực Đặt S(x 0 ) là tập nghiệm của hệ phương trình tuyến tính sau
Mệnh đề 2.15 Với mọi x 0 ∈ C ta có C(x 0 ) ⊆ S(x 0 ).
Chứng minh Cho d ∈ C(x 0 ) Nếu d T ∇g i (x 0 ) > 0, i ∈ A(x 0 ) thì theo Định lý 1.34 ta có g i (x 0 +d)−g i (x 0 ) > 0, hay g i (x 0 +d) > g i (x 0 ) = 0, vì i ∈ A(x 0 ). Điều này mâu thuẫn với giả thiết d là một hướng chấp nhận được Vậy
Chứng minh tương tự, ta có
Chứng tỏ d ∈ S(x 0 ) Vì vậy C(x 0 ) ⊆ S(x 0 ) Hơn nữa S(x 0 ) là tập đóng nên C(x 0 ) ⊆S(x 0 ). Định nghĩa 2.16 Ta nói rằng điều kiện chính quy được thỏa mãn tại x 0 nếu
Định lý Kuhn-Tucker (Theorem 2.17) cho biết rằng, nếu các hàm f, g_i, h_j (i = 1, 2, , m; j = 1, 2, , k) là các hàm khả vi liên tục và x* là nghiệm tối ưu địa phương của bài toán (P) thỏa mãn điều kiện chính quy, thì tồn tại các nhân tử Lagrange λ* = (λ*_1, λ*_2, , λ*_m) ≥ 0 và các nhân tố à* = (à*_1, à*_2, , à*_k) sao cho điều kiện tối ưu được xác lập rõ ràng theo (2.12).
Nếu các hàm f_i và g_i đều là hàm lồi và các hàm h_j là hàm affine, thì theo điều kiện (2.12), (2.13), (2.14), điểm x* trong tập C là nghiệm tối ưu của bài toán (P) Điều này cho thấy rằng, dưới giả thiết các hàm hàm lồi và affine, các điều kiện này đảm bảo tính tối ưu của nghiệm x* Như vậy, việc xác định các điều kiện tối ưu này đóng vai trò quan trọng trong tối ưu hóa, giúp xác nhận nghiệm của bài toán là tối ưu khi thỏa mãn các điều kiện đã đề cập.
Chứng minh Sử dụng khai triển Taylor, ta có f(x ∗ +λd) =f(x ∗ ) +⟨∇f(x ∗ ), λd⟩+o(λd).
Do C(x ∗ ) = S(x ∗ ) nên ⟨∇f(x ∗ ), d⟩ ≥ 0,∀d ∈ S(x ∗ ) Áp dụng Bổ đề Farkas với ma trận A có các dòng
Ta có các số λ ∗ i ≥ 0, i ∈ A(x ∗ ) và α ∗ j ≥ 0, β j ∗ ≥ 0, j = 1,2, , k sao cho
Lấy λ ∗ i , i /∈ A(x ∗ ) và à ∗ j = α ∗ j −β j ∗ ,∀j thỡ ta được (2.13), (2.14).
Giả sử các hàm \( g_i \) là hàm lồi và các hàm \( h_j \) là hàm affine, ta sẽ chứng minh rằng ba điều kiện (2.12), (2.13) và (2.14) là các điều kiện đủ để \( x^* \in C \) là nghiệm tối ưu của bài toán (P) Nếu \( x^* \) không phải là nghiệm tối ưu, thì sẽ tồn tại \( x \in C \) sao cho \( f(x) < f(x^*) \), đặt \( d := x - x^* \neq 0 \) Khi đó, do không thỏa mãn các điều kiện này, ta sẽ có các bất đẳng thức dẫn đến mâu thuẫn với tính chất tối ưu của \( x^* \), qua đó chứng minh rằng các điều kiện này thật sự đủ để xác định nghiệm tối ưu của bài toán.
Mặt khác, λ ∗ i g i (x ∗ ) = 0,∀i nên λ ∗ i = 0 nếu i /∈ A(x ∗ ) Với x ∈ C lập luận tương tự, ta có
Do đó λ ∗ i ⟨∇g i (x ∗ ), d⟩ ≤ 0,∀i ∈ A(x ∗ ) (2.16) Theo tính chất affine của các hàm h j với mọi j = 1,2, , k ta có
Kết hợp (2.15), (2.16) và (2.17) ta được
∑ k j=1 à ∗ j ⟨∇h j (x ∗ ), d⟩ < 0. Điều này mâu thuẫn với (2.13) Vậy x ∗ là nghiệm tối ưu của bài toán(P).
Phương pháp chiếu dưới đạo hàm giải bài toán tối ưu lồi không trơn
Kí hiệu tập nghiệm của bài toán (P) là S(f, C) Nếu x ∗ ∈ C là nghiệm của bài toán (P) ta luôn có f(x) ≥ f(x ∗ ),∀x ∈ C.
Cho ρ, ϵ là các tham số dương và các dãy số thực {ρ k },{β k },{ϵ k },{ζ k } thỏa mãn các điều kiện sau ρ k > ρ, β k ≥0, ϵ k ≥ 0, ζ k ≥0,∀k ∈ N, (2.18)
∑ k=0 ζ k < +∞ (2.20) Chẳng hạn có thể lấy β k = 1 k+ 1, ρ k = 1, ϵ k = 1 k + 1, ζ k = 1
Chọn x 0 Tại mỗi bước lặp k = 0,1, , có x k
Nếu g k = 0 thì x k là ϵ k -nghiệm của bài toán (P) và dừng thuật toán nếu ϵ k < ϵ.
Trái lại, ta định nghĩa α k = β k γ k
Sau đó chuyển sang Bước 2.
Bước 2: Tính x k+1 ∈ C sao cho thỏa mãn
Nếu ∥ x k+1 −x k ∥≤ ϵ thì dừng và ta được nghiệm xấp xỉ Ngược lại, quay về Bước 1.
Chú ý 2.18 i) Theo Mệnh đề 1.43, điểm x k+1 được gọi là ζ k -chiếu của
(x k −α k g k ) vào C Đặc biệt, nếu ζ k = 0 thì x k+1 là hình chiếu khoảng cách của
Hay x k+1 = P C (x k −α k g k ). ii) Nếu ζ k = ϵ k = 0 với mọi k ∈ N thì P x là phép chiếu khoảng cách và khi đó thuật toán trở thành thuật toán chiếu đạo hàm, tiêu chuẩn dừng là g k = 0 ở Bước 1 và x k+1 = x k ở Bước 2.
Bổ đề 2.19 Với mọi k, ta có bất đẳng thức sau:
Chứng minh (i) Theo định nghĩa α k ta có α k ∥ g k ∥= α k ∥ g k ∥ max{ρ k ,∥ g k ∥} ≤ β k
(ii) Thay x = x k vào (2.25) và theo bất đẳng thức Cauchy-Schwarz ta có
Xét tam thức bậc hai s(θ) = θ 2 −βθ−ζ với θ ≥ 0 Khi đó s(θ) ≤ 0 kéo theo θ ≤ β +√ β 2 + 4ζ
Nhân cả hai vế của bất đẳng thức (2.23) với β và sử dụng tính chất ab ≤ a 2 +b 2
Bổ đề được chứng minh.
Mệnh đề 2.20 Giả sử bài toán (P) có tập nghiệm S(f, C) khác rỗng. Khi đó với mọi x ∗ ∈ S(f, C) và với mọi k, ta có các khẳng định sau: (i)∥ x k+1 −x ∗ ∥ 2 ≤∥ x k −x ∗ ∥ 2 +2α k (f(x ∗ )−f(x k )) +δ k , trong đó δ k = 2α k ϵ k + 2β 2 + 4ζ k
(ii) Dãy {∥x k −x ∗ ∥ 2 } hội tụ với mọi x ∗ ∈ S(f, C).
=∥ x k −x ∗ ∥ 2 +2⟨α k g k , x ∗ −x k ⟩+ 2⟨α k g k , x k −x k+1 ⟩+ 2ζ k Áp dụng bất đẳng thức Cauchy-Schwarz và Bổ đề 2.2(i) cho ta bất đẳng thức sau
Mặt khác, g k ∈ ∂ ϵ k f(x k ) nên ta có
Do α k > 0, ta nhân cả hai vế của bất đẳng thức trên với α k > 0 được
(ii) Do x ∗ ∈ S(f, C) nên f(x ∗ ) ≤ f(x k ) hay f(x ∗ )−f(x k ) ≤ 0, thay vào (2.20) ta được
Từ (2.29) và (2.30) ta được dãy {∥ x k −x ∗ ∥ 2 } hội tụ.
(iii) Do dãy {∥ x k −x ∗ ∥ 2 } hội tụ ta suy ra dãy {x k } bị chặn.
Bổ đề 2.21 Giả sử tập S(f, C) khác rỗng và dãy g k bị chặn Khi đó lim sup k → + ∞ (f(x k )−f(x ∗ )) = 0,∀x ∗ ∈ S(f, C).
Chứng minh Giả sử x ∗ ∈ S(f, C) Theo Mệnh đề 2.4(i), ta có
Lấy tổng các bất đẳng thức trên với k = 0,1, , m, ta có
Theo giả thiết {g k } bị chặn, từ (2.10) và (2.13) ta có tồn tại L ≥ ρ sao cho ∥ g k ∥≤ L,∀k ∈ N Do đó γ k ρ k
Do ∑+ ∞ k=0 β k ρ k < +∞, nên từ đây suy ra lim sup k → + ∞ (f(x k )−f(x ∗ )) = 0,∀x ∗ ∈ S(f, C). Định lý 2.22 Giả sử bài toán (P) có tập nghiệm S(f, C) khác rỗng, dãy {g k } bị chặn và f nửa liên tục dưới trên tập C Khi đó các dãy {x k } hội tụ đến nghiệm của bài toán (P).
Chứng minh Giả sử x ∗ ∈ S(f, C) Theo định nghĩa của lim sup tồn tại một dãy con {x k j } của {x k } sao cho lim sup k → + ∞ (f(x k )−f(x ∗ )) = lim sup j → + ∞ (f(x k j )−f(x ∗ )) = 0.
Theo mệnh đề 2.4 (iii), dãy {x_{kj}} bị chặn; do đó, ta có thể giả sử j → +∞ thì x_{kj} hội tụ đến x Theo giả thiết, hàm f nửa dưới liên tục trên tập C và từ Bổ đề 2.3, ta có bất đẳng thức f(x*) − f(x) ≥ lim inf j → +∞ (f(x*) − x_{kj}).
Do x ∗ ∈ S(f, C) nên f(x ∗ )−f(x) ≤ 0 Do đó, ta có f(x ∗ )−f(x) = 0.
Nên x ∈ S(f, C) Khi đó theo Mệnh đề 2.4 (ii) dãy {∥ x k −x ∥ 2 } hội tụ, kết hợp với (2.33) ta được lim k → + ∞ x k = x, x ∈ S(f, C). Định lý được chứng minh.
Ví dụ 2.23 Cho hàm f(x, y) = max{2x − 3y + 1, x + y − 2} và tập
Theo giả thiết, ta có C là hình chữ nhật trong R 2 và f(x, y) không khả vi tại (x, y) = (1,1) ∈ C Ta chọn dãy β k = 20 k+ 1.
Ta xét z 0 = (1,1) ∈ C Khi đó f(1,1) = f 1(1,1) = f 2(1,1) = 0 Do đó
Ta có z 1 ̸= z 0 , nên ta tiếp tục thuật toán.
Ta vừa tìm được z 1 = (0,2) ∈ C Khi đó f 1 (0,2) = −5, f 2 (0,2) = 0 Ta thấy f 1 (0,2) < f 2 (0,2) nên f(0,2) = f 2 (0,2) = −5 Do đó, ta chọn g 1 = ∇f 2 (0,2) = (2,−3).
Ta có z 2 = z 1 = (0,2), nên ta dừng thuật toán.
Luận văn đã trình bày các vấn đề sau:
Giải tích lồi là lĩnh vực quan trọng trong toán học, bắt đầu với kiến thức cơ bản về tập lồi, tập lồi đa diện và hàm lồi Hàm lồi là loại hàm đặc biệt có đặc tính định hướng tích cực trong không gian, đồng thời tính liên tục của hàm lồi đóng vai trò quan trọng trong phân tích và tối ưu hóa Dưới vi phân của hàm lồi giúp xác định các điểm tối ưu và tính chất của hàm, còn toán tử chiếu lên tập lồi là công cụ hữu ích để nghiên cứu các phép biến đổi trên tập lồi Những kiến thức nền tảng này tạo nền móng vững chắc cho việc nghiên cứu và ứng dụng trong các lĩnh vực khác nhau của giải tích lồi.
2 Trình bày các kiến thức cơ bản nhất của bài toán cực tiểu hàm lồi với ràng buộc lồi như các tính chất, các điều kiện tối ưu và trình bày một thuật toán chiếu dưới đạo hàm Thuật toán này áp dụng tốt cho bài toán với hàm mục tiêu không nhất thiết khả vi.
Tôi rất mong nhận được sự đóng góp của quý thầy cô và các bạn đọc.
Tôi chân thành cảm ơn!
