Tập lồi, hàm lồi
Cho X là khụng gian tụpụ và hàm f :X ẹRY t`8u Kớ hiệu domf “ txPX|fpxq ă `8 u, epif “ tpx, aq PXˆR|fpxq ď au.
Với mỗiaP R, kí hiệu tập mức dưới của f là
Hàm f: X íẹ RY t`8u được gọi là hàm chớnh thường nếu Dx P X, f(pxq) ă `8 và @xPX, f(pxq) ą ´8 Tập C ĂR n được coi là lồi nếu với mọi αP r0,1s và x, x 1 P C, ta có αx` p1´αqx 1 PC Đối với hàm lồi X ĂR n và hàm f: X íẹRY t`8u, f được xem là hàm lồi nếu với mỗi x, x 1 PX và t P p0,1q thì f(ptx` p1´tqx 1q) ď tf(pxq) ` p1´t)f(px 1q Hàm f được gọi là lồi ngặt nếu bất đẳng thức trên là ngặt với mọi x ‰ x 1 P X và tP p0,1q Cuối cùng, hàm f được xem là lồi mạnh với hệ số àą0 nếu fpăq ´ 1 2 àkăk 2 là hàm lồi.
Hàm lồi f: X có thể được mở rộng thành một hàm lồi trên toàn không gian R^n bằng cách định nghĩa f(x) = ∞ nếu x không thuộc miền xác định của f Do đó, để thuận tiện, chúng ta thường xem xét f là một hàm lồi xác định trên R^n.
Mệnh đề 1.1 Cho f :R n íẹRY t`8u là một hàm chớnh thường Khi đú, cỏc phỏt biểu sau là tương đương:
(b) epif “ tpx, àq PR n ˆR|àěfpxqulà một tập lồi trờn R n ˆR;
(c) ept s f :“ tpx, àq PR n ˆR|àąfpxqulà một tập lồi.
(a) Cho C ĂR n , C ‰∅ Hàm chỉ của C là hàm δ C :R n íẹRY t`8u được xỏc định bởi δ C pxq “
Khi đó, δ C lồi khi và chỉ khi C lồi.
Hàm khoảng cách d_C từ R^n đến R được xác định bởi d_C(pxq) = inf{z ∈ C | kx - zk}, với x ∈ R^n Nếu C là một tập lồi, thì hàm d_C sẽ lồi Ngược lại, điều này cũng đúng khi C là tập đóng.
(c) Cho X Ă R n , X ‰ ∅ Hàm giỏ của X là hàm σ C : X ˚ íẹ RY t`8u được xỏc định bởi σ C px ˚ q “sup xPC xx ˚ , xy, là một hàm lồi.
(d) Hàm affine fpxq “ xa, xy `b, với xP X, aPX ˚ , bPR, là hàm vừa lồi vừa lõm.
Ma trận
Giá trị riêng, véc tơ riêng của ma trận
Một ma trận vuông A thuộc K^n×n được gọi là có véc tơ riêng nếu tồn tại véc tơ x thuộc K^n×1 và một số λ thuộc K sao cho Ax = λx Trong trường hợp này, λ được xem là giá trị riêng của ma trận A Theo định lý, λ là giá trị riêng của A khi và chỉ khi định thức của ma trận A trừ λ nhân với ma trận đơn vị I bằng 0, tức là |A - λI| = 0.
Ta nhắc lại một số lớp ma trận quan trọng sẽ được sử dụng trong luận văn này.
Ma trận khả nghịch
Một ma trận vuông A P K nˆn được xem là khả nghịch nếu tồn tại một ma trận vuông B P K nˆn sao cho tích AB và BA đều bằng ma trận đơn vị I Trong trường hợp này, B được gọi là ma trận nghịch đảo của A, ký hiệu là B = A^(-1) Theo định lý 1.3, nếu A = (a_ij) là một ma trận vuông có định thức khác 0, thì A khả nghịch.
Trong đó A ij là kết quả của phép nhân giữa p´1q i`j và định thức của ma trận được tạo bởi việc xóa cột thứ j và dòng thứ i của ma trận A.
Ma trận đường chéo
Định nghĩa 1.6 Ma trận đường chéo là ma trận vuông có các phần tử nằm ngoài đường chéo chính bằng 0 : A i,j “0, @i‰j.
Ma trận A chéo như thế sẽ được viết gọn là A “diagpλ 1 , , λ n q với λ j “Api, jq.
Ma trận I n “diagp1, ,1q gọi là đơn vị cấp n Cột thứ j của nó e j “
T là véc tơ cơ sở chuẩn tắc thứj.
Ma trận đối xứng
Ma trận đối xứng là một loại ma trận vuông, trong đó các phần tử đối xứng qua đường chéo chính có giá trị bằng nhau Cụ thể, với mọi chỉ số i và j từ 1 đến n, ta có a_ij = a_ji.
A “A T với A T là ma trận chuyển vị của A.
Mọi ma trận chéo đều đối xứng vì mọi phần tử không nằm trên đường chéo chính đều có giá trị 0.
Ma trận xác định dương
Định nghĩa 1.8 Một ma trận A P R nˆn xác định dương khi và chỉ khi xAx, xy “ x T Axą0, @x‰0.
Ma trận A được gọi là ma trận xác định dương nếu ta có thể viết gọn là A ą 0 Tương tự, ma trận nửa xác định dương cũng được định nghĩa Cụ thể, một ma trận A được gọi là nửa xác định dương khi và chỉ khi xAx ≥ 0 với mọi vector x Để diễn đạt ngắn gọn, người ta thường sử dụng ký hiệu A ě 0 để chỉ rằng A là ma trận nửa xác định dương.
Ví dụ 1.2 Ma trận vuông ằ –
1 0 fi flkhông là nửa xác định dương, nhưng ằ –
4 ´2 ´2 1 fi fl thì ngược lại Ma trận ằ –
4 ´1 ´1 1 fi fl thực sự là xác định dương.
Nói chung, một ma trận đối xứng là nửa xác định dương pxác định dươngq nếu mọi giá trị riêng đều không âmpdương q.
Trong chương này, chúng tôi sẽ khám phá bài toán quy hoạch phi tuyến, trình bày các điều kiện cần và đủ để tồn tại nghiệm ở cấp 1 và cấp 2 Bên cạnh đó, chúng tôi cũng sẽ cung cấp một số ví dụ minh họa cho các kết quả đã nêu Tài liệu tham khảo chủ yếu cho nội dung này là từ tài liệu [2], cùng với một số nguồn khác như [1]-[5].
Giới thiệu
Bài toán quy hoạch phi tuyến được định nghĩa như sau: tối thiểu hóa hàm mục tiêu f(pxq) với các ràng buộc g_i(pxq) ≤ 0 (i = 1, , r) và h_j(pxq) = 0 (j = 1, , m), trong đó f, g_i là các hàm thực và xác định trên R^n.
Hàm f được xác định là hàm mục tiêu của pPq, trong khi g i pxq và h j pxq là các hàm ràng buộc Miền khả thi, hay còn gọi là tập ràng buộc của pPq, bao gồm tất cả các điểm thỏa mãn các điều kiện ràng buộc này.
Điểm x ˚ thuộc tập FpPq được xem là một cực tiểu địa phương của hàm pPq nếu tồn tại một ε > 0 sao cho f(px ˚ q) ≤ f(pxq) với mọi x thuộc FpPq trong khoảng ε xung quanh x ˚ Ngoài ra, x ˚ cũng được coi là một cực tiểu toàn cục của pPq nếu f(px ˚ q) ≤ f(pxq) với mọi x thuộc FpPq.
Cực đại địa phương và cực đại toàn cục được định nghĩa tương tự bằng cách đổi chiều của các bất đẳng thức ràng buộc.
Tính chất hình học của tập khả thi FpPq xung quanh điểm cực tiểu địa phương x ˚ P FpPq thể hiện các điều kiện tối ưu mà x ˚ cần đáp ứng Cụ thể, nếu g i(px ˚ q) < 0, thì hàm ràng buộc g i không ảnh hưởng đến việc xác định điểm x ˚ có phải là điểm cực tiểu địa phương hay không.
NếuxPFpPq,ta kí hiệuIpxq “ ti:g i pxq “0ulà tập các chỉ số hoạt NếuiRIpxq, khi đó g i được gọi là điều kiện dừng của pPqtại x.
Trong mục này, ta sẽ thiết lập các điều kiện cần và đủ để điểm khả thi x ˚ là cực tiểu địa phương của pPq.
Trước tiên ta định nghĩa một vài khái niệm liên quan. Định nghĩa 2.2 Một véc tơ d P R n gọi là hướng tiếp xúc của một tập khác rỗng
M Ď R n tại điểm x P M tồn tại một dãy x n P M sao cho x n tiến tới x và một dãy không âm α n sao cho lim n→∞ α n px n - xq = d Khi đó, d được gọi là hướng tiếp xúc của dãy x n Định nghĩa 2.3: Cho x ˚ là một điểm khả thi của pPq, một hướng tiếp xúc của FpPq tại x ˚ được gọi là một hướng khả thi của pPq tại x ˚, ký hiệu tập các hướng khả thi là F D(px ˚) Một vector d P R n là hướng giảm cho f tại x ˚ nếu tồn tại dãy x n P R n với x n tiến tới x ˚ sao cho f(px n q) ≤ f(px ˚ q) với mọi n Nếu f(px n q) < f(px ˚ q) với mọi n, d được gọi là hướng giảm ngặt của f tại x ˚.
SDpf;x ˚ q là tập các hướng giảm ngặt tại x ˚
Ta có bổ đề đơn giản sau:
Bổ đề 2.1 Nếu x ˚ PFpPq là cực tiểu địa phương của pPq thì
Giả sử F Dpx ˚ q XSDpf;x ˚ q ‰ ∅, có nghĩa là tồn tại một dãy các điểm khả thi x n gần x ˚ sao cho f(px n q) < f(px ˚ q) cho mọi n Điều này dẫn đến mâu thuẫn với giả thiết rằng x ˚ là điểm cực tiểu địa phương của pPq.
Điều kiện tối ưu
Điều kiện tối ưu cấp 1
Điều kiện Fritz John (FJ) là một điều kiện cần thiết cấp 1 để xác định cực tiểu địa phương trong bài toán tối ưu phi tuyến pPq Điều kiện này áp dụng khi các hàm g i và h j khả vi liên tục trên các lân cận mở của FpPq.
LF Dpx ˚ q:“ td :x∇g i px ˚ q, dy ă0, i“1, , r, x∇h j px ˚ q, dy “0, j “1, , mu,
LF Dpf;x ˚ q:“ td:x∇fpxq, dy ă0u.
Từ các định nghĩa trên, với F là hàm số khả vi xác định trên một tập mở trong R n , ta có khẳng định sau:
Nếu dPLF DpF;xq thì
Để phân tích hàm mục tiêu trong bài toán tối ưu, ta nhận thấy rằng nếu điều kiện giới hạn được thỏa mãn, thì biểu thức trong ngoặc là không âm Điều này dẫn đến việc nếu PLF Dpx ˚ q XLSDpf;x ˚ q và t đủ nhỏ, thì fpx ˚ `tdq ă fpx ˚ q và gpx ˚ `tdq ă gpx ˚ q “0 cho một hàm ràng buộc hoạt động g i Để đạt được điều này, cần có x∇h j pxq, dy “0, và điều kiện cần cấp 1 theo định lý Fritz John chỉ ra rằng nếu x ˚ là điểm cực tiểu địa phương của pPq, thì tồn tại các hệ số λ và a không đồng thời bằng 0, với điều kiện λ 0, λ 1, , λ r và a 1, , a m không âm.
0 sao cho λ 0 ∇fpx ˚ q ` r ÿ i“1 λ i ∇g i px ˚ q ` m ÿ j“1 à j ∇h j px ˚ q “ 0, (2.1) λ i ě0, g i px ˚ q ď0, λ i g i px ˚ q “0, i“1, , r (2.2)
Chứng minh Vì λ i ě0, g i px ˚ q ď 0, λ i g i px ˚ q “0 nên ta có thể viết p2.1q dưới dạng λ 0 ∇fpx ˚ q ` ÿ jPIpx ˚ q λ j ∇g j px ˚ q ` ÿ m j“1 à j ∇h j px ˚ q “0.
Nếu t∇h i px ˚ qu m 1 là phụ thuộc tuyến tớnh, khi đú Dà :“ pà 1 , , à m q ‰ 0 sao cho ř m j“1 à j ∇h j px ˚ q “ 0.
Khi đú, đặt λ : “pλ 0, , λ r q “0 Định lý này đúng với các nhân tử pλ, àq ≠ 0 Giả sử t∇h i px ˚ qu m j “1 là độc lập tuyến tính Chúng ta sẽ chứng minh rằng x∇f(px ˚ q), dy ≠ 0, x∇g i(px ˚ q), dy ≠ 0, i ∈ I(px ˚ q), x∇h j(px ˚ q), dy = 0, j = 1, , mu ≠ 0.
Giả sử p2.3q sai, ta chọn d P R n với d “ 1 Do t∇h i px ˚ qu m 1 là độc lập tuyến tính, theo Định lý Lyusternik (r2s, Định lý 2.29 hay 3.23), tồn tại dóy x n ẹ x ˚ có hướng tiếp xúc d và thỏa mãn phương trình h j px n q “0, với j “1, , m Ta có fpx n q “ fpx ˚ q `.
Vì x∇fpx ˚ q, dy ă0 nên ta được fpx n q ăfpx ˚ q với nđủ lớn.
Nếu \( g_i(x) \) là một hàm ràng buộc hoạt tại \( x^* \), thì \( g_i(p(x_n), q) \) gần bằng \( g_i(p(x^*), q) = 0 \) khi \( n \) đủ lớn Điều này cho thấy rằng \( x_n \) là một dãy nghiệm khả thi cho \( p(P) \) sao cho \( f(p(x_n), q) < f(p(x^*), q) \) với \( n \) đủ lớn Tuy nhiên, điều này mâu thuẫn với giả thiết rằng \( x^* \) là điểm cực tiểu địa phương của \( p(P) \), từ đó chứng minh được định lý (2.3) Định lý đã được chứng minh Định nghĩa 2.4 (Hàm Lagrange).
Lpx;λ, àq:“λ 0 fpxq ` ÿ r i“1 λ i g i pxq ` ÿ m j“1 à j h j pxq pλ i ě0, i“0, , rq được gọi là hàm Lagrange yếu cho bài toán pPq.
Nếu λ 0 ą0, không mất tính tổng quát ta có thể chọn λ 0 “1 và hàm thu được
Lpx; λ;àq “fpxq ` ÿ r i“1 λ i g i pxq ` ÿ m j“1 à j h j pxq λ i ě0, i“1, , r, được gọi là hàm Lagrange.
Từ định nghĩa trên, ta thấy rằng đẳng thức p2.2q trong điều kiện FJ có thể được viết lại như sau
Biểu thức p2.2q được gọi là điều kiện bù, với λ i g i px ˚ q “ 0, λ i ě0, và g i px ˚ q ď 0, cho thấy λ i “0 hoặc g i px ˚ q “0 Đặc biệt, nếu g i px ˚ q ă0, tức là g i không hoạt tại x ˚ thì λ i “0 Định lý Fritz John luôn đúng tại cực tiểu địa phương, nhưng trong một số trường hợp, bài toán tối ưu phi tuyến có thể gặp phải bài toán quy hoạch phi tuyến suy biến với λ 0 “0, dẫn đến tình huống xấu vì hàm mục tiêu không liên quan trong các điều kiện cần tối ưu cấp 1 Để loại trừ khả năng này, cần thêm giả thiết để đảm bảo λ 0 ą0, gọi là "điều kiện chuẩn hóa ràng buộc", và được biết đến là điều kiện KKT.
Hệ quả 2.1 Nếu hệ các véc tơ: t∇g i px ˚ q, iPIpx ˚ q,∇h j px ˚ q, j “1, , mu là độc lập tuyến tính thì λ 0 ą0 và ta có
∇fpx ˚ q ` ÿ r i“1 λ i ∇g i px ˚ q ` ÿ m j“1 à j ∇h j px ˚ q “0, (2.4) λ i ě0, g i px ˚ q ď0, λ i g i px ˚ q “ 0, i“1, , r, (2.5) h j px ˚ q “ 0, j “1, , m (2.6) Điều kiện p2.4q ´ p2.6q trong hệ quả trên chính là các điều kiện KKT (Karush - Kuhn - Tucker).
Chú ý 2.2 Ngoài ra, ta còn có thể chứng minh Định lý Fritz John bằng phương pháp hàm phạt và nguyên lý biến phân Ekeland (xem r2s). b Điều kiện đủ cấp 1
Trong phần này, chúng tôi sẽ trình bày một điều kiện đủ để xác định cực tiểu địa phương cho bài toán tối ưu phi tuyến, điều kiện này vẫn áp dụng ngay cả khi trường hợp suy biến λ 0 bằng 0 Định lý 2.3 chỉ ra rằng nếu x ˚ là một nghiệm khả thi của pPq và thỏa mãn các điều kiện FJ p2.1q và p2.2q, thì p2.1q có thể được viết dưới dạng λ 0 ∇f(px ˚ q) + ∑i∈I(px ˚ q) λ i ∇g i(px ˚ q) + ∑j=1 à j ∇h j(px ˚ q) = 0.
Nếu các véc tơ λ 0 ∇fpx ˚ q,tλ i ∇g i px ˚ qu iPIpx ˚ q ,t∇h j px ˚ qu m 1 là hệ sinh của R n thì x ˚ là một cực tiểu địa phương củapPq.
Giả sử x ˚ không phải là một cực tiểu địa phương của hàm pPq, điều này dẫn đến việc tồn tại một nghiệm khả thi x k khác x ˚, sao cho fpx k q nhỏ hơn fpx ˚ q Đặt x k bằng x ˚ cộng với t k d k, trong đó t k lớn hơn 0 và d k khác 1.
0ěg i px ˚ `t k d k q “t k x∇g i px ˚ q, d k y `opt k q, iPIpx ˚ q,
Vỡ }d k } “ 1, ta chọn td k u : d k íẹ d,}d} “ 1 Chia cỏc vế của cỏc phương trỡnh và bất phương trỡnh trờn chot k và cho t k íẹ0, ta được x∇fpx ˚ q, dy ď0, x∇g i px ˚ q, dy ď
Từ phương trình xλ 0 ∇f(px ˚ q, dy) + ∑i∈I(px ˚ q) λi x∇g_i(px ˚ q, dy) + ∑j=1 đến m x∇h_j(px ˚ q, dy) = 0, ta suy ra rằng xλ 0∇f(px ˚ q, dy) = 0, xλi∇g_i(px ˚ q, dy) = 0 và x∇h_j(px ˚ q, dy) = 0 Do d trực giao với mọi véc tơ trong R^n, nên suy ra rằng d = 0, điều này mâu thuẫn với giả thiết ||d|| = 1.
Dó đóx ˚ là cực tiểu địa phương của pPq. Định lý được chứng minh. Điều kiện chuẩn hóa ràng buộc
Trong bối cảnh nghiên cứu, việc xem xét trường hợp λ₀ = 0 hoặc λ₀ nhận giá trị dương trong các điều kiện FJ là rất quan trọng để xác định các điều kiện tối ưu Nếu λ₀ = 0, hàm f(pxq) sẽ không có tác dụng trong việc tìm kiếm cực tiểu địa phương, điều này tạo ra một mâu thuẫn vì chúng ta mong muốn hàm f đạt được giá trị tối ưu Đây là một trường hợp đặc biệt thường xuất hiện trong các định lý FJ.
Ví dụ dưới đây chỉ ra một trường hợp khi λ 0 “0 thì bài toán ối ưu hóa lại không có nghiệm Ta xét bài toán sau:
Ví dụ 2.1 Xét bài toán: min ´x thỏa điều kiện px´1q 3 `yď0, xě0, y ě0.
Ta có: fpxq “ ´x, g 1 px, yq “ px´1q 3 `yď0, g 2 px, yq “ ´xď0, g 3 px, yq “ ´y ď0.
Dễ thấy p1; 0q chính là điểm cực tiểu toàn cục của bài toán.
Do đó, điều kiện FJ sẽ đúng tại p1; 0q Tuy nhiên ta lại có
∇fp1; 0q “ p´1; 0q,∇g 1 p1,0q “ p0; 1q và ∇ 3 p1; 0q “ p0;´1q Do đó ta có phương trình: λ 0 ∇fp1; 0q `λ 1 ∇g 1 p1; 0q `λ 3 ∇g 3 p1; 0q “ p´λ 0 , λ 1 ´λ 3 q “ p0; 0q.
Thay λ 0 “0, ta thấy điều kiện KKT không đạt được tại p1; 0q.
Việc xác định các điều kiện bù là rất quan trọng cho hàm mục tiêu f và các hàm ràng buộc g i, h i với λ 0 > 0 để đảm bảo các điều kiện KKT được thỏa mãn Định lý 2.4 chỉ ra rằng nếu x 0 là điểm thỏa mãn định lý FJ của bài toán pPq, thì các điều kiện KKT sẽ được áp dụng.
∇fpx ˚ q ` ÿ iPIpx ˚ q λ i ∇g i px ˚ q ` m ÿ j“1 à 0 ∇h j px ˚ q “0, (2.7) đúng tại điểm x ˚ nếu và chỉ nếu td:x∇fpx ˚ q, dy ă0u X td:x∇g i px ˚ q, dy ď0, iPIpx ˚ qu (2.8)
Sự khác biệt giữa các điều kiện FJ và KKT là rất nhỏ Trong điều kiện FJ, tại một cực tiểu địa phương x ˚, cần thỏa mãn điều kiện td:x∇fpx ˚ q, dy ă0u X td:x∇g i px ˚ q, dy ď0, với i thuộc tập hợp PIpx ˚ qu.
Điều kiện KKT yêu cầu các điều kiện mạnh hơn cho các bất đẳng thức x∇g i(px ˚ q, dy) < 0 liên quan đến các ràng buộc hoạt g i(px q), thay vì các ràng buộc yếu x∇g i(px ˚ q, dy) ≤ 0.
Hệ quả 2.2 đề cập đến hàm lõm và các ràng buộc tuyến tính trong tối ưu hóa Nếu x ˚ là một cực tiểu địa phương của hàm pPq, thì các điều kiện KKT sẽ đúng tại x ˚ khi các ràng buộc hoạt động i u Ipx ˚ q là hàm lõm trong khu vực lân cận lồi của x ˚, trong khi các ràng buộc đẳng thức th j u m 1 phải là hàm affine.
Các điều kiện KKT sẽ đúng tại mọi cực tiểu địa phương khi tất cả các hàm ràng buộc g i và h j là affine Điều này có nghĩa là g i(pxq) = α i và h j(pxq) = β j Để chứng minh, ta xem xét điều kiện x∇g i(px˚q), dy ≤ 0 với i ∈ I(px˚q) và x∇h j(px˚q), dy = 0 với j = 1, , m.
Khi đó, ta có thể chọn đượcxptq “ x ˚ `td, @tą0 đủ nhỏ sao cho g i px ˚ `tdq ďg i px ˚ q `tx∇g i px ˚ q, dy ď0.
Tương tự vì h j là một hàm affine nên h j px ˚ `tdq “ h j px ˚ q ` x∇h j px ˚ q, dy “0.
Điều kiện cấp 2
Trong phần này, chúng ta xem xét lại bài toán tối ưu pPq với mục tiêu tối thiểu hóa hàm f(pxq) dưới các ràng buộc g_i(pxq) ≤ 0 (i = 1, , r) và h_j(pxq) = 0 (j = 1, , m), trong đó f, g_i và h_j là các hàm liên tục khả vi cấp 2, xác định trên tập mở của miền khả thi pPq.
Các điều kiện FJ và KKT là những điều kiện cần thiết để xác định một điểm cực tiểu địa phương, và mọi điểm cực tiểu địa phương đều phải thỏa mãn những điều kiện này Tuy nhiên, không phải mọi điểm đáp ứng các điều kiện này đều là cực tiểu địa phương Điều kiện cấp 2 sẽ cung cấp thêm những hạn chế cần thiết, giúp thu hẹp quá trình tìm kiếm điểm cực tiểu địa phương cho bài toán pPq.
Kớ hiệu ∇ 2 x Lpx, λ, àqlà Hessian của hàm Lagrange Lvới biến số x, tức là
∇ 2 x Lpx, λ, àq “ ∇ 2 fpxq ` r ÿ i“1 λ i ∇ 2 g i pxq ` m ÿ j“1 à j ∇ 2 h j pxq.
Bổ đề 2.3 khẳng định rằng nếu x ˚ là một điểm cực tiểu địa phương của pPq và thỏa mãn các điều kiện KKT với các nhân tử λ ˚ và à ˚, thì tồn tại một hướng khả thi dPR n tại x ˚ Hướng này cho phép tìm ra một dãy điểm khả thi k íẹx ˚ thỏa mãn các điều kiện px k ´x ˚ q {}x k ´x ˚ } íẹd, g i px k q.
0, iP Ipx ˚ q và h j px k q “ 0 thỡ x∇ 2 x Lpx ˚ , λ ˚ , à ˚ qd, dy ě0.
Chứng minh Chọnd và tx k u thỏa mãn các giả thiết của bổ đề Đặtd k “x k ´x ˚
Vì x ˚ là điểm cực tiểu địa phương củapPq nên
0ďfpx k q ´fpx ˚ q, và theo điều kiện KKT ta cũng cú ∇ x Lpx ˚ , λ ˚ , à ˚ q “ 0 Do đú
Chia cả hai vế của bất đẳng thức trên cho \( d_k > 0 \) và \( k \geq 8 \), ta thu được \( x \nabla x L(x^*, \lambda^*, a^*) \geq 0 \) Bổ đề đã được chứng minh Định lý 2.7 khẳng định rằng nếu \( x^* \) là một cực tiểu địa phương của hàm \( p(P) \) và thỏa mãn các điều kiện KKT với các nhân tử \( \lambda^*, a^* \), thì các vectơ gradient hoạt động.
∇g i px ˚ q, iPIpx ˚ q, ∇h j px ˚ q, j “1, , m là độc lập tuyến tớnh thỡ ∇ 2 x Lpx ˚ , λ ˚ , à ˚ q nửa xỏc định dương trờn khụng gian con tuyến tính
M “ pspant∇g i px ˚ q, iP Ipx ˚ q, ∇h j px ˚ q, j “1, , muq K
Nghĩa là nếu một hướng d thỏa xd,∇g i px ˚ qy “0, iP Ipx ˚ q, xd,∇h j px ˚ qy0, j “1, , m, thỡ x∇ 2 x Lpx ˚ , λ ˚ , à ˚ qd, dy ě0.
Chứng minh Ta xét hàm phạt khả vi 2 lần liên tục sau:
Phương pháp hàm phạt được áp dụng để suy ra các điều kiện FJ, trong đó x k là cực tiểu toàn cục của F k trên một hình cầu đủ nhỏ B px ˚ q Điều này dẫn đến việc ∇F k(px k q) = 0 và ∇²F k(px k q) là nửa xác định dương khi k đủ lớn Để tính toán các hàm ∇F k(px k q) = 0 và ∇²F k(px k q) = 0, ta khai triển công thức Taylor của các hàm thành phần trong F k(px k `tdq) Đặt α(pt) = (p + q)³.
3 Khi đó α 1 ptq “ pt ` q 2 , α 2 ptq “2t ` Ta có 1
3g i ` px`tdq 3 “αpg i pxq `tdq
2α 2 pg i pxqq rx∇g i pxq, dys 2 `o` t 2 ˘
“h j pxq 2 `2trh j pxq x∇h j pxq, dys
Sử dụng các công thức trên, ta đạt được
∇F k px k q “∇fpx k q ` k ÿ i“1 kg i ` px k q ` m ÿ j“1 kh j px k q∇h j px k q ` }x k ´x ˚ } 2 px k ´x ˚ q “0,
C r∇ 2 fpx k q ` k ÿ i“1 kg i ` px k q 2 ∇ 2 g i px k q ` m ÿ j“1 kh j px k q∇h j px k qsd, d
2kg i ` px k q x∇g i px k q, dy 2 ` m ÿ j“1 kx∇h j px k q, dy 2 ff
Vỡ x k ẹx ˚ nờn A T k A k ẹA T A Do đú, A T k A k khụng suy biến với k đủ lớn.
Cho một véc tơ dPM, đặt d k :“π N p A T k qd “ ´
Chú ý rằng d k trực giao với các véc tơ ∇g i px k q, piPIpx ˚ qq, ∇h j px k q, pj “1, , mq và d k ẹd Theo Hệ quả 2.1, điều kiện KKT thỏa mãn và qua lập luận của phương pháp hàm phạt trong Định lý 2.1, ta suy ra kg i ` px k q 2 (8 k“1, tkh j px k qu 8 k“1 bị chặn Do đó, tồn tại các dãy con hội tụ λ i ˚ “ lim.
`ẹ8 k ` h j px k ` q sao choλ ˚ i “0 với iRIpx ˚ q.Cho` ẹ 8trong biểu thức x∇ 2 F k ` px k ` qd k ` , d k ` y ě0 và sử dụngp2.12q,p2.13q ta được
∇ x Lpx ˚ q “ ∇fpx ˚ q ` r ÿ i“1 λ ˚ i ∇g i px ˚ q ` m ÿ j“1 à ˚ j ∇h j px ˚ q “0 và @dPM,
G ě0. Định lý được chứng minh. b Điều kiện đủ cấp 2 Định lý 2.8 Cho x ˚ là một điểm khả thi của pPq thỏa điều kiện KKT với các nhân tử λ ˚ , à ˚ Nếu
Nếu \( \nabla^2 x L_p(x^*, \lambda^*, a^*) q_d, dD > 0 \) với mọi \( d \neq 0 \) thỏa \( x_d, \nabla g_i(x^*) \leq 0, i \in I(x^*) \) và \( x_d, \nabla g_i(x^*) = 0, i \in I(x^*) \) với \( \lambda^* > 0 \), cùng với \( x_d, \nabla h_j(x^*) = 0, j = 1, , m \), thì \( x^* \) là một cực tiểu địa phương ngặt của \( P \) và tồn tại một hằng số \( c > 0 \) với một hình cầu \( B_\epsilon(x^*) \) sao cho \( f(x) \geq f(x^*) + c \| x - x^* \|^2 \) với mọi điểm chấp nhận được \( x \in B_\epsilon(x^*) \).
Giả sử rằng p2.16q không đúng và gọi k là dãy số dương hội tụ tới 0 Khi đó, tồn tại một dãy chấp nhận được x_k và x* sao cho f(px_k) - f(px*) < ε * ||x_k - x*||^2 Đặt d_k = ||x_k - x*|| và không mất tính tổng quát, ta giả sử d_k.
Ta có ε k }d k } 2 ą rfpx k q ´fpx ˚ qs ` ÿ iPIpx ˚ q λ ˚ i g i px k q
, trong đú đẳng thức cuối cựng đỳng vỡ theo điều kiện KKT ta cú ∇ x Lpx ˚ , λ ˚ , à ˚ q “0. Cho k ẹ 8, ta được:
Do đód không thỏa mãn p2.14q.
Mặt khác ε k }d k } 2 ąfpx k q ´fpx ˚ q “ x∇fpx ˚ q, d k y `op}d k }q,
0 ěg i px k q ´g i px ˚ q “ x∇g i px ˚ q, d k y `op}d k }q, iPIpx ˚ q,
Chia cỏc vế bất đẳng thức trờn cho }d k } và cho kẹ 8 ta được x∇fpx ˚ q, dy ď0, x∇g i px ˚ q, dy ď0, x∇h j px ˚ q, dy “0. Điều này chứng tỏ d thỏa mãn p2.15q.Do đó
Trong bài viết này, chúng ta xem xét biểu thức x∇f(px˚q, dy) + Σ (λ˚i x∇g_i(px˚q, dy)) = 0 cho mỗi i thuộc I(px˚q) Từ đó, ta suy ra rằng d thỏa mãn điều kiện (2.15) nhưng không thỏa mãn điều kiện (2.14), dẫn đến mâu thuẫn với giả thiết của định lý Kết luận, định lý đã được chứng minh.
Nếu x ˚ là một điểm khả thi thỏa mãn điều kiện KKT với các nhân tử λ ˚ và à ˚, và nếu λ ˚ i khác 0 với mọi i thuộc Ipx ˚ q (các điều kiện này được gọi là các điều kiện bù ngặt), đồng thời Hessian ∇ 2 x Lpx ˚ , λ ˚ , à ˚ q xác định dương trên không gian con td:xd, với ∇g i px ˚ qy = 0 cho mọi i thuộc Ipx ˚ q và ∇h j px ˚ qy = 0 cho j = 1, , mu, thì x ˚ được coi là một cực tiểu địa phương ngặt của pPq.
Ví dụ 2.4 ptiếp tục Ví dụ 2.3q max px`1q 2 ` py`1q 2 pPq s.t x 2 `y 2 ď2, y ď1.
Ta biểu diễn bài toán về: min ´1
‚, H :“∇ 2 px,yq L“ pλ,´1qI. Điểm KKT: ¨ ˝
Theo điều kiện đủ cấp 2, ta có p1; 1q là điểm cực tiểu địa phương ngặt của bài toán pP 1 q.
Do đó p1; 1q là điểm cực đại của bài toán pPq.
Vì M “0 nên điều kiện cần cấp 2 thỏa mãn Khi đó tồn tại d sao cho xp´1,1q,pd 1 , d 2 qy “ ´d 1 `d 2 ě0và xp0,1q,pd 1 , d 2 qy “d 2 ě0.
Chọn d“ p1,1q ta được xHd, dy ă0.
Do đó p´1,1q không là cực tiểu địa phương của bài toán pP 1 q.
Suy ra M đi qua gốc tọa độ.
Do đó điều kiện cần cấp 2 không thỏa mãn nên p´1,´1q không là cực tiểu địa phương của bài toán.
Điểm yên ngựa và tính chất
L:A ˆB ẹR, trong đó A,B là hai tập bất kì và L là một hàm tùy ý Ta liên kết vớiL các bài toán nền và bài toán đối ngẫu xPAinf sup yP B
Lpx, yq, pPq sup yP B xPAinfLpx, yq pDq
Định lý 2.9, hay còn gọi là định lý đối ngẫu yếu, khẳng định rằng nếu pPq và pDq là các bài toán cơ bản và bài toán đối ngẫu liên quan đến L, thì điều kiện suppDq ≤ infpPq được thỏa mãn Điều này có nghĩa là sup yP B xPAinf L(px, yq) ≤ inf xPAsup yP B.
Lpx, yq. Chứng minh Ta có xPAinf Lpx, yq ď Lpu, yq với mọi uPA, y PB.
Suy ra sup yP B xPAinf Lpx, yq ďsup yP B
Lpu, yq với mọi uPA, và sup yP B xPAinf Lpx, yq ď inf uPAsup yP B
Lpu, yq “ inf xPBsup yP B
Định lý đối ngẫu yếu đã chứng minh mối liên hệ quan trọng giữa bài toán pPq và pDq, cung cấp thông tin hữu ích cho việc nghiên cứu Kết quả này mở ra những hướng đi mới trong việc áp dụng lý thuyết vào thực tiễn.
Nếu Ll là một hàm Lagrange và pPq cùng pDq là các bài toán nền và đối ngẫu tương ứng, thì khi bài toán cực tiểu nền P không bị chặn, điều này dẫn đến việc bài toán đối ngẫu cực đại P trở nên không khả thi.
Chứng minh P không bị chặn dưới nếu và chỉ nếu infpPq “ ´8 Khi đó suppDq “ ´8, điều này có nghĩa là pDq có miền khả thi rỗng.
Khoảng cách đối ngẫu giữa các giá trị hàm mục tiêu infpPq ´suppDq ě0 là yếu tố quan trọng trong tối ưu hóa Khi khoảng cách này bằng 0, các giá trị tối ưu của bài toán nền và bài toán đối ngẫu sẽ trùng nhau Định nghĩa 2.5 mô tả điểm yên ngựa, nơi một điểm px ˚ , y ˚ q P AˆB được gọi là điểm yên ngựa của L.
Định lý 2.10, còn được gọi là định lý điểm yên ngựa, xác định đặc trưng của các điểm yên ngựa trong không gian L : A ˆ B ẹR Cụ thể, với mọi điểm (x ˚ , y ˚ ) thuộc A ˆ B, có mối quan hệ giữa các giá trị Lpx ˚ , yq và Lpx, y ˚ q, cho thấy sự tồn tại của các điểm yên ngựa trong bối cảnh này.
Các điều kiện sau là tương đương
(a) px ˚ , y ˚ q là một điểm yên ngựa của Lpx, yq.
(b) x ˚ là một nghiệm của pPq, y ˚ là một nghiệm của pDq và minpPq “maxpDq, nghĩa là min xPA sup yPB
Lpx, yq “ max yPB inf xPA Lpx, yq (2.18)
Khi đó, giá trị nhỏ nhất bên trái đạt được tại x ˚ và giá trị lớn nhất bên phải đạt được tại y ˚
Hơn nữa, nếu paq hoặc pbq thỏa mãn thì giá trị tối ưu của pPq và pDq chính là
Chứng minh Giả sử (a) đúng Ta có sup yP B
Lpx ˚ , yq được xác định bởi công thức Lpx ˚ , yq = Lpx ˚ , y ˚ q, trong đó min xP A Lpx, y ˚ q = inf xP A Lpx, y ˚ q Đẳng thức giữa được thiết lập từ công thức 2.17, trong khi các đẳng thức đầu và cuối là những trường hợp đơn giản Do đó, x thuộc A và inf sup y thuộc B.
Lpx ˚ , yq “Lpx ˚ , y ˚ q “ inf xPA Lpx, y ˚ q ďsup yP B xPAinf Lpx, yq ď inf xPAsup yP B
Bất đẳng thức cuối cùng được suy ra từ Định lý đối ngẫu yếu, với các điều kiện đầu và cuối giống nhau, dẫn đến các đẳng thức trở thành bình đẳng Điều này chứng minh rằng pbq và giá trị tối ưu của pPq và pDq bằng L(px ˚, y ˚).
Ngược lại, giả sử pbq đúng Khi đó, từp2.18q ta có xPAinf Lpx, y ˚ q “sup yPB
Lpx ˚ , yq ďLpx ˚ , y ˚ q ďLpx, y ˚ q với mọixPA, y PB.
Định lý đã được chứng minh cho thấy mối liên hệ chặt chẽ giữa các điểm yên ngựa và các cặp bài toán tối ưu nền - đối ngẫu.
Hệ quả 2.6 Tập cỏc điểm yờn ngựa củaL: AˆB ẹR là một tớch trực tiếpA 0 ˆB 0 , trong đó A 0 ĎA, B 0 ĎB.
Chứng minh Giả sử px ˚ 1 , y ˚ 1 q và px ˚ 2 , y ˚ 2 q là các điểm yên ngựa của L Khi đó, ta cần chứng minh px ˚ 1 , y 2 ˚ q và px ˚ 2 , y ˚ 1 q cũng là các điểm yên ngựa của L.
Thật vậy, vì px ˚ 1 , y 1 ˚ q, px ˚ 2 , y 2 ˚ q là các điểm yên ngựa của L nên
Lpx ˚ 1 , y 2 ˚ q ď Lpx ˚ 1 , y 1 ˚ q ďLpx ˚ 2 , y 1 ˚ q ďLpx ˚ 2 , y 2 ˚ q ď Lpx ˚ 1 , y ˚ 2 q.
Lpx ˚ 1 , yq ď Lpx ˚ 1 , y ˚ 1 q “ Lpx ˚ 1 , y 2 ˚ q “Lpx ˚ 2 , y 2 ˚ q ďLpx, y 2 ˚ q với mọixPA, y PB.
Lpx ˚ 1 , yq ď Lpx ˚ 1 , y 2 ˚ q ďLpx, y 2 ˚ q với mọixPA, y PB. Điều này chứng tỏpx ˚ 1 , y 2 ˚ qlà một điểm yên ngựa củaL.Tương tự ta cũng chứng minh đượcpx ˚ 2 , y 1 ˚ q là điểm yên ngựa củaL.
Bổ đề được chứng minh.
Ngoài ra ta cũng có một kết quả rất hữu ích trong tập lồi như sau:
Bổ đề 2.4 Cho A Ď R n và B Ď R n là các tập lồi, Lpx, yq là một hàm vừa lồi vừa lõm.
Tập các điểm yên ngựa của L là một tập có dạng A 0 ˆB 0 , trong đó A 0 và B 0 là các tập lồi.
Hơn nữa, nếu A 0 ˆB 0 ‰∅ và L là tập lồi ngặt tại x (lõm ngặt tại y) thì A 0 pB 0 q là duy nhất.
Chứng minh Ta chỉ cần chứng minh bổ đề đúng tại A 0 (tương tự tại B 0 ) Cho y ˚ P
B 0 và x ˚ 1 , x ˚ 2 P A 0 ,0 ă λ ă 1 Đặt x ˚ λ :“ p1´λqx ˚ 1 ` λx ˚ 2 Theo Hệ quả 3.2 vì px ˚ i , y ˚ q pi“1,2q là một điểm yên ngựa nên
Lpx ˚ i , yq ď Lpx ˚ i , y ˚ q ď Lpx, y ˚ q, i“1,2 @xPA, y PB.
Lpx ˚ λ , yq ď p1´λqLpx ˚ 1 , yq `λLpx ˚ 2 , yq ď p1´λqLpx ˚ 1 , y ˚ q `λLpx ˚ 2 , y ˚ q
Do đópx ˚ 1 , y ˚ q và px ˚ 2 , y ˚ q là các điểm yên ngựa của L.
Lpx ˚ λ , y ˚ q ď p1´λqLpx ˚ 1 , y ˚ q `λLpx ˚ 2 , y ˚ q và p1´λqLpx, y ˚ q `λLpx, y ˚ q “Lpx, y ˚ q @xPA Bất đẳng thức đầu tiên được thiết lập nhờ tính lồi của L tại x, trong khi bất đẳng thức thứ hai xuất phát từ việc px ˚ 1 , yq và px ˚ 2 , yq là các điểm yên ngựa Sự kết hợp của hai yếu tố này cho phép chúng ta rút ra kết luận quan trọng về tính chất của hàm L.
Lpx ˚ λ , yq ď Lpx ˚ λ , y ˚ q ďLpx, y ˚ q @xP A, y PB, nghĩa là px ˚ λ , y ˚ q là một điểm yên ngựa của L.Do đó A 0 là một tập lồi.
Giả sửLlà lồi ngặt tạixvà A 0 ˆB 0 ‰ H.Chox ˚ 1 , x ˚ 2 PA 0 vày ˚ PB 0 Nếux ˚ 1 ‰x ˚ 2 thì
VìA 0 là lồi nênpx ˚ 1 `x ˚ 2 q {2PA 0 và theo Hệ quả 3.2 ta suy ra ˆx ˚ 1 `x ˚ 2
2 , y ˚ ˙ là điểm yên ngựa Điều này chứng tỏA0 phải là duy nhất.
Bổ đề được chứng minh.
Đối ngẫu trong Quy hoạch phi tuyến
Xét bài toán quy hoạch phi tuyến min fpxq s.t g i pxq ď 0, i“1, , r, pPq h j pxq “0, j “1, , m, xPC.
Lpx, λ, àq “ fpxq ` r ÿ i“1 λ i g i pxq ` m ÿ j“1 à j h j pxq, xPC, λě0, à PR m (2.19)
8, các trường hợp còn lại.
Tương tự, sup à j PR à j h j pxq “
8, các trường hợp còn lại
Do đó ta có sup
`8, các trường hợp còn lại.
Khi đó, ta có thể viết pPq dưới dạng xPC inf sup
Lpx, λ, àq pPq. và bài toán đối ngẫupPqđược xây dựng sup
0ďλP R r ,àP R m xPC inf Lpx, λ, àq pDq.
Ta gọi pPq là quy hoạch lồi hay bài toán quy hoạch lồi nếu các hàm f, tg i u r 1 là lồi, tg i u r 1 affine và CP R n là tập lồi khác rỗng.
Trong chương này, chúng ta sẽ khám phá mối quan hệ đối ngẫu giữa các bài toán lồi và các lớp bài toán quy hoạch lồi đặc biệt, cùng với những bài toán liên quan có sự kết nối mật thiết.
Chúng ta sẽ nghiên cứu chi tiết hơn về hàm Lagrange L(px, λ, àq) trong phần 3.3 Định lý 2.11 nêu rõ rằng một điểm (px ˚, λ ˚, à ˚q) là một điểm yên ngựa của hàm Lagrange L.
Lpx ˚ , λ, àq nằm trong khoảng Lpx ˚ , λ ˚ , à ˚ q và Lpx, λ ˚ , à ˚ q tại xPC,0ďλPR r , àPR m, nếu và chỉ nếu piq x ˚ là cực tiểu toàn cục của pPq, và piiq pλ ˚ , à ˚ q là cực đại toàn cục của pDq, đồng thời piiiq minpPq bằng maxpDq Nếu px ˚ , λ ˚ , à ˚ q là điểm yên ngựa, thì pivq minpPq bằng Lpx ˚ , λ ˚ , à ˚ q và maxpDq, hay tương đương với pvq λ ˚ i g i px ˚ q bằng 0, với i từ 1 đến r.
Vì vậy, nếu px ˚ , λ ˚ q là một điểm yên ngựa thì điều kiện bù đúng, nghĩa là λ ˚ i ě0, g i px ˚ q ď0, λ ˚ i g i px ˚ q “ 0, i“1, , r.
Chứng minh Theo Định lý 2.10 ta cú đượcpiq,piiq,piiiqđỳng Hơn nữa nếupx ˚ , λ ˚ , à ˚ q là điểm yên ngựa thì hiển nhiên pivq đúng, nghĩa là fpx ˚ q “Lpx ˚ , λ ˚ , à ˚ q “ fpx ˚ q ` r ÿ i“1 λ ˚ i g i px ˚ q ` m ÿ j“1 à ˚ j h j px ˚ q.
Vì h j px ˚ q “ 0 pj “1, , mqnên r ÿ i“1 λ ˚ i g i px ˚ q “0.
Vì λ ˚ i ě0, g i px ˚ q ď 0,ta suy ra λ ˚ i g i px ˚ q “0 Điều này chứng minhpvq. Định lý được chứng minh.
Hệ quả 2.7 Nếu các hàm số f, tg i u r 1 , th j u m 1 là khả vi và C “ R n thì các điều kiện KKT đúng, nghĩa là
Chứng minh Theo định lý trờn, ta cú Lpx ˚ , λ ˚ , à ˚ q ď Lpx, λ ˚ , à ˚ q nờn x ˚ là cực tiểu toàn cục củaLpx, λ ˚ , à ˚ q trờn R n Suy ra ∇ x Lpx ˚ , λ ˚ , à ˚ q “ 0.
Hệ quả được chứng minh.
Lý thuyết đối ngẫu trong quy hoạch lồi
Lý thuyết đối ngẫu là công cụ quan trọng trong tối ưu hóa, giúp cải thiện cả lý thuyết lẫn tính toán Mặc dù chưa phổ biến trong thực tiễn tối ưu hóa, tính đối ngẫu vẫn có giá trị dưới các giả thiết chính quy cho nhiều bài toán quan trọng, đặc biệt là bài toán quy hoạch lồi và các bài toán liên quan.
Lý thuyết đối ngẫu bắt đầu từ năm 1921 khi E Helly đưa ra các điều kiện cần và đủ cho tính giải được của hệ tuyến tính trong không gian vô hạn chiều, tạo nền tảng cho Định lý Haln - Banach Năm 1928, Định lý minimax của Neumann, một dạng định lý đối ngẫu, đã ra đời và đánh dấu sự khởi đầu của lý thuyết trò chơi Định lý 3.1 xác định rằng với hàm liên tục L: C1 × C2 → R, trong đó C1 và C2 là các tập lồi compact, nếu L là hàm lồi-lừm, thì x min P C1 max y P C2.
Phương pháp đơn hình cho quy hoạch tuyến tính, do Dantzig phát minh năm 1947, đã ẩn chứa lý thuyết đối ngẫu mà Neumann phát hiện Vào năm 1951, Kuhn và Tucker đã mở rộng lý thuyết đối ngẫu này cho các bài toán quy hoạch lồi, đồng thời tạo ra mối liên hệ giữa đối ngẫu và các điểm yên ngựa.
Đối ngẫu mạnh trong Quy hoạch lồi
Quy hoạch tuyến tính
Xét bài toán quy hoạch tuyến tính pPq minxc, xy, với ràng buộc
Ax“b, x ě0, trong đó A là một ma trận cỡ mˆn, cPR n , bPR m Đặt C “R n ` Ta có hàm Lagrange là
Lpx, àq “ xc, xy ` xà, b´Axy “ xb, ày ` xc´A T à, xy.
Bài toán đối ngẫu được định nghĩa là sup àP R m xě0infLpx, àq Trước tiên, chúng ta sẽ xem xét bài toán cực tiểu bên trong của pDq, với xě0infLpx, àq “ xb, ày `inf xě0xc´A T à, xy “.
% xb, ày, nếu c´A T àě0 ´8, ngoài ra.
Do đó bài toán pDq có thể viết lại dưới dạng sup àP R m xb, ày:c´A T àě0(
Nói cách khác,pDq là bài toán quy hoạch tuyến tính dạng max yP R m xb, yy, với điều kiện
Nếu pQ không bị chặn, theo Hệ quả 2.5, pDq không khả thi Nếu pQ khả thi và bị chặn dưới, theo Hệ quả 3.1, pDq có nghiệm tối ưu và khoảng cách đối ngẫu bằng 0 Hơn nữa, pPq cũng có nghiệm tối ưu Kết quả tương tự có thể đạt được dễ dàng hơn khi xem pPq như bài toán đối ngẫu của pDq.
Quy hoạch toàn phương
Bây giờ ta xét bài toán quy hoạch toàn phương lồi pPq min1
Trong bài viết này, chúng ta xem xét hàm Lagrange với điều kiện Ć“b, xě0, trong đó Q là ma trận đối xứng nửa xác định dương, A là ma trận kích thước mˆn, c thuộc R n và b thuộc R m Đặt C là R n, từ đó chúng ta có thể phân tích các đặc điểm và ứng dụng của hàm Lagrange trong các bài toán tối ưu hóa.
2xQx, xy ` xc, xy ` xà, b´Axy ´ xλ, xy
Theo định nghĩa bài toán đối ngẫu pDq là sup àP R m ,0ďλP R n xPRinf n Lpx, λ, àq.
Bài toỏn tối ưu bờn trong inf xP R n Lpx, λ, àq là bài toỏn tối ưu khụng ràng buộc của hàm toàn phương lồi qpxq “ 1
Trong không gian R^n, 2xQx, xy ´ xA T à`λ´c được xem xét Để q bị chặn dưới, nó cần đạt cực tiểu toàn cục Điều này xảy ra khi và chỉ khi phương trình cụ thể được thỏa mãn.
Phương trình Qx“A T à`λ´c (3.6) có nghiệm theo ẩn x, với tập nghiệm X là tập các điểm tối ưu của q Điều quan trọng cần lưu ý là xQx ˚, x ˚ y “ xA T à`λ´c, và x ˚ y “ ´2 min xP R n q cho mọi x ˚ PX Do đó, bài toán đối ngẫu pDq được xác định bởi max xb, ày ´ 1.
Chọn điểm x ˚ thỏa mãn phương trình (3.6) với các tham số àR m , R n ěλ ě0 Đặt x ˚ là hàm tuyến tính của λ, ví dụ, x ˚ có thể được chọn là Q ` pA T à`λ´cq, trong đó Q ` là giả nghịch đảo của Q.
Q ` “U^ ` U T là phân tích phổ của Q,Ź `
“diagtλ ` 1 , λ ` 2 , , λ ` n u, λ ` i “ pλ i q ´1 nếu λ i ‰0 và λ ` i “0 nếu λ i “0 Vì Qlà nữa xác định dương nên Q ` cũng nữa xác định dương Do đó bài toán đối ngẫu pDq là max xb, ày ´ 1
2xQ ` pA T à`λ´cq, A T à`λ´cy, thỏa điều kiện
Bài toán quy hoạch toàn phương cực đại với hàm mục tiêu là hàm lõm tương đương với bài toán toàn phương lồi cực tiểu.
2xQ ` pA T à`λ´cq, A T à`λ´cy ´ xb, ày, thỏa điều kiện
NếuQ là xác định dương thì Q ` “Q ´1 và pDq trở thành max xb, ày ´ 1
2xQ ´1 pA T à`λ´cq, A T à`λ´cy, thỏa điều kiện λě0, à.
Một bài toán minimax
Bài toán pPq min xP R n maxtf 1 pxq, f 2 pxq, , f m pxqu, trong đó f i là các hàm lồi, i = 1, 2, , m, sẽ được thiết lập lại để xác định hàm Lagrange của nó Chúng ta sẽ bắt đầu với kết quả cơ sở quan trọng để giải quyết bài toán này.
Bổ đề 3.2 ([2]) Cho các số thực a 1 , , a m Ta có maxta 1 , a 2 , , a m u “ max λP∆ m´1 ÿ m i“1 λ i a i , trong đó ∆ m´1 là đơn hình đơn vị chuẩn tắc trong R m
Sử dụng kết quả này ta có maxtf 1 pxq, f 2 pxq, , f m pxqu “ max λP∆ m´1 m ÿ i“1 λ i f i pxq, vì vậy bài toán pPq có thể được viết lại dưới dạng min xP R n λP∆max m´1 λ i f i pxq.
Hàm Lagrange của pPq là
Ta có hàmLlà tuyến tính, do đó lõm theoλ Hơn nữa, vì các hàmf i là lồi nênLcũng lồi Đối ngẫu của pPqlà pDq max λP∆ m´1 min xP R n λ i f i pxq.
Gọi px ˚ , λ ˚ q là một điểm yên ngựa củaL Ta có
Chú ý rằng nếu tất cả các hàmf i là khả vi thì từ bất đẳng thức thứ hai ở trên ta được m ÿ i“1 λ i ∇f i px ˚ q “ 0.
Theo Định lý 3.3, điểm tối ưu x ˚ thuộc bài toán pPq Đặt Ipx ˚ q là tập hợp các chỉ số ti với f i pxq, trong đó giá trị lớn nhất maxtf 1 pxq, f 2 pxq, , f m pxqu được xác định Từ đó, ta có thể rút ra bổ đề liên quan.
Bổ đề 3.3 ([2]) Nếu iRIpx ˚ q thì λ i “0.
Quy hoạch phi tuyến đã chứng minh là một công cụ hữu ích trong việc giải quyết các vấn đề toán học quan trọng, bao gồm chứng minh các bất đẳng thức và phân tích phổ của ma trận đối xứng Trong luận văn thạc sĩ này, chúng tôi sẽ trình bày một số ứng dụng nổi bật của lý thuyết quy hoạch phi tuyến, như chứng minh các bất đẳng thức nổi tiếng Hadamard, Kantorovich, Hilbert và các bài toán biến phân trong các phương pháp gần giống Newton Nội dung chủ yếu được tham khảo từ tài liệu của tác giả G:uler.
Phân tích phổ của một ma trận đối xứng
Cho A là ma trận đối xứng cấpn Bài viết này sẽ chứng minh phân tích phổ của ma trận A thông qua kỹ thuật quy hoạch phi tuyến Để thực hiện điều này, chúng ta sẽ xem xét bài toán cực tiểu của hàm toàn phương xAx, xy trên mặt cầu đơn vị với điều kiện.
Vì gradient của hàm ràng buộc khác không trên miền hữu hiệu nên các điều kiện KKT đúng Do đó, ta có hàm Lagrange
Vì miền ràng buộc là compact nên tồn tại một nghiệm cực tiểu toàn cục u 1 trên mặt cầu đơn vị là nghiệm của hệ KKT :
Do đó, Au 1 “λ 1 u 1 và }u 1 } “1 Điều này có nghĩa là λ 1 là giá trị riêng củaA ứng với véc tơ riêngu 1 Ta có xAu 1 , u 1 y “ xλ 1 u 1 , u 1 y “λ 1
Và nếux là một véc tơ riêng của A ứng với giá trị riêng λ thì ta có λ“ xλx, xy “ xAx, xy ě xAu 1 , u 1 y “λ 1
Giá trị riêng nhỏ nhất của ma trận A tương ứng với véc tơ riêng 1 được ký hiệu là λ1 Tiếp theo, chúng ta sẽ xem xét dãy các bài toán tối ưu sau: tìm giá trị nhỏ nhất của hàm xAx với điều kiện xy.
}x} 2 “1,xu i , xy “0, i“1,2, , k ´1 vớik “2, , nvà trong đóu i nằm trong tập ràng buộc cuối cùng là nghiệm tối ưu của bài toán pP i q với iăk.
Các véc tơ tu i u k´1 i“1 tạo thành một hệ trực chuẩn, và do tập ràng buộc là compact, tồn tại một nghiệm tối ưu x ˚ trên mặt cầu đơn vị Các véc tơ gradient t´2x, u 1 , , u k´1 u cũng là trực chuẩn và độc lập tuyến tính, do đó các điều kiện KKT được thỏa mãn, dẫn đến hàm Lagrange.
Các điều kiện KKT là
Chúng ta chứng minh rằng véc tơ nhân tử δ k “ pδ 1 k , , δ k´1 k q là véc tơ không bằng phương pháp quy nạp Đối với trường hợp k “ 1, điều này hiển nhiên đúng Giả sử giả thiết quy nạp đúng cho tất cả các số nguyên nhỏ hơn k, và tiến hành lấy tích trong cả hai vế của phương trình để hoàn tất chứng minh.
Đẳng thức đầu tiên liên quan đến tính đối xứng của ma trận A, trong khi đẳng thức thứ hai được chứng minh thông qua giả thiết quy nạp Điều này chứng tỏ rằng véc tơ riêng u k :“ x ˚ tương ứng với giá trị riêng λ k :“ λ, là giá trị riêng thứ k nhỏ nhất của A Định nghĩa U :“ ru 1 , u 2 , , u n s và Ź.
“diagpλ 1 , λ 2 , , λ n q Ta cóAu i “λu i , i“1, , n,vì vậy
Hệ trực chuẩn U là một ma trận trực giao, cho thấy rằng bài toán phân tích phổ của một ma trận đối xứng đã được giải quyết.
Bất đẳng thức Kantorovich
Định lý 4.1 (Bất đẳng thức Kantorovich) Cho ma trận A cấp nˆn xác định dương với các giá trị riêng λ 1 ąλ 2 ą ąλ n ą0.
Khi đó, ta có bất đẳng thức max xAx, xy ¨@
Chứng minh Ta xét bài toán max xAx, xy ¨ xA ´1 x, xy s.t }x} 2 “1.
Bất đẳng thức Kantorovich có thể được chứng minh bằng cách chỉ ra rằng giá trị tối ưu của hàm mục tiêu là pλ 1 `λ n q 2 { p4λ 1 λ n q Để thực hiện điều này, chúng ta xem xét ma trận A “U ^U T, trong đó U là ma trận trực giao.
“ diagtλ 1 , , λ n u và chú ý rằng }x} “1 nếu và chỉ nếu }U x} “1.
Khi đó, bài toán qui về tìm max ˆ n ř j“1 λ j x 2 j ˙
ˆ n ř j“1 λ ´1 j x 2 j ˙ với ràng buộc ř n j“1 x 2 j “1. Với mỗi iP t1, , nu, ta đặty i “x 2 i Khi đó bài toán ban đầu trở thành max ˜ n ÿ j“1 λ j y j á ¨ ˜ n ÿ j“1 λ ´1 j y j á s.t ÿ n j“1 y j “1, y ě0.
Theo điều kiện KKT, ta có ´λ i ˜ n ÿ j“1 λ ´1 j y j á ´λ ´1 i ˜ n ÿ j“1 λ j y j á
Nhân hai vế phương trình thứ nhất cho y i ,ta được ´λ i y i ˜ n ÿ j“1 λ ´1 j y j á ´λ ´1 i y i ˜ n ÿ j“1 λ j y j á
NếuiPI :“ ti:y i ą0uthỡ à i “0.Chia cả 2 vế của phương trỡnh thứ nhất trongp4.1q cho ˆ n ř j“1 λ ´1 j y j ˙ ¨ ˆ n ř j“1 λ j y j ˙ và sử dụng p4.2q, suy ra λ i ř n j“1 λ ´1 j y j
Do đó giá trị hàm mục tiêu là ˜ n ÿ k“1 λ k y k á ¨ ˜ n ÿ k“1 λ ´1 k y k á
Chọn i“1, j “n ta có bất đẳng thức được chứng minh.
Bất đẳng thức Hadamard
Cho X “ rx 1 , x 2 , , x n s là một ma trận nˆn với các cột tx i u n 1 , ta xét bài toán max detX với điều kiện}x i } 2 “1, i“1,2, , n.
Thể tích của một khối hộp n chiều với các cạnh là các véc tơ x1, x2, , xn được xác định bởi detX Do đó, bài toán tìm khối hộp n chiều có thể tích lớn nhất với các cạnh là các véc tơ đơn vị tương đương với việc xác định một khối vuông n chiều Theo trực quan hình học, nghiệm của bài toán này phải là một khối vuông n chiều, nghĩa là các cạnh của khối hộp phải vuông góc với nhau.
Các véc tơ gradient của các ràng buộc là độc lập tuyến tính, vì mỗi véc tơ chứa các cột khác nhau của ma trận X Do đó, theo Hệ quả 2.3, các điều kiện KKT được thỏa mãn tại mỗi điểm tối ưu địa phương.
Để đạt được các điều kiện KKT, trước tiên cần tính các đạo hàm của hàm định thức Theo công thức khai triển Laplace, định thức được tính bằng công thức detX = Σ (−1)^(i+j) * x_ij * det(X_ij), trong đó X_ij là định thức con bù của phần tử x_ij, được tạo ra bằng cách xóa đi dòng i và cột j của ma trận X.
Trong bài toán tối ưu, phần phụ đại số của ma trận X được ký hiệu là b ij Các điều kiện KKT (Karush-Kuhn-Tucker) cho bài toán này được biểu diễn qua hai phương trình: đầu tiên là paq - b ij = λ j x ij, với i, j = 1, 2, , n; thứ hai là tổng bình phương của x ij phải bằng 1, tức là pbq n ÿ i=1 x 2 ij = 1, với j = 1, 2, , n.
Nhớ lại rằngB “ pb ji q “ rb 1 , b 2 , , b n s T “AdjpXq được gọi là ma trận liên hợp của X và nó được đặc trưng bởi phương trình
Ma trận \(X^T X\) có thể được viết dưới dạng \(p \text{diag}(\lambda_1, \lambda_2, \ldots, \lambda_n)q\), từ đó suy ra \(p \text{det}(X) = \text{det}(X^T \text{Adj}(X))\) Điều này cho thấy ma trận \(X^T X\) là một ma trận trực giao, tức là các cột của ma trận \(X\) có sự vuông góc với nhau Hơn nữa, vì các cột của \(X\) đều có chiều dài bằng 1, điều này càng khẳng định tính chất trực giao của chúng.
X T X “I, do đó X là một ma trận trực giao Suy ra detX “1.
Như vậy, max detX “1 nếu }x i } 2 “1,i“1,2, , n.
‚Thật ra bài toán này chính là bài toán max detX “1 nếu}x i } “1,i“1,2, , n.
Từ đó, suy ra detX ď1, với mọiX “ rx 1 , , x n s PR nˆn , }x i } 2 “1, i“1, , n.
Nếu X là một ma trận vuông bất kỳ, việc chuẩn hóa các cột của X sẽ tạo ra một ma trận mới Y, trong đó các cột của Y có chuẩn bằng 1 Hơn nữa, định thức của Y sẽ bằng 1.
Vì vậy theo bài toán trên detY ď1.
‚Do đó, ta đạt được Bất đẳng thức Hadamard detX ď }x 1 } ¨ ¨ ¨ }x n }, @X “ rx 1 , , x n s PR nˆn
Dấu bằng xảy ra khi và chỉ khi các cộttx i u n 1 trực giao với nhau.
Bất đẳng thức Hilbert
Với tích vô hướng và chuẩn xx, yy “ ÿ8 0 x i y i , }x} 2 “ ˜8 ÿ
Xét 2 dãytx i u 8 0 và ty j u 8 0 không âm trong l 2 Ta có bất đẳng thức Hilbert như sau: ÿ8 i,j“0 x i y j i`j `1 ăπ¨ ˜8 ÿ i“0 x 2 i á 1 2 ¨ ˜8 ÿ j“0 y j 2 á 1 2
“π¨ }x} 2 ¨ }y} 2 , dấu đẳng thức chỉ xảy ra khi tx i u 8 0 và ty j u 8 0 là các dãy 0 Đây là một bất đẳng thức quan trọng và có nhiều ứng dụng trong giải tích.
Bất đẳng thức Hilbert có thể được mở rộng như sau Cho pą1, qą1 sao cho
Theo bất đẳng thức Holder, nếu \( x \) và \( y \) thuộc không gian \( l^p \) và \( l^q \) tương ứng, thì có công thức \( \|x\|_p \|y\|_q \) Định lý 4.2, hay còn gọi là bất đẳng thức Hilbert, khẳng định rằng nếu \( x_i \geq 0 \) và \( y_i \geq 0 \) là các dãy không âm trong không gian \( l^p \) và \( l^q \), thì tổng của tích \( \sum_{i,j \geq 0} x_i y_j \) không vượt quá \( \pi \sin\left(\frac{\pi}{p+q}\right) \|x\|_p \|y\|_q \) Đẳng thức xảy ra khi cả hai dãy \( x_i \) và \( y_i \) đều là các dãy không âm bằng 0.
Chứng minh Xét bài toán maxxAx, yy s.t. ř k i“0 x p i “1, ř k j“0 y j q “1, xě0, y ě0, trong đó x, y PR k`1 và xAx, yy :“ ÿ8 i,j“0 x i y j i`j `1.
Chú ý rằng A là ma trận đối xứng với các hệ số 1
1`i`j tương ứng với vị trí ij Ta có hàm Lagrange
Các điều kiện Fitz John bao gồm các yếu tố như λAyδx p1 λ“0, λAxγy q1 γ “0, với x ≥ 0, y ≥ 0 và xλ, xy “0“ xà, yy Ngoài ra, pλ 0, δ, γ, λ, àq ≠ 0 và pλ 0, λ, àq ≥ 0 Trong đó, x p1 = (xp1 1, , xp1 k) và y q1 = (py 1 q1, , y k q1) Bằng cách lấy tích vô hướng của phương trình đầu với x và áp dụng các điều kiện trên, ta có λ0 xAx, yy = δ Tương tự, ta cũng có λ0 xAx, yy = γ và δ = γ.
Nếu λ 0 “0 thỡ ta cú δ “0“γ và λ “0“ à(do điều kiện FJ) Do đú, điều kiện KKT được thỏa mãn Ta có thể chọn λ 0 “1.
Nếu x i ą0, điều kiện KKT cho ta δx p´1 i “ xe i , Ayy “ ÿ k j“0 y j i`j `1, và tương tự nếu y i ą0 thì δy j q´1 “ k ÿ i“0 x i i`j `1.
Gọi i ˚ , j ˚ lần lượt là chỉ số để tpi` 1 2 q
1 q y j : 0ďj ďkulớn nhất Ta có δx p´1 i “ k ÿ j“0 y j i ˚ `j `1 “ k ÿ j“0 y j pj` 1 2 q
, trong đó bất đẳng thức thứ hai có được nhờ thay thế y “ i ˚ x
` 1 2 và sử dụng bất đẳng thức yď k`1 i ˚ ` 1 2 ď2k`2 Những điều này cho chúng ta δx p´1 i ˚ ďy j ˚ pj ˚ ` 1
, lấy mũ q cho cả 2 vế và lưu ý đẳng thức p`q“pq, ta được δ q x p i ˚ ďy j q ˚pj ˚ ` 1
Tương tự ta cũng có δ p x q i ˚ ďx p i ˚pi ˚ `1
, nhân vế theo vế 2 bất đẳng thức trên ta được δ pq “δ p`q ď ˜ż2k`2
Hằng số tối ưu trong bất đẳng thức Hilbert được xác định bởi δ ďsinpπ pq, với điều kiện là π sinp π p q Định lý này đã được chứng minh rõ ràng.
Bằng cách tương tự ta có thể chứng minh lại các bất đẳng thức cổ điển như bất đẳng thức Cauchy, Bunhicopski, H:older, Minkopski,
Các bài toán biến phân trong phương pháp tựa Newton
Phương pháp Broyden được áp dụng để xấp xỉ nghiệm cho hệ phương trình phi tuyến G(px) = 0, với G: R^n → R^m là một ánh xạ không tuyến tính Bài toán đặt ra là tìm ma trận X có kích thước m × n sao cho ||X||_F nhỏ nhất, với các ràng buộc a ≤ X ≤ b, trong đó a ∈ R, 0 ≤ b ∈ R^m và chuẩn ||X||_F được định nghĩa rõ ràng.
}X} 2 F “ m ÿ i“1 n ÿ j“1 x 2 ij Đối với 2 ma trận vuông, tích vô hướng được định nghĩa bởi xX, Yy “trpX T Yq “ ÿ n i,j“1 x ij y ij với X, Y P R nˆn Khi đó
Vì hàm mục tiêu có tính cưỡng bức, nên luôn tồn tại một cực tiểu toàn cục Các hàm ràng buộc là tuyến tính, do đó, theo Hệ quả 2.2, các điều kiện KKT sẽ đúng tại những điểm cực tiểu địa phương.
Các điều kiện KKT là
Từ đó suy ra b i “ ÿ n j“1 x ij a j “λ i ÿ n j“1 a 2 j “λ i }a} 2 , i“1, , m.
Từ điều kiện paq ta có
Ví dụ 4.2 (Ma trận đối xứng trong phương pháp tựa Newton) Ta xét bài toán sau min }X} 2 F s.t Xa“b,
X T “X, trong đó X là ma trận vuông đối xứng cấp n, b, cPR n , vàb ‰0.
Từ điều kiện ràng buộc X “X T ta có x ij “x ji với 1ďiăj ďn và
`ÿ iăj δ ij px ij ´x ji q.
Ta xét tích vô hướng như sau xX, Yy “trpX T Yq “ trpXYq “ ÿ n i,j“1 x ij y ij
Từ điều kiện ràng buộc Xa “b, ta có xλ, b´Xay “λ T b´ xλ, Xay Hơn nữa xλ, Xay “λ T pXaq “ trpλ T pXaqq “ trpXpaλ T qq “ xX, λa T y.
Tuy nhiên xX, λa T y “trpXpaλ T qq “ trppλa T qXq “ xX, aλ T y.
Suy ra xX, Xay “ xX,aλ T `λa T
Do đó ta xét hàm Lagrange
Các điều kiện KKT là ∇ X L“X´ paλ T `λa T q “ 0, hoặc
Khi đó b “Xa“ paλ T `λa T qa “ pλ T aqa` }a} 2 λ và b T a“ pλ T aq}a} 2 ` }a} 2 pλ T aq “2}a} 2 pλ T aq.
Như vậy từ đẳng thức X “aλ T `λa T , ta có
}a} 4 aba.Bất đẳng thức được chứng minh.
Luận văn tập trung vào việc nghiên cứu và ứng dụng bài toán quy hoạch phi tuyến, mang lại một số kết quả quan trọng trong lĩnh vực này.
• Trình bày một cách hệ thống các kiến thức về bài toán quy hoạch phi tuyến như các điều kiện tối ưu cấp 1, cấp 2.
• Trình bày một số kết quả quan trọng trong lý thuyết đối ngẫu của bài toán quy hoạch phi tuyến.
Sử dụng các phương pháp quy hoạch phi tuyến, có thể chứng minh các bất đẳng thức nổi tiếng như Hadamard, Hilbert và Kantorovich, đồng thời giải quyết bài toán phân tích phổ của ma trận đối xứng.