Ma trên
ành nghắa 1.1 Mởt ma trên cù mìn l mởt bÊng số hẳnh chỳ nhêt gỗm m h ng v n cởt gồi l ma trên mìn, kẵ hiằu l Amìn, cõ dÔng:
Ma trên cù mìn ữủc gồi l mìn-ma trên.
Náu m v n  ró thẳ ma trên Amìn ữủc kẵ hiằu gồn l A ho°c (a ij ) mìn ành nghắa 1.2.
(i) Mởt m ìn-ma trên ữủc gồi l ma trên khổng, kẵ hiằu l 0, náu a ij = 0
(ii) Mởt ma trên vuổng cĐp n (nìn-ma trên) m cĂc phƯn tỷ a ij = 0 vợi i 6=j v a ii = 1,∀i∈ {1,2, , n} ữủc gồi l ma trên ỡn và cĐp n, kẵ hiằu l I n ho°c I. Khi â:
CĂc ph²p toĂn vã ma trên thổng thữớng ữủc hiºu v thỹc hiằn nhữ bẳnh thữớng.ành nghắa 1.3.
(a) Ma trên chuyºn và cừa mìn-ma trên A, kẵ hiằu l A T l mởt nìm-ma trên vợi a T ij =a ji
(b) Ma trên vuổng A ữủc gồi l ma trên ối xựng náu A T =A.
(c) Ma trên A ữủc gồi l khổng suy bián náu cõ ma trên A −1 Khi õ ma trên A ữủc gồi l ma trên khÊ nghàch, thọa mÂn A −1 A=I −1
Ma trên vũ trụ A là một khái niệm thú vị, với nhiều ảnh hưởng đến các trạng thái của nó Những người yêu thích có thể khám phá các giáo trình online để hiểu rõ hơn về bản chất kỳ diệu của nó.
Khổng gian Euclid R n
Trong không gian Euclide n chiều R^n, một điểm x được định nghĩa là một bộ n số thực sắp xếp theo thứ tự cụ thể Điều này có nghĩa là mỗi điểm trong không gian này có thể được biểu diễn bằng một tập hợp các giá trị số thực, phản ánh vị trí của nó trong không gian.
, vợi mội số x i ∈R, i∈ {1,2, , n} ữủc gồi l tồa ở thự i cừa iºm x. ã thuên tiằn ta quy ữợc x= (x 1 , x 2 , , x n ) T
Kẵ hiằu 0= (0,0, ,0) T ∈R n l gốc tồa ở cừa khổng gian R n
Trong không gian R^n, một điểm được xác định bởi một vectơ với gốc tại 0 và đỉnh là x Vectơ được xác định như vậy được gọi là x Định nghĩa 1.5 liên quan đến việc nối hai điểm (vectơ) x và y trong R^n, được ký hiệu là [x, y], cho phép tạo ra các điểm (vectơ) có dạng αx + (1−α)y, với mọi 0≤α≤1 Định nghĩa 1.6 đề cập đến hai vectơ x = (x₁, x₂, , xₙ)ᵀ và y = (y₁, y₂, , yₙ)ᵀ trong không gian này.
(i) Tẵch vổ hữợng cừa hai v²ctỡ, kẵ hiằu l x T y, y T x ho°c hx,yi, ữủc xĂc ành bði x T y=y T x=hx,yi n
(ii) Hai v²ctỡ x v y trỹc giao náu x T y=y T x=hx,yi= 0.
(iii) ở d i hay chuân cừa v²ctỡ x, kẵ hiằu l kxk, ữủc xĂc ành bði kxk= x T x1/2 v u u t n
Nhên x²t 1.1 Trong khổng gian v²ctỡ C n , tẵch vổ hữợng cừa hai v²ctỡ x, y cõ cĂc tẵnh chĐt sau:
(i) Tẵch vổ hữợng cừa hai v²ctỡ, kẵ hiằu l hx,yi, ữủc xĂc ành bði hx,yi n
(ii) kxk≥0 v kxk= 0 khi v ch¿ khi x=0.
(iii) hx,yi=hy,xi.
(iv) hλx,yi=λhx,yi vợi λ∈C. hx, λyi=λhx,yi vợi λ l liản hủp cừa λ.
Tẵnh chĐt 1.1 Mởt số tẵnh chĐt  biát vã chuân cừa mởt v²ctỡ:
(a) kxk≥0 v kxk= 0 khi v ch¿ khi x=0.
(c) kx+yk≤kxk+kyk, vợi mồi v²ctỡ x,y trong R n
|x T y| ≤kxk.kyk,vợi mồi v²ctỡ x,y trong R n ành nghắa 1.7 CĂc v²ctỡ a1,a2, ,ak ữủc gồi l :
(i) Phử thuởc tuyán tẵnh náu tỗn tÔi cĂc số thỹc λ1, λ2, , λk khổng ỗng thới bơng
(ii) ởc lêp tuyán tẵnh náu khổng tỗn tÔi cĂc số thỹc λ 1 , λ 2 , , λ k khổng ỗng thới bơng 0 sao cho Pk i=1λ i a i =0. ành nghắa 1.8.
(i) Mởt tờ hủp tuyán tẵnh cừa cĂc v²ctỡ a 1 ,a 2 , ,a k l mởt v²ctỡ cõ dÔngPk i=1λ i a i vợi λ1, λ2, , λk∈R.
Khi õ têp hủp cĂc v²ctỡ dÔng n y ữủc gồi l têp hủp cĂc v²ctỡ sinh bðia 1 ,a 2 , ,a k
Têp hợp các vectơ ở lớp tuyến tính sinh ra R^n được gọi là một không gian con của R^n Mỗi không gian con của R^n chứa các vectơ Hình nghĩa 1.9 cho thấy rằng không gian con trên A bằng số cỡ ở lớp tuyến tính lớn nhất của ma trận trên A và cũng bằng số hạng ở lớp tuyến tính lớn nhất của ma trận trên A.
Hỡn nỳa, không gian con M của E n là một tập con đóng với phép cộng và phép nhân vô hướng, tức là nếu λa + b ∈ M với ∀a, b ∈ M và ∀λ ∈ R Số chiều của không gian con M là số vectơ độc lập tuyến tính lớn nhất trong M Nếu M là một không gian con của E n, phần giao của M với không gian con khác, ký hiệu là M ⊥, là tập hợp gồm các vectơ trực giao với các vectơ thuộc M.
Dỹa v o kát quÊ cừa giÊi tẵch h m, ta chựng minh ữủc phƯn bũ trỹc giao cừa M cụng l mởt khổng gian con cừaE n, hỡn nỳaM v M ⊥ cÊm sinh khổng gian E n Mỗi v²ctỡ x∈E n ãu biºu diạn ữủc duy nhĐt dữới dÔng x=a+b với a∈M,b∈M ⊥ Lúc õ, a,b lƯn lữủt ữủc gồi l hẳnh chiáu trỹc giao cừa v²ctỡ xlƯn lữủt lản khổng gian con M v M ⊥ Mởt quan hằ tữỡng ựng A gĂn mội iºm trong khổng gian X vợi mởt iºm trong khổng gian Y ữủc gồi l mởt Ănh xÔ tứ X án Y v ữc kẵ hiằu l.
A:X →Y là một mối quan hệ giữa hai không gian Như vậy, A có thể là một toán tử tuyến tính hoặc phi tuyến tính Định nghĩa 1.14 về chuẩn của toán tử A cho thấy rằng chuẩn này được xác định bởi giá trị lớn nhất của kAxk khi kxk ≤ 1 Tính chất 1.2 chỉ ra rằng với mọi vector x, ta có kAxk ≤ kAk * kxk.
GiĂ trà riảng v dÔng to n phữỡng
GiĂ trà riảng
Trong bài viết này, chúng ta khám phá định nghĩa của giá trị riêng và véc tơ riêng trong không gian vector Cụ thể, cho một ma trận vuông A và một số thực λ, một véc tơ x khác không bằng 0 thỏa mãn phương trình Ax = λx được gọi là véc tơ riêng tương ứng với giá trị riêng λ Điều này có nghĩa là khi áp dụng ma trận A lên véc tơ x, kết quả sẽ là véc tơ x được nhân với một hằng số λ.
Nhên x²t 1.2 iãu kiằn cƯn v ừ º λ ∈ R l giĂ trà riảng cừa ma trên A l ma trên A−λIsuy bián, tực l det (A−λI) = 0.
Để tìm nghiệm của phương trình đặc trưng \( \text{det}(\lambda I - A) = 0 \), chúng ta cần giải phương trình bậc n với các hệ số thực \( a_n, a_{n-1}, \ldots, a_1, a_0 \) Các nghiệm của phương trình này, ký hiệu là \( \lambda_1, \lambda_2, \ldots, \lambda_n \), chính là các giá trị riêng của ma trận \( A \) Khi tồn tại n véc tơ riêng \( x_1, x_2, \ldots, x_n \) tương ứng với các giá trị riêng này, chúng thỏa mãn phương trình \( Ax_i = \lambda_i x_i \) cho mọi \( i \).
Ta cõ: det(λx i −A) = 0 nản tỗn tÔi v²ctỡ x i 6=0 sao cho Ax i =λ i x i vợi i∈ {1,2, , n}.
BƠy giớ ta s³ chựng minh hằn v²ctỡ x1,x2, ,xn l ởc lêp tuyán tẵnh.
Gồi c 1 , c 2 , , c n l cĂc vổ hữợng sao cho Pn i=1c i x i =0. X²t ma trên B= (λ2I−A)(λ3I−A) .(λnI−A).
Tữỡng tỹ nhữ trản ta chựng minh ữủc:
M cĂc λ i phƠn biằt v cĂc v²ctỡ x i 6=0 nản tứ phữỡng trẳnh trản ta ữủcc 1 = 0. Tữỡng tỹ nhữ cĂch x²t ma trên B nhữ trản ta s³ chựng minh ữủc: c i = 0, vợi i= 1,2, , n.
Do õ n v²ctỡ x 1 ,x 2 , ,x n l ởc lêp tuyán tẵnh.
Vêy ành lỵ ữủc chựng minh. ành lỵ 1.17 TĐt cÊ cĂc giĂ trà riảng cừa mởt ma trên ối xựng thỹc l cĂc số thỹc.
Gồi x6=0 l mởt giĂ trà riảng cừa ma trên ối xựng thỹc A.
M°t kh¡c, ta câ:hAx,xi=hx,A T xi=hx,Axi=hx, λxi=λhx,xi=λkxk
Do \( \lambda \) với \( kxk > 0 \), ta có: \( \lambda kxk = \lambda kxk \) dẫn đến \( (\lambda - \lambda) kxk = 0 \) nên \( \lambda = \lambda \) Vậy \( \lambda \in \mathbb{R} \), ảnh hưởng được chứng minh Ảnh hưởng 1.18 Mô hình ma trên không gian thực có thể được phân biệt thông qua trục giao.
GiÊ sỷ Axi =λixi, Axj =λjxj vợi λi 6=λj v A=A T
Ta câ: x T i Ax j =x T i A T x j =λ i x T i x j L¤i câ: x T i Ax j = (Ax j ) T x i =x T j A T x i =λ j x T j x i =λ j x T i x j
M λi 6=λj nản tứ ¯ng thực trản suy ra x T i xj = 0.
Trong không gian R^n, người ta chứng minh rằng nếu A là ma trận có n hàng và m cột, thì tồn tại các vectơ riêng x1, x2, , xn tương ứng với các giá trị riêng λ1, λ2, , λn, tạo thành một cơ sở trực giao cho R^n.
Hỡn nỳa, náu cĂc v²ctỡ riảng n y l mởt cỡ sð trỹc chuân ( tực mội v²ctỡ cõ chuân ỡn và) thẳ ma trên
Ma trên Q nhữ vêy ữủc gồi l ma trên trỹc giao.
Ngo i ra, ta công câ
Q −1 AQ=Q T AQ=Q T [Ax 1 ,Ax 2 , ,Ax n ] =Q T [λ 1 x 1 , λ 2 x 2 , , λ n x n ] hay
Lúc õ, ma trên A ữủc ch²o hõa.
D¤ng to n ph÷ìng
Mở rộng đồng phận f: R^n → R là một hàm số có dạng f(x) = x^T Q x với Q là ma trận n chiều dương xác định Theo định nghĩa, nếu trên không gian Q được gọi là xác định dương, thì điều kiện x^T Q x > 0 cho mọi vector x khác 0 phải được thỏa mãn.
(ii) Tữỡng tỹ, chúng ta cụng ành nghắa ma trên ối xựng Q l nỷa xĂc ành dữỡng, xĂc ành Ơm, nỷa xĂc ành Ơm náu x T Qx≥, 0 \), tồn tại một số tự nhiên \( N \) sao cho \( |x_k - l| < \varepsilon \) với mọi \( k \geq N \).
Khi õ ta viát x k →x ho°c limk→∞x k = x. ành nghắa 1.21 Mởt iºm x ữủc gồi l mởt iºm tử cừa dÂy v²ctỡ {x k } náu tỗn tÔi mởt dÂy con cừa dÂy {x k } hởi tử án x.
Tứ ành nghắa trản ta thĐy, xl mởt iºm tử cừa {x k } náu tỗn tÔi mởt têp con K cừa têp cĂc số nguyản dữỡng thọa mÂn {xk}k∈K hổi tử án x.
(i) Mởt hẳnh cƯu mð tƠm x, bĂn kẵnh ε >0 l mởt têp hủp cõ dÔng
(ii) Mởt hẳnh cƯu õng tƠm x, bĂn kẵnh ε >0 l mởt têp hủp cõ dÔng
Mởt hẳnh cƯu mð tƠm x ữủc gồi l mởt lƠn cên cừa x bĂn kẵnh ε. ành nghắa 1.23 Mởt têp conP cừa R n ữủc gồi l mởt têp mð náu mồi iºm thuởc
P ãu l m tƠm cừa mởt hẳnh cƯu mð nơm ho n to n trong P.
Tồn tại một điểm x thuộc tập P và một số ε > 0 sao cho hình cầu S(x, ε) hoàn toàn nằm trong tập P Định nghĩa 1.24 cho biết, một tập con P của E được gọi là một tập mở nếu nó là một tập con trong R^n.
Nhên x²t 1.6 Mởt cĂch tữỡng ữỡng, mởt têp P l õng náu vợi mội dÂy {x k } ⊂P hởi tử án x thẳ x∈P.
Mởt số tẵnh chĐt quan trồng cừa têp mð v têp õng: ành lþ 1.25.
(i) Giao cừa hỳu hÔn cĂc têp mð l mởt têp mð Hủp cừa mởt hồ bĐt kẳ nhỳng têp mð cụng l mởt têp mð.
Hủp cừa mởt số hỳu hÔn cĂc têp õng cụng l mởt têp õng, cho phép giao cừa mởt hồ bĐt kẳ nhỳng têp õng n o cụng l mởt têp õng Ảnh nghĩa 1.26 iºm x ữủc gồi l iºm trong cừa têp hủp P, náu tỗn tÔi mởt lƠn cên cừa x nơm trồn trong P Ảnh nghĩa 1.27 PhƯn trong cừa têp P, kẵ hiằu P o l têp hủp cĂc iºm iºm trong cõa P.
Phần trong của tập hợp P là một tập con không rỗng và chứa tất cả các điểm biên của P Giao của tất cả các tập con chặt chẽ của P cũng được gọi là bao đóng của P Theo định nghĩa Henie-Borel, một tập con P của R được gọi là compact nếu và chỉ nếu nó là chặt chẽ và giới hạn Nói cách khác, P là compact nếu và chỉ nếu P chứa mọi chuỗi hội tụ trong P Theo định lý Weierstrass, nếu P là một tập compact và dãy {xk} thuộc P thì dãy {xk} có ít nhất một điểm tích cực trong P, tức là tồn tại một dãy con của {xk} hội tụ đến một điểm tích cực trong P.
H m số liản tửc trản R n
ành nghắa 1.32 Mởt h m số f xĂc ành trản mởt têp con cừa R n ữủc gồi l liản tửc tÔi x náu x k →x thẳ f(x k )→f(x) Nõi cĂch khĂc, f liản tửc tÔi x náu:
Đối với mọi ε > 0, tồn tại δ > 0 sao cho với mọi y thỏa mãn |y - x| < δ thì |f(y) - f(x)| < ε Định lý Weierstrass khẳng định rằng trong một tập hợp compact P, hàm liên tục f đạt được giá trị cực tiểu tại một điểm x* thuộc P, tức là f(x) ≥ f(x*) với mọi x ∈ P Một tập hợp hợp các hàm f1, f2, , fm trong R^n được xem như một hàm vector f = (f1, f2, , fm).
Tứ õ ta ành nghắa h m số f(x) = (f 1 (x), f 2 (x) , f m (x)) trong R n vợi mội v²ctỡ x∈R n ành nghắa 1.35 Mởt h m giĂ trà v²ctỡ f ữủc gồi l liản tửc náu mội h m th nh phƯn cừa nõ l liản tửc.
(i) Náu mội h m th nh phƯn cừa f = (f 1 , f 2 , , f m ) liản tửc trong mởt têp mð cừa
(ii) Náu mội h m th nh phƯn cõ Ôo h m cĐp mởt liản tửc trản têp n y thẳ ta viát f ∈C 1
Mở cách tường quát, nếu f là một hàm thực trong R^n (f(x) = f(x₁, x₂, , xₙ)), thì ta định nghĩa gradient của f là vector chứa các đạo hàm riêng của f.
Trong tẵnh toán ma, gradient được xem như một vectơ được viết theo hướng hàng Nếu f ∈ C², thì ta có thể xác định ma Hessian của f tại x như một nín-ma, với F(x) hoặc ∇²f(x).
∂x j ∂x i , nản ma trên Hessian l ma trên ối xựng.
Vợi mội h m giĂ trà v²ctỡ f = (f1, f2, , fm)nhỳng ành nghắa trản l tữỡng tỹ.
(i) Náu f ∈C 1 thẳ Ôo h m cĐp mởt ữủc ành nghắa l mìn-ma trên
(ii) Náu f ∈C 2 thẳ ta ành nghắa m ma trên Hessian F 1 (x),F 2 (x), ,F m (x) tữỡng ùng l m th nh ph¦n cõa h m sè n y.
(iii) Vợi λ T = (λ1, λ2, , λm) ∈ R m thẳ h m số λ T f cõ gradient l λ T ∇f(x) v cõ ma trên Hessian λ T F(x) v bơng λ T F(x) m
Hàm số f xác định trên tập P thuộc R^n có thể được mô tả bằng công thức f(x+d) = f(x) + ∇f(x)d + o(kdk), với điều kiện rằng d ∈ P và kdk là độ lớn của d Trong đó, o(kdk) là một hàm có bậc cao hơn kdk khi kdk tiến đến 0 Điều này cho thấy sự biến đổi của hàm f tại điểm x khi cộng thêm một vector d nhỏ.
Biểu thức giới hạn \( \lim_{k \to 0} \frac{f(x+d) - f(x) - \nabla f(x)d}{k} = 0 \) thể hiện điều kiện cần cho sự tồn tại của đạo hàm tổng quát Định nghĩa 1.39 chỉ ra rằng hàm \( f \) được gọi là khả vi tại điểm \( x \) nếu tồn tại giới hạn của tỉ số này Định nghĩa 1.40 mở rộng khái niệm này cho hàm số \( f \) xác định trên không gian \( R^n \) với một vectơ \( d \in R^n \setminus \{0\} \).
Giới hạn khi t tiến đến 0 của biểu thức \( \lim_{t \to 0} \frac{f(x+td) - f(x)}{t} \) được gọi là đạo hàm theo hướng của hàm f tại điểm x ∈ R^n theo hướng d ∈ R^n \ {0} Nếu hàm f khả vi tại x, thì đạo hàm theo hướng này được tính bằng \( f_0(x,d) = \nabla f(x) \cdot d \).
Chựng minh f khÊ vi tÔi x nản vợi mồid∈R n \{0}, ta cõ: lim t→0 + f(x+td)−f(x)−t.∇f(x)d t kdk = 0.
Ta cõ iãu phÊi chựng minh.
ành lỵ Taylor v ành lẵ vã giĂ trà trung gian
Mởt kát quÊ cƯn thiát v ữủc sỷ dửng nhiãu trong tối ữu l ành lỵ Taylor v ành lẵ vã giĂ trà trung gian Ảnh lỵ 1.42 cung cấp cái nhìn sâu sắc về mối liên hệ giữa giá trị và sự phát triển trong lĩnh vực này.
(i) Náu f ∈ C 1 trong miãn chựa oÔn th¯ng [x 1 ,x 2 ] thẳ tỗn tÔi giĂ trà θ,0≤ θ ≤ 1 sao cho f(x 2 ) =f(x 1 ) +∇f(θx 1 + (1−θ)x 2 )(x 2 −x 1 ).
(ii) Hỡn nỳa, náu f ∈C 2 thẳ tỗn tÔi giĂ trà θ,0≤θ≤1 sao cho f(x 2 ) =f(x 1 ) +∇f(x 1 )(x 2 −x 1 ) + 1
2(x 2 −x 1 ) T F(θx 1 + (1−θ)x 2 )(x 2 −x 1 ). é Ơy F l ma trên Hessian cừa h m f.
CĂc khĂi niằm vã têp lỗi v h m lỗi
Têp lỗi
ành nghắa 1.43 Têp Ω⊂R n ữủc gồi l têp lỗi náu:
Hẳnh 1.2: Têp lỗi v têp khổng lỗi
Nhên x²t 1.10 Cho β ∈R v b∈R n ,b 6=0 Khi õ cĂc têp sau l cĂc têp lỗi trong
(i) Siảu ph¯ng H ={x∈R n |hx,bi=β}.
(ii) Nỷa khổng gian õng
(iii) Nỷa khổng gian mð
(iv) Náu C v D l cĂc têp lỗi thẳ cĂc têp sau cụng l cĂc têp lỗi:
(iv) Giao cừa mởt hồ tũy ỵ cĂc têp lỗi l mởt têp lỗi.
Hẳnh 1.3: Tẵnh chĐt cừa têp lỗi ành nghắa 1.44 Cho Ω l mởt têp con cừa R n Bao lỗi cừa Ω, kẵ hiằu l co(Ω), l giao cừa tĐt cÊ cĂc têp lỗi chựa Ω Bao lỗi õng cừa Ω ữủc ành nghắa l bao õng cõa co(Ω). ành nghắa 1.45 Mởt têp Ω l mởt nõn náu x∈Ω thẳ αx∈Ω vợi mồi α >0 Hỡn nỳa, mởt nõn l mởt têp lỗi v ữủc gồi l mởt nõn lỗi.
H m lỗi
ành nghắa 1.46 H m số f xĂc ành trản têp lỗi Ω ữủc gồi l lỗi náu vợi mội x 1 ,x 2 ∈Ω v vợi mồi α, 0≤α≤1 ta cõ: f(αx 1 + (1−α)x 2 )≤αf(x 1 ) + (1−α)f(x 2 ).
Nếu hàm số \( f \) là lồi, với \( 0 < \alpha < 1 \) và \( x_1, x_2 \) là hai điểm trong miền xác định, thì ta có \( f(\alpha x_1 + (1 - \alpha)x_2) < \alpha f(x_1) + (1 - \alpha)f(x_2) \) Điều này chứng tỏ rằng hàm số \( f \) là lồi Định nghĩa 1.47 cho biết rằng hàm số \( g \) xác định một hàm số lồi nếu hàm số \( f = -g \) là hàm số lồi Như vậy, hàm số \( g \) cũng là hàm số lồi khi hàm số \( -g \) là hàm số lồi.
Tẵnh chĐt 1.3 Náu f 1 , f 2 l h m lỗi trản têp lỗi Ω thẳ h m f 1 +f 2 cụng l h m lỗi trản Ω.
Tẵnh chĐt 1.4 Náu f l h m lỗi trản têp lỗiΩ thẳ αf cụng l h m lỗi trản Ωvợi mồi α≥0.
Tẵnh chĐt 1.5 Náu f l h m lỗi trản têp lỗi Ωthẳ têp F c ={x∈Ω|f(x)≤c} l têp lỗi vợi mồi c. ành lþ 1.48 Cho h m sè f ∈C 1 Khi â:
(i) f l h m lỗi trản têp lỗi Ω khi v ch¿ khi f(y)≥f(x) +∇f(x)(y−x),vợi mồi x,y∈Ω.
(ii) f l h m lỗi ch°t trản têp lỗi Ω khi v ch¿ khi f(y)> f(x) +∇f(x)(y−x), vợi mồi x,y∈Ω v x6=y.
(i) "⇒" GiÊ sỷf lỗi Khi õ vợi mồi α m 0≤α≤1 ta cõ: f(αy+ (1−α)x)≤αf(y) + (1−α)f(x).
Bián ời v chuyºn vá ta ữủc f(x+α(y−x)) α ≤f(y)−f(x).
Khi õ vợi mồi α m 0≤α≤1, ta cõ: f(x 1 ) ≥ f(x) +∇f(x)(x 1 −x) (1.1) f(x 2 ) ≥ f(x) +∇f(x)(x 2 −x) (1.2) NhƠn 2 vá cừa bĐt ¯ng thực (1.1) vợi α, (1.2) vợi (1−α)v cởng theo vá ta ữủc: αf(x 1 ) + (1−α)f(x 2 )≥f(x) +∇f(x)[αx 1 + (1−α)x 2 −x].
Chúng ta cần chứng minh rằng giá trị thực khổng xảy ra trong trường hợp lỗi chất Cụ thể, với x ≠ y và α ∈ (0; 1), giá trị thực đúng xảy ra khi có lỗi chất Công thức z = 1/2 x + 1/2 y cho thấy rằng f(z) < 1.
2∇f(x)(y−x) (1.3) °t t=βx+ (1−β)zvợi β ∈(0; 1), theo tẵnh chĐt cừa h m lỗi v theo (1.3), ta cõ: f(t)< βf(x) + (1−β)f(z)< f(x) + 1
LÔi cõt−x= (1−β)(z−x) = 1 2 (1−β)(z−x) = 1 2 (1−β)(y−x) Do õ, tứ (1.4) suy ra: f(t)< f(x) +∇f(x)(t−x).
TrĂi vợi (i), do õ ta cõ iãu phÊi chựng minh. ành lþ 1.49 Cho f ∈C 2 Khi â:
(i) f l h m lỗi trản Ω khi v ch¿ khi ma trên Hessian F(x) nỷa xĂc ành dữỡng vợi mồi x∈Ω.
(ii) f l h m lỗi ch°t trản Ωkhi v ch¿ khi ma trên Hessian F(x) xĂc ành dữỡng vợi mồi x∈Ω.
(i)f ∈C 2 nản vợi mồi x,y∈Ω, ta cõ f(y) =f(x) +∇f(x)(y−x) + 1
+ Náu F nỷa xĂc ành dữỡng thẳ dÔng to n phữỡng trong ông thực trản khổng Ơm, khi õ theo ành lỵ 1.48, f l h m lỗi.
+ Ngữủc lÔi náu f l h m lỗi m ma trên Hessian F khổng nỷa xĂc ành dữỡng thẳ tỗn tÔi mởt v²ctỡd sao cho d T F(x)d0 Náu ε ừ nhọ thẳ y,xừ gƯn xsao cho d T F(x)d c}.
(iv) Nỷa khổng gian Ơm mð H o −={x∈R n |a T x< c}. ành lỵ 1.53 Cho C l mởt têp lỗi v y l mởt iºm ngo i bao õng cừa C Khi õ tỗn tÔi mởt v²ctỡ a sao cho a T y< inf x∈Ca T x.
Khi tồn tại một điểm \( x_0 \in C \) sao cho \( |x_0 - y| = \delta \), với hàm số \( f(x) \) và khoảng cách \( |x - y| \) được xác định, ta có thể chứng minh rằng tồn tại một giá trị nhỏ hơn hoặc bằng giá trị lớn nhất của \( x \) trong giao của bao \( \delta \) với hình cầu tâm \( y \) và bán kính \( 2\delta \) Điều này có nghĩa là với mọi \( x \in C \) và \( \alpha \) trong khoảng \( 0 \leq \alpha \leq 1 \), ta có \( x_0 + \alpha(x - x_0) \in C \).
BĐt ¯ng thực trản suy ra:
Tứ õ ta  chựng ữủc v²ctỡ a=x0−y thọa mÂn inh lỵ Ảnh lỵ 1.54 Cho C là một tệp lỗi và y là liêm biản của C Khi đó, tồn tại một siêu phùng chứa y và C trong một nửa không gian õng của nó.
Chứng minh rằng một dây vạn năng tồn tại trong bao ống cửa C với hởi tử án y Khi tồn tại một dây vạn năng a k, thì nó sẽ sinh biến theo ảnh lỹ 1.53 m, với điều kiện |a k| = 1 và thỏa mãn a T k y k < inf x∈Ca T k x.
Vẳ dÂy {a k } bà ch°n nản tỗn tÔi dÂy con {a i }, i∈I hởi tử ána.
Khi xét một mồi vecto x thuộc không gian C, ta có: \( aT y = \lim_{i \in I} aT_i x \leq \lim_{i \in I} aT_i x = ax \) Mở một siêu phẳng chứa một tập lỗi C trong một nửa không gian, nó sẽ chứa tất cả các điểm biên của C được gọi là siêu phẳng tủy của C.
CÌ SÐ L THUYT CHO BI TON TÈI ×U
Chữỡng n y têp trung nghiản cựu b i toĂn tối ữu cõ iãu kiằn, bao gỗm cĂc khĂi niằm cỡ bÊn v cĂc tẵnh chĐt quan trồng cho nghiằm cừa b i toĂn Đặc biệt là cĂc iãu kiằn cƯn v ừ cĐp mởt v cĐp hai Tất cả cÊ cĂc kát quÊ trong chữỡng n y ãu ữủc chựng minh chi tiát CĂc kát quÊ v phữỡng phĂp chựng minh ð Ơy ữủc tham khÊo chừ yáu tứ t i liằu.
B i toĂn tối ữu cõ iãu kiằn
B i toĂn tối ữu cõ iãu kiằn l b i toĂn cõ dÔng: x∈minR n f(x) (2.1) s.t c i (x) = 0, ;i= 1, , m e , (2.2) ci(x)≥0, i= me+ 1, , m (2.3)
Khi õ, hàm f(x) được gọi là hàm mục tiêu, còn c_i(x) (i = 1, , m) được gọi là các hàm ràng buộc Trong trường hợp này, chúng ta luôn xét hàm mục tiêu f(x) và các hàm ràng buộc c_i(x) là các hàm trơn, nhằm đảm bảo tính khả thi trong R^n và tồn tại ít nhất một hàm lồi phi tuyến, m_e và m_l là những số nguyên không âm với 0 ≤ m_e ≤ m Chúng ta thường gặp.
E ={1, , m e } và I ={m e + 1, , m} Nếu m = 0, bài toán (2.1)-(2.3) trở thành một bài toán tối ưu khống chế; nếu m e = m ≠ 0, bài toán (2.1)-(2.3) được gọi là bài toán tối ưu với ràng buộc thực Nếu tất cả các hàm mục tiêu (x), (i= 1, , m) là tuyến tính, thì bài toán (2.1)-(2.3) được gọi là bài toán tối ưu có ràng buộc tuyến tính Định nghĩa 2.1: điểm x∈R n được gọi là một điểm khả thi nếu x thỏa mãn các ràng buộc (2.2)-(2.3) Tập hợp gồm tất cả các điểm khả thi được gọi là tập hợp khả thi.
Trong B i toĂn (2.1)-(2.3), (2.2)-(2.3) l nhỳng iãu kiằn r ng buởc Khi õ, têp chĐp nhên ữủc X ữủc xĂc ành nhữ sau:
X ={x|c i (x) = 0, i∈E; c i (x)≥0, i∈I} (2.5) Khi õ, ta cõ thº viát B i toĂn (2.1)-(2.3) nhữ sau: minx∈X f(x) (2.6)
Mở rộng khái niệm về cực tiểu trong bài toán tối ưu, nếu x* ∈ X thỏa mãn f(x) ≥ f(x*), với mọi x ∈ X, thì x* được gọi là cực tiểu toàn cục Ngược lại, nếu x* ∈ X thỏa mãn f(x) > f(x*), với mọi x ∈ X và x ≠ x*, thì x* được coi là cực tiểu cục bộ Thêm vào đó, nếu x* ∈ X tồn tại một bán kính δ > 0 sao cho f(x) ≥ f(x*), với mọi x ∈ X ∩ B(x*, δ), thì x* được gọi là cực tiểu địa phương trong bài toán tối ưu.
B(x ∗ , δ) = {x |||x−x ∗ ||2 ≤δ} Nếu x ∗ ∈X tồn tại một mởt lơn cên B(x ∗ , δ) của x ∗ sao cho f(x) > f(x ∗ ), ∀x∈X∩ B(x ∗ , δ), x ≠ x ∗, thì x ∗ được gọi là cực tiểu địa phương Nếu x ∗ ∈ X và tồn tại một mởt lơn cên B(x ∗ , δ) của x ∗ sao cho x ∗ là cực tiểu địa phương duy nhất trong X∩ B(x ∗ , δ), thì x ∗ được gọi là một cực tiểu địa phương cổ điển.
Nhên x²t 2.1 Mởt cỹc tiºu to n cửc l mởt cỹc tiºu àa phữỡng.
Giới thiệu về ràng buộc tối ưu trong bài toán (2.1)-(2.3), nếu tồn tại một chuỗi 0 ∈ I = [m e + 1, m] sao cho c_i0(x ∗) > 0, thì khi đó xóa ràng buộc tối thiểu 0, x ∗ trở thành cực tiểu của bài toán nhờ cách xóa ràng buộc này Do đó, ta khẳng định rằng ràng buộc tối thiểu 0 không còn hoạt động tại x ∗ Hơn nữa, ta sẽ đề xuất những định nghĩa liên quan đến tập hợp các chỉ số hoạt động và tập hợp các chỉ số không hoạt động Trước hết, ta sẽ viết
I(x) ={i|c i (x) = 0, i∈I} (2.13) ành nghắa 2.5 Vợi mồi x∈R n , têp hủp
A(x) =E∪ I(x) (2.14) ữủc gồi l têp hủp cĂc ch¿ số hoÔt ởng tÔi x, ci(x) (i ∈ A(x)) l mởt iãu kiằn hoÔt ởng tÔi x, c i (x) (i /∈ A(x)) l mởt iãu kiằn khổng hoÔt ởng tÔi x.
Giải bài toán tối ưu với điều kiện ràng buộc, ta xem xét giá trị tối ưu của hàm mục tiêu min f(x) trong bối cảnh các điều kiện hoạt động của B Cụ thể, bài toán này được mô tả bởi các phương trình (2.1)-(2.3) và các điều kiện khổng hoạt động tương ứng Để tìm nghiệm tối ưu, cần đảm bảo rằng các điều kiện ràng buộc c_i(x) = 0 với i thuộc tập A(x ∗) được thỏa mãn.
Nõi chung, viằc giÊi B i toĂn vợi iãu kiằn cho bði ¯ng thực (2.15) dạ d ng hỡn viằc gi£i b i to¡n ban ¦u (2.1)-(2.3).
CĂc iãu kiằn tối ữu cĐp mởt
Trong phần này, chúng ta sẽ khám phá các điều kiện tối ưu cấp 1, đồng thời nhấn mạnh vai trò quan trọng của các hình chóp nhọn trong việc hình thành các điều kiện tối ưu Điều này giúp chúng ta hiểu rõ hơn về ý nghĩa của một số hình chóp nhọn trong bài toán tối ưu Cụ thể, cho x* ∈ X và d ∈ R^n với d ≠ 0, nếu tồn tại δ > 0 sao cho x* + td ∈
X, ∀t∈[0, δ], thẳ d ữủc gồi l mởt hữợng chĐp nhên ữủc cừa X tÔi x ∗ Têp hủp tĐt cÊ cĂc hữợng chĐp nhên ữủc cừa X tÔi x ∗ dữủc kẵ hiằu bði
F D(x ∗ , X) = {d|x ∗ +td∈X, ∀t∈[0, δ]} (2.16) ành nghắa 2.7 Cho x ∗ ∈X v d∈R n Náu
(d T ∇c i (x ∗ ) = 0, i∈E, d T ∇c i (x ∗ )≥0, i∈ I(x ∗ ), thẳ d ữủc gồi l hữợng tuyán tẵnh chĐp nhên ữủc cừa X tÔi x ∗ Têp hủp tĐt cÊ cĂc hữợng tuyán tẵnh chĐp nhên ữủc cừa X tÔi x ∗ ữủc kẵ hiằu bði
Trong bài viết này, chúng ta xem xét điều kiện tối ưu hóa với hàm mục tiêu LF D(x ∗ , X) và các điều kiện liên quan đến đạo hàm ∇c i (x ∗ ) Đối với x ∗ thuộc tập X và v d thuộc R n, nếu tồn tại các d Ây d k (k = 1,2, ) và δk > 0 (k = 1,2, ) sao cho x ∗ + δkdk thuộc X cho mọi k, và với dk tiến tới d, δk tiến tới 0, thì điều này chỉ ra rằng d là một hướng khả thi tại x ∗ Cuối cùng, tập hợp tất cả các hướng khả thi tại x ∗ sẽ được hiểu là không gian tiếp cận của X tại x ∗.
Trong ành nghắa ð trản, náu ta °txk =x ∗ +δkdk,thẳ {xk}l mởt dÂy iºm chĐp nhên ữủc thọa mÂn:
Khi |x k − x ∗| tiến gần đến d, ta có thể hiểu rằng x k = x ∗ + δ k d k l là một phần của quá trình tối ưu hóa Chú ý rằng SF D(x ∗, X) chứa vector khổng lồ, phản ánh mối liên hệ trực tiếp giữa X và x ∗.
Tứ nhỳng ành nghắa trản ta cõ bờ ã sau nõi vã mối quan hằ giỳa cĂc têp hủp
Bờ ã 2.1 Cho x ∗ ∈X Náu tĐt cÊ cĂc h m iãu kiằn ãu khÊ vi tÔi x ∗ thẳ
Chựng minh Vợi mồi d ∈ F D(x ∗ , X), theo ành nghắa 2.6 tỗn tÔi δ > 0 º (2.16) úng °t d k = d v δ k = δ/2 k thẳ (2.18) úng v ró r ng d k → d, δ k → 0 Vêy d∈SF D(x ∗ , X) Vẳ d l tũy ỵ nản
Tiáp theo, vợi mồi d∈ SF D(x ∗ , X),náu d= 0 thẳ d∈ LF D(x ∗ , X) GiÊ sỷ rơng d6= 0 Tứ ành nghắa 2.8 tỗn tÔi hai dÂy d k (k = 1,2, ) v δ k >0 (k = 1,2, ) º (2.18) úng, v d k →d6= 0, δ k →0 Tứ (2.18) ta thĐy x ∗ +δ k d k ∈X, nghắa l :
Chia hai vá cừa hai (bĐt) ¯ng thực trản cho δ k > 0 v cho k → ∞, ta nhên ữủc (2.17) Vêy ta cõ
Tứ (2.20) v (2.23) ta cõ (2.19). º mổ tÊ mởt cĂch ró r ng nhỳng iãu kiằn cƯn cho nghiằm àa phữỡng, ta giợi thiằu têp hủp:
D(x 0) = D 0 d d T ∇f(x 0 )
0 (k = 1,2, ) ºx ∗ +δkdk ∈ X vợi dk → d, δk →0 Vẳ x ∗ +δkdk →x ∗ v x ∗ l cỹc tiºu àa phữỡng nản vợi k ừ lợn, ta cõ: f(x ∗ )≤f(x ∗ +δ k d k ) (2.27)
Vẳ d l tũy ỵ, ta nhên ữủc (2.25) Hỡn nỳa, ta cõ
Náu ta sỷ dửng thuêt ngỳ cừa nõn tiáp tuyán º phĂt biºu (2.25), ta cõ d T ∇f(x ∗ )≥0, ∀d∈ T X (x ∗ ), nghắa l
−∇f(x ∗ )∈ N X (x ∗ ), (2.31) vợi N X (x ∗ ) l nõn phĂp tuyán cừaX tÔi x ∗
Bờ ã 2.2 (Bờ ã Farkas) Têp hủp
S d|d T ∇f(x ∗ ) 0 thì λ ∗ i = 0, cũng cho kết quả λ ∗ i c i (x ∗ ) = 0 Do đó, ta có λ ∗ i c i (x ∗ ) ≥ 0 cho mọi i thuộc I Các điều kiện này thường được gọi là điều kiện Karush Kuhn Tucker (KKT), trong đó (2.36) được xem như điều kiện cần thiết cho bài toán tối ưu.
Xét phương trình X i=1 λ ∗ i ∇c i (x ∗ ) = 0, trong đó l iãu kiằn được định nghĩa qua các tỷ lệ khác nhau Các l iãu kiằn này có thể được phân loại thành l iãu kiằn chĐp nhên và l iãu kiằn bờ sung Điều này cho thấy rằng các giá trị λ ∗ i và c i (x ∗ ) không chỉ đơn thuần là các tham số mà còn phản ánh mối quan hệ giữa các nhƠn tỷ Lagrange Việc hiểu rõ các l iãu kiằn này là cần thiết để phân tích các bước không hoạt động trong quá trình tối ưu hóa.
Ta có điều kiện ràng buộc chính xác mởt trong hai số λ ∗ i và c i (x ∗) với mọi i∈I, nghĩa là λ ∗ i > 0 với mọi i∈I∩ A(x ∗) Điều kiện ràng buộc thực sự được gọi là hoạt động mạnh với i ∈ I ∩ A(x ∗) và λ ∗ i > 0, nghĩa là λ ∗ i > 0 và c i (x ∗) = 0 Điều kiện ràng buộc thực sự được gọi là hoạt động yếu với i∈I∩ A(x ∗) và λ ∗ i = 0, nghĩa là λ ∗ i = 0 và c i (x ∗) = 0 Điều kiện (2.35) được gọi là điều kiện hôn chặt (CQ), và điều kiện hôn chặt có vai trò quan trọng cho điều kiện KKT Như một ví dụ, nếu điều kiện CQ không đúng, thì tiêu chí của B toán (2.1)-(2.3) có thể không phải là một điểm KKT.
Ta thĐy rơng x ∗ = (0,0) l cỹc tiºu to n cửc cừa b i toĂn TÔi x ∗ ,ta cõ
Do õ CQ khổng úng Bơng tẵnh toĂn trỹc tiáp ta cõ
(2.51) iãu n y cho thĐy khổng tỗn tÔi λ ∗ 1 v λ ∗ 2 º cho
Vấn đề về việc xác định tính chính xác của các mô hình cây quyết định (CQ) rất quan trọng trong việc trồng cây Tuy nhiên, không phải ai cũng biết cách kiểm tra tính chính xác của mô hình CQ Để giải quyết vấn đề này, chúng ta cần thực hiện một số bước cơ bản để kiểm tra độ tin cậy của mô hình Các mô hình cây quyết định thường được phân loại thành các mô hình cây quyết định có tính tuyến tính và phi tuyến tính Nếu tất cả các hàm trong mô hình cây quyết định đều là tuyến tính, thì chúng ta có thể khẳng định rằng mô hình đó là chính xác.
Tứ ành nghắa, náu c i (x) (i∈ A(x ∗ )) l nhỳng h m tuyán tẵnh, thẳ iãu kiằn CQ (2.35) úng v ta cõ hằ quÊ sau Ơy:
Hằng số 2.2.1 xác định các điều kiện cần thiết cho điểm cực tiểu x∗ của bài toán (2.1)-(2.3) Nếu điều kiện ràng buộc tuyến tính (LFCQ) đúng, thì x∗ là một điểm KKT Điều kiện ràng buộc quan trọng nhất là điều kiện ràng buộc tuyến tính (LICQ) sau đó Định nghĩa 2.12 cho biết nếu các gradient của các ràng buộc hoạt động ∇ci(x∗), i∈ A(x∗) là độc lập tuyến tính, thì điều kiện ràng buộc tuyến tính (LICQ) là đúng Định nghĩa 2.13 chỉ ra rằng nếu x∗ là một điểm khả thi và A(x∗) là tập hợp các chỉ số của các điều kiện ràng buộc hoạt động tại x∗, thì nếu các ∇ci(x∗), i ∈ A(x∗) là độc lập tuyến tính, thì điều kiện cần (2.35) (CQ) cũng đúng.
Chựng minh Vẳ SF D(x ∗ , X)⊆ LF D(x ∗ , X), ta ch¿ cƯn chựng minh LF D(x ∗ , X) ⊆
Vẳ ∇c 1 (x ∗ ), , ∇c l (x ∗ ) l ởc lêp tuyán tẵnh nản ta cõ thº bờ sung b l+1 , , b n º
X²t hằ phi tuyán r(x, θ) = 0, (2.53) vợi cĂc th nh phƯn ữủc ành nghắa bði r i (x, θ) = c i (x)−θd T ∇c i (x ∗ ), i= 1, , l, (2.54) r i (x, θ) = (x−x ∗ ) T b i −θ d T b i , i=l+ 1, , n (2.55)
Khi θ = 0 hằ (2.53) ữủc giÊi bði x ∗ , khiθ ≥0 ừ nhọ, bĐt cự nghiằm xcụng l iºm chĐp nhên ữủc cừa B i toĂn (2.1)-(2.3).
JacobianJ(x, θ) =∇xr T (x, θ) = [A:B] Ta có J(x ∗ ) = [A(x ∗ ) :B] với điều kiện không suy biến Cho nản theo ảnh lỵ của hàm tồn tại mở lớn trên miền Ω x của x ∗ và Ω θ của θ = 0 sao cho với mỗi θ ∈ Ω θ, tồn tại duy nhất nghiệm x(θ) ∈ Ω x, và x(θ) là hàm liên tục theo θ Từ (2.53) và sự tồn tại của hàm số hợp, ta có:
Vẳ x=x ∗ tÔi θ= 0.Vêy hằ trản trð th nh
Vẳ ma trên hằ số khổng suy bián, ta nhên ữủc dx dθ =d t¤i θ = 0.
Vêy náu θ k ↓ 0 thẳ x(θ k ) l mởt dÂy iºm chĐp nhên ữủc vợi hữợng chĐp nhên ữủc d, nghắa l x(θ k )−x ∗ θ k →d. iãu n y cho thĐy rơngd∈ SF D(x ∗ , X).Vẳ d∈LF D(x ∗ , X)tũy ỵ, ta cõ
Tứ ành lỵ trản v ành lỵ 2.10 ta cõ ành lỵ sau Ơy ành lỵ 2.14 Chox ∗ l cỹc tiºu àa phữỡng cừa B i toĂn (2.1)-(2.3) Náu LICQ úng, nghắa l ∇c i (x ∗ ), i ∈ A(x ∗ ) l ởc lêp tuyán tẵnh, thẳ tỗn tÔi cĂc nhƠn tỷ Lagrange λ ∗ i (i= 1, , m) º (2.36)-(2.40) óng.
Th¿nh thoÊng chúng ta sỷ dửng giÊ thiát
GiÊ thiát n y cõ thº suy ra trỹc tiáp tứ iãu kiằn CQ(2.35) Tuy nhiản, iãu ngữủc lÔi khổng úng.
Với giả thiết (2.58), điều kiện cần của ảnh lý 2.9 (SF D(x ∗ , X)∩ D(x ∗ ) =∅) dẫn đến việc D(x ∗ , X)∩ D(x ∗ ) =∅, nghĩa là không có hướng tuyết tính giảm tại x ∗ Hơn nữa, như một hệ quả của ảnh lý KKT, ta có ảnh lý 2.15 Cho x ∗ ∈ X là cực tiểu của phương trình B trong (2.1) - (2.3).
SF D(x ∗ , X)∩ D(x ∗ ) = LF D(x ∗ , X)∩ D(x ∗ ), thẳ x ∗ l mởt iºm KKT.
Tiếp theo, chúng ta bàn về điều kiện tối ưu của bài toán tối ưu Giả sử x* thuộc X và f(x) cùng với ci(x) (i = 1, , m) là các hàm liên quan đến x* Nếu điều kiện T ∇f(x*) > 0 được thỏa mãn cho mọi d khác 0 thuộc SF D(x*, X), thì x* là điểm cực tiểu địa phương trong bối cảnh của bài toán tối ưu.
CĂc iãu kiằn tối ữu cĐp hai
Cho x ∗ ∈ X, nếu d T ∇f(x ∗ ) > 0 với mọi d ∈ SF D(x ∗ , X), thì x ∗ là cực tiểu địa phương của bài toán (2.1)-(2.3) Ngược lại, nếu tồn tại d ∈ SF D(x ∗ , X) sao cho d T ∇f(x ∗ ) < 0, thì x ∗ không thể là cực tiểu địa phương Kết quả này cho thấy rằng điều kiện (2.79) hoặc (2.80) là cần thiết để xác định xem x ∗ có phải là cực tiểu địa phương hay không Tuy nhiên, chúng ta không thể xác định x ∗ là cực tiểu địa phương nếu điều kiện (2.79) và (2.80) không thỏa mãn, tức là khi d T ∇f(x ∗ ) ≥ 0 với mọi d ∈ SF D(x ∗ , X) và d T ∇f(x ∗ ) = 0 với một số d ∈ SF D(x ∗ , X).
Trong những trường hợp nhất định, thông tin và ô hình cắt hai là cần thiết Giả sử rằng điều kiện ràng buộc CQ (2.35) là đúng Theo (2.81), (2.35) và Bờ của Farkas (2.21), ta có thể xác định một điểm KKT Từ (2.82) và ý nghĩa của nhân tỷ Lagrange, ta có thể rút ra các kết luận quan trọng.
Vẳ SF D(x ∗ , X)⊆LF D(x ∗ , X), bơng cĂch sỷ dửng ành nghắa 2.7, ta cõ (2.83) tữỡng ữỡng vợi λ ∗ i d T ∇c i (x ∗ ) = 0, ∀ i∈ I(x ∗ ) (2.84)
Chúng ta sẽ đưa ra những định nghĩa sau đây Cho x ∗ là một điểm KKT của bài toán (2.1)-(2.3) và λ ∗ là vector nhân tỷ Lagrange tương ứng Ta định nghĩa tập hợp các điều kiện hoạt động của mô hình như sau:
Ta có \( I + (x^*) \subset I(x^*) \) Xét \( x^* \) là một điểm KKT của bài toán (2.1)-(2.3), với \( \lambda^* \) là vector nhân tỷ Lagrange tương ứng Nếu tồn tại dãy \( d_k \) (với \( k=1,2,\ldots \)) và dãy \( \delta_k \) (với \( k=1,2,\ldots \)) sao cho \( x^* + \delta_k d_k \in X \) (2.86), thì thỏa mãn \( c_i(x_k) = 0 \), \( i \in E \cup I^+(x^*) \) (2.87), \( c_i(x_k) \geq 0 \), \( i \in I(x^*) \setminus I^+(x^*) \) (2.88), và \( d_k \to d \), \( \delta_k \to 0 \) Điều này cho thấy tồn tại một hướng ràng buộc tại \( x^* \) Tập hợp tất cả các hướng ràng buộc tại \( x^* \) được ký hiệu là \( S(x^*, \lambda^*) \).
Bờ ã 2.3 °tH ={d|d∈SF D(x ∗ , X);Pm i=1λ ∗ i ci(xk) = 0}.Khi â, ta câS(x ∗ , λ ∗ ) H.
Chùng minh Gi£ sû d∈S(x ∗ , λ ∗ )⇒xk =x ∗ +δkdk ∈X, δk>0, δk→0, dk →d⇒ d∈SF D(x ∗ , X) Ta thĐy rơng (2.87)-(2.88) k²o theo rơng m
X i=1 λ ∗ i ci(xk) = X i∈E λ ∗ i ci(xk) +X i∈I λ ∗ i ci(xk) =X i∈I λ ∗ i ci(xk)
0, dk → d Hìn núa, Pm i=1λ ∗ i ci(xk) = 0 ⇒ λ ∗ i ci(xk) = 0, i ∈ I Vợi i ∈ I+(x ∗ ) thẳ ta cõ λ ∗ i > 0 nản c i (x k ) = 0 Vêy c i (x k ) = 0, i ∈ E∪ I + (x ∗ ) Ngo i ra ta cõ c i (x k )≥0, i∈I(x ∗ )−I + (x ∗ )(vẳI(x ∗ )−I + (x ∗ )⊆ I).Vẳ vêy, ta cõd∈S(x ∗ , λ ∗ ).
Tứ Ơy suy ra rằng S(x ∗ , λ ∗ ) thuộc tập hợp SF D(x ∗ , X) Cho x ∗ là một điểm KKT của bài toán (2.1)-(2.3) và λ ∗ là vector nhân tỷ Lagrange tương ứng Nếu có một hàm tuyến tính chấp nhận tại x ∗ và (2.84) đúng, thì hàm này sẽ là một hàm ràng buộc vỏ hiển tuyến tính hóa tại x ∗ Tập hợp tất cả các hàm ràng buộc vỏ hiển tuyến tính hóa tại x ∗ được gọi là G(x ∗ , λ ∗ ).
Náu nhƠn tỷ Lagrange tÔi x ∗ l duy nhĐt, G(x ∗ , λ ∗ ) cõ thº viát l G(x ∗ ).
Bờ ã 2.4 °t F d|d∈LF D(x ∗ , X; d T ∇c i (x ∗ ) = 0, i∈I + (x ∗ ) Khi â, ta câ
Chựng minh GiÊ sỷ d ∈ G(x ∗ , λ ∗ ) ⇒ d T ∇c i (x ∗ ) = 0, i ∈ E Ta chựng minh rơng d T ∇c i (x ∗ ) ≥ 0, i ∈ I(x ∗ ) Thêt vêy, ta cõ I(x ∗ ) = I + (x ∗ )∪ (I(x ∗ )\I + (x ∗ )) Vẳ d T ∇c i (x ∗ ) = 0 i ∈ I + (x ∗ ) v d T ∇c i (x ∗ ) ≥ 0, i ∈ I(x ∗ )\I + (x ∗ ) nản d T ∇c i (x ∗ ) ≥
0, i ∈ I(x ∗ ) Vêy d ∈ LF D(x ∗ , X) Ngo i ra, ta cõ d T ∇ci(x ∗ ) = 0, i ∈ I+(x ∗ ) (vẳ d∈ G(x ∗ , λ ∗ )) Vêy d∈LF D(x ∗ , X), d T ∇c i (x ∗ ) = 0, i∈I + (x ∗ ) nản d∈F.
B¥y gií gi£ sû d ∈ F ⇒ d ∈ LF D(x ∗ , X) ⇒ d T ∇c i (x ∗ ) = 0, i ∈ E Ta công cõ d T ∇ci(x ∗ ) = 0, i ∈ I+(x ∗ ) nản d T ∇ci(x ∗ ) = 0, i ∈ E ∪I+(x ∗ ) Ngo i ra, ta cõ d T ∇c i (x ∗ ) ≥ 0, i ∈ I(x ∗ ) nản d T ∇c i (x ∗ ) ≥ 0, i ∈ I(x ∗ )\I + (x ∗ ) Vêy d ∈
Tứ cĂc ành nghắa trản ta cõ
G(x ∗ , λ ∗ )⊆LF D(x ∗ , X) (2.95) T÷ìng tü nh÷ SF D(x ∗ , X)⊆LF D(x ∗ , X),ta câ
Trong bài viết này, chúng ta xem xét mối quan hệ giữa hai tập hợp S(x ∗ , λ ∗ ) và G(x ∗ , λ ∗ ) Đặc biệt, nếu x ∗ là cực tiểu của bài toán tối ưu, thì các điều kiện cần thiết sẽ được phân tích Theo điều kiện ràng buộc CQ, nếu thỏa mãn, ta có thể kết luận rằng đạo hàm bậc hai của hàm Lagrangian L(x, λ) theo biến x tại điểm x ∗ và λ ∗ là không âm, tức là T ∇ 2 xx L(x ∗ , λ ∗ )d ≥ 0 cho mọi d thuộc S(x ∗ , λ ∗ ).
Chựng minh Vợi mồi d ∈ S(x ∗ , λ ∗ ), náu d = 0 thẳ d T ∇ 2 xx L(x ∗ , λ ∗ )d = 0 Ta x²t d 6= 0 Tứ ành nghắa cừa S(x ∗ , λ ∗ ) tỗn tÔi {d k } v {δ k } sao cho (2.86)-(2.90) úng.
Do õ, tứ (2.90) v iãu kiằn KKT ta cõ f(x ∗ +δkdk) = L(x ∗ +δkdk, λ ∗ )
Vẳ x ∗ l cỹc tiºu àa phữỡng nản vợi mồi k ừ lợn ta cõ f(x ∗ +δ k d k )≥f(x ∗ ) (2.101)
Sỷ dửng (2.100)-(2.101) v lĐy giợi hÔn ta cõ d T ∇ 2 xx L(x ∗ , λ ∗ )d≥0.
Vẳ d∈S(x ∗ , λ ∗ )l tũy ỵ, ta cõ (2.97) Tứ (2.98), ta nhên ữủc (2.99) tứ (2.97). ành lỵ 2.24 ( iãu kiằn ừ cĐp hai) Cho x ∗ l mởt iºm KKT cừa B i toĂn (2.1)- (2.3) Náu d T ∇ 2 xx L(x ∗ , λ ∗ )d >0, ∀d∈G(x ∗ , λ ∗ ), (2.102) thẳ x ∗ l cỹc tiºu àa phữỡng ch°t.
Chứng minh rằng, giới hạn của một dãy x_k (k = 1, 2, ) tồn tại sao cho f(x_k) ≤ f(x*) và x_k tiến đến x* với điều kiện x_k ≠ x* (k = 1, 2, ) Đồng thời, không cần một tường quát, ta có giới hạn của |x_k - x*| / ||x_k - x*||² tiến đến d.
Lêp luên tữỡng tỹ nhữ (2.61)-(2.63), ta cõ d T ∇f(x ∗ )≤0 (2.104) v d∈SF D(x ∗ , X)⊆LF D(x ∗ , X) (2.105)
Tứ iãu kiằn KKT v (2.19) ta cõ d T ∇f(x ∗ ) m
Tứ (2.106) v ành nghắa 2.7, ta cõ λ i d T ∇c i (x ∗ ) = 0, ∀i∈I(x ∗ ) (2.108) Vẳ thá, tứ (2.105), (2.108) v ành nghắa 2.22 ta cõ d∈ G(x ∗ , λ ∗ ) (2.109)
(2.110) Chia hai vá cho δ k 2 v lĐy giợi hÔn ta cõ d T ∇ 2 xx L(x ∗ , λ ∗ )d≤0 (2.111) iãu n y mƠu thuăn vợi (2.102) Vêy ta cõ iãu phÊi chựng minh.
Têp hủp A+(x ∗ , λ ∗ ) ữủc gồi l têp ch¿ số cĂc iãu kiằn hoÔt ởng mÔnh Ta cõ hằ qu£ sau ¥y:
Hằ quÊ 2.3.1 Cho x ∗ l mởt iºm KKT cừa B i toĂn (2.1)-(2.3) Náu d T ∇ 2 xx L(x ∗ , λ ∗ )d >0 (2.113) vợi mồi d thọa mÂn d T ∇c i (x ∗ ) = 0, ∀ i∈ A + (x ∗ , λ ∗ ), (2.114) thẳ x ∗ l mởt cỹc tiºu àa phữỡng ch°t.
Chựng minh Ta chựng minh rơng náu d ∈ G(x ∗ , λ ∗ ) thẳ d T ∇c i (x ∗ ) = 0, ∀i ∈
A + (x ∗ , λ ∗ ).Thêt vêy, giÊ sỷd∈ G(x ∗ , λ ∗ )thẳd ∈LF D(x ∗ , X),ta cõA + (x ∗ , λ ∗ ) E∪I+(x ∗ ) Vợi i ∈ E thẳ d T ∇ci(x ∗ ) = 0 (do d ∈ LF D(x ∗ , X)) Vợi i ∈ I+(x ∗ ) thẳ d T ∇c i (x ∗ ) = 0 (do d ∈ G(x ∗ , λ ∗ )) Vêy d T ∇c i (x ∗ ) = 0, ∀i ∈ A + (x ∗ , λ ∗ ) Khi õ d T ∇ 2 xx L(x ∗ , λ ∗ )d >0, ∀d ∈G(x ∗ , λ ∗ ) Vẳ vêy, x ∗ l cỹc tiºu àa phữỡng ch°t.
B i to¡n èi ng¨u
ành lỵ 2.25 Cho x ∗ l mởt cỹc tiºu cừa b i toĂn gốc lỗi (P) minx f(x) s.t c i (x)≥0, i= 1, , m (2.115)
Náu f(x) v c i (x), (i = 1, , m) l cĂc h m khÊ vi liản tửc v iãu kiằn ãu (2.58) úng , thẳ x ∗ v λ ∗ l nghiằm cừa b i toĂn ối ngău: maxx,λ L(x, λ) s.t ∇ x L(x, λ) = 0, (2.116) λ≥0.
Hệ thống KKT (Karush-Kuhn-Tucker) được thiết lập để tối ưu hóa các bài toán có ràng buộc, với điều kiện rằng tồn tại các nhân tỷ lệ Lagrange λ ∗ ≥ 0 Điều này dẫn đến sự thỏa mãn điều kiện ∇ x L(x ∗ , λ ∗ ) = 0 và λ ∗ i c i (x ∗ ) = 0 cho i = 1, , m, cho phép xác định điểm tối ưu trong các bài toán tối ưu hóa phức tạp.
Chox, λ l iºm chĐp nhên ữủc cừa b i toĂn ối ngău.Sỷ dửngλ≥0,tẵnh lỗi cừa
Vẳ vêy (x∗, λ∗) là một khái niệm trong toán học liên quan đến bài toán tối ưu Ảnh hưởng của nó đến các bài toán ngẫu nhiên cho thấy rằng việc tìm kiếm giá trị tối ưu có thể bị ảnh hưởng bởi sự biến đổi của các yếu tố ngẫu nhiên Đặc biệt, nếu x₀ là một điểm chấp nhận ngẫu nhiên thuộc tập hợp của bài toán gốc, thì ta có thể áp dụng các phương pháp tối ưu để xác định giá trị tối ưu cho bài toán ngẫu nhiên Khi đó, điều kiện f(x₀) ≥ L(x, λ) sẽ được thỏa mãn, cho thấy sự liên kết giữa các điểm tối ưu trong hai loại bài toán này.
Chứng minh rằng cho x₀ là điểm chấp nhận được của bài toán tối ưu, ta có thể áp dụng định lý về sự tồn tại của điểm tối ưu Sử dụng tính liên tục của hàm f, tính chấp nhận của điểm x₀, và các điều kiện liên quan đến gradient ∇f, ta có thể chứng minh rằng f(x₀) - f(x) ≥ ∇f(x)ᵀ(x₀ - x) m.
Tứ ành lỵ trản ta cõ infx f(x)≥sup x,λ
Khõa luên "Cè Sé L THUYT CHO BI TON TẩI ìU CÂ IU KIN" khám phá cách hệ thống hóa các khái niệm, hình ảnh và các điều kiện cần thiết cho việc bảo toàn tối ưu các điều kiện tường quát Tất cả các hình ảnh đều được chứng minh chi tiết.