Tóm tắt phương pháp cực tiểu hoá

Có nhiều nhà khoa học nổi tiếng đề cập đến việc tìm cực trị của hàm n biến, và có nhiều phương pháp để tìm cực trị của hàm n biến.. Xong để nghiên cứu sâu về phương pháp tìm cực trị của

MỞ ĐẦU

1 Lý do chọn đề tài

Nhiều bài toán trong khoa học tự nhiên, trong kinh tế, kỹ thuật, cuộc sống … có thể dẫn đến việc tìm cực trị của hàm n biến

Có nhiều nhà khoa học nổi tiếng đề cập đến việc tìm cực trị của hàm n biến, và

có nhiều phương pháp để tìm cực trị của hàm n biến Xong để nghiên cứu sâu về phương pháp tìm cực trị của hàm n biến tôi chọn phương pháp “cực tiểu hoá” Đó cũng chính là lý do tôi chọn đề tài:

“Phương pháp cực tiểu hoá”

2 Mục đích nghiên cứu

Nghiên cứu Phương pháp cực tiểu hoá và ứng dụng của nó.

3 Nhiệm vụ nghiên cứu

Ứng dụng của các phương pháp tìm cực tiểu của hàm n biến

4 Đối tượng và phạm vi nghiên cứu

“Các phương pháp tìm cực tiểu của hàm n biến”.

5 Phương pháp nghiên cứu

Phân tích, tổng kết tài liệu

1





CHƯƠNG I: KIẾN THỨC BỔ TRỢ 1.1 Không gian R n.

1.1.1 R n là không gian vectơ.

1.1.2 R n là không gian mêtric với mêtric

2 1

) (

) ,







n

j

j

x y

x

1.1.3 R n là không gian mêtric đầy.

Định nghĩa 1.1.1 Cho không gian metric M (X,d) Tập K  X gọi là tập compact trong không gian M , nếu mọi dãy cơ bản các phần tử thuộc K đều chứa dãy con hội

tụ tới phần tử thuộc K

Định lý 1.1.2 Cho f là ánh xạ từ không gian metric M (X,d) vào không gian metric R1 Nếu ánh xạ f liên tục trên tập compact K  X thì f đạt một giá trị lớn nhất và một giá trị nhỏ nhất trên K

Định lý 1.1.3 Trong không gian Eukleides R n tập đóng bất kì và bị chặn là tập compact

1.1.4 R n là không gian định chuẩn.

Với các chuẩn

i n i n

i i n

i

x x

, 1 1

2 2

1













1.1.5 R n là không gian định chuẩn đủ (không gian Banach).

1.1.6 R n là không gian Hilbert với tích vô hướng







n j j

j y x y

x

1 ) ,

1.2 Đạo hàm và vi phân Frechet.

1.2.1 Khái niệm đạo hàm và vi phân Frechet.

Cho X,Y là các không gian vectơ định chuẩn, f :X  Y là ánh xạ, x 0 X Ta nói ánh xạ f khả vi tại x0 nếu tồn tại ánh xạ tuyến tính liên tục A, A  L(X,Y) sao cho

X h h x h A x f h x

f( 0  )  ( 0 )  ( )  ( 0 , ), 

Trong đó lim ( , ) 0

0

h x

h



Biểu thức A(h) được gọi là vi phân của ánh xạ f tại x 0 X Kí hiệu: df(x0 ,h) Ánh xạ tuyến tính liên tục A

) , ( ) ( ,

:X Y h A h df x0 h

gọi là đạo hàm của ánh xạ f tại x0 Kí hiệu: A  f' (x0 )

Do đó: df(x0 ,h) f' (x0 )(h)

Ánh xạ f khả vi theo nghĩa trên gọi là ánh xạ khả vi theo nghĩa Frechet (khả vi

theo nghĩa mạnh)

1.2.2 Các tính chất của đạo hàm và vi phân Frechet.

Định lý 1.2.2.1: Cho X,Y là các không gian vectơ định chuẩn, nếu f :X  Y là ánh xạ tuyến tính thì f' (x0 )(h) f(h),hX

Định lý 1.2.2.2: Cho X,Y,Z là các không gian vectơ định chuẩn.

Z Y

Y

X  , : 

 là các ánh xạ Nếu  khả vi Frechet tại x 0 X ,  khả vi Frechet tại y0  (x0 ) Y

 thì ánh xạ f  0 :X  Z khả vi tại x0 và ta có

) (

), )(

( ' ).

( ' ) )(

( )' ( ) )(

(

0

x

Định lý 1.2.2.3: Cho X,Y là các không gian vectơ định chuẩn, nếu ánh xạ f :X  Y

khả vi tại x 0 X , thì f liên tục tại x0

1.3 Đạo hàm và vi phân Gateaux.

1.3.1 Khái niệm đạo hàm và vi phân Gateaux.

Cho X,Y là các không gian vectơ định chuẩn, f :X  Y là ánh xạ,

R t X

h

X

x0  ,  , 

Nếu tồn tại giới hạn

t f x th t f x

) ( ) (

lim

0 0

0







(1.3.1)

Thì giới hạn (1.3.1) được gọi là biến phân của hàm f tại x0

Nếu biến phân là một ánh xạ tuyến tính liên tục theo h thì biến phân đó được gọi là vi phân của hàm f tại x0 (vi phân Gateaux hay vi phân yếu) và kí hiệu là

)

,

( 0

h

x

t

x f th x f th

x f dt

d h x Df

t t

) ( ) (

lim )

( )

, (

0 0

0 0 0









Nghĩa là,    0 ,   ) sao cho t  R mà t   thì











) , ( ) ( )

t x f th x f

Nếu vi phân Gateaux tuyến tính đối với h thì ta viết

L h x

Df( 0 , )   'G( 0 )

Toán tử

) , ( :

) ( ' x0 h Df x0 h

gọi là đạo hàm Gateaux (đạo hàm yếu) của ánh xạ f Suy ra

) )(

( ' ) , (x0 h f x0 h

1.3.2 Các định lý về mối liên hệ giữa vi phân mạnh và vi phân yếu.

Định lý 1.3.2.1 Nếu tồn tại vi phân mạnh df(x0 ,h) của ánh xạ f tại x0 thì tồn tại vi phân yếu Df(x0 ,h) của ánh xạ f tại x0 và hai vi phân đó bằng nhau

Định lý 1.3.2.2 Nếu trong hình cầu x x0 r tồn tại vi phân yếu Df(x,h) Và

)

,

(x h

Df liên tục đều theo x , liên tục theo h, thì trong hình cầu đó tồn tại vi phân

mạnh df(x,h) và

r x x x h x df h x

Df( , )  ( , ),  :  0 

1.4 Các định nghĩa và định lý về cực tiểu, điểm tới hạn và ánh xạ gradient Định nghĩa 1.4.1 Cho g:D R n R1



 Điểm x * D là cực tiểu địa phương của g nếu

có một lân cận mở S của x* sao cho với mọi xSD

g(x) g(x* ) (1.4.1)

x là cực tiểu địa phương thực sự của g nếu bất đẳng thức (1.4.1) đúng ngặt với mọi

D

S

x  , x  x* Nếu bất đẳng thức (1.4.1) đúng với mọi x thuộc tập con D0 của D

chứa x*, thì x* là cực tiểu toàn cục của g trên tập D0

Định nghĩa 1.4.2 Điểm x* intD

 là điểm tới hạn của

1



 nếu g khả vi tại x* và ' ( * ) 0



x g

(hay ' ( * ) 0



T

x

Định lý 1.4.3 Giả sử x* intD

 là cực tiểu địa phương của g:D R n R1



 Nếu g khả

vi tại x*, thì ' ( * ) 0



x

Định lý 1.4.4 Cho g:D R n R1



 và giả sử tồn tại đạo hàm cấp hai của g tại x* intD



Nếu x* là điểm tới hạn của g và g ' (x* ) xác định dương, thì x* là cực tiểu địa

phương thực sự của g Ngược lại, nếux* là cực tiểu địa phương của g, thì g ' (x* ) nửa

xác định dương

Định nghĩa 1.4.5 Ánh xạ F:DR n R n là ánh xạ gradient trên tập con D 0 D nếu

tồn tại một hàm khả vi

1 0

g  n  sao cho

0

, ) (

g





Nguyên lý đối xứng Giả sử F:DR n  R n khả vi liên tục trên tập lồi mở D 0 D

Khi đó F là ánh xạ gradient trên tập D0 nếu và chỉ nếu F ' x( )đối xứng với mọi

0

D

x 

Định lý 1.4.6 Giả sử f :R n R1

 khả vi trên R n và có điểm tới hạn duy nhất x  0 Cho F:DR n  R n, định nghĩa

D x Fx f x g R R

D







D

x* int

 F có đạo hàm không suy biến Thì x* là điểm tới hạn của g nếu và chỉ nếu

0

*



Fx

1.5 Các định lý về tính duy nhất

Định nghĩa 1.5.1 Cho g:D R n R1



 , một tập khác rỗng

)

L       

gọi là tập mức của g

Định lý 1.5.2 Cho g:D R n R1



 liên tục và có tập mức compact, khi đó tồn tại một điểm x * D sao cho

D x x g x

g( * )  ( ),  

Định nghĩa 1.5.3 Hàm g:D R n R1



 là liên thông trên D 0 D nếu với bất kì 0

,y D

x  , tồn tại một hàm liên tục p: 0 , 1  D0 sao cho p( 0 ) x, p( 1 ) y và

g(p(t))  maxg(x),g(y), t0 , 1 (1.5.1) Hàm g là liên thông ngặt nếu với bất kì x  y, hàm p được chọn sao cho bất đẳng

thức (1.5.1) đúng ngặt

Ta nói rằng tập S  R n là thành phần liên thông nếu với bất kì x,yS , có một

ánh xạ liên tục p:0 , 1 S sao cho

y p

x

p( 0 )  , ( 1 ) 

Định lý 1.5.4 Hàm g:D R n R1



 là liên thông trên D nếu và chỉ nếu mọi tập mức của g là thành phần liên thông

Định nghĩa 1.5.5 Hàm g:D R n R1



 là tựa lồi trên tập lồi D 0 D nếu với bất kì 0

,y D

g(tx ( 1  t)y)  maxg(x),g(y), t0 , 1 (1.5.2) Hàm g là tựa lồi ngặt bất đẳng thức (1.5.2) đúng ngặt khi x  y

Nhận xét: Một hàm lồi cũng là hàm tựa lồi, nhưng ngược lại không đúng

Định lý 1.5.6 Giả sử hàm g:D R n R1



 là liên thông trên D, thì g có một cực tiểu địa phương thực sự x*, và

*

* ) ( ), , (x g x x D x x

Nếu g liên thông nghiêm ngặt thì có một cực tiểu địa phương x*, và

*

* ) ( ), , (x g x x D x x

Nhận xét: Hàm tựa lồi ngặt và hàm lồi ngặt là hàm liên thông ngặt.

Hệ quả của Định lý 1.5.6 Giả sử hàm g:D R n R1



 là tựa lồi ngặt trên tập lồi

D

D 0 , khi đó g có một cực tiểu địa phương trong D0 , và mọi cực tiểu địa phương trong D0 là cực tiểu toàn cục trên D0

Định lý 1.5.7 Giả sử hàm g:D R n R1



 là lồi và khả vi trên tập lồi mở D 0 D Khi

* D

x  là điểm tới hạn của g nếu và chỉ nếu x* là cực tiểu toàn cục trên D0 Hơn nữa, nếu g là lồi ngặt trên D0 , thì g có một điểm tới hạn trên D0

Hệ quả của Định lý 1.5.7 Giả sử hàm g:D R n R1



 có đạo hàm cấp hai xác định dương tại mỗi điểm của tập lồi mở D 0 D, khi đó g có một điểm tới hạn (hoặc cực tiểu địa phương hoặc cực tiểu toàn cục) trong D0

1.6.Các định lý về sự tồn tại.

Định lý 1.6.1 Giả sử hàm g:D R n R1



 liên tục trên tập đóng D khi đó g có một tập mức bị chặn nếu và chỉ nếu tập các cực tiểu toàn cục của g khác rỗng và bị chặn

Định lý 1.6.2 Giả sử hàm g:D R n R1



 , ở đó D không bị chặn khi đó mọi tập mức của g bị chặn nếu và chỉ nếu g x k  x k D



 ( ) ,





k

k x

Định lý 1.6.3 Giả sử hàm g:D R n R1



 liên tục trên tập đóng D 0 D và







 ( )

lim k





k

k x

lim với  x k D0

 thì g có một cực tiểu toàn cục 0

* D

x  Nếu thêm điều kiện là hàm liên thông nghiêm ngặt trên D0 thì x* cũng là cực tiểu địa phương duy nhất, và

* 0

Hệ quả của Định lý 1.6.3 Giả sử hàm g:R n R1

 là lồi ngặt (hoặc liên tục và tựa lồi ngặt) và  



 ( )

lim k





k

k x

lim thì g có một cực tiểu duy nhất x*

Định nghĩa 1.6.4 Một hàm g:D R n R1



 là liên thông đều trên D 0 D nếu một hàm bảo toàn thứ tự d:0 ,  0 ,  sao cho d(t)  0 ,t  0 và với mỗi x,yD0 có một ánh

xạ liên tục p: 0 , 1 R1  D0 thoả mãn p( 0 ) x, p( 1 ) y

Hơn nữa t0 , 1 ta có

max

) ( ), ( max ))

( (

t p x d t p y t p y d t p x

y g x g t

p g













(1.6.1)

Định lý 1.6.5 Giả sử hàm g:D R n R1



 liên tục và liên thông đều trên tập đóng

D

D 0 Khi đó g có một cực tiểu địa phương duy nhất 0

* D

x  và

* 0

Định lý 1.6.6 Giả sử hàm g:D R n R1



 lồi đều trên R n thì g có một cực tiểu địa phương duy nhất và một cực tiểu toàn cục duy nhất, Hơn nữa  



 ( )

lim k

k g x khi









k

k x

lim , và mọi tập mức của g là compact

Bổ đề 1.6.7 Cho F:DR n  R n Nếu với mỗi   0,

Fx Fy   x y, x,yD (1.6.2) thì tồn tại F 1 xác định trên F (D) và

) ( ,

,

1 1

F        

Định lý 1.6.8 Giả sử hàm g:D R n R1



 lồi đều và khả vi liên tục trên R n Khi đó ánh xạ F:R n  R n, xác định bởi Fxg' (x)T, xR n, là một đồng cấu từ R n lên R n

Hệ quả của định lý 1.6.8 Cho ánh xạ F:R n R n khả vi liên tục trên R n và F ' x( )

đối xứng với mỗi x R n Nếu có một hằng số c 0 sao cho

T T n

R h x h ch h x F

h ' ( )  ,  ,  (1.6.3) Thì F là một đồng cấu từ R n lên R n

CHƯƠNG II: CÁC PHƯƠNG PHÁP CỰC TIỂU HOÁ

21 Phương pháp paraboloid.

2.1.1 Xét hàm bậc hai

g R n R g x C b T x x T Ax

2

1 )

( ,







 (2.1.1) Nếu A L(R n )

 là ma trận đối xứng, xác định dương thì g có duy nhất một giá trị cực tiểu toàn cục x*, đó là nghiệm của hệ phương trình tuyến tính

g' (x)T Ax b 0 (2.1.2)

2.1.2 Các phương pháp lặp để cực tiểu hoá một hàm không phải bậc hai

1 :R R

g n

a Xét một hàm bậc hai g k xấp xỉ g trong một lân cận của điểm x k

+ Thay thế g ở bước lặp thứ k của hàm bậc hai g k

+ Cực tiểu của g k được lặp tiếp ở x k 1

+ Để thu được một hàm bậc hai g k ta mở rộng Taylor của hàm g tại x k

1 ) )(

( ' ) ( )

g T k k

k k

(2.1.3)

Là một xấp xỉ của g tại x k

Nếu ma trận Hessian ( k)

H đối xứng, xác định dương thì cực tiểu duy nhất của g k là nghiệm của hệ phương trình tuyến tính k k k T

H ( )(  )  ' ( ) Lấy

k k T

g k

x  1 ( )  1 ' ( )



 (2.1.4)

Đây là phương pháp lặp Newton đơn giản đối với các phương trình

0 )

(

'

)

(x g x T 

F Mỗi bước lặp cho hệ này thu được cực tiểu của parabol mật tiếp g k

tại x k

Nếu ma trận Hessian ( k)

g x

H không xác định dương, nhưng không suy biến, thì

ở công thức (2.1.4) tương ứng thu được điểm tới hạn duy nhất của hàm mật tiếp bậc hai g k

Trong trường hợp ma trận Hessian ( k)

H suy biến, hoặc không xác định, xét công thức (2.1.3), xấp xỉ hàm bậc hai

 ( ) ( ) )

( 2

1 ) )(

( ' ) ( )

k

k g T k k

k k

Nếu vô hướng k được chọn sao cho H x k k I

g( )   xác định dương thì g k có một cực tiểu duy nhất x k 1 là nghiệm của phương trình Fxg' (x)T  0

Từ (2.1.5) ta có

1  ' ( ) Fx k , 0 , 1 , 2









x k k k k (2.1.6)

b Tổng quát, ta xét hàm bậc hai xấp xỉ dạng

2( ) ( )

1 ) ( ) ( )

k T k k

T k

k

g       (2.1.7)

Ở đó A k là ma trận đối xứng

Với phương pháp Newton và phương pháp cát tuyến, ta có thể thu được hàm bậc hai (2.1.7) bằng cách nội suy Điều này cần ( 1 )

2

1



 n n

n điểm nội suy x k,i để tính các hệ số chưa biết của b k và A k từ hệ phương trình tuyến tính

2 ( 1)

1 1

, , 2 , 1 ), ( ) (x , g x , i n n n

k (2.1.8)

2

1

1 n n n điểm nội suy

x x h e i n x h e h e j j n

j i i k i

i k

k,  ,  1 , ,   ,  1 , (2.1.9)

Ta có:

) ( ) (

) (

) (

) (

) ( ) (

) (

k i

i k j

j k j

j i i k k

j i

k j

j k k

j

x g e h x g e h x g e h e h x g x g

x g e h x g x g





























Dễ thấy hàm bậc hai nội suy









































n j

k j j

k i i

k j i j i

k i i n

i

k i

k i

k k

x x x x x g h

h

x x x g x

g h x

g x g

1 ,

1 1

2

) )(

)(

( )

( 2 1

) (

) ( 2

1 ) (

1 )

( ) (

(2.1.10) với g xác định tại các điểm ở (2.1.9)

Dùng hàm bậc hai nội suy g k ta có được quá trình lặp k k

k

x  1    1

Ở đó























































) ( 2

1 ) ( , ,

) ( 2

1 ) (

, ) ( )

(

2 1

2 1 1

1 1

1

x g x

g h

x g x

g h b

x g h

h A

n

k n n k

k T

k

k j i j i k

2.2 Phương pháp gốc.

2.2.1 Phương pháp gốc.

Phương pháp lặp làm giảm giá trị các hàm ở từng giai đoạn

Nghĩa là,

( 1 ) ( ), 0 , 1 ,





x

g k k (2.2.1)

được gọi là phương pháp gốc.

Ta thấy các phương pháp khác không nhất thiết phải thoả mãn (2.2.1) Tuy nhiên có thể thay đổi chúng để trở thành phương pháp gốc

Ví dụ: Bằng phương pháp lặp Newton cho hệ F(x) g' (x)T  0 nhưng thêm một tham

số k để

1 ' ( ) 1 , 0 , 1 ,





k k k

Nếu F(x k)  0 thì tham số k ở (2.2.2) được chọn để (2.2.1) đúng Bổ đề 2.2.1 Giả

sử g:D R n R1



 khả vi tại x  int(D) và cho

0 )

(

'

R g x p

p n Thì tồn tại một số   0 sao cho g(x p) g(x),    ( 0 ,  ).

Chú ý: Đối với phương pháp Newton, thiết lập

k k

p ' ( )  1



thì điều kiện

g' (x k)p k  0 (2.2.3) thoả mãn

Thay đổi công thức (2.2.2) với k đủ nhỏ được gọi là phương pháp Newton tắt

dần Công thức (2.2.2) có dạng tổng quát

x  1 x  p k,k  0 , 1 ,

k k k

 (2.2.5)

Chú ý: Chọn ngẫu nhiên p k sao cho (2.2.3) đúng

Khi g' (x k)T  0 thì p k g' (x k)T Nghĩa là, hướng của p k là hướng của vectơ gradient

của g Các phương pháp đó được gọi là phương pháp gradient.

Chú ý: vì g' (x k) L(R n,R1 )

h x g x

h

( '

1



Do đó, p k là hướng tốt nhất nếu

k

k k k

p

p x g x

g' ( )  '( )

Ta gọi hướng của p k như vậy là hướng dốc gốc, và bất kì phương pháp nào có

dạng (2.2.5) là phương pháp dốc gốc.

Bổ đề 2.2.2 Nếu C  L(R n) đối xứng, xác định dương và

1



 khả vi tại x, thì hướng dốc gốc của g tại x theo chuẩn  2

1

Cx x

bởi

T

x g

C 1 ' ( )

 (2.2.7)

Chú ý: khi C là đồng nhất thức thì pg' (x)T Nghĩa là, hướng dốc gốc trong chuẩn 2

l là hướng âm của vectơ gradient

Hệ quả của bổ đề 2.2.2.

2 , 1 , 0 , ) ( '

1 1





k k k



là một phương pháp dốc gốc theo chuẩn  2

1

Cx x

2.2.2.Xét các phương pháp dạng:

2 , 1 , 0 ,

) ( '

1 1





k k k k

Ở đó ma trận C kcó thể thay đổi tại mỗi bước, nhưng luôn đối xứng và xác định dương Ở (2.2.8), ở giai đoạn thứ k , các lặp mới x k 1 được chọn theo hướng dốc gốc theo chuẩn xác định bởi

1 ) (x C x

Bổ đề 2.2.3 Giả sử ( n)

R L

B  là ma trận đối xứng, xác định dương và giả sử r,qR n

thoả mãn r T q 0 thì

Bq q

Bq Bq q r

rr B

T

T









đối xứng, xác định dương

Bổ đề 2.2.4 Giả sử g:R n R1

 khả vi và thoả mãn

g' (x)  g' (y)(x y)  0 , x,y R n ,x y (2.2.12) thì với mọi x, có một chuỗi k  0 sao cho các lặp (2.2.9), (2.2.11) xác định với mọi k (trừ khi g' (x k)T  0 với vài trường hợp của k, trong trường hợp quá trình dừng), và

).

(

)

(x k 1 g x k

g  

2.3 Thuật toán bước dài

Ta xét các chi tiết khác nhau của việc chọn bước dài k trong bước lặp tổng quát

,

2 , 1 , 0 ,

k k k

Giả sử hướng p k cho trước

2.3.1 Nguyên lý cực tiểu hoá

Ở bổ đề 2.2.1 nếu g' (x k)p k  0, thì có thể chọn k sao cho g(x k1 ) g(x k) Có thể giảm tối đa p k cho trước, khi k được chọn làm cực tiểu của hàm g dọc theo tia





   Nghĩa là, khi k thoả mãn nguyên lý cực tiểu

g x p x p D

p x

k k









Mặt khác, giả sử L k biểu thị tập mức

xD g(x) g(x k) và giả sử 0

k

L là thành phần liên thông của L k bao gồm x k , thì

có hai sửa đổi ngẫu nhiên của (2.3.2):

(2.3.3)

min )

k

x

Ở đó, x, y biểu thị đoạn thẳng

z z tx ( 1  t)y,t 0 , 1

2.3.2 Nguyên lý Curry-Altman.

Một trong các cách lựa chọn cực tiểu (2.3.2)-(2.3.4), k

k

x   là một điểm bên trong của D, thì k là gốc của đạo hàm của hàm

).

( ) (  g x k p k

Nghĩa là, k là nghiệm của phương trình

g'(x k  p k)p k 0 (2.3.5) Trong đó, giả sử g là hàm khả vi liên tục trên D Nếu g là lồi trên D thì (2.3.5)

có duy nhất một nghiệm và k là một nghiệm khi và chỉ (2.3.5) đúng

Đối với các hàm tổng quát, (2.3.5) có các nghiệm không được liên kết với các cực tiểu của 

Tuy nhiên, vẫn có thể xác định bước dài k là nghiệm bất kì của (2.3.5)

Liên quan chặt chẽ với nguyên lý Curry là nguyên lý Altman, trong đó với 

cố định,  0 , 1, k được chọn làm gốc dương nhỏ nhất của

min )

k

x

g' (x k  p k)  g' (x k)p k  0 (2.3.6) Nếu   0, thì (2.3.6) dẫn về (2.3.5)

Nếu   0, thì giải thích của nguyên lý Altman là k là số  dương đầu tiên

p p x

g' (   ) bằng phần nhỏ của  của giá trị ban đầu của k k

p x

g' ( )

2.3.3 Cực tiểu hoá gần đúng và tìm kiếm gốc.

Để giải xấp xỉ các bài toán cực tiểu hoá một chiều, ta có thể tiến hành theo các phương pháp của 2.1 và lấy k là cực tiểu của parabol mật tiếp

k k k k

k

x

2

1 ) ( ' ) ( )

Nếu g '' (x k)p k p k 0 thì k được cho bởi

k k k

k k

k

p p x g

p x g

) ( ''

) ( '



 (2.3.8) Thuật toán (2.3.8) đối với k không nhất thiết dẫn đến một phương pháp gốc, thậm chí khi g'' (x k)p k p k  0

Tuy nhiên, nếu g' (x k)p k  0, chọn yếu tố giảm k sao cho

) ( )

k k

x

2.3.4 Nguyên lý Majorization.

Nguyên lý Majorization: Nếu một hàm : 0 ,  R1







 



) , 0 ( ),

( ) ( ) (x k  p k    g x k    

thì với mọi bước dài

) , 0 ( 

k , (2.3.12) Hàm g giảm

Bổ đề 2.3.1: Giả sử g:D R n R1



 khả vi liên tục trên D 0 D và các mô đun liên tục

t)  sup ' ( )  ' ( )   , ,  (

) , (

D

g  n  n cũng xác định và định và liên tục trên 0 ,  thì với bất kì

0

,

D p











1

0

) ( )

( ' ) ( )

với mọi  mà x,x p D0 Đặc biệt, nếu g’ thoả mãn với  0 , 1:

0

, , )

( ' ) (

g        , (2.3.14) thì

















1 ) ( ' ) ( )

2.3.5 Nguyên lý bước dài Goldstein.

Giả sử g khả vi tại x k int(D)

 và g' (x k)p k  0, thì từ tiếp tuyến với đường cong

)

(x k p k

g   tại   0 được cho bởi

k k

x

g( ) ' ( ) )

Do đó, cho tuỳ ý  1 ,  2 thoả mãn 0  1 2 1, các đường

, 2 , 1 , ) ( ' )

( ) ( g x  g x k p k i

i

k

 nằm trên đường tiếp tuyến Đặc biệt,

0 ),

( ) ( ) (   2   1    

Xét tập

  0 x k,x k  p k D, 2(  ) g(x k  p k)  1(  )

Rõ ràng với bất kỳ  J k, ta có