Phương pháp cực tiểu hoá

Nhiệm vụ nghiên cứu Ứng dụng của các phương pháp tìm cực tiểu của hàm n biến.. Đối tượng và phạm vi nghiên cứu “Các phương pháp tìm cực tiểu của hàm n biến”.. Nếu biến phân là một ánh

LỜI CẢM ƠN

Luận văn được hoàn thành tại trường Đại học sư phạm Hà Nội 2 dưới

sự hướng dẫn của TS Khuất Văn Ninh

Tôi xin bày tỏ lòng biết ơn chân thành, sâu sắc tới TS Khuất Văn Ninh, người đã luôn quan tâm, động viên và tận tình hướng dẫn tôi trong quá trình thực hiện luận văn

Tôi xin được gửi lời cảm ơn chân thành tới ban giám hiệu trường Đại học sư phạm Hà Nội 2, phòng Sau đại học, các thầy cô giáo trong nhà trường

và các thầy cô giáo dạy cao học chuyên ngành Toán giải tích đã tạo điều kiện thuận lợi cho tôi trong quá trình học tập và nghiên cứu

Tôi xin bày tỏ lòng biết ơn tới gia đình, người thân đã động viên và tạo mọi điều kiện để tôi có thể hoàn thành bản luận văn này

Hà Nội, tháng 6 năm 2011

Lê Thị Hậu

LỜI CAM ĐOAN

Tôi xin cam đoan luận văn là công trình nghiên cứu của riêng tôi dưới

sự hướng dẫn của TS Khuất Văn Ninh

Hà Nội, tháng 6 năm 2011

Lê Thị Hậu

MỤC LỤC

Trang

MỞ ĐẦU……… 1

NỘI DUNG……… 2

Chương 1: Kiến thức bổ trợ……… 2

1.1 Không gian R n……… 2

1.2 Đạo hàm và vi phân Frechet……… 6

1.2.1 Khái niệm đạo hàm và vi phân Frechet……… 6

1.2.2 Các tính chất của đạo hàm và vi phân Frechet ………… 6

1.2.3 Một số ví dụ……… 7

1.3 Đạo hàm và vi phân Gateaux……… 9

1.3.1 Khái niệm đạo hàm và vi phân Gateaux……… 9

1.3.2 Các định lý về mối liên hệ giữa vi phân mạnh và vi phân yếu ……… 10

1.4 Các định nghĩa và định lý về cực tiểu, điểm tới hạn và ánh xạ gradient……… 11

1.5 Các định lý về tính duy nhất ……… 15

1.6 Các định lý về sự tồn tại……… 18

Chương 2: Phương pháp cực tiểu hoá……… 23

2.1 Phương pháp paraboloid……… 23

2.2 Phương pháp gốc ……… 26

2.3 Thuật toán bước dài……… 32

2.3.1 Nguyên lý cực tiểu hoá……… 32

2.3.2 Nguyên lý Curry và Altman ……… 33

2.3.3 Cực tiểu hoá gần đúng và tìm kiếm gốc ……… 35

2.3.4 Nguyên lý Majorization……… 37

2.3.5 Nguyên lý bước dài Goldstein……… 40

2.4 Các phương pháp hướng liên hợp ……… 43

2.5 Phương pháp Gauss – Newton và các phương pháp liên quan 48

“Phương pháp cực tiểu hoá”

2 Mục đích nghiên cứu

Nghiên cứu Phương pháp cực tiểu hoá và ứng dụng của nó

3 Nhiệm vụ nghiên cứu

Ứng dụng của các phương pháp tìm cực tiểu của hàm n biến

4 Đối tượng và phạm vi nghiên cứu

“Các phương pháp tìm cực tiểu của hàm n biến”

5 Phương pháp nghiên cứu

Phân tích, tổng kết tài liệu

1

CHƯƠNG I: KIẾN THỨC BỔ TRỢ 1.1 Không gian R n

1.1.1 R n là không gian vectơ

Thật vậy, ta kiểm tra 8 tiên đề về không gian véctơ

n

x x x x R

y

x y x y x y x y

y x y x y x y y y x x x y x

n n

n n n

n

+

= + +

+

=

+ +

+

= +

= +

) , ,

, (

) , ,

, ( ) , , , ( ) , , , (

2 2 1 1

2 2 1 1 2

1 2

1

2 , , n , ( 1, 2, , ), ( 1, 2, , ), ( 1, 2, , )

n n

x x x x R

, (

) , , , ( ) , ,

, (

) , , , ( ) , , , ( ) , , , ( )

(

2 2 2 1 1 1

2 2 2 1 1 1

2 1 2

2 1 1

2 1 2

1 2

1

z y x z y x z y x z y x

z y x z y x z y x

z z z y x y x y x

z z z y y y x x x z y

x

n n n

n n n

n n

n

n n

n

+ +

= + + +

+ +

+

=

+ + +

+ +

+

=

+ + +

+

=

+ +

= + +

x x x x

R

∀ n , ( 1, 2, , ), θ ( 0 , 0 , , 0 ) ta có:

x x x x

x x

x x

x x x

n

n n

=

=

+ +

+

= +

= +

) ,

, (

) 0 , , 0 , 0 ( ) 0 , , 0 , 0 ( ) , , , ( 2 1

2 1 2

− +

− +

=

−

−

− +

=

−

+

) 0 , , 0 ,

0

(

)) ( ), , (

), ( ( ) , , , ( ) , , , ( )

x

2 1 2

y y y k x x x k ky ky ky kx

kx kx

ky kx ky kx ky kx y

x y x y x k y

x

k

n n

n n

n n n

=

+ +

+

= + +

+

= +

) , , , ( ) , , , ( ) , , , ( ) , , , (

) , ,

, (

) , ,

, ( )

(

2 1 2

1 2

1 2

1

2 2 1 1 2

2 1 1

2 1

x x x l x x x k lx lx lx kx kx kx

lx kx lx kx lx kx x

l k x l k x l k x

l

k

n n

n n

n n n

+

=

+

= +

=

+ +

+

= + +

+

= +

) , , , ( ) , , , ( ) , , , ( ) , , , (

) , ,

, (

) ( , , ) ( , ) ( )

(

2 1 2

1 2

1 2

1

2 2 1 1 2

1

2 1

n , x (x,x , ,x ), k,l R

R

x kl x x x kl

klx klx

klx lx

lx lx k lx k

n

n n

) ( ) , , , )(

(

) , , ,

( , ,

, )

(

2 1

2 1 2

1

) (

) ,

ta đặt:

2 1

) (

) ,

x

Dễ dàng kiểm tra hệ thức (1.1.1) thoả mãn các tiên đề 1) và 2) về mêtric Để kiểm tra hệ thức (1.1.1) thoả mãn tiên đề 3) về mêtric, trước hết ta chứng minh bất đẳng thức Cauchy-Bunhiacopski: với 2n số thực

) ,

j j n

j j

2

1 2

2 2

2 2 1

2 1

2

2

2

) (

j j n

j j

n i

n j i j n

i

n j

n i

n j

j j i i j

i

n i

n j

i j j i

b a b

a

b a b

a b a b

a

b a b a

) , ,

,

(z1 z2 z n

) , ( ) , ( ) , (

, ( ) , (

) , ( ) , ( ).

, ( 2 ) , (

) (

) )(

( 2 ) (

) (

) (

) (

) , (

2

2 2

1

2 1

1

2 1

2 2

1 2

y z d z x d y x d

y z d z x d

z y d y z d z x d z x d

y z y

z z x z

x

y z z x y

x y

x d

n j

j j n

j

j j j j n

j

j j

n j

j j j j n

j

j j

≤

− +

−

− +

−

=

− +

Do đó hệ thức (1.1.1) thoả mãn tiên đề 3) về mêtric

Vì vậy hệ thức (1.1.1) xác định một mêtric trên không gian R n

Không gian mêtric R n thường gọi là không gian Euclid Mêtric (1.1.1) gọi là mêtric Euclid

1.1.3 R n là không gian mêtric đầy

Thật vậy, giả sử ( , ( ) , , ( )), ( 1 , 2 , )

2 ) ( 1 )

n k k

trong không gian Euclid R n Theo định nghĩa dãy cơ bản

l j

k

j x x

1

2 ) )

(

n j

n l k x

) , , 2 , 1 ( ,

Đặt x= (x1,x2, ,x n), ta nhận được dãy { }x(k) ⊂R n đã cho hội tụ theo toạ

độ tới x Nhưng sự hội tụ trong không gian Euclid R n tương đương với sự hội

tụ theo toạ độ, nên dãy cơ bản { }x (k) đã cho hội tụ tới x trong không gian R n Vậy không gian Euclid R n là không gian đầy

Định nghĩa 1.1.1 Cho không gian metric M = (X,d) Tập K ⊂ X gọi là tập compact trong không gian M, nếu mọi dãy cơ bản các phần tử thuộc K đều chứa dãy con hội tụ tới phần tử thuộc K

Định lý 1.1.2 Cho f là ánh xạ từ không gian metric M = (X,d) vào không gian metric R1 Nếu ánh xạ f liên tục trên tập compact K ⊂ X thì f đạt một giá trị lớn nhất và một giá trị nhỏ nhất trên K

Định lý 1.1.3 Trong không gian Euclid R n tập đóng bất kì và bị chặn là tập compact

1.1.4 R n là không gian định chuẩn

Với các chuẩn:

i n i n

i i n

i

x x

, 1 1

2 2

1.1.5 R n là không gian định chuẩn đủ (không gian Banach)

1.1.6 R n là không gian Hilbert

Thật vậy, , n , ( 1, 2, , ), ( 1, 2, , )

n

x x x x R y

j y x y

x

1 ) ,

Dễ thấy hệ thức (1.1.4) thoả mãn tiên đề về tích vô hướng Chuẩn sinh ra bởi tích vô hướng (1.1.4)

n n n

j

x x

x

=

) , , , ( , )

,

1 2

Không gian vectơ thực R n cùng với tích vô hướng (1.1.4) là một không gian Hilbert

1.2 Đạo hàm và vi phân Frechet

1.2.1 Khái niệm đạo hàm và vi phân Frechet

Cho X,Y là các không gian vectơ định chuẩn, f :X →Y là ánh xạ,

f( 0 + ) − ( 0 ) = ( ) + α ( 0 , ), ∈ Trong đó lim ( , ) 0

0

h x

h

α

Biểu thức A(h) được gọi là vi phân của ánh xạ f tại x0 ∈X

Kí hiệu: df(x0 ,h)

Ánh xạ tuyến tính liên tục A

) , ( ) ( ,

gọi là đạo hàm của ánh xạ f tại x0 Kí hiệu: A= f' (x0 )

Do đó: df(x0 ,h) = f' (x0 )(h)

Ánh xạ f khả vi theo nghĩa trên gọi là ánh xạ khả vi theo nghĩa

Frechet (khả vi theo nghĩa mạnh)

1.2.2 Các tính chất của đạo hàm và vi phân Frechet

Định lý 1.2.2.1: Cho X,Y là các không gian vectơ định chuẩn, nếu f :X →Y

là ánh xạ tuyến tính thì f' (x0 )(h) = f(h),h∈X

Chứng minh: Vì f là ánh xạ tuyến tính nên ta có:

( x h h)

h f h x f

x f h f x f x f h x f

=

− +

, 0 ) , ( ),

( ) )(

( '

) ( ) ( ) ( ) ( ) (

0 0

0 0

0 0

α

Định lý 1.2.2.2: Cho X, Y, Z là các không gian vectơ định chuẩn

Z Y Y

( ' ).

( ' ) )(

( )' ( ) )(

f( 0 + ) − ( 0 ) = ' ( 0 ) + α ( 0 , ), ∈ Trong đó lim ( , ) 0

0

h x

Ở đó A là ánh xạ tuyến tính liên tục, A:R n →R1 Giả sử

n T n

n

a a a

A= ( 1, 2, , ) ∈ , = ( 1, 2, , ) ∈ Khi đó:

n n n

h

h

h a a a h

( )

1

2 1

Như vậy, f khả vi tại x0 nếu tồn tại bộ số (a1,a2, ,a n) không phụ thuộc h

sao cho

) , (

) ( )

2 2 1 1 0

R h

x0 , ∈ , 0 = ( 1, 2, , ), = ( 1, 2, , )

)) ( ), , ( ), ( ( ) ( : )

2

0 1 0

n n

x

f x

f x f

x

f x

f x f

x

f x

f x f

x f A

2 1

2

2

2

1 2

1 2

1 1 1

i i m

n i

i i

h x f

h x f h

x f h A

1

1 1

( ' ) (

1

0

3 1

=

+ +

=

− +

=

− +

=

− +

1

0 3 1

0

2 0 1

0

2 0

1

0

3 2 0 2 0

1

0

3 0 3 0

1

0

3 0 1

0

3 0 0

0

3 )

( 3

) 3

) ( 3 (

) ( ) ( ) (

) ( ) ( ) ( ) ( ) ( ) (

dt h dt h x hdt x

dt h h x h x

dt t x h x

dt t x dt t h x x

f h x f

0

1

0 3 1

0

2 0 0

2

( 3

( 3 )

( 3 )

( ) ( 3 )

1

0

2 2 0 1

0

1 2 0 1

0

2 1 2 0 2

h

Vậy A là ánh xạ tuyến tính

+

[ ] ( ) max

) ( ) ( 3 ) ( ) ( 3 )

( 3 ) ( )

(

1

2 0 1

0

2 0 1

0

2

x h

A h

=

=

∈

∈ 1

0

0 2

1

3 1

, 0

2 0

1

0

3 2 0 1

0

3 2 0 0

0

3

) ( max ( ) ( (max 3

3 )

3 ( ) , ( ) , (

dt h x h

dt t h t

h x

dt h h x dt

h h x h

x h

x

t t

α α

Suy ra,

lim ) , ( lim

1

0

0 0

h h

α

Vậy ta có:

) , ( ) ( ) ( )

1.3 Đạo hàm và vi phân Gateaux

1.3.1 Khái niệm đạo hàm và vi phân Gateaux

Cho X,Y là các không gian vectơ định chuẩn, f :X →Y là ánh xạ,

R t X

h

X

x0 ∈ , ∈ , ∈ Nếu tồn tại giới hạn

t

x f th x f

t

) ( ) (

lim

0 0

0

− +

Thì giới hạn (1.3.1) được gọi là biến phân của hàm f tại x0

Nếu biến phân là một ánh xạ tuyến tính liên tục theo h thì biến phân đó được gọi là vi phân của hàm f tại x0 (vi phân Gateaux hay vi phân yếu) và kí hiệu là Df(x0 ,h)

t

x f th x f th

x f dt

d h x Df

t t

) ( ) (

lim )

( )

, (

0 0

0 0 0

Nếu vi phân Gateaux tuyến tính đối với h thì ta viết

[ ]h f x [ ]h L

h x

Df( 0 , ) = = 'G( 0 )

Toán tử

) , ( :

) (

gọi là đạo hàm Gateaux (đạo hàm yếu) của ánh xạ f Suy ra

) )(

( ' ) ,

1.3.2 Các định lý về mối liên hệ giữa vi phân mạnh và vi phân yếu

Định lý 1.3.2.1 Nếu tồn tại vi phân mạnh df(x0 ,h) của ánh xạ f tại x0 thì tồn tại vi phân yếu Df(x0 ,h) của ánh xạ f tại x0 và hai vi phân đó bằng nhau Chứng minh: Giả sử tồn tại vi phân mạnh của ánh xạ f tại x0 Khi đó

f + − = + α (1.3.2) Trong đó, lim ( , ) 0

0

th x

th

α

Cho h cố định và t→ 0 thì th → 0 ta có:

) , ( ) , (x0 th tdf x0 h

th x

t t

α α

(1.3.4) Suy ra,

0 ) , ( lim 0 ) , ( lim

th x

t t

α α

Do đó tồn tại giới hạn

) , ( ) ( ) (

t

x f th x f

→

Hay là Df(x0 ,h) =df(x0 ,h)

Định lý 1.3.2.2 Nếu trong hình cầu x−x0 <r tồn tại vi phân yếu Df ( h x, )

Và Df ( h x, ) liên tục đều theo x, liên tục theo h, thì trong hình cầu đó tồn tại

vi phân mạnh df ( h x, ) và

r x x x h x df h x

Df( , ) = ( , ), ∀ : − 0 <

1.4 Các định nghĩa và định lý về cực tiểu, điểm tới hạn và ánh xạ gradient Định nghĩa 1.4.1 Cho g:D⊂ R n →R1 Điểm x* ∈D là cực tiểu địa phương của g nếu có một lân cận mở S của x* sao cho với mọi x∈S∩D

) ( ) (x g x*

g ≥ (1.4.1)

*

x là cực tiểu địa phương thực sự của g nếu bất đẳng thức (1.4.1) đúng ngặt với mọi x∈S∩D, x≠ x* Nếu bất đẳng thức (1.4.1) đúng với mọi x thuộc tập con D0 của D chứa x*, thì x* là cực tiểu toàn cục của g trên tập D0

t

th x h

x df t

x f th x

) , ( ) ( )

0 0

x g

Chứng minh: Giả sử x* là điểm tới hạn của g và g '' (x* ) xác định dương Khi

dương tại cực tiểu địa phương thực sự Mặt khác, g:R1 →R1 ,g(x) = x3, chỉ ra rằng nửa xác định dương của g '' tại điểm tới hạn x* không đủ để khẳng định

*

x là cực tiểu địa phương

Việc tìm các điểm tới hạn của một hàm một cách chính xác chính là việc giải hệ phương trình Fx= 0 ở đó F là ánh xạ F:D⊂R n →R n xác định bởi Fx=g' (x)T, x∈D Nếu F là đạo hàm của một hàm nào đó, thì việc giải hệ phương trình Fx= 0 được thay thế bằng việc tìm cực tiểu của hàm số đó

Định nghĩa 1.4.5 Ánh xạ F:D⊂R n →R n là ánh xạ gradient trên tập con D

) (

( )

0 0

0 1

0

0

( ) ( )

−

−

→

1 ta có:

− +

− +

−

=

−

− +

− +

−

=

−

− +

− +

−

=

−

− +

− +

0 0

0

)) (

( )) ( ) ( ( ) (

) ))(

( ) ( ( ' ) (

) ))(

( ) ( ( ' ) (

) ))(

( ) ( ( ' ) (

ds x y s x F x y s x x x F x y

dtds x x x y s x x t x F x y

dsdt x x x y s x x t x F x y

dsdt x y x y s x x t x F x x J

T T T T

Đặt y=x+th với t đủ nhỏ thì

[g x th g x ] h F x sth ds h Fx t

h x

lim ) ( '

Vì h bất kì ta có Fx= g' (x)T □ Biểu thức (1.4.3) cho ta cách xây dựng hàm g từ hàm F

Nguyên lý đối xứng chỉ đưa ra cách giải các hệ phương trình bằng cách cực tiểu hoá một hàm phi tuyến Tuy nhiên, có thể chuyển sang tìm cực tiểu của một hàm bằng cách giải hệ phương trình Fx= 0, thậm chí F không là toán tử gradient

Giả sử f :R n →R1 là hàm có tính chất: f có cực tiểu toàn cục duy nhất

g trên D Trong trường hợp Fx= 0 không có nghiệm trong D và x* là cực

f( ) = T thì nghiệm nhỏ nhất gọi là nghiệm nhỏ nhất bậc hai

Khái niệm nghiệm nhỏ nhất mở rộng ánh xạ F từ R mvào R n Trong

trường hợp đó g là hàm xác định trên tập D trong R m

Định lý 1.4.6 Giả sử f :R n →R1 khả vi trên R n và có điểm tới hạn duy nhất

0

=

x Cho F:D⊂R n →R n, định nghĩa

D x Fx f x g R R

D

g: ⊂ n → 1 , ( ) = ( ), ∈ , và giả sử tại x* ∈ intD, F có đạo hàm

không suy biến Thì x* là điểm tới hạn của g nếu và chỉ nếu Fx* = 0

Chứng minh: Áp dụng định lý đạo hàm của hàm hợp, g có đạo hàm tại x*và

) ( ' ) ( ' ) (

Định lý 1.5.2 Cho g:D⊂ R n →R1 liên tục và có tập mức compact, khi đó tồn

tại một điểm x* ∈D sao cho g(x* ) ≤g(x), ∀x∈D

Chú ý, hàm g:( )0 , 1 →R1 ,g(x) = x bị chặn, nhưng không đóng, các tập

mức không chứa giá trị nhỏ nhất Mặt khác, g(x) =e x, x∈R1 chỉ ra rằng tính bị

chặn của tập mức không cần để hàm g có giá trị cực tiểu

Định nghĩa 1.5.3 Hàm g:D⊂ R n →R1 là liên thông trên D0 ⊂D nếu với bất

kì x,y∈D0, tồn tại một hàm liên tục p:[ ]0 , 1 →D0 sao cho p( 0 ) =x, p( 1 ) = y và

g(p(t)) ≤ max{g(x),g(y)}, ∀t∈( )0 , 1 (1.5.1)

Hàm g là liên thông ngặt nếu với bất kì x≠ y, hàm p được chọn sao cho bất đẳng thức (1.5.1) đúng ngặt

Ta nói rằng tập S ⊂ R n là thành phần liên thông nếu với bất kì x,y∈S,

có một ánh xạ liên tục p:[ ]0 , 1 →S sao cho p( 0 ) = x, p( 1 ) = y

Định lý 1.5.4 Hàm g:D⊂R n →R1 là liên thông trên D nếu và chỉ nếu mọi tập mức của g là thành phần liên thông

Chứng minh: Giả sử tất cả các tập mức của g là các thành phần liên thông, với bất kì x,y∈D, thiết lập γ = max{g(x),g(y)}, khi đó tồn tại một hàm liên tục

[ ]0 , 1 ( )

p → sao cho p( 0 ) =x, p( 1 ) = y, và g(p(t)) ≤ γ , ∀t∈( )0 , 1 , vì p(t) ∈L( γ ) Ngược lại, giả sử g liên thông và lấy x, y nằm trong tập mức bất kì L( γ ) Khi

đó tồn tại một hàm liên tục p:[ ]0 , 1 →D sao cho

)) (

Do đó, p(t) ∈L( γ ) với mọi t∈( )0 1 , và L( γ ) là thành phần liên thông □

Nếu D⊂R n là tập lồi và g:D→R1 là hàm lồi, thì g là hàm liên thông;

Do vậy, nếu L( γ ) là tập mức của g và x,y∈L( γ ), thì với mọi t∈( )0 1

γ γ

γ + − =

≤

− +

≤

− + ( 1 ) ) ( ) ( 1 ) ( ) ( 1 ) (tx t y tg x t g y t t g

Do đó L( γ ) là tập lồi và liên thông Tổng quát hơn, một hàm mà các tập mức của nó lồi thì liên thông

Định nghĩa 1.5.5 Hàm g:D⊂R n →R1 là tựa lồi trên tập lồi D0 ⊂D nếu với bất kì x,y∈D0,

g(tx+ ( 1 −t)y) ≤ max{g(x),g(y)}, ∀t∈( )0 , 1 (1.5.2) Hàm g là tựa lồi ngặt bất đẳng thức (1.5.2) đúng ngặt khi x≠ y

Một hàm lồi cũng là hàm tựa lồi, nhưng ngược lại không đúng Ví dụ, hàm lnt là tựa lồi trên ( )0 , ∞ , nhưng không là hàm lồi Từ chứng minh của

x

g( * ) < ( ), ∀ ⊂ , và g có cực tiểu địa phương thực sự

Giả sử g liên thông nghiêm ngặt và x* ≠ y* là hai cực tiểu Giả sử

) (

Rõ ràng hàm tựa lồi ngặt và hàm lồi ngặt là hàm liên thông ngặt

Hệ quả của Định lý 1.5.6 Giả sử hàm g:D⊂ R n →R1 là tựa lồi ngặt trên tập lồi D0 ⊂D, khi đó g có một cực tiểu địa phương trong D0, và mọi cực tiểu địa phương trong D0 là cực tiểu toàn cục trên D0

Chứng minh: Nếu x* ∈D0 là điểm tới hạn của g, ta có

Ngược lại, nếu x* ∈D0 là cực tiểu toàn cục của g thì x* là cực tiểu địa phương của g Vì D0là tập mở nên g' (x* ) = 0 Hiển nhiên, nếu g là hàm lồi nghiêm ngặt trên D0 thì [g' (x) −g' (y)](x− y) > 0 □

Hệ quả của Định lý 1.5.7 Giả sử hàm g:D⊂R n →R1 có đạo hàm cấp hai xác định dương tại mỗi điểm của tập lồi mở D0 ⊂D, khi đó g có một điểm tới hạn (hoặc cực tiểu địa phương hoặc cực tiểu toàn cục) trong D0

1.6.Các định lý về sự tồn tại

Định lý 1.6.1 Giả sử hàm g:D⊂ R n →R1 liên tục trên tập đóng D khi đó g

có một tập mức bị chặn nếu và chỉ nếu tập các cực tiểu toàn cục của g khác rỗng và bị chặn

Chứng minh: Nếu g có một tập mức bị chặn L( γ ) thì vì tính liên tục của g và tính đóng của tập D, tập L(γ ) là compact, cho nên tập các điểm cực tiểu toàn cục khác rỗng và bị chặn (theo định lý Weiestrass)

Ngược lại, nếu x* là cực tiểu toàn cục thì tập mức L(g(x* )) chính là tập các điểm cực tiểu toàn cục, do đó nó bị chặn □

Định lý 1.6.2 Giả sử hàm g:D⊂R n →R1, ở đó D không bị chặn khi đó mọi tập mức của g bị chặn nếu và chỉ nếu g x k { }x k D

x ∈ Nếu thêm điều kiện là hàm liên thông nghiêm ngặt trên D0 thì x*

cũng là cực tiểu địa phương duy nhất, và *

p ∈ → thoả mãn

y p

S = ∩ và từ tính liên tục của g suy ra có một số α sao cho

0 ,

0 ) 1 ( ,

( ( ) ( ), ( max

0 0

0 0

d t p y y x

y t p d t p x t

p g y g x g

k k k

k k

k k k k k k

−

−

− +

≥

−

− +

, 0 )

lim , và mọi tập mức của g là compact

Chứng minh: Tồn tại một hằng số c> 0 sao cho

{ ( ), ( )} ( 1 ) 2, , R n max

)) (

( )

( )

nó Ta có bổ đề về ánh xạ ngược sau

Bổ đề 1.6.7 Cho F:D⊂R n →R n Nếu với mỗi γ > 0,

Fx−Fy ≥ γ x− y, ∀x,y∈D (1.6.2) thì tồn tại F− 1 xác định trên F (D) và

) ( , , 1 1

F− − − ≤ γ − − ∀ ∈

1 1

1

D F v u v

u

Fy Fx y

x v F u F

Do vậy F là đồng cấu, suy ra tồn tại một hằng số γ > 0 sao cho

) ( ' ) ( ' )

( ' ) (

Chứng minh: Theo nguyên lý đối xứng suy ra tồn tại một hàm

( , : → 1 = − + (2.1.1) Nếu A ∈ L(R n ) là ma trận đối xứng, xác định dương thì g có duy nhất một giá trị cực tiểu toàn cục x*, đó là nghiệm của hệ phương trình tuyến tính

a Xét một hàm bậc hai g k xấp xỉ g trong một lân cận của điểm x k

+ Thay thế g ở bước lặp thứ k của hàm bậc hai g k

+ Cực tiểu của g k được lặp tiếp ở x k+ 1

+ Để thu được một hàm bậc hai g k ta mở rộng Taylor của hàm g tại

) )(

( ) ( 2

1 ) )(

( ' ) ( )

g T k k

k

x g x

( ' ) ( )

g T k k

k k

Là một xấp xỉ của g tại x k

k k T

g k

x + 1 = − ( ) − 1 ' ( ) (2.1.4)

Đây là phương pháp lặp Newton đơn giản đối với các phương trình

0 )

( ' ) ( )

k

k g T k k

k k

k T k k

T k

k

Ở đó A k là ma trận đối xứng

Với phương pháp Newton và phương pháp cát tuyến, ta có thể thu được

hàm bậc hai (2.1.7) bằng cách nội suy Điều này cần ( 1 )

2

1 1 , , 2 , 1 ), ( ) (x , =g x , i= +n+ n n+

i k

k, + , = 1 , , + + , = 1 , (2.1.9)

Ta có:

) ( ) (

) (

) (

) (

) ( ) (

) (

k i

i k j

j k j

j

i i k k

j i

k j

j k k

j

x g e h x g e h x g e h e h x g x g

x g e h x g x g

+ +

− +

− +

k j j

k i i

k j i j i

k i i n

i

k i

k i

k k

x x x x x g h

h

x x x g x

g h x

g x g

1 ,

1 1

2

) )(

)(

( )

( 2 1

) (

) ( 2

1 ) (

1 ) ( ) (

(2.1.10)

với g xác định tại các điểm ở (2.1.9)

Dùng hàm bậc hai nội suy g k ta có được quá trình lặp x k+ 1 =x k −A k− 1b k

) ( 2

1 ) ( ,

) ( )

1 1

1 1

k T

k

k j i j

+ Các hàm bậc hai nội suy (2.1.10) được gọi là hàm bậc hai nội suy Schmidt-Trinkaus

+ Spath đã đưa ra chương trình sử dụng cách tính xấp xỉ (2.1.3)

g k k (2.2.1) được gọi là phương pháp gốc

Ta thấy các phương pháp khác không nhất thiết phải thoả mãn (2.2.1)

Tuy nhiên có thể thay đổi chúng để trở thành phương pháp gốc

Ví dụ: Bằng phương pháp lặp Newton cho hệ F(x) =g' (x)T = 0 nhưng thêm

một tham số αk để

,

1 , 0 , ) (

Nếu F(x k) ≠ 0 thì tham số αk ở (2.2.2) được chọn để (2.2.1) đúng Đây

là hệ quả của bổ đề sau

Bổ đề 2.2.1 Giả sử g:D⊂ R n →R1 khả vi tại x∈int(D) và cho

0 )

Ví dụ: Ma trận Hessian ( k) ' ( k)

g x F x

H = xác định dương thì F' (x k) − 1 cũng xác định dương và

0 )

( ' ) ( )

( ' x k p k =F x k T F x k − 1Fx k >

Chứng tỏ rằng F(x k) ≠ 0, tham số αk > 0 được chọn sao cho x k+ 1 ở

(2.2.2) thoả mãn (2.2.1) Nhưng nếu αk được lấy duy nhất thì (2.2.1) có thể

không đúng Thay đổi công thức (2.2.2) với αk đủ nhỏ được gọi là phương

pháp Newton tắt dần Công thức (2.2.2) có dạng tổng quát

x + 1 = x − p k,k = 0 , 1 ,

k k

k α (2.2.5)

Rõ ràng, bất kỳ phương pháp lặp nào cũng có thể viết theo cách này với

các vectơ p k và các vô hướng αk phù hợp Các vectơ − p k xác định một

hướng dọc theo x k+ 1 và vô hướng αk xác định bước dài từ x k đến x k+ 1 Nếu

1

=

k

p thì αk là khoảng cách từ x k đến x k+ 1

Phương pháp lặp Newton cũng như các phương pháp khác, cho ta định

hướng vectơ − p k Tuy nhiên, phương pháp cực tiểu hoá đơn giản là “giảm

đơn vị”, trong đó p k được chọn trong số các vectơ e , ,1 e n và các lặp { }x k chỉ

giảm trong mỗi giai đoạn Sự lựa chọn cổ điển của tổ hợp các vectơ ở giai

đoạn thứ k là cho giảm tối đa địa phương Nghĩa là, chỉ số i của vectơ e i

được chọn sao cho

j k n j i

Nếu dấu ±e i được chọn sao cho g' (x k)( ±e i) ≥ 0 thì rõ ràng (2.2.3) đúng,

bước dài αk có thể được chọn sao cho (2.2.1) hợp lệ

Nguyên tắc chung để lựa chọn tổ hợp các vectơ là lựa chọn mang tính

chu kỳ Nghĩa là,

,

1 , 0 , 1 )

±

Ở đây, g được giảm chu kỳ theo mỗi biến riêng rẽ Trong trường hợp

này có thể g' (x k)p k = 0, mặc dù g' (x k) ≠ 0 Tuy nhiên, trừ một điểm tới hạn đã

đạt được, tồn tại một chỉ số k+m,m≤n− 1 để g' (x k+m)p k+m > 0

Chú ý, sự lựa chọn tổ hợp các vectơ cơ sở e , ,1 e n chỉ là minh hoạ Ta

có thể thay thế bởi các vectơ khác không q , ,1 q m trong không gian R n và

chọn vectơ p k trong số các vectơ q j bằng bất kì nguyên tắc nào ở trên

Chọn ngẫu nhiên p k sao cho (2.2.3) đúng Khig' (x k)T ≠ 0 thì

T

k

k g x

p = ' ( ) Nghĩa là, hướng của p k là hướng của vectơ gradient của g Các

phương pháp đó được gọi là phương pháp gradient

Một lớp các phương pháp liên quan chặt chẽ là nếu − p k được chọn làm

hướng giảm tối đa địa phương của g Nếu g khả vi tại x k thì hướng này là

hướng mà

p

p x

g' ( k)

− lấy trên cực tiểu của nó như một hàm của p ≠ 0.Vì

p

x

g' ( k) là một hàm liên tục của p và tập {p p = 1} là compact, suy ra hướng

tốt nhất của p k luôn tồn tại, mặc dù không duy nhất

Chú ý, vì g' (x k) ∈L(R n,R1 ) Ta có:

h x g x

h

k) sup ' ( ) (

p

p x g x

g' ( ) = '( )

Ta gọi hướng của p k như vậy là hướng dốc gốc, và bất kì phương pháp

nào có dạng (2.2.5) là phương pháp dốc gốc

Hiển nhiên, (2.2.3) đúng đối với các hướng này trừ g' (x k) = 0

Hướng dốc gốc phụ thuộc vào chuẩn cụ thể đang sử dụng Đối với các

chuẩn eliptic ta có các kết quả đơn giản sau

Bổ đề 2.2.2 Nếu C∈L(R n) đối xứng, xác định dương và g:D⊂R n →R1 khả

vi tại x, thì hướng dốc gốc của g tại x theo chuẩn ( )2

1

Cx x

x = T cho bởi

T

x g

C− 1 ' ( )

1 2

1 1 2

1 1 2

2

1 2

1 1

Rõ ràng đẳng thức đúng nếu −p được cho bởi (2.2.7) □

Chú ý, khi C là đồng nhất thức thì p =g' (x)T Nghĩa là, hướng dốc gốc

trong chuẩn l2 là hướng âm của vectơ gradient

Hệ quả của bổ đề 2.2.2

2 , 1 , 0 , ) ( ' 1

k k

là một phương pháp dốc gốc theo chuẩn ( )2

1

Cx x

x = T

2.2.2.Xét các phương pháp dạng:

2 , 1 , 0 ,

) ( ' 1

k k k

Ở đó ma trận C kcó thể thay đổi tại mỗi bước, nhưng luôn đối xứng và

xác định dương Ở (2.2.8), ở giai đoạn thứ k , các lặp mới x k+ 1 được chọn

theo hướng dốc gốc theo chuẩn xác định bởi 2

1 ) (x C x

(

) )(

( )

(

) (

q B q

q B q B q r

r r B

k T k

T k k

k k k T k

T k k k

Ở đây, B0 là ma trận tuỳ ý, đối xứng, xác định dương, thường được lấy

là đồng nhất thức và

Bq Bq q r

rr B

T T

T − ( )( ) +

1

0 ) ( ) ( ) )(

(

) ( ) (

2 2

2 2

≥ +

−

=

− +

=

∧

q r

x r z

z

z y z z y y

Bq q

Bq x q r

x r Bx x x B x

T

T T

T T

T

T

T T

T T

T

Từ bất đẳng thức Cauchy-Schwarz và r T q> 0, nhưng

0 ) (

)

)(

(z T z y T y − y T z 2 > trừ y=βz, nghĩa là trừ khi B x B2q

1 2

1

β

= hoặc x=βq Trong trường hợp này β ≠ 0 (vì x≠ 0) và do đó (r T x) 2 = β 2 (r T q) 2 > 0

Bổ đề 2.2.4 Giả sử g:R n →R1 khả vi và thoả mãn

[g' (x) −g' (y)](x−y) > 0 , ∀x,y∈ R n , x≠ y (2.2.12) thì với mọi x, có một chuỗi αk > 0 sao cho các lặp (2.2.9), (2.2.11) xác định với mọi k (trừ khi g' (x k)T = 0 với vài trường hợp của k, trong trường hợp quá trình dừng), và g(x k+ 1 ) <g(x k).

Chứng minh: Ta chứng minh bằng phương pháp quy nạp

,

2 , 1 , 0 ,

) ( ' ) ( '