Phương pháp lặp dừng và phương pháp gradient liên hợp

Các phương pháp lặp dừng để giải hệ phương trình tuyến tính với một toán tử mà xấp xỉ với toán tử gốc với một sai số nào đó và được điều chỉnh liên tục... Mục đích nghiên cứu Nghiên cứu

=======***=======

ĐÀM THỊ PHƯƠNG

PHƯƠNG PHÁP LẶP DỪNG VÀ PHƯƠNG PHÁP GRADIENT LIÊN HỢP

LUẬN VĂN THẠC SĨ TOÁN HỌC

Tác giả xin bảy tỏ lòng biết ơn sâu sắc của mình tới Tiến sĩ Nguyễn Văn Hùng, người thầy đã hướng dẫn, chỉ bảo tận tình để tôi hoàn thành luận văn này

Tác giả xin chân thành cảm ơn sự giúp đỡ tạo điều kiện của Ban Giám hiệu Trường ĐHP Hà Nội 2

Tác giả xin chân thành cảm ơn các ý kiến đóng góp xác đáng của các thầy giáo phản biện để luận văn hoàn thiện hơn

Tác giả xin chân thành cảm ơn sự động viên, khích lệ của gia đình và bạn bè trong suốt quá trình làm luận văn

Hà Nội, tháng 12 năm 2012

Tác giả

Đàm Thị Phương

Tôi xin cam đoan kết quả đạt được của luận văn là trung thực, chưa từng được công bố trong các công trình nghiên cứu nào khác

Hà Nội, tháng 12 năm 2012

Tác giả

Đàm Thị Phương

Trang

1.5 Hội tụ yếu trong không gian Banach và không gian Hilbert 15

MỞ ĐẦU

1 Lý do chọn đề tài

Như đã biết, hệ phương trình tuyến tính và phương trình phi tuyến là

cơ sở cho nhiều mô hình khoa học và kỹ thuật Phương pháp giải số của chúng là rất quan trọng để nghiên cứu các lĩnh vực khoa học này Trong toán học tính toán, phương pháp lặp tạo ra một dãy các nghiệm xấp xỉ tiến dần tới nghiệm gần đúng của bài toán Trong việc tìm kiếm nghiệm của phương trình, phương pháp lặp sử dụng dự đoán ban đầu để tạo ra các xấp xỉ có thể hội tụ tới nghiệm của bài toán Cách làm này là cách làm ngược so với phương pháp trực tiếp và cố gắng giải quyết các vấn đề bằng dãy hữu hạn các phép tính Khi không có sai số thì phương pháp trực tiếp sẽ đưa ra nghiệm chính xác nhưng với phương pháp lặp ta vẫn chỉ có nghiệm gần đúng Tuy nhiên, phương pháp trực tiếp sẽ rất tốn kém (và trong một số trường hợp là không thể) ngay cả với khả năng tính toán tốt nhất có sẵn

Có lẽ phương pháp lặp để giải hệ phương trình tuyến tính xuất hiện sớm nhất là trong một bức thư của Gauss viết cho một học sinh của mình Ông đề xuất giải quyết một hệ phương trình bằng cách liên tục Lý thuyết của phương pháp lặp dừng đã được đưa ra bởi DM.Young, khởi đầu vào những năm 1950 Phương pháp Gradient liên hợp cũng được phát minh vào những năm 1950, dưới sự phát triển độc lập của Cornelius Lanczos, Magnus Hestenes và Eduard Stiefel, nhưng tính chất và ứng dụng của nó được hiểu lầm vào thời điểm đó cho đến tận năm 1970

Các phương pháp lặp dừng để giải hệ phương trình tuyến tính với một toán tử mà xấp xỉ với toán tử gốc với một sai số nào đó và được điều chỉnh liên tục

Với mong muốn tìm hiểu sâu hơn về vấn đề này, nhờ sự hướng dẫn của

TS Nguyễn Văn Hùng, tôi mạnh dạn chọn đề tài nghiên cứu “Phương pháp

lặp dừng và phương pháp Gradient liên hợp”

2 Mục đích nghiên cứu

Nghiên cứu một cách có hệ thống về phương pháp lặp dừng và phương pháp Gradient liên hợp

3 Nhiệm vụ nghiên cứu

Hệ thống một số kết quả đã đạt được về phương pháp lặp dừng và phương pháp Gradient liên hợp

4 Đối tượng và phương pháp nghiên cứu

Nghiên cứu về phương pháp lặp dừng và phương pháp Gradient liên hợp trong phạm vi các hệ phương trình tuyến tính và phi tuyến

5 Phương pháp nghiên cứu

Đọc, dịch, nghiên cứu tài liệu

Tổng hợp kiến thức, vận dụng cho mục đích nghiên cứu

6 Dự kiến đóng góp mới

Đây sẽ là một bài tổng quan về phương pháp lặp dừng và phương pháp Gradient liên hợp Giúp người đọc hiểu những khái niệm cơ bản về phương pháp lặp dừng và phương pháp Gradient liên hợp, đặc biệt là các phương pháp Krylov và tính chất cực tiểu hoá

NỘI DUNG Chương 1 MỘT SỐ KIẾN THỨC CHUẨN BỊ

1.1 Không gian Metric

Định nghĩa 1.1 Một tậpX   được gọi là một không gian metric, nếu với mỗi cặp phần tử x và y của X (viết tắt là x y ,  X) tồn tại một số thực, ký hiệu là x( , ) x y , hai biến có các tính chất:

1) x( , ) x y  0, x( , ) x y  0  x  y;

2) x( , ) x y  x( , ) x y

3) x( , ) x y  x( , ) x z  x( , ), z y  x y z , ,  X

Tập tất cả phần tử x  X thoả mãn điều kiện x( , x x0)  r, được gọi

là hình cầu mở trong X tâm x0 bán kính r

Phần tử x0 của không gian metric X được gọi là điểm dính của tập

M  X , nếu mọi hình cầu mở bất kỳ S x r ( 0, )   x  X : ( ,  x x0)  r  tâm

x0 bán kính r > 0 chứa ít nhất một phần tử thuộc M khác x0 Tập tất cả các

điểm dính của M và M được gọi là bao đóng của M và ký hiệu bằng M

Một dãy   xn gồm các phần tử xn X được gọi là hội tụ đến phần tử

Một tập con M của không gian metric X được gọi là compact trong X,

nếu từ một dãy bất kỳ   xn  M luôn tìm được một dãy con hội tụ đến một

phần tử của X

1.2 Không gian định chuẩn

Định nghĩa 1.2 Chuẩn của một không gian tuyến tính X là một hàm, ký hiệu

là . , xác định trên toàn không gian X, nhận các giá trị hữu hạn và thoả mãn các tính chất sau:

trong đó p là một số thực bất kỳ: 1  p   Khi p = 2, ta thường ký

hiệu Rn và gọi là không gian Euclid n chiều

b) Cho không gian vectơ l Đối với vectơ bất kỳ 2 x    xn  l2 ta đặt

2

1

n n

1.3 Không gian Banach

Không gian tuyến tính định chuẩn  X ,  đầy đủ đối với metric xác định bởi  ( , ) x y  x  y gọi là một không gian Banach

Nếu không sợ nhầm lẫn thì ta thường ký hiệu không gian Banach

n i

Ví dụ 1.4 Cho B(T) là tập hợp tất cả các hàm số x(t) giới nội trên tập

hợp TR B(T) là một không gian Banach với chuẩn sup ( )

Dễ dàng thấy rằng hàm số thực vừa nêu là một chuẩn trên không gian

tuýen tính B(T) Ta chứng minh rằng với metric xác định bởi chuẩn đó, B(T)

là một không gian đầy đủ

Thật vậy, giả sử   xn là một dãy Cauchy trong không gian B(T) Khi

đó, với một số dương  bất kì, tồn tại một số tự nhiên n 0 sao cho

Vậy với mỗi t  T ,  x tn( )  là một dãy Cauchy trong K Vì K là một

không gian đầy đủ nên  x tn( )  hội tụ trong K Đặt ( ) lim n( );

Thật vậy, giả sử t là một phần tử bất kỳ của T Ta có bất đẳng thức

(1.1) với mọi n  n m0,  n0 Cố định n và cho m  , ta được

(1.2) x tn( )  x t ( )   với mọi n  n0, và với mọi t  T

Vậy với n  n0, x  xn là một hàm số giới nội trên T Do đó

( n) n

x  x  x  x cũng là một hàm số giới nội trên T

Vì (1.2) đúng với t  T nên sup n( ) m( )

Ví dụ 1.6 Với 1  p  , cho lp là tập hợp tất cả các dãy số thực (hoặc

phức) x    n là dãy sao cho chuỗi số n p

Dễ dàng thấy rằng với p=1, hàm số (1.3) là một chuẩn trên l Trước khi chỉ ra

rằng hàm số (1.3) là một chuẩn trên lpvới 1  p  , ta giới thiệu định nghĩa của một số mũ liên hợp và một bất đẳng thức mà ta cần trong chứng minh

Hai số dương p và q gọi là một cặp số mũ liên hợp nếu 1 1

1

p  q  Từ

đẳng thức này suy ra 1  p   và 1 q    Một trường hợp riêng quan

trọng là p = q = 2 Khi p  1 thì q   Vì vậy ta cũng coi 1 và q là một

cặp số mũ liên hợp

Giả sử p và q là một cặp số mũ liên hợp 1  p  

Khi đó, nếu x    n  lp, y    n  lq thì

    , với t > 0 Dễ dàng thấy rằng đạo hàm  '( ) t cuảh àm số

lấy giá trị âm trong (0; 1), lấy giá trị dương trong (1; )  và  (1)  0 vậy nên

( ) t (1) 0

    với mọi t>0 Thay

p q

a t b

Ta chứng minh lplà một không gian đầy đủ Thật vậy, giả sử

Thật vậy, từ (1.8) suy ra rằng với một số tự nhiên s bất kỳ,



 với mọi n  n m0,  n0 Trong (1.9), cho m  , ta được

Định nghĩa 1.3 Không gian tuyến tính X được gọi là một không gian tiền Hilbert hay còn gọi là không gian có tích vô hướng, nếu trên XX xác định được một hàm thực hai biến, ký hiệu là x x1, 2 và được gọi là vô hướng của x 1 và x 2 , thoả mãn các điều kiện sau:

1) Với mọi x x1, 2X, x x1, 2  x x2, 1 ;

2) Với mọi x x x1, 2, 3 X , x1 x x2, 3  x x1, 3  x x2, 3 ;

3) Với mọi x x1, 2 X và một số thực bất kỳ  x1,  x2   x x1, 2 ; 4) Với mọi x  X , x x ,  0 và x x ,  0  x  0

Với hàm

1 2

,

x  x x thì X trở thành một không gian định chuẩn và do

đó X là không gian metric

Không gian với tích vô hướng đầy đủ được gọi là không gian Hilbert

Định lý 1.1 (F.Riesz) Với mỗi vectơ a cố định thuộc một không gian

Do đó phiếm hàm ấy bị chặn và thoả mãn (1.13)

Để chứng minh phần ngược lại ta xét một phiếm hàm tuyến tính liên

tục f(x) trên một không gian Hilbert H Tập hợp M   x  H f x : ( )  0  rõ

ràng là một không gian con đóng của H Nếu M    0 thì dựa vào cách

phân tích x = y + z, với y  M z ,  M thì (theo định lý hình chiếu lên một

không con) ta thấy rằng z = 0, cho nên f x ( )  f y ( )  0,   x H , do đó

( ) ,

f x  a x , nghĩa là có cách biểu diễn (1.12) với a = 0 Vậy chỉ còn phải

H và các vectơ a  H Tương ứng 1 - 1 đó là phép đẳng cự tuyến tính, cho

nên nếu ta đồng nhất phiếm hàm f với vectơ a sinh ra nó thì ta có X * = X,

nghĩa là: không gian Hilbert trùng với không gian liên hợp của nó (xê dịch một phép đẳng cấu)

Hệ quả 1.2 (Phiếm hàm song tuyến tính trên không gian Hilbert) Từ

định lý Riesz ta suy ra hệ quả quan trọng dưới đây:

Cho f(x, y) là một phiếm hàm song tuyến tính liên tục trên không gian Hilbert H Với mỗi x cố định f(x, y) là một phiếm hàm tuyến tính liên tục theo

y, cho nên tồn tại một vectơ xác định duy nhất, kí hiệu là Ax (vì nó phụ thuộc

vào x), sao cho với mọi y  H :

(1.16) f x y  ( , ) Ax,y

Có thể thấy ngay A là một toán tử tuyến tính trong H Thật vậy, nếu

Cho y = Ax ta được Ax Ax ,  f Ax x Chứng tỏ rằng toán tử A

bị chặn (do đó liên tục) và A  f Ta lại có theo bất đẳng thức Schwarz

suy ra (1.19) như trên Thành thử ta có hệ quả sau

Hệ quả 1.3 Mỗi toán tử tuyến tính liên tục A trong không gian Hilbert

H xác định theo (1.16) một phiếm hàm song tuyến tính liên tục f(x, y) nghiệm đúng (1.19) Ngược lại bất kỳ phiếm hàm song tuyến tính liên tục f(x, y) nào trên H cũng có thể biểu diễn một cách duy nhất dưới dạng (1.16) trong đó A

là một toán tử tuyến tính liên tục trên H thoả mãn điều kiện (1.19)

Như vậy có thể lập được tương ứng 1 1: f   A giữa các phiếm hàm

song tuyến tính liên tục f và các toán tử tuyến tính liên tục A trong không gian

Hilbert Ta chú ý tính chất sau

Nếu một phiếm hàm song tuyến tính f(x, y) trong không gian Hilbert là

đối xứng, tức là f(x, y) = f(y, x) với mọi x, y thì chuẩn của nó bằng

1.5 Hội tụ yếu trong không gian Banach và không gian Hilbert

Như ta đã biết một dãy các phần tử   xn của không gian Banach X hội

tụ đến một phần tử x0 khi n  , nếu xn  x0  0 khi n  

Hội tụ theo chuẩn được gọi là hội tụ mạnh Song song với khái niệm đó

tồn tại khái niệm hội tụ yếu của dãy   xn Ta nói xn hội tụ yếu đến x0, nếu

*

f X

  có f x ( n)  f x ( 0) khi n  

Ta luôn có từ hội tụ mạnh của một dãy suy ra hội tụ yếu

Điều gược lại không đúng

Ví dụ 1.7 Trong không gian Hilbert khả ly l2 lấy dãy

  Tức là dãy   ej hội tụ yếu đến phần tử 0 (hội tụ yếu thường được

ký hiệu bởi w) Nhưng ở đây dãy   ej 1lại không hội tụ mạnh Thật vậy, ei  ej  2 cho nên nó không phải là một dãy cơ bản, do đó

Một số trường hợp từ hội tụ yếu có thể suy ra hội tụ mạnh:

1) X là không gian hữu hạn chiều

2)   xk  M, ở đây M là một compact trong X

Nhận xét: Những khẳng định trên là dễ hiểu, bởi vì

Trong trường hợp thứ nhất

1

n n

Do M là một tập compact cho nên tồn tại một dãy con   xn ki hội tụ

mạnh đến y và y  x0 Khi đó, ta có sự mâu thuẫn 0 0

1.6 Toán tử trong các không gian

Định nghĩa 1.4 Cho hai không gian vectơ bất kỳ X và Y Một ánh xạ

*) Điều kiện liên tục: Giả sử X, Y là hai không gian định chuẩn Theo định nghĩa chung về ánh xạ liên tục một toán tử A từ X gọi là liên tục nếu

0

n

x  x luôn luôn kéo theo Axn  Ax0

*) Một toán tử A từ X vào Y gọi là bị chặn (giới nội) nếu có một hằng số

k > 0 để cho    x X  Ax  K x (với chuẩn bên trái là chuẩn trong Y, còn chuẩn bên phải là chuẩn trong X)

*) Một toán tử tuyến tính A từ X vào Y là liên tục khi và chỉ khi nó bị

chặn

*) Không gian các toán tử

Cho hai không gian định chuẩn X, Y Ta kí hiệu L(X, Y) là tập tất cả các toán tử tuyến tính liên tục từ X vào Y

Trong L(X, Y) ta có thể định nghĩa các phép toán tuyến tính như sau:

Ta gọi tổng của hai toán tử A, B là toán tử A + B sao cho

   x X   : A B x    Ax  Bx

Và tích của toán tử A với số  là toán tử A sao cho

   x X  : (  A x )   Ax

Rõ ràng các toán tử A + B và A cũng tuyến tính và liên tục, tức là

thuộc L(X, Y) và với các phép toán tuyến tính như trên L(X, Y) trở thành một

không gian tuyến tính

Hơn nữa, trong L(X,Y) ta định nghĩa chuẩn

x x

Ax A

x

của toán tử A, thì khi đó L(X,Y) là một không gian định chuẩn

Giả sử X là một không gian tuyến tính định chuẩn Thay cho ký hiệu

L(X, Y) ta dùng kí hiệu L(X)

Như vậy L(X) là không gian các toán tử tuyến tính giới nội từ không gian tuyến tính định chuẩn X vào chính nó L(X) là một không gian tuyến tính

định chuẩn với chuẩn của toán tử

Giả sử X là không gian tuyến tính định chuẩn và A  L X ( ) Đặt

A0  I A ; 1  A A ; 2  A A , , An1  A A n

Hiển nhiên với mọi số tự nhiên n, An là một toán tử tuyến tính giới nội

từ X vào X,

A m+n = A m A n với mọi m, n và An  A n với mọi n

Định lý 1.2 (Hilbert - Schmidt) Nếu A là một toán tử tuyến tính hoàn

toàn liên tục và tự liên hợp trong không gian Hilbert H thì:

x x e e 



ở đây Aei  i ie , i  0, i  0 khi i   và   Ker A ( )

Bổ đề 1.2 (Tikhonov) Cho A:X  Y đưa tậpX0  X lên

Lấy một dãy   n gồm các số dương dần tới 0, khi n   Với mỗi

n

 tìm được một phần tử f n Y0 sao cho   f n, f0  n và

 , 0 1

x x xn

    , ở đây x n  x f   n Dễ dàng nhận thấy dãy   fn hội tụ đến

f 0 Do   xn thuộc compact X cho nên có thể trích được dãy con 0  x n k hội tụ

trong X đến một phần tử x0X0, ở đây x0 x0và  , 0 1

k

x x n x

    Điều đó nói lên rằng dãy fn k  A x n k là dãy con của  f hội tụ đến n f0  A x  0

Như vậy:

   

f A x  f  A x

Do đó, A x 0 A x 0 Do A là song ánh nên ta có x0  x0 Điều đó dẫn

đến mâu thuẫn với giả thiết trên Bổ đề được chứng minh

1.7 Sai số, số xấp xỉ

*) Sai số tuyệt đối

Trong tính toán, ta thường làm việc với các giá trị gần đúng của một đại

lượng, do đó phải nghiên cứu vấn đề về sai số Nghiên cứu đại lượng A ta chỉ thu được giá trị gần đúng là a Khi đó ta nói a là đại lượng xấp xỉ của A

Ký hiệu a  (đọc là a xấp xỉ với A)

Nếu a A  thì a được gọi là số xấp xỉ dư (thừa) của A

Nếu a < A thì thì a được gọi là số xấp xỉ thiếu cảu A

Nếu a A được gọi là số tuyệt đối của số xấp xỉ a

Do A nói chung không biết, nên không biết được sai số tuyệt đối của xấp xỉ a,

vì vậy phải ước lượng sai số đó bằng số dương a nào đó, sao cho:

(1.20) a A   a

Số  gọi là sai số tuyệt đối giới hạn cho phép mà ta mong muốn, càng bé acàng tốt, nên trong (1.20) ta gọi  = a a A là sai số tuyệt đối của đại lượng

a Nếu số xấp xỉ a của A có sai số tuyệt đối giới hạn là  thì quy ước cách aviết:

  là sai số tương đối cảu đại lượng a Do A nói chung

không biết, nên người ta quy ước sai số tương đối là a

Giả sử đại lượng f có sai số tuyệt đối giới hạn là  và sai số tương đối f

là  , mà f  = f f  ;  là số gia của đại lượng f f

Thật vậy, ta chứng minh cho trường hợp 2 và 3; còn trường hợp 1 và 4

chứng minh tượng tự Gọi f  là số gia của đại lượng f

Hay       U x y z,( , ,x y z0), điều phải chứng minh

Chú ý: Trong công thức hiệu, nếu x y quá bé thì sai số sẽ lớn Vì vậy trong quá trình tính, người ta tìm cách tránh phép trừ các số gần nhau

*) Công thức tổng quát về sai số

i i

f x