Một số phương pháp hiệu chỉnh giải hệ phương trình toán tử

ĐẠI HỌC QUỐC GIA HÀ NỘITRƯỜNG ĐẠI HỌC KHOA HỌC TỰ NHIÊN ĐẶNG VĂN HIẾU MỘT SỐ PHƯƠNG PHÁP HIỆU CHỈNH GIẢI HỆ PHƯƠNG TRÌNH TOÁN TỬ LUẬN VĂN THẠC SĨ KHOA HỌC Hà Nội - 2011... ĐẠI HỌC QUỐC G

ĐẠI HỌC QUỐC GIA HÀ NỘI

TRƯỜNG ĐẠI HỌC KHOA HỌC TỰ NHIÊN

ĐẶNG VĂN HIẾU

MỘT SỐ PHƯƠNG PHÁP HIỆU CHỈNH GIẢI HỆ PHƯƠNG TRÌNH TOÁN TỬ

LUẬN VĂN THẠC SĨ KHOA HỌC

Hà Nội - 2011

ĐẠI HỌC QUỐC GIA HÀ NỘI

TRƯỜNG ĐẠI HỌC KHOA HỌC TỰ NHIÊN

ĐẶNG VĂN HIẾU

MỘT SỐ PHƯƠNG PHÁP HIỆU CHỈNH GIẢI HỆ PHƯƠNG TRÌNH TOÁN TỬ

Chuyên ngành: Toán học tính toán

Mã số: 604630

LUẬN VĂN THẠC SĨ KHOA HỌC

Người hướng dẫn khoa học:

GS.TSKH Phạm Kỳ Anh

Hà Nội - 2011

Tôi cũng gửi lời cảm ơn tới các Thầy, Cô trong Khoa Toán - Cơ - Tin học,Phòng sau đại học, Trường Đại học khoa học tự nhiên, ĐHQG Hà Nội đã dạy

dỗ, giúp đỡ tôi trong suốt quá trình học tập, đặc biệt là các Thầy, Cô trongSeminar của Bộ môn Toán học tính toán đã có những ý kiến đóng góp quýbáu giúp cho bản luận văn hoàn chỉnh hơn

Ngoài ra tôi cũng xin gửi lời cảm ơn tới các bạn đồng nghiệp đã giúp đỡ,động viên tôi trong quá trình thực hiện luận văn này

Cuối cùng, tôi xin gửi lời cảm ơn tới gia đình đã sinh thành, nuôi dưỡng

và động viên tôi rất nhiều trong thời gian qua

Dù đã cố gắng hết sức nhưng luận văn không thể tránh khỏi những thiếusót Mọi ý kiến đóng góp tôi xin được đón nhận với lòng biết ơn chân thành

Hà Nội, ngày 23 tháng 11 năm 2011

Học Viên

Đặng Văn Hiếu

MỞ ĐẦU

Nhiều bài toán khoa học kĩ thuật dẫn đến việc giải phương trình

F (x) = y,

trong đó F : X → Y là toán tử (tuyến tính hoặc phi tuyến), X,Y là các không

gian Banach Bài toán trên được gọi là đặt chỉnh, nếu

1 Phương trình luôn có nghiệm duy nhất với mọi y ∈ Y.

2 Nghiệm phụ thuộc liên tục vào các dữ liệu F,y.

Khi đó ta có nhiều phương pháp giải bài toán trên Tuy nhiên trong thực tếkhông phải lúc nào bài toán cũng đặt chỉnh, tức là

1 Tồn lại y ∈ Y để phương trình vô nghiệm hoặc có nhiều hơn một nghiệm.

2 Nghiệm không phụ thuộc liên tục vào các dữ liệu F,y.

Các bài toán đặt không chỉnh rất khó giải do có sai số của dữ liệu và phảitính toán gần đúng trên máy tính Khi đó ta cần có chiến lược hiệu chỉnh đểgiải bài toán trên Nói nôm na, ta sẽ thay bài toán đặt không chỉnh bằng một

họ các bài toán đặt chỉnh phụ thuộc tham số mà nghiệm của chúng hội tụ đếnnghiệm của bài toán đặt không chỉnh khi tham số hiệu chỉnh dần tới không

Trong các bài toán nhận dạng đa tham số, ta phải xác định x, khi biết các

dữ liệu gần đúng yδi của y i, tức là phải giải hệ phương trình (thông thường làđặt không chỉnh)

F i (x) = yδi , i = 1, , l.

Nếu xem yδ như là một véc tơ yδ = (yδ1, yδ2, , yδl ), với yδi ∈ Y i, δ như làmột véctơ nhiễu δ = (δ1,δ2, ,δl)T ∈ R l (mức nhiễu) thì hệ phương trìnhtoán tử trên đưa về một phương trình toán tử trong không gian tích

F (x) = yδ

Trong nhiều trường hợp việc xét hệ phương trình thay cho một phươngtrình trong không gian tích với bộ tham số hiệu chỉnh cho kết quả khả quan.Sau đây là hai ví dụ đưa về hệ phương trình toán tử đặt không chỉnh.

Ví dụ 1 (Bài toán khôi phục hệ số của phương trình từ ánh xạ Dirichlet

-Neumann)

Ứơc lượng hệ số q ≥ 0 từ phương trình vi phân riêng

−∆u + qu = 0, x ∈Ω⊂ R d,

với điều kiện biên Neumann g = ∂u

∂v trên biên ∂ΩcủaΩ Giả sử biết trước p

các giá trị Dirichlet của u trên biên∂Ω là f0, f1, , f p−1 và đo đạc được các

giá trị Neumann g i= ∂u i

∂v trên biên∂Ωtương ứng Khi đó ta viết lại bài toán

F i (q) = g i , i = 0, , p − 1, trong đó F i : D (F i ) ⊂ L2(Ω) → H−1/2(∂Ω) là toán tử phi tuyến ánh xạ q tới

Bài toán ước lượng q ≥ 0 từ hệ trên là đặt không chỉnh (xem [5]).

Ví dụ 2 (Bài toán ước lượng mômen phi tuyến).

Bài toán ước lượng mômen phi tuyến là tìm hàm u ∈ L2(Ω) trên miền bịchặn Ω⊂ R d thỏa mãn hệ phương trình tích phân phi tuyến

g i=

Z

Ωk i (x, u(x))dx ∈ R m , i = 1, , p, với các nhân trơn k i:Ω× R → R m và các véctơ g i cho trước (i = 1, , p).

Ta đưa về bài toán

F i (u) = g i , i = 1, , p, trong đó F i : L2(Ω) → R m là toán tử phi tuyến đưa u vàoRΩk i (x, u(x))dx Đây

cũng là bài toán đặt không chỉnh (xem [5])

Đã có nhiều phương pháp giải hệ phương trình toán tử đặt không chỉnh.Ngoài các phương pháp lặp xoay vòng như Landweber - Kaczmarz, Newton -Kaczmarz, đường dốc Kaczmarz, một nhóm các nhà khoa học tại Trường Đạihọc khoa học tự nhiên, ĐHQG Hà Nội đã đề xuất các phương pháp chỉnh lặpsong song: Newton hiệu chỉnh song song, Gauss - Newton hiệu chỉnh songsong, phương pháp chiếu điểm gần kề song song, phương pháp CQ - songsong giải hệ phương trình toán tử Đăc điểm của các phương pháp này là haiquá trình hiệu chỉnh và phân rã song song được thực hiện đồng thời và tươngthích với nhau.

Luận văn này sẽ trình bày ba phương pháp giải hệ phương trình toán tửđặt không chỉnh: Phương pháp cực tiểu phiếm hàm ổn định với hạn chế độlệch trong mức sai số cho phép Phương pháp cực tiểu phiếm hàm làm trơnTikhonov và phương pháp Gauss - Newton hiệu chỉnh song song

Nội dung chính của bản luận văn bao gồm các vấn đề sau đây:

1 Thiết lập tính đặt chỉnh của bài toán tối ưu có ràng buộc liên kết với hệphương trình toán tử đặt không chỉnh

2 Đánh giá tốc độ hội tụ của phương pháp hiệu chỉnh đa tham số trongtrường hợp tổng quát

3 Thiết lập mối liên hệ giữa phương pháp nhân tử Lagrange và phươngpháp hiệu chỉnh đa tham số

4 Nghiên cứu phương pháp hiệu chỉnh đa tham số Tikhonov và đánh giátốc độ hội tụ

5 Trình bày phương pháp chỉnh lặp song song dạng Gauss - Newton

Các vấn đề 1 − 3 được trình bày trong bài báo của Torsten Hein [2] Phần

5 được nghiên cứu trong công trình của Phạm Kỳ Anh và Vũ Tiến Dũng [1].Phần 4 là các kết quả do học viên phát triển dựa theo tài liệu của Torsten Hein[2], Nguyễn Bường và Nguyễn Đình Dũng [3]

Chương 1

Hiệu chỉnh đa tham số - sự hội tụ và tốc độ hội tụ

Trong chương này, chúng tôi đề cập tới phương pháp hiệu chỉnh đa tham số

do Torsten đề xuất dựa trên việc cực tiểu phiếm hàm ổn định với điều kiện

độ lệch của các phương trình nằm trong giới hạn sai số cho phép, bao gồmcác bổ đề về tính ổn định và định lý về tốc độ hội tụ Cuối chương, chúng tôigiới thiệu hai thuật toán giải bài toán tối ưu và mối liên hệ giữa phương pháphiệu chỉnh đa tham số và phương pháp nhân tử Lagrange Nội dung chính củachương được trình bày theo dựa theo tài liệu [2]

Trong ứng dụng thì bài toán (1.1.2) thường là bài toán đặt không chỉnh.Ngay cả khi các hệ (1.1.1) và (1.1.2) giải được duy nhất thì nghiệm của (1.1.2)

cũng không chắc phụ thuộc liên tục vào dữ liệu Nghĩa là nếu x† là nghiệm

duy nhất của (1.1.1) và xδ là nghiệm duy nhất của (1.1.2) thì ||x†− xδ|| cóthể lớn tùy ý khiδj ( j = 1, , l) đủ nhỏ.

Chiến lược hiệu chỉnh Xét phiếm hàm ổn định J : D ⊂ X → R mà tính

chất của nó được liệt kê trong mục 1.2 và thay (1.1.2) bởi bài toán tối ưu córàng buộc sau 

trong đóλj > 0( j = 1, , l) là các tham số hiệu chỉnh.

Khi dùng phương pháp Lagrange để giải bài toán (1.1.3) ta có thể xemcác tham sốλj > 0( j = 1, , l) như các nhân tử Lagrange Các hằng sốαj=

Ta sẽ chỉ ra tính đặt chỉnh của bài toán (1.1.3) Cụ thể ta sẽ thiết lập một số

điều kiện để bài toán (1.1.3) có nghiệm duy nhất xδ phụ thuộc liên tục vào

các dữ liệu yδj , j = 1, , l Ta sẽ chỉ ra rằng cách tiếp cận bài toán (1.1.3) cũng

gần giống như việc chứng minh sự tồn tại, tính ổn định và hội tụ của điểm

cực tiểu xδ

α của phiếm hàm Tikhonov

δ 2

ở đây J(x) = ||x − x∗||2 hoặc J(x) = ||D(x − x∗)| |2, trong đó D là toán tử tuyến

Nhận xét Giả thiết A1 là một giả thiết tự nhiên đối với bài toán nhận

dạng, tức là nếu có quan sát chính xác y j , ( j = 1, , l) thì ta có thể giả thiết

có bộ "tham số" x† ∈ D thỏa mãn hệ (1.1.1) Nhưng điều này có thể không còn đúng khi dữ liệu bị nhiễu yδj , ( j = 1, , l) Tức là nghiệm của (1.1.2) có

Bây giờ ta chứng minh sự tồn tại nghiệm xδ của (1.1.3)

Bổ đề 1.2.1 Với các điều kiện (A1)−(A4) thì luôn tồn tại nghiệm xδ của

(1.1.3).

Chứng minh Giả sử {x n } ⊂ Mδ là dãy cực tiểu sao cho: J(x n+1) ≤ J(x n)

j (x) − yδj

k→ ∞inf n k ) − yδj δj , (1 ≤ j ≤ l),

chứng tỏ x ∈ Mδ

Theo (A3) và x n k ⇀ x suy ra J (x) ≤ lim

k→ ∞inf J (x n k ) Từ đó x là nghiệm của

1 Tồn tại dãy con {xδn k } ⇀ xδ là nghiệm của (1.1.3).

2 Nếu xδ là nghiệm duy nhất thì xδn ⇀ xδ.

Vậy x là nghiệm của (1.1.3).

2 Nếu bài toán (1.1.3) có nghiệm duy nhất xδ thì x = xδ, từ đó suy ra sự hội

tụ yếu của dãy {xδn } về xδ ⊠

Bổ đề 1.2.3 Giả sử có các giả thiết của Bổ đề 1.2.2 Nếu thêm điều kiện

(A5) thì {xδn } hội tụ mạnh về xδ.

Chứng minh Hiển nhiên từ (*) và (**) cùng với xδn ⇀ xδ, suy ra lim

n→ ∞J(xδn) =

J (xδ) Kết hợp với (A5) ta có ngay điều phải chứng minh.⊠

Cuối cùng chúng ta muốn chứng minh sự hội tụ của nghiệm của (1.1.3)

tới nghiệm x† của (1.1.1) khiδj → 0,(1 ≤ j ≤ l).

Định nghĩa 1.2.1 x† được gọi là nghiệm J − min của (1.1.1) nếu

J (x†) = min{J(x) : F j (x) = y j , 1 ≤ j ≤ l}.

Từ Bổ đề 1.2.1 và 1.2.3 suy ra xδ hội tụ tới nghiệm J − min của hệ (1.1.1)

khi δ → 0 Nếu thay δj + c (n) j bởiδj và yδj bởi y j và lặp lại chứng minh của

Bổ đề 1.2.2., ta thu được kết quả sau

Bổ đề 1.2.4 Cho các điều kiện (A1) − (A4) và δj → 0, tức là (yδj →

y j , 1 ≤ j ≤ l) Nếu xδ là nghiệm của (1.1.3) thì tồn tại dãy con {bxδ} hội tụ

yếu tới nghiệm J − min x† của (1.1.1) Hơn nữa, nếu nghiệm J − min x† là duy nhất thì xδ ⇀ x† Nếu thêm điều kiện (A5) thì xδ → x†.

1.3 Tốc độ hội tụ

Định nghĩa 1.3.1 Giả sử J là hàm lồi và khả vi Fréchet với J′(x) ∈ X∗, ∀x ∈

D Khoảng cách Bregman giữa bx,x ∈ D là D(bx,x) xác định bởi

D(bx,x) := J(bx) − J(x)− < J′(x), bx− x > X∗,X,

trong đó < , > X∗,X là tích đối ngẫu trong X.

Sau này, để đơn giản, ta sẽ bỏ các kí tự X∗, X trong tích đối ngẫu.

Nhận xét Từ tính lồi của hàm J(x) suy ra D(bx,x) ≥ 0 Nếu J(x) lồi chặt

thì D(bx,x) > 0, ∀bx6= x.

Trước khi nghiên cứu tốc độ hội tụ của phương pháp hiệu chỉnh đa tham

số ta xét thêm điều kiện sau

A6 ∃γ : 0≤γ < 1 và β = (β1,β2, ,βl)T ∈ R l vớiβj ≥ 0,( j = 1, ,l) thỏa

D (xδ, x†) ≤

DJ′(x†), xδ − x†E

Theo (A6), ta suy ra

Nhận xét Để thiết lập tốc độ hội tụ trong X ta cần đặt thêm điều kiện lên

các toán tử F j hoặc/và hàm J(x) Chẳng hạn giả sử J(x) là hàm lồi mạnh với

hệ sốη > 0, tức là

J (tx + (1 − t)y) ≤ tJ(x) + (1 − t)J(y) −η

2t (1 − t)kx − yk2, ∀t ∈ [0;1] Suy ra kx − yk2

Sau đây là 3 ví dụ điển hình.

Hệ quả 1.3.1 Giả sử (1.3.3) thỏa mãn với

Từ đó suy ra điều phải chứng minh ⊠

Nhận xét Nếu J(x) = kx−x∗k2 và F j khả vi Fréchet thì các giả thiết của

Hệ quả 1.3.1 giống các giả thiết trong phương pháp hiệu chỉnh Tikhonov,

trong đó G j = F′(x†) : X → Y j là liên tục Lipschitz Điều này chứng tỏ (1.3.1)

là khái quát hóa của các giả thiết quen biết để chứng minh tốc độ hội tụ Mặtkhác tính liên tục Lipschitz của đạo hàm Fréchet không phải là điều kiện cần

để phương pháp hiệu chỉnh hội tụ Do đó nó có thể được thay bởi các giả thiếtkhác

Hệ quả 1.3.2 Giả sử (1.3.3) thỏa mãn với

j (x, x†)

Y j ≤ C j j (x) − F j (x†)

Y j , 1 ≤ j ≤ l

thì điều kiện (A6) nghiệm đúng vớiγ = 0 vàβj= j Y∗

Từ đó suy ra điều phải chứng minh ⊠

Hệ quả 1.3.3 Giả sử (1.3.3) thỏa mãn với

1.4 Hiệu chỉnh đa tham số trong không gian Hilbert

Ta xét bài toán (1.1.3) với X,Y j là các không gian Hilbert

Giả sử J(x) := kP(x)k2 trong đó P : X → Z là toán tử phi tuyến Ta sử dụng

phương pháp nhân tử Lagrange giải bài toán (1.1.3)

Bổ đề 1.4.2 Cặp (xδ,λ) ∈ D × R l

+ là điểm yên ngựa của hàm Lagrange

(1.4.1) ứng với bài toán (1.1.3) nếu x = xδ làm cực tiểu phiếm hàm Tikhonov

(1.4.2) ứng với tham số hiệu chỉnhλ =λ và thỏa mãn

Do 0 <ε ≪ 1, nên từ (1.4.6) suy ra hoặcλj= 0 hoặc j



xδ

− yδj 2=δ2

j.Điều này suy ra giả thiết (1.4.4) của Bổ đề 1.4.2

Tiếp tục kiểm tra giả thiết (1.4.5) Giả sử có chỉ số j nào đó sao cho

Nhược điểm của thuật toán 1

1 Phải giải bài toán tối ưu phi tuyến trên mỗi bước lặp

2 Do phép lặp (1.4.3) hội tụ chậm nên cần thực hiện nhiều bước lặp

Sau đây ta trình bày thuật toán lặp Gauss - Newton để tìm nghiệm xấp xỉcủa bài toán (1.1.3)

Sự hội tụ của phương pháp chỉnh lặp Gauss - Newton được nghiên cứu trong[7, 8, 9, 10] Trong chương 3, sẽ trình bày kĩ hơn về phương pháp chỉnh lặpsong song Gauss - Newton [1].

1.5 Mối liên hệ giữa phương pháp nhân tử

La-grange và phương pháp hiệu chỉnh đa tham số

Ta sẽ chỉ ra rằng Thuật toán 1 liên quan mật thiết với phương pháp nhân tử

Lagrange cho bài toán tối ưu với ràng buộc bất đẳng thức Cho X là không

gian Banach, ta xét bài toán

với hàm mục tiêu J : X → R và các hàm ràng buộc g j : X → R, j = 1, ,l Với

mỗi nhân tử Lagrange λ = (λ1, ,λl)T ∈ R l, (λj ≥ 0) và hằng số c > 0, đặt

Sau đây là phương pháp nhân tử Lagrange Cho λk ≥ 0;c k > 0 Ta tìm

nghiệm x k của bài toán

Kết quả này trùng với (1.4.3) khiε = 0.

Chương 2

Phương pháp hiệu chỉnh đa tham số Tikhonov

Trong chương này, chúng tôi đề cập tới phương pháp hiệu chỉnh đa tham

số Tikhonov dựa trên việc cực tiểu phiếm hàm làm trơn Tikhonov, trong đóphiếm hàm có chứa tham sốα và các tham số -λj , ( j = 1, , l) Phần này tôi

phát triển dựa theo cách tiếp cận tổng quát của Torsten [2] để mở rộng các kếtquả đã biết của Nguyễn Bường và Nguyễn Đình Dũng [3], bao gồm các địnhlý: Định lý 2.2.1, Định lý 2.2.2, Định lý 2.2.3, Mệnh đề 2.2.4 về sự tồn tại vàtính ổn định của nghiệm Cuối chương là hai định lý: Định lý 2.2.5, Định lý

2.2.6 về tốc độ hội tụ của nghiệm

2.1 Nhắc lại bài toán

Cho X,Y j , ( j = 1, 2, , l) là các không gian Banach phản xạ, F j : D (F j) ⊂

X → Y j là các toán tử (phi tuyến), D := Tl

Phương pháp hiệu chỉnh đa tham số Tikhonov

Xét bài toán cực tiểu hóa phiếm hàm làm trơn Tikhonov

nhất nghiệm xδα phụ thuộc liên tục vào dữ liệu đã cho Ngoài ra thêm một vài

điều kiện bổ sung về hàm F j (x) và J(x) ta sẽ có đánh giá tốc độ hội tụ của

phương pháp theo khoảng cách Bregman

2.2 Một số kết quả

Sau đây là một số kết quả chính thu được cho phương pháp hiệu chỉnh Tikhonov

Định lý 2.2.1 Với các điều kiện (A1) −(A4) thì bài toán (2.1.3) luôn có

ít nhất một nghiệm xδα.

Chứng minh Đặt d = inf

x ∈D Tα(x) Khi đó tồn tại dãy cực tiểu {x n } ⊂ D, sao cho d = lim

n→ ∞Tα(x n ) Nói riêng dãy {Tα(x n)} là dãy bị chặn, nghĩa là, tồn tại

R > 0 sao cho 0 ≤ Tα(x n ) ≤ R ∀n ∈ N Điều này tương đương với

Do đó {F j (x n)}n , {J(x n)}n là bị chặn Suy ra tồn tại C ≥ 0 sao cho J(x n) +

Từ đó suy ra dãy {x n , F1(x n ), , F l (x n)} là bị chặn trong không gian

Ba-nach phản xạ X ×Y1× ×Y l Do vậy nó là tập compac tương đối yếu, hay

tồn tại dãy con {x n k } ⊂ {x n} sao cho

do đó d = Tα(x0), hay x0 là nghiệm của bài toán (2.1.3).⊠

Định lý 2.2.2 Cho các giả thiết (A1) − (A5), α > 0, và yδn

1 Tồn tại một dãy con hội tụ của dãy x n

2 Mỗi giới hạn của dãy con là nghiệm của bài toán (2.1.3).

Chứng minh Lập luận tương tự như trong định lý 2.2.1 ta có

Ta kết luận J(x n k ) → J(x0) Thật vậy giả sử ngược lại J(x n k ) 9 J(x0) Vì

khi δ → 0 Giả sử {δk}k mà δk → 0 Gọi {xδk

αk } là dãy nghiệm của bài toán (2.1.3) ứng vớiδk vàαk =α(δk ).

Khi đó

1 {xδk

αk } chứa dãy con hội tụ.

2 Mỗi giới hạn của dãy con là một nghiệm J − min của (2.1.1).

3 Nếu nghiệm J − min x† của (2.1.1) là duy nhất thì

J − min của (2.1.3) Tất nhiên nếu có một giới hạn x′0 của một dãy con thì nó

cũng là nghiệm J − min của bài toán (2.1.1).

3 Nếu nghiệm J −min x† của (2.1.1) là duy nhất thì theo phần 1.,2., mọi dãy

con đều hội tụ về x† Do đó

Trước khi đi vào đánh giá tốc độ hội tụ của nghiệm xδα tới nghiệm x† của

(2.1.1), ta xét trường hợp giả tối ưu, tức là có xδα,η sao cho

Tα(xδα,η) ≤ Tα(xδα) +η (2.2.12)vớiη ≥ 0 cho trước.

Mệnh đề 2.2.4 Giả sử (A1) − (A5) thỏa mãn, và yδ

có một dãy con hội tụ.

2 Mỗi giới hạn bxcủa dãy con là nghiệm J − min của (2.1.1) Hơn nữa nếu thêm điều kiện nghiệm x† của (2.1.1) là duy nhất thì

1.5 Mối liên hệ phương pháp nhân tử

La-grange phương pháp hiệu chỉnh đa tham số< /b>... data-page="22">

Chương 2

Phương pháp hiệu chỉnh đa tham số Tikhonov

Trong chương này, đề cập tới phương pháp hiệu chỉnh đa tham

số Tikhonov dựa việc cực tiểu phiếm... đánh giá tốc độ hội tụ của

phương pháp theo khoảng cách Bregman

2.2 Một số kết quả

Sau số kết thu cho phương pháp hiệu chỉnh Tikhonov

Định lý