Xác suất và thống kê
Các loại sai số của ước lượng trong thống kê
Trong mô hình hồi quy phi tham số, mối quan hệ giữa biến chưa biết và biến đã biết được thể hiện qua biểu thức f trong không gian Hilbert với tích vô hướng và chuẩn tương ứng Cụ thể, hàm f có thể được biểu diễn dưới dạng chuỗi Fourier với các hệ số θ k, cho phép đồng nhất hàm f với vectơ θ Giả sử fˆ và θˆ là các ước lượng của f và θ được xây dựng từ các quan trắc Y n, thì ước lượng θˆ là hàm đo được phụ thuộc vào các quan trắc này Vấn đề quan trọng là đánh giá độ chính xác của ước lượng θˆ, đặc biệt là khi các quan trắc có nhiễu ngẫu nhiên, dẫn đến việc chúng ta cần đo sai số bình phương giữa fˆ và f (hoặc θˆ và θ) và sau đó lấy trung bình dựa trên thông tin của nhiễu Trong luận án này, chúng tôi sẽ xem xét hai loại sai số khác nhau.
Sai số trung bình bình phương (mean squared error-MSE)
Sai số trung bình bình phương của hàm ước lượng fˆ, được ký hiệu là Cho f : I → R, là đại lượng đo lường sự khác biệt tại từng điểm x0 ∈ I giữa ước lượng và hàm chính xác, với tính chất địa phương được định nghĩa rõ ràng.
MSE(fˆ, f)(x0) được định nghĩa là E Y n fˆ(x0)− f(x0) 2, trong đó E Y n là kỳ vọng dựa trên phân phối của các biến ngẫu nhiên quan sát (Y1, , Yn) Bằng cách sử dụng công thức tính độ chệch b f và phương sai σ 2 f của ước lượng fˆ, chúng ta có thể xác định b f (x0) = E Y n fˆ(x0) − f(x0) và σ 2 f (x0) = E Y n fˆ 2 (x0) − (E Y n fˆ(x0)) 2 Từ đó, MSE có thể được phân tích thành hai đại lượng này.
Chú ý rằng, khib f (x 0 ) ≡0ta nói ước lượng fˆlàước lượng không chệch(unbias estimator) và ngược lại làước lượng chệch(bias estimator).
Sai số trung bình bình phương tích phân (mean integrated squared error-MISE)
Sai số trung bình bình phương tích phân của fˆ = ∑ ∞ k = 1 θ ˆ k φ k là đại lượng đo sự sai khác toàn cục của ước lượng và hàm chính xác như sau:
(θ ˆ k −θ k ) 2 = E Y n kθ ˆ−θk 2 , trong đúk ã klà chuẩn tương ứng trong khụng gian HilbertH Từ dạng (1.1), ta cú thể phân tích MISE thành
Tương tự, ta cũng có ước lượng chệch và ước lượng không chệch giống sai số trung bình bình phương khikb f k ≡0.
Tính hiệu quả của ước lượng thống kê
Để trình bày tính hiệu quả của ước lượng với khái niệm sai số tổng quát, ta ký hiệu d để chỉ các loại sai số nói chung Ví dụ, trong khuôn khổ của luận văn, sai số trung bình bình phương được biểu diễn là d(fˆ n(x0); f(x0)) = MSE(fˆ n; f)(x0) hoặc sai số trung bình bình phương tích phân được ký hiệu là d(fˆ n; f) = MISE(fˆ n; f).
Khi đề cập đến khái niệm khoảng cách, hiệu quả của ước lượng fˆn được đánh giá qua sai số tối đa hay rủi ro tối đa trên lớp hàm Θ chứa f cần ước lượng Ví dụ, lớp hàm H¨older Θ = Σ β,L hoặc lớp hàm Sobolev Θ = W β,L sẽ được xem xét (xem mục 1.2.2).
R(fˆ n) :=sup f ∈ Θd(fˆ n, f). Chúng ta thiết lập chặn trên cho rủi ro lớn nhất, đó là bất đẳng thức dạng
Khi có ước lượng fˆn thỏa mãn bất đẳng thức R(fˆ n) ≤ Cψ² n với dãy xác định dương ψ n tiến tới 0 và hằng số C hữu hạn, thì fˆn được gọi là ước lượng vững (consistent estimator) của f Tốc độ hội tụ được định nghĩa bởi dãy ψ n Nếu có thể xác định một chặn dưới tương ứng, điều này càng củng cố tính chính xác của ước lượng.
(vớinđủ lớn), trong đóclà một hằng số dương thì ta dùng nó để định nghĩasai số tối đa nhỏ nhất(minimax error) liên quan tới mô hình thống kê
R(fˆ n) được xác định bởi inff ˆ n, là chặn dưới lớn nhất cho tất cả các ước lượng có thể của f Chặn trên tồn tại khi có một hằng số C < ∞ sao cho lim sup n → ∞ ψ − n 2 R ∗ n ≤ C với một dãy ψ n hội tụ tới 0 Tương tự, chặn dưới được khẳng định nếu có một hằng số c > 0 sao cho liminf n → ∞ ψ n − 2 R ∗ n ≥ c với dãy ψ n Định nghĩa 1.1 chỉ ra rằng một dãy dương {ψ n} ∞ n = 1 được gọi là tốc độ hội tụ tối ưu của các ước lượng fˆn trên (Θ,d) nếu thỏa mãn (1.3) và (1.4).
Bất đẳng thức chặn dưới van Trees
Trong thống kê cổ điển, bất đẳng thức Cramér–Rao thường được sử dụng để tìm chặn dưới của ước lượng, nhưng chỉ áp dụng cho ước lượng không chệch, điều này hạn chế khả năng ứng dụng của nó trong thực tế, nơi nhiều ước lượng là chệch Để khắc phục vấn đề này, bài viết sẽ giới thiệu bất đẳng thức van Trees như một công cụ hữu ích để xây dựng chặn dưới cho ước lượng chệch, đặc biệt là đối với ước lượng hình chiếu với hai loại sai số MSE và MISE.
Hàm liên tục tuyệt đối
Cho I là một khoảng trong R Một hàm số f : I → R được gọi là liên tục tuyệt đối
(absolutely continuous) trên I nếu với mọi số dươngεtồn tại một số dương δsao cho với mọi dãy hữu hạn những khoảng (xk,yk) ⊂ I rời nhau thỏa ∑k(yk−x k ) < δ thì
∑k|f(y k )−f(x k )| < ε.Định lý sau cho ta một số dấu hiệu nhận biết hàm liên tục tuyệt đối Định lý 1.2 (xem K B Athreya & đồng nghiệp [3])
Cho hàm số thực xác định trên một khoảng compact [a,b], những phát biểu sau đây là tương đương
1 f là hàm liên tục tuyệt đối.
2 f có đạo hàm f 0 hầu khắp nơi và f 0 là một hàm khả tích Lebesgue hầu khắp nơi Khi đó, f(x) = f(a) +
3 Tồn tại một hàmgxác định trên[a,b]khả tích Lebesgue sao cho f(x) = f(a) +
Không mất tính tổng quát, giả sử kết quả thí nghiệm thống kê cổ điển thỏa
1 Một tập những quan trắc độc lập cùng phân phốiX 1 , ,Xnvới nlà cỡ mẫu.
2 Một họ các hàm mật độp(x,θ)định nghĩa dựa trên tham sốθ.
3 Một tậpΘcác tham số có thể có củaθ.
Từ tính độc lập của những quan trắc, ta có thể suy ra hàm mật độ đồng thời của những
X i có dạng p(x1, ,xn,θ) ∏ n i = 1 p(xi,θ). Định nghĩa 1.3 Biến ngẫu nhiên
Hàm hợp lý logarit (log-likelihood function) được ký hiệu là (X i ,θ) = lnp(X i ,θ) và liên quan đến biến ngẫu nhiên Xi Đối với một tập quan trắc có kích thước mẫu m, hàm hợp lý logarit tổng quát sẽ được biểu diễn dưới dạng tổng của các hàm hợp lý logarit của từng mẫu riêng lẻ.
To establish the concept of Fisher information, we define the Fisher score function as the derivative of the log-likelihood function with respect to the parameter θ, expressed as d(ln p(X_i, θ))/dθ = ∂ ln p(X_i, θ) This formulation is crucial for understanding the statistical properties of estimators in the context of parameter estimation.
Dễ thấy, kì vọng của hàm tỉ số Fisher bằng 0 Thật vậy
Hàm tỉ số Fisher toàn phần cho mẫu X1, , Xn được định nghĩa là dLn(θ) dθ = ∑ n i = 1 d`(X i ,θ) dθ Thông tin Fisher của một quan trắc Xi được xác định là phương sai của hàm tỉ số Fisher d `( dθ X i ,θ ).
Thông tin Fisher cho thí nghiệm với cỡ mẫu nlà phương sai của hàm tỉ số Fisher toàn phần
(∂lnp(x1, ,xn,θ)/∂θ) 2 p(x 1 , ,xn,θ) dx 1 dx n
Trong định nghĩa thông tin Fisher, hàm mật độ xuất hiện ở mẫu, dẫn đến khó khăn khi tính thông tin Fisher từ hàm mật độ có giá trị bằng 0 Định lý sau đây cung cấp điều kiện tồn tại của thông tin Fisher dựa vào tính trơn của hàm p(ã, θ) theo θ Chúng ta sẽ chứng minh rằng thông tin Fisher tồn tại nếu đạo hàm của p(ã, θ) theo θ trong không gian L²(R) là hữu hạn Định lý 1.5 khẳng định rằng thông tin Fisher hữu hạn khi và chỉ khi chuẩn trong L² của hàm ∂p(ã, θ)/∂θ là hữu hạn, và khi đó thông tin Fisher có thể được biểu diễn dưới dạng cụ thể.
Chứng minh Tính toán trực tiếp
Giả sử X1, X2, , Xn là các quan trắc từ phân phối đều trên khoảng [0;θ], với hàm mật độ được định nghĩa là p(x,θ) = θ − 1 I[0;1](x), trong đó I[0,1] là hàm chỉ tiêu cho khoảng [0;1].
Họ hàm mật độ này không khả vi theo nghĩa của định lí trên Thật vậy, từ định nghĩa ta có
Giới hạn trên tồn tại khi và chỉ khi
Tuy nhiên, vế trái giảm với tốc độ chậm hơn Để chứng minh, ta giả sử đại lượng∆θlà dương và viết
1−(1+∆θ/θ ) − 1/2 =∆θ/θ +o(∆θ/θ ) O((∆θ ) 2 ) khi∆θ →0 Do đó họ hàm mật độ này không khả vi theoθnên thông tin Fisher hữu hạn không tồn tại.
Bổ đề 1.7 Với những mẫu quan trắc độc lập, thông tin Fisher có tính chất cộng tính Đặc biệt, với bất kìθ ∈ Θ, ta có I n (θ) =nI(θ).
Chứng minh Ta tính phương sai củanbiến ngẫu nhiên độc lập
Hơn nữa, từ nhận xét
Định lý van Trees yêu cầu một số ký hiệu để xây dựng bất đẳng thức Xét khoảng T [t1;t2] trong Rsao cho −∞ < t1 < t2 < ∞ Đặt { P t , t ∈ T} là một họ các độ đo xác suất trên (X,A), trong đó P t = P θ t với { θ t ,t ∈ T} là tập con của lớp Θban đầu Giả sử tồn tại một độ đo σ−hữa hạn ν trên (X,A) sao cho P t liên tục tuyệt đối với độ đo ν cho mọi t ∈ T, và p(.,t) là hàm mật độ của P t ứng với độ đo ν Từ đó, chúng ta có thể xây dựng một phân phối xác suất trên không gian này.
T với hàm mật độ à(.) tương ứng với độ đo Lebesgue Xét một ước lượng ˆt(X) tự do, trong đó X tuân theo phân phối P t, chúng ta phân tích rủi ro Bayes dựa trên hàm mật độ tiên nghiệm à.
Bất đẳng thức van Trees, được trình bày trong định lý 1.8, liên quan đến kỳ vọng ứng với P t và được thể hiện qua công thức T E t h tˆ(X)−t 2 i à (t)dt Để hiểu rõ hơn về định lý này, người đọc có thể tham khảo A B Tsybakov [64, trang 120] để xem phần chứng minh chi tiết.
(i) Hàm mật độ p(x,t) là đo được(x,t)và liên tục tuyệt đốitcho hầu hết xứng với độ đo ν.
(ii) Lượng thông tin Fisher
2 p(x,t)ν(dx), trong đó p 0 (x,t)là đạo hàm của p(x,t)theot, là hữu hạn và khả tích trênT
(iii) Hàm mật độ tiờn nghiệm à là liờn tục tuyệt đối cú giỏ trong T, thỏa món điều kiện à(t1) = à(t2) =0và cú lượng tin Fisher hữu hạn
Khi đó, với ước lượngˆt(X)bất kỳ, chặn dưới của rủi ro Bayes như sau
Chỳ ý 1.9 Cỏch chọn hàm mật độ tiờn nghiệmàsau đõy là thuận tiện à(t) = 1 sà 0 t−t0 s
Trong bài viết này, trung tâm của khoảng T được xác định bởi s = (t2−t1)/2 và hàm mật độ được mô tả bởi à0(t) = cos²(πt/2) trên đoạn [-1,1] Điều này dẫn đến kết quả rằng J(à0) = π², cho thấy hàm mật độ thỏa mãn giả thiết (iii) của Định lý (1.8) Hơn nữa, có thể nhận thấy rằng lượng tin Fisher J(à) là nhỏ nhất trong tất cả các hàm mật độ có giá trị trên T và đáp ứng giả thiết này.
Chúng ta sẽ đề cập đến định lý giới hạn trung tâm với điều kiện Hájek–Sidak mà không cần chứng minh (xem R L Eubank [19, trang 104]) Định lý này sẽ được áp dụng để xây dựng ước lượng khoảng tin cậy trong chương tiếp theo.
Định lí giới hạn trung tâm Hájek–Sidak
Cho một dãy biến ngẫu nhiên độc lập và đồng phân phối ξ₁, , ξₙ với trung bình E(ξᵢ) = 0 và phương sai V(ξᵢ) = σ² hữu hạn Định nghĩa Sn = ∑ₙᵢ=₁ wᵢₙ ξᵢ, thì khi n tiến tới vô hạn, tỷ lệ σ⁻¹ Sn / √∑ₙᵢ=₁ w²ᵢₙ hội tụ yếu về phân phối chuẩn N(0, 1) nếu limₙ→∞ max.
Chuyển động Brown tiêu chuẩn một chiều
Quá trình ngẫu nhiên B(t), với t ≥ 0, được định nghĩa trên không gian xác suất (Ω, F, P) và phải thỏa mãn các điều kiện sau: đầu tiên, giá trị B(0) phải bằng 0 với xác suất cao; thứ hai, B(t) là một hàm liên tục với xác suất cao; cuối cùng, đối với mọi t0 < t1 < < tm, các số gia B(t1) - B(t0), B(t2) - B(t1), , B(tm) - B(t(m-1)) cần được xem xét.
B(tm − 1)là độc lập và iv mỗi số giaB(t i + 1)−B(t i )có phân phối chuẩnN(0,t i + 1−t i )vớii=m−1.
Khi đó, B(t) với t ≥ 0 được gọi là chuyển động Brown một chiều (one-dimensionalBrownian motion).
Giải tích hàm
Một số khái niệm cơ bản về toán tử
Cho H và G là hai không gian Hilbert tách biệt, trong đó một số khái niệm về toán tử tuyến tính được định nghĩa như sau: Toán tử A được gọi là toán tử tuyến tính bị chặn từ H vào G nếu nó là ánh xạ tuyến tính liên tục từ H vào G, với D(A) là tập xác định và R(A) là tập giá trị của A Toán tử A ∈ L(H,G) được xem là khả nghịch nếu tồn tại A − 1 ∈ L(G,H) thỏa mãn AA − 1 = I G và A − 1 A = I H Toán tử liên hợp A ∗ ∈ L(G,H) thỏa mãn điều kiện hAφ,ψi = hφ,A ∗ ψi cho mọi φ ∈ H, ψ ∈ G Nếu A ∈ L(H,H) và A ∗ = A, A được gọi là toán tử tự liên hợp; nếu hAφ,φi ≥ (>)0 cho mọi φ ∈ H\{0}, A được gọi là toán tử dương Toán tử U ∈ L(H,G) là toán tử unitan nếu U ∗ = U − 1 Giá trị riêng λ ∈ R và hàm riêng φ ∈ H, φ ≠ 0 là cặp thỏa mãn Aφ = λφ Một toán tử A từ H vào G được gọi là compact nếu với mọi tập X bị chặn trong H, A(X) là tập đóng trong G Không gian các toán tử compact từ H vào G được ký hiệu là K(H,G) Hội tụ mạnh của chuỗi {un} trong H xảy ra khi lim n → ∞ ||un - u||_H = 0, trong khi hội tụ yếu là hội tụ theo ánh xạ hφ, Aφi với mọi φ trong H hay G.
ChoTlà toán tử tự liên hợp và compact Khi đó tồn tại một hệ trực chuẩn đầy đủE ={ φ j ,j∈
J} của H là các hàm riêng của toán tử T Với tập chỉ số I thỏa Tφ j = λ j φ j ,j ∈ J, tập hợp
J = {j ∈ I : φ j 6= 0} là đếm được và Tφ = ∑ j ∈ J λ j hφ j ,φiφ j ,∀φ ∈ H Hơn nữa, với mỗi δ>0, tậpJ δ ={j∈ I : |λ j | ≥ δ}hữu hạn.
Cho toán tử A: H → G là đơn ánh và compact, ta chứng minh rằng A ∗ A là tự liên hợp và dương ngặt Áp dụng kết quả của Định lý 1.14 cho A ∗ A, ta có A ∗ A f = ∑ ∞ k = 1 ρ k h f, φ k i φ k với ρ k > 0 Ta định nghĩa ảnh chuẩn hóa {ψ k} ⊂ G của φ k ⊂ H, được cho bởi ψ k = b − k 1 Aφ k với b k = √ ρ k > 0 Ta có hψ k; ψ l i = b − k 1 b − l 1 hAφ k; Aφ l i = b − k 1 b l − 1 hA ∗ Aφ k; φ l i = b k b l − 1 hφ k; φ l i = δ kl, với δ kl là ký hiệu của hàm Kronecker.
Aφ k = bk ψ k và A ∗ ψ k = bk φ k, trong đó bk là giá trị kỳ dị của toán tử A Lưu ý rằng, do A ∗ A là compact và tự liên hợp, nên bk tiến tới 0 khi k tiến tới vô cùng theo Định lý 1.14 Định nghĩa 1.15 liên quan đến phân tích giá trị kỳ dị (singular value decomposition - SVD).
Toán tử Ađược phân tích theo giá trị kì dị nếu với mọi f ∈ Hthì
A ∗ A f = ∑ ∞ k = 1 b 2 k θ k φ k, trong đó θ k là các hệ số Fourier của hàm f tương ứng với hệ trực chuẩn {φ k} thuộc không gian Hilbert H, và {b k} là các giá trị kỳ dị của toán tử A Phân tích giá trị riêng (SVD) là một cơ sở của toán tử A vì nó chéo hóa A ∗ A.
Một số lớp hàm thông dụng
Một số không gian hàm thực
Cho(Ω,M,à) là một khụng gian đo được và cho0 < p < ∞ Nếu f : Ω → R là một hàm đo được thì ta đặt kfk p Z
, kfk ∞ =inf{M >0 :|f(x)| ≤ Mvới hầu hếtx ∈ Ω}.
Từ đó ta định nghĩa các không gian
Trong trường hợp Ω ⊂ R vàà là độ đo Lebesgue trờnΩ, để đơn giản ta dựng kớ hiệu
L p (Ω)thay cho L p (Ω, à)với0< p≤∞ Sau đõy là bất đẳng thức thường dụng Định lý 1.16 (Bất đẳng thức H¨older – xem H Brezis [7])
Cho f,gđo được trên một tập đo đượcΩvà hai số p,qthỏa1< p,q 0 trong không gian này Giả sử {φ k} là một cơ sở lượng giác trên H = L²(0,π) với φ k(t) = q2 π sin(kx) hoặc φ 0 = q1 π, φ k(t) = q2 π cos(kx), k ∈ Z+ Hai lớp hàm phổ biến trong lý thuyết bài toán ngược và hồi quy phi tham số là lớp hàm Sobolev và lớp hàm giải tích.
(i) Lớp hàm Sobolev (hay lớp ellipsoid)được định nghĩa
, (1.7) với α,L > 0; Θ(α,L) được định nghĩa trên dãy a = {a k } thỏa mãn a 1 = 1 và a k =k α (xem H Brezis [7]).
(ii) Lớp hàm giải tíchđược định nghĩa
, (1.8) vớia k = p α e ck ,α >0vàL >0 Dễ thấy lớp hàm giải tích là những hàm “rất trơn”,nghĩa là f ∈ C ∞ (0, 1).
Bài toán ngược trong thống kê
Cho H và G là hai không gian Hilbert tách biệt, với A là một toán tử từ H vào G Nhiều bài toán thực tế được mô hình hóa thành việc tìm f ∈ H sao cho A f = g, với g ∈ G.
Bài toán ngược liên quan đến tính khả nghịch của toán tử A, đặc biệt khi A không khả nghịch hoặc không liên tục Mục tiêu là xây dựng một ước lượng hàm f từ dữ liệu của hàm g Để xác định tính tồn tại, duy nhất và ổn định của nghiệm, khái niệm bài toán đặt chỉnh được đưa ra Theo định nghĩa, một bài toán được coi là bài toán chỉnh nếu tồn tại nghiệm, có nhiều nhất một nghiệm và nghiệm phụ thuộc liên tục vào dữ liệu, tức là nếu dữ liệu thay đổi từ e sang g thì nghiệm sẽ thay đổi từ f e sang f.
Bài toán không thỏa điều kiện trên thì gọi làbài toán không chỉnh(ill-posed).
Tùy thuộc vào tốc độ phân kỳ của giá trị, mức độ không chỉnh của bài toán được phân loại Kí hiệu bn được sử dụng để chỉ sự tồn tại của hai số dương, với điều kiện 0 < c1 ≤ c2.
∞thỏac 1 ≤ lim n → ∞an/bn ≤c 2 Sau đây, ta có định nghĩa Định nghĩa 1.18 (xem L Cavalier [10])
Một bài toán ngược được phân loại là không chỉnh yếu (mildly ill-posed) nếu dãy giá trị kì dị ρ_k tương ứng với toán tử nghịch đảo A^(-1) của A có tốc độ phân kỳ bậc đa thức khi k → ∞, tức là ρ_k k^β với β > 0 Ngược lại, bài toán được gọi là không chỉnh mạnh (severely ill-posed) nếu dãy ρ_k có tốc độ phân kỳ bậc lũy thừa khi k → ∞, biểu thị bằng ρ_k e^(βk) với β > 0 Trong trường hợp này, β được gọi là bậc không chỉnh (degree of ill-posedness) của bài toán ngược.
Sau đây là một số ví dụ bài toán ngược trong những lĩnh vực khác nhau:
Ví dụ 1.19 Phương trình tích phân Fredholm bậc nhất: g(t) Z 1
Nếuk(s,t) = k(s−t), ta sẽ có bài toán cổ điển trong thống kê đó là bài toán giải chập.
Ví dụ 1.20 Toán tử tích phân Abel: với H =K =L 2 (0, 1)
Ví dụ 1.21 Bài toán nhiệt ngược 1-chiều: xét phương trình tiến hóa
∂x 2 , với điều kiện biênu(0,t) =u(π,t) =0,t≥0và điều kiện đầuu(x, 0) = u 0 (x), 0≤ x≤π. Bằng phương pháp tách biến, ta có công thức nghiệm của bài toán: u(x,t) ∑ ∞ n = 1 ane − n 2 t sin(nx) với an = 2 π
Bài toán thuận trong lý thuyết nhiệt là bài toán giá trị đầu cổ điển, trong đó ta được cung cấp phân phối nhiệt ban đầu u0(x) và thời điểm cuối T để xác định phân phối nhiệt độ cuối u(˙, T) Ngược lại, bài toán ngược yêu cầu xác định nhiệt độ tại các thời điểm trước T, dựa trên nhiệt độ cuối u(˙, T) đã được đo đạc Chẳng hạn, để xác định nhiệt độ ban đầu u(˙, 0), giá trị kỡ dị tương ứng của bài toán có dạng b k = e − k 2 T, dẫn đến việc bài toán không chỉnh mạnh.
Trong thực tế, việc đo đạc một đối tượng f một cách chính xác là không khả thi Thay vào đó, các phép đo thường đi kèm với sai số trong một giới hạn chấp nhận, và điều này thường được mô hình hóa bằng phương trình toán tử ngẫu nhiên.
Y = A f + ξ, trong đó Y đại diện cho các quan trắc, f là một phần tử của H, ξ là nhiễu và ε là bậc của nhiễu Mục tiêu của chúng ta là ước lượng hoặc phục hồi hàm ẩn f từ các quan trắc Y Đặc biệt, khi nhiễu là xác định, ξ trở thành một hàm trong G với điều kiện kξk ≤ 1 Ngược lại, trong các bài toán ngược trong thống kê, ξ là biến ngẫu nhiên và chúng ta cần ước lượng f Những thách thức này sẽ xuất hiện trong quá trình thực hiện.
• Xử lí nhiễu ngẫu nhiên trong quan trắc (thống kê);
• Tính khả nghịch của toán tửA(lý thuyết những bài toán ngược);
• Đề xuất những phương pháp số (toán học tính toán).
Sự tồn tại nghiệm trong không gian dữ liệu thường được coi là hiển nhiên, nhưng nếu tính duy nhất chưa được xác định, vấn đề trở nên phức tạp hơn Khi bài toán có nhiều nghiệm, cần xác định nghiệm quan tâm hoặc có thêm thông tin để giảm số nghiệm Tính ổn định của nghiệm là vấn đề chính được nghiên cứu, do đó người ta giả định rằng A − 1 : G→ H tồn tại nhưng không liên tục Từ dữ liệu đo đạc Y của g, ước lượng thông thường f ε = A − 1 Y có thể sai khác lớn với hàm f Vì vậy, cần phát triển các phương pháp ước lượng đặc biệt để khôi phục nghiệm cho những bài toán không chỉnh Để tìm nghiệm, các ước lượng f ε phải phụ thuộc liên tục vào quan trắc Y, và ta xây dựng dãy toán tử xấp xỉ R α : H → H cho toán tử ngược (A ∗ A) − 1 : R(A ∗ A) → H, thỏa mãn điều kiện rằng họ toán tử chỉnh hóa R α : H → H phụ thuộc vào tham số chỉnh hóa α > 0 sẽ hội tụ điểm về toán tử đồng nhất khi lim α → 0 + R α A ∗ A f = f, ∀f ∈ H.
Sau đây là một số ví dụ về toán tử chỉnh hóa
Giả sử ta có thể biểu diễn toán tử chỉnh hóa dưới dạng chuỗi trực giao, với công thức fˆ α = R α A ∗ A f Trong đó, tổng quát ta có thể viết như sau: ∑ ∞ k = 1 Φ α (b 2 k )b 2 k f k φ k và ∑ ∞ k = 1 λ k f k φ k, với λ k = Φ α (b 2 k )b k 2 Một dạng định nghĩa khác của λ k là ước lượng Tikhonov: λ k = 1 + 1 αρ 2 k.
Mô hình thống kê Cho P = { P θ : θ ∈ Θ } với không gian tham Θ được gọi là "nhận dạng" khi ánh xạ θ 7→ P θ là đơn ánh, tức là nếu P θ 1 = P θ 2 thì θ 1 phải bằng θ 2 Ước lượng Pinsker được xác định bởi λ k = (1−c e a k ) với c e là nghiệm của phương trình 2 ∑ ∞ k = 1 ρ 2 k a k (1− c e a k )+ =c e L và x+ =max{0,x}, trong đó a k >0 Ngoài ra, ước lượng chiếu được mô tả bởi λ k = I(k ≤ N), trong đó I là hàm chỉ tiêu và N được coi là tham số băng thông (bandwidth parameter).
Những bất đẳng thức thường dùng
Bổ đề 1.24 (Bất đẳng thức xấp xỉ tích phân)
Chứng minh Đặts = u L , ta có
0 e L 2 ks 2 ds. Đổi biếnv=L 2 k(1−s)ta được
HỒI QUI CHUỖI LƯỢNG GIÁC
Trong chương này, chúng tôi giới thiệu phương pháp tổng quát để xây dựng ước lượng chuỗi trực giao, được N N ˇCencov phát triển vào năm 1962 nhằm ước lượng hàm mật độ và xác định tốc độ hội tụ trong không gian H = L 2 Phương pháp này sau đó đã được đề cập trong các công trình của N N ˇCencov vào năm 2000, cùng với những nghiên cứu của L Devroye và các đồng nghiệp vào năm 1985, cũng như S Efromovich.
Kể từ những năm 1980, bài toán hồi qui phi tham số đã thu hút sự chú ý với những nghiên cứu quan trọng, đặc biệt là những đóng góp của R Shibata (1981), J Rice (1984) và R L Eubank Các nghiên cứu này đã mở đường cho việc ước lượng chuỗi trực giao trong lĩnh vực này.
[20] (1990) Ước lượng chuỗi trực giao cho mô hình hồi qui và mô hình nhiễu trắng Gaussian được thảo luận kĩ trong sách của R L Eubank [19] (1999), S Efromovich [17]
Phương pháp chuỗi trực giao đã được phát triển mạnh mẽ từ những năm 1990 nhờ vào phát minh về sóng nhỏ của Y Meyer Trong chương này, tôi sẽ trình bày ước lượng chuỗi lượng giác cho hai trường hợp một chiều và hai chiều, được áp dụng trong các ứng dụng được đề cập ở phần sau.
Mô hình hồi qui phi tham số – Ước lượng chuỗi trực giao
Xây dựng ước lượng chuỗi trực giao
Hồi quy phi tham số khác với hồi quy tham số ở chỗ, hàm f không được biết và chỉ có bộ dữ liệu Y cùng thông tin tiên nghiệm về lớp hàm mà f thuộc về, như lớp hàm Sobolev hay H¨older Mục tiêu của hồi quy phi tham số là giải quyết các bài toán này Khi f nằm trong không gian Hilbert khả ly H, ta có thể biểu diễn f dưới dạng tổng vô hạn của các hàm cơ sở trực chuẩn φ k, với các hệ số Fourier θ k = hf, φ ki Điều này cho phép đồng nhất hàm f với một vectơ θ = (θ 0, θ 1, θ 2, ) Đặc biệt, đối tượng cần ước lượng có vô hạn tham số không biết, khác với mô hình hồi quy tham số chỉ có hữu hạn tham số Nhiệm vụ của chúng ta là tìm một vectơ hữu hạn chiều θˆN n = (θ ˆ 0, ˆθ 1, ˆθ 2, , ˆθ N n).
Trong không gian R^N, ước lượng θ với tham số chiếu Nn được chọn trong khoảng 1 ≤ Nn ≤ n, phụ thuộc vào giả thiết trơn của hàm f Ý tưởng của ước lượng chuỗi trực giao là xấp xỉ hàm f bằng hình chiếu P_n f = ∑_{k=0}^{N_n} θ_k φ_k trong không gian con V_n = span{φ_0, φ_1, , φ_{N_n}} có (Nn + 1)-chiều Hệ số Fourier θ_k được thay thế bằng hệ số Fourier ước lượng θ̂_k Định lý sau cung cấp điều kiện cho điểm quan trắc X_j nhằm xác định duy nhất ước lượng hình chiếu trong không gian V_{N_n} Ma trận A = (A_{k `})_{k, `=1}^{N_n} phụ thuộc vào điểm thiết kế đo, là ma trận vuông cấp Nn × Nn với mỗi phần tử thỏa mãn điều kiện nhất định.
Theo bài báo của Nguyễn Đăng Minh và đồng nghiệp [43], Định lý 2.1 chỉ ra rằng với n ≥ N ≥ 1 là các số nguyên, bài toán tìm ước lượng của hàm f trong không gian con V N n được xác định bởi điều kiện cực tiểu của hàm sai số, cụ thể là fˆN n = arg min ψ ∈ V N n.
Nếu ma trận A khả nghịch, thì tồn tại duy nhất một hàm fˆ N n trong V N n Định nghĩa thống kê fˆN n(x) được đưa ra như sau: N n k ∑ = 0 θˆ k φ k (x) với θˆ = ( θ ˆ k ) = A − 1 b, theo đó được gọi là ước lượng hình chiếu, ước lượng chuỗi trực giao hay ước lượng phi tham số bình phương bé nhất của hàm hồi quy f tại điểm x bất kỳ trong I.
Chứng minh Vớiψ∈ V N n , ta có thể biểu diễn ψ(x) N n p ∑ = 1 cp φ p(x). Đặt vectơc= (cp) p = 1,N n ∈ R N n ,ta có thể viết lại bài toán (2.2) thành fˆN n =arg min c ∈ R Nn
. Đặt hàm tổng bình phương sai số
Tại điểm cực tiểu của hàmL, ta có
Yj φ `(Xj) ta có thể biểu diễn hệ trên thành phương trình ma trận sau
Ac =b, với A= (A k `)là ma trận vuông cấp Nn×Nn vàb = (b`)∈ R N n Do đó, nếu ma trậnA khả nghịch thì ta xác định nghiệmθˆduy nhất cực tiểu bài toán (2.2) là θˆ =A − 1 b (2.4)
Dựa trên công thức (2.4), ước lượng hình chiếu fˆ N n của hàm f phụ thuộc vào vị trí điểm đo X j, ảnh hưởng đến tính khả nghịch của ma trận A Đặc biệt, khi {φ k} có dạng lượng giác, fˆ N n được gọi là ước lượng chuỗi lượng giác (trigonometric series estimator).
Tham số Nn trong thống kê, thường được gọi là bậc của ước lượng hình chiếu, tương tự như băng thông hn trong ước lượng hàm nhân Tham số này đóng vai trò quan trọng trong việc xác định độ trơn của ước lượng.
Tham số làm mịn Nn được chọn nhằm cân bằng giữa độ chệch chuẩn và phương sai Nếu Nn quá lớn, phương sai sẽ tăng, dẫn đến ước lượng dao động lớn so với trung bình, hiện tượng này gọi là undersmoothing Ngược lại, nếu Nn quá nhỏ, ước lượng sẽ bị oversmoothing Do đó, việc lựa chọn Nn tối ưu là rất quan trọng trong thực tế Thống kê fˆ N n là một ước lượng tuyến tính và có thể được biểu diễn dưới dạng fˆN n (x) = ∑ n j = 0.
Mỗi không gian Hilbert H sẽ tương ứng với những hệ trực chuẩn đầy đủ khác nhau Dưới đây là một số hệ trực chuẩn đầy đủ liên quan đến các không gian Hilbert H mà chúng ta sẽ áp dụng trong các chương sau của luận văn.
Ước lượng chuỗi Fourier trong L 2 ( 0, π )
Xét cặp biến ngẫu nhiên(X 1 ,Y 1 ), ,(Xn,Yn)thỏa mô hình
Y j = f(X j ) + ε j , j=1,n, với ε ilà những biến ngẫu nhiên độc lập thỏaE ε j = 0,V ε j = σ 2 ; X j ∈ (0,π) là những vị trí đo dữ liệu tất định và hàm số f ∈ L 2 (0,π), ta có f(x) + ∞ n ∑ = 1 bnsinnx với bn = 2 π
0 f(x)sinnxdx là khai triển sin Fourier của f tương ứng với cơ sở trực chuẩn q
Cho hàm số f ∈ L 2 (0, π ), ta có f(x) = a 0
0 f(x)cosnxdx là khai triển cos Fourier của f tương ứng với cơ sở trực chuẩn q
L 2 (0,π) Mệnh đề sau sẽ cho ta xác định tọa độ cụ thể của điểm thiết kế đo X j tương ứng với hai họ trực giao trên
1 Với tọa độ điểm thiết kếXj =π(2j−1)/2nvà cơ sở trực chuẩn
) , thì ma trận đường chéo A =n/2.Ikhả nghịch và ước lượng hình chiếu có dạng fˆN n(x) N n p ∑ = 0
2 Với tọa độ điểm thiết kếX j =πj/nvà cơ sở trực chuẩn φ n(x) q2 π sinnx
, thì ma trận đường chéo A=n/2.I khả nghịch và ước lượng hình chiếu có dạng fˆ N n (x) N n p ∑ = 1
Chứng minh Sử dụng kết quả trong R L Eubank [19, trang 144], ma trận
! k ` là ma trận đường chéo chính với A k ` = πn − 1 Do đó, Akhả nghịch nên ta có kết quả mệnh đề khi áp dụng trực tiếp Định lí2.2.
Trong trường hợp không có nhiễuε j =0, ta có kết quả như trong bài báo Nguyễn Đăng Minh và đồng nghiệp [63] sẽ được sử dụng ở chương tiếp theo
Bổ đề 2.4 Giả sử hàm f là liên tục từng khúc trên[0,π]và cơ sở trực chuẩn
) hệ số Fourier của f thỏa biểu thức a0 =√ π n − 1
∑ n j = 1 f(Xj)φ p(Xj)−γ np, (2.6) với p =1,n−1và độ chệch do rời rạc γ n0(f) r2 π
Chứng minh Sử dụng kết quả trong R L Eubank [19, trang 144], ta có n − 1
Vậy ta thu được phương trình (2.5), và phương trình (2.6) ta làm tương tự.
Ước lượng chuỗi Fourier trong L 2 (( 0, π ) × ( 0, π ))
Xét cặp biến ngẫu nhiên(Z 11 ,X 1 ,Y 1 ), ,(Znm,Xn,Ym)thỏa mô hình
Zij =h(Xi,Yj) +ε ij, i=1,n,j =1,m, với ε ij là những biến ngẫu nhiên độc lập thỏaE ε ij = 0,V ε ij = σ 2 ; (X i ,Y j ) ∈ (0,π)×
(0,π) =Ωlà những vị trí đo dữ liệu tất định và hàm sốh ∈ L 2 (Ω) Đặt φ p(x) r2 πsinpx, φ p,q(x,y) = φ p(x)φ q(y), với p,q ∈ Z +
Từ mục2.2và Định lí Fubini, ta suy ra hệ{ φ pq }là trực chuẩn đầy đủ trong L 2 (Ω) Sử dụng bổ đề sau:
Chứng minh Bổ đề này được suy ra trực tiếp từ kết quả đã được chứng minh trong R.
L Eubank [19, trang 144] kết hợp với Định lí Fubini.
Ta suy ra mệnh đề sau
Mệnh đề 2.6 Với tọa độ điểm thiết kế trong Bổ đề2.5thì điều kiện của Định lí2.2 thỏa mãn và ta có ước lượng hình chiếu hˆN n ,M m(x,y) N n p ∑ = 1
Chứng minh Sử dụng kết quả trong Bổ đề2.5, ma trận vuông cấp (NnMm×NnMm) với dạng biểu diễn cột
là ma trận đường chéo chính với A k ` = π 2 n − 1 m − 1 và vectơ cột b cấp (1×NnMm) có dạng như sau b ∑ n i = 1
Do đó, Akhả nghịch nên ta có kết quả mệnh đề khi áp dụng trực tiếp Định lí2.2.
Trong trường hợp không có nhiễu(ε ij) i,j =0, tương tự như Bổ đề2.4, ta có độ chệch do rời rạc hóa sẽ là γ n,m, p,q(h):= π
Trong nghiên cứu của N Bissantz, các tác giả giả định rằng lượng chệch có tốc độ hội tụ O(n − 1) trong trường hợp một chiều Bài viết này sẽ mở rộng các kết quả đó cho các trường hợp khác.
Kết quả nghiên cứu của Nguyễn Đăng Minh và cộng sự [43] cho thấy rằng tính chất này không chỉ áp dụng cho không gian hai chiều mà còn có thể mở rộng cho các trường hợp không gian có số chiều lớn hơn 2.
Bổ đề 2.7 Giả thiếth∈ C 1 (Ω) Nếu p=1,n−1,q =1,m−1thì γ n,m,p,q =Pn, p,q+Qm, p,q+Rn,m,p,q, (2.7) với
Chứng minh Biến đổi trực tiếp ta được
Trong các bài toán ứng dụng cụ thể, chúng ta có thể sử dụng thông tin tiên nghiệm về tính trơn của hàm hồi quy f và h để ước lượng tốc độ hội tụ cho độ chệch do rời rạc hóa γ n,m và γ n,m,p,q, được trình bày trong các Bổ đề 2.4 đến 2.7.
Chương 3 ỨNG DỤNG TRONG PHƯƠNG
Giới thiệu bài toán
Phương trình sóng thuần nhất dạng đơn giản trong miền tần số
Phương trình Helmholtz được biểu diễn dưới dạng + à 2 u = 0 (3.1), trong đó u(x,y) là biên độ sóng tại tọa độ (x,y) Đại lượng à được gọi là số súng, và là số phức nếu môi trường truyền sóng hấp thụ năng lượng Đặc biệt, nếu à = 0, phương trình (3.1) sẽ trở thành phương trình Helmholtz cải biến.
Nếu phương trình có thêm thông tin trên toàn bộ biên ∂Ω, bài toán sẽ được coi là chỉnh theo nghĩa Hadamard Tuy nhiên, trong thực tế, nhiều trường hợp chỉ đo được một phần xung quanh vật thể, dẫn đến bài toán không chỉnh Trong chương này, chúng ta sẽ xem xét miền Ω ⊂ R², cụ thể là (0, π) × (0, b), với điều kiện biên là ux(0, y) = ux(π, y) = 0 và uy(x, 0) = 0, với 0 ≤ x ≤ π và 0 ≤ y ≤ b.
Trong vật lý, để xác định duy nhất trường sóng, cần thêm thông tin u(x, 0) = f(x), với 0≤ x≤π Khi đó, bài toán này được gọi là bài toán Cauchy cho phương trình Helmholtz cải biên Trong trường hợp xác định, bài toán này là không chỉnh.
Việc đo đạc trong thực tế thường gặp phải sai số, và khi đo hàm số f tại các điểm thiết kế 0 ≤ X1 < < Xn ≤ π, chúng ta thu được bộ số liệu Y1, , Yn với Yi ≈ f(Xi) Các điểm Xi được xác định trước và được gọi là điểm thiết kế đo Chúng ta chọn Xi = π(2i−1)/2, với i = 1, n, và giả sử dữ liệu tuân theo mô hình hồi quy.
Trong các bài toán thống kê, một giả thiết quan trọng là đại lượng nhiễu ngẫu nhiên ε i là độc lập và đồng phân phối (i.i.d), có nguồn gốc từ dụng cụ đo đạc hoặc môi trường Khi nhiễu xuất phát từ dụng cụ đo, giá trị biên độ của nhiễu bị chặn bởi ε, với |ε i | ≤ ε, i = 1,n, và ước lượng mô hình được xem như trường hợp xác định Tuy nhiên, nếu nhiễu đến từ môi trường, như nhiệt độ hay yếu tố con người, giả định về nhiễu bị chặn không còn hợp lý, làm cho bài toán trở nên phức tạp hơn Để đơn giản hóa, ta giả sử mô hình có phương sai nhiễu bị chặn đều, tức là V ε i ≤ σ 2, i = 1,n, và gọi đây là mô hình phương sai bị chặn.
Hơn nữa, lượng nhiễu ở đây không cần giả thiết cùng phân phối.
Bằng phương pháp tách biến, bài toán được chuyển đổi thành dạng f = Kθ, trong đó θ = u(ã,b) là một hàm chưa biết trong L²[0,π] Toán tử tuyến tính K: L²[0,π] → L²[0,π] sẽ được chứng minh là một toán tử compact ở mục 3.3 Do đó, mô hình hồi quy sẽ được thiết lập.
Lớp hàm L 2 [0,π] là lớp hàm phi tham số, do đó mô hình bài toán (3.4) được coi là mô hình hồi quy phi tham số B A Mair và đồng nghiệp đã phát triển một xấp xỉ cho hàm h từ tín hiệu đầu vào g = Kh ở dạng tổng quát Để xây dựng ước lượng, các tác giả giả định rằng q = K ∗ g được ước lượng không chệch bởi thống kê √n, dẫn đến ước lượng qˆ(n) và đề xuất một lớp các lược đồ chỉnh hóa tổng quát Để chứng minh tính vững của ước lượng, giả thiết về tính vững của qˆ(n) là cần thiết Ngoài ra, các tác giả thay thế giả thiết các điểm thiết kế đo X i xác định bằng những điểm đo Z i i.i.d ∼ U(I) với U(I) phân phối đều trên khoảng I ⊂ R, phù hợp với mô hình hồi quy.
Mô hình Y i =Kh(Z i ) +ε i, với ε i độc lập và phân phối thỏa mãn E ε i = 0, cho thấy tính ngẫu nhiên của vị trí đo là cơ sở để xây dựng ước lượng không chệch qˆ(n) Tuy nhiên, nếu điểm thiết kế đo là xác định và mô hình nhiễu có phương sai bị chặn, việc xây dựng ước lượng không chệch sẽ gặp khó khăn Do đó, chúng ta không thể áp dụng trực tiếp kết quả tổng quát của B A Mair và các cộng sự cho bài toán nghiên cứu này.
Xây dựng công thức nghiệm dạng tách biến
Từ điều kiện (3.3) và do hệ φ 0 q1 π ,φ k q2 π coskx
,k ∈ Z + là trực chuẩn đầy đủ trong L 2 [0,π](xem mục2.2), ta cú thể biểu diễnu(ã,y)thành chuỗi Fourier cosine u(x, y) ∑ ∞ k = 0 ck(y) φ k (x) với ck(y) = hu(ã, y); φ k i (3.5)
Hơn nữa, ta có kết quả sau:
Mệnh đề 3.1 Chouthỏa món phương trỡnh(3.1),(3.2)và hàm f ∈ L 2 [0,π] Giả sửu(ã,y) ∈
L 2 [0,π]với mọiy ∈ [0,b] Khi đó cp(y) = c p (z)cosh(yp p 2 +k 2 ) cosh(zp p 2 +k 2 ) , |cp(0)| ≤2ku(ã,y)ke − y
√p 2 + k 2 , p∈ N, (3.6) với 0 ≤ y ≤ z ≤ b Hơn nữa, nếu u(ã,b) ∈ W(α;β) thỡ u(ã,y) ∈ A(α,b−y;β) với
Chứng minh phương trình vi phân cấp hai c 00 p (y)−(p 2 +k 2 )cp(y) =0, với p ∈ N, bằng cách lấy tích vô hướng hai vế của phương trình (3.1) với hàm φ pta có huxx(ã,y); φ pi+huyy(ã,y); φ pi = k 2 hu(ã,y); φ pi Áp dụng tích phân từng phần để thu được kết quả này.
Từ phương trình (3.2), chúng ta có điều kiện đầu c₀p(0) = 0 Giải phương trình vi phân cấp hai với các điều kiện c₀p(0) = gₚ và c₀p(0) = 0, ta tìm được nghiệm duy nhất cₚ(y) = cosh(y q p² + k²) cₚ(0), với p ∈ N Kết quả thu được giống như (3.6) Hơn nữa, áp dụng bất đẳng thức Hölder và chú ý rằng kφₚk = 1, chúng ta có thể tiếp tục phân tích.
|c p (y)| =|hu(ã, y);φ pi| ≤ ku(ã, y)kk φ p k =ku(ã, y)k, p ∈ N.
Từ phương trỡnh (3.7), ta thu được|cp(0)| ≤2ku(ã,y)ke − y
Tính không chỉnh của bài toán
Định lý 3.2 Bài toán(3.1)–(3.3)là bài toán không chỉnh theo sai sốMISE.
Chứng minh Nếu hàm số f ≡ 0 trong phương trình (3.3) thì, từ Mệnh đề 3.1, ta có nghiệm của hệ (3.1) – (3.3) xác định duy nhấtu≡0 Giả sử ξ nj i.i.d
Để phân tích sự phụ thuộc liên tục của nghiệm vào dữ liệu và tính ổn định của nghiệm, chúng ta xây dựng hàm un = un(x,y) và fn = fn(x) Hàm un phải thỏa mãn các phương trình (3.1) và (3.2), với điều kiện ban đầu là un(x, 0) = fn(x) và fn(Xj) = ξ nj, đồng thời τ nj = 0 + ξ nj.
Chúng ta sẽ chứng minh rằng MISE(f, fn) tiến tới 0 trong khi MISE(u, un)(y) tiến tới vô cùng khi n tiến tới vô cùng Cụ thể, bằng cách sử dụng ước lượng hình chiếu theo Định lý 2.1, ta có thể biểu diễn fn(x) dưới dạng tổng ∑ từ p = 0 đến n − 1 với các hệ số ˆ anp φ p(x), trong đó ˆ an0 = n − 1 √ π.
Từ Mệnh đề3.1suy ra un(x,y) = n − 1 cosh(yk)
Ta sẽ chứng minh fn(X j ) = τ nj = ξ nj Thật vậy, ta đặt vectơ dữ liệuD 0 = ( ξ n1 , , ξ nn ) vàep= ( φ (X 1 ), , φ (Xn)),p=0,n−1 Từ kết quả đã được chứng minh trong Eubank
Dễ dàng nhận thấy rằng trong không gian R^n, các đại lượng hep;eqi n được xác định bởi công thức π − 1 δ pq, với q từ 1 đến n−1 Hệ thống {ep} trong R^n là trực giao, dẫn đến D 0 = ∑ n p − = 1 0 α pep, trong đó α p được tính từ h D k e 0 ;e p i n p k 2 n = aˆnp với p từ 0 đến n−1 Bên cạnh đó, việc tính toán trực tiếp cũng cho ra kết quả tương tự.
Eˆa 2 np =πn − 1 →0, n→ ∞ và ku n (ã, y)k 2 =πcosh 2 (yk) n − 1
MISE(u,un)(y) =πn − 2 cosh 2 (yk) +πn − 2 n − 1 p ∑ = 1 cosh 2 (y q p 2 +k 2 )
Do đó ta sẽ thấyMISE(f, fn) ∼ O(n − 1 ) vàMISE(u,un)(y) ∼ O(e yn n − 2 ) nên bài toán (3.1) – (3.3) là không chỉnh mạnh theo Định nghĩa1.18.
Xây dựng ước lượng cho trường sóng u ( x, y )
Ta sẽ xây dựng ước lượng chou(x,y)qua hai bước Trước tiên, từ bộ dữ liệu quan trắc
D = (τ 1, ,τ n)chỳng ta khụi phục những hệ số Fourier chou(ã, 0) = f Áp dụng kết quả từ Bổ đề2.4, ta có kết quả
Bổ đề 3.3 Giả sử hàm f là liên tục từng khúc trên[0,π], ta có ước lượng
| γ n0 | ≤2ku(ã,b)ke − bn (2π) − 1/2 sinh − 1 (bn),
Chứng minh Từ công thức củacp(0)trong Mệnh đề 3.1và của γ np trong Bổ đề2.4, ta có
Do đó, ta có bất đẳng thức thứ nhất của (3.8) Hơn nữa, ta lại có
Vậy ta có bất đẳng thức thứ hai của (3.8).
Mệnh đề 3.4 Cho0 < N < nvới N ∈ N Giả sử rằng f thỏa mãn Bổ đề3.3 và nghiệmu thỏa Mệnh đề3.1thì u(x,y) = n − 1
! φ p(x), vớiγ n0 vàγ np như trong Bổ đề3.3.
Dựa vào Bổ đề 3.3 và Mệnh đề 3.4, chúng tôi đề xuất một dạng ước lượng \( \hat{N}_n \) như được định nghĩa trong Định nghĩa 3.5 Giả sử các điều kiện của Bổ đề 3.3 được thỏa mãn, ước lượng của các hệ số \( c_0(0) \) và \( c_p(0) \) được xác định là \( \hat{c}_{n0}(0) = \sqrt{\frac{\pi}{n - 1}} \).
Từ đó ta có ước lượng hình chiếu cho trường sóngu(x,y)như sau ˆ u N n (x,y) N n p ∑ = 0 ˆ cnp(0)cosh(y q p 2 +k 2 ) φ p (x).
Như đã đề cập trong Chú ý2.2, ta sẽ chọnNnsao cho ứng với từng loại sai số (MISE hay MSE) ước lượng có tính vững.
Tính vững với sai số MSE
Từ Mờnh đề (3.1) với giả sửu(ã,b)∈ W ( α; β ) ta dễ dàng suy rau(ã,y) ∈ A( α,b−y;β) với mọi y ∈ [0,b] Ta có thể phân tích sai số MSE(u, ˆu N n )(x,y) thành hai đại lượngVar–Bias như sau
Mệnh đề 3.6 Giả sử các biến ngẫu nhiênε 1, ,ε n là đôi một độc lập vàuˆ N n (x,y)như trong Định nghĩa3.5, ta có thể phân tích
∑ ∞ p = N n + 1 cosh(yp p 2 +k 2 ) cosh(bp p 2 +k 2 )c p (b) φ p (x) (3.9) và σ u 2 ˆ Nn (x,y) = π 2 n − 2
Định lý 3.7 đưa ra điều kiện tổng quát cho tham số Nn = Nn(x,y) nhằm đảm bảo tính vững trong ước lượng theo Định nghĩa 3.5 Cụ thể, với σ2 ≥ σ1 > 0, Nn thuộc N và thỏa mãn 0 < Nn < nv cùng với limn → ∞ Nn = ∞, nếu σ1^2 ≤ Vεj ≤ σ2^2 với j = 1, n.
Do đólimn → ∞ MSE(u, ˆuN n) (x,y) =0khi và chỉ khilimn → ∞ VN n(x,y) = 0.
Chứng minh Từ phương trình (3.9) và bất đẳng thức Cauchy – Schwartz, ta có b 2 u ˆ Nn (x,y) ≤3(I1+I2+I3), với
. Áp dụng Bổ đề3.3, suy ra
I1 ≤ 2 πcosh 2 (yk)sinh − 2 (bn)k θ k 2 e − 2bn và
Mặt khác, ta cũng có
∑ ∞ p = N n + 1 cosh(yp p 2 +k 2 ) cosh(bp p 2 +k 2 )|cp(b)|
∑ ∞ p = N n + 1 p − α cosh(yp p 2 +k 2 ) cosh(bp p 2 +k 2 )p α |cp(b)|
Sử dụng bất đẳng thức
→ 0khin→∞ Hơn nữa, với giả thiết
V ε j ≥σ 1 2 và từ phương trình (3.10), ta có σ u 2 ˆ Nn (x,y) ≥ π 2 σ 1 2 n − 2
Với giả thiếtV ε j ≤σ 2 2 , chứng minh tương tự ta cũng có kết quả σ u 2 ˆ
Nn(x,y) ≤πσ 2 2 VN n (x,y) và ta suy ra πσ 1 2 V N n (x,y) ≤MSE(u, ˆu N n ) (x,y)≤πσ 2 2 V N n (x,y) +O N n − 2α e 2 ( y − b ) N n
(3.11) Vậy ta thấyMSE(u, ˆu N n ) (x,y)→0khin→ ∞khi và chỉ khi nlim→ ∞V N n (x,y) =0.
Theo Định lý 3.7, độ chệch của ước lượng tại mỗi điểm (x,y) sẽ hội tụ về 0 khi Nn lớn, trong khi phương sai của ước lượng lại tăng lên vô hạn Điều này dẫn đến MSE(u, ˆuNn)(x,y) trở nên lớn do ảnh hưởng của phương sai, gây ra tình trạng không trơn (undersmoothing) Để tránh tình trạng không trơn và quá trơn (oversmoothing), cần phải tối thiểu hóa MSE(u, ˆuNn)(x,y) bằng cách cân bằng giữa độ chệch và phương sai Từ Định lý 3.7, chúng tôi sẽ tìm ra giới hạn trên cho tham số trơn Nn = Nn(x,y), điều này là cần thiết để xác định điều kiện đủ cho MSE(u, ˆuNn)(x,y) hội tụ.
Mệnh đề 3.8 Chon ∈ N,x ∈ (0, π ),y ∈ (0,b] và α n = α n (x,y) thỏa mãn lim n → ∞ α n 0,α n >0 Giả sử những giả thiết trong Định lí3.7thỏa mãn vàMSE(u, ˆu N n ) (x,y) ≤ α n i Nếu π x là hữu tỉ thì
! ii Nếu π x là vô tỉ thì nó có thể biểu diễn bởi một phân số liên tục[0,a 1 ,a 2 , ] với a i ≥
Chứng minh. i Vì π x là số hữu tỉ, nên tồn tại hai sốr,s∈ N thỏa π x = r s Nếu
MSE(u, ˆun,M n) (x,y) ≤α n(x,y) thì từ (3.11) ta cóα n(x,y) ≥ πσ n 1 2 cosh 2 yp p 2 +k 2 φ 2 p (x) Đặtk0 = l M s n m, ta có k 0 s≤ Mn ≤(k 0 +1)s Do đó p 0 x=k 0 rπnên p 0 =k 0 s Suy raφ 2 p 0 (x) = 2 π Ta có σ u 2 ˆ n,
Hơn nữa, vì(k0+1)s ≥ Mn nên ta có p0 = k0s ≥ k k 0 M n
Nếu π x là số vô tỉ, nó có thể được biểu diễn bằng một phân số liên tục, cụ thể là π x = [0;a 1 ,a 2 , ] với a i ≥ 1 và a i thuộc tập hợp số tự nhiên Dưới đây, chúng ta sẽ tóm tắt một số tính chất quan trọng của phân số liên tục.
= k n (a 1 ,a2, ,an) hn(a 1 ,a 2 , ,an), với k 1 ≤ k2 ≤ ≤ kn, h 1 ≤ h2 ≤ ≤ hn, kn = ankn − 1+kn − 2 và hn anhn − 1+hn − 2 Hơn nữa, ta có x π −k n hn
= 1 hn(a n + 1hn+h n − 1) = 1 h 2 n (rn+sn), vớirn =a n + 1=an+ a 1 n+1 ≥1vàsn = h n−1 h n Quay trở lại vấn đề của chúng ta Ta có thể tìm |τ| ≤ 1thỏa π x = k h n n + τ h 2 n ( r n + s n ), thìxhn =πkn+ h τπ n ( r n + s n ) Do đó φ 2 h n (x) = 2 π cos 2 πhn+ τπ hn(rn+sn)
Với hn,rn ≥ 2, ta có φ 2 h n (x) ≥ 1 π Cho ln ∈ N thỏa h l n ≤ Mn ≤ h l n + 1, ta có hl n + 1 = al n + 1 hl n +hl n − 1 ≤hl n (al n + 1 +1)và h l n ≥ h l n + 1 a l n + 1+1 ≥ M n a l n + 1+1 (3.12)
Kết hợp (3.12) với (3.13) ta có a M n ln +1 + 1 ≤h l n ≤ 2y 1 log
N n p ∑ = 0 cosh 2 (y q p 2 +k 2 ) thì ta có ước lượng
Hơn nữa, nếu Nn ≤ y c log(nε n)với c ∈ 0,
, limn → ∞ ε n = 0, limn → ∞ nε n = ∞ và limn → ∞ Nn =∞ thìlimn → ∞ VN n(y) =0.
Chứng minh Từ tính chất đơn điệu của hàme t , ta có
Mệnh đề sau đây cho ta điều kiện cần để có tính vững ước lượng theo sai số MSE
Mệnh đề 3.10 Cho00 thỏa mãn lim n → ∞ ε n =0 và lim n → ∞ nε n ∞ Giả sửNn ≤clog nε y vàNn →∞ thì ta có nlim→ ∞ MSE(u, ˆuN n)(x,y) =0.
Chứng minh VìV N n (x,y) ≤ 2 π V N n (y), sử dụng Định lí 3.7và Bổ đề3.9, ta có kết quả trên.
Ví dụ, chọnε n = √ 1 n vàNn = c y log(nε n), ta có tốc độ hội tụ
Tính vững với sai số MISE
Từ kết quả trong Mệnh đề3.6, ta có
Bổ đề 3.11 Với độ chệchb 2 u ˆ
Nn(x,y)như trong Mệnh đề3.6, ta có ước lượng kbu ˆ Nn (ã,y)k 2 ≤ 2β
Chứng minh Áp dụng đẳng thức Parseval cho phương trình (3.9), ta có kbu ˆ Nn (ã,y)k 2 =πγ 2 n0 cosh 2 (yk) +
Tương tự, ta cũng có
Bổ đề 3.12 Với phương sai σ u 2 ˆ
Nn(x,y)như trong Mệnh đề3.6, ta có ước lượng σ u ˆ Nn (ã,y)
Hơn nữa, nếuσ 1 2 ≤ V ε j ≤σ 2 2 thì πσ 1 2 VN n(y) ≤ σ u ˆ Nn (ã,y)
Kết hợp Bổ đề3.11–3.12, ta được Định lý 3.13 Ta có
√( N n + 1 ) 2 + k 2 (Nn +1) − 2α +VN n(y) , vớiVN n (y)được định nghĩa trong Bổ đề3.9.
Sử dụng Bổ đề 3.11-3.12, chúng ta có thể xây dựng các kết quả tương tự như trong Định lý 3.7 và Mệnh đề 3.8-3.10, với phần chứng minh tương tự sẽ không được trình bày Định lý 3.14 chỉ ra rằng với Nn ∈ N thỏa mãn 1 ≤ Nn < n và limn → ∞ Nn = ∞, ta có limn → ∞ MISE(u, ˆuN n) (y) = 0 nếu và chỉ nếu limn → ∞ V N n (y) = 0 Hơn nữa, nếu đặt β n = β n(y) sao cho MISE(u, ˆuN n) (y) ≤ β n, thì Nn = 2y 1 log 4n β n πσ 1 2.
Khi ε n > 0 và ε n → 0, nε n → ∞ khi n → ∞, nếu Nn ≤ c y log(nε n) thì giới hạn limn → ∞ MISE(u, ˆuN n) (y) = 0 Định lý này cung cấp tốc độ hội tụ của MISE(u, ˆu N n) (y) Theo Định lý 3.15, nếu (ã,b) ∈ W(α,β) thì với mọi y ∈ (0,b), ta có điều kiện liên quan.
Chứng minh Chúng ta có thể tính toán trực tiếp cho trường hợpy =b Với0 0 thỏa mãn logn c 2 ≤Nn(y) ≤ log n c 1 , 0