Bài toán giải chập trong thống kê phi tham số

Trước hết, tôi xin chân thành cảm ơn Quý thầy cô trong Khoa Toán – Tin trường Đại học Sư phạm Thành Phố Hồ Chí Minh đã truyền thụ những kiến thức bổ ích, làm nền tảng cho tôi trong quá t

B Ộ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM TP HỒ CHÍ MINH

Thành ph ố Hồ Chí Minh - 2013

B Ộ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM TP HỒ CHÍ MINH

Chuyên ngành: Toán Giải tích

Mã s ố: 60460102

NGƯỜI HƯỚNG DẪN KHOA HỌC: GS.TS ĐẶNG ĐỨC TRỌNG

Thành ph ố Hồ Chí Minh - 2013

LỜI CẢM ƠN

Để thực hiện tốt luận văn này, ngoài sự cố gắng nổ lực của bản thân, tôi đã nhận được

sự quan tâm, giúp đỡ từ thầy cô, bạn bè và gia đình Nhân đây, tôi xin được gởi lời cảm ơn Trước hết, tôi xin chân thành cảm ơn Quý thầy cô trong Khoa Toán – Tin trường Đại

học Sư phạm Thành Phố Hồ Chí Minh đã truyền thụ những kiến thức bổ ích, làm nền tảng cho tôi trong quá trình nghiên cứu luận văn này

Và hơn hết, tôi xin gởi lời tri ân sâu sắc đến GS TS Đặng Đức Trọng, người đã tận tình hướng dẫn, dạy bảo tôi phương pháp nghiên cứu khoa học, và tạo mọi điều kiện để tôi

có thể hoàn thành luận văn này

Tôi cũng xin gởi lời cảm ơn chân thành đến Quý thầy cô trong hội đồng chấm luận văn

đã dành thời gian xem xét, chỉnh sửa và đưa ra những nhận xét quý báu để luận văn của tôi được hoàn thiện

Bên cạnh sự chỉ dạy của thầy cô, tôi cũng nhận được sự quan tâm của gia đình và bạn

bè Xin chân thành cảm ơn mọi người

Thành phố Hồ Chí Minh, tháng 9 năm 2013

Nguyễn Thị Diệu Huyền

MỤC LỤC

L ỜI CẢM ƠN 1

M ỤC LỤC 2

CÁC KÝ HIỆU 3

LỜI MỞ ĐẦU 4

CHƯƠNG 1: KIẾN THỨC CHUẨN BỊ 5

1.1 M ột số kiến thức về giải tích điều hòa trên , 2 và  ( ) 3 5

1.1.1 Các phép toán trên  5

1.1.2 Một số kiến thức về độ đo 5

1.1.3 Tích vô hướng Hermit trên không gian vectơ 8

1.1.4 Một số chuẩn đặc biệt 9

1.1.5 Các biến đổi Fourier trên  10

1.1.6 Các yếu tố của giải tích điều hòa trên  ( ) 3 và 2 15

1.2 M ột số kiến thức về xác suất thống kê 18

1.2.1 Khái niệm hàm phân phối, hàm mật độ 18

1.2.2 Các giá trị đặc trưng của biến ngẫu nhiên X 19

CHƯƠNG 2: GIẢI CHẬP TRÊN  B ẰNG PHƯƠNG PHÁP DỰA TRÊN CÁC HÀM WAVELET 23

2.1 Gi ới thiệu bài toán nhân chập trên  23

2.2 Gi ải bài toán nhân chập trên  b ằng phương pháp dựa trên các hàm wavelet 24 2.2.1 Cơ sở lý thuyết 24

2.2.2 Thuật toán giải chập dựa trên các wavelet 34

CHƯƠNG 3: GIẢI CHẬP CẦU BẰNG PHƯƠNG PHÁP TIẾP CẬN BỘ HÀM 35

3.1 Gi ới thiệu bài toán nhân chập cầu 35

3.2 Gi ải bài toán chập cầu bằng phương pháp tiếp cận bộ hàm 36

3.2.1 Cơ sở lý thuyết 36

3.2.2 Thuật toán cực tiểu hóa ước lượng Lasso 58

K ẾT LUẬN VÀ KIẾN NGHỊ 59

TÀI LI ỆU THAM KHẢO 60

CÁC KÝ HIỆU

( ; )

= −∞ +∞

( )

n

j j j

x x | x ,i 1, n

= = ∈ =

a bi | a, b , i 1

= + ∈ = −

( )

n

j j j

x x | x , j 1, n

= = ∈ =

( )

x | x x x 1

= ∈ + + =



( )

m n

jk m n jk

×

×

  : không gian các ma trận thực cấp m n ×

( ) { 3 3

3 = X∈ × : X

 là ma trận trực giao }: nhóm quay trong 3

Ω

A

χ : là hàm đặc trưng của tập A thỏa

( )

A

x



LỜI MỞ ĐẦU

Bài toán tích chập xảy ra trong nhiều lĩnh vực thống kê phi tham số Bài toán thường

gặp là ước lượng hàm mật độ của biến ngẫu nhiên X dựa trên dữ liệu bị nhiễu Y = + X ε trong đó ε là biến ngẫu nhiên chưa biết nhưng hàm mật độ của nó xem như đã biết Trong hai thập kỷ gần đây, bài toán này được quan tâm ngày càng nhiều hơn, việc mở rộng bài toán tích chập trên  thành bài toán tích chập trên quả cầu 2 đồng nghĩa với việc mở rộng các ứng dụng của nó trong nhiều lĩnh vực, như kinh tế, y học, kỹ thuật,… Đặc trưng của bài toán tích chập là chúng ta không thể tìm ra kết quả của nó một cách chính xác mà chỉ ở dạng

“gần đúng” Do đó, mặc dù đã có không ít nhà toán học đưa ra phương pháp giải bài toán này nhưng kết quả vẫn không dừng lại ở đó, vì có thể có một phương pháp khác cho ra kết

quả “tốt hơn” Vì vậy, chúng tôi chọn đề tài này làm nội dung nghiên cứu của luận văn

nhằm học tập phương pháp nghiên cứu và có thể phát triển đề tài theo hướng của các nhà khoa học trong và ngoài nước

Nội dung luận văn gồm ba chương Cụ thể như sau:

Chương 1: Trong phần này, chúng tôi đưa ra các kiến thức cơ bản, đặc biệt là các lý thuyết

về giải tích Fourier trên , 2 và  ( ) 3 , nhằm cung cấp cho việc giải các bài toán trong chương 2 và 3

Chương 2: Trong phần này, chúng tôi dựa chủ yếu vào sách [1], trình bày lại phương pháp xây dựng ước lượng hàm mật độ f của bài toán giải chập trên  dựa trên các hàm wavelet

và đánh giá ước lượng này thông qua đánh giá MISE của nó (được định nghĩa trong (2.10))

Chương 3: Dựa chủ yếu vào bài báo [11], chúng tôi trình bày lại cách xây dựng ước lượng Lasso của hàm mật độ f của bài toán giải chập cầu, cực tiểu hóa ước lượng này bằng cách thiết lập bất đẳng thức oracle với giả thiết cổ điển dựa trên bộ hàm tổng quát

CHƯƠNG 1: KIẾN THỨC CHUẨN BỊ

1.1 Một số kiến thức về giải tích điều hòa trên  , 2 và  ( ) 3

1.1.1 Các phép toán trên 

Giả sử z∈, z = ℜ ( ) z + ℑ i ( ) z = ℜ ( ( ) ( ) z , ℑ z ) ∈2, với ℜ ( ) ( ) z , z ℑ lần lượt là

phần thực, phần ảo của z, nên có thể xem   = 2 Ta kí hiệu

z = ℜ ( ) z − ℑ i ( ) z là số phức liên hợp của z,

2( ) 2( )

z = ℜ z + ℑ z là môđun của z

Các phép toán trên :

z = z , 2( ) 2( ) 2

z + = ℜ z 2 ( ) z , z − = ℑ z 2i ( ) z ,

z+ = +w z w , z.w =z.w

1.1.2 Một số kiến thức về độ đo

1 Độ đo Lebesgue

Cho tập X ≠ ∅, một họ F các tập con của X được gọi là σ -đại số trên X nếu nó thỏa mãn các điều kiện sau:

i X∈F , và nếu A∈F thì X \ A∈F

ii Hợp đếm được các tập thuộc F cũng là tập thuộc F

Khi đó, (X , F) gọi là không gian đo được, mỗi tập A∈F g ọi là tập đo được đối với F hay là

F – đo được Và xét hàm f : A→  Với a∈, ta kí hiệu

[ ] { ( ) }

A f < a x = ∈ A : f x < a Hàm f được gọi là đo được trên A (đối với F hay F – đo được) nếu

A f[ < ∈a] F , ∀ ∈a

Một ánh xạ µ : F → [ ] 0, ∞ được gọi là một độ đo xác định trên F nếu

i) µ ( ) ∅ = 0

ii) µ có tính chất σ −cộng, nghĩa là

{ }n n ( n m ) n ( )n

n 1

n 1

=

=

Khi đó, ( X, F, µ ) được gọi là không gian độ đo

Độ đo µ còn được gọi là độ đo tầm thường (độ đo 0) nếu µ ( ) A = 0,∀ ∈ FA

Nếu X= , tức σ-đại số F các tập con của , thì mỗi tập A∈ F gọi là tập đo được theo Lebesgue hay tập (L) – đo được, hàm f được gọi là hàm đo được theo Lebesgue hay hàm (L) – đo được, và độ đo µ xác định trên F gọi là độ đo Lebesgue

Nếu ( X, τ ) là không gian tôpô, σ-đại số F sinh bởi họ τ thì F gọi là σ-đại số Borel,

mỗi tập A∈ F gọi là tập Borel, và độ đoµ xác định trên các tập Borel gọi là độ đo Borel

2 Độ đo Haar (hay còn gọi là độ đo Radon)

Trong giải tích toán học, độ đo Haar là một độ đo gán một “tập bất biến” vào các tập con của các nhóm tôpô compact địa phương và sau đó định nghĩa tích phân của các hàm trên các nhóm tôpô đó

Cho (G,.) là một nhóm tôpô compact địa phương Hausdorff, F là σ-đại số Borel tập tất

cả các tập con compact của G Với g G∈ , S∈ F, ta định nghĩa tịnh tiến trái và tịnh tiến

phải tập Borel S như sau:

• Tịnh tiến trái tập S là tập gS = g.s : s S { ∈ }

• Tịnh tiến phải tập S là tập Sg = s.g : s S { ∈ }

Các tập gS, Sg cũng là tập Borel Một độ đo µ xác định trên σ-đại số Borel F được

gọi là bất biến tịnh tiến trái nếu với mọi g G∈ , S∈ F , ta có

Bất biến tịnh tiến phải cũng được định nghĩa tương tự

• Một độ đoµ xác định trên σ-đại số Borel F được gọi là chính quy nếu:

i) Độ đoµ hữu hạn trên mọi tập compact:

µ ( ) K < ∞ với mọi K compact

ii) Độ đoµ là chính quy ngoài trên các tập Borel E:

µ ( ) E = inf { µ ( ) U : E ⊆ U, Umở và Borel }

iii) Độ đoµ là chính quy trong trên các tập Borel E:

µ ( ) E = sup { µ ( ) K : K ⊆ E, K compact}

Lưu ý: Nếu n

G =  thì ii), iii) là hệ quả của i)

 Định nghĩa độ đo Haar

Choµ là độ đo Borel dương, không tầm thường, µ được gọi là độ đo Haar trái (phải)

nếu:

i µ chính quy

ii.µ bất biến tịnh tiến trái (phải)

Độ đo Haar trái thường được gọi là độ đo Haar

Từ định nghĩa, ta có độ đo Haar µ tồn tại duy nhất, µ ( ) U > 0, với mọi U mở và Borel Đặc biệt, nếu G compact thì 0 < µ ( ) G < ∞

Độ đo xác suất Haar của không gian đo được Borel ( G, F ), thường kí hiệu , là độ đo Haar thỏa 0 ≤  ( ) E ≤ 1,∀ ⊆ E G, và  ( ) G = 1

Cho không gian độ đo Borel ( X, F, µ ) với µ là độ đo Haar Xét hàm f : G→ liên

tục, có giá compact Tích phân của f trên G theo độ đo Haar µ, g Gf g d( ) ( ) µ g

∈

∫ hay viết

gọn ∫Gf g dg ( ) , được định nghĩa là tổng Riemann

G ( ) N ( ) ( )i i

i 1

=

∫ trong đó các gi∈Ai, Ai ∩ Aj = ∅ , i ≠ j và

N i

i 1

=

=



Ta có các tính chất: Với c ,c1 2∈, f ,f : G1 2 → 

• ∫G( c f1 1+ c f2 2)( ) g dg = c1∫Gf g dg 1( ) + c2∫Gf g dg2( ) .

∫ ∫ với mọi h∈G, f : G→ .

3 Hàm bình phương khả tích

Hàm f :Ω →  là bình phương khả tích nếu f là hàm đo được Lebesgue với độ đo µ

và thỏa mãn

2

1.1.3 Tích vô hướng Hermit trên không gian vectơ

Giả sử Vlà không gian vectơ trên trường 

Tích ., : V V × →  là tích vô hướng Hermit trên không gian vectơ Vnếu .,. thỏa mãn các điều kiện sau :

i) u1+ u , v2 = u , v1 + u , v2 với mọi u , u , v1 2 ∈V;

ii) cu, v = c u, v với mọi u, v ∈ V, c ∈ ;

iii) u, v = v, u với mọi u, v ∈ V ;

iv) u, u ≥ 0 với mọi u ∈ V;

u, u = 0 ⇔ u = θ (với θ là phần tử không trong V)

Từ các điều kiện trên suy ra

v) u, v1+ v2 = u, v1 + u, v2 với mọi u, v , v1 2∈ V;

vi) u,cv = c u, v với mọi u, v ∈ V, c ∈;

vii) θ , u = = 0 u, θ với mọi u ∈ V

Khi đó u :2 = u, u được gọi là chuẩn liên hợp của u

Chú ý rằng

Mệnh đề sau cần thiết trong cơ sở lý thuyết

M ệnh đề 1.1

2 2 2

u+v u v 2= + + ℜ u, v v ới mọi u, v ∈ V

Thật vậy

2

2

u+v = u + v, u + v

= u, u + u, v + v, u + v, v

= u, u + u, v + u, v v, v +

2 2

u v 2 u, v

= + + ℜ

Hệ quả 1.1 (qui tắc hình bình hành)

2 2 ( 2 2)

Ngoài ra, giả sử

A : V V × →  và B : V V × → 

sao cho

u, v = A u, v ( ) + iB u, v ( ) với mọi u, v ∈ V Khi đó ta có

• A và B là các song tuyến tính trên ;

• A là đối xứng và xác định dương;

• B là không đối xứng;

• A iu,iv ( ) = A u, v ( ) với mọi u, v ∈ V;

• A iu, v ( ) = − B u, v ( ) với mọi u, v∈V Trong các trường hợp cụ thể:

 Tích vô hướng Hermit trên không gian vectơ n

Với ( ) n

1 n

u= u , , u ∈ , ( ) n

1 n

v= v , , v ∈ Khi đó

n

i i

i 1

u, v u v

=

là tích vô hướng Hermit của u và v trên n

 Tích vô hướng Hermit trên  2( ( ) 3 )

Với g, h ∈  2( ( ) 3 ) Khi đó

g, h g x h x dxx ( )3 ( ) ( )

∈

là tích vô hướng Hermit của g và h trên  2( ( ) 3 )

Lưu ý:

2

1.1.4 Một số chuẩn đặc biệt

1 Với 1 p≤ < ∞, chuẩn p được xác định như sau

p

1

p k

k 1

=

 

= ∑ 

1, , K

Khi đó, ta có

1 p K

λ  ≤ λ  v ới ( ) K

1, , K

Ch ứng minh: Sử dụng bất đẳng thức Jensen

2 Chuẩn ∞được xác định bởi

k

1 k K max

∞ = ≤ ≤

1, , K

3 Cho ( ) K

1, , K

J = 1, , K \ J

Ta ký hiệu K

J

λ ∈ là vectơ với các thành phần ( )k

J

λ thỏa

( ) k k

, k J

λ

∈

1.1.5 Các biến đổi Fourier trên 

Trước hết, ta định nghĩa tích chập trên 

Cho f , g ∈ 1( )  , tích ch ập của f và g, kí hiệu f ∗ g, được định nghĩa bởi

f ∗g x ( ) = f y g x∫ ( ) ( −y dy) , x∈

1.1.5.1 Biến đổi Fourier trong 1( ) 

Với f∈1( ) , biến đổi Fourier của f , kí hiệu ft

f , có dạng

ft( ) ( ) ( )

f t exp itx f x dx= ∫ , t∈

xác định trong không gian 1( ) 

Bổ đề sau sẽ tóm tắt các tính chất quan trọng

B ổ đề 1.1

Gi ả sử f , g ∈ 1( )  , λ µ , ∈ Khi đó ta có

1 Tính tuy ến tính: ( )ft ft ft

2 Tích ch ập: ( )ft ft ft

f * g =f g

3 Tính b ị chặn: ft( )

sup∈ f t ≤ f

4 Tính liên t ục đều: ft( ) ft( )

f t −f s →0 khi t − → s 0

5 S ự mở rộng tuyến tính: ( ) ( )ft 1 ( ) (ft )

6 Bi ến đổi Fourier: ( ) ( ) ( )ft 1 ft( ) 1 ft( )

7 Tính đối xứng: Nếu f t ( ) ∈,∀ ∈ t thì ft( ) ft( )

Hơn nữa, nếu f đối xứng, tức là f ( ) ( ) − = t f t ∀ ∈ t , thì

ft( ) ft( )

f − =t f t , ∀ ∈ t

Ch ứng minh:

1 Do tính tuyến tính của tích phân

2 Với mọi f , g ∈ 1( )  , ta có

( ) ( )ft ( ) ( ) ( )

= exp ity f y∫ ( ) ( ) ∫exp it x( ( −y g x) ) ( −y dxdy)

= exp ity f y dy exp ity g y dy∫ ( ) ( ) ∫ ( ) ( ) (do định lí Fubini)

ft( ) ( )ft

f t g t

3 Ta có

ft( ) ( ) ( ) ( ) ( )

1

=

= f x dx∫ ( ) = f 1 , ∀ ∈t

4 Ta có

ft( ) ft( ) ( ) ( ) ( )

f t −f s exp itx≤ ∫ −exp isx f x dx =∫exp i t( ( −s x) )−1 f x dx( )

Vì exp i t( ( −s x) )−1 f x ( ) ≤ 2 f nên ft( ) ft( )

1

f t −f s ≤ 2 f

Mặt khác, với t∈, ta có

exp i t( ( −s x) )−1 f x( ) →0 khi t− →s 0 , ∀ ∈x

Do đó ft

f liên tục đều trên 

5 Ta có

( ) ( )ft

  = exp itx f ax∫ ( ) ( +b dx)

1 ( ( ) ) ( )

a

1 ( ) ( ) ( )

a

1 ( ) ( )ft

a

6 Sử dụng công thức Euler, ta có

( ) ( ) ( )ft ( ) ( ) ( )

1 ( ) ( ) 1 ( ) ( )

1 ft( ) 1 ft( )

7 Với mọi t ∈, ta có

ft( ) ( ) ( ) ( ) ( ) ft( )

Hơn nữa, nếu f đối xứng thì

ft( ) 0 ( ) ( ) ( ) ( )

0

f t exp itx f x dx exp itx f x dx

+∞

−∞

( ) ( ) ( ) ( )

exp itx f x dx exp itx f x dx

= ∫ − + ∫

( ) ( )

0

2 cos tx f x dx

+∞

= ∫ ∈ Suy ra ft( ) ft( )

f −t = f t , ∀t 

Định lí 1.1

Gi ả sử f∈1( ) b ị chặn và liên tục tại x∈, và ft ( )

1

f ∈  Khi đó, ta có ( ) 1 ( ) ( )ft

2 π

Ch ứng minh: Xem [1, tr.181-182]

1.1.5.2 Biến đổi Fourier trong 2( ) 

Giả sử  là tập hợp các hàm bị chặn và liên tục thuộc 1( )  mà biến đổi Fourier khả

tích Dễ dàng ta thấy  cũng là không gian tuyến tính và từ Bổ đề 2.1 (trong chương 2), ta

có  ⊆ 2( ) 

Với f ∈ ,g ∈ 1( )  , ta có

f ,g = f x g x dx ∫ ( ) ( )

1 ( ) ( ) ( )ft

2 π

1 ( ) ( ) ft( )

2 π

1 ft( ) ( )ft

2 π

1 ft( ) ( )ft

2 π

1 ft ft

f ,g

2 π

Nếu g = f , ta được

2

1

2 π

Bổ đề sau cho ta thấy các hàm f ∈ 2( )  xấp xỉ bởi các hàm trong 

B ổ đề 1.2

Ta có  là t ập trù mật trong 2( )  T ức là, với mọi f∈2( ) , t ồn tại ( )fn n ⊂ 

sao cho

n

n 2

Ch ứng minh: Xem [1, tr.183-184] Từ đây ta có định lí sau

Định lí 1.2

Bi ến đổi Fourier trên 2( )  , xác định bởi sự liên tục đều của biến đổi Fourier trên

, là m ột song ánh đi từ 2( )  vào 2( )  Ánh x ạ ngược của nó là ánh xạ

( )

ft

1

 Hơn nữa, với mọi f , g ∈ 2( )  , ta có

1 ft ft

2 π

= (đẳng cự Plancherel)

2 ft 2

1

2 π

= (đẳng thức Parseval)

Để so sánh biến đổi Fourier trên 1( )  và trên 2( )  , ta sẽ chỉ ra sự khác nhau giữa

biến đổi Fourier không có ảnh của một hàm trên 1( )  với một hàm nào đó trên 2( ) 

Mặt khác, biến đổi Fourier của một hàm trong 2( )  nói chung không cần liên tục hay bị

chặn Tuy nhiên, trong Bổ đề 1.1 các tính chất 1, 5, 6 và 7 cũng đúng đối với biến đổi

Fourier trong 2( )  , riêng tính chất 7, từ “với mọi” sẽ thay bằng “hầu khắp nơi” theo nghĩa Lebesgue Tương tự, kết quả giải chập cũng được đưa ra trong bổ đề sau

B ổ đề 1.3

V ới mọi f ∈ 2( )  , g ∈ L1( )  ∩ L2( )  , ta có

( )ft ft ft

Ch ứng minh:

 Trường hợp 1: f ∈ 1( )  ∩ 2( )  , g ∈ 1( )  ∩ 2( ) 

Theo tính chất 2 của Bổ đề 1.1 ta có Bổ để 1.3

 Trường hợp 2: f∈2( ) , tùy ý

Áp dụng Bổ đề 1.2, ta có 1( )  ∩ 2( )  trù mật trong 2( )  nên với

( )

2

f ∈   , tồn tại ( )fn n ⊂1( ) ∩2( ) sao cho fn →f ứng với chuẩn trong 2( ) 

.Tức là

n n

2

Do tính chất 2 và 3 của Bổ đề 1.1, g∈1( ) ∩2( ) nên ft( )

1

g t ≤ g và

( )ft ft ft

f ∗g =f g