Ước lượng trung bình bình phương

Ước lượng trung bình bình phương

TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI

VIỆN CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG

*

BÁO CÁO BÀI TẬP LỚN

Môn: Quá trình ngẫu nhiên và ứng dụng

Giảng viên hướng dẫn: PGS.Nguyễn Thị Hoàng Lan

Hà Nội tháng 11 năm 2011

Lời nói đầu

Loài người chúng ta đã trải qua hàng ngàn năm lịch sử, trong suốt quá trình phát triển, chúng ta vẫn luôn cố gắng tìm hiểu thế giới xung quanh mình, nhưng trong tự nhiên còn chứa đựng biết bao điều bí ẩn khi ngay cạnh chúng ta, các quá trình, sự vật, hiện tượng đều xáy ra một cách hết sức ngẫu nhiên và rất khó đoán biết trước Để đáp ứng nhu cầu đó, xác suất thống kê và đặc biệt, các lý thuyết ngẫu nhiên ra đời để giúp chúng ta có một công cụ khoa học tốt hơn trong việc khám phá tự nhiên và ứng dụng nó vào các chế tạo, sáng kiến, phát minh hay trong chính cuộc sống hàng ngày của mình Vì lẽ đó, chúng em nhận thức được việc học tập và nghiên cứu

về quá trình ngẫu nhiên và các ứng dụng của nó thực sự rất quan trọng và đây sẽ là hành trang giúp chúng em tiếp tục tiến bước trên con đường sắp tới Chúng em xin gửi lời cám ơn chân thành tới cô Nguyễn Thị Hoàng Lan, người đã cung cấp kiến thức nền tảng và định hướng chúng

em tìm hiểu về vấn đề “Ước lượng trung bình bình phương”, cám ơn cô đã tạo điều kiện để

chúng em tự tìm hiểu và nhiệt tình trao đổi giúp chúng em có một nhận thức đúng hơn về vấn đề này Do thời gian chuẩn bị gấp rút cũng như sự hạn chế về nhận thức của bản thân, bài viết không tránh khỏi thiếu sót, kính mong cô cùng các bạn góp ý để bài viết được hoàn thiện hơn và chúng em nhận thức chuẩn xác hơn

Chúng em xin chân thành cám ơn!

Hà Nội, ngày 21 tháng 11 năm 2011

Vấn đề ước lượng trung bình bình phương

Mean Square Estimation – MS

Bài toán:

X 1 , X 2 , ……, X n là chuỗi các biến ngẫu nhiên quan sát được, tìm đánh giá ước lượng biến ngẫu

nhiên Y từ chuỗi X 1 , X 2 , ……, X n sao cho ước lượng của Y là tốt nhất.

Quan sát được X1, X2, ……, Xn là chuỗi các biến ngẫu nhiên, tìm ước lượng của Y theo quan hệ

Ŷ =

ϕ

(X 1 , X 2 , ……, X n ) =

ϕ

(X).

Hàm

ϕ

(.) là hàm ước lượng đối với Y, hàm này có thể là tuyến tính hay phi tuyến tính.

Hàm chỉ tiêu: Sai số trung bình bình phương nhỏ nhất

Sai số ε(X) = Y – Ŷ = Y -

ϕ

(X) là biến ngẫu nh3iên

Nguyên tắc: Tìm ước lượng Y sao cho E{| ε |2} nhỏ nhất

Khi X cố định ở một giá trị, ϕ

(X) không còn là biến ngẫu nhiên, vì thế, giá trị nhỏ nhất của

E{|Y - ϕ

(X) | 2 |X} tương đương với:

ϕ

∂

∂

E{|Y -

ϕ

(X) | 2 |X} = 0

→ E{|Y - ϕ

(X) | X }|X} = 0

Hay: E{Y|X} -

ϕ

(X) | X } = 0.

Ta lại có: E{ϕ

(X) | X } =

ϕ

(X).

Khi X = x,

ϕ

(X) cố định ở một giá trị

ϕ

(x), chúng ta nhận được ước lượng mong muốn

Ŷ = ϕ

(X) = E{Y|X}

1. Ước lượng tuyến tính (Linear Estimation)

Ước lượng tuyến tính trung bình bình phương của Y dưới dạng quan hệ sau:

Ŷ k = a 1 X 1 + a 2 X 2 + ……… + a n X n (1.1)

Trong đó ai là các tham số cần tìm để đạt ước lượng tốt nhất (Best Linear Estimator) theo định nghĩa trung bình bình phương nhỏ nhất đối với Yk, k = 1, 2, …,m

Khi đó giá trị ước lượng trung bình bình phương

P = E{|Y – Ŷ |2} = E {|Y – (a1 X1 + a2 X2 + ……… + an Xn )|2} (1.2) của ước lượng sai số ε = Y –

Ŷ là ước lượng nhỏ nhất

Nguyên tắc trực giao:

P nhỏ nhất nếu vector sai số ε = Y – Ŷ là trực giao với Vector thu thập được Xi, tức là:

E {|Y – (a1 X1 + a2 X2 + ……… + an Xn ) Xi|} = 0 với i = 1, 2, ……, n (1.3)

Chứng minh:

Từ (1.3), với i = (1, 2, ….,n) ta có hệ sau:

R11a1 + R21a2 + …… Rn1an = R01

R12a1 + R22a2 + …… Rn2an = R02 (1.4)

……

R1na1 + R2na2 + …… Rnnan = R0n

Với Rij = E {XiXj} và R0j = E{Y Xj}

Để giải hệ ta đặt X = [X1, X2, ……… , Xn], A = [a1, a2, ………, an] và R0 = [ R01, , R0n]

Và ma trận tương quan R = E{XtX} với Xt là chuyển vị của X,

Suy ra AR = R0 , điều này tương đương với A = R0R-1 (1.5)

Thay các giá trị ai vào (1.2) ta sẽ được sai số trung bình bình phương tuyến tính.

Vì ε(X) = Y – Ŷ ⊥ Xi, i = 1, 2, …., n

→ Y – Ŷ ⊥ Ŷ

Vì thế: P = E{(Y – Ŷ)Y} = E{ Y2} – AR0t (1.6)

Chú ý rằng nếu rằng hạng của ma trận R là m<n, vetctor thu thập được là phụ thuộc tuyến tính, trong trường hợp này, ước lượng Ŷ có thể viết như một tổng tuyến tính bao gồm một tập hợp m thành phần độc lập tuyến tính, của vetctor thu thập được X

Giải thích hình học:

Coi tập biến ngẫu nhiên X là vector trong không gian, tổng Ŷ = a1 X1 + a2 X2 + ……… + an Xn là một vector trong không gian con Yn của vector thu thập được Xi và sai số ε(X) = Y – Ŷ là một vector

từ Y tới Ŷ

Chiều dài của ε là nhỏ nhất nếu ε là trực giao với Xi, vì nếu nó trực giao với không gian dữ liệu con Yn Ước lượng Ŷ chính là hình chiếu của Y trên Yn

Nếu Y là một vector trong Yn thì Ŷ = Y và P = 0

Trong trường hợp này, n+1 biến ngẫu nhiên Y, X1, X2, ……., Xn là phụ thuộc tuyến tính và định thức Δn+1và định thức của ma trận tương quan bằng 0

Nếu Y ⊥ Ŷ thì Ŷ =0 và P = E{|Y|2}.

Đây là trường hợp nếu Y trực giao với tất cả dữ liệu Xi, tức là nếu Roj = 0 với mọi j≠0

2. Ước lượng không đồng nhất (không đều)

Ước lượng 1.1 có thể cải tiến nếu thêm một hằng số vào tổng Vấn đề bây giờ là xác định n+1 tham số αk sao cho nếu:

Ŷ = α0 + α1X1+ … + αnXn (1.7)

Thì kết quả sai số trung bình bình phương là nhỏ nhất Vấn đề này có thể rút gọn về trường hợp đồng nhất nếu ta thay thế số hạng α0 bởi tích α0X0 với X0 =1

Áp dụng 1.3, mở rộng dữ liệu với X0, X1, X2, ……., Xn

0

i = i ≠ 0

1

{ E X i = η i

E{X0Xi}=

Ta thu được hệ sau:

α 0 + η 1 α 1 + ……… + η n α n = η s

η 1 α 0 + R 11 α 1 +……….+ R 1n α n = R 01

η n α 0 + R n1 α 1 + ………+ R nn α n = R n0

Chú ý rằng nếu ηs = ηi = 0 thì (1.8) rút gọn về (1.4), kết quả α0 = 0, αn = an

3. Ước lượng phi tuyến (nonlinear estimation)

X là tập dữ liệu của quá trình ngẫu nhiên quan sát được Đặt hàm g(X) là hàm bất kỳ của X

Ta có, ước lượng tốt nhất: e = |Y – E[Y|X] 2 | → min.

Chúng ta thấy rằng: E{e g(X)} = 0, Suy ra e = Y – E{Y|X} g(⊥ X).

Chứng minh:

Ta có: E{e g(X)} = E{(Y – E[Y | X]) g(X)}

= E{Y g(X)} – E{E[Y | X] g(X)}

= E{Y g(X)} – E {E[Yg(X) | X]}

= E{Yg(X)} – E {Yg(X)} = 0

Vì vậy trong trường hợp phi tuyến tính, nguyên tắc trực giao sai số là trực giao với bất kỳ hàm nào của dữ liệu quan sát được

P = E{[Y – g(X)2]} (1.9)

Chúng ta thừa nhận rằng P là nhỏ nhất nếu:

( ) { | } Y( | )

−∞

(1.10)

Hàm f Y (Y|X) là điều kiện trung bình (mặt hồi quy của biến ngẫu nhiên Y) giả sử X = x.

Chứng minh:

P =E{[Y – g(X)2]} = E {E{Y- g(X)2|X}} (1.11)

Vì tất cả các giá trị đều dương, nên P là nhỏ nhất nếu điều kiện sai số trung bình bình phương

{[ ( )] | } [ ( )] Y( | )

E Y g X X ∞ Y g X f Y X dY

−∞

là nhỏ nhất

Ở trên, g(X) là hằng số Vì vậy, tích phân là nhỏ nhất nếu g(X) được cho bởi (1.10)

Nguyên tắc trực giao chung

Từ 1.3 ta có E{[Y – Ŷ](C1X1 + …….+ CnXn)} = 0 (1.12) với mọi C 1 , ….,C n ;

Điều này cho thấy nếu Ŷ là ước lượng trung bình bình phương tuyến tính của Y, sai số ước lượng trung bình bình phương ε = Y – Ŷ là trực giao với bất kỳ hàm tuyến tính

Y = C1X1 + …….+ CnXn của dữ liệu Xi.

Nhận thấy, nếu g(X) là ước lượng trung bình bình phương phi tuyến tính của Y, sai số ước lượng

Y – g(X) là trực giao với bất kỳ hàm w(X), tuyến tính hay phi tuyến tính của Xi

E{[Y – g(X)]w(X)} = 0 (1.13)

Chứng minh:

Theo công thức 7-60 giáo trình Probability, Random Variables, and Stochastic Processes (third Editon Athanasios Papoulis):

1

E Y X η rσ η

σ

−

= +

Suy rộng ra ta có:

E{[Y – g(X)]w(X)} = E{w(X)E(Y – g(X)|X}} (1.14)

Từ tính tuyến tính của giá trị kỳ vọng của biến ngẫu nhiên và (1.10) ta có:

E{Y – g(X)|x} = E{Y|x} – E{g(X)|x} = 0

Và kết quả (1.13)

4. Phân phối Chuẩn và mật độ có điều kiện của biến ngẫu nhiên tuân theo phân phối chuẩn

4.1 Phân phối chuẩn

Sử dụng các kết quả trên, ta nhận thấy rằng nếu các biến ngẫu nhiên Y, X1,…, Xn là phân phối chuẩn đồng thời với kỳ vọng bằng 0, ước lượng tuyến tính hay phi tuyến của Y bằng:

Ŷ = a1 X1 + a2 X2 + ……… + an Xn = g(X) = E{Y|X} (1.15)

Chứng minh:

Biến ngẫu nhiên Y – Ŷ và Xi là phân phối chuẩn đồng thời với kỳ vọng bằng 0 và trực giao,

vì vậy chúng là độc lập Từ đó:

E{Y – Ŷ|x} = E{Y – Ŷ} = 0 = E{Y|x} – E{Ŷ|x}

Vì E{Ŷ|x} = Ŷ nên ⇒

(1.15)

4.2 Mật độ có điều kiện của biến ngẫu nhiên chuẩn:

Chúng ta sử dụng các kết quả trước để đơn giản hóa việc xác định mật độ có điều kiện biến ngẫu nhiên chuẩn Hàm mật đọ có điều kiện fY(Y|x) của Y assuming X is the ratio of two exponentials the exponents of which are quadratics, vì vậy nó là chuẩn Để xác định nó, ta tìm trung bình và phương sai có điều kiện của Y Ta thừa nhận:

E{Y|x} = Ŷ E{(Y – Ŷ)2|x} = E{(Y – Ŷ)2} = P (1.16)

Trước tiên, theo (1.15), thứ hai từ Y – Ŷ trực giao và độc lập với X ta có:

2

1 1

[Y (a X )] /2 1

1 ( | , , )

2

n n

a X P n

P

π

− − + +

=

(1.17)

4.3 Các ví dụ:

Ví dụ 1: Cho các biến ngẫu nhiên X1 và X2 là phân phối chuẩn đồng thời với kỳ vọng bằng 0 Hãy xác định mật độ có điều kiện f(X2|X1)

Giải:

Ta có: E(X2|X1) = aX1 a =

12 11

R R

2 1

2

|

X X

σ

= P = E{(X2 – aX1)X2} = R22 – aR12

Thay vào (1.17) ta được:

2

( aX ) /2

2 1

1

2

P

π

− −

=

Ví dụ 2: Tìm mật độ

3 2 1

( | , )

f X X X

Giải:

Trong trường hợp này:

3 1 2 1 1 2 2

{ | , }

E X X X =a X +a X

Với a1, a2 được suy ra từ hệ:

{ R a R a R a R a + + = = R R

Hơn nữa, theo (1.16), (1.6)

3 1 2

2

| , 33 ( 13 1 23 2)

Và theo kết quả (1.17):

2

3 1 1 2 2

3 1 2

| ,

1

2

X a X a X P

X X X

P

π

− − −

=

Ví dụ 3: Trong ví dụ này, chúng ta sẽ tìm mật độ hai chiều (X2, X3|X1) bao gồm ước lượng 5 tham số (xem 6.15): 2 trung bình có điều kiện, 2 phương sai có điều kiện và hiệp phương sai của 2 biến ngẫu nhiên X2 và X3 assuming X1

Giải:

Trước hết, 4 tham số được xác định như trong ví dụ 1:

12

11

{ | } R

E X X X

R

=

13

11

{ | } R

E X X X

R

=

2 1

2

| 22

11

X X

R R

R

3 1

2

| 33

11

X X

R R R

Hiệp phương sai có điều kiện

2 3 1

13 12

X X X

R R

(1.18)

Ta đã biết

12

11

R

X X

R

−

và

13

11

R

X X R

−

là độc lập của X1, vì vậy điều kiện X1 = x1 trong (1.18)

có thể bỏ Khai triển ra ta được:

2 3 1

12 13

| 23

11

X X X

R R

R

5. Phép biến đổi dữ liệu trực giao

Nếu dữ liệu thu tập được xi là trực giao, có nghĩa là Rij = 0 với i khác j, R là ma trận đường chéo và

0

2

{ }

{ }

i

R E yx

a

R E x

Do đó việc xác đinh Ŷ là đơn giản, nếu xi là tập vector trực giao Cụ thể như sau:

Ta muốn tìm một tập {ik} của n biến ngẫu nhiên trực giao, ik tuyến tính tương đương với tập

dữ liệu {xk}, nghĩa là mỗi ik là một hàm tuyến tính với các thành phần trong tập {xk}, và mỗi

xk là một hàm tuyến tính với các thành phần trong tập {ik}, tập ik không phải là duy nhất

Chúng ta xác định nó bằng phương pháp Gram – Schmidt (8 -2b)

Trong phương pháp này, mỗi ik chỉ phụ thuộc vào k dữ liệu đầu tiên x1, x2, … , xk

i1 =

1

1 1x

γ

i2 =

1 1x 2 2x

γ +γ

………

i2 =

1 1n 2 2n n

n n

trong hệ số

k

r

γ

thì k xá đinh phương trình thứ k, r nhận giá trị từ 1  k;

Hệ số

1

1

γ

có được từ điều kiện thường E{

2 1

i

} =

1 2 1

( )γ

R11 = 1

Để tìm hệ số

2 2

1 à 2

γ γ

, chúng ta thấy rằng: i2⊥ x1, vì giả thiết i2⊥i1, suy ra:

E{i2x1} = 0 =

21

1R11 2R

γ +γ

, điều kiện E{i2} =1 từ phương trình thứ 2

Tương tự từ ik vuông góc với ir, theo 8.88 thì ik vuông góc với xr với r<k

Nhân phương trình thứ k với xr, sử dụng kết quả trên ta được:

E{ikxr} = 0 =

1k 1 k

γ + +γ

với 1<= r< k-1 (8.89)

Đây là hệ k-1 phương trình, với k tham số

1

k

γ

,….,

k k

γ

chưa biết

Điều kiện E{ik} = 1 cho ta thêm một phương trình

Hệ 8.88 có thể được viết dưới dạng vector như sau:

I = ΓX

Với I là một vector hàng với các thành phần ik, giải phương trình trên với biến X ta được:

x1 =

1

1

l

i1

x2 =

1

1 1

l i

+

2

2 2

l i

……

xn =

1 1

n

l i

+

2 2

n

l i

+ ………… +

n

n n

l i

X = I

1

−

Γ

= I L (8.91)

ở phép tính trên, ma trân Γ

và nghich đảo của nó là ma trân tam giác trên

1 2 2

2

0

n

n n

γ

1 1 1 2

0

n

n n

l l l

l l L

l

Từ

{ }i j [ ]

E i i =δ i j−

, ta được:

{ t } 1 { t t } t { t }

n

E I I = = ΓE X XΓ = Γ E X X Γ

(8.92) Với

1n

là ma trận nhận dạng

1

t

n

R

⇒ Γ Γ =

t

R L L=

R− = ΓΓ

(8.93)

Ta biểu diễn ma trận R và nghịch đảo của nó R-1 dưới dạng ma trận tam giác trên và ma trận tam giác dưới (xem them Cholesky factorization 14-79)

Cơ sở trực giao {in} trong (8.88) là dạng hữu hạn của quá trình mới i[n] được giới thiệu trong mục (12-1) Ma trận Γ

và L tương ứng với bộ lọc trắng và bộ lọc mới, và các phần tử trong (8.93) tương ứng các phần tử phổ tại (12-3)

Từ tuyến tính tương đương của tập {ik} và {xk}, theo đó, ước lượng (8.68) của biến ngẫu nhiên Y có thể được biểu diễn theo số hạng của tập {ik}:

Ŷ = b1i1 + … + bnin = BIt

Với hệ số bk are such that

Y - Ŷ i⊥ k 1≤k≤n

{( t) } 0 { }

E Y BI I E YI B

0

{ } {YX }

B E YI E R

(8.94) Trở lại ước lượng (8.68) của Y, ta kết luận:

Ŷ =

BI = ΓB X =AX

t

A B

⇒ = Γ

(8.95)

Việc xác định vector A sẽ đơn giản nếu biết ma trận Γ

Kết luận

Lý thuyết ước lượng ra đời đã giúp chúng ta rất nhiều trong việc dự đoán các hiện tượng

tự nhiên, ước lượng trung bình bình phương đã góp phần đưa các quá trình tự nhiên tiến gần hơn với cuộc sống của chúng ta Nó đã giúp con người hiểu hơn về các quá trình ngẫu nhiên bằng việc ước lượng, xấp xỉ, đưa chúng về với các dạng ngẫu nhiên mà con người đã biết, có thể nghiên cứu được, và qua đó, có thể ứng dụng chúng vào với thực tế cuộc sống Từ đây chúng ta

có một công cụ mạnh mẽ hơn trong việc nghiên cứu các quá trình ngẫu nhiên, vấn đề là cần xây dựng các phương pháp ước lượng hợp lý và tối thiểu hóa được sai số cho việc ước lượng để có thể tiến sát hơn với quá trình thực xảy ra trong tự nhiên Và phương pháp ước lượng trung bình bình phương nhỏ nhất (MMSE) đã phần nào đáp ứng được các yêu cầu đó, tuy nhiên trong phạm

vi tìm hiểu về vấn đề ước lượng trung bình bình phương, bài viết không đề cập tới phương pháp này, các bạn quan tâm có thể tìm hiểu thêm trên các trang web và sách báo như cuốn Probability, Random Variables, and Stochastic Processes (third Editon Athanasios - Papoulis) Bài viết còn có nhiều thiếu sót, rất mong nhận được sự góp ý bổ sung của thầy cô và các bạn đề có thể hoàn thiện hơn Xin chân thành cảm ơn./

Danh mục tài liệu tham khảo

1. Probability, Random Variables, and Stochastic Processes (third Editon Athanasios

Papoulis)

2. Giáo trình quá trình ngẫu nhiên và ứng dụng – PGS.Nguyễn Thị Hoàng Lan

3. Applied Probability and stochastic Process – Wlodzimierz Bryc

4. Solution Manuals 4Th Ed - A Papoulis

Mục lục

Lời nói đầu……….2

Đặt vấn đề……… 3

1.Ước lượng tuyến tính……….……….4

Nguyên tắc trực giao……….4

Giải thích hình học………5

2.Ước lượng không đồng nhất……….…… 5

3.Ước lượng phi tuyến……….……… 6

Nguyên tắc trực giao chung……… 8

4.Phân phối chuẩn và mật độ có điều kiện………8

4.1.Phân phối chuẩn……….8

4.2.Mật độ có điều kiện của biến ngẫu nhiên tuân theo phân phối chuẩn……….8

4.3.Một số ví dụ………8

5.Phép biến đổi dữ liệu trực giao……… … 10

Lời kết……… …13

Danh mục tài liệu tham khảo……… 14