BTL QTNNUD13 TÌM HIỂU ƯỚC LƯỢNG TUYẾN TÍNH – MÔ HÌNH VARIANCE CỰC TIỂU VÀ

TÌM HIỂU ƯỚC LƯỢNG TUYẾN TÍNH – MÔ HÌNH VARIANCE CỰC TIỂU VÀ SO SÁNH VỚI ƯỚC LƯỢNG GAUSSMARKOV.PHÂN TÍCH VÀ ÁP DỤNG THỬ NGHIỆM. 1.Giới thiệu ước lượng tham số thống kê•Xét biến ngẫu nhiên X, biết P(x,β): mô hình xác suất (pdf) của biếnngẫu nhiên X, phụ thược tham số β chưa biết, lần quan sát thứ I, được biểu diễn như sau: Xi = β + ni , i= 1,2,…,n.•Với n quan sát được X1 = x1, X2 = x2,…, Xn = xn , các xi gọi là các mẫu quan sát được của biến ngẫu nhiên X

TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI

VIỆN CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG

──────── *** ────────

BÀI TẬP LỚNQUÁ TRÌNH NGẪU NHIÊN VÀ ỨNG DỤNG

MỤC LỤC

MỤC LỤC 2

LỜI NÓI ĐẦU 3

PHÂN CÔNG CÔNG VIỆC 4

I. TÌM HIỂU ƯỚC LƯỢNG TUYẾN TÍNH – MÔ HÌNH VARIANCE CỰC TIỂU 5

1 Giới thiệu ước lượng tham số thống kê 5

2 Kiến thức cần biết khi ước lượng Minimum Variance 5

3 Mô hình Variance cực tiểu 6

II SO SÁNH ƯỚC LƯỢNG VARIANCE CỰC TIỂU VỚI ƯỚC LƯỢNG GAUSS-MARKOV 10

1 Ước lượng Gauss-Markov 10

a) Mô hình Gauss-MarKov 10

b) Ước lượng Gauss-Markov 10

2 So sánh ước lượng variance cực tiểu với ước lượng Gauss-Markov 11

a Giống nhau 11

b Khác nhau 12

III VÍ DỤ ÁP DỤNG 13

1 Ví dụ 3 13

2 Ví dụ 4 14

IV PHÂN TÍCH ÁP DỤNG, THỬ NGHIỆM MÔ PHỎNG MATLAB 15

1 Mô hình tuyến tính 15

2 Các bước mô phỏng trên Matlab 15

a Tóm tắt 15

b Các bước cụ thể 16

3 Kết quả chạy mô phỏng 18

V KẾT LUẬN – ĐÁNH GIÁ 21

TÀI LIỆU THAM KHẢO 22

2

LỜI NÓI ĐẦU

Trong cuộc sống, chúng ta quan sát, thu thập thông tin, tín hiệu luôn mong nhận được các giá trị chính xác, nhưng điều này không xảy ra bởi có rất nhiều yếu tố bên ngoài làm ảnh hưởng đến tín hiệu Vậy làm thế nào để thu được thông tin, tính hiệu với độ chính xác tương đối ở mức cho phép Các phương pháp ước lượng ra đời để phục vụ điều đó Một ước lượng là giá trị được tính toán từ các mẫu thử và người ta hy vọng đó là giá trị đại diện cho giá trị cần xác định trong tổng thể Tất cả đều hướng tới một ước lượng là “không độ lệch” (unbiassed), hội

tụ (converge), hiệu quả (efficient) Một trong các phương pháp ước lượng được

áp dụng nhiều vào thực tế cuộc sống là ước lượng variance cực tiểu, một loại ước lượng tham số Nhóm sinh viên cúng em xin cảm ơn cô PGS.TS Nguyễn Thị

Hoàng Lan đã hướng dẫn chỉ bảo cho chúng em tìm hiểu về đề tài rất thú vị và được ứng dụng rất nhiều trong thực tế Mặc dù đã cố gắng hết sức để hoàn thành báo cáo, song chắc chắn không thoát khỏi thiếu sót, chúng em rất mong nhận được ý kiến đóng góp của cô giáo cùng tất cả các bạn.

Nhóm sinh viên thực hiện

Nhóm 13

3

PHÂN CÔNG CÔNG VIỆC

• Bùi Trung: tìm hiểu lý thuyết phần “ước lượng tuyến tính – mô hình variance cực tiểu”.

• Nguyễn Ngọc Linh: tìm hiểu lý thuyết phần: “so sánh với ước lượng Gauss-Markov”.

• Hoàng Phú Hoan, Nguyễn Tuấn Minh làm bài tập

• Nguyễn Thành Huy: phân tích áp dụng và thử nghiệm mô phỏng dùng Matlab.

4

I TÌM HIỂU ƯỚC LƯỢNG TUYẾN TÍNH – MÔ HÌNH VARIANCE CỰC TIỂU

1 Giới thiệu ước lượng tham số thống kê

 Xét biến ngẫu nhiên X, biết P(x,β): mô hình xác suất (pdf) của biếnngẫu nhiên X, phụ thược tham số β chưa biết, lần quan sát thứ I, đượcbiểu diễn như sau: Xi = β + ni , i= 1,2,…,n

 Với n quan sát được X1 = x1, X2 = x2,…, Xn = xn , các xi gọi là cácmẫu quan sát được của biến ngẫu nhiên X

 Chỉ tiêu ước lượng sao cho tối thiểu hóa sai số: e = (X) - β

 Quá trình ước lượng tham số β dựa trên phân phối xác suất của X, kết

quả tìm được (X), kết quả sẽ là ước lượng tham số thống kê β của

X sao cho đạt kết quả tốt nhất

 Tham số β có thể là một chiều hay nhiều chiều

 Lời giải lí tưởng: (X) = β ( ước lượng không độ lệch)

2 Kiến thức cần biết khi ước lượng Minimum Variance

 Nếu x là một biến ngẫu nhiên giá trị thực, phân bố xác suất P của xđược định nghĩa là:

o P(ξ) = Prob(x ≤ ξ)

 Các "dẫn xuất" p (ξ) của phân phối xác suất P (ξ) được gọi là hàm mật

độ xác suất (pdf) của biến x, nghĩa là:

o p(ξ) ≥ 0 với mọi ξ

 Giá trị kỳ vọng của hàm g (x) được định nghĩa là:

5

 Giá trị kỳ vọng của x là:

 Phương sai của x là:

 Đối với vector ngẫu nhiên x = [x1,x2, , xn]T

o Có một phân bố xác suất được định nghĩa:

P(ξ1, ξn) = Prob(x1 ≤ ξ1, , xn ≤ ξn)

o Ma trận hiệp phương sai cov(x) được xác định bởi:

o Hai biến ngẫu nhiên xi và xj được gọi là không tương quanhoặc gia tăng độc lập nếu:

3 Mô hình Variance cực tiểu

 Giả sử trong mô hình tuyến tính:

o W thuộc Rm x n là ma trận đã biết

o ϵ thuộc Rm là một vector ngẫu nhiên với giá trị trung bình bằng 0 và hiệp phương sai là (ϵϵT) = Q.

o β là một vector ngẫu nhiên thuộc Rn với số liệu thống kê đã biết.

o y các kết quả của phép đo không chính xác trong Rm

 Muốn ước lượng vector ngẫu nhiên chưa biết β ∈ Rn dựa trên y ∈ Rm

ta đặt :

6

 Trong đó K là một ma trận chưa biết thuộc Rn x m.

 Ước lượng tốt nhất được đo bằng cách tối thiểu hóa giá trị kỳ vọng củagiá trị sai số ngẫu nhiên, nghĩa là :

 Giả sử ( (yyT))-1 tồn tại Khi đó ta sẽ chứng minh được ước

lượng variance cực tiểu của β được tính bởi:

 Ước lượng không phụ thuộc vào W và ϵ

 Chứng minh một cách đơn giản:

o Viết một cột của K theo hàng nghĩa là: K = [KT1, KT2, …, KTn]T

o Để f (y, βi) biểu thị pdf chung của y và βi:

o Ước lượng là lệch trừ khi:

o Trong trường hợp phổ biến :

o Ước lượng được giả định ở dạng:

o Khi đó ước lượng variance cực tiểu được cho bởi:

II SO SÁNH ƯỚC LƯỢNG VARIANCE CỰC

TIỂU VỚI ƯỚC LƯỢNG GAUSS-MARKOV

1 Ước lượng Gauss-Markov

 Trước khi đi so sánh hai loại ước lượng, chúng ta sẽ tìm hiểu sơ qua

về ước lượng Gauss-Markov để có cái nhìn tổng thể về cả 2 loại ướclượng

 Với K là một ma trận chưa biết, K thuộc Rm x n

 Cần ước lượng tham số β theo tiêu chí tối thiểu hóa sai số trung bìnhbình phương của bộ ước lượng:

o Bởi y chứa nhiễu ngẫu nhiên, nó là một vector ngẫu nhiên

o Cả ước lượng và hiệu đều là các vector ngẫu nhiên

o Thống kê của những vector ngẫu nhiên này được quyết định bởi

ϵ và K của chúng.

b) Ước lượng Gauss-Markov

 Nhận xét rằng:

 Coi ước lượng là không độ lệch:

o Giải pháp tối ưu được cho bởi:

o Ước lượng phương sai cực tiểu không độ lệch của β được cho

 Nó được tranh luận rằng giải pháp trên ước lượng của βi là ước lượngphương sai cực tiểu không độ lệch của βi với mỗi i riêng lẻ

o Đây là một ước lượng phương sai cực tiểu không độ lệch thực sự

2 So sánh ước lượng variance cực tiểu với ước lượng Gauss-Markov

 Và theo tiêu chí tối thiểu hóa sai số trung bình bình phương:

 Nói cách khác, khởi đầu và tiêu chí của 2 ước lượng là như nhau,nhưng cách thức thực hiện của 2 ước lượng là khác nhau Chi tiết sựkhác nhau giữa 2 ước lượng được trình bày ở phần sau

b Khác nhau

 Ước lượng Gauss-Markov là:

 Ước lượng variance cực tiểu:

 Từ 2 công thức trên, dễ dàng nhận thấy được nếu R-1=0 thì 2 ướclượng là tương đượng Nhưng R-1=0 nghĩa là gì?

o Phương sai vô hạn của β trong một ước lượng tinh vi hơn, cónghĩa là chúng ta hoàn toàn không biết trước về β trong tất cả cáctrường hợp

 Khi β được coi là một biến ngẫu nhiên (trước đó ta xét là vector ngẫunhiên), kích thước m của quan sát y không cần quá rộng

o (WRWT + Q)-1 vẫn còn tồn tại khi Q xác định dương (giống vớigiả thiết ban đầu trong ước lượng Gauss-Markov)

o Mỗi một phép đo mới đơn thuần cung cấp thêm thông tin để cóthể thiết lập ước lượng gốc

có phải là một ước lượng MVU (Minimum Variance Unbiased) cho A hay không?

Giải:Để chứng minh hàm ước lượng là một ước lượng MVU cho A, ta cần chứng minh thỏa mãn :

- E[ ] = 0 : Ước lượng không có độ lệch

- Min variance

Ta đi chứng minh:

+ Ta có : E( ) = E( x[n] ) = E(x[n]) = A = NA = A = (1)

Suy ra đây là ước lượng không có độ lệch.

+ Và có : var( ) = var( x[n] ) = var(x[n]) = =

Mặt khác theo mô hình xác suất pdf của x phụ thuộc tham số ta có :

p(x; ) =

Mà:

Theo giới hạn Cramer-Rao Lower Bound(CRLB):

Xét:

T ( x )

Giải:

Ta có

IV PHÂN TÍCH ÁP DỤNG, THỬ NGHIỆM MÔ

 Mục tiêu: ước lượng tham số β

2 Các bước mô phỏng trên Matlab

a Tóm tắt

 Đầu vào của mô hình gồm có:

o Một vector yN-1 là giá trị quan sát được

o Một ma trận Wn x p là ma trận hệ số quan sát

 Đầu ra:

o Ước lượng của vector tham số β

 Việc mô phỏng sẽ thực hiện với p=3 và N lần lượt là 50, 100, 200

 Các bước thực hiện:

o Bước 1: sinh ma trận W

o Bước 2: sinh vector y

o Bước 3: vẽ lên biểu đồ tín hiệu quan sát được (chính là vector )

o Bước 4: tính toán ước lượng

o Bước 5: dựa vào ước lượng vừa tính để vẽ tín hiệu y(t) với tham

số ước lượng lên biểu đồ

o Bước 6: dựa vào tham số chính xác của tín hiệu y(t) (là tham sốdùng để tạo nên vector y ban đầu) để vẽ tín hiệu y(t) chính xáckhông nhiễu lên biểu đồ

t = random('unif', -100, 100, N, 1);

t = sort(t);

o Sau đó ta sẽ tính một vector t2 với đặc điểm mỗi phần tử của t2

sẽ là bình phương của phần tử tương ứng bên t:

t2 = t;

for i = 1:Nt2(i,1) = t(i,1)*t(i,1);

o Ta sẽ sử dụng công thức ước lượng Minimum Variance:

beta_MV = inv(transpose(W)*inv(Q)*W+inv(R))*

transpose(W)*inv(Q)*y;

do vector nhiễu I theo phân phối chuẩn Gaussian N(0, 2*I) với 2

là phương sai của vector và I là ma trận đơn vị nên Q-1 =I

nên:

beta_MV= inv(transpose(W)*W+inv(R)) * transpose(W) *y;

 Bước 5: Vẽ tín hiệu với tham số ước lượng, biểu diễn bởi nét mảnh:

hold all;

t = transpose([-100:1:100]);

t2 = t;

for i = 1:201t2(i,1) = t(i,1)*t(i,1);

3 Kết quả chạy mô phỏng

a Với N= 50:

b Với N= 100:

c Với N= 200:

V KẾT LUẬN – ĐÁNH GIÁ

 Kết quả đạt được:

o Bài báo cáo đã truyền tải được nội dung mà nhóm hướng tới: ướclượng variance cực tiểu và sự khác biệt với ước lượng Gauss-Markov

o Quá trình tìm hiểu lí thuyết, thực hành ví dụ, matlab giúp cácthành viên trong nhóm có hiểu biết sâu hơn về lĩnh vực ướclượng của môn học, đồng thời phát triển khả năng thuyết trình,làm việc nhóm,…

 Khuyết điểm cần cải thiện:

o Bài báo cáo chưa thục sự đầy đủ các vấn đề, bởi kiến thức vềmôn học có hạn và khả năng tìm kiếm bằng tiếng anh chưa tốt

o Còn một vài công thức tính toán chưa giải thích và chứng minhđược

Tài liệu tham khảo

 Ref Linear Estimation Chapter 4

 Slide: Quá trình ngẫu nhiên và ứng dụng – PGS TS Nguyễn Thị Hoàng Lan