Bài giảng lý thuyết xác suất và thống kê toán học chương 6 phan văn tân

LÝ THUYẾT XÁC SUẤT VÀ THỐNG KÊ TOÁN HỌCPhan Văn Tân Bộ mô Khí tượng... LÝ THUYẾT ƯỚC LƯỢNG6.1 Hàm ước lượng của một tham số chưa biết • Bài toán: Cho X là đại lượng ngẫu nhiên có phân bố

LÝ THUYẾT XÁC SUẤT VÀ THỐNG KÊ TOÁN HỌC

Phan Văn Tân

Bộ mô Khí tượng

CHƯƠNG 6 LÝ THUYẾT ƯỚC LƯỢNG

6.1 Hàm ước lượng của một tham số chưa biết

• Bài toán: Cho X là đại lượng ngẫu nhiên có phân bố F(x,θ) (hoặc

f(x,θ)), dạng của F(x,θ) đã biết nhưng chưa biết θ Hãy xác định θ

• Thực tế, rất khó hoặc không thể xác định chính xác giá trị θ nên người ta chỉ ước lượng nó thông qua tập mẫu của X

• Giả sử có mẫu (X1, X2,…, Xn) của X, để thay thế cho θ ta lập đại lượng thống kê ˆ( , , , )

2

1 X X n

X

θ

• Định nghĩa: Đại lượng thống kê

được chọn dùng để thay thế cho tham số θ được gọi là hàm ước lượng của θ (hay ngắn gọn hơn là ước lượng của θ)

), ,

,(

• Chú ý: θˆ(X1, X2, , X n) là hàm của (X1, ,Xn) Î biến ngẫu nhiên

• Với mỗi (x1,…,xn) thì θˆ(X1, X2, , X n) là một điểm trên trục số

), ,

,(

CHƯƠNG 6 LÝ THUYẾT ƯỚC LƯỢNG

6.1 Hàm ước lượng của một tham số chưa biết

• Ví dụ: Xét đại lượng ngẫu nhiên X với mẫu (X1, X2,…, Xn)

CHƯƠNG 6 LÝ THUYẾT ƯỚC LƯỢNG

6.1 Hàm ước lượng của một tham số chưa biết

• Định nghĩa: Hàm ước lượng

gọi là ước lượng không chệch nếu:( , , )

ˆ

1 X n X

θ

x n

i

i n

i

i n

X n

M X

[

1]

[

1]

1[]

[

1 1

1

của tham số θ được

• Ví dụ: Kỳ vọng mẫu là ước lượng không chệch của kỳ vọng m x

])(

[

1]

)(

1[]

[]

~

[

1

2 1

i

i x

n

X

X n

M s

M D

M

• Phương sai mẫu là ước lượng chệch của phương sai D x

θ

θˆ( , , )] = [ X1 X n

M

Vì Xi nhận các giá trị của X và có cùng phân bố với X nên

][]

[]

[X M X M X

CHƯƠNG 6 LÝ THUYẾT ƯỚC LƯỢNG

6.1 Hàm ước lượng của một tham số chưa biết

(])[

(

1]

~[

( 1

] ]) [ ])(

[ (

[

2

] ]) [ (

[

1

]) [ (

1

1

1

2 1

−

=

n i

i

n i

n

i

i

X M X

X M X

M

n

X M X

M

n

X M X

] [ ]

]) [

[(

] ]) [

( [

X D X

M X

M X

M X

]) [ [(

2

])]

[ (

]) [ [(

2

] ]) [

( ]) [ [(

2

2

1

X D X

M X

M

X M X

n X M X

M n

X M X

X M X

M n

n i

i i

~

M x = x −

⇒

CHƯƠNG 6 LÝ THUYẾT ƯỚC LƯỢNG

6.1 Hàm ước lượng của một tham số chưa biết

(])[

(

1]

~[

][]

i

n

X n

D X

D

1

2 1

1

1]

[

Vì các Xi là độc lập, có cùng phân bố với X nên

x n

i

n

i

i n

[]

[

1 1

1

x

D n

~[ x = x − x = − D x ≠ D x ≡ σ

n

n D

n

D D

M

CHƯƠNG 6 LÝ THUYẾT ƯỚC LƯỢNG

6.1 Hàm ước lượng của một tham số chưa biết

2

1]

~[1

n D

M n

n D

~

n

n D

n

n D

1

~thay cho

n

n D

X X

D n D

1

~)

(

~

~)1

là ước lượng không chệch của D x

Đó cũng chính là lý do tại sao người ta thường dùng ~ *

x

D

Tuy nhiên, khi n đủ lớn thì tỷ số (n–1)/n≈1 do đó chúng hầu

như không sai khác nhau

CHƯƠNG 6 LÝ THUYẾT ƯỚC LƯỢNG

6.1 Hàm ước lượng của một tham số chưa biết

• Độ chính xác của ước lượng không chệch

2 2

2

2

1

11

1)

|)

, ,(

ˆ(|

ε σ

ε

σ εσ

P

• Giả sử

• Nếu chọn ε=3 ta có:

) , ,

(

ˆ

1 X n X

θ

Î Với xác suất khá lớn, chênh lệch giữa θ và ước lượng của

nó không vượt quá 3 lần độ lệch chuNn

là ước lượng không chệch của θ, và 2

1 , , )]

( ˆ

[θ X X n = σθ

D

Từ bất đẳng thức Tchebychev ta có:

8889

09

11

)3

|)

, ,(

ˆ(|θ X1 X n −θ < σθ ≥ − ≈

P

CHƯƠN G 6 LÝ THUYẾT ƯỚC LƯỢN G

6.1 Hàm ước lượng của một tham số chưa biết

• Định nghĩa: Hàm ước lượng

gọi là ước lượng vững nếu với ∀ε>0 bất kỳ cho trước ta có( , , )

ˆ

1 X n X

• Định lý: N ếu

1 )

| )

, , (

(

ˆ

1 X n X

θ là hàm ước lượng của θ sao cho:

a) θˆ(X1, , X n) là ước lượng không chệch của θ hoặc

0 } )]

, , (

ˆ [

(

ˆ

1 X n X

θ là ước lượng vững của θ

CHƯƠN G 6 LÝ THUYẾT ƯỚC LƯỢN G

6.1 Hàm ước lượng của một tham số chưa biết

• Chứng minh:

• Áp dụng bất đẳng thức Tchebychev:

2

1 1

1

)], ,

(ˆ[1

)

|)]

, ,(

ˆ[)

, ,(

ˆ(|

ε

θε

θ

n n

X X

D X

X M

X X

)]

, ,(

ˆ[

, ,(

1

)], ,

(

ˆ[1

)

|))]

, ,(

ˆ[()

, ,(

ˆ(|

ε

θε

θθ

θ

n n

X X

D X

X M

X X

|)

, ,(

ˆ(| 1 − < ≥

D n X

CHƯƠN G 6 LÝ THUYẾT ƯỚC LƯỢN G

6.1 Hàm ước lượng của một tham số chưa biết

• Định nghĩa: N ếu θˆ(X1, , X n) là ước lượng không chệch của θ và

)]

, ,(

1 )]

, , (

ˆ [

θθ

θ

x

f M

n

X X

Người ta gọi đây là bất đẳng thức thông tin hay bất đẳng

thức Crame–Rao

CHƯƠN G 6 LÝ THUYẾT ƯỚC LƯỢN G

6.1 Hàm ước lượng của một tham số chưa biết

• Ví dụ: Cho X có phân bố chuNn N (μ,σ) Chứng minh rằng kỳ vọng

mẫu là ước lượng hiệu quả của μ=M[X]

1

2

1 )

,

μ

σπ

x f

X

2 )

( 2

1 2

ln )

, (

ln

σ

μσ

2

2

2

1 ]

) [(

1 )

, (

ln

σ

μσ

σ

μμ

1)

,(ln

2

n n

x

f M

CHƯƠN G 6 LÝ THUYẾT ƯỚC LƯỢN G

6.2 Ước lượng tham số theo phương pháp hợp lý cực đại

• Xét đại lượng ngẫu nhiên X có mật độ phân bố f(x,θ) với dạng của f(x,θ) đã biết, còn θ chưa biết và cần phải ước lượng Giả sử

(X1,…,Xn) là một mẫu của X Khi đó, hàm

), ,

) , (

) , ( )

(θ f X1 θ f X2 θ f X n θ

• Vì hàm logarit là hàm đơn điệu nên thay cho L(θ) người ta dùng hàm H(θ)=lnL(θ), và

Gọi là ước lượng của θ Cần xác định θˆ(X1, , X n)

sao cho: L(θˆ(X1, , X n)) ≥ L(θ) víi ∀θ ∈Θ

Trong đó Θ là miền giá trị của θ

), ,

CHƯƠN G 6 LÝ THUYẾT ƯỚC LƯỢN G

6.2 Ước lượng tham số theo phương pháp hợp lý cực đại

• Khi đó, nếu tồn tại đạo hàm thì

là nghiệm của phương trình ( ) = 0

θ

θ

d dH

), ,

Phương trình này được gọi là phương trình hợp lý cực đại

ước lượng hợp lý cực đại của θ

của phương trình này được gọi là

• N hư vậy, các bước để tìm ước lượng hợp lý cực đại của θ:

CHƯƠN G 6 LÝ THUYẾT ƯỚC LƯỢN G

6.2 Ước lượng tham số theo phương pháp hợp lý cực đại

• Ví dụ 1: Giả sử X∈N (μ,σ) với σ đã biết Xác định ước lượng hợp

lý cực đại của μ, biết (X1,…,Xn) là một mẫu của X

n

i

X f

L

1

2 2

1

)

(2

1exp

2

1)

,()

σ σ

π

μ μ

• Giải: Lập hàm hợp lý

μ σ

μ

2

1)

(ln)

(

1)

σ μ

μ

0)

1)

, ,(

ˆμ

μ σ

μ

μ

ˆ0

)

(

2 2

là hàm hợp lý đạt giá trị cực đại

CHƯƠN G 6 LÝ THUYẾT ƯỚC LƯỢN G

6.2 Ước lượng tham số theo phương pháp hợp lý cực đại

• Ví dụ 2: Giả sử X∈N (μ,σ), trong đó cả μ và σ đều chưa biết Tìm

ước lượng hợp lý cực đại của μ, σ biết (X1,…,Xn) là một mẫu của X

• Giải: Coi θ=(μ,σ) Từ ví dụ trước:

μ σ

θ

2

1)

(ln)

)(

θ

n X

2

24

)(

4)

(

3 1

2

4 1

μ σ

π

π σ

μ σ

σ

n

X H

n

i

i n

X X

1)

, ,(

ˆσ

CHƯƠN G 6 LÝ THUYẾT ƯỚC LƯỢN G

6.2 Ước lượng tham số theo phương pháp hợp lý cực đại

ước lượng điểm (xác định một điểm trên trục số)

– N ếu có nhiều tham số cần được ước lượng (như ví dụ 2), sau khi lập hàm hợp lý cực đại, lấy đạo hàm bậc nhất ứng với từng tham số và cho bằng 0 để nhận được một hệ phương trình

– Giải hệ này ta được các ước lượng tương ứng

CHƯƠN G 6 LÝ THUYẾT ƯỚC LƯỢN G

6.3 Ước lượng tham số bằng khoảng tin cậy

• Định nghĩa: Khoảng tin cậy (θˆ1,θˆ2) của tham số θ với độ tin cậy γ

θ

θˆ ( , , ) ≤ ≤ ˆ ( , , )) = ( 1 X1 X n 2 X1 X n

P

) , ,

( ˆ ˆ

), , ,

( ˆ

ˆ

1 2

2 1

1

γθ

θ

θˆ ( , , ) ≤ ≤ ˆ ( , , )) =

( 1 X1 X n 2 X1 X n

• Nhận xét: Từ định nghĩa ta thấy, nếu γ càng lớn và khoảng

càng nhỏ thì ước lượng của θ càng chính xác )

ˆ , ˆ (θ1 θ2

• Giải: Xét một số ví dụ

CHƯƠN G 6 LÝ THUYẾT ƯỚC LƯỢN G

6.3 Ước lượng tham số bằng khoảng tin cậy

• Ví dụ 1: Cho X∈N (μ,σ) với σ đã biết và (X1,…,Xn) là một mẫu của X Hãy xác định ước lượng khoảng của μ với độ tin cậy γ

• Giải: Xét biến ngẫu nhiên Khi đó U∈N (0,1)

n

X U

γ

γ

γ γ

u U

u P

u U

P

2

2 1

2

1)

()

|(|

γ

σμ

σσ

μ

γ γ

u X

P

u n

X u

/(

u

Với γ cho trước, giải ra tìm được uγ

γ=0.95 => uγ=1.96; γ=0.99 => uγ=2.58;…

CHƯƠN G 6 LÝ THUYẾT ƯỚC LƯỢN G

6.3 Ước lượng tham số bằng khoảng tin cậy

• Ví dụ 2: Cho X∈N (μ,σ) với σ chưa biết và (X1,…,Xn) là một mẫu của X Hãy xác định ước lượng khoảng của μ với độ tin cậy γ

• Giải: Ở đây ta xét biến ngẫu nhiên

Khi đó t∈St(n–1)

n s

X t

x f t

t t

P t

t

γμ

μ

γ γ

X n

s t X P

t n

s

X t

X n

s t

1 1với

CHƯƠN G 6 LÝ THUYẾT ƯỚC LƯỢN G

6.4 Ước lượng theo phương pháp bình phương tối thiểu

• Bài toán: Cho mẫu (Y1,…,Yn) của biến ngẫu nhiên Y Giả sử đã biết:

Trong đó: x ij (i=1 n, j=1 m) là các hằng số đã biết còn β 1 , β 2 , , β m

và σ là các tham số chưa biết; X=X(n,m), β=β(m), Y=Y(n) Yêu

cầu xác định các ước lượng

) , , 2 , 1 (

, ]

1

n i

Y D

x x

x Y

M

i

m im i

i i

=

=

+ +

+

=

σ

β β

β

m

β β

βˆ1, ˆ2, , ˆ (là các hàm của (Y1,…,Yn)) sao cho:

∑

=

+ +

2 1

D

X Y

M

=

=

Hay

CHƯƠN G 6 LÝ THUYẾT ƯỚC LƯỢN G

6.4 Ước lượng theo phương pháp bình phương tối thiểu

là đạo hàm R2 theo các βk phải bằng 0:

m k

x x

Y

R

ik n

i

m

j

j ij i

k

, , 2 , 1 ,

Y

Y Y

β

β

,

1

1

1 11

1

) (

) (

X T = T

Phương trình chính tắc

CHƯƠN G 6 LÝ THUYẾT ƯỚC LƯỢN G

6.4 Ước lượng theo phương pháp bình phương tối thiểu

Kỳ vọng và phương sai của ước lượng

là ước lượng không chệch của β

)(

)(

ˆ = X T X −1 X T Y

β

βˆ

][)

()]

()[(