ước lượng các tham số của biến ngẫu nhiên

Chương 7: ƯỚC LƯỢNG CÁC THAM SỐ CỦA BIẾNNGẪU NHIÊN Giả sử đã biết quy luật phân phối xác suất của biến ngẫu nhiên Xsong chưa biết tham số θ nào đó của nó.. Chương 7: ƯỚC LƯỢNG CÁC THAM S

Chương 7: ƯỚC LƯỢNG CÁC THAM SỐ CỦA BIẾN

NGẪU NHIÊN

Giả sử đã biết quy luật phân phối xác suất của biến ngẫu nhiên Xsong chưa biết tham số θ nào đó của nó Vấn đề đặt ra là phải xácđịnh một cách gần đúng θ (ước lượng)

Có 2 phương pháp để ước lượng:

Ước lượng điểm: Dùng một giá trị để thay thế cho tham sốcần ước lượng

Ước lượng bằng khoảng tin cậy: Chỉ ra một khoảng chứatham số đó với một xác suất cho trước

Chương 7: ƯỚC LƯỢNG CÁC THAM SỐ CỦA BIẾN

NGẪU NHIÊN

Giả sử đã biết quy luật phân phối xác suất của biến ngẫu nhiên X

song chưa biết tham số θ nào đó của nó Vấn đề đặt ra là phải xác

định một cách gần đúng θ (ước lượng)

Có 2 phương pháp để ước lượng:

Ước lượng điểm: Dùng một giá trị để thay thế cho tham sốcần ước lượng

Ước lượng bằng khoảng tin cậy: Chỉ ra một khoảng chứatham số đó với một xác suất cho trước

Chương 7: ƯỚC LƯỢNG CÁC THAM SỐ CỦA BIẾN NGẪU NHIÊN

Giả sử đã biết quy luật phân phối xác suất của biến ngẫu nhiên Xsong chưa biết tham số θ nào đó của nó Vấn đề đặt ra là phải xácđịnh một cách gần đúng θ (ước lượng)

Có 2 phương pháp để ước lượng:

Ước lượng điểm: Dùng một giá trị để thay thế cho tham sốcần ước lượng

Ước lượng bằng khoảng tin cậy: Chỉ ra một khoảng chứatham số đó với một xác suất cho trước

PHƯƠNG PHÁP ƯỚC LƯỢNG ĐIỂM

Để ước lượng tham số θ của X (tổng thể), người ta xuất phát từtham số ˆθ tương ứng của mẫu sao cho ˆθ mang nhiều thông tinnhất về θ, để có thể xấp xỉ θ một cách tốt nhất (dùng một tham

số của mẫu thay cho một tham số chưa biết của tổng thể)

Có hai phương pháp ước lượng điểm:

Phương pháp hàm ước lượngPhương pháp ước lượng hợp lý tối đa

PHƯƠNG PHÁP ƯỚC LƯỢNG ĐIỂM

Để ước lượng tham số θ của X (tổng thể), người ta xuất phát từ

tham số ˆθ tương ứng của mẫu sao cho ˆθ mang nhiều thông tin

nhất về θ, để có thể xấp xỉ θ một cách tốt nhất (dùng một tham

số của mẫu thay cho một tham số chưa biết của tổng thể)

Có hai phương pháp ước lượng điểm:Phương pháp hàm ước lượngPhương pháp ước lượng hợp lý tối đa

PHƯƠNG PHÁP ƯỚC LƯỢNG ĐIỂM

Để ước lượng tham số θ của X (tổng thể), người ta xuất phát từtham số ˆθ tương ứng của mẫu sao cho ˆθ mang nhiều thông tinnhất về θ, để có thể xấp xỉ θ một cách tốt nhất (dùng một tham

số của mẫu thay cho một tham số chưa biết của tổng thể)

Có hai phương pháp ước lượng điểm:

Phương pháp hàm ước lượng

Phương pháp ước lượng hợp lý tối đa

Phương pháp hàm ước lượng

Khái niệm Lập mẫu ngẫu nhiên : W = (X1, X2, , Xn) Chọnlập thống kê: G = f (X1, X2, , Xn) đặc trưng tương ứng với θ

Ước lượng không chệchƯớc lượng hiệu quảƯớc lượng vững

Phương pháp hàm ước lượng

Khái niệm Lập mẫu ngẫu nhiên : W = (X1, X2, , Xn) Chọn

lập thống kê: G = f (X1, X2, , Xn) đặc trưng tương ứng với θ

Ước lượng không chệchƯớc lượng hiệu quảƯớc lượng vững

Phương pháp hàm ước lượng

Khái niệm Lập mẫu ngẫu nhiên : W = (X1, X2, , Xn) Chọn

lập thống kê: G = f (X1, X2, , Xn) đặc trưng tương ứng với θ

Định nghĩa

Thống kê G được gọi là hàm ước lượng của θ nếu f (x1, , xn) ≈ θ

với mọi mẫu cụ thể w = (x1, , xn)

Chú ý: Có vô số cách chọn thống kê để có thể dùng làm ướclượng của θ Vì vậy cần đưa ra các tiêu chuẩn để đánh giá chấtlượng thống kê:

Ước lượng không chệchƯớc lượng hiệu quảƯớc lượng vững

Phương pháp hàm ước lượng

Khái niệm Lập mẫu ngẫu nhiên : W = (X1, X2, , Xn) Chọnlập thống kê: G = f (X1, X2, , Xn) đặc trưng tương ứng với θ

Ước lượng không chệch

Ước lượng hiệu quả

Ước lượng vững

Ước lượng không chệch

Định nghĩa

Thống kê G của mẫu được gọi là ước lượng không chệch của tham

số θ của biến ngẫu nhiên gốc X nếu E(G) = θ

Nếu E (G ) 6= θ, G được gọi là ước lượng chệch của θ

Ước lượng không chệch

Định nghĩa

Thống kê G của mẫu được gọi là ước lượng không chệch của tham

số θ của biến ngẫu nhiên gốc X nếu E(G) = θ

Nếu E (G ) 6= θ, G được gọi là ước lượng chệch của θ

Ước lượng không chệch

Định nghĩa

Thống kê G của mẫu được gọi là ước lượng không chệch của tham

số θ của biến ngẫu nhiên gốc X nếu E(G) = θ

Nếu E (G ) 6= θ, G được gọi là ước lượng chệch của θ

Ước lượng không chệch

a) ¯X1, ¯X2 có là ước lượng không chệch của µ

b) Trong 2 ước lượng trên, ước lượng nào có phương sai nhỏ hơn

Ước lượng không chệch

a) ¯X1, ¯X2 có là ước lượng không chệch của µ

b) Trong 2 ước lượng trên, ước lượng nào có phương sai nhỏ hơn.Giải

Ước lượng không chệch

Ước lượng hiệu quả

Định nghĩa

Thống kê G của mẫu được gọi là ước lượng hiệu quả của tham số

θ của bnn gốc X nếu nó là ước lượng không chệch và có phươngsai nhỏ nhất so với mọi ước lượng không chệch khác được xâydựng trên cùng mẫu đó

Để kiểm tra tính hiệu quả nhất của ước lượng không chệch, người

Ước lượng hiệu quả

Định nghĩa

Thống kê G của mẫu được gọi là ước lượng hiệu quả của tham số

θ của bnn gốc X nếu nó là ước lượng không chệch và có phương

sai nhỏ nhất so với mọi ước lượng không chệch khác được xây

Ước lượng hiệu quả

Định nghĩa

Thống kê G của mẫu được gọi là ước lượng hiệu quả của tham số

θ của bnn gốc X nếu nó là ước lượng không chệch và có phươngsai nhỏ nhất so với mọi ước lượng không chệch khác được xâydựng trên cùng mẫu đó

Để kiểm tra tính hiệu quả nhất của ước lượng không chệch, người

Ước lượng hiệu quả

Ví dụ

Giả sử X ∼ N(µ, σ2)

E ( ¯X ) = µ, suy ra ¯X là ước lượng không chênh lệch của µ,

hơn nữa V ( ¯X ) = σn2 = min (= vế phải bất đẳng thức

Crammer - Rao) do đó ¯X là ước lượng hiệu quả của µ

ES2= σ2; V (S2) 6= min→ S2 là ước lượng không chệnh của

σ2 nhưng không là ước lượng hiệu quả

X ∼ A(p) f là ước lượng hiệu quả của p vì E (f ) = p và

V (f ) = p(p−1)n = min

Ước lượng hiệu quả

Ví dụ

Giả sử X ∼ N(µ, σ2)

E ( ¯X ) = µ, suy ra ¯X là ước lượng không chênh lệch của µ,

hơn nữa V ( ¯X ) = σn2 = min (= vế phải bất đẳng thức

Crammer - Rao) do đó ¯X là ước lượng hiệu quả của µ

ES2= σ2; V (S2) 6= min→ S2 là ước lượng không chệnh của

σ2 nhưng không là ước lượng hiệu quả

X ∼ A(p) f là ước lượng hiệu quả của p vì E (f ) = p và

V (f ) = p(p−1)n = min

Ước lượng hiệu quả

Ví dụ

Giả sử X ∼ N(µ, σ2)

E ( ¯X ) = µ, suy ra ¯X là ước lượng không chênh lệch của µ,hơn nữa V ( ¯X ) = σn2 = min (= vế phải bất đẳng thức

Crammer - Rao) do đó ¯X là ước lượng hiệu quả của µ

ES2= σ2; V (S2) 6= min→ S2 là ước lượng không chệnh của

σ2 nhưng không là ước lượng hiệu quả

X ∼ A(p) f là ước lượng hiệu quả của p vì E (f ) = p và

V (f ) = p(p−1)n = min

Ước lượng vững

Ví dụ

Theo luật số lớn của Trêbưsep và luật số lớn của Bernoulli ta suy

ra trung bình mẫu ¯X và tần suất mẫu f lần lượt là ước lượng vữngcủa µ và p của biến ngẫu nhiên gốc X

Các kết luận của phương pháp hàm ước lượng

Trung bình mẫu ¯X là ước lượng không chệch, hiệu quả, vữngcủa trung bình tổng thể µ

Tần suất mẫu f là ước lượng không chệch, hiệu quả, vững củatần suất tổng thể p

Phương sai mẫu S2 và S∗2 là ước lượng không chệch củaphương sai tổng thể σ2

Các kết luận của phương pháp hàm ước lượng

Trung bình mẫu ¯X là ước lượng không chệch, hiệu quả, vữngcủa trung bình tổng thể µ

Tần suất mẫu f là ước lượng không chệch, hiệu quả, vững củatần suất tổng thể p

Phương sai mẫu S2 và S∗2 là ước lượng không chệch củaphương sai tổng thể σ2

Phương pháp ước lượng hợp lý tối đa

Giả sử cần ước lượng tham số θ của biến ngẫu nhiên gốc X cóhàm mật độ xác suất f(x, θ)

Phương pháp ước lượng hợp lý tối đa

Giả sử cần ước lượng tham số θ của biến ngẫu nhiên gốc X cóhàm mật độ xác suất f(x, θ)

Phương pháp ước lượng hợp lý tối đa

Do hàm L và lnL đạt cực đại tại cùng một giá trị của θ nên có thểtìm θ để lnL đạt cực đại theo các bước:

Tính ∂ ln L∂θ = 0

Giải phương trình ∂ ln L

∂θ = 0 → nghiệm ˆθ = f (x1, , x2)Nếu ∂2∂θln L2



x1, , xn, ˆθ< 0 thì ˆθ ước lượng hợp lý tối đa củaθ

Phương pháp ước lượng hợp lý tối đa

Ví dụ

Tìm ước lượng hợp lý tối đa của tham số θ của biến ngẫu nhiên X

có hàm mật độ xác suất: f (x ) = θe−θx, ∀x

GiảiLập mẫu ngẫu nhiên W = (X1, , Xn)Hàm hợp lý: L = θe−θx1θe−θx2 θe−θxn = θne−θ(Pni =1 x i )

Phương pháp ước lượng hợp lý tối đa

Ví dụ

Tìm ước lượng hợp lý tối đa của tham số θ của biến ngẫu nhiên X

có hàm mật độ xác suất: f (x ) = θe−θx, ∀x

Giải

Lập mẫu ngẫu nhiên W = (X1, , Xn)

Hàm hợp lý: L = θe−θx1θe−θx2 θe−θxn = θne−θ(Pni =1 x i )

Phương pháp ước lượng hợp lý tối đa

Phương pháp ước lượng hợp lý tối đa

PHƯƠNG PHÁP ƯỚC LƯỢNG BẰNG KHOẢNG TIN CẬY

Khái niệm

Ước lượng kỳ vọng toán của biến ngẫu nhiên phân phối chuẩn

Ước lượng phương sai của biến ngẫu nhiên phân phối chuẩn

Ước lượng kỳ vọng toán của biến ngẫu nhiên phân phối không

- một

PHƯƠNG PHÁP ƯỚC LƯỢNG BẰNG KHOẢNG TIN CẬY

Khái niệm

Ước lượng kỳ vọng toán của biến ngẫu nhiên phân phối chuẩn

Ước lượng phương sai của biến ngẫu nhiên phân phối chuẩn

Ước lượng kỳ vọng toán của biến ngẫu nhiên phân phối không

- một

Khái niệm

Để ước lượng tham số θ của biến ngẫu nhiên gốc X, người ta xâydựng một khoảng giá trị của mẫu (θ1, θ2) sao cho với một xácsuất cho trước, tham số θ sẽ rơi vào khoảng (θ1, θ2) đó

Để xây dựng khoảng giá trị nói trên, xuất phát từ một ước lượngđiểm tốt nhất ˆθ của mẫu, chọn một thống kê G = G(ˆθ;θ) là mộthàm của ˆθ và θ song lại có quy luật phân phối xác suất không phụthuộc ˆθ

Khái niệm

Để ước lượng tham số θ của biến ngẫu nhiên gốc X, người ta xâydựng một khoảng giá trị của mẫu (θ1, θ2) sao cho với một xácsuất cho trước, tham số θ sẽ rơi vào khoảng (θ1, θ2) đó

Để xây dựng khoảng giá trị nói trên, xuất phát từ một ước lượngđiểm tốt nhất ˆθ của mẫu, chọn một thống kê G = G(ˆθ;θ) là mộthàm của ˆθ và θ song lại có quy luật phân phối xác suất không phụthuộc ˆθ

Khái niệm

Chú ý

Khoảng tin cậy (θ1, θ2) là khoảng ngẫu nhiên

Với mẫu cụ thể ta có khoảng tin cậy cụ thể

Do xác suất 1 - α khá lớn nên theo nguyên lý xác suất lớn,biến cố (θ1 < θ < θ2) hầu như chắc chắn xảy ra trong mộtphép thử, tức là ta coi nó luôn đúng với một mẫu cụ thể: θ1

< θ < θ2

Ước lượng kỳ vọng toán của biến ngẫu nhiên phân phối

chuẩn

Giả sử X ∼ N (µ, σ2), µ chưa biết

Để ước lượng µ, từ tổng thể lập mẫu kích thước n: W = (X1, ,

Xn) → ¯X

Để chọn thống kê G thích hợp, ta xét các trường hợp sau:

Đã biết phương sai σ2Chưa biết phương sai tổng thể σ2

Ước lượng kỳ vọng toán của biến ngẫu nhiên phân phối chuẩn

Giả sử X ∼ N (µ, σ2), µ chưa biết

Để ước lượng µ, từ tổng thể lập mẫu kích thước n: W = (X1, ,

Xn) → ¯X

Để chọn thống kê G thích hợp, ta xét các trường hợp sau:

Đã biết phương sai σ2

Chưa biết phương sai tổng thể σ2

Đã biết phương sai σ2

= α và từ đó tìm được 2 giá trị tới hạn chuẩn tương ứng và thỏamãn:

Đã biết phương sai σ2

= α và từ đó tìm được 2 giá trị tới hạn chuẩn tương ứng và thỏamãn:

Đã biết phương sai σ2

Nếu lấy α1 = α2 = α/2: ta được khoảng tin cậy đối xứng củaµ

Đã biết phương sai σ2

ε = √σ

nuα/2 được gọi là độ chính xác của ước lượng

Độ dài ngắn nhất của khoảng tin cậy I đạt được khi khoảngtin cậy là đối xứng:

I = 2ε = √2σ

n · uα/2Kích thước mẫu tối thiểu n cần điều tra sao cho với độ tin cậy

1 - α cho trước, độ dài khoảng tin cậy không vượt qúa I0 chotrước được tìm bởi công thức:

n ≥ 4σ

2

I2 0

· uα/22 = σ

2

ε2 0

· u2α/2

Đã biết phương sai σ2

Ví dụ

Tuổi thọ của 1 loại bóng đèn là biến ngẫu nhiên phân phối chuẩn

với độ lệch chuẩn 36h Từ 1 lô bóng mới sản xuất, kiểm tra ngẫu

nhiên 100 bóng tìm được tuổi thọ trung bình của chúng là 3000h

Với độ tin cậy 0,95 hãy ước lượng tuổi thọ trung bình của loại

bóng đèn nói trên

GiảiGọi X là tuổi thọ bóng đèn X ∼ N (µ; σ2)

Đây là bài toán ước lượng bằng khoảng tin cậy đối xứng tham số µcủa biến ngẫu nhiên phân phối chuẩn khi đã biết phương sai tổngthể Ta có:

n = 100 ; ¯x = 3000; 1 - α = 0,95 ⇒ α = 0,05 ⇒ uα/2= u0,025=1,96

Đã biết phương sai σ2

Ví dụ

Tuổi thọ của 1 loại bóng đèn là biến ngẫu nhiên phân phối chuẩnvới độ lệch chuẩn 36h Từ 1 lô bóng mới sản xuất, kiểm tra ngẫunhiên 100 bóng tìm được tuổi thọ trung bình của chúng là 3000h.Với độ tin cậy 0,95 hãy ước lượng tuổi thọ trung bình của loạibóng đèn nói trên

Giải

Gọi X là tuổi thọ bóng đèn X ∼ N (µ; σ2)

Đây là bài toán ước lượng bằng khoảng tin cậy đối xứng tham số µcủa biến ngẫu nhiên phân phối chuẩn khi đã biết phương sai tổngthể Ta có:

n = 100 ; ¯x = 3000; 1 - α = 0,95 ⇒ α = 0,05 ⇒ uα/2= u0,025=1,96

Đã biết phương sai σ2

Chưa biết phương sai tổng thể σ2

Chưa biết phương sai tổng thể σ2

Chưa biết phương sai tổng thể σ2

α1 = α2 = α/2: Khoảng tin cậy đối xứng

nt

(n−1) α/2



= 1 − α

Chưa biết phương sai tổng thể σ2

Độ dài ngắn nhất của khoảng tin cậy: I = 2ε = √2S

ntα/2(n−1)

Để tìm kích thước mẫu n cần điều tra sao cho với độ tin cậy 1

- α cho trước, độ dài khoảng tin cậy không vượt quá I0 chotrước, người ta dùng phương pháp mẫu kép sau:

Điều tra 1 mẫu sơ bộ kích thước m ≥ 2: W 1 = (X 1 , , X m ),

Chưa biết phương sai tổng thể σ2

Chưa biết phương sai tổng thể σ2

Ví dụ

Gọi X là năng suất loại cây trồng X ∼ N (µ, σ2)

Từ mẫu đã cho, ta tính được: n = 25; ¯x = 32, 68; s = 1, 435Với độ tin cậy 0,95 = 1 - α ⇒ α = 0,05; tα/2(n−1) = t0,025(24) = 2, 064Vậy khoảng tin cậy của năng suất trung bình có dạng:

¯

x − √s

n · t

n−1 α/2 < µ < ¯x + √s

n · t

n−1 α/2

Ước lượng phương sai của biến ngẫu nhiên phân phối chuẩn

Giả sử trong tổng thể X ∼ N (µ, σ2), σ2 chưa biết

Từ tổng thể lập mẫu W = (X1, X2, , Xn) → S2, S∗2

Để chọn thống kê G thích hợp, xét các trường hợp:

Đã biết kỳ vọng toán µChưa biết kỳ vọng toán µ

Ước lượng phương sai của biến ngẫu nhiên phân phối chuẩn

Giả sử trong tổng thể X ∼ N (µ, σ2), σ2 chưa biết

α2 = α Từ đó tìm được hai giá trị tới hạn khi bình phương

α2 = α Từ đó tìm được hai giá trị tới hạn khi bình phương

Chưa biết kỳ vọng toán µ

Chọn thống kê G:

G = χ2= (n − 1) S

2

σ2 ∼ χ2(n − 1)Tương tự như trên, khoảng tin cậy mức 1-α của σ2 có dạng:

Chưa biết kỳ vọng toán µ

Chọn thống kê G:

G = χ2= (n − 1) S

2

σ2 ∼ χ2(n − 1)Tương tự như trên, khoảng tin cậy mức 1-α của σ2 có dạng:

Chưa biết kỳ vọng toán µ

α1 = α2 = α/2: Khoảng tin cậy đối xứng

P



(n − 1) S2

Chưa biết kỳ vọng toán µ

Theo yêu cầu của bài toán ta phải tìm khoảng tin cậy hai phía với

độ tin cậy 1-α = 0,95 cho tham số σ2 cho trường hợp µ chưa biết

Chưa biết kỳ vọng toán µ

Ước lượng kỳ vọng toán của biến ngẫu nhiên phân phối

không - một

Giả sử X ∼ A(p), p chưa biết Lập mẫu kích thước n: W =(X1, , Xn) → f Ta chỉ xét trường hợp mẫu lớn: n ≥ 100.Chọn thống kê:

G = U = (f − p)

√n

pf (1 − f ) ∼ N (0; 1)Khoảng tin cậy mức 1 - α của p có dạng:

Ước lượng kỳ vọng toán của biến ngẫu nhiên phân phối không - một

Giả sử X ∼ A(p), p chưa biết Lập mẫu kích thước n: W =(X1, , Xn) → f Ta chỉ xét trường hợp mẫu lớn: n ≥ 100.Chọn thống kê:

G = U = (f − p)

√n

pf (1 − f ) ∼ N (0; 1)Khoảng tin cậy mức 1 - α của p có dạng:

Ước lượng kỳ vọng toán của biến ngẫu nhiên phân phối không - một

α1 = α2 = α/2: Khoảng tin cậy đối xứng

Ước lượng kỳ vọng toán của biến ngẫu nhiên phân phối không - một

Độ dài ngắn nhất của khoảng tin cậy đạt được khi nó đốixứng:

I = 2ε = 2pf (1 − f )

√

n uα/2Kích thước mẫu tối thiểu n cần điều tra sao cho với độ tin cậy

1 - α cho trước, độ dài khoảng tin cậy không vượt quá I0 chotrước được tìm bởi công thức:

n ≥ 4f (1 − f )

I2 0

uα/22 = f (1 − f )

ε20 u

2 α/2

Trong đó f là tần suất mẫu sơ bộ kích thước m ≥2

Ước lượng kỳ vọng toán của biến ngẫu nhiên phân phối

không - một

Ví dụ

Trong đợt vận động bầu cử tổng thống, người ta phỏng vấn ngẫu

nhiên 1600 cử tri thì được biết 960 người trong số đó sẽ bỏ phiếu

cho ứng cử viên A Với độ tin cậy 99%, ứng cử viên A sẽ chiếm

được tối thiểu bao nhiêu phần trăm số phiếu bầu?

GiảiGọi p là tỷ lệ cử tri bỏ phiếu cho ứng cử viên A Đây là bài toánước lượng bằng khoảng tin cậy bên phải tham số p của biến ngẫunhiên phân phối A(p) khi kích thước mẫu n > 100