[Pima 2025] bài giảng 5 ước lượng tham số

Nội dung Bài toán ước lượng tham số Định nghĩa ước lượng và đặc tính của ước lượng Hàm hợp lý Phương pháp ước lượng hợp lý cực đại... Ước lượng tham số Bài toán ước lượng tham số Tham số

Ước lượng tham số

Đặng Trọng Bảo Thi Vòng Vĩnh Toàn Trần Phan Anh Danh

PiMA Team, Việt Nam

Ngày 3 tháng 8 năm 2025

Nội dung

Bài toán ước lượng tham số

Định nghĩa ước lượng và đặc tính của ước lượng

Hàm hợp lý

Phương pháp ước lượng hợp lý cực đại

Ước lượng tham số

Bài toán ước lượng tham số

Tham số

Nhắc lại: Tham số là bộ số mô tả phân phối của toàn bộ tổng thể.

Ví dụ:

Biến ngẫu nhiên X ∼ Bernoulli(p).

Phân phối Bernoulli được xác định bởi 1 tham số duy nhất:

p ∈ [0, 1]

với p là xác suất thành công.

Ước lượng tham số

Bài toán ước lượng tham số

Tham số

Nhắc lại: Tham số là bộ số mô tả phân phối của toàn bộ tổng thể.

Ví dụ:

Biến ngẫu nhiên Y ∼ N (µ, σ2)

Phân phối chuẩn được xác định bởi bộ tham số gồm 2 thamsố:

µ ∈ R và σ2 ∈ (0; ∞)trong đó:

µ là trung bình: E[Y ] = µ

σ2là phương sai: Var(Y ) = σ2

Ước lượng tham số

Bài toán ước lượng tham số

Ước lượng tham số

Bài toán ước lượng tham số

Họ phân phối

Hình 1: Họ phân phối chuẩn

Ước lượng tham số

Bài toán ước lượng tham số

Nhắc lại vấn đề xây dựng mô hình tạo sinh

Đầu vào: dữ liệu quan sát được D

Mục tiêu: ước đoán quá trình tạo sinh

1 Đề xuất họ phân phối p θ

2 Tìm tham số θ phù hợp với dữ liệu.

Ước lượng tham số

Bài toán ước lượng tham số

Bài toán ước lượng tham số

Ước lượng tham số

Bài toán ước lượng tham số

Ví dụ bài toán ước lượng tham số

Giả sử điểm kiểm tra của 5 bạn học sinh trong một thành phố là:

x1= 7.2, x2= 7.4, x3= 7.5, x4= 7.7, x5= 7.6,

Ta giả định điểm số của học sinh trong thành phố này tuân theo

phân phối chuẩn N (µ, σ2), nhưng chưa biết tham số µ và σ2

Bài toán: Ước lượng tham số µ và σ2 của phân phối tổng thể từmẫu dữ liệu này

Ước lượng tham số

Định nghĩa ước lượng và đặc tính của ước lượng

Ước lượng

Định nghĩa ước lượng

Ước lượng là một biến ngẫu nhiên được tính dựa trên các mẫu

ngẫu nhiên dùng để ước lượng cho tham số của tổng thể

Ví dụ:

Giả sử n quan sát X1, X2, , X n độc lập và cùng phân phối:

X ∼ N (µ, σ2) với µ và σ2 chưa biết

Ta có thể ước lượng µ bằng trung bình mẫu

Ước lượng tham số

Định nghĩa ước lượng và đặc tính của ước lượng

Độ chệch của ước lượng

Định nghĩa độ chệch (Bias)

Độ chệch đo lường sự khác biệt giữa giá trị kỳ vọng (trung bình)của ước lượng và giá trị thực của tham số

Bias(ˆ θ) = E[ˆ θ] − θ

Ước lượng tham số

Định nghĩa ước lượng và đặc tính của ước lượng

Ước lượng không chệch

Định nghĩa ước lượng không chệch (unbiased estimator)

Một ước lượng ˆθ cho θ gọi là không chệch (unbiased) khi và chỉ

khi:

E[θ] = θˆ

Ước lượng tham số

Định nghĩa ước lượng và đặc tính của ước lượng

Ví dụ ước lượng không chệch

Cho X1, X2, , X n là các biến ngẫu nhiên độc lập và cùng phân

phối có kỳ vọng µ Khi đó trung bình cộng của các mẫu ¯ X là ước lượng không chệch cho µ.

Cho X là biến ngẫu nhiên biểu diễn mặt của đồng xu đồng chất, Y

là biến ngẫu nhiên biểu diễn mặt của xúc xắc đồng chất Không

gian mẫu của X là Ω X = {0, 1}, không gian mẫu của Y là

112

112

112

112

12

112

112

112

112

112

P(X = x , Y = y ) = 121 với ∀x ∈ Ω X , ∀y ∈ Ω Y

Phương pháp ước lượng hợp lý cực đại

Hàm hợp lý

Nhắc lại: hàm khối xác suất kết hợp

Cho X và Y là 2 biến ngẫu nhiên rời rạc Hàm khối kết hợp

p X ,Y (x , y ) của X và Y được định nghĩa là:

p X ,Y (x , y ) = P(X = x, Y = y )

Cho X = (X1, X2, , X n) là vector ngẫu nhiên rời rạc,

x = (x1, x2, , x n) là một vector giá trị cụ thể mà vector ngẫu

nhiên X có thể nhận Hàm khối pX (x) được định nghĩa là:

Với X = (X1, X2, , X n) là vector ngẫu nhiên liên tục, hàm mật

độ của X được gọi là fX (x) với x thuộc miền giá trị D X của X.

Mặc dù P(X = x) = 0 với mọi x ∈ D X, giá trị của hàm mật độ xác

suất vẫn thể hiện được khả năng vector ngẫu nhiên nhận giá trị x

thông qua trực giác tương tự như hàm mật độ của một biến ngẫu

nhiên liên tục: P(x ≤ X ≤ x + ∆x) ≈ f X (x )∆x

Phương pháp ước lượng hợp lý cực đại

Hàm hợp lý

Tính độc lập và cùng tuân theo phân phối (i.i.d.)

Cho X = (X1, X2, , X n ) là vector ngẫu nhiên với X i

(i = 1, 2, , n) độc lập và cùng phân phối (independent and

identically distributed - i.i.d ), x = (x1, x2, , x n)⊤ là một

vector giá trị cụ thể mà vector ngẫu nhiên X có thể nhận Hàm

khối/mật độ kết hợp pX (x) biểu diễn được dưới dạng

Cho X1, X2, , X n là các biến ngẫu nhiên và D = (x1, x2, , x n) là

các giá trị quan sát được của X1, X2, , X n Hàm hợp lý

(likelihood) được xác định bởi:

L(θ; D) B p X1,X2, ,X n (D; θ)

Diễn giải: hàm hợp lý ở đây đúng bằng hàm khối (hay hàm mật

Cho X1, X2, , X n là các biến ngẫu nhiên i.i.d cùng phân phối

f X n (x n ) và D = (x1, x2, , x n ) là các giá trị quan sát được của X1,

X2, , X n Hàm hợp lý có thể được tính đơn giản hơn là:

Phương pháp ước lượng hợp lý cực đại

Hàm hợp lý

Ví dụ hàm hợp lý

Giả sử bạn tung 10 đồng xu, nhận được kết quả

{ngửa, ngửa, sấp, ngửa, ngửa, ngửa, sấp, ngửa, ngửa, sấp}

Xây dựng hàm hợp lý

Mô hình hoá: Cho X1, X2, , X10là các biến ngẫu nhiên biểu

diễn kết quả của 10 đồng xu

Khi đó X1, X2, , X10 là các biến ngẫu nhiên i.i.d lấy từ tổng thể

X tuân theo phân phối Bernoulli với tham số p ∈ [0; 1] là xác suất

thành công (ra mặt ngửa) Giá trị quan sát được

D = {1, 1, 0, 1, 1, 1, 0, 1, 1, 0}.

Phương pháp ước lượng hợp lý cực đại

Phương pháp ước lượng hợp lý cực đại

Phương pháp MLE

Cho X1, X2, , X n là các biến ngẫu nhiên i.i.d và

D = (x1, x2, , x n ) là các giá trị quan sát được của X1, X2, , X n.Khi đó, ước lượng hợp lý cực đại (maximum likelihood estimator)

của θ là:

ˆMLE= arg max

θ L(θ; D)

Động lực: Hàm hợp lý thể hiện xác suất thu được bộ dữ liệu D,

vậy bộ tham số cực đại hóa giá trị hàm hợp lý sẽ ứng với việc xácsuất quan sát được D là cao nhất

Phương pháp ước lượng hợp lý cực đại

Phương pháp ước lượng hợp lý cực đại

Ví dụ về ước lượng MLE

Phương pháp ước lượng hợp lý cực đại

Phương pháp ước lượng hợp lý cực đại

Ví dụ về ước lượng MLE

Giải phương trình đạo hàm bằng 0:

S

p = n − S

1 − p S(1 − p) = (n − S)p

Phương pháp ước lượng hợp lý cực đại

Phương pháp ước lượng hợp lý cực đại

Tổng kết

Ước lượng tham số trong xây dựng mô hình tạo sinh

Ý tưởng và kỹ thuật tính toán của phương pháp ước lượnghợp lý cực đại

Bài tập: Tìm ước lượng MLE cho bộ tham số của phân phối

chuẩn N (µ, σ2) khi chưa biết µ và σ2 Các ước lượng tìm được cóphải là ước lượng không chệch không?