mô hình hồi quy đơn biến tuyến tính

, được xác định một cách duy nhất với n cặp giá trị quan sát X2 i , YiĐo lường độ chính xác các ước lượng bằng sai số chuẩn standard error – se.. Sai số chuẩn của hồi quy: là độ lệch tiê

CHƯƠNG IV

MÔ HÌNH HỒI QUY TUYẾN TÍNH

ĐƠN BIẾN

1 Bi t đế ược phương pháp ướ ược l ng bình phương nh nh t đ ỏ ấ ể ước

lượng hàm h i quy t ng th d a ồ ổ ể ựtrên s li u m uố ệ ẫ

2 Làm được các bài toán ướ ược l ng kho ng, ki m đ nh gi thi t v ả ể ị ả ế ềtham s c a mô hìnhố ủ

3 S d ng mô hình h i quy đ d ử ụ ồ ể ựbáo

M C Ụ

TIÊU

MÔ HÌNH HỒI QUY TUYẾN TÍNH ĐƠN BIẾN

MÔ HÌNH HỒI QUY TUYẾN TÍNH ĐƠN BIẾN

Mô hình hồi quy tuyến tính hai biến

Trong đó

 Sử dụng phương pháp bình phương nhỏ nhất thông thường (OLS) để tìm ,βˆ1 βˆ 2

1 ˆ

4.2 ƯỚC LƯỢNG MÔ HÌNH -

PHƯƠNG PHÁP OLS

Giả sử có n cặp quan sát (Xi, Yi) Tìm giá trị Ŷisao cho Ŷi gần giá trị Yi nhất, tức càng nhỏ càng tốt.

 Hay, với n cặp quan sát, muốn

 Bài toán thành tìm , sao cho f  min Điều kiện để đạt cực trị là:

1 i

i 2 1

i 1

n

1

i

2 i

=β

−β

−

−

=β

ε

i

n

1 i

i 2 1

i 2

n

1

i

2 i

= β

− β

−

−

= β

= +

n i

i

n i

i

n i

i i

n i

n i

i i

Y X

X X

Y X

n

2 2

1

2 1

ˆ ˆ

ˆ ˆ

β β

β β

Hay

4.2 ƯỚC LƯỢNG MÔ HÌNH -

PHƯƠNG PHÁP OLS

i i

X n

X

Y X n X

Y

1

2 2

1 2

) (

.

ˆ

β

X X

Y Y

i i

2

x

x

y ˆ

4.2 ƯỚC LƯỢNG MÔ HÌNH -

PHƯƠNG PHÁP OLS

, được xác định một cách duy nhất với n cặp giá trị quan sát (X2 i , Yi)

Đo lường độ chính xác các ước lượng bằng

sai số chuẩn (standard error – se).

Đo lường độ chính xác các ước lượng bằng

sai số chuẩn (standard error – se).

, là các đại lượng ngẫu nhiên, với các mẫu khác nhau, giá trị của chúng sẽ khác nhau

, là các đại lượng ngẫu nhiên, với các mẫu khác nhau, giá trị của chúng sẽ khác nhau

σ2: phương sai nhiễu của tổng thể

σ2 = Var (Ui )-> thực tế khó biết được giá trị σ2 -> dùng ước lượng không chệch

var: phương sai

se: sai số chuẩn

2

2 2

Sai số chuẩn của các ước lượng

4.2 ƯỚC LƯỢNG MÔ HÌNH -

PHƯƠNG PHÁP OLS

2 2

X σβ

Sai số chuẩn của các ước lượng

4.2 ƯỚC LƯỢNG MÔ HÌNH -

PHƯƠNG PHÁP OLS

Sai số chuẩn của hồi quy: là

độ lệch tiêu chuẩn các giá trị

Y quanh đường hồi quy mẫu

2 ˆ

Sai số chuẩn của các ước lượng

4.2 ƯỚC LƯỢNG MÔ HÌNH -

PHƯƠNG PHÁP OLS

1 SRF đi qua trung bình mẫu Y = β ˆ1 + β ˆ2 X

2 Yˆ =Y

3 ∑e i = 0

4 ∑Y∧ e i = 0

5 ∑e i X i = 0

Sai số chuẩn của các ước lượng

4.2 ƯỚC LƯỢNG MÔ HÌNH -

PHƯƠNG PHÁP OLS

 Ví dụ áp dụng:

 Quan sát về thu nhập (X: triệu đồng/năm) và

chi tiêu (Y: triệu đồng/năm) của 10 người, ta

có được các số liệu sau:

Xây dựng hàm hồi quy mẫu?

 TSS (Total Sum of Squares – đánh giá mức độ biến thiên của biến phụ thuộc so với giá trị trung bình của nó)

 ESS: (Explained Sum of Squares – mức độ biến thiên của biến phụ thuộc được giải thích bởi hàm hồi quy mẫu)

 RSS: (Residual Sum of Squares – Mức độ biến thiên của biến phụ thuộc gây ra bởi các yếu tố ngẫu nhiên)

RSS

SRF

TSS Y

RSS TSS

ESS

+

=

1

Hàm SRF phù hợp tốt với các số liệu quan sát

(mẫu) khi gần Yi Khi đó ESS lớn hơn RSS

Hệ số xác định R2: đo mức độ phù hợp của hàm hồi quy mẫu

Trong mô hình 2 biến

iy

x R

2 1

2

2 2 2

i

y

e TSS

RSS TSS

ESS R

1 2 1

Nhược điểm: R 2 tăng khi số biến X đưa vào mô hình tăng, dù biến đưa vào không có ý nghĩa.

=>Sử dụng R 2 điều chỉnh (adjusted R 2 -  R 2 ) để quyết

Hệ số tương quan : đo mức độ chặt chẽ của quan

hệ tuyến tính giữa 2 đại lượng X và Y

x y

x

y r

1

2 1

2 1

Hệ số tương quan r

4.3 R^2 – PHẢN ÁNH MỨC ĐỘ GIẢI THÍCH

CỦA HÀM HỒI QUY MẪU

r đo sự kết hợp tuyến tính hay phụ thuộc tuyến tính, không có ý nghĩa để mô tả quan hệ phi tuyến.

4.4 CÁC GIẢ THIẾT CỦA MÔ HÌNH

 Giả thiết 1: Các giá trị Xi được xác định trước và không phải là đại lượng ngẫu nhiên

 Giả thiết 2: Kỳ vọng hoặc trung bình số học của các sai số là bằng 0 (zero

conditional mean), nghĩa là E(U/Xi) = 0

 Giả thiết 3: Các sai số U có phương sai bằng nhau (homoscedasticity)

Var(U/Xi) = σ2

 Giả thiết 4: Các sai số U không có sự

tương quan, nghĩa là

Cov(Ui, Ui’) = E(UiUi’) = 0, nếu i ≠ i’

4.4 CÁC GIẢ THIẾT CỦA MÔ HÌNH

 Giả thiết 5: Các sai số U độc lập với biến giải thích

Cov(Ui, Xi) = 0

 Giả thiết 6: Đại lượng sai số ngẫu nhiên

có phân phối chuẩn Ui ~ N(0, δ2 )

4.4 CÁC GIẢ THIẾT CỦA MÔ HÌNH

Định lý Gauss-Markov : Với những giả thiết (từ 1 đến 5) của mô hình hồi quy tuyến tính

cổ điển, mô hình hồi quy tuyến tính theo

phương pháp bình phương nhỏ nhất là ước lượng tuyến tính, không chệch, hiệu quả

nhất.

4.4 CÁC GIẢ THIẾT CỦA MÔ HÌNH

2 / )

(

; 1

) ( χ 2 > χ 2 = − α P χ 2 > χ 2 = α

P

, : giá trị của đại lượng ngẫu nhiên phân phối theo quy luật với bậc tự do n-2 thỏa điều kiện

2

2 /

σ

χ −α ≤ ( − 2) ˆ ≤ α ) = 1−

2 2

2 / 1

n P

αχ

σσ

χ

σ

α α

ˆ)2(

ˆ)2

(

2 / 1

2 2

2 2 /

2 n

n P

2 2

+∞

Khoảng tin cậy bên phải

Khoảng tin cậy bên trái

4.5 ƯỚC LƯỢNG KHOẢNG TIN CẬY

CHO CÁC THAM SỐ

Ước lượng cho phương sai sai số σ 2

2

2 1 2

ˆ

( 2)0; n σ

χ

µ ( 2)( ) t n

se

β ββ

Khoảng tin cậy đối xứng

Khoảng tin cậy bên phải

Khoảng tin cậy bên trái

4.6 KIỂM ĐỊNH GIẢ THIẾT

* 1

* 0

:

:

i i

* 0

H

H

β β

Cách 1: Phương pháp giá trị tới hạn

Bước 1: Tính t

Bước 2: Tra bảng t-student để có giá trị tới hạn

Bước 3: Quy tắc quyết định

Nếu bác bỏ H0

Nếu chấp nhận H

)

ˆ (

ˆ

2

* 2

> t n

t

≤ t t

* 1

* 0

H

β β

t

4.6 KIỂM ĐỊNH GIẢ THIẾT

Kiểm định giả thiết về các tham số β

α/2 α/2

1−α

Miền bác bỏ Ho Miền bác bỏ Ho

Miền chấp nhận Ho

4.6 KIỂM ĐỊNH GIẢ THIẾT

Kiểm định giả thiết về các tham số β

Cách 2: Phương pháp khoảng tin cậy

Khoảng tin cậy của βi:

với mức ý nghĩa α trùng với mức ý nghĩa của H0

*

i i

i i

ˆ ˆ

4.6 KIỂM ĐỊNH GIẢ THIẾT

Kiểm định giả thiết về các tham số β

i

i i

T

P ( > i ) =

4.6 KIỂM ĐỊNH GIẢ THIẾT

Kiểm định giả thiết về các tham số β

Loại GT H0 H1 Miền bác bỏ

Hai phía βi = βi* βi ≠ βi* |t|>t α/2 (n-2) Phía phải βi ≤ βi* βi > βi* t>t α (n-2)

Phía trái βi ≥ βi* βi < βi* t<t α (n-2)

4.6 KIỂM ĐỊNH GIẢ THIẾT

Kiểm định giả thiết về các tham số β

4.6 KIỂM ĐỊNH GIẢ THIẾT

Kiểm định giả thiết về các tham số β

Kiểm định bên phải

Kiểm định bên trái

Kiểm định giả thiết về các tham số β

Kiểm định giả thiết H0: R 2 = 0

(tương đương H0: β2= 0 ) với mức ý nghĩa α hay độ tin cậy 1 - α

Bước 1:

Tính

a Phương pháp giá trị tới hạn

Bước 2: Tra bảng F với mức ý nghĩa α và hai bậc tư do (1, n-2)

Bước 3: Quy tắc quyết định

(

R

n

R F

Miền bác bỏ Ho Miền chấp nhận Ho

F

α = 0,05 Thống kê F

4.6 KIỂM ĐỊNH GIẢ THIẾT

Kiểm định hệ số xác định R^2

 Ví dụ áp dụng:

Từ số liệu đã cho của ví dụ trước,

yêu cầu kiểm định sự phù hợp của mô hình với

độ tin cậy 95%

?

4.6 KIỂM ĐỊNH GIẢ THIẾT

Dấu của các hệ số hồi quy ước lượng được phù

hợp với lý thuyết hay tiên nghiệm không?

Các hệ số hồi quy ước lượng được có ý nghĩa

về mặt thống kê hay không?

Mức độ phù hợp của mô hình R^2 và mô hình

có thực sự phù hợp?

Kiểm tra xem mô hình có thỏa mãn các giả thiết

của mô hình hồi quy tuyến tính cổ điển hay

4.6 KIỂM ĐỊNH GIẢ THIẾT

Đánh giá kết quả hồi quy

Mô hình hồi quy

Cho trước giá trị X = X0, dự báo giá trị trung bình và giá trị cá biệt của Y với mức ý nghĩa α hay độ tin cậy 1 - α

Ước lượng điểm

ˆ ˆ

Dự báo giá trị trung bình của Y

)

ˆ

;

ˆ ( )

/

E

) 2 / , 2 (

1 ( ˆ

)

ˆ

2 0

2 0

Y

Với:

4.7 DỰ BÁO

Dự báo giá trị cá biệt của Y

0 0

1 1

( ˆ )

ˆ

2 0

2 0

0

+ +

Y Y

4.7 DỰ BÁO