BÀI 3: MÔ HÌNH HỒI QUY TUYẾN TÍNH pdf

MÔ HÌNH HỒI QUY TUYẾN TÍNH ĐƠN • Ý nghĩa của các hệ số hồi quy ước lượng.. Nội dung bài này giới thiệu một mô hình hồi quy đơn giản nhất và đưa ra các phương pháp ước lượng, kiểm định gi

BÀI 3 MÔ HÌNH HỒI QUY TUYẾN TÍNH ĐƠN

• Ý nghĩa của các hệ số hồi quy ước lượng

• Các giả thiết cơ bản của phương pháp OLS

• Hệ số xác định r2 đo độ phù hợp của hàm hồi quy

• Khoảng tin cậy và kiểm định giả thuyết cho các hệ số hồi quy

• Phân tích phương sai – kiểm định về

sự phù hợp của mô hình

• Dự báo

• Phương pháp OLS

• Các giả thiết cơ bản của phương pháp bình

phương tối thiểu

• Hệ số xác định r2 đo độ phù hợp của hàm

hồi quy mẫu

• Ước lượng khoảng cho hệ số hồi quy

• Kiểm định giả thuyết về các hệ số hồi quy

• Phân tích phương sai trong mô hình hồi quy

• Dự báo

Thời lượng

• 12 tiết

• Đề nghị học viên ôn lại phần ước lượng

và kiểm định giả thiết trong môn lý thiết xác suất và thống kê toán

• Theo dõi kỹ bài giảng

• Xem các ví dụ cho mỗi phần bài giảng

• Làm các ví dụ và trả lời câu hỏi trắc nghiệm

TÌNH HUỐNG DẪN NHẬP

Tình huống

Công ty dầu ăn Tường An đang xem xét việc giảm giá bán sản

phẩm (loại bình 5 lít) để tăng lượng hàng bán ra, đồng thời quảng

bá sản phẩm của mình đến khách hàng Người quản lí của công ty

muốn tính toán xem nếu sản phẩm này được giảm giá đi 1000

đồng/lít thì lượng hàng trung bình bán ra sẽ thay đổi thế nào Đồng

thời, nếu như giảm giá 1000 đồng cho 1 lít mà lượng hàng bán

thêm được là nhiều hơn 50000 sản phẩm thì công ty sẽ tiến hành 1

chiến dịch khuyến mại trong 1 tháng với giá giảm đi là 10000/lít

Để tiến hành nghiên cứu này, phòng marketing của công ty đã dựa vào các số liệu bán hàng của công ty trong vòng 15 tháng qua (n =15 quan sát) để thu thập số liệu về giá bán (P) và lượng bán (Q) cho loại dầu ăn này Nghiên cứu viên sau khi tiến hành các thống

kê mô tả đã quyết định dùng hàm cầu dạng tuyến tính để xem xét ảnh hưởng của giá đến lượng bán: Qi = β + β1 2 iP u+ i

Dùng số liệu của mẫu, ước lượng được hàm hồi quy mẫu có dạng

ˆQ 6227 30.43P= −

Câu hỏi

• Theo kết quả của mô hình, khi giá giảm 1 đơn vị, lượng hàng bán ra thay đổi thế nào?

• Liệu khi giá giảm đi 1000 đồng 1 lít thì lượng hàng bán thêm lớn hơn được 50000 sản phẩm như các nhà nghiên cứu muốn kiểm tra không?

• Giá bán quyết định bao nhiêu % trong sự thay đổi của lượng bán?

• Nếu giá bán là 150000 đồng 1 bình thì lượng bán dự báo là bao nhiêu?

Nội dung bài này giới thiệu một mô hình hồi quy đơn giản nhất và đưa ra các phương pháp ước lượng, kiểm định giả thiết và dự báo Đó là mô hình hồi quy tuyến tính đơn hay còn được gọi là

mô hình hồi quy 2 biến, mô hình đề cập đến một biến độc lập X và một biến phụ thuộc Y

Trong bài này chúng ta sẽ ước lượng hàm hồi quy tổng thể PRF dựa trên thông tin mẫu Mặc dù

có rất nhiều phương pháp ước lượng hàm hồi quy tổng thể nhưng chúng ta sẽ sử dụng phương pháp thường dùng là phương pháp bình phương tối thiểu (OLS) (Ordinary Least Square)

BÀI TOÁN

Cho biến độc lập X và biến phụ thuộc Y, giả sử ta có hàm

hồi quy tổng thể (PRF) có dạng tuyến tính:

Y = E(Y | X ) u + = β + β X + (3.1) u

Với một mẫu quan sát (X ,Y ),(X ,Y ), ,(X ,Y ) 1 1 2 2 n n

Ta có: hàm hồi quy mẫu (SRF)

i ˆ 1 ˆ 2 i

ˆY = β + β X (3.2) và: Yi= β + βˆ1 ˆ2Xi+ u ˆi = Yˆi+ (3.3) u ˆi

n

1 2

i 1 2 i

i 1 1

n

1 2

i i 1 2 i

i 1 2

tối thiểu

phương tối thiểu

Phương pháp bình phương tối thiểu đem lại các ước lượng với các tính chất như sau:

• Ứng với một mẫu ((X , Y ),(X , Y ), (X , Y )) cho trước, hệ số 1 1 2 2 n n β βˆ ˆ1, 2được xác

định duy nhất

• Đường thẳng của phương trình hồi quy mẫu (SRF) ˆYi = β + βˆ1 ˆ2Xi đi qua điểm có

toạ độ giá trị trung bình (X, Y)

• Giá trị trung bình của các ước lượng của ˆYi bằng giá trị trung bình của các quan sát

• Giá trị trung bình các phần dư ˆu bằng 0 i

n i

Bây giờ ta sẽ chứng minh một số tính chất trên:

o Hiển nhiên vì hệ phương trình (3.6) có nghiệm duy nhất

o Hiển nhiên vì giá trị của β βˆ ˆ1, 2là một hàm của mẫu

o Thay điểm (X, Y) vào phương trình hồi quy mẫu, ta có:

o Dễ dàng thấy n i i n i 1 2 i

i 1 i 1

ˆ ˆˆ

Khi phân tích hồi quy, mục đích của chúng ta là tìm phương trình hồi quy mẫu thông qua việc ước lượng các hệ số β β Dựa vào dữ liệu mẫu ta thu được các ước lượng 1, 2tương ứng là β βˆ ˆ1, 2 Nhưng β βˆ ˆ1, 2là các ước lượng điểm của β β Vì thế ta chưa biết 1, 2được chất lượng của các ước lượng này thế nào Ta cần đưa ra một số các giả thiết của phương trình bình phương tối thiểu để thu được các

ước lượng tốt nhất cho β β Từ đó ta cũng sẽ thu 1, 2

được giá trị ˆYi là ước lượng tốt nhất cho E(Y | X ) i

Chất lượng của các ước lượng sẽ phụ thuộc vào các

yếu tố sau:

• Dạng hàm của mô hình được chọn

• Phụ thuộc vào các X và i u i

• Phụ thuộc vào cỡ của mẫu

Vấn đề về dạng hàm của mô hình được lựa chọn chúng ta sẽ xem xét ở bài 7 Ta sẽ đưa ra các giả thiết cho X và i u để các ước lượng thu được không chệch và có iphương sai nhỏ nhất

• Giả thiết 1: Biến giải thích X có giá trị quan sát X khác với ít nhất 1 giá trị còn ilại, tức là phương sai mẫu hiệu chỉnh không suy biến:

• Giả thiết 2: Giá trị trung bình của sai số có thể mang dấu âm hoặc dương đối với

mỗi giá trị quan sát nhưng về mặt trung bình thì bằng 0

• Giả thiết 3: Các giá trị của X được cho trước và không ngẫu nhiên, tức là mỗi X iđược cho trước và không phải là biến ngẫu nhiên Điều đó có nghĩa là X và i u i

là không tương quan với nhau

Định lý Gauss-Markov

Giả sử ta có mô hình hồi quy tuyến tính, khi đó với

các giả thiết 1-5 ta có ước lượng bình phương tối

thiểu là các ước lượng tuyến tính không chệch và có

phương sai nhỏ nhất trong lớp các ước lượng tuyến

tính không chệch

Định lý Gauss-Markov cho một khẳng định là các

ước lượng β βˆ ˆ1, 2của β β có được bằng phương pháp bình phương tối thiểu là các 1, 2ước lượng không chệch và có phương sai tối thiểu trong các ước lượng không chệch của β β 1, 2

Trong phần 3.1 ta có các ước lượngβ βˆ ˆ1, 2của β β theo phương pháp bình phương tối 1, 2thiểu là

XY (X)(Y)ˆ

Với các giả thiết 1-5 của phương pháp bình phương nhỏ nhất, ta có phương sai và độ

lệch chuẩn của các ước lượng là

2

2 n

2 i

i 1

ˆVar( )

i 1

2 i

i 1

Xˆ

i 1

2 i

i 1

Xˆ

với σ =Var(u )i , se: sai số tiêu chuẩn (standard error)

Do σ chưa biết nên dựa vào dữ liệu mẫu đã cho ta 2

thu được ước lượng của σ là 2 σ được xác định ˆ2

σ là sai số tiêu chuẩn của ước lượng (standard error of the estimate)

Cho hai biến X và Y, để xác định mối quan hệ của X và Y có dạng tuyến tính hay

không ta đưa ra một đại lượng để đo mức độ phụ thuộc tuyến tính giữa X và Y

ESS (Explained sum of squares) là tổng bình phương các

sai lệch giữa giá trị ˆYi và trung bình của nó

n 2 i

i 1ˆ

=

=∑ (3.13) (3.12) RSS (Residual sum of squares) là tổng tất cả các bình

phương sai lệch giữa giá trị quan sát Y và giá trị i ˆYi nhận

được từ hàm hồi quy hay gọi là tổng các phần dư

Từ (3.10), (3.11), ( 3.12), (3.13) ta có:

Chia hai vế cho TSS ta có:

ESS RSS1

n

2 i

i 1

ˆ(Y Y)ESS

là phương sai mẫu của X và Y Ngoài ra vì

i 1

x yˆ

x

=

=

β =∑

∑ nên (3.17) có thể được viết

lại như sau:

2 n

i i

i 1 2

Ta thấy rằng r chính là hệ số tương quan mẫu của X và Y

Các tính chất của hệ số tương quan:

• r có thể âm hoặc dương

• r đo độ phụ thuộc tuyến tính giữa X và Y

Trong phần trước ta đã thu được các ước lượng

điểm của β và 1 β theo phương pháp bình phương 2

nhỏ nhất (OLS) dựa trên các giả thiết cơ bản về sai

số ngẫu nhiên u là: i

• E(u ) 0.i =

iVar(u )= σ

• Cov(u , u ) 0i j = , i j∀ ≠

Khi đó các ước lượng điểm thu được tương ứng là β βˆ ˆ1, 2 có tính chất không chệch và

có phương sai nhỏ nhất Tuy nhiên, các ước lượng điểm không cho ta biết được độ sai lệch của chúng so với giá trị thực, vì vậy ước lượng khoảng cho ta nhiều thông tin hơn

so với ước lượng điểm Để có thể tìm được ước lượng khoảng cho các tham số β β 1, 2chúng ta cần xác định được phân phối xác suất của ˆβ1 và ˆβ2 Các phân phối xác suất này phụ thuộc vào phân phối xác suất của u Vậy ta đưa thêm giả thiết về phân phối ixác suất của u như sau: i

Giả thiết: u có phân phối chuẩn i N(0;σ , 2)

Với giả thiết thêm vào đó, β βˆ ˆ1, 2 còn có các tính chất sau:

• β βˆ ˆ1, 2 là các ước lượng vững, tức là khi cỡ mẫu đủ lớn thì chúng hội tụ đến giá trị

n 2 i

2 i 1 2

2 i

i 1

Xˆ

ˆ

Z β −β

=σ

có phân phối chuẩn tắc N(0;1)

• β có phân phối chuẩn với: 2

2 2

ˆE( )β = β ,

2 2

2 i

i 1

ˆVar( )

χ =

σ có phân phối khi-bình phương với n 2− bậc tự do

• Các ước lượng β βˆ ˆ1, 2 có phương sai nhỏ nhất trong số các ước lượng không chệch của β β 1, 2

Ta có Yi = β + β1 2Xi+u i Từ giả thiết của u ta thu được các thống kê i Z và χ có 2quy luật phân phối chuẩn tắc và khi bình phương với (n 2)− bậc tự do Vậy ta có thể tìm được khoảng ước lượng cho các tham số β β và 1, 2 σ 2

3.4 Ước lượng khoảng cho hệ số hồi quy

Trong mục 3.3 với giả thiết về phân phối chuẩn

2N(0;σ của ) u ta có: i

1, 2

σ σ cũng chưa biết, vì vậy ta dùng ước lượng không chệch của σ là:2

n 2 i

2 i 1

ˆuRSS

với: Se( )β =ˆ1 Var( )β ; ˆ1 se( )β =ˆ2 Var( )β ˆ2

Các thống kê này có phân phối student với (n – 2) bậc tự do Đồng thời, thống kê

2 2

2

ˆ(n 2)σ

σ

có phân phối khi bình phương với (n – 2) bậc tự do

Với độ tin cậy 1− α cho trước, ta có:

(n 2) (n 2)

1 (ˆ1 tα − se( );ˆ1 ˆ1 tα − se( ))ˆ1

3.4.2 Khoảng ước lượng cho β2

Tương tự như trên ta có, với độ tin cậy 1− α cho

2ˆ(n 2)− σ

σvới 2

Kiểm định giả thuyết thống kê là một trong những nhiệm vụ quan trọng của nhà kinh

tế lượng Chẳng hạn, trong mô hình hồi quy (3.1) ta thấy nếu β = thì Y sẽ độc lập 2 0với X, tức là X không ảnh hưởng tới sự thay đổi của Y Tuy nhiên, ta lại chưa biết β 2

có bằng 0 hay không vì vậy ta cần kiểm định giả thuyết này

Trong các mục trước, chúng ta đã đưa ra các ước lượng điểm và ước lượng khoảng cho hệ số hồi quy β β Các ước lượng khoảng này sẽ giúp ta giải quyết bài toán 1, 2kiểm định giả thuyết về β β 1, 2

Ta đã biết bài toán kiểm định giả thuyết gồm các bước cơ bản sau:

• Bước 1: Thiết lập giả thuyếtH và đối thuyết0 H 1

• Bước 2: Xây dựng tiêu chuẩn thống kê để kiểm định, xác định quy luật phân phối xác suất của tiêu chuẩn thống kê khi giả thuyếtH được cho là đúng 0

• Bước 3: Xây dựng miền bác bỏ giả thiết W ứng với mức ý nghĩa α cho trước

• Bước 4: So sánh giá trị mẫu (quan sát được) của tiêu chuẩn thống kê ở bước thứ 2 với miền bác bỏ giả thuyết W ở bước 3 để đưa ra kết luận bác bỏ hay chấp nhận giả thuyết H 0

Ta đưa giả thuyết H : 0 *

β có phân phối Student với n – 2 bậc

tự do Ta sẽ dựa vào thống kê này để tiến hành kiểm

định giả thuyết cho β Ta có các bài toán kiểm định 1

giả thuyết sau:

Bài toán 1: Kiểm định hai phía

Bài toán 2: Kiểm định một phía (phải)

Miền bác bỏ:W= t( (n-2)α ;+∞ , với ) t(n-2)α là phân vị

mức α của phân phối Student T 1

Bài toán 3: Kiểm định một phía (trái)

Trong mục 3.4 ta cũng thấy nếu giả thuyết H đúng 0

thì thống kê

2 2 2

có phân phối Student với n – 2 bậc tự do Do đó, ta có

thể tiến hành các bài toán kiểm định giả thuyết sau

p

t là phân vị mức p của phân phối Student T 2

Bài toán 2: Kiểm định một phía (phải)

Miền bác bỏ: W (t= (n-2)α ;+∞ , với ) t(n-2)α là phân vị mức α của phân phối Student T 2

Bài toán 3: Kiểm định một phía (trái)

2ˆ(n 2)− σ

χ là phân vị mức p của phân phốiχ 2

Bài toán 2: Kiểm định một phía (phải)

Bài toán 3: Kiểm định một phía (trái)

Với một mẫu cụ thể ta có giá trị quan sát của thống kê T (i 1, 2)i = là: i *i

Ta có: p-value=P T{ i >tiqs} i 1, 2=

Xác suất này gọi là xác suất ý nghĩa, đây chính là

xác suất mắc sai lầm loại 1 (tức là xác suất để bác bỏ

0

H khi H đúng) 0

Ta thấy rằng nếu xác suất ý nghĩa càng cao thì hậu quả

việc bác bỏ H khi 0 H đúng càng nghiêm trọng, nếu 0

xác suất ý nghĩa càng nhỏ thì hậu quả của việc bác bỏ

saiH càng ít nghiêm trọng Vậy khi đã cho trước mức 0

ý nghĩa α (đây là xác suất giới hạn để được bác bỏ H ), nếu xác suất ý nghĩa không 0vượt quá α thì ta có thể bác bỏ H mà không sợ phạm sai lầm nghiêm trọng, còn nếu 0xác suất ý nghĩa lớn hơn α thì chưa có cơ sở để bác bỏH 0

Bây giờ ta có thể sử dụng xác suất ý nghĩa để tiến hành các bài toán kiểm định đối với các tham số β β 1, 2

• Kiểm định hai phía

Phương pháp kiểm định trên được gọi là phương pháp kiểm định theo miền tiêu chuẩn mà

ta đã biết trong giáo trình xác suất thống kê Ngoài phương pháp trên ta còn có phương pháp kiểm định giả thuyết theo p-value xác suất ý nghĩa, phương pháp này cũng đã được giới thiệu trong giáo trình xác suất-thống kê

Bước 1: Tính

*

i i iqs

Bước 2: Từ thống kê đó, tính xác suất ý nghĩa p-value = P T{ i >tiqs}

Bước 3: So sánh xác suất ý nghĩa đó với mức ý nghĩa α đã xác định từ trước, nếu p-value ≤ α thì bác bỏ giả thuyết H , còn nếu p-value 0 > α thì chấp nhận giả thuyết H 0

• Kiểm định một phía (trái)

i

ˆtSe( )

β − β

=

β ;

Bước 2: Tính p-value = 1 P T− { >tiqs}

Bước 3: So sánh xác suất ý nghĩa đó với mức ý nghĩa α đã xác định từ trước, nếu p-value ≤ α thì bác bỏ giả thuyếtH , còn nếu p-value 0 > α thì chấp nhận giả thuyếtH 0

VÍ DỤ 3.2

Từ ví dụ 3.1 hãy:

a) Tìm khoảng ước lượng cho các hệ số hồi quy với độ tin cậy 95%

b) Với mức ý nghĩa 5% có thể kết luận thu nhập của bố, mẹ có ảnh hưởng tới kết quả học tập của con cái hay không?

c) Tính ESS, TSS

Giải: Theo báo cáo của Eviews cho ví dụ 3.1 ta có:

a) Ta có các giá trị ước lượng của β β là 1, 2 β =ˆ1 4.785256, β =ˆ2 0.042094 và sai số chuẩn là: Se( ) 1.195385, Se( ) 0.017601.β =ˆ1 β =ˆ2 Vì cỡ mẫu n = 8, với mức tin cậy α =0.05, tra bảng phân phối student ta có: (7)

0.025

t =2.364624 Vậy ta có các khoảng ước lượng cho β β là: 1, 2

1 1

4.785265 2.364624x1.195385; 4.786265 2.36462x1.1953851.958629; 7.611901

⇒ β ∈Tương tự ta có: β ∈ −2 ( 2.78634; 2.86693 )

b) Ta cần kiểm định bài toán sau:

2

0.017601Se( )

Ta thấy giá trị tiêu chuẩn thống kê t2∉W, do đó chưa bác bỏ được H0 Như vậy

có thể kết luận thu nhập của bố mẹ không ảnh hưởng đến kết quả học tập của con cái một cách có ý nghĩa

Cách 2: Ta thấy giá trị p- value = 0.0539 > 0.05 vì vậy chưa thể bác bỏ được H0

c) Từ kết quả trong bảng ta có r2 = 0.488035, RSS = 8.155499, do đó theo công thức

Trong phần này chúng ta xét bài toán kiểm định giả

thuyết về hệ số hồi quy β theo một phương pháp 2

khác, đó là phương pháp phân tích phương sai

Ta xét bài toán kiểm định 0 2

Giả thuyết H nói lên rằng biến X không ảnh 0

hưởng tới Y, khi đó ta bác bỏ giả thuyết H cũng có nghĩa là ta bác bỏ giả thuyết cho 0rằng biến X không có ảnh hưởng tới biến Y

Trong các phần trước ta thấy nếu như giả thuyết H là đúng, tức là: 0 β = , thì thống kê 2 0

2

ˆ(n 2)− σ = RSS

có phân phối khi - bình phương với n – 2 bậc tự do, còn thống kê ESS2

σcũng có có phân phối khi-bình phương với 1 bậc tự do Mặt khác hai thống kê đó độc lập với nhau, vậy thống kê

2 2

1F

Ý nghĩa: Cách tiếp cận theo hướng phân tích phương sai như trên cho phép ta đưa ra

các phán đoán về độ phù hợp của mô hình hồi quy đang xét Cụ thể, nếu thống kê F có giá trị rất lớn (ứng với xác suất ý nghĩa rất nhỏ) thì ta có thể kết luận mô hình được lập phù hợp với số liệu quan sát Còn nếu thống kê F có giá trị nhỏ đến mức xác suất ý nghĩa tương ứng của nó lớn hơn mức ý nghĩa đã định (bằng 5% chẳng hạn) thì rõ ràng

mô hình là không phù hợp với số liệu, lúc đó cần tìm mô hình khác

Ta có bảng phân tích phương sai ngắn gọn như sau: