đề tài phương pháp phân tích phần dư trong hàm hồi quy

bản chất của phần dư trong hàm hồi quy -Chúng ta có thế xây dựng được mô hình hồi quy bội dù chúng ta có đưa vào baonhiêu biến đi chăng nữa thì yếu tố phần dư vẫn tồn tại vì yếu tố hiễ

BÁO CÁO TỐT NGHIỆP

Đề tài Phương pháp phân tích phần

dư trong hàm hồi quy

MỤC LỤC

CHƯƠNG 1 KHÁI NIỆM CƠ SỞ PHÂN TÍCH PHẦN DƯ HÀM HỒI QUI 1.1 Khái niệm ,cơ sở phân tích hàm hồi qui 3 1.2 bản chất của phần dư trong hàm hồi quy 4 1.3 sự cần yhieets phải phân tích phần dư trong hàm hồi quy

4 1.4 Ý nghĩa của việc phân tích phần dư tỏng hàm hôi quy 4

CHƯƠNG 2 : NỘI DUNG PHÂN TÍCH PHẦN DƯ TRONG

HÀM HỒI QUY

2.1 Mô hình hồi qui đơn biến ( Hai biến )

52.1.1 Khái niệm về hồi quy 5 2.1.2.Nội dung phân tích phần dư ei theo phương pháp bình phương nhỏ

nhất OLS 6-7 2.1.3.Nội dung phân tích phần dư theo phương pháp bình phương nhỏ nhất

tổng quát 8-9 2.1.4 phân tích phần dư trong hệ số đo sự phù hợp của hàm hồi quy mẫu 10-112.1.5 Một số dạng hàm thường được sử dụng 12-15 2.2 Mô hình hồi quy tuyến tính bộ

16 2.2 1 Xây dựng mô hình 16 2 2.2 Mô hình hồi quy 3 biến 16-17 2.2 3 Mô hình hồi quy K biến 18

CHƯƠNG 3 ỨNG DỤNG CỦA PHẦN DƯ TRONG PHÂN TÍCH HÀM HỒI QUY

3.1 Phát hiện phương sai của sai số thay đổi 19

3.1.1 Xem xét đồ thị 20 3.1.2 Kiểm đinh Glejser 20

3.1.3 Kiểm đinh While 20-21

3.1.4 Kiểm định Breusch-Paga 21-22 3.2 Phát hiện có sự tương quan 22 3.2.1 Phương pháp đồ thị 22-23 3.2.2 Phương phá kiểm định số lượng 24 3.3 Phân tích phần dư để kiểm tra các giả định trong 24-26

phân tích hồi qui tuyến tính

CHƯƠNG 1 KHÁI NIỆM CƠ SỞ PHÂN TÍCH PHẦN DƯ HÀM HỒI QUI

1.1 Khái niệm ,cơ sở phân tích hàm hồi qui

ei :được gọi là phần dư hay chính là ước lượng của Ui

Giá trị ước lượng của Yi

Hình biểu diễn phần dư ei vậy phần dư hàm hồi quy là ước lượng của Ui hay là giá trị chênh lệch giữa biến

ei = Yi - Yˆ i

phần dư hàm hồi quy có thể âm có thể dương

1.2 bản chất của phần dư trong hàm hồi quy

-Chúng ta có thế xây dựng được mô hình hồi quy bội dù chúng ta có đưa vào baonhiêu biến đi chăng nữa thì yếu tố phần dư vẫn tồn tại vì yếu tố hiễn nhiên củachúng ,ngaycả khi các biến bị loại bỏ khỏi mô hình

- ei được sử dụng như một yếu tố đại diienj cho tất cả các biến không có trong môhình ngay cả khi các biến bị loại bỏ khỏi mô hình là biến nào đi chăng nữa khi đóquá trình chuyển đổi mô hình hồi quy tổng thể PRF sang mô hình hồi quy mẫu SRFluôn luôn tồn tại phần dư ei như một yếu tố ngẫu nhiên

- Ngoài các biến giải thích đã có trong mô hình còn có một số biến khác nhưngảnh hưởng của chúng đến Y rất nhỏ Trong trường hợp này chúng ta có thể sử dụngyếu tố ngẫu nhiên Ui để đại diện cho chúng Tức phàn dư ei đại diện cho quá trìnhchuyển đổi mô hình PRF sang SRF , với ei là ước lượng của Ui

1.3 sự cần yhieets phải phân tích phần dư trong hàm hồi quy

quy cũng như các yếu tố khác có trong mô hình hồi quy

1.4 Ý nghĩa của việc phân tích phần dư tỏng hàm hôi quy

Việc phân tích phần dư trong hàm hồi quy là cơ sở là tiền đề trong tất cả cácphân tích của hàm hồi quy với cỏ sở ban đầu là tổng phần dư nhỏ nhất theo OLS

ta xác đinh được các biến có trong mô hình

1 1

i

CHƯƠNG 2 : NỘI DUNG PHÂN TÍCH PHẦN DƯ TRONG

HÀM HỒI QUY

2.1 Mô hình hồi qui đơn biến ( Hai biến )

2.1.1 Khái niệm về hồi quy

Phân tích hồi quy là tìm quan hệ phụ thuộc của một biến, được gọi là biến phụthuộc vào một hoặc nhiều biến khác, được gọi là biến độc lập nhằm mục đích ướclượng hoặc tiên đoán giá trị kỳ vọng của biến phụ thuộc khi biết trước giá trị củabiến độc lập.1

Một số tên gọi khác của biến phụ thuộc và biến độc lập như sau:

-Biến phụ thuộc: biến được giải thích, biến được dự báo, biến được hồi quy,

biến phản ứng, biến nội sinh

-Biến độc lập: biến giải thích, biến dự báo, biến hồi quy, biến tác nhân hay biến

kiểm soát, biến ngoại sinh

-Hàm hồi quy tổng thể và hồi quy mẫu

giả sử chúng ta có n cặp quan sát của Y và X khi đó xây dựng được mô hình hồi quy

cặp quan sát thứ i có giá trị tương ứng ( Xi , Yi ) ; i= 1,n Ta phải tìm Y sao cho

nó càng gần giá trị (Yi) có thể được tức phần dư

Hàm hồi quy tổng thể Y=   Xi

 2

1

2 1 1

i i

n 1

i i 1 2 i1

n 1 i

2 i

n 1

i i 1 2 i2

n 1 i

2 i

n

1

i

i i

2

XX

XXY

n

1

i

i i

2

x

xy

a Các tính chất của phần dư e i

(2) Các phần dư ei và Yi không tương quan với nhau: 



n

1 i i

iY 0e



n

1 i i

iX 0e

(4) Phần dư ei là yếu tố quan trọng ,trong quá trình đo sự phù hợp của hàm hồi quy

Từ RSS ( Residual sum of Squarses ) tổng bình phương của tất cả các sai lệch giữa các giá trị quan sát Y và giá trị nhận được từ hàm hồi quy





n 1 i

2 ie

1

)ˆ(

b Phương sai của phần dư có thể được ước tính như sau

2.1.3.Nội dung phân tích phần dư theo phương pháp bình phương nhỏ nhất

tổng quát

Để giải đáp cho câu hỏi khi phương sai của sai số thay đổi ,thì phương pháp bình

phương nhỏ nhất tổng quát là cần thiết Trước khi đi vào nội dung cụ thể chúng ta trình bày phương pháp bình phương nhỏ nhất có trọng số

 2

1

2 1 1

n

i

để thu được ước lượng

Còn phương pháp bình phương nhỏ nhất có trọng số cực tiểu tổng bình phương các phần dư có trọng số

1

2 1 1

i 2 i

1 i

i

w w

X w

1 w

* 1 1

*

i i i

 2

1

2 1 1

n

i

Lưu ý Trong quá trình phân tích phần dư đối với giá trị biến độc lập X hoặc giá

không Phương sai của phần dư được chỉ da bằng đọ rộng của biểu đồ phân giải của phần dư khi giảm hoặc tăng Nếu độ rộng của biểu đồ rãi của phần dư tăng hoặc giảm Khi X tăng thì giá trị giả thiết về phương sai hắng số có thể không thõa mãn

2.1.4 phân tích phần dư trong hệ số đo sự phù hợp của hàm hồi quy mẫu

Làm thế nào chúng ta đo lường mức độ phù hợp của hàm hồi quy tìm được cho

Hình 3.5 Phân tích độ thích hợp của hồi quy

SRF

i i

hồi quy

thuộc được giải thích bởi biến độc lập Nhưng một hàm hồi quy tốt phải có tính chấtmang tính tổng quát hơn Trong hồi quy tuyến tính cổ điển, người ta chọn tính chất tổng bình phương biến thiên không giải thích được là nhỏ nhất

1 i

2 i n

1 i

2 i n

2 i n

1 i

2 i n

2 iy



n 1 i

2 iyˆ



n 1 i

2 ieRSS

TSS(Total Sum of Squares): Tổng bình phương biến thiên của Y

ESS(Explained Sum of Squares): Tổng bình phương phần biến thiên giải thích được bằng hàm hồi quy của Y

RSS(Residual Sum of Squares) : Tổng bình phương phần biến thiên không giải thích được bằng hàm hồi quy của Y hay tổng bình phương phần dư.Ta có:

TSS = ESS + RSS

Đặt

TSS

RSS1TSS

2 y

2 x 2 2 n

1 i

2 i

n 1 i

2 i

2 2 n

1 i

2 i

n 1 i

2 i 2 2 n

1 n x

ˆ y

x ˆ y

2 i

n 1 i i i 2

x

xy

2 Y , X n

1 i

2 i n

1

i

2 i

2 n

1

i

i i

yx

yx

phụ thuộc tuyến tính hoàn hảo

2.1.5 Một số dạng hàm thường được sử dụng

a.Tuyến tính trong tham số

Trong mục 3.2.1 chúng ta đã đặt yêu cầu là để ước lượng theo phương pháp bình phương tối thiểu thì mô hình hồi quy phải tuyến tính Sử dụng tính chất hàm tuyến tính của các phân phối chuẩn cũng là phân phối chuẩn, dựa vào các giả định chặt chẽ và phương pháp bình phương tối thiểu, người ta rút ra các hàm ước lượng tham

số hiệu quả và các trị thống kê kiểm định

Hồi quy tuyến tính chỉ yêu cầu tuyến tính trong các tham số, không yêu cầu tuyến tính trong biến số

X 1

là mô hình tuyến tính trong các tham số nhưng phi tuyến theo biến số.

là mô hình phi tuyến trong các tham số nhưng tuyến tính trong biến số

Theo phương pháp tổng phần dư nhỏ nhất theo OLS ta xác đinh được các biến có

cũng như các yếu tố khác có trong mô hình hồi quy

1 1

yếu tố khác có trong mô hình hồi quy

1 1

i

Chúng ta sẽ chứng minh đặc tính đáng lưu ý của mô hình này là độ co dãn cầu

theo giá không đổi Định nghĩa độ co dãn:

Y

X X

Y X

Tổng quát, đối với mô hình logarit kép, hệ số ứng với ln của một biến số độc lập

là độ co dãn của biến phụ thuộc vào biến độc lập đó

-Mô hình Logarit-tuyến tính hay mô hình tăng trưởng

Gọi g là tốc độ tăng trưởng, t chỉ thời kỳ Mô hình tăng trưởng như sau

)g1ln(

Theo phương pháp tổng phần dư nhỏ nhất theo OLS ta xác đinh được các biến có

cũng như các yếu tố khác có trong mô hình hồi quy

0 X 0 ln(X)

Y Y = 1X2 ln(Y) ln(Y)

= ln(1) + 2ln(X)

 2

1 1

Hình Chuyển dạng Lin-log

Theo phương pháp tổng phần dư nhỏ nhất theo OLS ta xác đinh được các biến có

cũng như các yếu tố khác có trong mô hình hồi quy

1 1

Hình Dạng hàm nghịch đảo

Theo phương pháp tổng phần dư nhỏ nhất theo OLS ta xác đinh được các biến có

cũng như các yếu tố khác có trong mô hình hồi quy

1 1

Với X2,i, X3,i,…,Xk,i là giá trị các biến độc lập ứng với quan sát i

Hàm hồi quy mẫu

i i, k k i,

3 3 i, 2 2 1

i k k i

3 3 i 2 2 1 i i

3 3 i 2 2 1 i n

Y Y Y

đạt cực tiểu.

2 2.2 Mô hình hồi quy 3 biến

Hàm hồi quy tổng thể

i i 3 3 i 2 2 1

Hàm hồi quy mẫu

i i, 3 3 i, 2 2 1

i ˆ ˆ X ˆ X e

(1) Kỳ vọng của sai số hồi quy bằng 0: Eei X2i, X3i 0

(2) Không tự tương quan: covei, ej 0, i≠j

ievar 

(4) Không có tương quan giữa sai số và từng Xm: covei,X2i,covei,X3i,0

Để thu được các tham số của mô hình ta thực hiên phương pháp bình phương benhất OLS

1

, 3 3 , 2 2 1 1

i n

2 n

1 i

i, 3 i, 2 n

1 i 2 n

1 i 2

n 1 i

i, 3 i, 2 n

1 i

i, 3 i n

1 i 2 n

1

i

i, 2 i 2

xxx

x

xxx

yx

xy

ˆ

i, 3 i,

2

i, 3

1 i

i, 3 i, 2 n

1 i 2 n

1 i

2

n 1 i

i, 3 i, 2 n

1 i

i, 2 i n

1 i 2 n

1

i

i, 3

i

3

xxx

x

xxx

yx

x

y

ˆ

i, 3 i,

2

i, 2

(4) 





n i i

e

10

e

1

0ˆ

2.2 3 Mô hình hồi quy K biến

Từ mô hình hồi quy mẫu SRF : Yˆi ˆ1ˆ2X2,i ˆ3X3,i  ˆk X k,i

Ta có mô hình hôi quy : Yi ˆ1ˆ2X2 i, ˆ3X3 i,  ˆkXk i,ei Nói cụ thể hơn Y1 = 1 + 2x21 + …+ kxk1 + 1

.

2 1

i i

CHƯƠNG 3 ỨNG DỤNG CỦA PHẦN DƯ TRONG PHÂN TÍCH HÀM HỒI QUY

3.1 Phát hiện phương sai của sai số thay đổi

Như chúng ta đã biết việc phát hiện da phương sai của sai số thay đổi rất khó Do vậy để làm được điều này việc phân tích phần dư có ý nghĩa cực kỳ quan trọng trong quá trình phát hiện phương sai của sai số thay đổi

Đồ thị phân tán phần dư ei theo Xi

Theo các đồ thị trên thì khi giá trị dự báo Y tăng (hoặc khi X tăng) thì phần dư có

xu hướng tăng, hay mô hình có phương sai của sai số thay đổi

Lưu ý : Người ta có thể vẽ đồ thị phần dư bình phương đối với X hoặc Y

ei 2 thu được từ hồi quy gốc

Như vậy ta thực hiện kiểm định Park theo các bước sau

(1) Ươcs lượng hồi quy gốc ,cho dù có hoặc không tồn tại hiện tượng phương sai của sai số thay đổi

ei 2 rồi đến lấy lnei

(3) Tiến hành kiểm định nêu ở mục [4- 136 ] Bài giảng kinh tế lượng PGS.TS NGYỄN QUANG ĐÔNG

3.1.3 Kiểm đinh Glejser

Kiểm đinh Glejser cũng tương tự như kiểm đinh Park Sau khi thu được phần

i

Trong thực tế Glejser sử dụng các hàm sau

3.1.4 Kiểm đinh While

Mô hình hồi quy

Các dạng hồi quy phụ thường sử dụng là

i pi p i

2 2 1

2

Z Z

2 2 1

2 2 1

ˆ ˆ

thường sang hồi quy theo bình phương tối thiểu có trọng số WLS

3.2 Phát hiện có sự tương quan

trong các công cụ phát hiên sự tương quan trong mô hình hồi quy ,việc phân tích

quan

3.2.1.Phương pháp đồ thị

Sự tương quan trong các mô hình cổ điển gắn liền với các nhiễu tổng thể Uikhông quan sát được cái mà chúng ta quan sát được là phần dư ei thu được từphương pháp bình phương nhỏ nhất thong thường

Dù ei không hoàn toàn giống Ui nhưng sự xem xét trực tiếp thường gọi cho

ta manh mối nào đó về sự tương quan U Trên thực tế sự xem xét trực quan về eihoặc ei2 có thể cho thong tin hữu ích về tự tương quan và tính không đồngphương sai , sự không phù hợp của mô hình

Có những cách khác nhau để xem xét phần dư Chúng ta có thể đơn thuần vẽ

đồ thị của chúng theo thơì gian

Đồ thị phần dư theo thời gian

Đồ thị phần dư theo thời gian ở trên không biểu thị một kiểu mẫu nào khithời gian tăng lên những phần dư như vậy hình như phân bố ít nhiều ngẫu nhiênxung quanh trung bình của chúng

3.2.1 Phương phá kiểm định số lượng

a.Phương pháp kiểm định các đoạn mạch

Từ việc phân tích phần dư ei ta thu được một chuỗi các phần dư và đânhs đáu theop tiêu thức phần dư am ,phần dư dương

n1 Số ký hiệu dương ( số phần dư dương )

n2 Số ký hiệu âm ( số phần dư âm )

Vậy từ đó tax ac định được yêu cầu bài toán

b.Kiểm định  2với tính độc lập của các phần dư

liên Bảng tiếp liê-n mà chúng ta sử dụng tại đây gồm một số dòng và một số cột.Cụ thể là bảng tiếp liên gồm 2 dòng , 2cootj Các dòng tương ứng với các phần

dư dương tại( t )các cột tương ứng với các phần dư âm tại (t-1 ) Trong mỗi ô tatính A ijvà E ij

Trrong đó

A ij : Tần số thực tế ở ô (ij)

ij

3.2.2 Phát hiện sự tồn tại của đa cộng tuyến

TSS

RSS1TSS

2 ie

1

)ˆ(







n i

i

Y

3.3 Phân tích phần dư để kiểm tra các giả định trong

phân tích hồi qui tuyến tính.

Giả định của phân tích hồi qui tuyến tín:dựa vào một số giả định quan trọng sau

(a) x là một biến số cố định hay fixed, (“cố định” ở đây có nghĩa là không có

sai sót ngẫu nhiên trong đo lường);

(c) i có giá trị trung bình (mean) là 0;

(d) i có phương sai 2 cố định cho tất cả x i; và

(e) các giá trị liên tục của i không có liên hệ tương quan với nhau (nói cách khác, 1 và 2 không có liên hệ với nhau)

Nếu các giả định này không được đáp ứng thì mô hình mà chúng ta ước tính cóvấn đề hợp lí (validity) Do đó, trước khi trình bày và diễn dịch mô hình trên, chúng tacần phải kiểm tra xem các giả định trên có đáp ứng được hay không Trong trườnghợp này, giả định (a) không phải là vấn đề, vì độ tuổi không phải là một biến số ngẫunhiên, và không có sai số khi tính độ tuổi của một cá nhân

Đối với các giả định (b) đến (e), cách kiểm tra đơn giản nhưng hữu hiệu nhất là bằng cách xem xét mối liên hệ giữa Yˆ i , X ivà phần dư e i

Để kiểm tra các giả định trên, chúng ta có thể vẽ một loạt 4 đồ thị treân như sau:

(a) Đồ thị bên trái dòng 1 vẽ phần dư e i và giá trị tiên đoán cholestero Yˆ i Đồthị này cho thấy các giá trị phần dư tập chung quanh đường y = 0, cho nên giả định

(b) Đồ thị bên phải dòng 1 vẽ giá trị phần dư và giá trị kì vọng dựa vào phân

phối chuẩn Chúng ta thấy các số phần dư tập trung rất gần các giá trị trên đường

thể đáp ứng

(c) Đồ thị bên trái dòng 2 vẽ căn số phần dư chuẩn ( standardizedresidual ) và

Nói chung phân tích phần dư ,chúng ta có thể kết luận rằng mô hình có hồi quytuyến tính một cách hợp ly và dầy đủ hay không

PHỤ LỤC TÀI LIỆU THAM KHẢO

1 TS Nguyễn Huy Thinh, Giáo trình lý thuyết thống kê, NXB Tài chính, 2001

2 PGS.PTS Tô Phi Phượng, Giáo trình lý thuyết thống kê, NXB Giáo dục, 1998

3.Nguyễn Hữu Hoè, Giáo trình nguyên lý thống kê, NXB Đại học và trung học

chuyên nghiệp Hà Nội, 1975

4.Chu Thế Mưu, Giáo trình nguyên lý thống kê, NXB Thống kê, 1986

5 PGS.TS ,Bài giảng kinh tế lượng ,NSB thống kê HÀ NỘI ,2006

[1] Guijarati (1988), Basic Econometrics, Mc Graw Hill Publishing, NewYork [2] Paul Newbold (1995), Statistics for Business& Economics, Fourth Edition,

Prentice-Hall International, Inc

[3] Sabine Landau, Brian S.Everitt (2004), A handbook of Statistical Analyses

Using SPSS, Chapman & Hall/CRC Press LLC.

[4] Robert L.Mason, Richard F Gunst, James L.Hess (2003), Statistical Design and

Analysis of Experiments With Application to Engineering and Science, 2rd, John

Wiley & Sons, Inc

[5] John O.Rawlings, Sastry G Pantula, David A Dicckey (1998), Applied

Regression Analysis : A Research Tool, Second Edition, Springer – Verlag

NewYork, Inc