LUẬN văn TOÁN ỨNG DỤNG PHƯƠNG SAI NHIỄU THAY đổi và tự TƯƠNG QUAN TRONG PHÂN TÍCH hồi QUY

2 M ĐÍ H NGHIÊN ỨU - Tổng kết lý thuyết liên quan đến nguyên nhân, hậu quả, cách phát hiện cũng như những phương pháp hắc phục tự tương quan và phương sai nhiễu thay đổi trong xây dựng

TRƯỜNG ĐẠI HỌC CẦN THƠ KHOA KHOA HỌC TỰ NHIÊN

BỘ MÔN TOÁN

……

LUẬN VĂN TỐT NGHIỆP ĐẠI HỌC

PHƯƠNG SAI NHI THAY ĐỔI VÀ

TỰ TƯƠNG Q AN TRONG PHÂN TÍCH HỒI QUY

Giáo viên hướng dẫn Sinh viên thực hiện

TS Võ Văn Tài Trần Thành Tiến

MSSV:1090153

Lớp:Toán Ứng Dụng-K35

Cần Thơ, tháng 5 /2013

LỜI CẢM ƠN

….…

Đầu tiên em xin cảm ơn đến quý Thầy Cô trong Khoa Khoa học Tự nhiên trường Đại học cần thơ đã truyền dạy những kiến thức quí báo cho chúng em trong suốt bốn năm học vừa qua, để em đạt được kết quả như ngày hôm nay

Em xin bày tỏ lòng kính trọng và biết ơn sâu sắc tới thầy Võ Văn Tài, người tận tình hướng dẫn, chỉ bảo, khích lệ, động viên và đã giảng dạy em những kiến thức liên quan giúp em hoàn thành cuốn luận văn này

Em xin cảm ơn cô cố vấn Nguyễn Thị Hồng Dân đã động viên và giúp đỡ em cùng các bạn trong quá trình thực hiện đề tài của mình

Xin cảm ơn các anh, chị đã đi trước, cùng các bạn đã luôn sát cánh, ủng hộ và giúp đỡ tôi trong quá trình làm đề tài

Cuối cùng, xin được gửi lời cảm ơn đặc biệt nhất đến gia đình, đã nuôi dạy và tạo điều kiện tốt nhất cho tôi trong suốt quá trình học tập

Dù đã cố gắng hết sức dưới sự hướng dẫn tận tâm của Thầy hướng dẫn, nhưng

do thời gian có hạn và trình độ còn hạn chế nên không tránh khỏi nhiều thiếu s t, rất mong nhận được sự thông cảm và góp ý của Thầy Cô và các bạn

Sinh viên thực hiện

Trần Thành Tiến

ANH ỘT SỐ TH ẬT NG TI NG ANH

1 Ordinary Least Squares (OLS hương pháp ình phương thất thông thường

2 Generalized Least Squares (GLS hương pháp ình phương bé nhất tổng quát

3 Best Linear Unbiased Estimator (BLUE ớc lượng tuyến t nh hông chệch tốt nhất

4 uto egressive scheme ( Lược đồ tự hồi quy

uto egressive onditional eteroscedasticity ( Tự tương quan với điều iện c phương sai thay đổi

DANH M C CÁC HÌNH

Trang Hình 2.1: Hình vẽ minh họa cho phương sai của nhiễu thay đổi và

không thay đổi 19

Hình 2.2: ình vẽ minh họa cho hương sai hông đồng đều 20

Hình 2.3: Một số dạng biến thiên của 2 i U  24

Hình 3.1: Một số dạng biến thiên của nhiễu theo thời gian 32

Hình 3.2: Hồi quy chi phí biên theo sản lượng 35

Hình 3.3: Hệ số tự tương quan ậc nhất và giá trị d thương ứng 40

Hình 4.1: Đồ thị phần dư U  51

Hình 4.2: Đồ thị U  theo U 1   50

Hình 4.3: Biểu đồ ình phương của phần dư theo giá trị dự đoán 52

Hình 4.4: Đồ thị phần dư umu2 với ymu 55

Hình 4.5: Biểu đồ ình phương của phần dư theo giá trị dự đoán theo phương pháp 58

Hình 4.6: Biểu đồ ình phương của phần dư theo giá trị dự đoán theo phương pháp 2 59

Hình 4.7: Biểu đồ ình phương của phần dư theo giá trị dự đoán theo phương pháp 60

DANH M C CÁC BẢNG

Trang

ảng iểm định Dur in- aston trên phần mềm vie 52

ảng 2 iểm định G trên phần mềm vie 53

Bảng 4.3: Kết quả quân tích hồi quy bội 53

ảng iểm định Gleijser trên phần mềm vie 56

ảng iểm định hite ng phần mềm vie 56

ảng hân t ch hồi quy theo phương pháp ng phần mềm vie 57

ảng hân t ch hồi quy theo phương pháp 2 ng phần mềm vie 58

ảng hân t ch hồi quy theo phương pháp ng phần mềm vie 60

Trang PHẦN MỞ ĐẦU………

1 LÝ DO CHỌN ĐỀ TÀI………

2 MỤ ĐÍ NG IÊN ỨU……… 2

ƠNG Á NG IÊN ỨU……… 2

4 DỐI T ỢNG NGHIÊN CỨU………2

5 CẤU TRÚC LUẬN VĂN……….2

hương HỒI QUY TUYẾN TÍNH……….4

1.1 HỒI QUY TUYẾN TÍN ĐƠN……… 4

1.1.1 Mô hình……… 4

2 hương trình hồi quy tuyến tính mẫu……… 5

1.2 HỒI QUY TUYẾN TÍNH BỘI………6

2 Mô hình……… 6

2.2 hương trình hồi quy tuyến tính mẫu……… 7

2 Ý nghĩa của các hệ số hồi quy……… 9

1.3 CÁC GIẢ THIẾT TRONG XÂY DỰNG Đ ỜNG HỒI QUY………… 10

1.3.1 Trong xây dựng hồi quy tuyến t nh đơn………10

1.3.2 Trong xây dựng hồi quy tuyến tính bội……….11

1.4 MỘT SỐ TIÊU CHUẨN ĐỂ ĐÁN GIÁ Đ ỜNG HỒI QUY………….12

1.4.1 Tiêu chuẩn hệ số tương quan……… 12

1.4.2 Tiêu chuẩn hệ số xác định và hệ số xác định điều chỉnh……… 14

1.4.3 Tiêu chuẩn thông tin Akaike (AIC ………16

1.4.4 Tiêu chuẩn thông tin Schwarz (SIC) 16

1.4.5 Một số tiêu chuẩn hác………16

hương 2 HIỆN T ỢNG ƠNG S I NHIỄU T Y ĐỔI……… 19

2.1 KHÁI NIỆM………19

2.2 NGUYÊN NHÂN VÀ HẬU QUẢ CỦ ƠNG S I N IỄU T Y ĐỔI………20

2.2.1 Nguyên nhân……….20

2.2.2 Hậu quả của việc phương sai nhiễu thay đổi……….21

2.3 CÁCH PHÁT HIỆN ƠNG S I N IỄU T Y ĐỔI……… 23

2 hương pháp định tính………23

2 .2 hương pháp định lượng……….25

2.4 CÁCH KHẮC PHỤ ƠNG S I N IỄU T Y ĐỔI………28

2 Trường hợp đã iết phương sai tổng thể……… 28

2 .2 Trường hợp không biết phương sai tổng thểi2………29

hương TỰ T ƠNG QU N ỦA NHIỄU……… 32

3.1 KHÁI NIỆM………32

3.2 NGUYÊN NHÂN VÀ HẬU QUẢ TỰ T ƠNG QU N ỦA NHIỄU… 33

2 Nguyên nhân………33

3.2.2 Hậu quả của tự tương quan……… 36

3.3 CÁCH PHÁT HIỆN TỰ T ƠNG QU N ỦA NHIỄU………39

hương pháp đồ thị……….39

3.3.2 Kiểm định Dur in atson……… 39

3.3.3 Kiểm định Breusch-Godfrey ( G ….……… 2

3.3.4 Kiểm định chuỗi dấu………43

3.1 CÁCH KHẮC PHỤ ……….44

Trường hợp biết cấu trúc của tự tương quan……… 44

2 Trường hợp chưa iết cấu trúc của tự tương quan……… 45

hương BÀI TOÁN ÁP DỤNG………49

4.1 GIỚI THIỆU……… 49

4.2 TỔNG QUAN VIỆC THỰC HIỆN……… 50

4.2.1 Số liệu………50

4.2.2 hương pháp thực hiện……… 50

4.3 XEM XÉT HIỆN T ỢNG TỰ T ƠNG QU N ỦA NHIỄU………….51

4.3.1 Phát hiện hiện tượng tự tương quan của nhiễu……….51

4.4 XEM XÉT HIỆN T ỢNG ƠNG S I N IỄU T Y ĐỔI……… 53

4.4.1 Phát hiện hiện tượng phương sai nhiễu thay đổi……….53

4.4.2 Cách khắc phục hiện tượng phương sai nhiễu thay đổi……… 41

KẾT LUẬN V Đ N ỚNG NG IÊN ỨU……….45

ẾT LUẬN……… 45

Về mặt l thiết………45

2 Về mặt t nh toán……….45

ỚNG NG IÊN ỨU……….46 PHỤ LỤC……… 46 TÀI LIỆU THAM KHẢO………47

PHẦN MỞ ĐẦU

1 LÝ DO CHỌN ĐỀ TÀI

Ngày nay thống kê có một vai trò rất quan trọng không thể thiếu trong nghiên cứu khoa học của các lĩnh vực hác nhau, đặc biệt là khoa học ứng dụng Vai trò của thống kê không chỉ là tổng hợp những con số mà điều quan trọng hơn là từ các con

số đ chúng ta c thể dự đoán được xu hướng phát triển của n trong tương lai iện tại có nhiều phương pháp dự báo từ số liệu của quá khứ, tuy nhiên phương pháp hồi quy vẫn được xem phổ biến nhất Tùy theo những lĩnh vực đặc thù người ta có thể xây dựng những mô hình hồi quy khác nhau (tuyến tính và phi tuyến để dự báo cho

xu thế phát triển của một biến nào đ ( iến phụ thuộc) khó quan sát thông qua những biến khác (biến độc lập) dễ quan sát và xác định hơn Với sự phát triển của các phần mềm thống kê hiện nay, hi xác định được dạng của mô hình hồi quy thì việc tìm đường hồi quy cụ thể là chuyện dễ dàng Những thống ê liên quan đến mô hình hồi quy cũng được xử lý rõ ràng từ các phần mềm hiện c Tuy nhiên để xây dựng được mô hình hồi quy về mặt toán học chúng ta phải giả thiết một số điều kiện

l tưởng, trong đ c hai vấn đề quan trọng là

1 hương sai của nhiễu hông thay đổi

2 Hiện tượng tự tương quan hông xảy ra

Nếu hai điều kiện trên hông được thỏa, đường hồi quy xây dựng dù có

các tiêu chuẩn đánh giá ở mức tốt cũng hông còn c nghĩa nữa Qua nghiên cứu chúng tôi nhận thấy, hầu như trong các nghiên cứu khoa học ứng dụng hiện nay khi xây dựng đường hồi quy điều này bị ỏ qua h nh điều này làm cho các mô hình hồi quy xây dựng thực chất hông còn nghĩa Vì những lí do trên tôi chọn đề tài

“ PHƯƠNG SAI NHI U THAY ĐỔI VÀ TỰ TƯƠNG Q AN TRONG PHÂN TÍ H

HỒI QUY ’’ cho luận văn tốt nghiệp của mình Luận văn thực hiện với hy vọng là tài

liệu hỗ trợ lý thuyết cũng như thực hành trong xây dựng mô hình hồi quy tối ưu

2 M ĐÍ H NGHIÊN ỨU

- Tổng kết lý thuyết liên quan đến nguyên nhân, hậu quả, cách phát hiện cũng như những phương pháp hắc phục tự tương quan và phương sai nhiễu thay đổi trong xây dựng mô hình hồi quy

- Ứng dụng các lý thuyết đã trình ày cho một số ứng dụng từ số liệu thực cụ thể

3 PHƯƠNG PHÁP NGHIÊN ỨU

- Phân tích, tổng hợp và hệ thống hóa các tài liệu liên quan đến tự tương quan

và phương sai nhiễu thay đổi trong xây dựng mô hình hồi quy

- hương pháp thực nghiệm: Sử dụng số liệu thực, để xây dựng mô hình hồi quy không còn tự tương quan và phương sai nhiễu thay đổi

4 DỐI TƯỢNG NGHIÊN CỨU

Đối tượng nghiên cứu: Tự tương quan và phương sai nhiễu thay đổi

Phạm vi nghiên cứu: Mô hình hồi quy và các số liệu cụ thể trong y học được

thu thập từ bệnh viện Đa hoa Trung ương ần Thơ

5 CẤU TRÚC LUẬN VĂN

Luận văn gồm có phần mở đầu, phần nội dung và phần kết luận, trong đ phần nội dung gồm c chương

hương 1: Hồi quy tuyến tính

Giới thiệu tổng quan về mô hình hồi quy với mô hình hồi quy tuyến t nh đơn

và bội hương này cũng giới thiệu về các giả thiết trong xây dựng mô hình hồi quy cũng như các tiêu chuẩn trong đánh giá mô hình hồi quy đã xây dựng

hương 2: Hiện tượng phương sai nhiễu thay đổi

hương này giới thiệu nguyên nhân, hậu quả, các phương pháp phát hiện cũng như hắc phục hiện tượng phương sai nhiễu trong xây dựng mô hình hồi quy

hương 3: Tự tương quan của nhiễu

hương này giới thiệu nguyên nhân, hậu quả, các phương pháp phát hiện cũng như hắc phục hiện tự tương quan cũa nhiễu khi xây dựng mô hình hồi quy

hương 4: Bài toán áp dụng

Xây dựng mô hình hồi quy tuyến tính bội về bệnh suy thận mạn qua các biến sinh hóa từ số liệu thực tế của những bệnh nhân ở bệnh viện Đa hoa Trung ương Cần Thơ Vận dụng lý thuyết đã trình ày ở các chương trước để phát hiện, sau đ khắc phục, xây dựng mô hình hồi quy không còn có hiện tượng phương sai của nhiễu thay đổi cũng như tự tương quan

hương 1

HỒI QUY TUY N TÍNH

Trong cuộc sống có nhiều lĩnh vực như h tượng, kinh tế, giáo dục…chúng ta

có thể dự đoán cho đại lượng Y hông đo được hoặc đo được nhưng rất h hăn, thông qua đại lượng đo được X Nghĩa là tìm iểu thức y f (x) , biểu diễn của Y thông qua X Hàm y f (x)  tìm được như thế, được gọi là hàm hồi quy của đại

lượng ngẫu nhiên Y theo đại lượng ngẫu nhiên X

1.1 HỒI QUY TUY N TÍNH ĐƠN

1.1.1 Mô hình

Mục tiêu của phân tích hồi quy là mô hình hóa mối liên hệ giữa các đại lượng

b ng một mô hình toán học nh m thể hiện một cách tốt nhất mối liên hệ giữa các

biến X t hai đại lượng X và Y có mối quan hệ tuyến tính Giả sử sự quan sát của Y tại một mức của X là một biến ngẫu nhiên, giá trị kỳ vọng của Y cho mỗi giá trị của

X là

X X

Y

E( / ) 01 Trong đ

X: Biến giải thích ( iến độc lập),

Y: Biến được giải thích ( iến phụ thuộc),

0: Tham số tự do hay tham số chặn (hệ số tung độ)

1: Tham số của biến, là hệ số góc hay hệ số dốc

Như vậy, hồi quy là thể hiện mối quan hệ trung bình của Y phụ thuộc vào X Giả sử mỗi giá trị quan sát của Y có thể được biểu diễn theo mô hình

Chúng ta giả sử E( )=0 và 2

)( 

Var hay  ~N(0,2),  là những biến ngẫu nhiên hông tương quan nhau thì mô hình ( được gọi là mô hình hồi quy tuyến t nh đơn

1.1.2 Phương tr nh hồi quy tuyến tính mẫu

Để mô hình toán học hóa mối liên hệ giữa Y và X tức là ta phải tìm được giá trị

của tham số hồi quy

Giả sử (xi;yi) là mẫu n cặp quan sát thu thập ngẫu nhiên từ X và Y, hi đ mô

hình ( được viết lại là

) , , 2 , 1 ( ,

1

y i   i 

Ta mong muốn tìm một đường thẳng Y 0 1X thích hợp nhất đối với các

giá trị (xi;yi) Mô hình hồi quy tuyến tính mẫu được sử dụng để ước lượng mô hình hồi quy của tổng thể Mô hình hồi quy của mẫu được biểu diễn dưới dạng:

i

yˆ ˆ0 ˆ1 (1.2) Đường thẳng theo mô hình ( 2 được xem là thích hợp nhất khi tổng bình

phương các chênh lệch giữa giá trị thực tế y i và yˆ i là nhỏ nhất hi đ , tổng bình phương các chênh lệch giữa giá trị quan sát thực tế và lý thuyết được xác định như sau:

i i

i i n

1

2 1

1 1

( )

ˆ ( ) ˆ

– ˆ0 và ˆ1 là ước lượng không chệch của 0 và 1

– Thông thường để thuận lợi hơn trong việc tính toán, ta thường viết công

S

S

x n x

y x xy n

x

xy n

i

n i i i

1 0

1

2

1 2

1

ˆˆ

1

).(

xy y x x n xy x y S

1

) ( ) (

1.2 HỒI QUY TUY N TÍNH BỘI

1.2.1 Mô hình

Mô hình hồi quy tuyến tính bội là sự mở rộng tự nhiên của mô hình hồi quy

tuyến t nh đơn Trong thực tế, chúng ta thường gặp không chỉ có biến X ảnh hưởng đến biến Y mà còn các biến hác cũng c thể ảnh hưởng đến Y Do đ , trong trường hợp k biến cùng ảnh hưởng đến Y thì mô hình hồi quy hai biến là không thỏa đáng,

chúng ta cần xây dựng mô hình hồi quy cho nhiều hơn hai iến, đ là mô hình hồi quy bội

Giả sử mối quan hệ giữa biến phụ thuộc (biến phản hồi) Y và k biến độc lập (biến hồi quy) X1, X2, …, Xk cho bởi mô hình:

là hệ số chặn hay hệ số tung độ góc, 1,2, ,k là các hệ số góc,  là sai số ngẫu nhiên có kỳ vọng 0 và phương sai 2

Để đơn giản ta có thể viết ngắn gọn ( dưới dạng

E(Y) 01X1 k X k (1.4)

1.2.2 Phương tr nh hồi quy tuyến tính mẫu

Giả sử chúng ta có n quan sát, mỗi quan sát có k giá trị (yi, x1i, x2i, …, xki) thì

hi đ

y i 01x1i k x kii với (i 1 , 2 , ,n) (1.5)

Mô hình ( được viết cụ thể như sau

                         n kn k n n k k k k x x x y x x x y x x x y               

2 2 1 1 0 1 2 2 22 2 12 1 0 1 1 1 21 2 11 1 0 1 (1.6) Dạng ma trận của mô hình (1.6) là Y  X  với              n y y y y

2 1 ,              k    

1 0 ,              kn n n k k x x x x x x x x x X

1

1

1 2 1 2 22 12 1 21 11 ,              n    

2 1 Chúng ta sẽ dùng phương pháp ình phương nhất để ước lượng các tham số ˆ ,ˆ, ,ˆk 1 0 Mô hình hồi quy bội của mẫu được sử dụng để ước lượng mô hình hồi quy của tổng thể là yˆi ˆ ˆx i ˆk x ki 1 1 0     (1.7) Dạng ma trận của (1.7) làyˆ Xˆ với:              n y y y y ˆ

ˆ ˆ ˆ 2 1 ,                k     ˆ

ˆ ˆ ˆ 1 0 , trong đ : y ˆ X, ,ˆ lần lượt là ma trận cỡ (nx1), (nxp), (px1) àm ình phương tối thiểu được thiết lập như sau

                            n i ki k i i i n i ki k i i n i i i n i x x x y x x y y y L 1 2 2 2 1 1 0 1 2 1 1 0 1 2 1 2

min ˆ

ˆ ˆ ˆ         (1.8) Gọi T T T X ,ˆ , là các ma trân chuyển vị của X,ˆ , thì (1.8) trở thành: 2       

1 ˆ ˆ ˆ ˆ n T T T T T i L    y X y X y X  y X         

T T ˆ T ˆT T ˆT ˆ

y y y X X  y X  X

    (1.9)

Do X TˆT y là một ma trận cỡ (1x1),ˆTˆ ˆ 2

và X TˆT y y T Xˆ nên (1.9) trở thành:

2

ˆ ˆ

2X  y X X

y y

L T  T T  T (1.10)

Ta lấy đạo hàm của (1.10) theo ˆ để ước lượng , ta được kết quả

0 ˆ 2 2

ˆ    



hay

y X X

X T ˆ  T

Giải phương trình này ta được

X T X1X T y





với























































































n i ki n

i

i ki n

i i ki n

i ki

n i ki i n

i i i n

i i n

i i

n i ki n

i i n

i i T

x x

x x

x x

x x x

x x

x

x x

x n

X

X

1 2 1

2 1

1 1

1 1 1

2 1 1

2 1 1

1

1 1

2 1

1

là ma trận vuông cỡ (pxp),

                                                   ky y y n i i n kn k k n n n n n i i T S S S y y x y x y x y x y x y x y x y x y x y y X

2 1 1 2 2 1 1 2 2 22 1 21 1 2 12 1 11 1 là ma trận cỡ (px1) Mặt khác từ (X T X)ˆ  X T y ta có                                           n i ki n i i ki n i i ki n i ki n i ki i n i i i n i i n i i n i ki n i i n i i x x x x x x x x x x x x x x x n 1 2 1 2 1 1 1 1 1 1 2 1 1 2 1 1 1 1 1 2 1 1

              k    ˆ

ˆ ˆ 1 0 =                    ky y y n i i S S S y

2 1 1

Hệ phương trình trên cho ta ết quả:

k k

y

1 1

0 , nên xây dựng được mô hình hồi quy của mẫu yˆi ˆ ˆx i ˆk x ki

1 1

có biến Y (Doanh số bán của một mặt hàng-triệu đồng trên tháng) phụ thuộc vào x

(Chi phí quảng cáo của mặt hàng đ -triệu đồng) được biểu diễn như sau

– Nếu không quảng cáo (CPQC b ng 0) thì DSB trung bình là 3 triệu đồng trên tháng

1.3 CÁC GIẢ THI T TRONG XÂY DỰNG ĐƯỜNG HỒI QUY

1.3.1 Trong xây dựng hồi quy tuyến tính đơn

hi xây dựng mô hình hồi quy, tuyến t nh đơn chúng ta phải c các giả thiết sau:

 Giả thiết 1: Các giá trị của X được xác định trước không phải là đại lượng ngẫu nhiên

 Giả thiết 2: Đại lượng ngẫu nhiên (nhiễu) U i có kỳ vọng b ng 0, nghĩa là:

 Giả thiết 5: U i và X i hông tương quan nhau: covU X i, i 0, i

 Giả thiết 6 Đại lượng ngẫu nhiên có phân phối chuẩn:  2

0,

i

U N 

1.3.2 Trong xây dựng hồi quy tuyến tính bội

Tương tự như hi xây dựng mô hình hồi quy tuyến t nh, trong xây dựng mô hình hồi quy tuyến t nh đơn, trong xây dựng mô hình hồi quy tuyến t nh ội ta phải

c các giả thiết sau

 Giả thiết 1: Kỳ vọng c điều kiện nhiễu b ng 0: E U 0 Trong đ

/ , , ,

k k

E U X X X U

U U

n n

Giả thiết 2 c được do sử dụng giả thiết 1 kết hợp với các giả thiết sau:

– Giả thiết phương sai thuần nhất, ta có:    2 2

 Giả thiết 3: Ma trận X đã được xác định

 Giả thiết 4: Hạng của ma trận X b ng k, là tham số trong mô hình hồi quy

Ký hiệu cho hạng của ma trận là rank X( ) k, c nghĩa là k cột trong ma trận X là độc lập tuyến tính, mà mỗi cột tương ứng với mỗi biến độc nên hông c tương quan tuyến tính chính xác giữa các biến độc lập, hay nói cách khác không có hiện tượng cộng tuyến xảy ra

 Giả thiết 5:  2 

0,

U N  I , nghĩa là vector nhiễu có phân phối chuẩn nhiều chiều

1.4 MỘT SỐ TIÊU CHUẨN ĐỂ ĐÁNH GIÁ ĐƯỜNG HỒI QUY

1.4.1 Tiêu chuẩn hệ số tương quan

a) Công thức

Trong nhiều ài toán người ta quan quan tâm đến mối quan hệ của hai hay

nhiều biến ngẫu nhiên Giả sử ta có hai biến ngẫu nhiên X và Y, vấn đề đặt ra là có

sự phụ thuộc giữa hai biến đ hay hông, và nếu chúng thật sự có sự phụ thuộc lẫn

nhau thì sự phụ thuộc đ như thế nào? Mối quan hệ phổ biến của X và Y thường là

mối quan hệ tuyến tính và tham số đặc trưng cho mối quan hệ này là hệ số tương quan Kí hiệu: xyvà được xác định bởi công thức:

)()(

),(

Y Var X Var

Y X Cov

Cov là hiệp phương sai giữa hai biến X và Y và được xác định bởi công

thức sau:

( ( ))( ( )) ( ) ( ) ( ))

,(X Y E X E X Y E Y E XY E X E Y

b) Tính chất và ý nghĩa

Hệ số tương quan của hai biến là đại lượng dùng để thể hiện chiều hướng và độ mạnh yếu của mối quan hệ tuyến tính giữa hai biến đ xy càng gần 1 thì mối quan

hệ tuyến tính càng chặt và xy càng gần 0 thì mối quan hệ càng yếu đi

Hệ số tương quan xy có các tính chất sau:

iv) xy = 0: X và Y không co mối quan hệ tuyến tính

c) Hệ số tương quan tuyến tính mẫu r

Trong thực tế, chúng ta không biết được chính xác Cov(X,Y),  X, Y để tính hệ

số tương quanxy, vì ta không thể có số liệu đầy đủ của tổng thể Do đ ta phải ước lượng các tham số của tổng thể trong công thức tínhxybởi các tham số mẫu đặt

trưng Giả sử từ tổng thể ta chọn ra một mẫu gồm n phần tử Quan sát hai biến ngẫu

nhiên X và Y trên n phần tử này ta có số liệu cụ thể: (x 1 , y 1 ), (x2, y2 , …, (xn, yn) Khi

đ ta c công thức tính hệ số tương quan mẫu như sau

1

( )( ) ( ) ( )

n i i

x x y y r

x

1

` 1



 n

i i y n

S S

y x xy

Khi xây dựng đường hồi quy tuyến tính ta dùng biến độc lập X để suy luận cho biến phụ thuộc Y Nhưng câu hỏi đặt ra là “liệu mô hình hồi quy tuyến t nh được xây dựng đã thể hiện một cách tốt nhất mối liên hệ giữa Y và X chưa? ao nhiêu phần trăm sự biến thiên của Y có thể được giải thích bởi sự phụ thuộc tuyến tính của

Y vào X ? ” ệ số xác định R 2 sẽ giúp trả lời những câu hỏi đ

R 2 là một thước đo sự phù hợp của mô hình hồi quy, hi đ hệ số xác định

này thể hiện phần tỉ lệ biến thiên của y được giải thích bởi mối liên hệ tuyến tính của

y với x, xác định bởi công thức sau:

2

1

SSR SSE R

SST SST

   Trong đ

1

2

ˆ : Thể hiện phần biến thiên của y được giải thích bởi biến x,

 21

i

e SSE : Thể hiện phần biến thiên của y do các yếu tố khác

không nghiên cứu

 Chú ý:

i) Ta có 0 2

R 1

ii) Sự phân biệt giữa r và xy 2

R là ở chỗ: r là đại lượng được xác định ở góc xy

độ phân tích tương quan (X, Y được xem là các đại lượng ngẫu nhiên), đo lường cường độ của mối liên hệ tuyến tính giữa X và Y còn 2

R là đại lượng được xác định

ở góc độ phân tích hồi quy (Y được xem là phụ thuộc vào X), thể hiện sự thích hợp của mô hình hồi quy đối với dữ liệu

iii) 2

R càng lớn thì mô hình hời quy tuyến tính đã xây dựng được xem là phù hợp và càng có ý nghĩa trong việc giải thích sự biến thiên của Y thông qua sự biến thiên của X

Hệ ố xác định đi u ch nh

Một ất lợi hi sử dụng nhiều iến độc lập trong mô hình hồi quy là ậc tự do

ị giảm đi, do đ người ta điều chỉnh hệ số xác định ng cách đưa thêm ậc tự do của các tổng ình phương vào công thức

R c thể âm, trong trường hợp này quy ước R2  0

1.4.3 Tiêu chuẩn thông tin Akaike (AIC)

Akaike Hirotsugu (5/11/1927 - 4/8/2009) là nhà thống kê người Nhật Vào đầu thập niên 9 0 ông đã đưa ra công thức để làm tiêu chuẩn thông tin cho việc nhận dạng mẫu, được gọi là tiêu chuẩn thông tin Akaike (Akaike information criterion) Năm 200 ai e được thưởng Giải Kyoto cho công trình đ ng g p chủ yếu vào khoa học thống kê và việc tạo mô hình trong việc phát triển tiêu chuẩn thông tin Akaike (AIC)

Tiêu chuẩn AIC là một trong số những tiêu chuẩn lựa chon mô hình, n được

sử dụng để lựa chọn mô hình trong những mô hình khác nhau và so sánh các mô hình dùng để dự báo

Trong đ k là biến ước lượng (bao gồm cả hệ số chặn) và n là mẫu quan sát,

SSR tổng ình phương phần dư sai số Chúng ta có thể thấy r ng AIC là công cụ phát

hiện sai sót khắt he hơn R2 hi tăng thêm một biến số khi so sánh hai hay nhiều

mô hình, mô hình nào có AIC thấp nhất thì mô hình đ tốt hơn

1.4.4 Tiêu chuẩn thông tin Schwarz (SIC)

Tương tự như tưởng AIC, tiêu chuẩn SIC được định nghĩa như sau

SIC là một công cụ phát hiện sai sót khắt he hơn cả AIC Giống như I ,

giá trị SIC càng nhỏ thì mô hình càng tốt SIC có thể dùng để so sánh giữa các mô

hình

1.4.5 Một số tiêu chuẩn khác

Đồ thị phân tán: Để hình dung mối liên hệ giữa hai biến định lượng ta dùng

đồ thị phân tán để biểu diễn các số liệu của mẫu về hai biến đ ác chấm đại diện cho các cặp quan sát được phân tán ngẫu nhiên Nếu các chấm gần như tập trung quanh đường thẳng tức mối liên hệ này gần như tuyến tính

Sai số trung bình Để tính sai số trung bình ta lấy tổng tuyệt đối số liệu thực

tế trừ đi số liệu lý thuyết và chia cho n số liệu quan sát Cụ thể:

1

ˆ

n

i i i

y y ME

Ngoài các tiêu chuẩn trên người ta còn dùng số liệu của một số năm gần nhất

để so sánh với số liệu dự đoán được Nếu số liệu ta dự đoán từ một mô hình nào đ gần đúng với dự liệu của năm gần nhất mà ta lấy so sánh thì cũng chứng tỏ được

r ng mô hình đ c xu hướng phù hợp để có thể dự báo

 Chú ý:

i) Việc lựa chọn biến để xây dựng mô hình hồi quy là rất quan trọng Trong

một nghiên cứu thông thường với một biến số phụ thuộc, có nhiều biến số độc lập; giữa một biến độc lập và một biến phụ thuộc cũng có thể có nhiều mô hình hồi quy khác nhau được thiết lập Như vậy một vấn đề dự báo bằng mô hình hồi quy sẽ có nhiều mô hình khác nhau có thể được thiết lập Trong các mô hình thiết lập, mô

hình nào được xem là phù hợp nhất? Mô hình đơn giản, ít biến và có một hoặc nhiều tiêu chuẩn đánh giá đã trình bày ở trên tốt nhất sẽ được chọn Để làm việc này ta thường dùng phương pháp phân tích hồi quy bậc thang Hai nguyên tắc xây hồi qui bậc thang thường được sử dụng là:

– Nguyên tắc lùi: Bắt đầu với mô hình hồi quy có chứa tất cả các biến độc lập

Sau đó lần lượt loại trừ dần từng biến (dựa trên các tiêu chuẩn đánh giá) cho đến khi tìm được mô hình thích hợp

– Nguyên tắc tiến: Bắt đầu với mô hình một biến sau đó lần lượt thêm dần

từng biến một cho đến khi tìm được mô hình thích hợp

ii) Khi xây dựng các mô hình hồi quy bội chúng ta cần chú ý hiện tượng đa

cộng tuyến, tự tương quan và phương sai của nhiễu thay đổi để có thể xây dựng

được đường hồi quy phù hợp nhất iện tượng tự tương quan và phương sai của

nhiễu thay đổi được trình bày ở các chương sau

Hình 2.1: Hình vẽ minh họa cho phương ai của nhiễu thay đổi và không thay

đổi

Hình 2.1a chỉ ra r ng khi X tăng lên, giá trị trung bình của Y cũng tăng lên,

nhưng phương sai quanh giá trị trung bình của n hông thay đổi Đây là trường hợp của phương sai nhiễu hông đổi, hay phương sai ng nhau:

- Hàm mật độ đồng dạng nhưng chiều rộng của đường cong thay đổi

- Đường cong hông đồng dạng và mật độ phân tán không giống nhau

2.2 NGUYÊN NHÂN VÀ HẬU QUẢ CỦA PHƯƠNG SAI NHI U

- Do bản chất của hiện tượng kinh tế Ví dụ như hi thu nhập tăng người ta có thể lựa chọn nhiều hơn trong việc tiêu dùng thu nhập đ Trong hồi quy của tiết kiệm theo thu nhập, dường như i2 tăng theo thu nhập

- Khi các công cụ và kỹ thuật về thu thập xử lý số liếu được cải thiện thì sai số

đo lường và sai số t nh toán c xu hướng giảm dần, dẫn đến i2 có khả năng giảm

- hương sai c thể thay đổi cũng c thể xảy ra khi trong mẫu có outline (một giá trị có thể rất nhỏ hoặc rất lớn so với giá trị của các quan sát khác trong mẫu) Việc bao gồm hay loại bỏ các outline trong mẫu (đặc biệt là khi cỡ mẫu nhỏ) có thể làm thay đổi hoặc bác bỏ hay thừa nhận giả thuyết về phương sai hông đổi

- Nếu mô hình hồi quy hông đúng (dạng hàm sai, thiếu biến quan trọng) thì cũng c thể dẫn tới phương sai thay đổi

- Ta thường gặp hiện tượng phương sai hông đồng đều khi thu nhập số liệu theo không gian (số liệu chéo) Trong số liệu ch o, người ta thu nhập số liệu của nhiều đối tượng khác nhau tại cùng một thời điểm Ví dụ như hảo sát doanh thu và chi phí quảng cáo của các công ty hác nhau cùng lĩnh vực kinh doanh Do qui mô, thương hiệu,… của các công ty là không giống nhau cho nên doanh thu của các công

ty có quy mô khác nhau ứng với mức đầu tư quảng cáo sẽ biến động không giống nhau

2.2.2 Hậu quả của việc phương ai nhiễu thay đổi

Khi xây dựng mô hình hồi quy, nếu xảy ra hiện tượng phương sai nhiễu thay đổi thì sẽ dẫn đến những hậu quả sau:

i) ác ước lượng OLS tuy vẫn còn tính chất của ước lượng tuyến tính

không chệch, nhưng hông còn là ước lượng hiệu quả nữa (ước lượng c phương sai

bé nhất)

Để xác định được phương sai của các ước lượng OLS là nhỏ nhất trong lớp các ước lượng tuyến tính không chệch, ta phải vận dụng giả thiết về phương sai thuần nhất của nhiễu, nghĩa là var U i 2,i Vậy một giả thiết này bị vi phạm thì các ước lượng OLS chưa chắc là ước lượng hiệu quả nữa

ii) ớc lượng phương sai và hiệp phương sai của các ước lượng OLS bị chệch

Xét mô hình hồi quy đơn Y i 01X i i Trong các trường hợp phương sai hông đổi thì công thức xác định phương sai của hệ số hồi quy ^ là

var

2Giả thiết phương sai của nhễu thay đổi var i i2, công thức t nh phương sai của

X

2 2

^

2 2

Như vậy việc 

ước lượng không chệch nữa

iii) Việc dùng thống kê t và F để kiểm định giả thiết hông còn đáng

tin cậy nữa

Thống ê t được xác định bởi công thức

t se

Do sử dụng ước lượng của se  ^

se ^ nên không có gì bảo đảm thống

kê còn tuân theo quy luật phân phối t- student, do đ ết quả kiểm định không còn

tin cậy

iv) Kết quả dự áo hông còn hiệu quả nữa khi sử dụng các ước lượng

OLS c phương sai hông nhỏ nhất Nghĩa là nếu sử dụng các hệ số ước lượng tìm được b ng phương pháp hác mà chúng hông chệch mà c phương sai nhỏ hơn các ước lượng OLS thì kết quả dự báo sẽ tốt hơn

2.3 CÁCH PHÁT HIỆN PHƯƠNG SAI NHI THAY ĐỔI

Trên thực tế việc phát hiện ra hiện tượng phương sai nhiễu thay đổi là việc không dễ dàng bởi các nguyên nhân sau:

- Ta không thể biết được tất cả các giá trị của biến phụ thuộc Y ứng

với từng giá trị của biến độc lập trong tổng thể

- Trong mẫu ngiên cứu, thông thường ta chỉ có các giá trị đơn của biến

phụ thuộc Y ứng với giá trị của biến độc lập nên không thể ước lượng phương sai

của nhiễu từ những giá trị đơn này

Vì vậy, việc phát hiện ra hiện tượng phương sai nhiễu thay đổi chủ yếu là do kinh nghiệm, từ những nghiên cứu trước đây, do trực giác hoặc tính toán

Ngoài ra để phát hiện hiện tựơng phương sai nhiều thay đổi người ta sử dụng công cụ chuẩn đoán phần dư và hi vọng r ng với cỡ mẫu lớn thì phần dư là ước lượng tốt nên việc chuẩn đoán này sẽ có kết quả đáng tin cậy

Sau đây là một số phương pháp cụ thể để phát hiện ra hiện tượng phương sai nhiễu thay đổi:

2.3.1 Phương pháp định tính

a) Dựa vào bản chất của vấn đ nghiên cứu

Dựa vào bản chất của mối quan hệ đang hảo sát mà người ta chú đến hiện tượng có phương sai thay đổi Ví dụ như việc nghiên cứu giữa mối quan hệ giữa chi tiêu cho tiêu dùng với thu nhập, ta thấy r ng phương sai phần dư của chi tiêu cho tiêu dùng c xu hướng tăng theo thu nhập Do đ với những mẫu c điều tra tương

tự, người ta có khuynh hướng cho r ng phương sai của nhiễu thay đổi

b) Xe xét đồ thị của phần dư

Trong trường hợp không có thông tin tiên nghiệm hay thực nghiệm nào đ cho thấy phương sai thay đổi, người ta có thể tiến hành phân tích hồi quy với giả định là phương sai đồng đều để xác định phần dư i

Thông thường ta vẽ biều đồ phân tán của theo một biến độc lập nào đ hoặc là

theo Y i



(giá trị ước lượng của kỳ vọng c điều kiện của biến phụ thuộc Y Đối với

hồi quy đơn, việc vẽ biểu đồ của

2

i U

theo Y i



hay theo biến độc lập X thì c nghĩa

tương đương nhau ình 2 a cho thấy biến đổi của U2i

không có tính hệ thống, trong khi các hình còn lại cho thấy

2

i U



c xu hướng thay đổi khi Y i

tăng

hương pháp định tính giúp ta có những nhận định trực giác hay suy đoán về bản chất của phương sai nhiễu c thay đổi hay hông Để củng cố thêm nhận định

về hiên tượng này, chúng ta thường kết hợp thêm với phương pháp định lượng



a

2

i U



i Y



e

2

i U



i Y



Kiểm định ar được tiến hành theo các ước sau đây

Bước 1: Chạy hàm hồi qui gốc bất chấp vấn đề phương sai của sai số thay đổi

Bước 3: Kiểm định giả thuyết H: 2 0

Nếu giả thuyết H bị bác bỏ thì c phương sai của sai số thay đổi

Đối với hồi quy bội, các ước được thực hiện tương tự như đối với hồi qui đơn

Tuy nhiên ta có thể thực hiện b ng cách hồi quy i

Trong quá trình thực hiện kiểm định Park, ta giả định các nhiễu v i thỏa các giả

thiết cổ điển Nếu các giả thiết này không được thỏa thì kết quả của kiểm định không

đáng tin cậy

b) Kiể định Glejser

Tương tự như iểm định Park, sau khi thu thập được phần dư từ mô hình hồi

qui gốc, Glejser đề nghị chạy hồi qui giá trị tuyệt đối của i, i theo biến X i có

quan hệ chặt chẽ với i 2 Glejser đề xuất một số dạng hàm hồi qui sau:

i  0 1X iv i (2.1) i  0 1 X i v i (2.2)

Giả thuyết H trong mỗi hàm số trên là phương sai của nhiễu hông đổi,

nghĩa là, H: 2 0 Nếu giả thuyết này bị bác bỏ thì có thể có hiện tượng phương sai

hông đồng đều

 Chú ý: Kiểm định Glejser có những hạn chế sau:

- v i có thể không thỏa các giả thiết cổ điển, khi đó kết luận của kiểm định

không còn đáng tin cậy

-Trong hình (2.5) và (2.6) không phải là hồi quy tuyến tính nên không thể

áp dụng phương pháp S

-Ngoại trừ mô hình (2.1) các mô hình còn lại đầu yêu cầu điều kiện về biến

độc lập X để cho biểu thức của mô hình có ý nghĩa về mặt toán học

c) Kiể định Goldfeld – Quandt

Kiểm định này giả thiết r ng phương sai của nhiễu tương quan thuận với một

biến độc lập X nào đ Giả sử r ng:

i22X i2

Trong đ 2

là h ng số Giả thiết này cho r ng phương sai của nhiễu tăng theo iến độc lập ác ước thực hiện kiểm định như sau

Bước 1: Sắp mẫu theo thức tự tăng dần của biến X

Bước 2: Loại bỏ c quan sát ở giữa và chia (n-c) quan sát còn lại thành 2 nhóm

b ng nhau

Bước 3: Thiết lập hồi quy OLS cho 2 nh m, t nh SS và SS2 tương ứng với

ậc tự do  n c / 2 kvà n c 2k/ 2

Bước 4: Để xác định phương sai của hai nhóm có sự khác biệt đáng ể hay

hông, người ta tiến hành kiểm định F với giả thiết H phương sai hông đổi

T nh tỷ lệ F RSS df

RSS df

2/1/

Nếu FF df df , : bác bỏ H , nghĩa là thừa nhận c phương sai thay đổi

 Chú ý:

Kiểm định Goldfeld – Quandt có những hạn chế bởi vì ta không có quy tắc nào để xác định số quan sát bị loại bỏ c là bao nhiêu thì hợp lý, và độ tin cậy của kết quả kiểm định phụ thuộc vào c Có nghĩa là năng lực kiểm định tùy thuộc vào việc chọn c

Theo kinh nghiệm đề xuất, ta nên chọn c như sau:

- Với cỡ mẫu khoảng 30 thì chọn c = 4 hoặc c = 8

- Với cỡ mẫu khoảng 60 thì chọn c = 16 hoặc c = 10

Kiểm định Goldfeld – Quandt thích hợp với những mẫu nhỏ Nếu áp dụng cho

mô hình hồi quy bội, ta có thể xếp hạng các quan sát bởi một trong các biến độc lập của mô hình Nếu không có thông tin tiên nghiệm để biết được biến độc lập nào là thích hợp, ta có thể thực hiện việc sắp xếp các quan sát theo từng biến độc lập

d) Kiể định White

Kiểm định này khảo sát phần dư i theo các biến độc lập Giả sử xét mô hình hồi quy gốc sau:

Y 0 1X1 2X2 3X3

ác ước kiểm định hite như sau

Bước 1: Hồi quy mô hình gốc, ta thu được phần dư i

Bước 2: Hồi quy mô hình phụ sau đây

Bước 3: Thực hiện kiểm định H : Phương sai hông đổi hay

Nếu n R aux2 2 df : Bác bỏ H

 Chú ý: Kiểm định White không đòi hỏi nhiễu i phải có phân phối chuẩn

2.4 CÁCH KHẮC PH PHƯƠNG SAI NHI THAY ĐỔI

hi đã c thông tin về phương sai tổng thể, ta có thể áp dụng phương pháp ình phương nhất tổng quát (GLS – Generalized Least Squares để thực hiện hồi quy

hương pháp GLS ch nh là phương pháp OLS áp dụng cho các biến đã được biến đổi từ mô hình vi phạm giả thiết cổ điển thành một mô hình thỏa mãn các giả

thiết cổ điển Do đ các tham số ước lượng của mô hình này sẽ có tính chất BLUE

húng ta hãy xem x t trường hợp mô hình hồi qui tổng thể ba biến:

Các ước lượng tuyến tính không chệch của  , thì   , tìm bằng phương pháp

S có phương sai nhỏ nhất, hay nói cách khác ch ng dao động quanh giá trị tham

số thực với biên độ dao động nhỏ nhất o đó   , là ước lượng hiệu quả nhất Các tính chất tuyến tính, không chệch, hiệu quả của   , được gọi là tính chất B

Trong trường hợp này ta cũng sử dụng phương pháp GLS, tuy nhiên cũng cần

có một số giả thiết nhất định về phương sai tổng thể Dưới đây trình ày a phương pháp khắc phục, trong đ mỗi phương pháp gắn liền với một số các giả thiết cho

phương sai của nhiễu

a Phương pháp 1: (Phương sai của tổng thể tỉ lệ với bình phương của biến độc

lập)

Giả thiết của phương pháp này cho r ngVar i E i2 2X i2