Phương pháp bình phương nhỏ nhất tổng quát

Bây giờ ta quay lại ước lượng bình phương nhỏ nhất của p2 đã cho ờ trên là p 2. p2 vẫn là ước lượng tuyến tính không chệch nhimg không phải là tốt nhất. Vì sao? Nguyên nhân của hiện tượng đó là do một giả thiết của mô hình cổ điển không được thỏa mãn đó là giả thiết phương sai của sai số không đổi bị vi phạm.

Vậy làm thế nào để khắc phục tình trạng đó? Để trả lời cụ thể cho câu hỏi này chúng ta phải phân biệt từng trường hợp đã biết hoặc chưa biết phương sai (xem ở mục cuối ở chương này). Ở đầy chúng ta chỉ trình bày một phương pháp tổng quát để đưa một mô hình không thỏa mãn giả thiết: phương sai của sai số không thay đổi, về mô hình thỏa mãn giả thiết đó, để làm cơ sở cho việc xem xét ảnh huờng của việc vi phạm giả thiết này.

Xél mổ hình 2 biến Yj = Pi + p2Xj + ư, , trong đó tất cả các giả thiết cùa mô hình hôi quy tuyến tính cổ điển được thỏa mãn trừ giả thiết phương sai của sai sô' không đổi. Phương trình này có thể viết lại dưới dạng

Y , = p i X o i + P 2 X u ( 6 . 1 2 )

Trong đó: Xói = 1 (Vi). Với mỗi i, chia cả 2 vế của (6.12) cho ơi (ơi > 0) ta được:

Y, x 0i X ỏ i

- ^ = P , ^ - + P 2 ^ - + ^ - (6.13)

ơ; ơ; G; ơ;

Đặt XOi Ư;

= Xqì = x ; JL = u * và ta cũng sử dụng ký hiệu P*| và p2* r r rr.ơi

chỉ các tham số của mô hình đã được biến đổi để phân biột với các tham sô' của ước lượng bình phương nhỏ nhất thông thường Pi và p2

Vậy mô hình đã được biến đổi có dạng:

y ; = p;x ;ì + p;x ; + u ; (6.14) Mục tiêu của việc biến đổi mô hình gốc là gì? Để thấy được điều này chúng ta xét số hạng sai sô' đã được biến đổi Ư i . Ta có

V a r ( u ; ) = E { u ; ) 2 = ^ - E ( u i ) 2 = ặ = l (Vi) Vậy ư j có phương sai không đổi.

Vì chúng ta vẫn giữ lại tất cả các giả thiết khác của mô hình hồi quy tuyến tính cổ diổn. Thêm vào đó Ưj thỏa mãn cả giả thiết phương sai không đổi.Nên nếu chúng ta tiếp tục phương pháp bình phương nhỏ nhất cho mô hình biến đổi (6.14) thì các ước lượng sinh ra từ đó sẽ là các ước lượng tuyến tính không chệch tốt nhất.

Thủ tục biến đổi các biến gốc theo cách đã trình bày ỏ trên trong đó các biến đã được biến đổi thỏa mãn các giả thiết của mô hình cổ điổn và sau đó áp dụng phương pháp bình phương nhỏ nhất vào chúng, được gọi là phương pháp bình phương nhỏ nhất tổng quát.

Thù tục ước lượng pi* và 02* là như sau:

Trước hết ta viết hàm hồi quy mẫu của (6.14) dưới dạng:

( X .N Oi k ơ i )

ỉ X ;

\G \ /

\ +

Hay Yj* = PÍXv, + p*2X*i + e’i (6.15)

Để thu được ước lượng bình phương nhỏ nhất tổng quát, ta cực tiểu hàm:

2 Z ^ - ỉ (y; - k * ì - K x í) :

i=! i=l

Đặt w = - y ta quay về dạng (6.7), cho nên ta có thể viết ngay được các ƯỚC lượng:

a?

(6.16)

(6.17)

( Z w , ) ( ỉ w , x í ) - ( i > , x , ) 2

l-l

Var( /?;) = — ---í— ^--- ( Z w , x z w , x ; ) - ( i ; w ix i)2

(6.18)

6.4. HẬU QUẢ CỦA PHUƠNG SAI CỦA SAI s ố THAY Đ ổ i

Mục này ta sẽ xét xem phương sai của sai sô' thay đổi ảnh hường như thế nào dến các ước lượng thu được.

Chúng ta sẽ chỉ ra ràng:

• Các ước lượng bình phương nhỏ nhất vẫn là không chệch nhimg không hiộu quả.

• uồc lượng của các phương sai sẽ bị chệch, như vậy làm mấl hiệu lực khi kiểm định.

Vì quan tâm của chúng ta chủ yếu là hệ sô' góc p2 cho nên để đơn giản ta xét mô hình không có hộ số chặn sau:

Trong đó u là nhiẻu ngẫu nhiên thỏa mãn các điều kiện :

• E(Ư,) = 0

• C ov(ư„Ụ i) = 0

• Var(U) = ơi2

Theo phương pháp bình phương nhỏ nhất ta được ước lượng bình phương nhỏ

Yi=pi X + Ư, (6.19)

nhất cùa p2 là:

ô | x , Y , P2 = í p _

Z x f l-l

= y k Y : trong đó kj = _An— J ) I n

1=1 \

I x ?

1 - 1

Vậy p2 vẫn tuyến tính theo Yj. Mặt khác từ Yj = p2 Xi + Uị ta suy ra:

p 2 = i=.

n n n

X x .Y ị Z x i ( p 2 X i + Ui ) E x . U i

i=1 i=1 — = p 2 + i=l

S x

i=l ẳ x ?i=l ẳ x ?i=l

Vì E(ư,) = 0 và X không phải là ngẫu nhiên nôn E (p 2) = p2> vậy p2 là ước lượng không chệch của p2-

Ta tính được:

Var (/?;> =

p y ;

ằ-l______

( £ x f ) ' i-l

(6.20)

(cách làm tương lự như đã nói ở trên).

Bây giờ chúng ta thực hiộn đánh trong số cho quan sát thứ i là — trong đó Zj Zi

thỏa mãn điêu kiện Z|2 = ơj2 / ơ2 (a2 là hằng số). (Lưu ý rằng phép biến đổi ờ đây tổng quát hơn ở trên một chút vì chỉ cần dặt ơ2 = 1 ta được ngay Zị = 1/W|). Ta sử dụng p* để chỉ ước lượng tham số của mô hình đã biến đổi. Lúc độ (6.17) có thể viết lại là:

z, P2 Z; z , (6 .21 )

Đặt khi đó

z.

E (w t) 2 , U;

Hồi quy mẫu của (6.21) có dạng:

E (U j)

À e ( v ì) 2 = 4 = o 2 . 1

Y: .

— = 6 Zi p

. X ị 2 z + Vi.

Ucrc lượng bình phương nhỏ nhất của (6.19) như đã biết đó là ước lượng bình phương nhỏ nhất có trọng số và ta ký hiộu là 02 thì:

02 =

X ( Y i /Z iXXi/ Z i >

i=l

X ( X i / Z i )V i

= P2+JT (6.22)

ẳ ( X j / Z ị)2 Z ( X , / z , )

i=l i=l

Lấy kỳ vọng 2 vế của (6.22) ta có E (pj) = p2

Như vậy P2 là ước lượng không chộch của 02- Ta sẽ chỉ ra rằng hiệu quả hơn P2.

Chúng ta có

V ar(/?,*) =

Thay ơ|2 = Ơ2Z( vào (6.18) ta được:

Var(P2) =

• <T2 Ẻ ( X ,/ Z , ) :

l-l

a 2 ẳx?z?

i=l

/ n N2

ằ x ?

M=I /

Lập tỉ số

V aríP Ỉ) (ẳx?)2

Yai VH2^ ________ị=J__________

Var(^ )==ẳ < x ? / z ? ) ẳ x ỉ z ?

i=l i=l

Đặt ai = XịZ\ ; bi = XJZị lúc đó:

n

*• ( E a . b i) 2 V a r ( ^ )

V ar(ê2) £ a ? £ b?

i=1 i=l Theo bất đẳng thức Bunhiacopski cho n số tùy ý thì:

Z a ib i i=l i=l \ị= ị

và dấu bằng xảy ra khi và chỉ khi

a i a 2 a n

bị b2 bn

(6.23)

Var(pộ) c l Var(P2)

Nghĩa là V ar(pj) £ Var(P2), dấu bằng chỉ xảy ra khi và chỉ khi

— = — = z f = const b, X i/Z j ‘

nghĩa là ơ|2 khổng đổi, vậy ước lượng P2 không hiệu quả.Bây giờ ta quay lại với ước lượng cùa phương sai của p2 như đã biết, nó được ước lượng bởi công thức sau: v = ^ r - Trong đó RSS là tổng bình phương các phần dư thu đươc từ mô

n-iỵxỉ

hình ước lượng bình phương nhỏ nhất. Ta tính kỳ vọng của RSS : E(RSS) = e [ E ( Y ì - P 2X1)2]

„ Ẻ X ? o ? Ẻ a f Ẻ X ? - E x ? a ?

- Ẻ o ? - g — - g £ ---

i=' Z x ? Z x ?

i=l i=l

Lưu ý rằng nếu ơ j2 = ơ2 (Vi) thì E(RSS) = (n - l)ơ2 . Chúng ta ước lượng phương sai P2 mà giá trị kỳ vọng của nó là:

RSS 1 ) 1

n - l £ x ? J ( n - l ) ỉ x Ị ( n - l x S xi)

Trong khi đó phương sai thực là: ' '

( S x j f

Như vậy phương sai đã được ước lượng cũng là ước lượng chộch. Bây giờ giả thiết rằng ơ j2 và Xị2 có tương quan dương (điều này thường xảy ra với các số liêu kinh tê") mà thỏa mãn điều kiện

t x ỉ o f > ~ ỵ x f ỉ a ỉ i=l n i=l i=l

thì giá trị kỳ vọng của phương sai đã được ước lượng nhỏ hơn phương sai thực.

Như vây chúng ta sẽ ước lượng quá thấp phương sai thực của ước lượng bình phương nhỏ nhất và sẽ thu được khoảng tin cậy hẹp hơn khoảng tin cậy thực. Điều này sẽ làm ảnh hưởng kiểm định giả thiết về p2 . Hay nói cách khác là khoảng tin cậy và các kiểm định gỉa thiết dựa trôn phân phối t và F không còn đáng tin cậy nữa. Vì vậy nếu sử dụng thủ tục kiểm định giả thiết thông thường có thể dẫn đến những kết luận sai lầm. Điều này sẽ dẫn đến hậu quả không lường trước được trong

thực tiễn. Đó chính là lý do vì sao chúng ta phải nghiôn cứu vấn dồ này. Nhưng làm thế nào để biết được rằng phương sai của sai sô' thay đổi hay không?

6.5. PHÁT HIỆN RA PHUƠNG SAI CỦA SAI s ố THAY Đ ổ i

Như chúng ta đã thấy về mặt lý thuyết thì dễ dàng chỉ ra hâu quả cùa hiện tượng phương sai của sai sô' thay đổi, nhưng việc phát hiện ra hiện lượng này trong thực tế thì cũng không phải là vấn đồ đơn giản. Vì sao vậy? Bởi vì chúng la biết được ơj2 chỉ khi chúng ta có toàn bộ tổng thể tương ứng với những giá trị X được chọn, nhưng điều này hầu như hiếm xảy ra, nghĩa là chúng ta ít khi có được toàn bộ tổng thể để nghiên cứu. Thông thường chúng ta chỉ có được mẫu rút ra được từ tổng thể muốn nghiên cứu mà thôi. Như vậy chúng ta chỉ có những giá trị dơn cùa Y ứng với những giá trị đã cho của biến X, và ta lại không có cách nào để xác định phương sai ơj2 từ giá trị đơn của Y. Vậy thì làm thế nào để phát hiện ra phương sai cùa sai sô' thay đổi?

Cũng như trong trường hợp “đa cộng tuyến”, chúng ta không có một phương pháp chắc chắn để phát hiộn ra phương sai của sai số thay đổi. Chúng la chỉ có vài công cụ để chẩn đoán có thể giúp chúng ta phát hiện ra hiện tượng này. Sau dây chúng ta hãy xét một vài cách chẩn đoán.

1. Bản chất của vấn đề của nghiên cứu

Thông thường bản chất của vấn đê nghiên cứu gợi ý cho chúng ta rằng có thể xảy ra hiện lượng: Phương sai của sai số thay đổi hay không? Trôn thực tế thì ử số liệu chéo liên quan đến các đơn vị không thuần nhất hay xảy ra hiện tượng phương sai của sai số thay đổi. Chẳng hạn trong nghiên cứu sô' liệu chco của chi phí Irung bình của sản xuất tùy theo số lượng sản phẩm được sản xuất ra, trong mủu gồm những doanh nghiệp có quy mô khác nhau, người ta thấy rằng dường như phương sai cùa sai sô' thay đổi.