hồi qui phi tham số và mô hình tuyến tính tổng quát 4_2

luận văn giới thiệu về phương pháp hồi qui phi tham số và mô hình tuyến tính tổng quát. các trường hợp một chiều, hàm Spiline riêng phần trong hồi qui phi tham số.

Luận uăn thạc sĩ A.Hoi gui bin tham sb

Chương 3

HÀM SPLINE RIÊNG PHẦN

A.3.1 Mô hình hồi qui bán tham số

Giả sử cho mỗi quan sát Y; có p+1 biến giải thích : một p-véctơ x¡ và một biến vô hướng t¡, ta xét mô hình dạng :

trong đó B là p-véctơ các hệ số hồi qui và g là hàm trơn cần được ước lượng, s¡ là sai số ngẫu nhiên Mô hình trên gọi là mô hình bán tham số Các biến xị gọi là các biến tuyến tính, còn biến t gọi là biến spline

Trong thực tế, dạng phụ thuộc của Y vào hầu hết các biến giải thích được biết thông qua lý thuyết hoặc kinh nghiệm đã trải qua, như vậy có thể có tối đa

một hoặc hai biến được xem như là biến spline và được xử lý khác các biến khác

Trường hợp sử dụng mô hình như trên được nêu ra rất tự nhiên, khi mô hình tuyến tính được xem là phù hợp, ngoại trừ tính không đồng nhất theo thời gian

Khi đó mô hình bán tham số (A.26) cho phép xử lý thời gian theo cách phi tham

số Ứng dụng của mô hình dùng để phân tích các cánh đồng thử nghiệm trong nông nghiệp, trong đó g(t) miêu tả dinh dưỡng đất tại thời điểm t theo không gian

A.3.2 Phương pháp bình phương bé nhất có xét độ khúc khuỷu cho

mô hình bán tham số

Nếu ta muốn áp một mô hình dạng Y;= x; B + g(t) + s¡ cho dữ liệu, ta phai ước lượng và g bằng phương pháp bình phương bé nhất, đó là cực tiểu tổng bình phương dư số

{V,~x†B~g()Ƒ

Tuy nhién, néu g khéng c6 rang budc gi thi bao gid ta cling cé thể chọn được hàm

g thda g(t) = Y; =Ky B, va như vậy, B không thể xác định Vì thế, một cách tự nhiên ta cần kiểm soát độ khúc khuỷu của g trong quá trình ước lượng, nghĩa là ước lượng B và g sao cho cực tiểu tổng bình phương có xét độ khúc khuỷu :

wi [X, -x1B-g(t,)) +0 fe"2(thde (A27)

Sw(B,g) =

i

Ma trận liên thuộc

Ký hiệu Y là n-véctơ với các thành phần Y¡, W là ma trận đường chéo cấp nxn các trọng lượng w¿, và X là ma trận nxp có hàng thứ ¡là x;

Ta không xét trường hợp khi mà tất cả các t¡ đều đồng nhất, vì khi đó mô hình bán tham số đang xét trở thành hồi qui tuyến tính nhiều chiều

Sắp xếp và khử sự trùng lặp các điểm tr, ta được các điểm sị s„ Kết nối giữa tị

và s¡ là ma trận liên thuộc N có cỡ là nxq được xác định như sau :

1 nếu tị=s,

?ˆ |0 nơi khác

Nghĩa là ta có [tị, tạ, , t,}N = s, với § = (Su„ S4)"

Vì giả thiết t¡ không đồng nhất nên q > 2

Nếu gọi g là véctơ các gid tri a; = g(t), thi Sw(B,g) có thể viết dạng ma trận như

sau :

Sw(B,g) = (¥-XB -Ng)"W(Y -XB -Ng) +a [g”(t)”dt

= (Y-XB —Ng)"W(Y -XB -Ng) + ag’Kg

Vậy Sw(B,g) cuc tiéu khi ma B và g thỏa phương trình khối ma trận :

Nếu phần tham số của mô hình liên quan đến X và ÿ được bỏ qua thì phương trình

Suy ra

Ng = N(N'WN+aK) 'N'WY

Hơn nữa, néu t; phan biệt và được sắp thứ tự thì NÑ = I, do đó

g=(W+ơK)'WY

như đã xét trong trường hợp có trọng số

A.3.3 Định lý A.7 (về tính duy nhất của B va g)

Giả sử W là ma trận nxn đối xứng xác định dương, X và N là ma trận bất kỳ lần

lượt có số chiêu la nx p va nx q,.va K là ma trận qx q đối xứng xác định không âm

Gọi r là hạng của ma trận K, T là ma trận cấp qx (q-r) bất kỳ có các cột là

cơ sở của không gian "không" của K Khi đó, nếu ma trận khối [X NT] có hạng

đủ theo cột thì ma trận :

X'WX XIWN

N'WX N'WN+0K xác định dương với mọi tham số ở

Chứng mình :

Với mọi p-véctơ u và q-véctơ V, ta có :

Vì W và K là các ma trận xác định không âm nên rõ ràng biểu thức trên không

âm, bằng không xảy ra chỉ khi Xu+Nv = 0 và v là một véctơ của không gian

"không" của K Do giả thiết T là ma trận có các cột là cơ sở của không gian bù

với không gian sinh bởi các cột của K nên y=Tồ, ỗ là véctơ hệ số nào đó Vì vậy, hai điều trên tương đương với

[x NT]|"|=0 ND

Nhưng [X NT] là ma trận khối có các véctơ cột là độc lập tuyến tính, nên ta phải

có u= 0 và ô-= 0, từ đó suy ra u= v =0, nghĩa là ma trận

X'WX_ XÌWN N'WX N'WN+oK

xác định dương với mọi tham số œ 0

A.3.4 Phương pháp tìm nghiệm trong thực hành

Ta viết phương trình (A.26) dưới dạng một cặp hai phương trình ma trận sau :

(N'WN + aK)g = N'W(Y - X B) (A.31)

Từ (A.30) ta thấy rằng nếu biết g thì ta ước lượng B bằng phương pháp bình

phương bé nhất có trọng số đối với các giá trị Y¡ -(Ng)¡ Trái lại, nếu biết B thì từ

(A.31), ta có thể cho ứng một hàm Spline trơn bậc 3 đối với các giá trị Y¡ — X B

Định lý A.8 : Xét hệ phương trình tuyến tính

4 B [z\ íp

B' CÍv} \¢

Với A và C là hai ma trận đối xứng Giả sử rằng ma trận khối là xác định dương (nghĩa là hệ phương trình có nghiệm duy nhất) Khi đó nghiệm của hệ trên là giới hạn của vòng lặp bắt đâu với vécto u bat ky, va quá trình lặp theo hai phương

trình

y =C%g— Blu) (*)

với n =1,2,

Chứng mình :

Giả sử A = LUT, trong đó L là ma trận không suy biến Từ (*) và (**), ta có :

Lru® =LTA*(p-By®)

=L'(p- By”)

=L'(p- BC'q+BC'B'u™”)

=L†(p— BC!q)+MLTu®ÐĐ - — (A432) trong đó M =L'BC!B†(L?)!, Ta lại có :

lữ d = |€IAA -BCB|=|C|JL|JAI-M||LT|

^A BỊ [A BỊ] [A-DA 0

B' C| |B' c| | 0 90

là ma trận xác định dương với moi A> 1, nén ỊM - M| #0, VA 21 Nhu vay, moi Nhưng rõ ràng

giá trị riêng xác định không âm của M đều nằm trong khoảng [0,1) Vi vay qua

trình lặp (A.32) hội tụ Suy ra (*) và (**) hội tụ 'Ì

A.3.5 Phương pháp tìm nghiệm trực tiếp

Ta thấy rằng phương pháp backfiting ở trên luôn hội tụ theo lý thuyết bởi

vì các giá trị riêng của ma trận tương ứng đều có trị tuyệt đối nhỏ hơn 1 Có thể

xây ra trường hợp khi giá trị riêng lớn nhất rất gần 1, khi đó sự hội tụ rất chậm

6 đây ta đưa ra cách tìm nghiệm mà không phải thực hiện một vòng lặp

Ta thay Ng = S(Y-X B), với § = N(NTWN +œK)}'NTW là ma trận nón với

các ma trận W và N, vào Ng ở (A.30) để được pxp phương trình tuyến tính :

XTW(- S)X B= X TW(I~ S)Y (A433)

theo biến số B Khi có B, thay ngược trở lại Ng = S(Y-X ÿ), ta tìm được véctơ g

A.3.6 Cross-Validation cho mô hình Spline riêng phần

Hàm Cross- Validation có dạng :

CV(a) = Yow, fy, - POC)?

i=l

Tương tự bổ để A.I và định.lý A.5, ta nhận được :

A 2

CV(a) = 2 Wị % 7 ) (A.34)

Ở đây Ÿ =AY = XÊ+Nệ, ma trận nón

A=S+(I-S)X{X'W(I-S)X}'X™W(I-S), (A35)

S=N(N'WN +aK)'N'W (A.36)

Thật vậy, từ (A.28), suy ra ma trận nón

¬I

XÌWX X ÌWN x

N'WX N'WN+oKk]| [N Nhưng Nê = S(Y-X 8), với § = N(NTWN +ơK}NTW, ta có (A.31), nên suy ra

Nề =SY - SX(XW(I- S)X]'X W(- S)Y

=[S - XIXTW(- S)XJ!XPW(I- S)]Y

Suy ra

AY=Xð+Nê

= X[XTW(I - S)XJ'XTW(I - S)Y + [S- SXIX TW - S)x}'X'wa -

SY

=[S+(I-S§)XIXTW(I-S)X)'X W(-S)]Y

Hàm Cross-Validation tổng quát :

3w, -Ÿ)Ÿ

GCV(œ)=h—————

Í - attra}

Vết của ma trận A có thể được tính như sau :

tr(A) = tr § + tr[(X W(I-S)X}!XTW(-S)?XI

Tương tự mục A.2.4, ta định nghĩa bậc tự do tương đương cho dư số là

EDF = tr(I-A) = n-tr A

A.3.7 Thuật toán Speckman

(Phương pháp xấp xỉ thay thế đối với Spline riêng phần )

Xét mô hình bán tham số :

Yi= xị B +g(t) +6

Ta có thể coi các biến x/ là hàm hồi qui phụ thuộc tị

x¡= Š) + Tị

với š là véctơ các hàm trơn theo biến t, nị là véctơ dư số

Định nghĩa hàm go nhu sau :

Bot) = E(t)" B + g(t)

Yi = Bolt) + i

Suy ra

(A.37)

(A.38)

(A.39)

hay có thể viết lại :

~ go(t) = {xi Š(I)}B +, (A40)

Đặt S là ma trận nón với tham số œ

S = N(N'WN + aK)'N'W

va ky hiéu X, = lan lượt là các ma trận

Khi đó ta có thể ước lượng và ê như sau :

Bước I : Dựa vào (A.38) ước lượng được š, nghĩa là ước lượng được = (coi

như trường hợp phi tham số), Š = SX

Bước 2 : Dựa vào Y; = go(tj) + e¡ , ta ước lượng được {go(t,)}, nghĩa là có

2o = SY

Bước 3 : Đặt Ÿ=(1~ S)Y; X= (1— S)X là các dư số

Từ (A.40) suy ra Y= X B+ là mô hình có tham số nên

Â=(X'X)'X"!V

Bước 4: Thay # vao Y;- x! Ô = g(t) + s¡ để ước lượng hàm STNB3 g(t)

bằng thuật toán Reinsch

Hàm Cross-Validation tổng quát có thể được sử dụng để tìm tham số trơn Để có biểu thức của ma trận nón, ta viết lại véctơ của các giá trị dự đoán như sau :

XZ+Nê =Xô+S(Y-X?)

=SY +(-S)X(X*X}'XTq-S)Y

=[S+ X{XT%}!'XT_S)]Y

Vậy ma trận nón trong trường hợp này là : S + X{X™K}' XLS)

A.3.8 Mô hình cộng

Xét dạng tổng quát của mô hình (A.26)

p

=

trong đó tụ là giá trị của biến thứ j cho quan sát thứ ¡, e¡ là sai số ngẫu nhiên của

mô hình Trong cách xác định này, các hàm thành phần có thể tất cả đều tuyến tính theo các tham số ÿ, đây vẫn là mô hình tuyến tính, nhưng nếu một trong những hàm này không ở dạng trên, còn số hàm khác thì không xác định nhưng với đòi hỏi của tính trơn, đây là trường hợp mô hình bán tham số như đã trình bày

Mô hình (A.41) gọi là mô hình cộng

Khi mô hình cộng được ước lượng bằng cách sử dụng xấp xỉ bình phương bé nhất có xét độ khúc khuỷu, các hàm{g;} được ước lượng sao cho cực tiểu hàm sau

2

Sw(81, 82 Sp) = Soop Seco} +a, fay(t)? at (A42)

với œ¡ là các tham số trơn rời nhau cho mỗi hàm thành phần

Nếu các đối số được sinh ra như trong mục A.3.2 thì đồng thời các phương

trình ước lượng có dạng :

(N?WN, + œK)gj= Nj W(Y - Ny 2, )

kaj

tương tự (A.31) Khi có nhiều hơn một thành phần phi tham số, phương pháp tính trực tiếp như mô tả trong mục A.3.4 không còn dùng được nữa, nên phải sử dụng phương pháp backfiting như trong mục A.3.5 Như vậy hàm Spline trơn bậc 3 có trọng số vẫn còn đóng vai trò quan trọng như là một công cụ tính toán, thậm chí đối với lớp mô hình phức tạp hơn