Phương pháp bình phương cực tiểu báo cáo đề tài nghiên cứu khoa học cấp trường

Trang 1 PHƯƠNG PHÁP BÌNH PHƯƠNG CỰC TIỂUBÁO CÁO ĐỀ TÀI NGHIÊN CỨU KHOA HỌC CẤP TRƯỜNGChủ nhiệm đề tài: Huỳnh Thanh ToànTP Hồ Chí Minh - 2017 Trang 2 Tổng quan đề tàiKhái niệm bình phươn

PHƯƠNG PHÁP BÌNH PHƯƠNG CỰC TIỂU

BÁO CÁO ĐỀ TÀI NGHIÊN CỨU KHOA HỌC CẤP TRƯỜNG

Chủ nhiệm đề tài: Huỳnh Thanh Toàn

TP Hồ Chí Minh - 2017

Tổng quan đề tài

Khái niệm bình phương cực tiểu bắt nguồn từ công trình tiên phongcủa Gauss và Legendre trong khoảng đầu thế kỷ 19 Bình phương cựctiểu được sử dụng nhiều trong thống kê hiện đại và mô hình toánhọc

Các bài toán có nhu cầu sử dụng phương pháp bình phương cực tiểu:giải hệ phương trình, tìm đường cong phù hợp nhất ứng với dải dữ liệucho trước (curve fitting), tìm phương trình hồi quy trong thống kê

Tổng quan đề tài

Bài toán giải hệ phương trình tuyến tính Ax = b với A ∈ Rm×n,

b ∈ Rm, x ∈ Rn Trường hợp Ax = b vô nghiệm

+ Phương pháp khử Gauss không đưa ra nghiệm chính xác

+ Phương pháp thay thế: tìm ¯x ∈ Rnsao cho ¯x là gần nhất để trởthành nghiệm theo nghĩa khoảng cách Euclide, tức là kA¯x − bk2 nhỏnhất Nghiệm ¯x trong trường hợp này được gọi là nghiệm bình

phương cực tiểu (least squares solution), xem [3]

Tổng quan đề tài

Bài toán giải hệ phương trình tuyến tính Ax = b với A ∈ Rm×n,

b ∈ Rm, x ∈ Rn Trường hợp Ax = b vô nghiệm

+ Phương pháp khử Gauss không đưa ra nghiệm chính xác

+ Phương pháp thay thế: tìm ¯x ∈ Rnsao cho ¯x là gần nhất để trởthành nghiệm theo nghĩa khoảng cách Euclide, tức là kA¯x − bk2 nhỏnhất Nghiệm ¯x trong trường hợp này được gọi là nghiệm bình

phương cực tiểu (least squares solution), xem [3]

Tổng quan đề tài

Bài toán tìm đường cong khớp nhất với dữ liệu cho trước

Giả sử với dữ liệu (ti, yi)i =1 m, ta cần tìm đường cong g (xj, t)j =1 nsao cho g (ti) ≈ yi Đặt χ2 =

m

P

i =1

[yi− g (xj, ti)]2, phương pháp bìnhphương cực tiểu là tìm các tham số xj sao χ2 là bé nhất

Bài toán tìm phương trình hồi quy trong thống kê

Tổng quan đề tài

Bài toán tìm đường cong khớp nhất với dữ liệu cho trước

Giả sử với dữ liệu (ti, yi)i =1 m, ta cần tìm đường cong g (xj, t)j =1 nsao cho g (ti) ≈ yi Đặt χ2 =

m

P

i =1

[yi− g (xj, ti)]2, phương pháp bìnhphương cực tiểu là tìm các tham số xj sao χ2 là bé nhất

Bài toán tìm phương trình hồi quy trong thống kê

Các định nghĩa và định lý

Giả sử A ∈ Rm×n, b ∈ Rm, x ∈ Rn

Định nghĩa 1 (Hệ không nhất quán (inconsistent))

Hệ Ax = b không có nghiệm gọi là hệ không nhất quán

Định nghĩa 2 (Nghiệm bình phương cực tiểu (least squares

solution))

Nghiệm ¯x của hệ không nhất quán Ax = b thỏa kA¯x − bk2 nhỏ nhấtgọi là nghiệm bình phương cực tiểu

Định nghĩa 4 (Điểm cực tiểu địa phương (local minimizer))

Cho số dương nhỏ δ và hàm số F (x ) Điểm x∗ gọi là điểm cực tiểuđịa phương của F (x ) nếu F (x∗) 6 F (x), ∀x thỏa kx − x∗k < δ

Các định nghĩa và định lý

Định nghĩa 5 (Điểm dừng (stationary point))

Điểm xs gọi là điểm dừng của F (x ) nếu F0(xs) = 0

Định nghĩa 6 (Ma trận xác định dương (positive definite matrix))

Ma trận đối xứng M ∈ Rn×n gọi là

+ Xác định dương nếu xTMx > 0, ∀x ∈ Rn, x 6= 0

+ Nửa xác định dương (positive semidefinite) nếu xTMx > 0,

∀x ∈ Rn, x 6= 0

Định nghĩa 8 Ma trận Hessian của F là

Nghiệm bình phương cực tiểu của hệ không nhất quán

Xét hệ phương trình không nhất quán Ax = b

Định lý 3 (Nghiệm bình phương cực tiểu)

Phương pháp đạo hàm cho bài toán bình phương cực tiểu

Phương pháp đạo hàm cho bài toán bình phương cực tiểu

Phương pháp đạo hàm cho bài toán bình phương cực tiểu

Phương pháp Gauss-Newton cho bài toán bình phương cực tiểu

Thuật toán Gauss-Newton tìm nghiệm bình phương cực tiểu

(i) Tính ma trận Jacobian J(x ) của f và tìm hgn từ hệ phương trìnhtuyến tính

JTJhgn= −JTf(ii) Bước lặp x = x + hgn

Các bài toán áp dụng

Bài toán 1 Tìm hàm tuyến tính và hàm bậc hai khớp nhất với các dữliệu về độ lệch nhiệt độ trung bình toàn cầu từ năm 1991-2000 được chonhư bảng sau (xem [4])

Các bài toán áp dụng

Dùng phương pháp đạo hàm (ti, yi) là dữ liệu cho trước

g1(t) = 0.123 + 0.034t g2(t) = −0.4078 + 0.2997t − 0.0241t2

Các bài toán áp dụng

Bài toán 2 Tìm đường cong khớp nhất với dải dữ liệu có chu kỳ về nhiệt

độ ghi nhận được ở Washington ngày 1/1/2001 được cho như bảng sau(xem [3])

Các bài toán áp dụng

Dùng phương pháp giải hệ Ax = b với mô hình

g (xj, t) = x1+ x2cos 2πt + x3sin 2πt Kết quả thu được

g (t) = −1.95 − 0.7445 cos 2πt − 2.5594 sin 2πt

Các bài toán áp dụng

Bài toán 3 Tìm đường cong khớp nhất với dải dữ liệu về chiều cao vàtrọng lượng trung bình của bé trai từ 2-11 tuổi được ghi nhận bởi trungtâm kiểm soát dịch bệnh (Centers for Disease Control, CDC) năm 2002như sau (U.S National Health and Nutrition Examination Survey) (xem[3])

Các bài toán áp dụng

Dùng phương pháp giải hệ Ax = b với mô hình

+ Mô hình 1: g1(xj, t) = αeβt Kết quả thu được g1(t) = 2.0907e2.0553t

+ Mô hình 2: g2(xj, t) = αtβ Kết quả thu được g2(t) = 16.3044t2.4199

Các bài toán áp dụng

Bài toán 4 Tìm đường cong khớp nhất với dải dữ liệu mô tả số lượng ô

tô hoạt động trên thế giới từ năm 1950 đến 1980 (xem [3])

Các bài toán áp dụng

Dùng phương pháp Gauss-Newton sau 5 bước lặp với điều kiện ban đầu(x1, x2) = (50, 0.1) và mô hình g (xj, t) = x1ex2 t

TÀI LIỆU THAM KHẢO

[1] ˚Ake Bj¨orck, Numerical Methods for Least Squares Problems, SIAM,1996

[2] K Madsen, H.B Nielsen, O Tingleff, Methods for Non-linear LeastSquares Problems, Informatics and Mathematical Modelling TechnicalUniversity of Denmark

[3] Timothy Sauer, Numerical Analysis, George Mason University

[4] Kap, The Methods of Least Squares, lectures INF2320

[5] Stephen Boyd, Least Squares, EE103 Stanford University

XIN CÁM ƠN QUÝ THẦY CÔ

Gradient và Hessian của L: L0(h) = JTf + JTJh, L00(h) = JTJ

Gọi hgn là điểm dừng của L, ta có L0(hgn) = 0 Khi đó

JTJhgn= −JTf (5)

L00(h) = JTJ là ma trận đối xứng, xác định dương nên hgn là cực trịđịa phương Từ (5) ta có

hgnTJTf = −hTgnJTJhgn < 0 (6)Thay (6) vào (4) ta được F (x + hgn) ≈ F (x ) −12hTgnJTJhgn