Nghiên cứu và xây dựng một số thuật toán quy hoạch thực nghiệm tối ưu

Đối với vấn đề tối ưu hóa thí nghiệm, hiện nay, trong quy hoạch thựcnghiệm tối ưu có hai xu hướng chính: một là lập kế hoạch tốt nhất chocác thí nghiệm để tối ưu hóa các kết quả đầu ra,

ĐẠI HỌC QUỐC GIA HÀ NỘI

ĐẠI HỌC KHOA HỌC TỰ NHIÊN

Nguyễn Quang Đạt

NGHIÊN CỨU VÀ XÂY DỰNG MỘT SỐ THUẬT TOÁN

QUY HOẠCH THỰC NGHIỆM TỐI ƯU

LUẬN VĂN THẠC SĨ TOÁN HỌC

ĐẠI HỌC QUỐC GIA HÀ NỘI

ĐẠI HỌC KHOA HỌC TỰ NHIÊN

NGUYỄN QUANG ĐẠT

NGHIÊN CỨU VÀ XÂY DỰNG MỘT SỐ THUẬT TOÁN

QUY HOẠCH THỰC NGHIỆM TỐI ƯU

Chuyên ngành : Cơ sở toán cho tin học

Mã số : 60460110

LUẬN VĂN THẠC SĨ TOÁN HỌC

Cán bộhướng dẫn khoa học: TS Nguyễn Hải Vinh

TÀI LIỆU THAM KHẢO

I Tiếng Anh

1.1 Dette, H and Haines, L (1994) “E-optimal designs for linear and

nonlinear models with two parameters”, “Biometrika”

1.2 Dette, H and Studden, W J (1993) “Geometry of E-optimality”, “Ann

Statist”,

1.3 Elfving, G (1952), “Optimum allocation in linear regression theory”

“Ann Math Statist”.

1.4 Holger Dett, Viatcheslav B Melas, Andrey Pepelyshev (2004), “Optimal

Designs for a class of nonlinear regression models”, St Petersburg State

University, Russia

1.5 Imhof, L A and Studden, W J (2001) “E-optimal designs for rational

models” “Ann.Statist.”

1.6 Viatcheslav B Melas (2006), “Functional Approach to Optimal

Experimental Design”, Springer Science+Business Media, Inc., USA

II Tiếng Nga

2.1 Ф е д о р о в В В (1971), “Теория оптимального эксперимента

(планирование регрессионных экспериментов)”,изд-ва «Наука»,

Москва

III Tiếng Việt

3.1 Lưu Lan Hương (1985), “Ứng dụng phép quy hoạch trong bố trí thí

nghiệm”, luận án tốt nghiệp đại học, ĐH Tổng hợp, Hà Nội

3.2 Phan Phương Loan, Bùi Minh Tâm, Phạm Thanh Liêm (2013) “Nghiên

cứu một số chỉ tiêu sinh lý cá rô biển”, Khoa Nông nghiệp và Tài nguyên Thiên nhiên, Trường Đại học An Giang

Mục lục

Chương 1:

1.1 Tổng quan 4

1.2 Các yêu cầu chung về sự đánh giá 7

1.3 Mô hình tuyến tính 9

1.3.1 Ví dụ về mô hình tuyến tính: 16

1.4 Tiêu chuẩn tối ưu 18

1.4.1 Chuẩn D: 18

1.4.2 Chuẩn G: 18

1.4.3 Chuẩn MV: 19

1.4.4 Chuẩn c: 19

1.4.5 Chuẩn E: 20

Chương 2:Chương 2: Lớp mô hình hồi quy phi tuyến 21 2.1 Thuật toán tối ưu cho lớp hàm hồi quy phi tuyến 21

2.2 Lớp mô hình hồi quy phi tuyến dạng phân thức 25

2.2.1 Đánh giá các kết quả đo đạc 25

2.2.2 Phân tích tiệm cận theo mô hình tối ưu chuẩn E và chuẩn c 30

2.2.3 Mô hình hồi quy phi tuyến dạng phân thức hữu tỷ 35 2.3 Một số mô hình hồi quy phi tuyến dạng phân thức 41

2.3.1 Mô hình 1: 41

2.3.2 Mô hình 2: 48

2.4 Lưu đồ mô hình thuật toán: 50

Chương 3:Chương 3: Bài toán thực tế 51 3.1 Bài toán 1 51

3.1.1 Thí nghiệm ban đầu 52

3.1.2 Mô hình hóa bài toán 53

3.1.3 Giải bài toán 54

3.1.4 Tổ chức thêm thí nghiệm lần thứ 2: 56

3.1.5 Mô hình hóa và giải lần thứ 2 56

3.2 Bài toán 2 58

3.2.1 Thí nghiệm ban đầu 59

3.2.2 Mô hình hóa bài toán 60

3.2.3 Giải bài toán 61

3.2.4 Tổ chức thêm thí nghiệm lần thứ 2: 63

3.2.5 Mô hình hóa và giải lần thứ 2 63

MỞ ĐẦU

Trước đây, các nhà khoa học, trong khi nghiên cứu, thường làm rất nhiềuthí nghiệm Họ tiếp tục đùng thống kê để phân tích các kết quả thu được.Tới thời điểm hiện tại, khoa học kỹ thuật đã phát triển rất mạnh Nhữngthí nghiệm cho các chuyên ngành đã trở nên cực kỳ lớn và phức tạp Sựphát triển ngày một đi lên của khoa học - công nghệ đã gây ra một sựgia tăng rất cao của chi phí cho các thí nghiệm Chúng ta lấy đơn cử một

ví dụ như việc phát triển của vật lý nguyên tử hiện nay đòi hỏi phải xâydựng một loạt các máy gia tốc không lồ, trị giá nhiều tỷ đô-la

Các nhà khoa học và các nhà nghiên cứu buộc phải xoay theo một hướngkhác trong khoa học thông kê Quy hoạch thực nghiệm tối ưu ra đời nhằmđáp ứng yêu cầu của họ Quy hoạch thực nghiệm tối ưu đã tối ưu hóa việclập kế hoạch tiến hành các thí nghiệm, từ đó có thể thu được nhiều kếtquả có giá trị nhất với một số ít nhất các thí nghiệm

Đối với vấn đề tối ưu hóa thí nghiệm, hiện nay, trong quy hoạch thựcnghiệm tối ưu có hai xu hướng chính: một là lập kế hoạch tốt nhất chocác thí nghiệm để tối ưu hóa các kết quả đầu ra, và hai là xây dựng kếhoạch thực nghiệm tối ưu cho các thí nghiệm xác định mô hình nghiên cứu.Trong xu hướng thứ nhất, việc chúng ta cần làm là tính toán các điềukiện thí nghiệm, sao cho chúng ta có thể tìm được điều kiện tốt nhất đểkhi làm thí nghiệm thì ta thu được kết quả tốí ưu nhất, tức là một kết quảthu được nào đó của thí nghiệm nhận được phải là tối ưu nhất có thể Talấy một ví dụ đơn giản trong trường hợp này Trong ngành hóa học - côngnghệ hiện đại, chúng ta đặt ra yêu cầu là phải nhận được sản phẩm ở mứclớn nhất Một phép tính toán và quy hoạch ở đây là phải tìm ra nhiệt độthích hợp, áp xuất thích hợp, tỷ lệ phần trăm các thành phần nguyên liệu,v.v

Xu hướng thứ hai, trong một số trường hợp, chúng ta lại phải tìm hiểumột khía cạnh khác của thí nghiệm Ta cần phải xác định xem một yếu tốnào đó sẽ có ảnh hưởng như thế nào đối với các kết quả mà chúng ta sẽthu được ở trong thí nghiệm của chúng ta Và từ đó có thể tìm ra được cơchế của thí nghiệm này Lấy lại ví dụ bên trên, chúng ta cần phải xác địnhxem các yếu tố bên ngoài như nhiệt độ, áp suất, v.v sẽ có tác động rasao đối với kết quả của chúng ta (ta cần thu được nhiều sản phẩm nhất)

Ở đây, nếu như chúng ta viết lại nó trong ngôn ngữ của toán học, thì ta

có thể thấy rằng ta cần phải xây dựng mô hình như sau: cần phải tìm ramột phương trình xác định các mối quan hệ giữa các đại lượng ban đầu(các chất phản ứng, các yếu tố nhiệt độ, áp suất, thời gian, v.v ) với cácđại lượng của kết quả (ở đây là khối lượng sản phẩm thu được) Và cuốicùng, chúng ta phải đưa ra được một mô hình toán học của thí nghiệm này.Trong luận văn thạc sỹ này, bài toán được đặt ra là: chúng ta đã cótrước kết quả của một số thí nghiệm Nhưng những kết quả của các thínghiệm cho trước đó là không đủ để tính toán ra (chứng thực) lý thuyếtmới mà chúng ta cần Chúng ta phải làm thêm một số thí nghiệm nữa bêncạnh các thí nghiệm trước Yêu cầu của bài toán ở đây là hãy xác định kếhoạch cho việc thực hiện thí nghiệm mới một cách tốt nhất.

Mục tiêu của học viên là nghiên cứu về lý thuyết của quy hoạch thựcnghiệm tối ưu, cùng với đó là áp dụng các lý thuyết vào trong bài toánthực tế:

1 Tổng quan và thực trạng hiện nay của quy hoạch thực nghiệm tối ưu

2 Nghiên cứu, chứng minh lý thuyết Đưa ra cách xây dựng thuật toán

3 Áp dụng vào bài toán thực tế

Luận văn bao gồm các mục:

Chương 1: Tổng quan về quy hoạch thực nghiệm tối ưu

1.1 Lớp mô hình đơn giản: lớp tuyến tính

Chương 2: Lớp mô hình quy hoạch thực nghiệm tối ưu phi tuyến:

2.1 Lớp mô hình hồi quy phi tuyến dạng phân thức

2.2 Một số các mô hình lý thuyết

Chương 3: Nghiên cứu trên mô hình thực tế:

3.1 Bài toán 1

3.2 Bài toán 2

CHƯƠNG I:CHƯƠNG I: QUY HOẠCH THỰC NGHIỆM TỐI ƯU

1.1 Tổng quan

Bây giờ, chúng ta sẽ xem xét các mô hình toán học của các vấn đề, thiết

kế các thông số toán học cho các hiện tượng và làm sáng tỏ chúng Chúng

ta đầu tiên sẽ đưa ra các cách để toán học hóa các số liệu trên

Thông thường, các kết quả thu được trong thí nghiệm thường được phụthuộc vào một hoặc vài yếu tố, mà ở đây, ta gọi chúng là "biến kiểm soát",hay các "biến đầu vào" (ta sau đây sẽ hầu như chỉ sử dụng tên "biến đầuvào" trong các mô hình) Các biến này thay đổi tùy theo các thí nghiệmcủa chúng ta Ví dụ bên trên cho thấy ta có thể thay đổi nhiệt độ, áp suất,thời gian, phần trăm hóa chất ban đầu, v.v Mỗi một yếu tố này, ta đạidiện chúng bằng một biến số, ta sẽ được một vector như sau:

gọi là một không gian các yếu tố ban đầu Tập hợp các điểm trong khônggian này, nơi mà các phép đo có thể được thực hiện (có thể làm thí nghiệmtại các điểm này) được gọi là "miền kiểm tra", hay là "miền giá trị đầu

chúng ta Một số trường hợp, các giá trị giới hạn này phụ thuộc vào tínhchất của các biến đầu vào Với ví dụ hóa học trên, ta có thể thấy áp suấtkhông thể là số âm, hay thành phần phần trăm các nguyên liệu ban đầuluôn nằm trong khoảng 0% tới 100% Trong một số các trường hợp nhỏhơn nữa - thường xảy ra hơn - đó là chúng ta còn cần xem xét các giá trịcủa biến đầu vào còn có các giới hạn khác nữa, ví dụ như nhiệt độ phụthuộc vào nguồn nhiệt thí nghiệm cung cấp, nên không thể cao hơn mộtgiá trị nào đó, v.v Chúng ta thậm chí còn có thể phải đưa ra các giớihạn nhiều hơn nữa

Trong trường hợp này, chúng ta cần phải đưa ra được một mô hình toánhọc (ví dụ là một dạng hàm số) phụ thuộc vào các biến đầu vào, để có thể

thực hiện được việc tối ưu hóa thí nghiệm như ta cần Ta sẽ giả sử rằng,mối quan hệ này được xác định bởi một hàm số như sau:

E(y/x) = η(x)

số θ1, θ1, , θm trong hàm này

Trong các trường hợp để tìm hiểu các mô hình toán học tối ưu mà tacần, chúng ta cần thếm một số các thông tin khác nữa Và ở đây, ta có thểchia bài toán tìm mô hình tối ưu này ra thành ba cấp độ cơ bản theo độkhó của chúng:

án này, chúng ta sẽ không đi sâu vào nghiên cứu bài toán ở mức độ khó này.Mặc dù, cách phân chia trên chỉ là một cách phân chia cơ bản nhất,

và trong trường hợp thực tế, các bạn có thể gặp phải các vấn đề có mức

độ nằm trung gian ở giữa hai cấp trên Khi đó, giải quyết bài toán theotrường hợp nào là hoàn toàn tùy thuộc vào hoàn cảnh bài toán

Việc thiết kế các mô hình toán học cho trường hợp thứ nhất đã đượcgiải quyết trên cơ bản vào tầm năm 1955 - 1960 Hiện nay, chúng ta chỉcòn xem xét và giải quyết các trường hợp đặc biệt gặp phải mà thôi.Với cấp độ thứ hai, các phương pháp giải quyết đã được đưa ra bắt đầu

từ những năm 1970, cho tới nay vẫn còn có một số vấn đề cần tiếp tục giảiquyết Nó cần tới các nhà khoa học chuyên ngành, để họ đưa ra các thông

số dữ liệu và từng các mô hình nhỏ bên trong một mô hình lớn hơn Bàitoán này đưa ra yêu cầu về việc thiết lập các hàm nhỏ bên trong một cách

toán cấp độ một

Còn vấn đề về độ khó ở cấp độ ba thì cho tới nay, chúng ta vẫn chưa thểhoàn toàn giải quyết trên phương pháp (tức là đưa ra một phương pháptổng quát nào đó) Tuy nhiên, hiện giải pháp phổ biến được đưa ra là cóthể sử dụng tính xấp xỉ

1.2 Các yêu cầu chung về sự đánh giá

Bây giờ, chúng ta sẽ nêu ra các yêu cầu của việc toán học hóa này

Kết quả thu được của các phép đo là không giống nhau trong các lần

đo Chúng có những sự sai biệt nhỏ nào đó, dù được đo tại cùng một địađiểm và trong các điều kiện như nhau Ở đây, kết quả thu được như sau:

một hàm số mà dạng của nó đã được biết trước Các tham số

là những tham số chưa biết

Còn E thì tương ứng với giá trị trung bình

kết quả thu được - trong một số các trường hợp có thể là sử dụng một

trong các phép tính Nói chung là ta sẽ không sử dụng ngay các giá trị

vào những kết quả ta đo đươc, chứ không phải là lấy ngẫu nhiên hoàntoàn

˜

θ = Ψ(y1/x1, , yn/xn)

Các thực nghiệm nhằm tìm ra các thông số (các giá trị) chưa biết này

ta sẽ gọi chúng là hồi quy Việc tính toán và xác định này được gọi là phântích hồi quy

Để có thể có được đánh giá tốt nhất cho toàn bài toán đã được đặt rathì các giá trị trên cần phải được tính ra đầy đủ

Bắt đầu từ đây, chúng ta sẽ sử dụng khái niệm "Không lệch", "Chínhxác" và "Hiệu quả".

E[˜θ] = θist

trị chính xác)

lim

N →∞P [(˜θN − θist)T(˜θN − θist) ≥ ε] = 0

bất đẳng thức sau xảy ra:

D(˜θ) ≤ D

θ



tế (không tiện lợi) Thậm chí là bất tiện trong từng tình huống đo đạc dữliệu tại một điểm Do vậy sẽ là vẫn có thể chấp nhận được khi ta sử dụngmột con số chưa chắc chính xác (tạm hy sinh tính chính xác của số liệu)

để có thể xây dựng thuật toán tối ưu mà ta cần Sau này khi có thuật toán

cơ bản, ta có thể quay lại với các số liệu thực tế

Sau đây sẽ là phần phân tích thuật toán và lập hàm số, mà trong đóchúng ta chỉ dựa vào những số không có trong thực tế, hay nói cách khác

tế, các giá trị thu được thường khá là không có quy tắc

1.3 Mô hình tuyến tính

E(y/x) = η(x, θ) = θTf (x) (1.2)trong đó:

phương sai là nhỏ nhất trong tập các giá trị ược lượng unbiasedness mà

D(uuu) = E[uuu − E(uuu)] × [uuu − E(uuu)]T

và

D(vvv) = E[vvv − E(vvv)] × [vvv − E(vvv)]T

được liên hệ với nhau bởi hệ thức:

Chứng minh của định lý trên khá dễ dàng, ta có thể tự làm một cáchnhanh chóng

Trong quá trình chứng minh ta nhận được:

E(ˆθ) =M−1Mθist = θist

được gọi là ma trận Fisher.

Với việc xây dựng công thức tính tối ưu hóa giá trị thực nghiệm bêntrên, ma trận thu được rất thường hay gặp được ở trong lý thuyết thựcnghiệm và cả trong thực nghiệm thực tế Ta có thể đánh dấu nó thànhdạng "quan trọng" trong các ma trận mà ta sử dụng

hoàn toàn xác định, và có thể tìm ra được:

Quả thực như vậy, ta có:

mà chúng ta có thể làm với những nâng cao của nó ở các phương pháp khác

Ở đây, chúng ta được đưa tới hai phương pháp khác khá phổ biến đểđối chiếu với giá trị thực nghiệm

Từ đinh lý (1.3.2)đinh lý (1.3.2)đinh lý (1.3.2), ta có thể trực tiếp suy ra rằng, giá trị thực nghiệm

rằng nó hoàn toàn đúng

Nói cách khác, giá trị tuyến tính tối ưu là hiệu quả nhất trong các lớp giátrị tuyến tính ít lệch chuẩn

tối ưu (1.7) là nhỏ nhất trong mọi giá trị tuyến tính ít lệch chuẩn

|D(ˆθ)| < |D(˜θ)| (1.11)Kết quả (1.11) được suy ra trực tiếp từ công thức (??) Điều này cũng chỉ

là giá trị tuyến tính tối ưu nhất Khi đó, ma trận giá trị thực nghiệm hiệp

1 Dαα(ˆθ) 6 DDαα(˜θ)

2 D(ˆθ) 6 DD(˜θ)

3.3 |D(ˆθ)| < |D(˜θ)|

chứng minh

Trong một số trường hợp, các giá trị của ˆttt có thể tính được, trong khi

tính được

Tồn tại một số phương pháp để có thể tính được các giá trị này và các

ma trận hiệp biến Trong rất nhiều những bài toán thực tế, giá trị lớn nhấtthích hợp là sự mở rộng của công thức bên trên

ˆη(x, θ) = θfT(x)

d(x) = fT(x)D(ˆθ)f (x)

Thực ra thì với những giá trị đo đạc thực tế, những giá trị dùng choviệc xây dựng giá trị tuyến tính tối ưu, chúng ta không cần thiết phải giữ

Hệ quả 1.3.3.6:Hệ quả 1.3.3.6: nếu như tại một điểm xi (với i=1, ,n) chúng ta đo đạc

Định lý 1.3.3.4:Định lý 1.3.3.4: Giá trị tuyến tính tối ưu θˆlà giá trị nhỏ nhất của trọng

số của phương sai

Khi đó, theo các định lý và bổ đề bên trên thì ta sẽ có:

f (x) =



1x

điểm cực tiểu của dạng toàn phương theo công thức sau:

với giá trị của TTT được lấy:

3

1 3

1 3

1 3

1 3

1 2

được hai phương trình sau:

1.4 Tiêu chuẩn tối ưu

mô hình như vậy tồn tại bởi giả định (e) Bây giờ, chúng ta sẽ chỉ xem xét

Các phiên bản của định lý Gauss-Markov có giá trị đối với chúng

M−1( ˆξ) − M−1(ξ) (1.15)

ý Vì vậy, một số hàm số của ma trận thông tin, những hàm số có ý nghĩathống kê tốt, được sử dụng làm các tiêu chuẩn tối ưu

Bây giờ, chúng ta sẽ xem xét một số những tiêu chuẩn hay được sử dụng

Nếu sai số được phân bố một cách bình thường thì tiêu chí này ứngvới việc yêu cầu giảm thiểu thể tích của "confidence ellipsoid" với mộtconfidence level xác định tùy ý nào đó đối với ước lượng

Định nghĩa: Confidence ellipsoid có dạng:

d(x, ξ) = σNV (ˆθTf (x))

với d(x, ξ) là bằng (tới độ chính xác không đổi nào đó) của phương sai

hay là sự giảm thiểu ở mức tối đa các dự đoán sai

Chuẩn MV được dùng để giảm thiểu tổng của các phương sai của mức

Định nghĩa: ma trận nghịch đảo dạng tổng quát (hay suy rộng) của một

1.4.5 Chuẩn E:

λmin(M (ξ)) → sup

ξ

(maximum) của các trục của ellipsoid (1.17) Tiêu chí này được giới thiệu

Chú ý rằng bởi vì:

λmin(M ) = min

c T c=1

cTM c

CHƯƠNG II:CHƯƠNG II: LỚP MÔ HÌNH HỒI QUY PHI TUYẾN

2.1 Thuật toán tối ưu cho lớp hàm hồi quy phi tuyến

Đối với một lớp rộng các mô hình hồi quy phi tuyến, chúng ta sẽ xem xét

trong nhiều trường hợp, các mô hình tối ưu theo các tiêu chuẩn được tìmthấy tại các điểm Chebyshev, là những điểm mà cực trị địa phương củaphương án xấp xỉ tốt nhất có được trong các lân cận xung quang ứng với

trong mô hình tuyến tính tương ứng Các lớp của mô hình bao gồm cáchàm hợp lý, các hàm logistic, các mô hình hàm mũ và các mô hình hàmhồi quy hợp lý sẽ được giải quyết một cách rõ ràng trong nhiều trường hợp

Mô hình hồi quy tuyến tính được sử dụng rộng rãi trong thực tế Nó cóthể được dùng để mô tả sự phụ thuộc của một phản ứng đối với một biếnnào đó (xem các thí dụ trong Seber and Wild (1989) hoặc trong Ratkowsky(1990)) Một sự lựa chọn thích hợp đối với các điều kiện thử nghiệm có thểnâng cao thêm đáng kể chất lượng của các số liệu mà ta thu được Và do

đó có rất nhiều những nhà khoa học đã tiến hành nghiên cứu, thảo luận,giải quyết các vấn đề về việc tìm ra các mô hình thí nghiệm tối ưu nhất chocác thí nghiệm, nhất là các thí nghiệm đối với mô hình hồi quy phi tuyếntính Ở đây chúng ta xem xét tới các nghiên cứu của Chernoff (1953) vàMelas (1978) trước (tham khảo các công trình của các tác giả này trước).Sau đó, chúng ta có thể xem xét tiếp tới các công trình của Ford, Torsneyand Wu (1992), He, Studden and Sun (1996) và Dette, Haines and Imhof(1999) để có thể có thêm các đánh giá mới nhất về các mô hình tối ưu địaphương (cục bộ) Bởi vì các kết quả thu được từ một mô hình tối ưu địaphương có sự phụ thuộc rất nhiều vào dự đoán ban đầu đối với các tham sốchưa biết, vì thế cho nên cấc tác giả của các công trình đã đề xuất một vàinhững mô hình thay thế chấp nhận được Bayesuan hay các mô hình tối ưuthực tế đã được nghiên cứu bởi Pronzato and Walter (1985) và Chalonerand Lanrtz (1989), hay Chaloner and Verdinelli (1995), hoặc nhiều nhữngcông trình khác nữa Các tác giả khác còn đề xuất các phương pháp nhưphương pháp tuần tự, trong đó cập nhật thường xuyên các thông tin vềcác tham số chưa biết (có thể xem các ví dụ trong Ford and Silvet (1980)hay Wu (1985)) Hầu hết các tài liệu và các công trình nghiên cứu toánhọc tập trung vào mô hình tối ưu chuẩn D (họ thường là có các cách tiếpcận vấn đề và cách giải quyết vấn đề khác nhau), trong đó họ tối đa hóa

các yếu tố quyết định của ma trận thông tin Fisher cho các tham số trong

mô hình Tuy nhiên thì cũng vẫn có ít nhiều sự chú ý tới các mô hình hồiquy tuyến tính tối ưu chuẩn E trong lớp các mô hình hồi quy tuyến tính,trong đó họ cố gắng nhiều nhất có thể để làm tối thiểu giá trị riêng của

ma trận thông tin Fisher (xem Dette and Haines (1994) hoặc Dette andWong (1999) với việc xử lý một số các trường hợp với các mô hình 2 thamsố) Bởi vì mô hình tối ưu địa phương là cơ sở cho tất cả các mô hình khaohọc tiên tiến, vì vậy trong bài viết này, chúng ta sẽ nghiên cứu để thiết kế

quy phi tuyến, được viết trong công thức sau:

số chưa biết của mô hình

Việc xem xét các loại mô hình gần đây đã được thúc đẩy trong côngtrình nghiên cứu của Imhof and Studden (2001), họ đã quan tâm tới môhình hữu tỷ trong công thức:

i = 1, , k Lưu ý rằng trong mô hình trên là một mô hình tuyến tính vì 2

Những mô hình kiểu này rất phổ biến, được nhiều người biết tới vì chúng

có tính xấp xỉ khá tốt (xem Petrushev and Popov (1987), phần "một sốtính chất lý thuyết" và Dudzinski and Mykytowycz (1961), hoặc Ratkowsky(1983), trang 120 có cho một số ứng dụng của mô hình này) Trong luậnvăn này, chúng ta làm ngược lại so với Imhof và Studden (năm 2001), ta

số đã biết, mà ta coi chúng là các tham số chưa biết, mà chúng chỉ có thểđược ước lượng ra từ các dữ liệu đã có trước đó Hơn nữa, mô hình (2.1)

mà chúng ta xem xét ở đây bao gồm nhiều hàm hồi quy khác nữa

Ví dụ trong thống kê môi trường, hoặc thống kê sinh thái, mô hình hàm

toxicokinetic Chúng ta có thể xem các thí nghiệm trong các tài liệu củaBecka and Urfer (1996) và Becka, Bolt and Urfer (1993) Ở đây, chúng ta

Ngoài ra thì một lớp phổ biến các công thức và hàm logarith cũng hay

Trong công trình Imhof and Studden (2001) đã nghiên cứu về mô hình

các thí nghiệm một cách chính xác, chứ không phải là các tham số đượcước lượng một cách không chuẩn xác hoàn toàn Đặc biệt, các tác giả đã

1, , t−b1

trị ước lượng của những điểm Chebyshev này là những điểm extremal của

ở phần sau của luận văn này

tham số chưa biết, mà ta chỉ có thể ước lượng nó từ các dữ liệu thực tế

đã biết, thì khi đó, các vấn đề về việc xây dựng một mô hình tối ưu địaphương cho mô hình (2.2) là tương đương với việc xây dụng một mô hìnhtối ưu trong mô hình hồi quy tuyến tính sau:



(2.4)

mà các hàm hồi quy tương ứng không thể đáp ứng tất cả các tính chấtcủa hệ Chebyshev yếu đã được đề cập tới ở trên Tuy nhiên, chúng ta sẽ

ước lượng tuyến tính kết hợp các tham số vẫn được hỗ trợ trên cấc điểmChebyshev Việc này giúp chúng ta đơn giản hóa đáng kể việc xây dựng

thấy được từ tài liệu này rằng, những kết quả thu được không phụ thuộcvào các mô hình (2.2) và (2.4) nhưng có thể được thiết lập đối với các môhình tổng quát (2.1) (hoặc các mô hình tuyến tính tương đương với nó).Ngoài ra, các kết quả này cũng thể hiện được bằng các con số (các dữ liệu

hỗ trợ trên các điểm Chebyshev, cho tất cả các giá trị có thể chấp nhận

tài liệu này dựa trên một nghiên cứu của các giới hạn của ma trân thôngtin trong mô hình (2.1) trong trường hợp tất cả các tham số phi tuyếntrong mô hình này đều hội tụ tới cùng một giới hạn Chúng ta cũng sẽthấy rằng trong các trường hợp này, các mô hình tối ưu địa phương chuẩn

tính trong mô hình (2.1) sẽ có cùng dạng mô hình giới hạn Điều này chỉ

ước tính chính xác các giá trị của các hệ số, và chúng ta sẽ thấy các minhhọa qua một vài ví dụ cụ thể ở phần sau của tài liệu này

Chúng ta cũng nên chú ý rằng, các kết quả liên quan tới các mô hình

i = 1, , k và ri 6= rj), và δ là đủ nhỏ Rõ ràng, mỗi vector b = (b1, , bk)

công thức (2.1) Chúng ta sẽ xây dựng các thuật toán dựa trên giả thiết

hướng tốt nhất cho các mô hình tối ưu Đồng thời, chúng ta cũng sẽ kiểmtra tính tối ưu này của các mô hình tìm được bằng cách sử dụng các định

lý tương đương hoặc các tính chất thay thế tương đương khác

Các ví dụ của phần sau luận văn này và thêm một vài ví dụ trong tàiliệu kỹ thuật của Dette, Melas and Pepelyshev (năm 2002) có thể chỉ rarằng trong rất nhiều trường hợp, các mô hình tối ưu được đưa ra theo cácgiả định đơn giản hóa trong tính toán thực tế chính là các mô hình tối ưu

2.2 Lớp mô hình hồi quy phi tuyến dạng phân thức

2.2.1 Đánh giá các kết quả đo đạc

Xem xét mô hình hồi quy không tuyến tính (2.1) và định nghĩa:

f (t, b) = (f1(t, b), , fm(t, b))T

= (h1(t), , hs(t), ψ(t, b1), ψ0(t, b1), , ψ(t, bk), ψ0(t, bk))T (2.5)

với một mô hình Những điểm support cho chúng ta những vị trí mà tại

đó chúng ta sẽ lấy được những số liệu đo đạc (hay đặt các trạm đo đạc),cho tới khi các số liệu không cân xứng được cân đối lại cho phù hợp ở tất

thông tin trong mô hình (2.6) được định nghĩa bởi công thức:

M (ξ, b) =

Z

I

f (t, b)fT(t, b)dξ(t) (2.7)

một hàm số của ma trận thông tin (xem Silvey (1970) hoặc Pukelsheim

bỏ tham số này ra khỏi mô hình Giữa những chuẩn tối ưu được đưa ra,

đó c ∈ range(M (ξ, b)), ∀b Một trường hợp đặc biệt xuất hiện khi ta lấy

c = ei với ei ∈ Rm (i = 1, , m) sẽ là vector đơn vị thứ i Trong trường

riêng lẻ của hệ số βi

Chú ý rằng ma trận thông tin cho trong công thức hồi quy không tuyến

là ma trận thông tin trong công thức tương đương của công thức hồi quytuyến tính

được gọi là các điểm Chebyshev (ko cần phải đặc biệt) Chúng là đặc biệt

x∈I(x), và sm = max

x∈I (x)

Ta có thể thấy được điều này trong rất nhiều trường hợp của mô hình

chuẩn E và mô hình chuẩn c trong mô hình hồi quy tuyến tính sau

được hỗ trợ với các điểm Chebyshev

với R = conv(f (I)S

f (−I)) biểu thị bộ Elfving

Vì vậy, nếu tất cả các trọng số trong công thức (2.13) là các số không

âm, thì theo định lý Elfving, ta có:

hệ số của hàm đa thức Chebyshev được định nghĩa trong phần trước.Khi đó, kết quả được đưa ra trong mô hình này thành dạng mô hình

như giá trị nhỏ nhất của giá trị riêng của ma trận thông tin của một mô

trong trường hợp này, mô hình chuẩn E là đặc biệt (độc nhất).

hàm f1, , fm tạo ra một hệ Chebyshev trên khoảng I Là một ý tưởng

Kết quả sau đây là đặc điểm của mô hình tối ưu cho việc ước lượng hệ

số riêng

như hệ:

{fi|i = {1, , m}, i 6= j}

cũng là không đủ cho mô hình hồi quy tuyến tính (2.6)

Để thấy rõ điều này, ta có thể cho giá trị k = 3, khi đó hàm số ϕ làhàm liên tục, vầ khả vi đối với biến thứ 2, và cũng khi đó, các hàm số

f1(·, b), , fm(·, b) được định nghĩa trong công thức (2.5) sinh ra một hệ

Fj(x) := (h1(ti), , hs(ti), ϕ(ti, b1), ϕ0(ti, b1), , ϕ(ti, bj−1), ϕ0(ti, bj−1),

ϕ(ti, x), ϕ(ti, bj+1)ϕ0(ti, bj+1), , ϕ(ti, bk), ϕ0(ti, bk))

với c < t1 < < tm−1 < d, bi 6= bj khi i 6= j và x 6= bi

k ≥ 3 và g là hàm liên tục, khả vi, thì sẽ tồn tại hai điểm, ta gọi là x∗ và

ngụ ý rằng tất cả các định thức trong công thức (2.9) là cùng dấu Bởi

|b|→∞ϕ(t, b) → 0, khi

đó nó sẽ được chỉ ra bằng những argument giống nhau, những argument

mà tồn tại sao cho hệ thức:

{h1(t), , hs(t), ϕ(t, b1), ϕ0(t, b1), ϕ0(t, ¯x)}

2.2.2 Phân tích tiệm cận theo mô hình tối ưu chuẩn E và chuẩn c

Ta sẽ nhắc lại định nghĩa của ma trận thông tin trong công thức (2.7) cho

nó các tham số tham số phi tuyến thay đổi (không tuyến tính và thay đổi)

Ta sẽ quan tâm tới các tính chất tiệm cận của mô hình tối ưu theo

bi = x + δri, i = 1, , k (2.18)

r1 < r2 < < rk và một giá trị δ xác định thỏa mãn δ → 0 Chú ý là

Với những xem xét tiệm cân tới, ta sẽ chỉ ra rằng, với giá trị cố định

fs+i(t, x) = ¯fs+i(t) = ϕ(i−1)(t, x) i = 1, , 2k (2.20)

và tương ứng với vector hồi quy:

¯

f (t, x) = f¯1(t, x), , ¯fs+2k(t, x)
(2.21)

argument thứ 2

cứ khi nào nếu như nó không xuất hiện trong hàm số Chú ý là với hàm số

(ϕ(t, b1), ϕ0(t, b1), , ϕ(t, bk))T = Q ϕ(t, x), ϕ0(t, x), , ϕ2k−1(t, x)
T + o(1)

= Q ¯f (t, x) + o(1)

công thức (2.1) thỏa mãn:

ϕ ∈ C0,2k−1([c1, d1] × [c2, d2])

1, , ¯fs+2k được định nghĩa

nghĩa tại (2.3)) là duy nhất

hình (2.1) thỏa mãn:

ϕ ∈ C0,2k−1([c1, d1] × [c2, d2])

định nghĩa trong (2.5) và (2.20) (riêng từng cái), là hệ Chebyshev trên

bj khi i 6= j) Nếu như ε là một giá trị đủ nhỏ, thì với bất kỳ b ∈ Ωε,∆, mô

nhất trong mô hình hồi quy

chỉ ra rằng, trong vô số các giá trị riêng lớn nhất của ma trận nghịch đảo

extremal của đa thức Chebyshev tương ứng với hàm số trong công thức(2.5), còn trọng số thì được cho trong công thức (2.13)

thiết cần để hỗ trợ tại điểm Chebyshev Tuy nhiên, một thứ tương tự như