Một vài phương pháp số giải bài toán tối ưu phi tuyến

Như ta biết mọi bài toỏn tối ưu đều cú thể đưa vẻ bải toỏn tim cực tiểu một hảm số, nờn bài toỏn ta xột cú dang: Tỡm cực tiểu hóm số f: IRˆ——>IR ,với x =xè,xẺ....x".x' e IR x — fix Bài t

Truy ờn2 But cúc, Siu Visor

x Mee = bad Kinh }

|

MỘT VAI PHUONG PHAP SO GIAI BAI TOAN TOI UU PHI ft ` :

Luận văn Tốt nghiệp Đại học

Chuyên ngành Toán

SVTH : Mai Đức Thanh, Khóa 1998-2002

Người hướng dẫn : TS Trịnh Công Diệu

Người phản biện :TS Nguyễn Chí Long

Luận văn được bảo vệ tại bộ môn Toán LỨng Dụn+

Khoa Toán = Tin trường Đại học Sư Phạm TP Ho Cli Vii

Ngày 03 thang 06 nam 2002

Chương mở đầu

[ Bài toản tối tu và phương pháp số

II Phương pháp số cho bải toán tối ưu phi tuyến không điều kiện

Chương I : Phương pháp Gradient

| Phương pháp giảm nhanh

ll Biến thể phương pháp

II Phương pháp Gradient mở rộng

Chương HH : Phương pháp Newton

I Phương pháp Newton

ll Biến thể phương pháp

Chương III : Một số áp dụng

I Cực tiểu hóa hảm bác hai

II Tỉnh khoảng cách trong không gian Euclit n chiều

Chương IV : Thuật toán hóa các phương pháp

và một số chương trình máy tính

[ Thuật toán hóa các phương pháp

II Một số chương trình bằng ngôn ngữ Pascal

LUẬN VĂN TỐT NGHIỆP CHƯƠNG MỞ ĐẦU

CHƯƠNG MỞ ĐẦU

1.Bài toán tối ưu và phương pháp số:

Trong thực tế có rất nhiều vấn đề được đưa vẻ việc tìm cái tốt

nhất, thời điểm tốt nhất, phương án thuận lợi nhất, hay nói cách

khác là chọn đổi tượng tối ưu nhất theo một tiêu chuẩn nào đó.Lớp

doi tượng cản chọn củng thoả mắn các tiêu chuẩn nảo đó Khi ta "mó

hình hoá toán học” những vấn để này, tạo điển giải hình thức cho

lớp các đối tượng, khảo sát cho tiêu chuẩn tối ưu,ta sẽ có bải toản tối

ưu (toán học) Đã có rất nhiều vấn để toán học được phát triển trên

cách nhu cấu thực tế và kết quả lý thuyết (trữu tượng) được áp dụng

trở lại thực tế thành công như bải toán vận tải, bài toán kế hoạch sản xuất,

Bải toán quy hoạch tổng quát có dạng :

Min|f{x) : xeMI

với M c IR” là tập hợp thường được xác định bởi một hệ phương

trình hay bất phương trình dạng :

g(x) < b, hay g(x) = b,

ham f thưởng được gọi lả các hảm mục tiêu

các hảm ø, thường được gọi là các hàm ràng buộc

Bải toán tối tu được chia làm hai loại: bải toán tối tu tuyến

tính nếu hàm mục tiều và các ràng buộc được biểu diễn ở dạng tuyển tính,bải toán tối ưu phi tuyến nếu bài toán không có điều kiện trên

Ta cũng có thể chia dạng bài toán tối ưu theo kiểu khác : bài toán có điều kiện và bài toán không điều kiện tuỳ theo có râng buộc

trên hay không

Phương pháp số là phương pháp tính toán dùng để tính giá trị

của một đối tượng nảo đó, phương pháp phổ biến lả xây dựng một

đảy xấp xỉ các đối tượng hội tụ vẻ đối tượng cản tìm để thöng qua

day nay chọn một đối tượng thay thế cho đối tượng được khảo sát,

điểu quan trọng của cách lâm này là nhở đó có thể chỉ ra được độ sai

khác của việc thay thé nay

Trong luận văn nảy chúng ta chỉ khảo sát bài toán quy hoạch phi tuyến không ràng buộc, nghĩa là hàm f la ham phi tuyén va ta

cần tìm mín|f(x) : xeIR'|

Luận van được chia làm 4 chương (không tính chương mở đầu) :

Chương l1 : Giới thiệu vẻ phương pháp gradient các biến

thể, các tỉnh chất của phương pháp

Trang |

Trong luận văn ta sử dụng một số ký hiệu khải niệm sau :

+ Định nghĩa 1.1 : Cho D lả tập mở trong IR" va f : D > IR ,giả sử f khả vi tại mọi x thuộc D, đạo hàm f là ánh xạ tuyến tinh ti IR"

Hàm f được gọi lả đạt cực tiểu địa phương tại x` nếu tổn tại một lan cận U của x” sao cho f{x) < f(x),VxeU

a Cho x,yelR" ta ký hiệu tích vô hướng x,y lả <x.y> = yxy,

bel

a Chuẩn của xeIR° là: |xÌ= V(x,x)

a Với xe IR”,ta coi x là một vectơ nếu sử dụng trong tích vô hưởng

vả xem x lả ma trận cột nếu sử dụng trong phép tính ma trận

a Định nghĩa 1.3: Ma trận vuöng đối xứng A được gọi là xác định đương nếu <Ax,x> > 0O ,VxzO ,xe IR'”

a Mệnh để 1.1: Ma trận vuông đối xứng A = [ay]ạ„ xác định đương khi vả chỉ khi định thức của mọi ma trận con {a,lx„ đều là số

dương

Q Định nghĩa 1.4: Cho hàm f : IR" —> IR

X — (xì

Hàm f được gọi là lôi nếu với mọi xị, x2 € IR" ; moi A), Ag € IR

thod A; + Ag=l thi: [[:¡Xi#^zXa} S Ay flx)) + Agflxe)

Ham f dude gọi la lỏi nghiêm ngặt nếu với mọi xị, X¿ e IR" : mọi

Ay A2 € IR thoa Ay * Agz=l thi: f.¡xi¡+2a2X2) < Ayflxy) + Aaflxe)

u Ménh dé 1.2: Giả sử hàm f có đạo hàm cấp hai liên tục khi đó các phát biểu sau lả tương đương:

(a) Ham f la ham lỏi,

(b} f(x¿} - Í(x¡} > <f(X\) Xz - X:> WX) xXgeIR"

Trang 2

LUẬN VĂN TỐT NGHIỆP CHƯƠNG MỞ ĐẦU

(c) Ma trận đạo hàm bác hai fˆ(x) thoả mãn:

<f(x)p.p> > O., Vx, pelR",

4 Mệnh để 1.3: Nếu hảm f có đạo hàm cấp hai liên tục và có mội

hang sO meIR, m > O để ma trận đạo hảm bác hai f (x) thoả mãn:

<f(\x)p.p> > m lpÍ?, vx, pelR"

thi ham f lỗi nghiêm ngặt

II.Phương pháp số của bài toán tối ưu phi tuyến không điều

kiện:

Trong đề tải nảy chúng ta chỉ xét đến bải toán tối ưu phi tuyến

không điều kiện Như ta biết mọi bài toán tối ưu đều có thể đưa vẻ

bải toán tim cực tiểu một hảm số, nên bài toán ta xét có dang:

Tìm cực tiểu hãm số f: IRˆ——>IR ,với x =(xÌ,xẺ x").x' e IR

x — fix)

Bài toán nảy đã được giới thiệu trong bộ mỏn VI Tích Phan voi

giả thiết hảm f kha vi cing phương pháp kiểm tra tỉnh xác định

dương của ma trận đạo hàm bác hai tại điểm dừng

Tuy nhiên việc giải hệ f(x) = O chưa có thuật toản, phương pháp tổng quát Trong khi đó, thực tế chỉ yêu cảu tinh giá trị gản đúng của cực tiểu và điểm đạt cực tiểu Đỏng thời thực tế yêu cầu cản có thuật toán, phương pháp cụ thể với sự hỗ trợ máy tính trong quả trình giải

Phương pháp số giải bài toán cực tiểu hoá thường xây dựng một day |x„| hội tu vé x sao cho f[xx.p) < fxx) Dây (xy) có dang:

Xkel = Xk + Ak-Pr

Với p„ e IR” là vectơ định chiêu giảm của f tại một lắn cận của

Xx ax € IR la hé s6 dudng bao dam cho f{xx.1)) < f{xy}

a)Cach chon vécto p,:

Trong lân cận cila x, co nhiéu vectd xac dinh chiéu gidm cua

ham f tai f(x,J Dé chon mot vecto px như vay ta chi can chon p, théa

man BDT <f'(x,).px> < 0

That vay,theo khai triển Taylor ta co:

Í[Xw„i) = Í(xy) + <Í(Xk).Xk+i — Xk> + 1⁄4.<F (Xxe)( Xk«i — Xe).Xk+i — Xk>

VỚI Xụ = Xx + Ô.( Xx+¡ — Xe) : Ô e [O,Ì]

© ÍXw.i) - ẨX,) = ay.<f (X\).Pk> + ay7/2.<Í”/(Xxc)-Pk (Ðx>-

Vậy nếu <f(Xx}.py> < O thì với một số ay khá nhỏ nào đỏ ta có f(x„.:) <fxv), nghĩa lả tổn tại một lân cận của x, dé ham f giảm theo

phương p, tại fx;)

Trang 3

en

———ễễễẼễẼễẼEẼễ—-ễễễẼễẼễEẼễẼễEẼễ==Ề

b)Cách chọn hệ số a,:

Khi đã chọn p„ thỏa mản BĐT <f(x¿).py> < O, ta chỉ cắn chon a,

trong lăn cận của x„ mã hảm Í giảm tại fx„) theo phương px tức là

chọn ay thỏa BĐT f(xy,;) - f(xu) < e.ay.<f'(Xu).p„> với e là hằng số

O<c<]l

Ta cũng có thể chọn cách khác để dãy | f(xy)\ giảm là a„ thỏa

điều kiện: fÍxx.¡) = fx, + ax-px) = min fx, + a.px)

với cách nảy cách chọn ay lại trở thành bải töỏan cực tiểu hàm mot bién gla) = Í{xx + a.p)

c)C4c van dé cin giải quyết của phương pháp:

i) Với cách chọn p„ và ay như trên ta đã xảy dựng được đảy |xy) sao cho dây | f(xu)| giảm nhưng chưa thể khẳng định được đảy (xyj có

hội tụ hay không và nếu hội tụ thì có hội tụ vẻ điểm x” đạt cực tiểu

hay không Sự hội tụ nảy chỉ đúng với từng phương pháp ứng với một lớp hàm nhất định

ii) Giả sử dãy |x,| dugc xay dựng đả hội tụ thì dãy (xy| sẽ hội

tụ với tốc độ nảo Tốc độ hội tụ nảy trong thực tế rất quan trọng vì nếu sự hội tu qua cham thì với dung lượng bộ nhớ có hạn, máy tính

khó có thể thực hiện được quá trinh xáy dựng dãy {x,) gin về điểm

hoi tu

Dinh nghia 1.5: Cho day số (x;| hdi tu vé x’, ta noi:

+ Day s6 [x;| hội tụ với tốc độ một cấp số nhăn (linear rate)

công bội q nếu ta có: Íxx.¡-x«Ï< q Ìx„-x«[ hoặc Ìx„-x-Ì< q*.C

với O <q< 1; C <eœ,

+ Dây số [x„| hội tụ với tốc độ trên cấp số nhân (superlinear

rate) nếu ta có:

|xx.¡-x«Í< qụ Íxu-x«Í hoặc Ïx„-x-Ì< q¡.q: qx.C với dãy |qxÌ| -» O khi k ~> œ ; C < ø

+ Day số [xx| hội tụ với tốc độ bặc hai (quadratic rate) nếu ta

có: Ïxu„¡-x«Í< € Íxy-x« Ì Ê

iii) Khối lượng phép tính được tiến hảnh của thuật toán cùng rất quan trọng vì nó ảnh hưởng đến thời gian làm việc của máy tính

Do đó, ta cẩn cải tiến các phương pháp nhằm giảm bớt khối lượng công việc của máy tính

Trang 4

LUẬN VĂN TỐT NGHIỆP PHƯƠNG PHÁP GRADIENT

CHƯƠNG 1: PHƯƠNG PHÁP GRADIENT

I.Phương pháp giảm nhanh:

TY cach chon vecto py, thod man <f(x,).px> < O, trong phương

pháp này ta chọn px = - f(x,)

Day |xx| có dạng Xk„:i = Xx - Ax (Xi)

Để chon a, thod man BDT:

f[xK+1) — fxd < e.a<f(X).px> = -E.aw Í f(x¿) ÌÊ

Ta dùng thuật toán sau (gọi là phương pháp lặp chọn a,):

Cho a một giá trị cho trước (vd: lấy a = 1)

+Bước 1:Tính x = xự - a f(xy)

+Bước 2:Tinh ffx) = fix, — a f(x,))

+Bước 3:Kiểm tra BĐT: f(x) - f{xu) <-.a Ì f(xx] | ? +Bước 4:Nếu bước 3 kiểm tra BĐT cho kết quả sai Ta giảm a bằng cách nhân a với t (O<t<1) rồi lặp lại các bước cho đến khi BĐT bước 3 đúng Khi kiểm tra BĐT bước 3 đã đúng, ta

chon a, = a

Phương pháp chọn vectơ p„ như trên được gọi là phương pháp

giảm nhanh hay phương pháp građient

Định lý 1.1: Giả sử hàm f bị chặn dưới, đạo hàm f thoả mãn điểu kiện: |f(x)- f(y) Ì< R Íx- yÌ.vx,yeIR"

Khi đó với phương pháp giảm nhanh, có ay được chọn bằng

phương pháp lặp thì thuật toán thực hiện được và | f(x„) [—>»0 khi

k-»s,với mọi điểm x, ban dau

Chứng rninh:

Từ định lý giá trị trung bình, ta có:

f{x) — f(xy) = <f (Xw‹).X = X> VỚI Xw: = Xx + Ö(x — Xe), 8e|O.1]

> fx) - flxx) = <f(Xx),X - Xu> + < (Xe) - Ẩ{Xv),X — Xe>

= -a |f(xx) |? + Ra? | f(x„)l?

= -a Ïf(xy) |®(1 - R.a) Vay để BĐT fix) - flx;,) <-c.a 1 f(xJ 1% ta cản chon a sao cho:

(1 - R.a] >£ ©a< =

Điều này chứng tỏ sau một số bước hữu hạn giảm a thuật toản

chon a, sẽ dừng, tức lã thuật toán thực hiện được

Định lý 1.1 khẳng định sự thực hiện được của thuật toán chọn

a, va day |x;| hội tụ tại điểm dừng x” (ma trận đạo hảm f{(x) bằng 0) Kết quả thu được có thể là điểm cực tiểu địa phương, điểm yên ngựa

(nếu có) chứ không phải là điểm cực tiểu Tuy nhiên trong thực tế ta

chỉ cản biết giá trị hàm mục tiêu khá bé so với giá trị đã biết ban đầu

lả đã sử dụng được Do đó phương pháp trên có thể áp dụng được vào

LUẬN VĂN TỐT NGHIỆP PHƯƠNG PHÁP GRADIENT

Dinh lý 1.2: Giả sử hàm f có đạo hàm cấp hai liên tục vả tồn tại các hằng số M > m > O sao cho ma tran dao ham cap hai f(x)

thod man điều kiện: mlyl* s < f(xly.y> s Mlyl? ¥ x.yeIR"

Khi do vdi phudng phap gradient, cé a, dudc chon bằng phương pháp lặp thì với mọi giá trị ban đảu của x, cac day |XyÌ |fxx)| hội tụ

ve x ,f[x) (x'` là điểm đạt cực tiểu duy nhất của hàm mục tiêu f ) với

tốc độ được ước lượng bởi các BĐT:

f{xx) - f(x') < q*.( f4} - fx)) ;Í xu- x`Ì< C.q*⁄2

với C<œ ;O<q<l]

Chứng minh:

Từ < f(x)y.y> > mÌyÏ? ,m>0, ;V x,yelR”, theo lỷ thuyết ham

lỏi ta có f là hàm lôi nghiêm ngặt, nên hảm f có duy nhất điểm cực tiểu x` là điểm dừng Do đó theo định lý 1.1 thì dãy |x;| hội tụ vẻ x”

va day (f{xy)| hội tụ về f{x)

Theo công thức Taylor ta có:

See rape sme tii —= me ee mie sil

Tit f(x) - fix’) < s Ix- x'l? = Íx- x I2 > = 3 - fx)) (3)

Thể (2).(3) vào (1) ta có:

oI fool? > ma + aq (fle - fix’)

Do cach chon a, thoa man BDT:

fiXx+1) — fx) s-e-ay I f(x) 1?

= Xu.) — ÍXy) <-c.ay m{1 + wtf - f(x))

= fXu.i) — f{x) < [1 - c.ay m(1 + mi) -fx) — (4)

Với thuật toán thì x - x„ = -a (xy),ta có:

f[x) - fxu) = < f4) — Xy> + >< f"(Xxc)(x — xa).x - Xe>

LUẬN VĂN TỐT NGHIỆP PHƯƠNG PHÁP GRADIENT

Vậy định lý đó được chứng minh

+ ột:

Định lý 1.1 chỉ chứng minh sự thực hiện được của thuật toan

nhưng chưa chỉ ra được tốc độ hội tụ của cỏc dóy (xy) (f(xy)| đồng thời

chưa khẳng định được sự hội tụ của đõy |x„] vẻ điểm đạt cực tiểu

Định lý 1.2 tuy ỏp dụng cho lớp hảm hẹp hơn so với định lý 1.1 nhưng đó khắc phục được cỏc nhược điểm này Tốc độ hội tụ của cỏc

day (xx), {fxy)) được đỏnh giỏ là tốc độ một cấp số nhõn với cụng bội

2e(1-e)m m

Nếu ta coi t, M, m lả những hằng số cho trước thỡ khi đú giả trị

q nhỏ nhất khi c.(1-e) lớn nhất Từ BĐT Cửsi ta cú j#1—e) < ; nộn

Gnun=1 = ke (1 + =) khi c=l/2

Nếu ta coi t, e là những hằng số do ta chọn thi q cảng nhỏ khi

tỉ số = cảng gần 1 Nếu tỉ số H << 1 thỡ q rất gản 1, khi đỏ

phương phỏp khụng hiệu quả vi tốc độ hội tụ rất cham

II.Cỏc biến thể phương phỏp :

Ở phản l ta đó đưa ra thuật toỏn chọn p„=-f(x„) và cỏch chọn

a, thoọ BĐT : f(Xx.Ă) — f(Xv) < -e.ay è f(xy) Í? bằng phương phỏp lặp

Nhưng ở định lý 1.1 và 1.2 ta đó chứng minh được BĐT trờn luụn

thỏa món khi ay < —, hodc a,< aa 8) Như vậy nếu ta xỏc định

trước hằng số R hoặc M thỡ ta cú thể chon a, là hằng số a với a <

=, hoặc as ao đè Với cỏch chọn ax là hằng số này số lượng phộp

tỉnh mỏy tớnh cản làm sẽ giảm đi rất nhiễu so với phương phỏp ban dau

Dinh ly 1.3 : Nộu ham f thộa man diộu kiộn cua djnh ly 1.2 thi

cộ thộ chon a, la hang s6 a: O<a< = Khi đú tốc độ hội tu cua day

(xx| được ước lượng bởi:

lx„- x`Í< q* Íxo- x'Í với q=max{l 1-a.mI, | 1-a.MI|

M-m 2

j 3 nhất là: = , đạt được khi a=

và q nhỏ n Qmin Saag 3 Ợ oa

Chứng minh:

Ta co: bxy- x 1? = <x„-af(xy)- X`, Xxai-X >

=<xx- X-a(f(xu)- Ẩ(xÌ]) Xx.i-X” >

Theo công thức Lagrange : f(xu)- f{x}) =f”(xw:)( xu-x`)

Với x„.= X„ + Ô( xx-x) 9e|O, 1]

=Ìxv.¡- x`Í? =<x, - x” - a.f'4«Ì( Xư-XÌ) Xw.i-X” >

=<{(I - a.f (xwe)Ì( xx-xÌ) Xw.¡-X` >

Vi q=I1 - a.f"(xxe) | = maxi! l-a.m1,/ 1-a.M1}

=n Ewen tm} | M.(1 - ma) - m.(1 - Ma) | „ M-m

Vậy định lỷ đã được chứng minh

Một biến thể khác của phương pháp Gradient lả ta chọn ay

thoả mãn f{x¿,;) đạt giá trị nhỏ nhất của hàm f theo phương px tại

[[x,) : fẨXe.i) = Í{xy — ay.F(xy)) = min f(x„ — a.f(xv)), như vậy để chọn ax

ta lại đưa vẻ bải toán cực tiéu hod ham gfa) = fÍx„ - a.f(xx)) Ta có

thể đùng ngay phương pháp giảm nhanh dé chon ay

Định lý 1.4 : Nếu hảm í thỏa điểu kiện của định lý 1.1 và chọn

ay sao cho Í[Xx,¡) = ÍÍX — ay.F(xy)) = min f{xy - a.f(x¿)) thì Í f(xu) | => o

LUẬN VĂN TỐT NGHIỆP PHƯƠNG PHÁP GRADIENT

Vậy định ly đã được chứng minh

Định lý 1.5 Nếu hảm f thoả điểu kiện định lý 1.2, với phương

pháp Gradient có a„ được chọn sao cho :

[[x.i) = ÍÍxv — ax-P Gad) = min fix, — a.f(x,)) thi day (xx) hội tụ với

[[yx,t) -Íxv) =<f(xv),-a f(Xv)> + 1⁄4<f'(Xec)(- a F(xx)).- a F(xxÌ>

=-al fad]? + ®—<fF'ba.) f0) Fba)>

Pare {Moma te) | bee 2.M’

Tứ đó ta có điều phải chứng minh

HI.Phương Pháp Građient mở rộng:

Cho F là một ma trận đối xứng tuỷ ý thỏa mãn điều kiện :

3p>0: plyl* < <Fy y>s Plyl? ,v yeIR" (e)

Tu cach chon vectd py, ta cd thé chon px, = -F.f (xi) vi :

<f(X;).px> = -<f(x„) F.f(x¿)> < -p Íf(x¿) |? < 0 vậy ta có thể xáy dựng dảy |xy) dạng :

Xx+i = Xk — A Fe L (xX)

Với |Fvl lả một dãy ma trận thỏa mãn tinh chất (¢) Khi dé day

(F¿ '| thỏa mãn : mị ÍyÏ? < <Fy ,y> < Mi ÍyÍ? với mị = a đấm:

` P

Vay ta cling cé thé xay dung day {xy) voi px = -Fy | f' (xe :

Xie = Xk — ay Fy! f(xy

Day la phuodng phap Gradient mé rong vi khi ta lay F, = I thi sẻ trở thành phương pháp Gradient

Vé cach chon a, ta van làm tương tự như phương pháp Gradient

LUẬN VĂN TỐT NGHIỆP PHƯƠNG PHÁP GRADIENT

—————————————— S000

= (1- _ ) a.<f(xx).p„>

(vi p=Fx !.fxu) © f(xx) = Fxpx )

Tương tự định lý 1.1 ta có :

VỚI ay < pe) thi BDT: flxxs1) - flxx) < £ ax<f(x,),p.> đúng vả ta

chứng minh được I f(x.) + O khi k > » theo BDT :

vậy BĐT f[x„.t) - f{x„) < e ax<f(Xx).px> van théa man khi

1- = zea s PU) tương ty djnh ly 1.1 ta chifng minh 2.p

2p(l -

được ay > LÔ vậy với điểu kiện của định lý 1.7 thuật toán chọn ay vẫn thực hiện được tức lả a„ thỏa mãn :

2

Nhận xét :

a Với phương pháp Gradient mở rộng ta thấy kết quả các định

lý 1.1, 1.2 vẫn đúng nghĩa là tính chất của phương pháp nay cing giống như phương pháp trước Tuy nhiên tốc độ hội tụ

của dãy |x¿Ì, |f(xx)| trong phương pháp này là cấp số nhán ,tỉ

số q bé nhất khi eal Nghĩa là, với phương pháp này trong trường hợp dảy |F,| tuỳ ý thỏa điểu kiện đả cho thì tốc độ hội tụ còn chậm hơn so với phương pháp trước

a Ta cũng có hai biến thể chọn ay là hằng số khi biết R hoặc

M là: ay < =? : 8 aot va bién thé chon a, theo diéu

kién : f[x, + ax.px) = min (f(xx) + a.px)

Hoàn toàn tương tự định lý 1.4 ,1.5 ta chứng minh được định lý

Sau :

Định lý 1.8 : Nếu hảm íf thỏa điều kiện định lý 1.2 vả với

phương pháp Gradient mở rộng a„ được chọn theo điều kiện:

fix + ax.px) = min (f(xu) + a.px) thi đảy (xu) hội tụ vẻ điểm đạt cực tiểu x” với tốc độ một cấp số

nhan,

Trang 14

LUẬN VĂN TỐT NGHIỆP PHƯƠNG PHÁP NEWTON

CHƯƠNG 2: PHƯƠNG PHÁP NEWTON

I.Phương phap Newton:

Giả sử hàm f lôi nghiêm ngặt và đủ trơn Khi đó:

3 m>0: <f”(x)y.y> > mỈy |? vx.yeIR"

Ta chọn vectơ pụ sao cho: <f(Xx).py> =-<f”(Xx}Ðx.px> < O

© px =-((x))' f(x)

Khi đó dảy |xyÌ có dạng :

Xie = Xie — aye (OX) Pox)

Để chọn a; ta vẫn dùng phương pháp lặp chọn a, thod man

BĐT: Í(Xx¿.¡} - Íx„) < E.ay<f(Xx).Px>

Trong phản nảy ta xét các hảm f c6 ma tran dao ham bac hai

fˆ(x) đối xứng vả thoả mãn:

3 M>m>0: ml yl? < <f(xly.y> < Ml yl? vx,yeIR"

Vậy phương pháp Newton lả trường hợp riêng của phương pháp

Gradient mở rộng nếu lấy F, e f (x„) Vì vậy sự hội tụ của dãy |xy| về điểm cực tiểu duy nhất x` đã đúng, ta chi côn đánh giá tốc độ hội tụ

cua cac day [xxl, |f(xx)] trong phương pháp

Í xu na x | = C.AN- Aneto Aner

vdi N.C < © :Any <1, Vi 2 O:A, —> 0 khi ¡ —› œ

Ma |xy-x 130 = Ixxe)-xx130 khi kow

Va Xkce = Xk * OF Xkei-XK), 8 € [O71]

=> I xne-xk l= O01 xker-xx 1+ 0 khi koo

Do f" la hàm liên tue = If (xw)-f"(xJ 1 3 0 khi kon

Vậy với mọi hằng số e sao cho O<c<l/2_, có một số No(c} sao

=> xx,i-x`|?= <xw- x” - (ff(y))} fˆ(Xwet).( Xe- XX” >

= <[I - (fˆ(xu)}* fˆ(Xwei)Ì.(Xx- X).X«¡-X” >

= < (f (xu) !.(ff(Xx) - fˆ(Xwei)) (Xu- XÌ).Xk.ì-X” >

< ~ 1 (FG ~ fer) bbe x1 Pixies” |

LUẬN VĂN TỐT NGHIỆP PHƯƠNG PHÁP NEWTON

Định lí 2.2 : Nếu hàm f thoả mản điều kiện :

| ff(x)- fty)Ï< R.Ìx-yÏ v x, y e IR*

thì khi đó với phudng phap Newton, va cach chon a, thoa man BDT :

fixer) - Í[Xy) < c.ax<f(Xx).pk>

day (x,} sé hoi tu vẻ x” với tốc độ bác hai

Vay day |xy| hội tụ vẻ x` với tốc độ bặc hai

+Nhân xét: Với điểu kiện định lý 1.2:

mÌyl? < <f'(x)y.y> < MÌyÏ? ,M>m>O vx.yelR"

thì với phương pháp Gradient tốc độ hội tụ của đảy {xy] chỉ được

ước lượng lả tốc độ một cấp số nhân nhưng với phương pháp Necwton

day (x) dude xay dựng lại có tốc độ hội tụ trên cấp số nhán Hơn

nữa, khi điều kiện:

|f*œ)- fy)l< R.Íx-yÏ, v x y € IR"

thoả mãn thi dãy |xy| được ước lượng hội tụ với tốc độ bác hai

Vậy so với phương pháp Gradient thì tốc độ hội tụ của đảy |x¿|

được cải tiến nhanh hơn rất nhiều

II.Biến thể của phương pháp:

Với phương pháp Newton, ta cùng có một biến thể khác mà a,

được chọn thoả mản điều kiện:

f[xx,i) =Íxv - av.(fP(xy)) ” (xà) = min f[x¿ - a(”(x¿)) ` f(xy))

Vậy ở mỗi bước chọn a, ta có thể coi như một lẳn cực tiểu hoá

Định lý 2.3: Với biến thể của phương pháp Newton ma a, thoa mãn: fxu.¡) =f[xy - as.(f OK) Pad) = min fix, - al bad)" fx)

va vdi di¢u kién cia dinh ly 2.1 thi day {xy} héi tụ với tốc độ trên cấp số nhân Với điều kiện của định lý 2.2 thì dảy |xy| hội tụ với tốc độ bậc hai

Chứng minh:

Dat x,,, = Xx - (f (x¿)}} fl) Với một số N nao do, khi k 2 N

thì x,., chính là cách xây dựng tử x„ theo phương pháp Newton ban đầu nên ta có: | Xạ -x`Í< 2x Íxv- x`Í với A„ = -Ý [(PGx) - f4.) |

m

Ma theo chứng minh của định lý 1.2 ta có:

= lx- x 1? < flix) - fix’) < = Ix x |?

Với điều kiện định lý 2.1 thì (SYK O nén day [xx) hdi tu

nhanh kon bất kì cấp số nhân nao

Với điểu kiện định lý 2.2 ta có: ^„ < = lxy- xl

LUẬN VĂN TỐT NGHIỆP MỘT SỐ ÁP DỤNG

CHƯƠNG 3: MỘT SỐ ÁP DỤNG

I.Cưc tiểu hoá hàm bậc hai :

Hảm số đi từ IR” vào IR có dang :

cì Khí A xác định dương thi tôn tại các hằng số M > m > O sao

cho : mÌyÏ|? s < f(x)y.y> s MÌyÍ? ;VY x,yeIR"

Thát vậy, vì f lỗi nghiêm ngặt nên theo tính chất hàm lỗi thi

m tốn tại

Mat khac, ta co: voi i + j thi ay = ay

= â.Vi.Y, + A.Yj-V( = 2 Au.Yi.Y)

< lay|.(y‡+y}) ( BĐT Cauchy )

= lau|.y‡+ la |.y}

=<Ayy>= Yayyiy, s Diaby = Ð, 3 |u|Y: lS4 cn icijen isise Icjse