Bài toán quy hoạch phi tuyến không ràng buộc

Mục đích của khóa luận này là nhằm tìm hiểu một số phương pháp đặc trưng để giải các bài toán quy hoạch phi tuyến không ràng buộc.. Ở phương pháp này cho phép ta thuhẹp dần khoảng chứa đ

ĐẠI HỌC QUỐC GIA HÀ NỘI

TRƯỜNG ĐẠI HỌC KHOA HỌC TỰ NHIÊN

KHOA TOÁN - CƠ - TIN HỌC

Lê Hồng Nguyên

BÀI TOÁN QUY HOẠCH PHI TUYẾN

KHÔNG RÀNG BUỘC

LUẬN VĂN THẠC SĨ KHOA HỌC

Chuyên ngành: Toán - Giải tích

Mã số: 60.46.01.02

Người hướng dẫn: PGS.TS Nguyễn Hữu Điển

Hà Nội - 2014

LỜI CẢM ƠN

Để hoàn thành bản luận văn này tôi đã nhận được sự giúp đỡ to lớn của Thầy,

Cô giáo, gia đình và bạn bè xung quanh

Tôi xin bày tỏ lòng kính trọng và biết ơn sâu sắc tới thầy giáo hướng dẫn PGS.TSNguyễn Hữu Điển, Khoa Toán- Cơ- Tin học, Trường Đại học khoa học tự nhiên,ĐHQG Hà Nội Trong quá trình giảng dạy và hướng dẫn đã ân cần động viên, giúp

đỡ chỉ bảo tận tình cho tôi

Tôi cũng gửi lời cảm ơn tới các thầy cô trong Khoa Toán- Cơ- Tin học, Phòngsau đại học, Trường Đại học khoa học tự nhiên, ĐHQG Hà Nội đã dạy dỗ và giúp

đỡ tôi rất nhiều trong suốt quá trình học tập và nghiên cứu luận văn Đặc biệt làcác thầy cô trong Seminar của bộ môn Toán giải tích đã có những ý kiến đóng gópquý báu giúp cho bản luận văn hoàn chỉnh hơn

Ngoài ra tôi cũng gửi lời cám ơn chân thành tới bạn bè, đồng nghiệp đã giúp

đỡ rất nhiều, tạo điều kiện tốt nhất cho tôi có thời gian để hoàn thành luận văn.Cuối cùng tôi cũng xin gửi lời cảm ơn tới gia đình nơi đã sinh thành, nuôi nấng,giúp đỡ, động viên tôi rất nhiều trong suốt thời gian qua

Dù đã cố gắng hết sức nhưng luận văn không thể tránh khỏi những thiếu sót

và hạn chế Mọi ý kiến đóng góp tôi xin được đón nhận với lòng biết ơn và trântrọng sâu sắc

Hà Nội, ngày 14 tháng 10 năm 2014

Học Viên

Lê Hồng Nguyên

BẢNG KÝ HIỆU

Ký hiệu Ý nghĩa

DFP Davidon- Fletcher- Powell

QHPT Quy hoạch phi tuyến

Rn Không gian thực n chiều

∇f(x) Gradient của f tại x

∇2f(x) Hessian của f tại x

Mục lục

Lời mở đầu 4

Chương 1 Một số kiến thức chuẩn bị 9

1.1 Một số khái niệm giải tích lồi 9

1.2 Một số khái niệm từ giải tích 11

1.3 Tốc độ hội tụ 14

1.4 Điều kiện tối ưu 19

Chương 2 Phương pháp Davidon- Fletcher- Powell 23

2.1 Giới thiệu phương pháp 23

2.2 Nội dung của phương pháp 26

2.3 Sự hội tụ của phương pháp DFP 28

2.4 Ví dụ 36

2.5 Chương trình giải ví dụ thuật toán DFP 39

Chương 3 Phương pháp Hooke- Jewes 44

3.1 Thuật toán 44

3.2 Sự hội tụ của thuật toán Hooke- Jewes 47

3.3 Ví dụ 48

3.4 Chương trình giải ví dụ thuật toán Hooke- Jeeves 51

Kết luận 57

LỜI MỞ ĐẦU

Như L.Euler đã viết: "Vì thế giới được thiết lập một cách hoàn hảo nhất, và vì

nó là sản phẩm của đấng sáng tạo tinh thông nhất, nên không thể tìm thấy cái gì

mà không mang theo tính chất cực đại hay cực tiểu nào đó" Vấn đề đặt ra ở đây

là, các trạng thái của vật thể trong tự nhiên hoạt động tuân theo những quy luậtnhư thế nào Như chúng ta đã biết, thực tế bài toán quy hoạch đã xuất hiện từ khicon người biết lao động, biết suy nghĩ để tìm ra cách làm nhanh và hiệu quả nhất.Tuy nhiên các hành động này thay đổi liên tục và buộc con người ta phải tìm cáchthích ứng Và ngày nay, mô hình tối ưu hóa được sử dụng trong nhiều lĩnh vựcnhư: Quản lý kinh tế và tài chính, nghiên cứu khoa học và cả trong các lĩnh vực

kỹ thuật cũng được thừa hưởng từ các thành quả ở trên với nguồn tài nguyên vôcùng vô tận và các cơ sở kỹ thuật hiện đại Để giải quyết các vấn đề trên ta nghiêncứu bài toán quy hoạch phi tuyến không ràng buộc có dạng

min{f (x) : x∈ Rn},trong đóRn là một không gian vector , f :Rn →R là một hàm phi tuyến cho trước

và được gọi là hàm mục tiêu Tập nguồn Rn ứng với bài toán tối ưu không ràngbuộc

Mục đích của khóa luận này là nhằm tìm hiểu một số phương pháp đặc trưng

để giải các bài toán quy hoạch phi tuyến không ràng buộc Như chúng ta đã biếttìm kiếm theo tia (line search) hay còn gọi là tìm kiếm một chiều (one dimensionalsearch) là mấu chốt của nhiều thuật toán để giải các bài toán quy hoạch phi tuyến.Nội dung chính của chiến lược tìm theo tia như sau : Xuất phát từ một điểm x0

và một hướng d ∈ Rn cho trước, tìm một khoảng ban đầu mà nó chứa điểm cựctiểu, sau đó dùng kỹ thuật chia nhỏ hay nội suy để thu hẹp dần các khoảng chứanghiệm cho tới khi độ dài của khoảng nhỏ hơn một mức dung sai định trước

Phương đơn giản để tìm khoảng ban đầu là phương pháp tiến và lùi backward method) Ý tưởng chính của phương pháp này là: Cho trước một điểmban đầu và một độ dài bước ban đầu, ta thử tìm ba điểm ứng với ba giá trị mụctiêu dạng "cao-thấp-cao" Nếu đi theo chiều tiến (nghĩa là điểm sau ở bên phảiđiểm trước) không đạt kết quả thì sẽ đi lùi lại (tức là điểm sau ở bên trái điểmtrước) Tiếp tục quá trình như thế, ta sẽ nhận được khoảng ban đầu mà nó chứađiểm cực tiểu cần tìm Thứ hai là phương pháp khử liên tiếp với hai phương phápquen thuộc để tìm cực tiểu của hàm đơn mốt: Phương pháp Fibonaci và phươngpháp lát cắt vàng (golden section method) Ở phương pháp này cho phép ta thuhẹp dần khoảng chứa điểm cực tiểu bằng cách tính giá trị hàm tại những điểmchọn trong khoảng này, tuy nhiên phương pháp lát cắt vàng có ưu điểm là mộttrong hai điểm chia đoạn mới trùng với một điểm chia cũ, do đó ở mỗi bước lặpchỉ cần tính thêm một giá trị hàm ứng với điểm chia mới, nhờ đó tiết kiệm đượcthời gian tính toán Tiếp theo là phương pháp nội suy, phương pháp này dùng giátrị của hàm cần tìm cực tiểu tại những điểm nhất định để xấp xỉ các hàm đó bởicác đa thức: Tam thức bậc hai (phương pháp Powell) và đa thức bậc ba (phươngpháp Davidon), sau đó điểm cực tiểu của hàm ban đầu được thay thế bằng điểmcực tiểu của đa thức xấp xỉ mà nó được tìm đơn giản hơn.

(forward-Trên đây là một số phương pháp tìm cực tiểu hàm một biến Chúng ta cũng

có thể dùng bất kỳ phương pháp tìm cực tiểu một biến này để tìm cực tiểu dọctheo các trục tọa độ đối với hàm hai biến cũng như hàm nhiều biến Tuy nhiên cácphương pháp được giới thiệu ở trên chỉ có hiệu quả trong trường hợp cực tiểu củahàm là duy nhất Song trên thực tế nó tỏ ra ít hiệu quả Vì thế, người ta đã đề ranhiều phương pháp khác cho phép khai thác nhiều thông tin hơn dựa trên các giátrị hàm đã nhận được, và chúng được chia thành hai nhóm đó là: Phương pháptìm trực tiếp (chỉ dùng giá trị của hàm) và phương pháp gradient (sử dụng đạohàm của hàm)

Một trong hai phương pháp tìm kiếm trực tiếp là phương pháp Hooke- Jeeves

do Hooke- Jeeves đề ra năm 1961 Với nội dung : Xuất phát từ một điểm cơ sở tùy ý,việc tìm kiếm bao gồm một dãy bước tìm theo tọa độ quanh điểm cơ sở nhằm đạttới điểm có giá trị hàm nhỏ hơn (điểm tốt hơn) Nếu thành công sẽ chuyển cơ sở tớiđiểm mới tốt hơn vừa tìm được và tiếp tục di chuyển theo hướng đó đến một điểmgọi là điểm mẫu Tiến hành tìm theo tọa độ quanh điểm mẫu Nếu tìm được điểmtốt hơn thì tiếp tục dò tìm quanh điểm mẫu mới, nếu không thành công sẽ quaytrở lại điểm cơ sở trước đó hoặc giảm độ dài bước dò tìm Thứ hai là phương phápNeldel- Mead (1965) còn được gọi là phương pháp tìm kiếm theo đơn hình biếnthiên được Neldel- Mead đề nghị cải tiến từ phương pháp đơn hình đều Spendley-Hext- Himsworth để có thể sử dụng cho các đơn hình không đều Từ ý tưởng chínhcủa phương pháp Spendley- Hext- Himsworth là so sánh giá trị hàm tại tất cả cácđỉnh của đơn hình đều và dịch chuyển đơn hình về hướng điểm tối ưu nhờ mộtthủ tục lặp Và ở phương pháp Neldel- Mead thì cụ thể đơn hình được dịch chuyểnnhờ ba thao tác cơ bản: Phép phản xạ, phép dãn và phép co Đây là một phươngpháp tìm trực tiếp đáng tin cậy và là một trong các phương pháp tìm cực tiểu tự

do hiệu quả nhất đối với không gian có số chiều nhỏ hơn 7 Hai phương pháp nàyđặc biệt thích hợp để tìm cực tiểu của những hàm có cấu trúc phức tạp, thườngkhông khả vi hoặc khó tính đạo hàm Tuy nhiên các phương pháp này nói chungchậm hội tụ hơn so với phương pháp dùng đạo hàm

Cuối cùng là các phương pháp sử dụng đạo hàm của hàm Các phương phápnày đòi hỏi sử dụng tới các đạo hàm riêng bậc nhất hoặc bậc hai của hàm Khoảngnhững năm 70 của thế kỷ XX, các phương pháp gradient được nghiên cứu rấtmạnh và đã thu được những thành tựu đáng kể Nhiều công trình nghiên cứu đãđược công bố Có một phương pháp thông dụng để tìm cực tiểu, nó rất đơn giản

và có thể áp dụng cho nhiều lớp hàm rộng, đó chính là phương pháp hướng dốcnhất (Steepest Descent Method) với nội dung như sau: Ta xây dựng một dãy điểm

xk hội tụ tới điểm z khi k → ∞ với đặc điểm giá trị hàm của chúng giảm dần và

∇f(z) = 0 Giả sử ta có điểm xk nằm trong lân cận của điểm z, khi đó để giảmhàm mục tiêu ta sẽ dịch chuyển từ xktheo hướng dktạo với vector gradient∇f(z)

một góc tù, với độ dài bước αk xác định Việc lựa chọn hướng dịch chuyển và độdài bước khác nhau sẽ cho ta phương pháp gradient khác nhau Và ở phương phápnày ta chọn hướng dk = −∇f(xk)với mọi k Phương pháp gradient chỉ sử dụngxấp xỉ thô của hàm cần tìm cực tiểu (nghĩa là chỉ có số hạng tuyến tính ở khai triển

f(x) thành chuỗi Taylor được dùng để chọn hướng dịch chuyển) Trong khi đó,không giống như phương pháp gradient thông thường, phương pháp Newton cóhướng tìm riêng, gọi là hướng Newton, đã dùng đến các đạo hàm riêng cấp hai củahàm f(x)vì thế nó đòi hỏi hàm f(x)hai lần khả vi liên tục và hướng của nó đượcxác định như sau dk = −[∇f(xk)]−1∇f(xk) Công việc tính ma trận nghịch đảo

[∇f(xk)]−1 ở mỗi bước là một công việc khó khăn Vì thế, phương pháp Newton

ít được sử dụng trong thực tiễn khi n > 1, mặc dầu phương pháp có tốc độ hội tụbậc hai Bằng cách sử dụng công thức lặp và thay đổi độ dài bước bởi các phươngpháp tìm kiếm một chiều theo hướng mới đã cải tiến phép lặp của phương phápNewton thành phương pháp Newton suy rộng Phương pháp này có tốc độ hội tụcủa điểm cũng như hội tụ của hàm nhanh hơn so với phương pháp gradient, cụthể chúng ta sẽ xét kỹ hơn phương pháp Davidon- Fletcher- Powell ở chương sau

Và đặc biệt khi độ dài bước αk = 1 thì ta có phương pháp Newton Cuối cùng làphương pháp gradient liên hợp Fletcher- Reeves tìm cực tiểu tự do của hàm toànphương ( hàm lồi bậc hai )bằng phương pháp lặp Như vậy, các phương pháp sửdụng đạo hàm có ưu điểm là hội tụ nhanh, nhưng khi số biến lớn thì gặp khó khăntrong việc tính đạo hàm, mặt khác việc chuẩn bị bài toán để giải tốn nhiều thờigian

Tóm lại không có phương pháp chung nào có hiệu quả để giải bài toán quyhoạch nói chung và quy hoạch phi tuyến nói riêng Mỗi phương pháp đều có

những ưu, nhược điểm riêng Nên luận văn chỉ tìm hiểu sâu về thuật toán, sự hội

tụ cũng như các ví dụ để làm rõ hai phương pháp: Phương pháp chỉ sử dụng giátrị của hàm Hooke- Jeeves và phương pháp sử dụng đạo hàm của hàm Davidon-Fletcher-Powell thuộc lớp chung của phương pháp Newton, trong việc giải quyếtcác bài toán tối ưu không ràng buộc

Nội dung chính của bản luận văn bao gồm các vấn đề sau đây:

• Tổng quan về các phương pháp tìm cực tiểu tự do

• Tóm tắt kiến thức liên quan

• Trình bày cụ thể hai phương pháp Ví dụ minh họa và chạy kiểm tra kết quảbằng Maple

Do thời gian thực hiện khóa luận không nhiều, kiến thức còn hạn chế nên khi làmkhóa luận không tránh khỏi những hạn chế và sai sót Tác giả mong nhận được sựgóp ý và những ý kiến phản biện của quý thầy cô và bạn đọc Xin chân thành cảmơn!

Hà Nội, ngày tháng năm 2014

Học viên

Lê Hồng Nguyên

Chương 1

Một số kiến thức chuẩn bị

Định nghĩa 1.1 [Đoạn thẳng][8] Tập tất cả các điểm x = (1−λ)a+λbvới 0 ≤

λ ≤1, a, b∈ Rnđược gọi là đoạn thẳng nối hai điểm a và b Ký kiệu[a, b]

Định nghĩa 1.2 [Tập lồi][8] Tập D ⊂Rnđược gọi là tập lồi nếu nó chứa trọn đoạn thẳng nối hai điểm bất kỳ thuộc nó Hay nói cách khác D là tập lồi nếu(1−λ)a+

λb∈ Dvới mọi a, b ∈ D, 0≤λ≤1.

Ví dụ 1.1.

Hình 1.1: Tập lồi :a, b, tập không lồi :c

Các tính chất của tập lồi

• Tổng đại số hữu hạn tập lồi là tập lồi

• Giao của họ các tập lồi là tập lồi

• Tích đề các của các tập lồi là tập lồi.

Định nghĩa 1.3 [Hàm lồi][8] Hàm f(x)xác định trên tập lồi D được gọi là hàm lồi

nếu∀x, y∈ D,∀λ ∈ [0, 1] : f (λx+ (1−λ)y) ≤ λ f(x) + (1−λ) f (y)

Ví dụ 1.2. Kiểm tra hàm f : D→R, x 7→ f (x) = x2là hàm lồi?

Thật vậy, dễ thấy D là tập lồi ∀x, y ∈ D,∀λ ∈ [0, 1] thì f (λx+ (1−λ)y) ≤

số α ∈R sao cho(a)thỏa mãn.

t ∈ Rn\ {0 sao cho t(x−y) ≥ 0 với mọi x ∈ C và y ∈ D Khi đó,(a) đúng với

α = inf

x ∈ Ctx

Định lý 1.2 [Định lý tách 2][8] Hai tập lồi đóng C và D trong Rn khác rỗng, không cắt nhau và ít nhất một trong hai tập này là compact (có thể tách hẳn bởi một siêu phẳng) nghĩa là tồn tại một vector t ∈ Rn với t 6=0 và một số α∈ R sao cho

inf

x ∈ tTx >α >sup

y ∈ D

tTy

C−D Nếu zk = xk−yk → z với xk ∈ C và yk ∈ D thì do C compact nên tồn tạidãy connxkq

osao cho xkq → x∈ C Theo giả thiết thì D đóng nên

ykq =xkq−zkq → x−z ∈ D

Suy ra z =x−yvới x ∈ Cvà y∈ D Từ đó, C−Dđóng.

Do 0 /∈ C−Dnên tồn tại vector t ∈ Rn\ {0 và một số η sao cho t(x−y) > η >

0 với mọi x ∈ C, y∈ D Khi đó thì

Giả sử hàm f xác định tại lân cận 0(x, ε)của điểm x Ta nói hàm f là khả vi tại

điểm x nếu tìm được vector f0(x) ∈Rn sao cho số gia của hàm số tại x

∆ f(x) = f(x+∆x) − f(x),k∆x ≤εk,

có thể được viết lại

∆ f(x) = f(x+∆x)Tf(x) +o(x,∆x),trong đó o(x,∆x)là vô cùng bé bậc cao hơnk∆x≤εknghĩa là

lim

k ∆x k→ 0

o(x,∆x)

k∆xk =0,

khi đó f0(x)được gọi là gradient của hàm f tại x và được ký hiệu là∇f(x)

Định nghĩa 1.6 [Hàm hai lần khả vi][8]

Giả sử hàm f xác định tại lân cận 0(x, ε)của điểm x Ta nói hàm f hai lần khả vi

tại điểm x nếu cùng với vector∇f(x), tồn tại ma trận đối xứng ∇2f(x) ∈ Rn saocho số gia của hàm số tại điểm x có thể viết dưới dạng

∆ f(x) = f(x+∆x) − f(x) = ∇f(x)T∆x+∇2f(x)T∆x

2 +o(x,∆x),

khi đó∇2f(x)được gọi là ma trận đạo hàm cấp hai hay Hessian của hàm f tạix.

Định nghĩa 1.7 [Hàm khả vi liên tục][8]

Giả sử hàm f đối xứng trên tập mở X, ta nói hàm f là khả vi liên tục trên tập X

nếu f là khả vi tại mọi điểm x∈ Xvà

k∇f(x+∆x) − ∇f(x)k → 0 khi k∆xk → 0 với∀x, x+∆x ∈ X

Định nghĩa 1.8 [Hàm hai lần khả vi liên tục][8]

Giả sử hàm f xác định trên tập mở X Ta nói hàm f là hai lần khả vi liên tục trân

tập X nếu f là hai lần khả vi tại mọi điểm x∈ Xvà

Định lý 1.4 [10] Cho một tập lồi C ⊂Rn và một hàm f : Rn →R khả vi trên C.

a Hàm f lồi trên C khi và chỉ khi f(y) ≥ f(x) + ∇f(x)(y−x)với∀x, y∈ C

b Nếu f(x) > f(x) + ∇f(x)(y−x)với∀x, y ∈C và x 6=y thì f lồi chặt trên C.

a. Giả sử hàm f lồi trên C Với∀x, y ∈ Cvà với ∀λ ∈ [0, 1], ta có

λ f(y) + (1−λ)f(x) ≥ f[λy+ (1−λx)]

Với y và z ta có f(y) − f(z) ≥ ∇f(z)(y−z).

Nhân bất đẳng thức đầu với λ, bất đẳng thức sau với 1−λvà cộng lại ta có

λ f(x) −λ f(z) + (1−λ)f(y) − (1−λ)f(z) ≥λ∇f(z)(x−z) + (1−λ)f(z)(y−z),hay

λ f(x) + (1−λ)f(y) ≥ f(z) + ∇f(z)(λx+ (1−λ)y) − ∇f(z)z= f(z)

Mà z=λx+ (1−λ)ynên bất đẳng thức trở thành

λ f(x) + (1−λ)f(y) ≥ f(λx+ (1−λ)y),điều này chứng tỏ hàm f lồi

b. Chứng minh hoàn toàn tương tự như(a)ở trên

Định nghĩa 1.9 [Ma trận xác định dương][8]Cho ma trận A ∈Rn × n Khi đó

• A được gọi là nửa xác định dương nếu xTAx≥0 với mọi vector x∈ Rnkhckhng

• A được gọi là xác định dương nếu xTAx>0 với mọi vector x∈ Rnkhckhng

• A được gọi là nửa xác định âm nếu xTAx≤0 với mọi vector x∈ Rnkhckhng.

• A được gọi là xác định âm nếu xTAx<0 với mọi vector x ∈ Rn

Ví dụ 1.3. Kiểm tra tính xác định dương của ma trận sau:

Như vậy ma trận đã cho nửa xác định âm

Ngoài ra ta còn có tiêu chuẩn Silvestra để kiểm tra tính xác định dương của matrận như sau: Ma trận A ∈Rn × n là xác định dương hay xác định âm khi và chỉ khitất cả các định thức con của ma trận đó tương ứng là dương hay âm

Công thức Taylor.Giả sử X ⊂Rn mở, f : X →R khả vi cấp p−1, hơn nữa giả sử

nghĩa là sai số ε(t) giảm tương đương với một chuỗi cơ số nguyên nào đó và qđược gọi là tỉ lệ hội tụ.

δ)

Nếu không tồn tại q, C như vậy, ta nói thuật toán tối ưu có tốc độ hội tụ chậmhơn tuyến tính

Nhận xét 1.2. Ta có các nhận xét sau

• Nói một cách đơn giản thì tốc độ hội tụ chỉ ra một số bước mà thuật toán tối

ưu phải thực hiện để giảm được hàm sai số ε(t)về 0 Khi ε(t) →0 thì các chữ

số sau dấu phẩy của ε(t)cũng dẫn chuyển thành 0

• Nếu thuật toán có tốc độ hội tụ tuyến tính thì số bước để chuyển chữ số thứ

n+1 sau dấu phẩy của ε(t)thành 0 bằng số bước để chuyển chữ số thứ n sau

dấu phẩy của ε(t)thành 0

• Nếu thuật toán có tốc độ hội tụ nhanh hơn tuyến tính thì số bước để chuyểnchữ số thứ n+1 sau dấu phẩy của ε(t)thành 0 ít hơn số bước chuyển chữ số

thứ n của ε(t)thành 0

• Nếu thuật toán có tốc độ hội tụ bậc hai thì số bước để chuyển chữ số thứ

n+1 sau dấu phẩy của ε(t)thành 0 bằng một nửa số bước để chuyển chữ số

thứ n sau dấu phẩy của ε(t)thành 0

Ví dụ 1.4. Ta có ví dụ sau:

• Nếu ε(t) =e−αtthì tốc độ hội tụ là t tỉ lệ với e−α

• Nếu ε(t) = C

t thì tốc độ hội tụ chậm hơn tuyến tính.

Điều kiện đủ 1.1. Nếu lim

Ví dụ 1.5. Nếu ε(t) = eαt2 thì tốc độ hội tụ nhanh hơn tuyến tính

Điều kiện đủ 1.2. Xét sai số ta nhận thấy:

Định nghĩa 1.13 [11](Hướng làm giảm hàm mục tiêu)

Hướng d là hướng làm giảm hàm mục tiêu f(x)tại x nếu:∃t>0 sao cho

f(x+td) < f(x)

Để có thể áp dụng dễ dàng về hướng giảm của hàm mục tiêu ta xét định lý sau

Định lý 1.5 [11] Nếu dT∇f(x) < 0 thì d là hướng làm giảm hàm mục tiêu tại x.

φ0(0) = dT∇f(x) <0 ,

φ(t) = φ(0) +tφ0(0) +o(t2),với t >0 đủ nhỏ thì:|tφ0(0)| >

1. −∇f(x)là hướng làm giảm hàm mục tiêu tại x.

2. −A∇f(x) là hướng làm giảm hàm mục tiêu tại x với A là ma trận đối xứng xác định dương bất kỳ.

1 Rõ ràng rằng:−∇f(x)T∇f(x) = −k∇f(x)k22 <0 nếu∇f(x) 6=0

2 Rất dễ nhận thấy là:−(A∇f(x))T∇f(x) = −∇f(x)TA∇f(x) < 0

Chú ý.

1 Các phương pháp tối ưu sử dụng hướng ∇f(x) làm hướng giảm hàm mụctiêu được gọi là phương pháp đối xứng theo hướng đạo hàm (gradient de-scent) (do hướng −∇f(x)) là hướng làm giảm hàm mục tiêu nhanh nhấttrong tất cả các hướng (tại x)

2 Để so sánh các hướng làm giảm hàm mục tiêu, người ta thường chuẩn hóacác hướng này sao chokdk =1

Định nghĩa 1.14 Tập ứng cử viên[10]Nếu trong các bước lặp của thuật toán tối

ưu luôn duy trì một tập Xt sao cho:

2 Nếu không được như vậy thì thuật toán tối ưu phải đảm bảo:

X∗ ∀xt ∈ Xt

3 Tốc độ hôi tụ của ε(t) → 0 ít nhất là bằng tốc độ hội tụ d(Xt) → 0

Ví dụ 1.8. Thuật toán chia đôi (bisection) nổi tiếng dùng để tìm nghiệm f(x) = 0trên[a, b]mà f(a)f(b) < 0 (giá trị hàm liên tục trái đều ở hai đầu đoạn thẳng).Bước 0: gồm[a0; b0] = [a; b].

Ngược lại ta gắn[at + 1; zz + 1] = [ct; bt] →bước t+1

Với bài toán quy hoạch phi tuyến không ràng buộc đã được giới thiệu, ta có một

số phát biểu về điều kiện tối ưu sau

Định lý 1.6 [12]

Vector z ∈ Rn được gọi là một điểm cực tiểu địa phương của một hàm f(x)khả vi trên

Rn khi đó∇f(z) =0và nếu f(x)hai lần khả vi thì

∇2f(z)  0 (ma trận∇2f(z)nửa xác định dương).

Ngược lại, nếu z ∈ Rn là một điểm mà tại đó f(x)hai lần khả vi và

∇f(z) =0,∇2f(z)  0 (ma trận∇2f(z)xác định dương), thì z là một điểm cực tiểu địa phương chặt của f(x)trênRn, nghĩa là có một số ε >0 sao

cho

f(z) < f(x)với mọi x∈ Rn, x6= z vàkx−zk < ε.

f(z+td) − f(z) ≥ 0,

do đó với t>0 suy ra

f(z+td) − f(z)

Khi t → 0+ ta được [∇f (z)]Td ≥ 0 Tương tự, khi t < 0 và t → 0− ta có

[∇f (z)]td ≤ 0 Vậy [∇f (z)]td = 0 với mọi d ∈ Rn, suy ra ∇f(z) = 0 Nếu f(x)

Ngược lại, nếu∇f(z) 0 thì lấy λ >0 là giá trị riêng nhỏ nhất của∇2f(z), ta

có d∇2f (z)d ≥ λkd 2 với mọi d ∈ Rn Do ∇f(z) = 0 nên tương tự như trên với

và do đó khi|t|đủ nhỏ f(z+td) − f(x) >với mọi 06= d∈ Rn

Vậy z là cực tiểu địa phương chặt của f(x)trênRn

Hệ quả 1.2 [12] TrênRn cho hàm f(x)hai lần khả vi:

1 Nếu z∗ ∈Rn là một điểm cực đại địa phương của f(x)trênRn thì

∇f(z∗) =0 và∇2f(z∗) 0 (∇2f(z∗)nửa xác định âm).

2 Ngược lại, nếu z∗ ∈Rn thỏa mãn

∇f(z∗) =0 và∇2f(z∗) ≺ 0 (∇f(z∗)xác định âm), thì z∗ là một điểm cực đại địa phương chặt của f(x)trênRn.

Các kết luận trên vẫn đúng đối với hàm một biến f(x), x ∈ R và lúc này ta chỉ

việc thay ký hiệu f0(x)thay cho ∇f(x)và f00(x)thay cho ∇2f(x))

Một điểm z∗thỏa mãn∇f(z∗) = 0 gọi cho điểm dừng của hàm f

Theo định lý và hệ quả được phát biểu trên thì để tìm kiếm cực trị của hàm ftrênRn, trước hết ta cần tìm các điểm dừng của f Sau đó tại điểm dừng ta đi tìm

ma trận ∇2f xác định dương (xác định âm) Nếu tìm được thì đó là điểm cực trịđịa phương

Ngoài ra, đôi khi nếu biết trước chắc chắn rằng hàm f trênRn có cực trị toàncục thì có thể tìm ra các điểm này bằng cách tính và so sánh giá trị hàm f(x)tại tất

cả các điểm dừng của f (chỉ khi số điểm dừng này không quá nhiều)

Định lý 1.7 [12] Điểm z∈ Rnđược gọi là là điểm cực tiểu toàn cục của một hàm lồi khả

vi f trênRn khi và chỉ khi∇f(z) =0.

lại suy ra một cách dễ dàng từ định lý(1.4)

Chứng minh chiều thuận như sau Do hàm f lồi và khả vi theo định lý(1.2.6)nên

f(x) −f(z) ≥ ∇f(z)T(x−z)với mọi x ∈Rn Từ đó nếu∇f(z) =0 thì f(x) ≥ f(z)

với mọi x∈ Rn, vì thế mà x là điểm cực tiểu toàn cục của f trênRn

Định lý 1.8 [12] Điểm z∈ Rn là điểm cực tiểu của một hàm lồi

f : Rn → [−∞,+∞]khi và chỉ khi 0∈ ∂ f(z)

0T(x−z) + f (z) ≤ f (x),hay f(z) ≤ f(x) với mọi x ∈ Rn Điều này chứng tỏ rằng z là điểm cực tiểu củahàm f trên Rn

Ngược lại, giả sử z là một điểm cực tiểu Xét hai tập

C =Rn× {0 và D={(x, α) : x ∈ Rn, α∈ R, α > f(x) − f(z)}

Dễ kiểm tra C và D là tập lồi và C∩D=Ø vì nếu C∩D = (α, 0)thì có x ∈ Rn

và 0 > f(x) − f(z), tức là f(x) < f(z), trái với giả thiết z là điểm cực tiểu Theođịnh lý tách 1, ta có vector(t, t0) ∈Rn×R,(t, t0) 6=0, sao cho:

tx ≥ty+αt0,∀x∈ Rn,∀(y, α) ∈ D (1.3)Nếu (y, α) ∈ D thì cũng có(α , β) ∈ D với mọi β > α Do đó nếu t0 > 0 thì

giữ x, y cố định và cho α → +∞,(y, α)sẽ vi phạm bất đẳng thức(1.2.3)trở thành

t(x−y) ≤ 0 với mọi x, y∈ Rn, tức là<t, w>≥0 với mọi w∈ Rn(hàm tuyến tính

bị chặn dưới trênRn), điều này chỉ xảy ra khi t = 0, trái với điều kiện (t, t0) 6= 0.Vậy phải có t0≤0 Đặt p = t

Vậy 0∈ ∂ f(z)

Chương 2

Phương pháp

Davidon- Fletcher- Powell

Phương pháp này được đề xuất bởi Davidon(1959) và sau đó được phát triểnbởi Fletcher và Powell (1963) Phương pháp Davidon- Fletcher- Powell (DFP) thuộclớp chung của phương pháp tựa Newton.Trong đó hướng tìm kiếm có dạng dj =

−Dj∇f (y)thay cho H−1(y) ∇f (y)trong phương pháp Newton

Để cụ thể, ta xét bài toán QHPT không ràng buộc f (x) → min, x ∈ Rn, trong đóf(x) là hàm khả vi liên tục Hướng thường dùng để giải quyết bài toán vừa đặt ra là

sử dụng các phương pháp lặp, từ giá trị ban đầu x0rồi dịch chuyển dần về hướnggiá trị tối ưu z bởi công thức lặp xj+1= xj+αjdj, trong đó:

• djlà vector định hướng dịch chuyển từ xj

• αj là độ dài bước dịch chuyển theo hướng dj

Như vậy, công thức lặp hoàn toàn được xác định khi ta xác định được hướng

và độ dài bước dịch chuyển Phụ thuộc vào cách xây dựng djvà αj khác nhau mà

ta có các thủ tục lặp với các đặc tính cũng như khối lượng tính toán khác nhau Ta

đặc biệt quan tâm đến sự thay đổi giá trị của hàm mục tiêu của dãy xjvà sự hội tụcủa dãy xj đến lời giải z.

Nếu ta chọn dj sao cho ∇f xj
T

dj < 0 khi đó dj được gọi là hướng giảm củahàm mục tiêu Thật vậy, khai triển hàm f(x) thành chuỗi Taylor tại điểm xj ta được

và

xj =xj+θx−xj với θ ∈ [0, 1]

Như vậy, khi ta chọn αjđủ nhỏ, và djđược chọn như ở trên thì f (x) < f xj
.Nếu ta chọn hướng dịch chuyển dj=−∇f xj
với mọi k thì phương pháp gra-dient như thế gọi là phương pháp hướng dốc nhất Phương pháp này xây dựngdãy lặp xj+1= xj−αj∇f xj
, αj >0 với k=0, 1

Quy tắc Armijo (xác định αjtại mỗi bước lặp)[12]

Bước 1. Chọn giá trị α tùy ý ( như nhau với mọi bước lặp) và xác định điểm x =

xj−α∇f xj

Bước 2. Tính f (x) = f xj−α∇f xj


Bước 3. Kiểm tra bất đẳng thức:

f(x) − f xj≤εα∇fxjdj = −εα ∇f xj 2 (2.1)

Bước 4. Nếu (2.1) thỏa mãn thì α là giá trị cần tìm: αj = α Nếu (2.1) không thỏa

mãn thì ta giảm α bằng cách ta nhân α với một số λ ∈ (0, 1) cho đến khi bấtđẳng thức (2.1) được thỏa mãn

Như vậy, trong phương pháp gradient chỉ có số hạng tuyến tính ở khai triểnhàm mục tiêu f(x) thành chuỗi Taylor được dùng để chọn hướng dịch chuyển,nghĩa là chỉ sử dụng xấp xỉ thô của hàm cần tìm cực tiểu Nếu f(x) hai lần khả viliên tục và

2.2 Nội dung của phương pháp

Đầu vào: Điểm ban đầu x0 ∈ Rn được chọn tùy ý, ma trận ban đầu D1 là ma trậnđơn vị Inhoặc có thể là ma trận đối xứng xác định dương bất kỳ

Đầu ra:Giá trị cực tiểu của hàm

Thủ tục lặp:

Ở mỗi vòng lặp ta tìm được yjvà ma trận đối xứng xác định dương Dj

Bước 1. Đặt y1= x0và k =j =1

Bước 2. Tính∇f yj
và chọn dj = −Dk∇f yj
làm hướng tìm kiếm

Bước 3. Tìm cực tiểu λjcủa hàm

ϕ(λ) = f(yj+λdj), λ≥0 (2.2)Suy ra∇ϕ λj

Bước 8. Thay j bằng j+1 quay lại bước 2.

Chúng tôi nhận xét ở đây là các vòng lặp trong thuật toán nói trên được thiết lậplại ở mỗi thủ tục n bước (bất kỳ khi nào j = nở bước 1) Mỗi biến đổi đều đượcthiết lập n0 < nbước lặp trên được gọi là một phần phương pháp Newton Chiếnlược này có thể hữu ích từ quan điểm bảo tồn lưu trữ khi n0 <n Kể từ đó, ma trậnnghịch đảo Hessian có thể được lưu trữ ngầm, thay vào đó chỉ lưu trữ các vector

Tính gj+1, qj = gj+1- gk

Sử dụng D j , q j , p j để tính D k+1

║p j

║< є hay ║g j+1

2.3 Sự hội tụ của phương pháp DFP

Định lý 2.1 [12] Cho f(x)là hàm bị chặn dưới,∇f(x)thỏa mãn điều kiện Lipschitz:

f(xj+1) − f(xj) <0với điều kiện∇f(xj) 6=0 (2.7)

Vì f(x)bị chặn dưới nên bất đẳng thức nhận được cho thấy

Với toán quy hoạch phi tuyến khơng ràng buộc giới thiệu, ta có

số phát biểu điều kiện tối ưu sau

Định... Newton

Để cụ thể, ta xét tốn QHPT khơng ràng buộc f (x) → min, x ∈ Rn, đóf(x) hàm khả vi liên tục Hướng thường dùng để giải toán vừa đặt

sử dụng phương pháp lặp,... là hướng làm giảm hàm mục tiêu x với A ma trận đối xứng xác định dương bất kỳ.

1 Rõ ràng rằng:−∇f(x)T∇f(x) = −k∇f(x)k22 <0 nếu∇f(x) 6=0

2