Nó được nghiên cứu một cách toàn diện Iihờ các phương pháp định tính và định lượng như phương pháp gradient, phương pháp gradicnt chiếu, phương pháp Newton, phương pháp nhân tử Lagrangc.
Trang 1K H O A T O Á N
Đ À O T H Ị H Ậ U
PHƯƠNG PH Á P MIỀN TIN CẬY
CHO CÁC BÀI TOÁN TỐI ƯU
Trang 3Em xin chân thành cảm ƠĨ1 T h s Phùng Đức Thắng đã tận tình hướng dẫn, giúp dỡ em trong suốt thời gian thực hiện khóa luận.
Em cũng xin được cảm ƠĨ1 thầy Bùi Ngọc Mười đã góp ý chi tiết
về cách trình bày một số kết quả trong khóa luận
Em xin chân thành cảm ƠĨ1 các thầy, các cô trong tổ giải tích- khoa Toán, trường Đại học sư phạm Hà Nội 2 đã tạo mọi điều kiộn giúp đỡ
em hoàn thành khóa luận này
Erri xin chân thành cảm ơn gia đình và bạn bò đã tạo mọi điều kiộn thuân lợi cho crri trong quá trình thực hiộn khóa luận
E m xin chân thành cảm ơn.
Hà Nội, tháng 05 năm 2015
Sinh viên
Đào Thị Hậu
Trang 4Em xin cam đoan, dưới sự hướng dẫn của T h s Phùng Đức Thắng khóa luận " P h ư ơ n g p h á p m iề n t in cậy cho b à i to á n tố i ư u k h ô n g
có r à n g b u ộ c" được hoàn thành không trùng với bất kỳ đề tài nào khác
Trong quá trình hoàn thành khóa luận, em đã thừa kế những thành tựu của các nhà khoa học với sự trân trọng và biết ƠĨ1
Hà Nội, tháng 0-5 năm 2015
Sinh viên
Đào Thị Hậu
Trang 5Lời mở đầu 1
1 T h u ậ t to á n m iề n t in cậy cơ b ả n 3
1.1 Một số khái niộm cơ b ả n 3
1.2 Một số giả thiết với hàm rriục tiêu và hàm xấp xỉ 6
1.2.1 Giả thiết cho hàm mục t i c u 6
1.2.2 Giả thiết cho hàrri xấp x ỉ 7
1.3 Điểm và một hàm xấp xỉ g iả m 9
1.3.1 Phương Cauchy 9
1.3.2 Điểm Cauchy cho hàm xấp xỉ dạng toàn phương 10 2 Sự hội tụ 15 2.1 Sự hội tụ đến điềm tới hạn bậc nhất 15
2.2 Sự hội tụ đến điểm tới hạn bậc h a i 23
Trang 6Lời mở đầu
Bài toán tối ưu có ứng dụng rộng rãi trong toán học cũng như trong dời sống Nó được nghiên cứu một cách toàn diện Iihờ các phương pháp định tính và định lượng như phương pháp gradient, phương pháp gradicnt chiếu, phương pháp Newton, phương pháp nhân tử Lagrangc Cùng với sự phát triển của khoa học công nghệ, chúng ta đã tạo
ra những th u ật toán hữu hiệu giúp ta giải các bài toán tối ưu một cách hiộu quả nhất Và phương pháp rniồn tin cậy được xcm là một trong số đó
Xét bài toán tìm cực tiểu hàm / : R n — > R, được giả thiết là khả
vi liên tục đến cấp hai và bị chặn dưới ở trên R n Với mỗi điổrri khởi đầu
Xo £ Mn được chọn tùy ý, phương pháp m iề n tin cậy (thuật ngữ tiếng
Anh là Trust-Region Mcthod) cho phóp tạo ra dãy lặp {#*;} mà, tại mỗi
bước Ả:, việc chuyển từ điểm Xk sang điểm Xk+I làm giảm hàm mục tiêu
xấp xỉ, được ký hiộu bởi 77ifc(;x), của f ( x ) Một trong những cách xấp xỉ
thông dụng nhất là thay hàm số f ( x ) bởi phần tuyến tính-toàn phương
trong khai triều Taylor bậc hai của nó tại điểm X ỵ ơ mỗi bước thay
cho Mn người ta xét một hình cầu tâm x k với bán kính A k thích hợp
Quy tắc chọn Ajt, nhằm đảm bảo tốc độ tính toán cao nhất có thể được,
là một phần nội dung quan trọng của phương pháp này Cụ thể, tỷ số
giữa độ giảm hàm mục tiêu /(;x) và độ giảm của hàm xấp xỉ của nó tại
bước k — 1, tức là hàm 77ifc_i(x), là cơ sở để xác định bán kính Afc Dưới
m ột số điều kiện, dãy lặp {.7;^} hội tụ đến một, điểrn tới hạn bậc nhất
của bài toán T huật toán miền tin cậy là thuật toán làm giảm hàrri rriục
tiêu, tức là ta có f ( xk+1) < f {xk) với mọi k.
Trang 7Cuốn chuyên khảo [1] của các tác giả A R Corm, N I M Gould,
và p L Toint là một cẩrri nang khá đầy đủ và chi tiết về lý thuyết phương pháp rriiền tin cậy Lịch sử phát triển của phương pháp miền tin cậy và rriột số ứng dụng của các thuật toán miền tin cậy đã được giới thiệu ở [1, tr 8-12]
Khi nghiên cứu phương pháp miền tin cậy, em quan tâm đến tính
ổn định và sự hội tụ địa phương của dãy lặp, ở đây em cũng đã chứng rnirih một, kết quả về tính ổn định và sự hội tụ địa phương của các dãy
lặp { x k} được sinh ra bởi th u ật toán rriiền tin cậy trong trường hợp bài
toán không có ràng buộc
Khóa luận gồm hai chương
Chương 1: "Thuật toán miền tin CẬĨJ cơ bản" trình bày thuật toán
miền tin cậy BTR và một số giả thiết cho hàm mục tiêu và hàm xấp xỉ trong [1, Chương 6]
Chương 2: "Sụ hội t ụ 11 chính là lời giải cho vấn đề tính 011 định
và tốc độ hội tụ địa phương của dãy lặp {.Xa-} được sinh ra bởi thuật toán miền tin cậy trong trường hợp bài toán không có ràng buộc [1, Chương 6]
Trang 8T huật toán m iền tin cậy cơ bản
Trước hết ta xét bài toán tối ưu không có ràng buộc (P)
ở đây Va:/(£ * ) là gradient của hàm f ( x ) tại điểm X*
Chúng ta xem xét kĩ th u ật để sinh ra một dãy lặp {Xyt}, rrià ta hivọng nó hội tụ tới điểrn tới hạn bậc nhất của bài toán (1.1)
T huật toán miền tin cậy cơ bản cho bài toán (P) được tiến hành như sau Với mỗi bước lặp Xỵ, chúng ta xác định một hàm m ụ c tiêu xấp
xỉ niỵ{x) trong một lân cận thích hợp của mà ta gọi là miền tin cẠy.
Trang 9Đ ịn h n g h ĩa 1.2 Miền tin cậy ỉ,à tập hợp các điểm
Bk = {x e Mn I \\x - x k \\ < A k} (1.3)
được gọi là bán kính miền tin cậy và tại mỗi bước lặp ||.||fc là một chuẩn phụ thuộc vào k.
Cho hàm xấp xỉ này và miền tin cậy của Ĩ1Ó, chúng ta tìm một
bước thử sk tới một điểrn thử x k + Sỵ với mục đích giảm hàm xấp xỉ trong đó thỏa rriãn tính bị chặn ||.Sfc||jfc < A k 0 đây, ta sẽ tính tỉ số giữa
độ giảm, hàm, mục tiêu và độ giảm, hàm xấp xỉ Nếu tỉ số đủ 1ỚĨ1, tức hàm
mục tiêu Ị (x) giảrn nhanh chóng, khi đó điểm thử được chấp nhận và được chuyển sang bước lặp tiếp k+1 Ớ bước k+1, điểm thử được xác
định Xk +1 = + Sfc và rniền tin cậy sẽ đu’Ợc tăng lên hoặc giữ nguyên.
Ngược lại nếu tỉ số nhỏ, thậrn chí là một số ârri, khi đó điểrn thử bị bác
bỏ và ở bước lặp tiếp theo vẫn giữ nguyên điểrn thử này nhưng rriiền tin cậy sẽ bị thu hẹp Khi dó, th u ật toán miền tin cậy cơ bản (được viết tắ t
là thuật toán BTR), được mô tả như sau
T h uật to á n 1.1 Thuật toán m i ề n tin cậy cơ bản ( B T R )
B ư ớ c 0: K h ở i c h ạ y Cho trước một điếm, X q ban đầu và một bán kính miền tin cậy ban đầu A0 Các hằng số ĩji, r/2, i và 72 cho trước
thỏa mẫn
0 < ĩì\ < ĩ ]2 < 1 và 0 < 7i < 72 < 1 (1-4)
Tính /(.Xo) và đặt k = 0.
Bước 1: X á c định h àm xấp xỉ mẫu Chọn ||.||fc và xác định
m ộ t hàm ĩĩík xấp xỉ với hàm f tại Xỵ trong B ỵ
Bước 2: Bước tính toán Tỉnh một bước ,Sfc/ "đủ ỉ,àm giảm hàm,
x ấ p TÂ" ĩĩlỵ, s a o cho Xỵ + Sỵ G Bỵ.
Trang 10Tăng k thêm 1 và quay trở lại buớc 1.
Ta có thể lấy ví dụ, các hằng số thỏa mãn điều kiện (1.4) là
nhưng những giá trị khác vẫn có thể phù hợp Tại bước lặp rnà f)ỵ > 771,
và do đó những lặp rnà X k+1 = x k + sk, được gọi là bước lặp chấp nhận
được, và chúng ta kí hiệu tập các chỉ số bởi kí hiệu <s, tức là
s = {k > 0 I Ọỵ > // 1 }.
Tương tự, chúng ta cũng định nghĩa
V = { k > 0 I p k > 772},
là tập các bước lặp chấp nhận đuợc tốt Chú ý rằng V c s Sự lặp mà
các chỉ số của nó không thuộc s được gọi là không chấp nhận được
Trong thực hành, thường chọn hàm xấp xỉ toàn phương dạng
m k(xk + .s) = m k(xk) + (gkĩ s) + ị ( s , H ks ), (1.8)
Trang 11ở đây
m k(xk) = f ( x k) và gk - sỵxf ( x k)
và Hỵ là rriột ma trận đối xứng xấp xỉ \ 7xxf ( x k)- Nếu H k Ỷ 0, chúng ta
nói rằng (1.8) là một hàrn xấp xỉ bậc hai Một cách cụ thể để tìm bước
thử Sk hoặc điều kiện " đủ giảm" không được mô tả cụ thể ở dây.
Đặc biệt, khi thuật toán BTR không chứa bước dừng, ta giả thiết rằng
có một chuỗi vô hạn được tạo ra Nếu th u ật toán BTR được thực hiện như một chương trình máy tính, Ĩ1Ó sẽ dừng lại ngay khi bước lặp
Xỵ được đánh giá là "đủ gần điểm tới hạn" Trong trường hợp không có
ràng buộc, ticu chuẩn đơn giản nhất là chuẩn của gradicnt của hàm mục
ticu tại II Va-
xỉ
Đe thuận tiện cho việc nêu các giả thiết trong các định lý hội tụ, chúng ta nhóm tấ t cả chúng lại trong rnột phần; phân biệt giữa giả thiết cho hàrri mục tiêu và giả thiết cho hàrri xấp xỉ
1.2.1 G iả th iế t cho hàm m ục tiêu
Ta có các giả thiết cho hàm mục tiêu
A F l f ( x ) nhận giá trị thực và khả vi liên tục cấp 2 trong Rn.
A F 2 / ( * ) bị chặn dưới trong R?i, nghĩa là, tồn tại một hằng số KibỊ sao
cho với mọ i X £ Mn,
/ 0 ) > « 16/
Trang 12A F 3 Ma trận Hessian của hàm mục tiêu bị chặn đều; tức là, tồn tại
một hằng số dương Kufh sao cho, với mọi X G Mn,
^11 \7XX /(*^)|| —
K'ufh-Ta thấy giả thiết cuối cùng thì quá mạnh Thực tế, ta thường cần tính
bị chặn của II Vx-X- f ( x ) II với giá trị X nằm giữa hai lần lặp licn tiếp của th u ật toán cơ bản Yôu cầu yếu hơn này tự động được thỏa mãn
nếu những lần lặp vẫn trong một tập con bị chặn của Mn, như là, tập
{x E Mn|/(a;) < f ( x o)} với x 0 tùy ý Không m ất tính tổng quát, chúng
ta cũng có thổ giả sử rằng
Kufh ^
1-Cụm từ "lbf" và "ufh" xuất phát từ "lower bound oil the objective function" và "upper bound oil the objective function’s Hessian"
1.2.2 G iả th iế t cho hàm xấp xỉ
Ta sẽ giả thiết rằng hàm 77lỵ tại bước lặp thứ k xấp xỉ với hàm mục tiêu trong miền till cậy Bk là một xấp xỉ bậc một trơn tố t của hàm
mục tiêu Do dó, chúng ta bù lại những giả thiết sau
A M l Với mọi k, hàm xấp xỉ mỵ là khả vi hai lần trong Bỵ.
A M 2 Giá trị của hàm mục tiêu và hàm xấp xỉ phù hợp tại một dòng
Trang 13A M 4 Ma trận Hessian của hàm xấp xỉ củng bị chặn trong miền tin
CẨiy; tứ c là,
II s/XX m k (x)\\ ^ l^umh 1
với mọi k, khỉ numh > 1 là hằng số phụ thuộc vào k.
Ta chú ý rằng những giả thiết này được đáp ứng nếu ta xcm xót một miền tin cậy đơn giản nhưng rất quan trọng của phương pháp Newt,on
trên miền bị chặn đóng, tức là, nếu chúng ta chọn niỵ sao cho (1.9) và
(1.10) được thỏa mãn, như tốt hơn
VxxMk(%k “t- \7xxỉ(%k)
với mọi s sao cho + s e B k Nếu ta giả thiết rằng hàm rriục tiêu khả
vi hai lần (ví dụ, A F l), phương trình (1.11) sau đó kết quả từ (1.12) và AF.3 Điều này chưa được rõ ràng nếu (1.12) được giả sử khắp Chúng
ta cũng chú ý rằng AM 1-AM.4 cho phép trường hợp mà hàm mục tiêu không thể gần tới một hàm xấp xỉ Ví dụ, chúng ta có thể xem xét trường hợp mà trong dó hàm mục tiêu có dạng
ỉ ( x ) = f o(x, y{x)) (1.13)
ỏ đó f 0(x, y) là m ột hàm số từ Mn X w p vào R Ĩ1Ó tương đối đơn giản
để tính toán, nhưng y(x) thì phức tạp từ Mn vào R7\ Ví dụ, /o có thể
là rriột tiêu chí đơn giản cho một hệ thống được kí hiệu y(x) chỉ có thể
được tính toán nhờ sử dụng một công cụ tính toán như là giải phương trình vi phân từng phần hoặc chạy một, mô phỏng chuyên dụng Trong
trường hợp này, có thể xây dựng một hàm xấp xỉ ĩrìị{x) thích hợp của
y(x) trong lân cận của x k và khi đó xác định
m k(x) = /oO , mị ( x) ) (1.14)
Những điều kiộn A M l- AM.4 của hàm xấp xỉ rriỵ có thổ được trình bày như là điều kiộn của m ị và / 0.
Trang 14Chúng ta hoàn thiện những giả thiết trong thuật toán nhờ việc chỉ rõ
rriối liên hệ giữa các chuẩn \\.\\k khác nhau xác định hình dạng của miền
till cậy trong (1.3)
A N l Tồn tại một hằng số Kune > 1 sao cho, với mọi k,
1 I ,, ,, ,, ,, -\\x\\k < IMI < Kune\ \ x\ \ k
Điểrn cốt yếu trong th u ật toán của ta là sự xác định bước k, để
hàrri xấp xỉ giảm trong miền tin cậy Trong phần này, chúng ta đưa racách xác định bước lặp như thế từ một kĩ th u ật tính toán đơn giản
Trang 151.3.2 Đ iểm C auchy cho hàm xấp xỉ dạng to à n phương
Nếu chúng ta giả thiết rằng hàm xấp xỉ của chúng ta là hàm toàn phương, tức là, nó có dạng (1.8), khi đó Ĩ1Ó có thẻ có cực tiểu nằrri trên phương Cauchy
Đ ịn h n gh ĩa 1.4 Điểm, Cauchy, kí hiệu là là điểm cực tiểu (duy nhất) của hàm xấp xỉ dọc theo phương Cauchy, tức
Đ ịn h lý 1.1 ([1, Theorem 6.3.1, p 125]) Nếu hàm xấp xỉ được CÌIO bởi
(1.8) và điểm Cauchy được xác định bởi (1.17), khi đó chúng ta có
m k(xk) - m k{xỵ) > ^ll^jfell mill , (1.18)
Trang 16trong đó Pk được xác định bởi (1.15) và
\ \ y k \ \ k
Chứng minh Với mọi í > 0 ta có:
mk{ xk - tgk) = m k(xk) - t\\gk\\2 + ị ( g k, ỉ ĩ kgk) (1.20)Trường hợp 1:
(gk, H kgk) > 0 (1.21)Khi đó ta tính toán giá trị của tharn số t tại điểm cực tiểu của (1.20),
kí hiệu tham số tối Ưu là tỵ. Lấy vi phân theo tham số t của (1.20), ta được
0 = I\9k\\2 — tịịg k , H kgk)
từ đó suy ra
Ạ* _ llí^ll Ị -Ị r)ON
Nếu tl\\(jk\\ < A k (tức điểm cực tiểu nằm trong miền tin cậy) Khi đó
= tị và thay vào (1.20) ta được
Trang 18với t > 0 Trong trường hợp này, điểrn Cauchy phải nằrri trên biên của
miền tin cậy, do đó (1.25) vẫn đúng Có
q(s) = f + (g, s) + i ( s , H s ) (1.29)
với tấ t cả các điểm nằm dọc theo arcố’ = —ty trong miền
chuẩn IMU cho trước tùy ý Từ đây ta có hệ quả
H ệ quả 1.1 ([1, Corollary 6.3.2, p 127]) Giỏ, sử rằng sc ì,à cực tiểu của
dọc theo arcs = —tg Khi đó chúng ta có
Trang 19Chúng ta thấy hàm xấp xỉ giảm tại điềm Cauchy phụ thuộc vào
giá trị của /y^, ít nhất là bán kính miền tin cậy A k ơ mỗi bước lặp ta
thường sử dụng chuẩn Eclidean ||.||2, khi đó ưk = 1 Đối với các chuẩn