Về bài toán tối ưu trong học độ tương tự

Trong mët khæng gian Euclide, hay têng qu¡t hìn l trong mët khænggian metric, kh¡i ni»m kho£ng c¡ch ÷ñc dòng º o kho£ng c¡ch giúahai èi t÷ñng... nhi¶n l kh¡i qu¡t hâa kho£ng c¡ch Euclide

ĐẠI HỌC THÁI NGUYÊN

NGƯỜI HƯỚNG DẪN KHOA HỌC

TS Nguyễn Thanh Sơn

THÁI NGUYÊN - 2019

Möc löc

Ch÷ìng 1 B i to¡n tèi ÷u trong khæng gian húu h¤n chi·u 6

1.1 Sì l÷ñc v· b i to¡n tèi ÷u 6

1.1.1 B i to¡n tèi ÷u 6

1.1.2 Kh¡i qu¡t b i to¡n tèi ÷u câ r ng buëc 8

1.1.3 Tèi ÷u h m möc ti¶u bªc hai vîi r ng buëc b§t ¯ng thùc 10

1.2 Mët sè ph÷ìng ph¡p gi£i b i to¡n tèi ÷u 11

1.2.1 Ph÷ìng ph¡p Newton 11

1.2.2 Ph÷ìng ph¡p gi£m s¥u nh§t 13

1.2.3 Ph÷ìng ph¡p h m ch­n logarith 15

1.2.4 Ph÷ìng ph¡p chi¸u gradient 18

Ch÷ìng 2 B i to¡n håc ë t÷ìng tü 21 2.1 B i to¡n håc ë t÷ìng tü v  c¡c ki¸n thùc li¶n quan 21

2.1.1 Mët sè ki¸n thùc li¶n quan 21

2.1.2 B i to¡n håc ë t÷ìng tü 25

2.1.3 T½nh lçi cõa b i to¡n 26

2.1.4 Kho£ng c¡ch Mahalanobis 27

2.2 Ph÷ìng ph¡p gi£i b i to¡n håc ë t÷ìng tü 28

2.2.1 Tr÷íng hñp kho£ng c¡ch Euclide câ trång sè 28

2.2.2 Ph÷ìng ph¡p chi¸u gradient cho b i to¡n håc ë

t÷ìng tü 292.2.3 V½ dö sè 32

H khæng gian Hilbert thüc

∇f gradient cõa h m sè, grad f

∇2f Hessian cõa h m sè f v  l  ma trªn cï n × nkAk chu©n Euclid cõa ma trªn A

λ(A) c¡c gi¡ trà ri¶ng cõa A

A ≥ 0 ma trªn nûa x¡c ành d÷ìng

A > 0 ma trªn x¡c ành d÷ìng

x∗ iºm cüc tiºu hay cüc tiºu

f (x∗) gi¡ trà cüc tiºu

Mð ¦u

Th¸ giîi ang b÷îc v o Cuëc c¡ch m¤ng khoa håc l¦n thù t÷ vîi AI(Artifical Intelligence - Tr½ tu» nh¥n t¤o) v  IoT (Internet of Things -Internet v¤n vªt) em ¸n nhúng ët ph¡ b§t ngí v· cæng ngh» Vai trácõa nâ èi vîi mët quèc gia, mët vòng l¢nh thê lîn ¸n mùc ÷ñc nhªn

ành, r¬ng ai d¨n ¦u v· cæng ngh» n y s³ chi¸n th­ng trong cuëc c¤nhtranh v· cæng ngh», kinh t¸

Trong thüc t¸, Tr½ tu» nh¥n t¤o m  cö thº hìn núa l  Håc m¡y(Machine Learning) ¢ l  mët ng nh con ph¡t triºn tø l¥u cõa khoa håcm¡y t½nh Luªn v«n n y s³ x²t mët b i to¡n nhä trong l¾nh vüc rëng lîn

n y d÷îi gâc ë to¡n håc, â l  Håc ë t÷ìng tü

Trong mët khæng gian Euclide, hay têng qu¡t hìn l  trong mët khænggian metric, kh¡i ni»m kho£ng c¡ch ÷ñc dòng º o kho£ng c¡ch giúahai èi t÷ñng èi t÷ñng l  tròng nhau n¸u kho£ng c¡ch b¬ng 0, ð g¦nnhau n¸u kho£ng c¡ch nhä v  xa nhau n¸u kho£ng c¡ch lîn

B¥y gií, ta x²t mët tªp hñp têng qu¡t hìn nh÷ tªp c¡c h¼nh chöpm°t ng÷íi, hay tªp c¡c v«n b£n Gi£ sû ta câ thº bi¸n êi c¡c èi t÷ñng

â th nh c¡c èi t÷ñng to¡n håc nh÷ v²c tì ho°c ma trªn Ta c¦n ph£ix¥y düng mët ph²p o º câ thº ph¥n bi»t ÷ñc hai nhâm èi t÷ñngt÷ìng tü nhau v  kh¡c nhau V· m°t ành l÷ñng, hai èi t÷ñng t÷ìng

tü nhau n¸u câ kho£ng c¡ch (theo ph²p o vøa ÷ñc x¥y düng) nhä v hai èi t÷ñng kh¡c nhau s³ câ kho£ng c¡ch lîn

C¥u häi ti¸p theo l  x¥y düng ph²p o â nh÷ th¸ n o? Þ t÷ðng tü

nhi¶n l  kh¡i qu¡t hâa kho£ng c¡ch Euclide Ta câ vîi x, y ∈ R th¼

kx − ykE =

q

kx − yk2 =

q(x − y)T(x − y) =

q(x − y)TI(x − y),trong â I l  mët ma trªn ìn và B¥y gií, ta thay I b¬ng mët ma trªn

èi xùng nûa x¡c ành d÷ìng A v  ành ngh¾a

kx − ykA =

q(x − y)TA(x − y) (0.0.1)L÷u þ r¬ng khi â (0.0.1) ch¿ l  mët gi£ kho£ng c¡ch, tùc l  hai iºmkh¡c nhau câ thº câ kho£ng c¡ch b¬ng 0 Nh÷ vªy, vi»c x¥y düng kho£ngc¡ch ÷ñc quy v· vi»c t¼m mët ma trªn èi xùng nûa x¡c ành d÷ìng.N¸u khæng câ gñi þ g¼ th¼ ¥y l  mët b i to¡n khæng câ líi gi£i Ðgâc ë Håc m¡y, muèn m¡y ph¥n bi»t ÷ñc th¸ n o l  hai èi t÷ñng

l  t÷ìng tü, th¸ n o l  khæng t÷ìng tü th¼ ta ph£i d¤y nâ Thæng tingñi þ ð ¥y l  vi»c cho tr÷îc hai tªp con S v  D cõa khæng gian c¡c

èi t÷ñng (gi£ sû l  Rn) m  trong â S chùa nhúng èi t÷ñng t÷ìng tünhau, cán D chùa nhúng èi t÷ñng khæng t÷ìng tü Mët ph²p o tèt,trong tr÷íng hñp n y °c tr÷ng bði ma trªn A, ph£i thäa m¢n ba i·u:i) Kho£ng c¡ch giúa c¡c èi t÷ñng thuëc S theo ma trªn A c ng nhä

Möc ½ch cõa · t i l  tr¼nh b y vi»c gi£i b i to¡n tèi ÷u n£y sinhtrong håc ë t÷ìng tü (0.0.2), (0.0.3).

Nëi dung cõa · t i luªn v«n ÷ñc tr¼nh b y trong hai ch÷ìng

Ch÷ìng 1 B i to¡n tèi ÷u trong khæng gian húu h¤n chi·uNëi dung ch½nh cõa ch÷ìng n y l  c¡c ki¸n thùc v· tèi ÷u hâa Chóngtæi nh­c l¤i mët c¡ch sì l÷ñc c¡c kh¡i ni»m cì b£n cõa b i to¡n tèi ÷u

v  mët sè ph÷ìng ph¡p cho b i to¡n tèi ÷u khæng r ng buëc Trong â,chóng tæi i s¥u v o tr¼nh b y chi ti¸t ph÷ìng ph¡p chi¸u gradient s³dòng ð Ch÷ìng 2 T i li»u tham kh£o ch½nh cho ch÷ìng n y l  [2], [4].Ch÷ìng 2 B i to¡n håc ë t÷ìng tü

Trong ch÷ìng n y, luªn v«n tr¼nh b y nhúng chõ · kh¡i qu¡t v· b ito¡n håc ë t÷ìng tü Sau â, chóng tæi i v o tr¼nh b y chi ti¸t b ito¡n Håc ë t÷ìng tü theo lo¤t Cán mët sè chõ · r§t thó và kh¡c nh÷Håc ë t÷ìng tü online, Håc ë t÷ìng tü düa tr¶n lþ thuy¸t thæng tin

¢ khæng thº ÷ñc tr¼nh b y do khuæn khê câ h¤n cõa luªn v«n côngnh÷ sü h¤n ch¸ v· thíi gian v  n«ng lüc Sau còng, ch÷ìng n y tr¼nh

b y ph÷ìng ph¡p chi¸u gradient cho B i to¡n håc ë t÷ìng tü v  v½ dö

sè minh håa cho ph÷ìng ph¡p â Ch÷ìng n y tham kh£o c¡c t i li»u[3], [5]

Luªn v«n ÷ñc ho n th nh t¤i Tr÷íng ¤i håc Khoa håc - ¤i håcTh¡i Nguy¶n Trong qu¡ tr¼nh håc tªp v  thüc hi»n luªn v«n n y, Tr÷íng

¤i håc Khoa håc ¢ t¤o måi i·u ki»n tèt nh§t º t¡c gi£ håc tªp,nghi¶n cùu T¡c gi£ xin ÷ñc b y tä láng bi¸t ìn ch¥n th nh ¸n c¡cth¦y, cæ trong khoa To¡n - Tin, trong Tr÷íng ¤i håc Khoa håc - ¤ihåc Th¡i Nguy¶n °c bi»t, t¡c gi£ xin b y tä láng bi¸t ìn s¥u s­c tîi

TS Nguy¹n Thanh Sìn - Ng÷íi ¢ tªn t¼nh h÷îng d¨n t¡c gi£ ho n

th nh luªn v«n n y.

T¡c gi£ công xin ÷ñc gûi líi c£m ìn tîi Ban gi¡m hi»u tr÷íng THPTNguy¹n «ng ¤o v  tªp thº c¡c th¦y cæ gi¡o trong tê To¡n-Tin cõaTr÷íng ¢ t¤o i·u ki»n gióp ï t¡c gi£ trong thíi gian t¡c gi£ thamgia håc cao håc

Th¡i Nguy¶n, th¡ng 04 n«m 2019

T¡c gi£ luªn v«n

Tr¦n V«n Ph÷ñng

1.1 Sì l÷ñc v· b i to¡n tèi ÷u

Möc n y s³ tr¼nh b y kh¡i ni»m, k¸t qu£ cì b£n º câ c¡i nh¼n kh¡iqu¡t v· b i to¡n tèi ÷u

1.1.1 B i to¡n tèi ÷u

Cho f : Rn → R T¼m cüc tiºu àa ph÷ìng x∗ cõa f, ngh¾a l ,

f (x∗) ≤ f (x), ∀x ∈ Ux ∗, (1.1.1)trong â, Ux ∗ l  l¥n cªn àa ph÷ìng n o â cõa x∗ º ng­n gån, ta vi¸t

min

• f: h m möc ti¶u,

• x∗: iºm cüc tiºu hay cüc tiºu,

• f (x∗) : gi¡ trà cüc tiºu,

• B i to¡n (1.1.1): B i to¡n cüc tiºu khæng r ng buëc

B i to¡n cüc tiºu câ r ng buëc (constrained optimization) l  b i to¡nt¼m x∗ sao cho

f (x∗) ≤ f (x), ∀x ∈ Ux∗ ∩ U , (1.1.3)vîi U cho tr÷îc Nâ câ thº vi¸t d÷îi d¤ng

i·u ki»n tèi ÷u

C¡c i·u ki»n c¦n thi¸t cho sü tèi ÷u ÷ñc rót ra b¬ng c¡ch gi£ sûr¬ng x∗ l  iºm cüc tiºu àa ph÷ìng v  sau â chùng minh t½nh ch§t cõa

∇f (x∗) v  ∇2f (x∗)

ành lþ 1.1.1 (i·u ki»n c¦n) Cho f ∈ C2(Ux ∗) v  x∗ l  mët cüc tiºu

àa ph÷ìng cõa f Khi â

ành ngh¾a 1.1.2 i·u ki»n ∇f(x∗) = 0 ÷ñc gåi l  i·u ki»n c¦n c§pmët x∗ thäa m¢n i·u ki»n c¦n c§p mët ÷ñc gåi l  iºm døng hay iºmtîi h¤n.

ành lþ 1.1.3 (i·u ki»n õ) Cho f ∈ C2(Ux∗) Gi£ sû ∇f(x∗) = 0

v  ∇2f (x∗) > 0 Khi â, x∗ l  mët cüc tiºu àa ph÷ìng cõa f

1.1.2 Kh¡i qu¡t b i to¡n tèi ÷u câ r ng buëc

Tø möc n y cho ¸n h¸t ch÷ìng 1, ta s³ x²t b i to¡n tèi ÷u r ng buëctêng qu¡t nh÷ sau

iºm x∗ ∈ Rn ÷ñc gåi l  mët nghi»m àa ph÷ìng cõa (1.1.5) n¸u x ∈ Ω

v  câ mët l¥n cªn N cõa x∗ trong Rn sao cho

f (x) ≥ f (x∗), ∀x ∈ N ∩ Ω (1.1.8)N¸u ta thay d§u "≥" trong (1.1.8) bði ">" ta câ kh¡i ni»m nghi»m àaph÷ìng ch°t

ành ngh¾a 1.1.4 Cho x ∈ Ω, tªp ho¤t (active set) k½ hi»u A(x) ÷ñc

{∇ci(x), i ∈ A(x)}

l  ëc lªp tuy¸n t½nh

Vîi c¡c nguy¶n li»u tr¶n, ta câ thº ph¡t biºu ành lþ v· i·u ki»n c¦ntèi ÷u cì b£n nh§t cõa b i to¡n tèi ÷u câ r ng buëc, i·u ki»n Karush-Kuhn- Tucker hay ng­n gån l  i·u ki»n KKT

ành lþ 1.1.6 Gi£ sû x∗ l  mët nghi»m àa ph÷ìng cõa b i to¡n (1.1.5)vîi h m möc ti¶u v  h m r ng buëc thuëc lîp C1 v  i·u ki»n LICQ ÷ñcthäa m¢n Khi â câ mët nh¥n tû Lagrange λ∗ = (λ∗i), i ∈ E ∪ I sao choc¡c i·u ki»n sau ¥y thäa m¢n t¤i iºm (x∗, λ∗)

1.1.3 Tèi ÷u h m möc ti¶u bªc hai vîi r ng buëc b§t ¯ng

ma trªn nûa x¡c ành d÷ìng, ta nâi â l  b i to¡n quy ho¤ch (tèi ÷u)

to n ph÷ìng lçi N¸u G l  x¡c ành d÷ìng, b i to¡n ÷ñc gåi l  lçi ch°t.Tr÷íng hñp cán l¤i, vi»c gi£i B i to¡n (1.1.14)-(1.1.16) s³ khâ hìn v¼

nâ câ thº câ nhi·u cüc trà àa ph÷ìng ho°c iºm døng

Tr÷îc h¸t, ta h¢y ¡p döng lþ thuy¸t têng qu¡t cõa tèi ÷u câ r ngbuëc v o B i to¡n (1.1.14)-(1.1.16) H m Lagrange cho b i to¡n n y l 

cho nghi»m x∗ l  tçn t¤i c¡c nh¥n tû Lagrange λ∗

ành lþ 1.1.7 N¸u x∗ thäa m¢n c¡c i·u ki»n (1.1.18)-(1.1.20) vîi c¡c

λ∗i ∈ A(x∗) n o â v  G l  nûa x¡c ành d÷ìng (bao gçm x¡c ànhd÷ìng) th¼ x∗ l  mët nghi»m to n cöc cõa B i to¡n (1.1.14)-(1.1.16).Chùng minh cõa ành lþ n y ÷ñc tr¼nh b y trong [4] Công tø chùngminh, ta suy r¬ng n¸u G x¡c ành d÷ìng th¼ x∗ l  nghi»m duy nh§t

1.2 Mët sè ph÷ìng ph¡p gi£i b i to¡n tèi ÷u

Nëi dung trong möc n y ÷ñc tr½ch d¨n tø t i li»u tham kh£o [2].1.2.1 Ph÷ìng ph¡p Newton

Trong möc n y, ta gi£ sû r¬ng c¡c i·u ki»n sau ¥y luæn ÷ñc thäam¢n

ành ngh¾a 1.2.1 C¡c i·u ki»n sau ªy ÷ñc gåi l  gi£ thi¸t ti¶uchu©n

• f kh£ vi c§p hai v  tho£ m¢n i·u ki»n Lipschitz vîi Hessian

k∇2f (x) − ∇2f (x)k ≤ γkx − yk

• H m f thäa m¢n i·u ki»n c¦n t¤i x∗

mc(x) = f (xc) + ∇f (xc)T(x − xc) + 1

2(x − xc)

T∇2f (xc)(x − xc).N¸u ∇2f (xc) > 0, cüc tiºu duy nh§t x+ cõa mc(x) l  nghi»m duy nh§tcõa ph÷ìng tr¼nh ∇mc(x) = 0

i·u n y t÷ìng ÷ìng vîi

L÷u þ r¬ng n¸u xc xa cüc tiºu th¼ ∇2f (xc) câ thº khæng l  spd n¶nnghi»m x+ câ thº l  cüc ¤i ho°c iºm y¶n ngüa Tuy nhi¶n i·u n y bàlo¤i trø do gi£ thi¸t ∇2f (x∗) > 0 cõa gi£ thi¸t ti¶u chu©n

Sü hëi tö cõa ph÷ìng ph¡p Newton ÷ñc n¶u trong ành l½ sau

ành lþ 1.2.2 Gi£ sû c¡c gi£ thi¸t ti¶u chu©n ÷ñc thäa m¢n X²t d¢yl°p

xk+1 = xk+ pk,

vîi pk = −∇ fk ∇fk Khi â:

• N¸u x0 õ g¦n x∗ th¼ d¢y {xk} hëi tö tîi x∗

M°c dò ta ¢ x¡c ành ÷ñc h÷îng gi£m s¥u nh§t, nh÷ng vi»c x¡c

ành ÷ñc ë d i b÷îc λ l  tèi quan trång cõa ph÷ìng ph¡p n y Lüachån tèt nh§t cho λ l  nâ tèi thiºu hâa h m

φ(λ) = f (xc − λ∇f (xc))

Nh÷ng b i to¡n n y trong h¦u h¸t tr÷íng hñp công khæng d¹ gi£i hìn

b i to¡n cüc trà ban ¦u V¼ th¸, ng÷íi ta t¼m mët c¡ch ti¸p cªn nîiläng Ta x²t mæ h¼nh x§p x¿ bªc mët cõa f(x)

mc(x) = f (xc) + ∇f (xc)(x − xc)

Qua b÷îc cªp nhªt (1.2.1), mæ h¼nh bªc mët (l  x§p x¿ Taylor bªc mëtcõa h m möc ti¶u) s³ gi£m

Ta s³ r ng buëc i·u ki»n

ared > αλpred,hay t÷ìng ÷ìng

f (xc− λ∇) − f (xc) < −αλk∇f (xc)k2 (1.2.2)

Þ ngh¾a cõa i·u ki»n n y l  ë gi£m thüc sü cõa h m möc ti¶u ph£ilîn hìn t½ch cõa ë gi£m mæ h¼nh bªc mët vîi h» sè α d÷ìng Thængth÷íng, ng÷íi ta hay chån α = 10−4

º x¡c ành ë d i b÷îc λ, ta câ thº sû döng mët thõ töc truy ng÷ñc(backtracking) Ta chån β ∈ (0; 1) (câ thº chån b¬ng 0, 9) v  sau â,t¼m sè nguy¶n d÷ìng m nhä nh§t sao cho λ = βm Thõ töc n y ÷ñc

cö thº hâa ð váng l°p while trong cõa Thuªt to¡n 1 ¥y công l  mëtc¡ch thæng döng º x¡c ành ë d i b÷îc èi vîi nhúng ph÷ìng ph¡pt¼m theo ÷íng th¯ng kh¡c

Algorithm 1 Thuªt to¡n gi£m s¥u-steep

Kh¡i qu¡t i·u ki»n (1.2.2), ta câ i·u ki»n

f (xc + λd) − f (xc) < αλ∇f (xc)Td,trong â α ∈ (0, 1) l  tham sè thuªt to¡n Công nh÷ ph÷ìng ph¡p gi£ms¥u nh§t, ta th÷íng chån α = 10−4 i·u ki»n n y ch½nh l  i·u ki»nArmijo v  th÷íng ÷ñc gåi l  i·u ki»n gi£m õ (sufficient condition).1.2.3 Ph÷ìng ph¡p h m ch­n logarith

Trong möc n y, chóng ta t¼m hiºu ph÷ìng ph¡p h m ch­n logarithcho b i to¡n tèi ÷u r ng buëc d¤ng b§t ¯ng thùc Cö thº ta x²t b ito¡n tèi ÷u

min

x f (x), sao cho : ci(x) ≥ 0, i ∈ I (1.2.3)

Ta ành ngh¾a mi·n húu h¤n ng°t

F0 := {x ∈ Rn : ci(x) > 0, vîi måi i ∈ I}, (1.2.4)

v  gi£ sû r¬ng mi·n kh¡c réng Ta s³ x¥y düng h m ch­n cho B i to¡n(1.2.3), (1.2.4) vîi c¡c t½nh ch§t sau:

(i) gi¡ trà væ còng khi x /∈ F0,

vîi log l  logarith cì sè tü nhi¶n, thäa m¢n c¡c t½nh ch§t (i)-(iii) Nâ

÷ñc gåi l  h m ch­n logarith Khi â, h m k¸t hñp (cõa h m möc ti¶u

v  h m ch­n) cho B i to¡n (1.2.3), (1.2.4) ÷ñc cho bði

P (x; µ) = f (x) − µX

i∈I

log ci(x), (1.2.6)

trong â µ l  mët h¬ng sè i·u ch¿nh vai trá cõa h m ch­n trong h mtêng hñp v  ÷ñc gåi l  tham sè ch­n H m k¸t hñp P (x; µ) công ÷ñcgåi l  h m ch­n log cho B i to¡n tèi ÷u (1.2.3), (1.2.4) Ta nhªn th§ykhi µ ti¸n v· 0, h m ch­n log P (x; µ) d¦n v· h m möc ti¶u ban ¦u cõa

B i to¡n (1.2.3) Nh÷ vªy, c¡ch ti¸p cªn cõa ph÷ìng ph¡p h m ch­n log

l  thay th¸ b i to¡n tèi ÷u vîi r ng buëc b§t ¯ng thùc b¬ng mët håc¡c b i to¡n tèi ÷u khæng r ng buëc phö thuëc v o tham sè Theo â,

ta câ thº mæ t£ l¤i quy tr¼nh n y trong Thuªt to¡n 2

if kiºm tra sü hëi tö cuèi còng ¢ thäa m¢n

stop vîi nghi»m g¦n óng x k ;

Chån tham sè ch­n mîi µ k+1 ∈ (0, µ k ) ;

Chån iºm b­t ¦u mîi x s

k+1 ; end (for)

º t¼m iºm cüc tiºu ð b÷îc 3 trong Thuªt to¡n 2, ta câ thº sû döngph÷ìng ph¡p Newton cho b i to¡n tèi ÷u khæng r ng buëc tr¼nh b y ðMöc 1.2.1

ành lþ sau ¥y s³ cung c§p cho chóng ta mèi quan h» giúa B i to¡ntèi ÷u khæng r ng buëc (1.1.5) v  B i to¡n tèi ÷u câ r ng buëc (1.2.3)

ành lþ 1.2.3 Gi£ sû r¬ng f v  −ci, i ∈ I ·u l  c¡c h m lçi v  mi·nhúu hi»u ng°t F0 l  khæng réng °t {µk} l  mët d¢y gi£m sao cho

µk ↓ 0, v  gi£ sû r¬ng tªp hñp nghi»m M l  khæng trèng v  giîi nëi.Khi â, c¡c kh¯ng ành sau l  óng

(i) Vîi måi µ > 0, P (x; µ) l  lçi trong F0 v  câ mët cüc tiºu x(µ)(khæng nh§t thi¸t ph£i l  duy nh§t) tr¶n F0 B§t ký cüc tiºu àa

ph÷ìng x(µ) n o công l  cüc tiºu to n cöc cõa P (x, µ).

(ii) B§t ký d¢y tèi thiºu {x(µk)} n o công câ mët d¢y con hëi tö v  t§tc£ c¡c iºm giîi h¤n câ thº câ cõa c¡c d¢y â n¬m ð M

(iii) f(x(µk)) → f∗ v  P (x(µk); µk) → f∗, vîi b§t ký d¢y tèi thiºu{x(µk)} n o

ành lþ ti¸p theo s³ thi¸t lªp mèi quan h» cõa ph÷ìng ph¡p h m ch­nlog vîi c¡ch ti¸p cªn têng qu¡t theo i·u ki»n tèi ÷u KKT tr¼nh b y ðMöc 1.1.2 Tr÷îc ti¶n ta giîi thi»u ành ngh¾a v· i·u ki»n bê sung ch°t

v  ành lþ v· i·u ki»n õ bªc hai

ành ngh¾a 1.2.4 (i·u ki»n bê sung ch°t) Cho x∗ l  nghi»m àaph÷ìng cõa (1.1.5) v  mët vectì λ∗ thäa m¢n c¡c i·u ki»n KKT, chóng

ta nâi r¬ng i·u ki»n bê sung ch°t l  óng n¸u ch½nh x¡c mët trong λ∗

i

v  ci(x∗) b¬ng 0 vîi méi ch¿ sè i ∈ I Nâi c¡ch kh¡c, ta câ λ∗

i > 0 choméi i ∈ I ∪ A(X∗)

ành lþ 1.2.5 Gi£ sû r¬ng èi vîi mët sè iºm kh£ vi x∗ ∈ Rn câ vectình¥n tû Lagrange λ∗ sao cho c¡c i·u ki»n KKT ÷ñc thäa m¢n Gi£ sûcông vªy

wT∇xxL(x∗, λ∗)w > 0, vîi måi w ∈ F2(λ∗), w 6= 0

Khi â, x∗ l  mët nghi»m àa ph÷ìng ch°t cõa (1.1.5)

ành lþ 1.2.6 Gi£ sû r¬ng F0 l  khæng réng v  x∗ l  mët nghi»m àaph÷ìng cõa B i to¡n (1.2.3) m  t¤i â c¡c i·u ki»n KKT ÷ñc thäa m¢ncho mët sè λ∗ Gi£ sû, i·u ki»n r ng buëc ëc lªp tuy¸n t½nh (LICQ),

i·u ki»n bê sung ng°t v  c¡c i·u ki»n õ bªc hai thäa m¢n t¤i (x∗, λ∗).Khi â, c¡c kh¯ng ành sau l  óng

(i) Câ duy nh§t mët h m vectì kh£ vi li¶n töc x(µ), x¡c ành vîi måigi¡ trà õ nhä µ º x(µ) l  cüc tiºu àa ph÷ìng cõa P (x, µ) trongmët sè l¥n cªn cõa x∗, sao cho limµ↓0x(µ) = x∗.

(ii) èi vîi h m x(µ) trong (i), ÷îc l÷ñng nh¥n tû Lagrange λ(µ) hëi töv· λ∗ khi µ ↓ 0

x+ = P (xc − λ∇f (xc)),trong â P l  ph²p chi¸u l¶n tªp Ω v  λ l  ë d i b÷îc ÷ñc chån bði,ch¯ng h¤n quy t­c Armijo °t

Algorithm 3 Thuªt to¡n chi¸u gradient -gradproj

Input: x, f, k max

Output: Mët x§p x¿ x k cõa x ∗

1: for k = 1, , k max do

2: T½nh f v  ∇f, kiºm tra i·u ki»n døng

3: T¼m sè nguy¶n d÷ìng m nhä nh§t sao cho (1.2.7) thäa m¢n vîi λ = β m

4: G¡n x = x(λ)

5: end for

6: N¸u k = k max ch¤y l¤i thuªt to¡n vîi iºm khði t¤o kh¡c.

a) Ti¶u chu©n døng Trong möc n y ta x²t b i to¡n sau: Cho Ω l mi·n bà ch°n h¼nh chú nhªt trong Rn,

Ω = {x ∈ Rn : Li ≤ xi ≤ Ui, i = 1, , n},

v  h m f cho tr÷îc x¡c ành tr¶n Ω T¼m x∗ sao cho

f (x∗) ≤ f (x), ∀x ∈ Ux∗ ∩ Ω, (1.2.8)trong â Ux ∗ l  mët cªn n o â cõa x∗ B i to¡n (1.2.8) ÷ñc gåi l  b ito¡n tèi ÷u (cüc trà) àa ph÷ìng câ r ng buëc (cªn)

Khæng nh÷ b i to¡n cüc trà khæng r ng buëc sû döng, k∇fk nhäkhæng °c tr÷ng cho iºm cüc trà n¶n ta khæng thº sû döng nâ l m ti¶uchu©n døng Ta s³ sû döng hi»u kx − x(1)k l  ti¶u chu©n døng C«n cù

º thüc hi»n i·u â l  kh¯ng ành sau ¥y

ành lþ 1.2.7 Gi£ sû f ∈ C2(Ω) v  x∗ l  iºm døng khæng suy bi¸ncõa B i to¡n (1.2.8) v  i·u ki»n õ cho cüc trà ÷ñc thäa m¢n t¤i x∗.Khi â, tçn t¤i δ v  M sao cho n¸u kek < δ v  A(x) = A(x∗) th¼

kek

M ≤ kx − x∗k ≤ M kek

Nhªn x²t 1.2.8 Ta câ thº sû döng d¤ng cõa ti¶u chu©n døng

kx − x(1)k ≤ τa