Giải bài toán tối ưu lồi bằng phương pháp trơn hóa và ứng dụng_2

Möc löcMð ¦u... Nëi dung ch½nh1... H¼nh chi¸u cõa mët iºm l¶n mët tªp: Cho Cl mët tªp âng kh¡c réng trong khæng gian Rn, a l mët iºm tòy þcõa Rn.

BË GIO DÖC V€ €O T„OTR×ÍNG „I HÅC S× PH„M H€ NËI 2

BË GIO DÖC V€ €O T„OTR×ÍNG „I HÅC S× PH„M H€ NËI 2

Líi c£m ìn

Tæi xin b y tä láng bi¸t ìn s¥u s­c ¸n ti¸n s¾ BÒI V‹N ÀNH, ng÷íi

¢ tªn t¼nh gióp ï, ch¿ b£o v  cung c§p cho tæi nhúng ki¸n thùc n·nt£ng º tæi ho n th nh b i khâa luªn n y Th¦y công l  ng÷íi ¢ gióptæi ng y c ng ti¸p cªn v  câ ni·m say m¶ khoa håc trong suèt thíi gian

÷ñc l m vi»c còng th¦y

Tæi xin b y tä láng bi¸t ìn tîi c¡c th¦y, c¡c cæ cæng t¡c t¤i KhoaTo¡n Tr÷íng ¤i håc s÷ ph¤m H  Nëi 2 v  c¡c th¦y, cæ kh¡c ¢ trücti¸p gi£ng d¤y, truy·n ¤t cho tæi nhúng ki¸n thùc quþ b¡u v· chuy¶nmæn công nh÷ kinh nghi»m nghi¶n cùu khoa håc trong thíi gian qua

Do l¦n ¦u l m quen vîi cæng t¡c nghi¶n cùu v  n«ng lüc b£n th¥ncán h¤n ch¸ n¶n khâa luªn khæng tr¡nh khäi thi¸u sât, tæi r§t mongnhªn ÷ñc nhúng þ ki¸n âng gâp tø c¡c th¦y cæ, c¡c håc vi¶n º khâaluªn cõa tæi ÷ñc ho n thi»n hìn

Tæi xin ch¥n th nh c£m ìn

H  Nëi, th¡ng 6 n«m 2018

T¡c gi£

é Thà H¬ng Nga

Líi cam oan

Tæi xin cam oan nhúng nëi dung m  tæi tr¼nh b y trong khâa luªn

n y l  k¸t qu£ qu¡ tr¼nh nghi¶n cùu nghi¶m tóc cõa b£n th¥n d÷îi süh÷îng d¨n, gióp ï tªn t¼nh cõa c¡c th¦y, cæ gi¡o, °c bi»t l  th¦y BòiV«n ành

H  Nëi, th¡ng 6 n«m 2018

T¡c gi£

é Thà H¬ng Nga

Möc löc

Mð ¦u 1

Nëi dung ch½nh 4

1 Ki¸n thùc chu©n bà 5 1.1 Mët sè kh¡i ni»m v  k¸t qu£ cì b£n cõa gi£i t½ch lçi 5

1.2 B i to¡n quy ho¤ch lçi 9

1.2.1 Kh¡i ni»m 9

1.2.2 Sü tçn t¤i nghi»m tèi ÷u 10

1.3 Ph÷ìng ph¡p h÷îng gi£m 11

1.3.1 i·u ki»n tèi ÷u 11

1.3.2 Thuªt to¡n 12

1.4 Ph÷ìng ph¡p gradient 12

1.4.1 Thuªt to¡n gradient 13

1.4.2 Thuªt to¡n gradient vîi thõ töc quay lui 13

2 B i to¡n tèi ÷u lçi khæng trìn 15 2.1 K¾ thuªt trìn hâa c¡c h m lçi khæng trìn 15

2.2 L÷ñc ç tèi ÷u cho c¡c b i to¡n tèi ÷u trìn 19

2.3 B i to¡n tèi ÷u lçi khæng trìn 24

2.3.1 Gi£i b i to¡n tèi ÷u lçi khæng trìn b¬ng k¾ thuªt trìn hâa 24

2.3.2 Mùc ë phùc t¤p t½nh to¡n 27

2.3.3 Mùc ë ên ành t½nh to¡n 30

2.3.4 Ph÷ìng ph¡p t÷ìng tü 31

3 Ùng döng 34 3.1 Chi¸n l÷ñc minimax cho c¡c trá chìi ma trªn 34

3.1.1 Kho£ng c¡ch Euclidean 35

3.1.2 Kho£ng c¡ch Entropy 35

3.2 B i to¡n ành và li¶n töc 37

3.3 B i to¡n b§t ¯ng thùc bi¸n ph¥n tuy¸n t½nh 39

3.3.1 D¤ng gèc 41

3.3.2 D¤ng li¶n hñp 41

3.4 Cüc tiºu cõa h m tuy¸n t½nh tøng khóc 42

3.4.1 Cüc ¤i cõa h m chùa d§u gi¡ trà tuy»t dèi 42

3.4.2 H m têng c¡c gi¡ trà tuy»t èi 43

3.5 Mët sè k¸t qu£ t½nh to¡n 44

Danh s¡ch h¼nh v³

1.1 Tªp lçi 51.2 Tªp khæng lçi 61.3 H m lçi v  h m lãm 7

Mð ¦u

1 Lþ do chån · t i

Nhi·u b i to¡n n£y sinh tø thüc t¸ khæng nhúng quan t¥m ¸n vi»ct¼m mët ph÷ìng ¡n thäa m¢n y¶u c¦u °t ra m  cán quan t¥m ¸n vi»c

nâ tçn t¤i nh÷ th¸ n o V¼ sè l÷ñng c¡c ph÷ìng ¡n thäa m¢n mæ h¼nh

câ thº câ nhi·u n¶n l³ d¾ nhi¶n ta quan t¥m ¸n vi»c t¼m ph÷ìng ¡n tètnh§t (tèi ÷u) theo mët ngh¾a n o â trong sè c¡c ph÷ìng ¡n thäa m¢ny¶u c¦u â Do â, b i to¡n tèi ÷u xu§t hi»n v  ÷ñc sû döng mët c¡chkh¡ tri»t º trong h¦u h¸t c¡c l¾nh vüc cõa íi sèng x¢ hëi, nh÷ trongkinh t¸, qu£n lþ, khoa håc k¾ thuªt °c bi»t trong qu¡ tr¼nh s£n xu§tt¤o ra ng y c ng nhi·u cõa c£i vªt ch§t cho x¢ hëi Tòy theo khði iºmcõa b i to¡n xu§t ph¡t m  t¶n gåi hay d¤ng cõa b i to¡n câ thº kh¡cnhau nh÷ng tüu trung l¤i, mët b i to¡n tèi ÷u câ thº ÷ñc vi¸t d÷îid¤ng:

Ð â C ⊂ X l  tªp ch§p nhªn ÷ñc (cán gåi l  tªp r ng buëc haytªp c¡c ph÷ìng ¡n), X l  mët khæng gian n o â f : C → R l  h mmöc ti¶u Méi vector x ∈ C gåi l  mët ph÷ìng ¡n (líi gi£i) ch§p nhªn

÷ñc º nghi¶n cùu sü tçn t¤i nghi»m v  x¥y düng c¡c ph÷ìng ph¡pt¼m nghi»m cõa b i to¡n tèi ÷u (0.1), ng÷íi ta th÷íng ph¥n lo¤i b i to¡ntèi ÷u theo c§u tróc cõa tªp r ng buëc C v  t½nh ch§t cõa h m sè f(x)

th nh c¡c b i to¡n cì b£n nh÷ l : B i to¡n quy ho¤ch lçi (khi C l  tªplçi v  f(x) l  h m lçi) v  B i to¡n quy ho¤ch khæng lçi, trong â b ito¡n quy ho¤ch lçi câ vai trá h¸t sùc quan trång c£ tø ph÷ìng di»n lþthuy¸t ¸n thüc h nh t½nh to¡n.

B i to¡n tèi ÷u lçi bao gçm hai lo¤i: Lo¤i trìn v  Lo¤i khæng trìn.Mët trong nhúng ph÷ìng ph¡p cì b£n quan trång º gi£i c¡c b i to¡nthuëc lo¤i trìn l  ph÷ìng ph¡p gradient, mët ÷u iºm cõa ph÷ìng ph¡p

n y l  câ thuªt to¡n ìn gi£n v  thuªn ti»n trong qu¡ tr¼nh t½nh to¡n,tuy nhi¶n tèc ë hëi tö cõa ph÷ìng ph¡p cán chªm G¦n ¥y, Nesterov

¢ c£i ti¸n ¡ng kº tø tèc ë hëi tö cõa thuªt to¡n gradient tø O



M°t kh¡c, nhi·u b i to¡n n£y sinh tø thüc t¸ d¨n ¸n b ito¡n quy ho¤ch lçi khæng trìn, º gi£i c¡c b i to¡n n y ng÷íi ta sû döngmët sè kÿ thuªt trìn hâa º tø â câ thº ¡p döng ÷ñc c¡c ph÷ìng ph¡pgi£i b i to¡n quy ho¤ch lçi trìn V¼ vªy, chóng tæi ¢ chån · t i nghi¶ncùu Gi£i b i to¡n tèi ÷u lçi b¬ng ph÷ìng ph¡p trìn hâa v  ùngdöng º l m luªn v«n tèt nghi»p th¤c sÿ chuy¶n ng nh To¡n gi£i t½ch

2 Möc ½ch nghi¶n cùu

Nghi¶n cùu v· mët sè mæ h¼nh cõa b i to¡n tèi ÷u lçi v  ph÷ìng ph¡pgi£i c¡c b i to¡n â Tø â, th§y ÷ñc mët sè ¡p döng cõa nâ trong thüct¸

3 Nhi»m vö nghi¶n cùu

Nghi¶n cùu c¡c b i to¡n tèi ÷u lçi trìn v  khæng trìn, kÿ thuªt trìnhâa c¡c b i to¡n lçi khæng trìn v  ¡p döng v o mët sè b i to¡n cö thº

4 èi t÷ñng - Ph¤m vi nghi¶n cùu

• èi t÷ñng nghi¶n cùu: B i to¡n tèi ÷u lçi trìn v  khæng trìn còngk¾ thuªt trìn hâa;

• Ph¤m vi nghi¶n cùu: Nghi¶n cùu c¡c thuªt to¡n húu hi»u gi£i c¡c

b i to¡n tèi ÷u lçi câ c§u tróc trong khæng gian R

n

5 Ph÷ìng ph¡p nghi¶n cùu

Sû döng c¡c ki¸n thùc v  ph÷ìng ph¡p cõa Gi£i t½ch lçi, Tèi ÷u lçi,

kÿ thuªt trìn hâa Nesterov º ti¸p cªn v§n · Thu thªp v  nghi¶n cùuc¡c t i li»u câ li¶n quan °c bi»t l  c¡c b i b¡o trong v  ngo i n÷îc câli¶n quan tîi v§n · m  luªn v«n · cªp tîi

6 Dü ki¸n âng gâp mîi cõa · t i

X¥y düng luªn v«n th nh mët t i li»u têng quan v· · t i nghi¶n cùu

Nëi dung ch½nh

1 T¶n · t iGi£i b i to¡n tèi ÷u lçi b¬ng ph÷ìng ph¡p trìn hâa v  ùng döng

2 K¸t c§u cõa nëi dungGçm 3 ch÷ìng:

• Ch÷ìng 1: Ki¸n thùc chu©n bà1.1 Mët sè kh¡i ni»m v  k¸t qu£ cì b£n cõa gi£i t½ch lçi1.2 B i to¡n quy ho¤ch lçi

1.3 Ph÷ìng ph¡p h÷îng gi£m1.4 Ph÷ìng ph¡p gradient

• Ch÷ìng 2: B i to¡n tèi ÷u lçi khæng trìn2.1 K¾ thuªt trìn hâa c¡c h m lçi khæng trìn2.2 L÷ñc ç tèi ÷u cho c¡c b i tèi ÷u trìn2.3 B i to¡n tèi ÷u lçi khæng trìn

• Ch÷ìng 3: Ùng döng1.1 Chi¸n l÷ñc minimax cho c¡c trá chìi ma trªn1.2 B i to¡n ành và li¶n töc

1.3 B i to¡n b§t ¯ng thùc bi¸n ph¥n tuy¸n t½nh1.4 Cüc tiºu cõa h m tuy¸n t½nh tøng khóc

1.5 Mët sè k¸t qu£ t½nh to¡n

Ch֓ng 1

Ki¸n thùc chu©n bà

Ch÷ìng n y tr¼nh b y mët sè kh¡i ni»m cì b£n nh§t cõa gi£i t½chto¡n håc v  gi£i t½ch lçi trong khæng gian Rn, chóng l  nhúng cæng cöc¦n thi¸t s³ ÷ñc dòng ¸n ð c¡c ch÷ìng sau

1.1 Mët sè kh¡i ni»m v  k¸t qu£ cì b£n cõa gi£i

ành ngh¾a 1.1.3 H¼nh chi¸u cõa mët iºm l¶n mët tªp: Cho C

l  mët tªp âng kh¡c réng trong khæng gian Rn, a l  mët iºm tòy þcõa Rn iºm p ∈ C sao cho:ka − pk = inf {kx − ak : x ∈ C} ÷ñc gåi

l  h¼nh chi¸u cõa a l¶n C

Chó þ: N¸u C ⊂ Rn l  tªp lçi âng kh¡c réng v  a ∈Rn l  iºm b§tk¼, th¼ h¼nh chi¸u p cõa a l¶n C l  tçn t¤i v  duy nh§t

ành ngh¾a 1.1.4 H m lçi: Cho X ⊂ Rn l  mët tªp lçi v  f : X → R

l  mët h m sè H m f ÷ñc gåi l  mët h m lçi tr¶n X n¸u vîi måi

x, y ∈ X v  vîi måi t ∈ [0; 1] ta câ f (tx + (1 − t)y) 6 tf (x)+(1−t)f (y)

H m lãm: H m f ÷ñc gåi l  mët h m lãm tr¶n X n¸u vîi måi x, y ∈ X

v  vîi måi t ∈ [0; 1] ta câ f (tx + (1 − t)y) > tf (x) + (1 − t)f (y)

∀c ∈ Rn ta ·u câ g(x) := f(x) − σ

2 kx − ck2 l  lçi

Nhªn x²t 1.1.2 Cho f : Rn → R v  σ > 0 N¸u f(x) − σ

2 kxk2 l  lçith¼ f(x) l  lçi m¤nh vîi mæun σ

V½ dö 1.1.3 H m f(x) = kxk2 l  h m lçi m¤nh vîi mæun 2

ành ngh¾a 1.1.6 Mët h m f :Rn → Rm ÷ñc gåi l  li¶n töc Lipschitztr¶n Rn n¸u tçn t¤i L > 0 sao cho:

kf (x) − f (y)k 6 L kx − yk , ∀x, y ∈ RnV½ dö 1.1.4 H m f(x) = |x| l  li¶n töc Lipschitz vîi h¬ng sè 1

ành ngh¾a 1.1.7 Cho h m sè f x¡c ành tr¶n tªp mð X ⊂Rn H m

sè f ÷ñc gåi l  li¶n töc t¤i iºm x0 n¸u vîi måi ε > 0 tçn t¤i δ > 0 saocho |f(x) − f(x0)| < ε vîi måi x ∈ X thäa m¢n kx − x0k < δ Mët c¡ch

kh¡c, h m f li¶n töc t¤i x0 thuëc X n¸u vîi måi d¢y {xn} ⊂ X hëi tö

¸n x0 ta câ {f(xn)} → f (x0)

H m f ÷ñc gåi l  nûa li¶n töc d÷îi (nûa li¶n töc tr¶n) t¤i iºm x0

thuëc X n¸u vîi måi ε > 0, tçn t¤i δ > 0 sao cho f(x) > f (x0) − ε(f(x) 6 f (x0) − ε) ∀x ∈ X thäa m¢n kx − x0k < δ Mët c¡ch t÷ìng

÷ìng, f ÷ñc gåi l  nûa li¶n töc d÷îi (nûa li¶n töc tr¶n) t¤i iºm x0 ∈ Xn¸u vîi måi d¢y {xn} ⊂ X hëi tö ¸n x0 ta câ lim

n→∞inf f (xn) > f (x0)( lim

theo h÷îng â Hìn núa, theo b§t ¯ng thùc Cauchy-Schawarz, trongt§t c£ c¡c h÷îng d ⊂ Rn, kdk = 1, ta câ

1.2 B i to¡n quy ho¤ch lçi

1.2.1 Kh¡i ni»m

Cho C ⊂ Rn v  f : Rn →R X²t b i to¡n quy ho¤ch to¡n håc:

B i to¡n n y ÷ñc hiºu l  t¼m mët iºm x∗ ∈ C sao cho f(x∗) 6

f (x), ∀x ∈ C Tªp C ÷ñc gåi l  tªp r ng buëc hay mi·n ch§p nhªn

÷ñc cõa b i to¡n (1.1) H m f ÷ñc gåi l  h m möc ti¶u cõa b i to¡n(1.1) C¡c ph¦n tû cõa C gåi l  c¡c v²ctì ch§p nhªn ÷ñc hay c¡c ph÷ìng

¡n cõa b i to¡n (1.1)

N¸u C = Rn th¼ ta nâi (1.1) l  mët b i to¡n khæng câ r ng buëc,ng÷ñc l¤i (1.1) l  mët b i to¡n câ r ng buëc

Ta nâi (1.1) l  mët b i to¡n tèi ÷u lçi (mët b i to¡n quy ho¤ch lçi)n¸u C l  mët tªp lçi v  f l  mët h m lçi N¸u mët trong hai i·u n ykhæng x£y ra th¼ (1.1) l  mët b i to¡n tèi ÷u khæng lçi

Ta nâi ( 1.1) l  mët b i to¡n tèi ÷u trìn n¸u f : Rn → R l  h m sè

câ c¡c ¤o h m ri¶ng li¶n töc v  C ÷ñc biºu di¹n d÷îi d¤ng:

C := {x ∈ X : gj(x) 6 0, hi(x) = 0, j = 1, , m, i = 1, , p, } , (1.2)trong â ∅ 6= X ⊂ Rn v  gj, hi : Rn → R(j = 1, , m, i = 1, , p) l  c¡c

h m sè câ c¡c ¤o h m ri¶ng li¶n töc Ng÷ñc l¤i (1.1) ÷ñc gåi l  b ito¡n khæng trìn

ành ngh¾a 1.2.1 iºm x∗ ∈ C m  f(x∗) 6 f (x), ∀x ∈ C ÷ñc gåi l nghi»m, ho°c nghi»m tèi ÷u, ho°c nghi»m tèi ÷u to n cöc, ho°c cüc tiºu

to n cöc cõa b i to¡n (1.1)

Ta nâi x0 ∈ C l  mët nghi»m tèi ÷u àa ph÷ìng ho°c nghi»m cüc

tiºu àa ph÷ìng cõa (1.1) n¸u tçn t¤i mët l¥n cªn U cõa x0 sao cho:

f (x0) 6 f (x), ∀x ∈ C ∩ U

K½ hi»u tªp t§t c£ c¡c iºm cüc tiºu to n cöc cõa f tr¶n C l  Arg min

x∈C f (x).1.2.2 Sü tçn t¤i nghi»m tèi ÷u

X²t b i to¡n tèi ÷u to n cöc (1.1) Câ 4 kh£ n«ng câ thº x£y ra nh÷sau:

Tr÷íng hñp 4: Tçn t¤i x∗ ∈ C sao cho f(x∗) = min

x∈C f (x)Vªy l m th¸ n o º kiºm tra ÷ñc b i to¡n (1.1) câ nghi»m hay khæng?

i·u n y nâi chung khæng d¹ d ng ành lþ d÷îi ¥y cho ta mët ti¶uchu©n õ º b i to¡n câ nghi»m tèi ÷u to n cöc

ành lþ 1.2.1 i·u ki»n c¦n v  õ º tçn t¤i nghi»m tèi ÷u to n cöccõa b i to¡n (1.1) l  tªp:

ành lþ 1.2.2 N¸u C l  tªp compact kh¡c réng v  f l  nûa li¶n töcd÷îi tr¶n C th¼ b i to¡n (1.1) câ nghi»m tèi ÷u.

Chùng minh °t α = inf

x∈Cf (x) Theo ành ngh¾a, câ mët d¢y {xk} ⊂

C sao cho lim

k→+∞f (xk) = α Do C compact n¶n câ mët d¢y con hëi tö v·

x0 ∈ C, khæng gi£m t½nh têng qu¡t câ thº coi xk → x0 V¼ f l  nûa li¶ntöc d÷îi n¶n α > −∞, nh÷ng x0 ∈ C n¶n theo ành ngh¾a cõa α ta câ

th¼ f câ iºm cüc tiºu tr¶n C

Chùng minh °t C(a) := {x ∈ C : f(x) 6 f (a)} vîi a ∈ C Rã r ngC(a) âng v  bà ch°n n¶n f câ cüc tiºu tr¶n C(a) v  iºm â công l 

iºm cüc tiºu cõa f tr¶n C

Gi£ sû f l  h m lçi , kh£ vi tr¶n Rn iºm x∗ ∈ Rn l  nghi»m cüc tiºu

to n cöc cõa b i to¡n (1.1) khi v  ch¿ khi ∇f(x∗) = 0

Thæng th÷íng, vi»c t¼m trüc ti¸p nghi»m x∗ cõa b i to¡n (1.1) l  kh¡khâ kh«n, v¼ vªy ng÷íi ta th÷íng ti¸p cªn theo h÷îng: Xu§t ph¡t tø mëtph÷ìng ¡n ¢ bi¸t xk vîi gi¡ trà h m möc ti¶u t÷ìng ùng l  f(xk) ta t¼mmët h÷îng i dk l m gi£m h m möc ti¶u, x¡c ành ë d i b÷îc i tk º

i ¸n ph÷ìng ¡n mîi tèt hìn ph÷ìng ¡n cô Qu¡ tr¼nh n y ÷ñc l°p l¤icho ¸n khi ti¶u chu©n døng ÷ñc thäa m¢n, ta t¼m ÷ñc nghi»m tèi ÷uho°c nghi»m tèi ÷u x§p x¿ Cö thº ta câ thuªt to¡n h÷îng gi£m sau.1.3.2 Thuªt to¡n

B÷îc khði t¤o: Cho mët iºm x0 ∈ Rn, ε > 0.B÷îc l°p thù k :

B÷îc 1.T½nh ∇f(xk) N¸u k∇f(xk)k < ε th¼ døng, tr¡i l¤i i ¸n b÷îc2

B÷îc 2 X¡c ành xk+1 := xk + tkdk sao cho f(xk+1) < f (xk) ( dk l h÷îng gi£m cõa f t¤i xk, tk > 0 gåi l  ë d i b÷îc) Thay k := k + 1 rçiquay l¤i b÷îc 1

1.4 Ph÷ìng ph¡p gradient

¥y l  ph÷ìng ph¡p th÷íng dòng º gi£i c¡c b i to¡n cüc tiºu khæng

r ng buëc v¼ nâ ìn gi£n v  câ thº ¡p döng ÷ñc cho nhi·u lîp h m.Þt÷ðng cõa ph÷ìng ph¡p n y l : t¤i méi b÷îc l°p k ta chån h÷îng gi£m dk

cõa h m f t¤i xk l  dk = −∇f (xk), ¥y l  h÷îng m  h m möc ti¶u gi£mnhanh nh§t t¤i xk V¼ vªy m  ng÷íi ta cán gåi ph÷ìng ph¡p gradient l ph÷ìng ph¡p gi£m nhanh nh§t

1.4.1 Thuªt to¡n gradient

Trong thuªt to¡n n y , t¤i méi b÷îc l°p k iºm l°p ti¸p theo ÷ñcx¡c ành bði xk+1 = xk − tk∇f (xk) trong â tk l  nghi»m cüc tiºu cõa

h m mët bi¸n φ(t) := f(xk − t∇f (xk)) vîi t > 0

Thuªt to¡n nh÷ sau:

B÷îc khði t¤o: Cho mët iºm x0 ∈ Rn, ε > 0

B÷îc l°p thù k :

B÷îc 1 T½nh ∇f(xk) N¸u k∇f(xk)k < ε th¼ døng, tr¡i l¤i i ¸nb÷îc 2

B÷îc 2: Gi£i b i to¡n tk = argmin{ f(xk− t∇f (xk))} vîi t > 0 X¡c

ành xk+1 = xk − tk∇f (xk) Thay k := k + 1 quay trð l¤i b÷îc 1

ành lþ 1.4.1 Cho x0 ∈ Rn v  h m f kh£ vi li¶n töc tr¶n Rnv  câ tªpmùc d÷îi {x ∈ Rn|f (x) 6 f (x0)} bà ch°n Khi â méi iºm tö x∗ cõad¢y xk ÷ñc x¡c ành bði thuªt to¡n tr¶n thäa m¢n ∇f(x∗) = 0

1.4.2 Thuªt to¡n gradient vîi thõ töc quay lui

Trong thuªt to¡n gradient, ð méi b÷îc l°p, º x¡c ành ë d i b÷îc

i ta ph£i gi£i mët b i to¡n tèi ÷u mët chi·u Vi»c gi£i ch½nh x¡c nghi»mcõa b i to¡n n y d¨n ¸n chi ph½ t½nh to¡n s³ t«ng l¶n nh§t l  khi h mmöc ti¶u câ c§u tróc phùc t¤p º kh­c phöc t¼nh tr¤ng n y, ta sû döngthõ töc quay lui º x¡c ành ë d i b÷îc ch§p nhªn ÷ñc õ tèt thay v¼t¼m ë d i b÷îc tèi ÷u Cö thº, ta câ:

Thuªt to¡n gradient vîi thõ töc quay lui

B÷îc khði t¤o: Chån mët iºm x0 ∈ Rn, ε > 0, t > 0 v  {λk} ⊂ (0; 1)

l  mët d¢y ìn i»u gi£m v· 0

B÷îc l°p thù k: Câ xk thüc hi»n c¡c b÷îc sau:

B÷îc 1 T½nh ∇f(xk) N¸u k∇f(xk)k < ε th¼ døng, tr¡i l¤i i ¸n

b֔c 2.

B÷îc 2: T½nh xk+1 := xk − tk∇f (xk), trong â tk l  gi¡ trà ¦u ti¶ntrong d¢y t, λ1t, λ2t, λ3t thäa m¢n f(xk+1) − f (xk) 6 −εtkk∇f (xk)k2.Thay k := k + 1, quay trð l¤i B÷îc 1

Ch֓ng 2

B i to¡n tèi ÷u lçi khæng trìn

Nëi dung ch½nh cõa ch÷ìng n y d nh º tr¼nh b y ph÷ìng ph¡p gi£i

b i to¡n tèi ÷u lçi khæng trìn ÷ñc biºu di¹n d÷îi d¤ng têng cõa mët

h m lçi trìn v  mët h m lçi khæng trìn b¬ng kÿ thuªt trìn hâa Nëidung ch½nh cõa ch÷ìng gçm ba ph¦n, ph¦n mët d nh º tr¼nh b y k¾thuªt trìn hâa mët h m lçi khæng trìn, ph¦n 2 tr¼nh b y thuªt to¡n gi£i

b i to¡n tèi ÷u lçi trìn, ph¦n 3 d nh º tr¼nh b y ph÷ìng ph¡p gi£i b ito¡n tèi ÷u lçi khæng trìn v  mët sè v§n · li¶n quan

2.1 K¾ thuªt trìn hâa c¡c h m lçi khæng trìn

Ta x²t b i to¡n sau: T¼m

f∗ = min {f (x) : x ∈ C1} , (2.1)vîi C1 l  tªp lçi âng, bà ch°n trong khæng gian v²ctì thüc húu h¤nchi·u K1 v  f(x) l  mët h m lçi, li¶n töc tr¶n C1 H m lçi f câ thºkhæng kh£ vi

Thæng th÷íng c§u tróc cõa h m möc ti¶u trong möc (2.1) l  ÷ñccho mët c¡ch t÷íng minh Gi£ sû c§u tróc n y ÷ñc mæ t£ nh÷ sau:

f (x) = g(x) +maxu {hAx, ui2 − h(u) : u ∈ C2} , (2.2)

vîi g(x) l  h m li¶n töc v  lçi tr¶n C1, C2 l  tªp lçi âng, bà ch°n trongkhæng gian v²ctì thüc húu h¤n chi·u K2, h(u) l  mët h m lçi, li¶n töctr¶n C2 v  to¡n tû tuy¸n t½nh A : K1 → K2∗.

Trong tr÷íng hñp n y b i to¡n (2.1) câ thº vi¸t d÷îi d¤ng li¶n hñp

maxu {φ(u) : u ∈ C2} ,φ(u) = −h(u) + min

x {hAx, ui2 + g(x) : x ∈ C1} (2.3)Tuy nhi¶n, chó þ r¬ng vîi c¡ch vi¸t (2.3) l  khæng ho n to n t÷ìng tünh÷ c¡ch vi¸t (2.2) v¼ vªy trong tr÷íng hñp n y ta ng¦m gi£ thi¸t h(u)

v  C2 l  ìn gi£n º nghi»m tèi ÷u cõa (2.2) câ thº t¼m ÷ñc trong mëtcæng thùc t÷íng minh Gi£ thi¸t n y câ thº khæng c¦n ¡p °t cho h mmöc ti¶u φ(u)

Chó þ r¬ng h m lçi f(x) biºu di¹n trong cæng thùc (2.2) câ thº khængduy nh§t, ch¯ng h¤n:

C2 ≡ K2 = K1∗, h(u) ≡ f∗(u) =max{ hu, xi1 - f(x) : x ∈ K1} ,th¼ g(x) = 0 v  A ≡ I (to¡n tû çng nh§t) Tuy nhi¶n, trong tr÷ínghñp n y h m h(u) l  kh¡ phùc t¤p V· m°t trüc gi¡c, i·u n y rã r ng

l  sè chi·u cõa khæng gian K2 c ng lîn th¼ c§u tróc cõa h m möc ti¶uli¶n hñp c ng ìn gi£n, h m h(u) v  C2 l  nh÷ vªy Ch¯ng h¤n nh÷ v½

Rã r ng c§u tróc cõa mët h m nh÷ vªy r§t phùc t¤p.

Chóng ta h¢y nh¼n mët kh£ n«ng kh¡c Chó þ r¬ng:

f (x) = max

16j6m

u(j)

ìn h¼nh

Chóng ta h¢y ch¿ ra r¬ng sü hiºu bi¸t c§u tróc (2.2) câ thº gióp ½chcho chóng ta gi£i quy¸t b i to¡n (2.1) v  (2.3) Chóng ta s³ sû döng c§utróc n y º x¥y düng x§p x¿ trìn cõa h m möc ti¶u trong (2.1)

Gåi d2(u) l  mët h m g¦n k· tr¶n tªp C2, tùc l  d2(u) l  h m li¶n töc

v  lçi m¤nh tr¶n C2 vîi tham sè lçi σ2 > 0 °t

u0 = arg minu {d2(u) : u ∈ C2} ,

v  ÷ñc gåi l  t¥m g¦n k· Khæng l m m§t t½nh têng qu¡t, ta gi£ sû

d2(u) = 0, v¼ vªy vîi b§t k¼ u ∈ C2 ta câ

d2(u) > 1

2σ2ku − u0k22 (2.4)Vîi µ l  mët sè d÷ìng (gåi l  tham sè trìn hâa), ta x²t h m:

fµ(x) =maxu {hAx, ui2 − h(u) − µd2(u) : u ∈ C2} (2.5)K½ hi»u uµ(x) l  nghi»m tèi ÷u cõa b i to¡n tr¶n V¼ h m d2(u) l  lçim¤nh n¶n nghi»m n y l  duy nh§t.

ành lþ 2.1.1 H m fµ(x) ÷ñc x¡c ành tèt v  kh£ vi li¶n töc t¤i måi

iºm thuëc K1 Hìn th¸ núa nâ l  h m lçi v  gradient cõa nâ

h m lçi, tuy¸n t½nh, kh£ vi v¼ vªy uµ(x) l  duy nh§t

B¥y gií ta chùng minh gradient cõa nâ l  li¶n töc Lipschitz: L§y hai

iºm x1 v  x2, khæng m§t t½nh têng qu¡t ta gi£ sû c¡c h m h(.), d2(.) l kh£ vi Tø i·u ki»n c¦n tèi ÷u c§p 1 ta câ:

hAx1 − ∇h(uµ(x1)) − µ∇d2(uµ(x1)), uµ(x2) − uµ(x1)i2 6 0,hAx2 − ∇h(uµ(x2)) − µ∇d2(uµ(x2)), uµ(x1) − uµ(x2)i2 6 0

Cëng c¡c v¸ cõa b§t ¯ng thùc n y v  sû döng t½nh lçi cõa h m h(.) v lçi m¤nh cõa h m d2(.) ta ÷ñc:

fµ(x) 6 f0(x) 6 fµ(x) + µD2 (2.7)

V¼ vªy cho µ > 0 th¼ h m fµ(x) câ thº ÷ñc xem nh÷ l  mët d¤ng x§px¿ trìn cõa h m f0(x)

2.2 L÷ñc ç tèi ÷u cho c¡c b i to¡n tèi ÷u trìn

X²t mët h m f(x) cè ành, kh£ vi v  lçi tr¶n mët tªp lçi âng C ⊆ K.Gi£ sû r¬ng gradient cõa h m n y l  li¶n töc Lipschitz:

N¸u k.k l  khæng lçi ch°t th¼ b i to¡n (2.9) câ thº câ nhi·u nghi»m.Trong tr÷íng hñp n y chóng ta thay y = TC(x) l  mët nghi»m b§t k¼trong b§t ¯ng thùc (2.8) vîi x b§t k¼ thuëc C ta ÷ñc:

d(x) > 1

2σ kx − x0k2 (2.11)Trong möc n y ta x²t mët l÷ñc ç tèi ÷u º gi£i b i to¡n sau:

nh lỵ... khổng mĐt tẵnh têng qu¡t ta gi£ sû c¡c h m h(.), d2(.) l kh£ vi Tứ iÃu kiằn cƯn tối ữu cĐp ta câ:

hAx1 − ∇h(uµ(x1)) − µ∇d2(uµ(x1)),... fà(x) cõ th ữủc xem nhữ l mởt dÔng xĐpx trỡn cừa hm f0(x)

2.2 Lữủc ỗ tối ÷u cho c¡c b i to¡n tèi ÷u trìn

X²t mët hm f(x) cố nh, khÊ vi v lỗi trản mởt têp