BàI toán điều khiển tối ưu rời rạc

Tˆo’ng quan vˆe` mˆo.t sˆo´ cˆong cu.. D`ung mˆo h`ınh ngˆa˜u nhiˆen nghiˆe.m la.i tˆo’ng cu’a chuˆo˜i... Tˆoi xin cam d¯oan d¯ˆay l`a cˆong tr`ınh nghiˆen c´u.u cu’a riˆeng tˆoi,d¯u.o..

Ngu.`o.i hu.´o.ng dˆa˜n khoa ho.c:

1 GS NGUYˆE˜N QU´Y HY’

2 PGS TS T ˆO´NG D- `INH QU `Y

H ` A N ˆ O I – 2010

B`ai to´ an D - KPT khˆong r`ang buˆo.c biˆe´n tra.ng th´ai 36, 57

B`ai to´ an D - KPT c´o r`ang buˆo.c biˆe´n tra.ng th´ai 43, 59

B`ai to´ an QHPT 21

B`ai to´ an co ba’n 22, 32, 36, 39, 40, 42, 46, 47, 49, 51

B`ai to´ an d¯iˆe ` u khiˆe’n v´o.i hˆe d¯ˆo.ng lu c phi tuyˆe´n 49

B`ai to´ an D - KD - D - 69, 75, 76, 77, 80, 80, 82, 83, 99, 103, 107, 107B`ai to´ an D - KRR 111, 112

B`ai to´ an d¯iˆe ` u khiˆe’n thiˆe´u thˆong tin 112, 114, 117, 119, 125, 127 Chiˆe´u gradient mˆ o pho’ng 59

D - iˆe ` u kiˆe.n Sleyter 43, 62, 15

Gradient cu’a h` am nhiˆe ` u biˆe´n 28

Gi´ a tri cu c tiˆe’u khˆong cˆo lˆa.p 42, 78, 9, 10

Gradient mˆ o pho’ng 2, 58, 59

Hˆo.i tu hˆa ` u d¯ˆe ` u 128, 129

H`am du. b´ao l´ y tu.o ’ ng 136

Mˆo pho’ng gradient 24

Mˆo pho’ng gradient cu’a h` am ho p 52

Mˆo h`ınh hˆ `i quy thiˆe´u thˆong tin 127, 135 o

Nguyˆen l´ y cu. c d¯a.i r`o.i ra.c 21

Nguyˆen l´ y cu. c d¯a.i mˆo pho’ng 36, 39, 45

Nguyˆen l´ y cu. c d¯a.i tuyˆe´n t´ınh h´oa mˆ o pho’ng 36, 51, 51

Nhˆan tu ’ Lagrange 44

Phu.o.ng ph´ ap gi´ an tiˆe´p 21, 36

Phu.o.ng ph´ ap tru. c tiˆe´p 22, 52

Quy tr`ınh Robbins–Monro 19, 20

Quy hoa.ch d¯o d¯u.o c 43, 5

U.´ o.c lu.o ng chˆe.ch cu’a gradient 22

U.´ o.c lu.o ng khˆong chˆe.ch cu’a gradient 21, 22, 31

D- KRR — d¯iˆe` u khiˆe’n r`o.i ra.c 1

D- KD- D- — d¯iˆe` u khiˆe’n d¯o d¯u.o c 3

D- KPT — d¯iˆe` u khiˆe’n phi tuyˆe´n 21

D- KTT — d¯iˆe` u khiˆe’n tuyˆe´n t´ınh 37

D- KLT — d¯iˆe` u khiˆe’n liˆen tu.c 78

d¯lnn — d¯a.i lu.o ng ngˆa˜u nhiˆen 10

hcc — hˆa` u ch˘a´c ch˘a´n .9

hkn — hˆa` u kh˘a´p no.i 114

QHPT — quy hoa.ch phi tuyˆe´n 21

QHNN — quy hoa.ch ngˆa˜u nhiˆen 12

QHD- D- — quy hoa.ch d¯o d¯u.o c 5

RMP — lu.o. c d¯ˆo` Robbins–Monro 19

TBP — trung b`ınh phu.o.ng 127

U.LTTK — u.´o.c lu.o. ng thu’ thˆo´ng kˆe 26.

U.LKC — u.´o.c lu.o. ng khˆong chˆe.ch 14

U.LTTTN — u.´o.c lu.o ng tuyˆe´n t´ınh tˆo´t nhˆa´t 17

vtnn — v´ecto ngˆa˜u nhiˆen 6

C´ac k´y hiˆe.u Rm — khˆong gian v´ecto thu. c m-chiˆe` u 21

ξ ∼ U(D) — v´ecto ngˆa˜u nhiˆen ξ c´o phˆan phˆo´i d¯ˆe` u trˆen D 6

IX(x) — h`am d¯˘a.c tru.ng cu’a tˆa.p X 25

ha, bi = n P i=1 aibi — t´ıch vˆo hu.´o.ng gi˜u.a hai v´ecto a v`a b 33

Rm×n — khˆong gian c´ac ma trˆa.n thu c cˆa´p m × n .36

n Q i=1 ai — t´ıch cu’a c´ac sˆo´ ai 41

ΠX(a) — ph´ep chiˆe´u tru. c giao a lˆen X 58

(a1, , an) = a  0 khi a1 6 0, , an 60 80

(a1, , an) = a  0 khi a1 > 0, , an >0 80

n P i=1 ai = |a| — tˆo’ng c´ac th`anh phˆa` n cu’a v´ecto a 82

eK k — chuyˆe’n vi cu’a v´ecto h`ang d¯o.n vi ek ∈ RK 94

Er — ma trˆa.n d¯o.n vi cˆa´p r 94

Chu.o.ng 1 Tˆo’ng quan vˆe` mˆo.t sˆo´ cˆong cu ngˆa˜u nhiˆen

c´o liˆen quan 5

1.1 B`ai to´an quy hoa.ch d¯o d¯u.o c v`a phu.o.ng ph´ap Monte-Carlo d`ung d¯ˆe’ gia’i n´o 5

1.1.1 Mˆo h`ınh d`o t`ım ngˆa˜u nhiˆen d¯o.n gia’n 5

1.1.2 Mˆo h`ınh d`o t`ım ngˆa˜u nhiˆen tˆo’ng qu´at 8

1.1.3 Mˆo h`ınh d`o t`ım ngˆa˜u nhiˆen hˆo˜n ho p 10

1.2 B`ai to´an quy hoa.ch ngˆa˜u nhiˆen v`a phu.o.ng ph´ap Monte-Carlo d`ung d¯ˆe’ gia’i n´o 11

1.2.1 Phu.o.ng ph´ap d`o t`ım ngˆa˜u nhiˆen hˆo˜n ho p 12

1.2.2 Phu.o.ng ph´ap chiˆe´u tu. a gradient ngˆa˜u nhiˆen 13

1.2.3 Phu.o.ng ph´ap Errou–Gurvitz 15

1.3 Mˆo h`ınh hˆo`i quy tuyˆe´n t´ınh v`a xˆa´p xı’ ngˆa˜u nhiˆen 16

1.3.1 Mˆo h`ınh hˆo`i quy tuyˆe´n t´ınh 16

1.3.2 Mˆo h`ınh xˆa´p xı’ ngˆa˜u nhiˆen 18

Chu.o.ng 2 Thiˆe´t lˆa.p u.´o.c lu.o ng khˆong chˆe.ch cu’a gradient v`a ´u.ng du.ng v`ao b`ai to´an d¯iˆe` u khiˆe’n phi tuyˆe´n 21

2.1 D- ˘a.t vˆa´n d¯ˆe` 21

2.2 Phu.o.ng ph´ap Monte-Carlo t´ınh tˆo’ng cu’a mˆo.t chuˆo˜i, gi´o.i ha.n cu’a mˆo.t d˜ay sˆo´ 24

2.2.1 Mˆo h`ınh ngˆa˜u nhiˆen t´ınh tˆo’ng cu’a chuˆo˜i 24

2.2.2 Mˆo h`ınh ngˆa˜u nhiˆen t´ınh gi´o.i ha.n cu’a d˜ay 26

2.3 Mˆo h`ınh ngˆa˜u nhiˆen t´ınh gradient cu’a mˆo.t h`am nhiˆe` u biˆe´n sˆo´ 28

2.3.1 Mˆo pho’ng gradient theo tˆa´t ca’ c´ac d¯ˆo´i 28

2.3.2 Mˆo pho’ng gradient theo t`u.ng nh´om d¯ˆo´i sˆo´ 32

2.4 Mˆo h`ınh Monte-Carlo trong viˆe.c gia’i b`ai to´an D- KPT b˘a`ng phu.o.ng ph´ap gi´an tiˆe´p 36

- KPT c´o r`ang buˆo.c biˆe´n tra.ng th´ai 43

2.4.3 B`ai to´an d¯iˆe` u khiˆe’n v´o.i hˆe d¯ˆo.ng lu c phi tuyˆe´n 49

2.5 Mˆo h`ınh Monte-Carlo trong viˆe.c gia’i b`ai to´an D- KPT b˘a`ng phu.o.ng ph´ap tru. c tiˆe´p .52

2.5.1 Mˆo pho’ng gradient cu’a h`am ho p 52

2.5.2 B`ai to´an D- KPT khˆong r`ang buˆo.c biˆe´n tra.ng th´ai 57

2.5.3 B`ai to´an D- KPT c´o r`ang buˆo.c biˆe´n tra.ng th´ai 59

Chu.o.ng 3 Phu.o.ng ph´ap Monte-Carlo d¯ˆe’ gia’i b`ai to´an d¯iˆe` u khiˆe’n d¯o d¯u.o. c v`a ´ap du.ng 66

3.1 D- ˘a.t vˆa´n d¯ˆe` 66

3.2 B`ai to´an d¯iˆe` u khiˆe’n d¯o d¯u.o c v`a mˆo h`ınh d`o t`ım ngˆa˜u nhiˆen d¯ˆe’ gia’i n´o 68

3.3 Phu.o.ng ph´ap d`o t`ım ngˆa˜u nhiˆen d¯o.n gia’n d¯ˆe’ gia’i mˆo.t loa.i b`ai to´an d¯iˆe` u khiˆe’n d¯o d¯u.o c v´o.i miˆe`n biˆe´n thiˆen cu’a c´ac d¯iˆe` u khiˆe’n khˆong gi´o.i nˆo.i 80

Chu.o.ng 4 Gia’i mˆo.t loa.i b`ai to´an d¯iˆe` u khiˆe’n thiˆe´u thˆong tin b˘a`ng phu.o.ng ph´ap xˆa´p xı’ ngˆa˜u nhiˆen v`a ´u.ng du.ng 111

4.1 D- ˘a.t b`ai to´an 111

4.2 Chuyˆe’n b`ai to´an d¯iˆe` u khiˆe’n thiˆe´u thˆong tin vˆe` b`ai to´an cu. c tri mˆo.t phiˆe´m h`am 114

4.3 Thiˆe´t lˆa.p lu.o c d¯ˆo` Robbins–Monro gia’i b`ai to´an d¯iˆe` u khiˆe’n thiˆe´u thˆong tin 119

4.4 Mˆo´i quan hˆe gi˜u.a b`ai to´an d¯iˆe` u khiˆe’n v`a mˆo h`ınh hˆo`i quy thiˆe´u thˆong tin 127

4.5 ´Ap du.ng v`ao viˆe.c xˆa´p xı’ d¯ˆo.ng d¯ˆa´t b˘a`ng c´ac sˆo´ liˆe.u d¯i.a chˆa´t – d¯i.a vˆa.t l´y 133

Phu lu c A C´ac kˆe´t qua’ sˆo´ minh ho.a mˆo h`ınh ngˆa˜u nhiˆen t´ınh tˆo’ng chuˆo˜i, gi´o.i ha.n d˜ay v`a gradient i

A.1 D`ung mˆo h`ınh ngˆa˜u nhiˆen nghiˆe.m la.i tˆo’ng cu’a chuˆo˜i i

ung mˆo h`ınh ngˆa˜u nhiˆen nghiˆe.m la.i d¯a.o h`am cu’a h`am sˆo´ vPhu lu c B Du.

b´ao d¯ˆo.ng d¯ˆa´t v`ung D- ˆong Nam ´Ab˘a`ng c´ac sˆo´ liˆe.u d¯i.a chˆa´n viiPhu lu c C Du

b´ao chˆa´n cˆa´p d¯ˆo.ng d¯ˆa´t cu c d¯a.i trˆen l˜anh thˆo’ Viˆe.t.Nam b˘a`ng c´ac sˆo´ liˆe.u d¯i.a chˆa´t - d¯i.a vˆa.t l´y x

Tˆoi xin cam d¯oan d¯ˆay l`a cˆong tr`ınh nghiˆen c´u.u cu’a riˆeng tˆoi,d¯u.o. c ho`an th`anh du.´o.i su hu.´o.ng dˆa˜n cu’a GS Nguyˆe˜n Qu´y Hy’ v`aPGS TS Tˆo´ng D- `ınh Qu`y C´ac sˆo´ liˆe.u, kˆe´t qua’ nˆeu trong luˆa.n ´anl`a trung thu. c v`a chu.a t`u.ng d¯u.o c c´ac t´ac gia’ kh´ac cˆong bˆo´ trong bˆa´tk`y cˆong tr`ınh n`ao.

H`a nˆo.i, ng`ay 25 th´ang 4 n˘am 2010

T´ac gia’ luˆa.n ´an

Trˆa` n Ca’nh

Tru.´o.c hˆe´t tˆoi xin b`ay to’ l`ong biˆe´t o.n sˆau s˘a´c d¯ˆo´i v´o.i GS Nguyˆe˜nQu´y Hy’, PGS TS Tˆo´ng D- `ınh Qu`y — c´ac thˆa` y gi´ao hu.´o.ng dˆa˜n cu’atˆoi, nh˜u.ng ngu.`o.i d¯˜a d¯ˆo.ng viˆen, chı’ ba’o tˆa.n t`ınh v`a d¯ˆe’ nhiˆe` u cˆongs´u.c gi´up tˆoi ho`an thiˆe.n luˆa.n ´an n`ay D- ˆo`ng th`o.i tˆoi c˜ung xin ca’m o.n

su. gi´up d¯˜o., g´op ´y cu’a GS TS Nguyˆe˜n V˘an H˜u.u v`a ca’m o.n su. kh´ıchlˆe., d¯ˆo.ng viˆen cu’a GS TSKH Nguyˆe˜n H˜u.u Cˆong trong qu´a tr`ınh tˆoiho`an thiˆe.n luˆa.n ´an Tˆoi c˜ung xin ca’m o.n to`an thˆe’ c´ac th`anh viˆencu’a Xˆemina “C´ac phu.o.ng ph´ap Ngˆa˜u nhiˆen v`a Gia’i t´ıch sˆo´” d¯˜a c´onhiˆe` u d¯´ong g´op xˆay du ng cho nˆo.i dung cu’a luˆa.n ´an Cuˆo´i c`ung, tˆoixin ca’m o.n su. gi´up d¯˜o v`a d¯ˆo.ng viˆen trong cˆong viˆe.c nghiˆen c´u.u cu’atˆoi d¯ˆo´i v´o.i tˆa.p thˆe’ Bˆo mˆon To´an tru.`o.ng D- a.i ho.c Xˆay du ng H`a nˆo.i

Mo.’ d¯ˆ` ua

C´ac b`ai to´an d¯iˆe` u khiˆe’n tˆo´i u.u trong mˆo h`ınh r`o.i ra.c d¯´ong vai tr`oquan tro.ng khˆong chı’ trong viˆe.c gia’i sˆo´ cu’a c´ac b`ai to´an d¯iˆe` u khiˆe’ntˆo´i u.u du.´o.i da.ng mˆo h`ınh liˆen tu.c, m`a c`on trong h`ang loa.t mˆo h`ınh

´

u.ng du.ng thuˆo.c c´ac l˜ınh vu c khoa ho.c, k˜y thuˆa.t, kinh tˆe´, qua’n l´yv.v , v`ı nhiˆe` u b`ai to´an thuˆo.c c´ac l˜ınh vu c n`ay d¯u.o c tru c tiˆe´p diˆe˜nd¯a.t du.´o.i da.ng c´ac mˆo h`ınh d¯iˆe` u khiˆe’n r`o.i ra.c (D- KRR) V´o.i ´y ngh˜ıad¯´o, nhiˆe` u t`ai liˆe.u kinh d¯iˆe’n cu’a J M Ermolev [39], J M Ermolev,

V P Gulenko, T I Carenko [40], Pha.m K`y Anh [2], Nguyˆe˜n Qu´yHy’ [14] d¯˜a quan tˆam d¯ˆe´n viˆe.c su.’ du.ng c´ac phu.o.ng ph´ap ngˆa˜u nhiˆenv`a gia’i t´ıch sˆo´ kh´ac nhau d¯ˆe’ gia’i c´ac b`ai to´an n`ay (khˆong chı’ trongda.ng tˆa´t d¯i.nh m`a c`on ca’ da.ng ngˆa˜u nhiˆen)

Trong tru.`o.ng ho p tˆa´t d¯i.nh, hai phu.o.ng ph´ap ch´ınh (tru c tiˆe´p v`agi´an tiˆe´p) thuˆo.c loa.i trˆen d¯ˆe’ gia’i sˆo´ c´ac b`ai to´an D- KRR d¯ˆe` u d¯u.ach´ung vˆe` c´ac b`ai to´an quy hoa.ch Tiˆe´p theo, c´ac cˆong cu quen thuˆo.ccu’a l´y thuyˆe´t quy hoa.ch (nhu quy hoa.ch lˆo`i) d¯u.o c su.’ du.ng d¯ˆe’ gia’ic´ac b`ai to´an n`ay Nhu.ng c´ac cˆong cu n´oi trˆen la.i d¯u.a d¯ˆe´n nh˜u.ng gia’thiˆe´t ha.n chˆe´ d¯˘a.t lˆen b`ai to´an D- KRR (nhu.: t´ınh lˆo`i cu’a h`am mu.ctiˆeu v`a tˆa.p ho p c´ac d¯iˆe` u khiˆe’n chˆa´p nhˆa.n d¯u.o c ho˘a.c t´ınh tuyˆe´n t´ınhcu’a hˆe d¯ˆo.ng lu c theo biˆe´n tra.ng th´ai ho˘a.c biˆe´n d¯iˆe` u khiˆe’n) Ngo`ai

ra, phu.o.ng ph´ap gˆa` n d¯´ung d¯ˆe’ t´ınh gradient (nhu phu.o.ng ph´ap tu agradient ngˆa˜u nhiˆen) trong c´ac mˆo h`ınh t´ınh to´an d¯˜a biˆe´t la.i d¯u.ad¯ˆe´n nh˜u.ng u.´o.c lu.o. ng chˆe.ch cu’a c´ac gradient D- iˆe` u n`ay d¯˜a l`am chˆa.mtˆo´c d¯ˆo hˆo.i tu cu’a thuˆa.t to´an, d¯˘a.c biˆe.t l`a d¯ˆo´i v´o.i c´ac b`ai to´an D- KRRc´o k´ıch thu.´o.c l´o.n

Tuy nhiˆen trong h`ang loa.t b`ai to´an cu’a thu c tiˆe˜n ´u.ng du.ng to´anho.c (xem [1], [3]–[6], [8], [10], [15]–[22], [25]–[27], [29], [35]) nh˜u.ng gia’thiˆe´t ha.n chˆe´ n´oi trˆen la.i khˆong d¯u.o c tho’a m˜an Thu c tˆe´ n`ay d¯˘a.t rayˆeu cˆa` u pha’i n´o.i lo’ng c´ac gia’ thiˆe´t d¯˘a.t lˆen b`ai to´an D- KRR v`a xˆay

du. ng nh˜u.ng phu.o.ng ph´ap m´o.i th´ıch ho p d¯ˆe’ gia’i sˆo´ b`ai to´an D- KRRtˆo’ng qu´at n´oi trˆen D- ˆay l`a mu.c tiˆeu d¯ˆa`u tiˆen cu’a luˆa.n ´an Ngay ca’trong tru.`o.ng ho p nh˜u.ng gia’ thiˆe´t n`ay d¯u.o c tho’a m˜an th`ı viˆe.c ca’itiˆe´n c´ac mˆo h`ınh t´ınh to´an kinh d¯iˆe’n d¯ˆe’ gia’i sˆo´ c´ac b`ai to´an D- KRR(nhu d¯˜a l`am trong [11], [12]) c˜ung d¯´ang d¯ˆe’ ch´ung ta quan tˆam D- ˆayl`a mu.c tiˆeu th´u hai cu’a luˆa.n ´an.

C`ung v´o.i mu.c d¯´ıch n`ay, viˆe.c thiˆe´t lˆa.p h`am mu.c tiˆeu cu’a b`ai to´an

D- KRR ngˆa˜u nhiˆen du.´o.i da.ng h`am hˆo`i quy trong nhiˆe`u mˆo h`ınh ´u.ngdu.ng thu.`o.ng g˘a.p kh´o kh˘an c´o t´ınh nguyˆen t˘a´c cu’a gia’i t´ıch hˆo`i quy,khi sˆo´ th´ı nghiˆe.m nho’ ho.n sˆo´ tham sˆo´ hˆo`i quy (xem [20], [26], [35]).Trong nh˜u.ng tru.`o.ng ho p nhu vˆa.y, b`ai to´an D- KRR tu.o.ng ´u.ng d¯u.o cch´ung tˆoi go.i l`a “thiˆe´u thˆong tin” Nˆe´u xˆay du ng d¯u.o c c´ac phu.o.ngph´ap sˆo´ gia’i c´ac b`ai to´an n`ay, ta khˆong chı’ gia’i quyˆe´t c´ac mˆo h`ınh

´

u.ng du.ng n´oi trˆen m`a c`on c´o thˆe’ mo.’ rˆo.ng pha.m vi nghiˆen c´u.u cu’ac´ac b`ai to´an D- KRR v`ao c´ac mˆo h`ınh hˆo`i quy phi tuyˆe´n thiˆe´u thˆongtin D- ˆay l`a mu.c tiˆeu th´u ba cu’a luˆa.n ´an

C´ac mu.c tiˆeu nghiˆen c´u.u trˆen d¯ˆay d¯˜a thˆe’ hiˆe.n ra’i r´ac trong c´accˆong tr`ınh [3]–[12], [20], [35] d¯u.o. c cˆong bˆo´ cu’a ba’n thˆan tˆoi c`ung c´acd¯ˆo`ng nghiˆe.p Trong luˆa.n v˘an n`ay tˆoi d¯u.o c ph´ep tuyˆe’n cho.n chı’ c´acnˆo.i dung liˆen quan d¯ˆe´n d¯ˆe` t`ai luˆa.n v˘an v`a chia th`anh 3 chu.o.ng 2–4du.´o.i d¯ˆay

Trong chu.o.ng 2, ch´ung tˆoi x´et mˆo.t l´o.p d¯u’ rˆo.ng c´ac b`ai to´an

D- KRR v´o.i hˆe d¯ˆo.ng lu c, h`am mu.c tiˆeu v`a c´ac d¯iˆe`u kiˆe.n r`ang buˆo.c l`anh˜u.ng h`am phi tuyˆe´n d¯u’ tro.n theo c´ac biˆe´n d¯iˆe` u khiˆe’n v`a biˆe´n tra.ngth´ai Kh´ai niˆe.m m´o.i vˆe` “gradient mˆo pho’ng” [4], [9], [30] d¯u.o c thiˆe´tlˆa.p o.’ d¯ˆay nhu l`a mˆo.t u.´o.c lu.o ng khˆong chˆe.ch cu’a gradient Nh`o.d¯´o m`a c´ac “nguyˆen l´y cu. c tri mˆo pho’ng” d¯˜a d¯u.o c xˆay du ng [11]d¯ˆe’ gia’i b`ai to´an n´oi trˆen b˘a`ng phu.o.ng ph´ap gi´an tiˆe´p v`a mˆo h`ınhMonte-Carlo d¯u.o c su.’ du.ng d¯ˆe’ gia’i b`ai to´an n`ay b˘a`ng phu.o.ng ph´ap

tru. c tiˆe´p [12] Do t´ınh khˆong chˆe.ch cu’a c´ac u.´o.c lu.o ng gradient n´oitrˆen, nˆen c´ac mˆo h`ınh t´ınh to´an m´o.i c´o u.u d¯iˆe’m nˆo’i trˆo.i (vˆe` pha.m

vi ´ap du.ng v`a tˆo´c d¯ˆo t´ınh to´an) so v´o.i c´ac mˆo h`ınh kinh d¯iˆe’n (su.’du.ng c´ac u.´o.c lu.o ng chˆe.ch cu’a gradient)

Trong chu.o.ng 3, c´ac gia’ thiˆe´t d¯˘a.t lˆen b`ai to´an D- KRR d¯u.o c n´o.ilo’ng so v´o.i chu.o.ng 2 o.’ m´u.c cao ho.n, trong d¯´o t´ınh tro.n cu’a c´ach`am trong mu.c tiˆeu v`a d¯iˆe` u kiˆe.n r`ang buˆo.c d¯u.o c thay bo.’i t´ınh d¯od¯u.o. c D- ˆo´i v´o.i tru.`o.ng ho p tˆa.p ho p c´ac d¯iˆe`u khiˆe’n chˆa´p nhˆa.n d¯u.o cl`a gi´o.i nˆo.i v`a d¯o d¯u.o c, ch´ung tˆoi d¯˜a su.’ du.ng phu.o.ng ph´ap d`o t`ımngˆa˜u nhiˆen d¯o.n gia’n d¯ˆe’ gia’i b`ai to´an n`ay [10], [11] Trong tru.`o.ngho p ngu.o c la.i cˆong cu cu’a c´ac phu.o.ng ph´ap Monte-Carlo kˆe´t ho pv´o.i cˆong cu gia’i t´ıch vˆe` l´y thuyˆe´t h`am ˆa’n, ´anh xa d¯ˆo`ng phˆoi, h`am d¯od¯u.o. c, d¯a.o h`am Frechet d¯˜a d¯u.o c su.’ du.ng d¯ˆe’ chuyˆe’n mˆo.t l´o.p b`aito´an d¯iˆe` u khiˆe’n d¯o d¯u.o c (D- KD- D- ) c´o tˆa.p ho p c´ac d¯iˆe`u khiˆe’n chˆa´pnhˆa.n d¯u.o c khˆong gi´o.i nˆo.i vˆe` mˆo.t loa.i b`ai to´an D- KD- D- v´o.i tˆa.p ho pc´ac d¯iˆe` u khiˆe’n chˆa´p nhˆa.n d¯u.o c n˘a`m trong siˆeu hˆo.p v`a d¯o.n h`ınh.Tiˆe´p theo, cˆong cu d`o t`ım ngˆa˜u nhiˆen d¯u.o c su.’ du.ng d¯ˆe’ gia’i b`ai to´ann`ay (xem [5], [8], [3], [6], [29])

Cuˆo´i c`ung, trong chu.o.ng 4 mˆo.t loa.i b`ai to´an d¯iˆe` u khiˆe’n thiˆe´uthˆong tin s˜e d¯u.o c nghiˆen c´u.u d¯ˆe’ thu c hiˆe.n mu.c tiˆeu th´u ba cu’a luˆa.n

´an O’ d¯ˆay c´ac cˆong cu.: cu c tri phiˆe´m h`am, xˆa´p xı’ ngˆa˜u nhiˆen, hˆo`i.quy tuyˆe´n t´ınh kˆe´t ho p v´o.i mˆo.t sˆo´ cˆong cu cu’a gia’i t´ıch h`am vˆe` hˆo.i

tu theo trung b`ınh, theo d¯ˆo d¯o, hˆo.i tu hˆa` u d¯ˆe` u (d¯i.nh l´y Egorov) v`atˆo’ng tru. c tiˆe´p c´ac khˆong gian Hilbert d¯u.o c su.’ du.ng d¯ˆe’ xˆay du ngphu.o.ng ph´ap sˆo´ gia’i quyˆe´t b`ai to´an d¯˘a.t ra [20], [26], [35]

Gi´o.i thiˆe.u tˆo’ng quan vˆe` mˆo.t sˆo´ cˆong cu n´oi trˆen c`ung nh˜u.ng cˆong

cu cu’a quy hoa.ch ngˆa˜u nhiˆen v`a phu.o.ng ph´ap Monte-Carlo liˆen quand¯ˆe´n chu.o.ng 2 v`a 4 d¯u.o c d¯u.a ra trong chu.o.ng 1 C´ac thu.’ nghiˆe.m sˆo´cu’a mˆo h`ınh t´ınh to´an g˘a´n v´o.i c´ac phˆa` n mˆe` m ´u.ng du.ng nh˜u.ng kˆe´t

qua’ thu d¯u.o. c trong luˆa.n v˘an d¯u.o c d¯u.a ra trong c´ac phu lu.c A, B,C.

CHU . O . NG 1

Tˆ o’ng quan vˆ ` mˆ e o.t sˆo´ cˆong cu ngˆa˜u nhiˆen

c´ o liˆ en quan

1.1 B`ai to´an quy hoa.ch d¯o d¯u.o c v`a phu.o.ng ph´ap

Monte-Carlo d`ung d¯ˆe’ gia’i n´o

Gia’ su.’ (D, Σ D , µ) l`a mˆo.t khˆong gian d¯ˆo d¯o (xem [23] tr 126–127),trong d¯´o D ⊂ R n , Σ D l`a mˆo.t σ-d¯a.i sˆo´ c´ac phˆan tˆa.p cu’a D, µ : ΣD →[0, +∞] l`a mˆo.t d¯ˆo d¯o x´ac d¯i.nh trˆen Σ D Khi d¯´o (xem [14] tr 272)b`ai to´an

d¯u.o. c go.i l`a b`ai to´an quy hoa.ch d¯o d¯u.o c (QHD - D - ), nˆe´u h`am mu.c tiˆeu

f (0) : D → R 1 l`a h`am t´ınh d¯u.o. c (theo ngh˜ıa c´o mˆo.t thuˆa.t to´an x´acd¯i.nh ch´ınh x´ac gi´a tri h`am ta.i mˆo˜i x ∈ D)v`a Σ D -d¯o d¯u.o c trˆen D;tˆa.pho p c´ac l`o.i gia’i chˆa´p nhˆa.n d¯u.o c D l`a miˆe` n nhˆa.n da.ng d¯u.o c (theongh˜ıa c´o mˆo.t tiˆeu chuˆa’n nhˆa.n biˆe´t x ∈ D (∀x ∈ R n )) Ta biˆe´t r˘a`ng(xem [14] tr 271–272) c´ac b`ai to´an quy hoa.ch tuyˆe´n t´ınh, phi tuyˆe´n,lˆo`i, quy hoa.ch nguyˆen d¯ˆe`u l`a tru.`o.ng ho p riˆeng cu’a b`ai to´an QHD - D -

(1.1.1) n´oi trˆen Thˆa.m ch´ı b`ai to´an quy hoa.ch liˆen tu.c, trong d¯´o f (0)

l`a h`am liˆen tu.c trˆen tˆa.p ho p d¯´ong v`a gi´o.i nˆo.i (compact) D c˜ung l`amˆo.t tru.`o.ng ho p riˆeng cu’a b`ai to´an QHD - D - n`ay Ta c´o thˆe’ x´et mˆo.t sˆo´mˆo h`ınh d`o t`ım ngˆa˜u nhiˆen sau d¯ˆay d¯ˆe’ gia’i b˘a`ng sˆo´ b`ai to´an (1.1.1)

1.1.1 Mˆ o h`ınh d` o t`ım ngˆ a ˜u nhiˆ en d ¯o.n gia’n

Trong tru.`o.ng ho p (D, ΣD, µ) l`a mˆo.t khˆong gian d¯ˆo d¯o h˜u.u ha.n

ta go.i ξ l`a v´ecto ngˆa˜u nhiˆen (vtnn) c´o phˆan phˆo´i d¯ˆe` u trˆen D (v`a k´yhiˆe.u ξ ∼ U(D)), ngh˜ıa l`a (xem [14] tr 138–139)

Nˆe´u go.i x(N ) l`a xˆa´p xı’ th´u N cu’a d˜ay d`o t`ım ngˆa˜u nhiˆen d¯o.n gia’n

{x (s) } s≥0 d¯ˆo´i v´o.i b`ai to´an QHD - D - (1.1.1) Sai sˆo´ tu.o.ng d¯ˆo´i cu’a xˆa´p xı’n`ay d¯u.o c x´ac d¯i.nh b˘a`ng “d¯ˆo d¯o tu.o.ng d¯ˆo´i” (so v´o.i d¯ˆo d¯o cu’a tˆa.pho p D c´ac l`o.i gia’i chˆa´p nhˆa.n d¯u.o c)

µ N := µ(AN)

cu’a tˆa.p ho p A N := {x ∈ D : f (0) (x) < f (0) (x (N ) ) } c´ac l`o.i gia’i chˆa´p nhˆa.nd¯u.o. c “tˆo´t ho.n” l`o.i gia’i xˆa´p xı’ x(N ). Khi d¯´o, su. ca’i tiˆe´n dˆa` n (vˆe` mu.ctiˆeu) cu’a d˜ay d`o t`ım ngˆa˜u nhiˆen d¯o.n gia’n {x(s) } s≥1 d¯u.o c kh˘a’ng d¯i.nhqua kˆe´t qua’ sau (xem [14] tr 282–287)

D- i.nh l´y 1.1.1: Nˆe´u {x (s) } s≥1 l`a d˜ay d`o t`ım ngˆa˜u nhiˆen d¯o.n gia’n d¯ˆo´iv´o.i b`ai to´an QHD - D - (1.1.1), th`ı∀ε ∈ (0, 1) ta c´o

P {µ N 6 ε } > 1 − (1 − ε)N −1 ( ∀N > 1) (1.1.6)

v`a sai sˆo´ tu.o.ng d¯ˆo´i µ N hˆo.i tu theo x´ac suˆa´t vˆe` 0 (N → ∞)

P – lim

Ch´u ´y 1.1.1: T`u (1.1.6) ta dˆe˜ d`ang nhˆa.n thˆa´y r˘a`ng

khi ε = 0, 0001v`a γ = 0, 9999th`ıN = 92099.

T`u D- i.nh ngh˜ıa 1.1.1 ta nhˆa.n thˆa´y r˘a`ng thu c chˆa´t cu’a viˆe.c x´ac d¯i.nhl`o.i gia’i xˆa´p xı’ x(N ) cu’a b`ai to´an (1.1.1) l`a viˆe.c ta.o N thˆe’ hiˆe.n d¯ˆo.c lˆa.p

ξ(1), , ξ(N ) cu’a vtnn ξ ∼ U(D) (xem [14] tr 138–158)

Ta c´o thˆe’ xem c´ac phu.o.ng ph´ap nˆeu trong c´ac Ch´u ´y 1.1.2–1.1.5du.´o.i d¯ˆay nhu l`a c´ac th´ı du d¯ˆe’ thu c hiˆe.n d¯iˆe` u n`ay

Ch´u ´y 1.1.2: Nˆe´u D = [a, b] := {x = (x 1 , , x n ) : a i 6 x i 6 b i , (0 6

6 i 6 n) } l`a h`ınh hˆo.p n-chiˆe` u x´ac d¯i.nh bo.’i c´ac v´ecto a = (a 1 , , a n ),

b = (b 1 , , b n ), th`ı vtnn ξ = (ξ 1 , , ξ n ) ∼ U [a, b]
c´o thˆe’ ta.o d¯u.o c t`u.cˆong th´u.c ([14] tr 140–141)

trong d¯´o R (j) l`a vi tr´ı thˆo´ng kˆe th´u j cu’a n sˆo´ ngˆa˜u nhiˆen d¯ˆo.c lˆa.p

theo phu.o.ng ph´ap loa.i tr`u Von–Neumannsau d¯ˆay (xem [14] tr 158)

Ch´u ´y 1.1.5: Nˆe´u b`ai to´an QHD - D - (1.1.1) c´o r`ang buˆo.c du.´o.i da.ngbˆa´t d¯˘a’ng th´u.c, ngh˜ıa l`a tˆa.p ho p D c´ac l`o.i gia’i chˆa´p nhˆa.n d¯u.o c c´oda.ng

D = {x ∈ X ⊂ Rn: f(i)(x) 6 0 ( ∀i = 1 ÷ m)}, (1.1.14)

trong d¯´o X l`a miˆe` n gi´o.i nˆo.i trong Rn, c`on c´ac h`amf (i) (x) ( ∀i = 1 ÷ m)

l`a Σ X -d¯o d¯u.o c trˆen X g˘a´n v´o.i khˆong gian d¯ˆo d¯o (X, Σ X , µ) n`ao d¯´o.Khi d¯´o, ta c´o thˆe’ ta.o vtnn ξ ∼ U(D) t`u vtnn η ∼ U(X) theo phu.o.ngph´ap loa.i tr`u Von–Neumann sau (xem [14] tr 298–299)

ξ = η nˆe´u f(i)(η) 6 0 ( ∀i = 1 ÷ m)
(1.1.15)

1.1.2 Mˆ o h`ınh d` o t`ım ngˆ a ˜u nhiˆ en tˆ o’ng qu´ at

Trˆen d¯ˆay ta d¯˜a x´et mˆo h`ınh d`o t`ım ngˆa˜u nhiˆen d¯o.n gia’n d¯ˆe’ gia’m dˆa` ngi´a tri h`am mu.c tiˆeu theo ngh˜ıa cu’a D- i.nh l´y 1.1.1 Trong tru.`o.ng ho pb`ai to´an (1.1.1) c´o l`o.i gia’i x ∗ v`a khˆong nhˆa´t thiˆe´t pha’i c´o gia’ thiˆe´t(1.1.2), ta c´o thˆe’ thiˆe´t lˆa.p d˜ay l`o.i gia’i xˆa´p xı’ hˆo.i tu theo mu.c tiˆeuvˆe` l`o.i gia’ix∗ thˆong qua mˆo h`ınh d`o t`ım ngˆa˜u nhiˆen tˆo’ng qu´at sau d¯ˆay:

D- i.nh ngh˜ıa 1.1.2: Gia’ su.’ ξ ∈ D l`a vtnn c´o kha’ n˘ang nhˆa.n gi´a tri.trong mo.i tˆa.p ho p ΣD-d¯o d¯u.o. c v´o.i d¯ˆo d¯o du.o.ng

P {ξ ∈ A} > 0 ∀A ∈ Σ D : µ(A) > 0

Khi d¯´o d˜ay vtnn {x (s) } s≥1 ⊂ D lˆa.p theo cˆong th´u.c l˘a.p

D- ˆe’ chı’ ra su hˆo.i tu cu’a d˜ay l`o.i gia’i xˆa´p xı’ {x (s) } s≥1 , ta cˆa` n d¯u.a v`aogia’ thiˆe´t vˆe` su tˆo`n ta.i gi´a tri cu c tiˆe’u khˆong cˆo lˆa.p f ∗(0) = f (0) (x ∗ ) cu’ab`ai to´an (1.1.1) theo ngh˜ıa

tr 106–138)

D- i.nh l´y 1.1.2: (xem [14] tr 295–297) Nˆe´u b`ai to´an QHD - D - (1.1.1)c´o gi´a tri cu c tiˆe’u khˆong cˆo lˆa.p f ∗(0) = f (0) (x ∗ ), th`ı d˜ay d`o t`ım ngˆa˜unhiˆen tˆo’ng qu´at {x(N ) } N ≥0 tu.o.ng ´u.ng s˜e hˆo.i tu hˆa` u ch˘a´c ch˘a´n (hcc)theo mu.c tiˆeu vˆe` l`o.i gia’i x ∗ n`ao d¯´o cu’a n´o

P { lim

N →∞ f(0)(x(N )) = f(0)(x ∗ ) } = 1 (1.1.20)

Hˆe qua’ 1.1.1 (xem [14] tr 297): Trong d¯iˆe` u kiˆe.n (1.1.2), nˆe´u b`aito´an QHD - D - (1.1.1) c´o gi´a tri cu c tiˆe’u khˆong cˆo lˆa.p f ∗(0),th`ı d˜ay d`o t`ımngˆa˜u nhiˆen d¯o.n gia’n {x(N ) } N ≥0 tu.o.ng ´u.ng s˜e hˆo.i tu (hcc) theo mu.ctiˆeu vˆe` l`o.i gia’i x∗ n`ao d¯´o cu’a n´o

P { lim

N →∞ f(0)(x(N )) = f(0)(x ∗ ) } = 1 (1.1.21)

1.1.3 Mˆ o h`ınh d` o t`ım ngˆ a ˜u nhiˆ en hˆ o ˜n ho. p

Trˆen d¯ˆay ta d¯˜a x´et c´ac mˆo h`ınh ngˆa˜u nhiˆen (d¯o.n gia’n v`a tˆo’ng qu´at)d¯ˆe’ d`o t`ım cu. c tiˆe’u to`an cu.c cu’a b`ai to´an QHD - D - Nh˘a`m t˘ang tˆo´c d¯ˆo.hˆo.i tu., ta c´o thˆe’ kˆe´t ho p c´ac phu.o.ng ph´ap ngˆa˜u nhiˆen n`ay v´o.i c´acphu.o.ng ph´ap tˆa´t d¯i.nh cu’a quy hoa.ch phi tuyˆe´n (nhu gradient, hu.´o.ngc´o thˆe’ ) v`a c´ac phu.o.ng ph´ap kh´am ph´a (heuristic) kh´ac (nhu ditruyˆe` n, nung luyˆe.n, tabu ) d¯ˆe’ d`o t`ım cu c tiˆe’u d¯i.a phu.o.ng Trongtru.`o.ng ho p da.ng tˆo’ng qu´at cu’a b`ai to´an QHD - D - vu.o. t kho’i pha.m vi

´ap du.ng cu’a nh˜u.ng phu.o.ng ph´ap tˆa´t d¯i.nh d¯˜a biˆe´t trong quy hoa.chphi tuyˆe´n (nhu khˆong d¯a’m ba’o t´ınh lˆo`i, kha’ vi ), ta vˆa˜n c´o thˆe’

su.’ du.ng c´ac mˆo h`ınh t´ınh to´an cu’a c´ac phu.o.ng ph´ap n`ay, nhu l`a c´acphu.o.ng ph´ap kh´am ph´a (heuristic) d¯ˆe’ d`o t`ım cu. c tiˆe’u d¯i.a phu.o.ng

D- iˆe` u n`ay khˆong a’nh hu.o.’ng d¯ˆe´n t´ınh ch˘a.t ch˜e trong ch´u.ng minh hˆo.i

tu cu’a mˆo h`ınh d`o t`ım ngˆa˜u nhiˆen hˆo˜n ho p du.´o.i d¯ˆay

Trong mˆo h`ınh n`ay ta thiˆe´t lˆa.p d˜ay { bξ(s)} s≥0 nh˜u.ng vtnn (n´oi chungkhˆong d¯ˆo.c lˆa.p v`a khˆong c`ung phˆan bˆo´) du.´o.i da.ng

s + 1 (s > 0). Ngo`ai ra, ta c`on biˆe´t r˘a`ng (xem [14]

tr 89) tru.`o.ng ho p 0 < α s < 1d˜ay {δ s } s≥0 c´o thˆe’ lˆa.p t`u cˆong th´u.c

δ s = 1

v´o.i {R s } s≥0 l`a d˜ay sˆo´ ngˆa˜u nhiˆen.

D- i.nh ngh˜ıa 1.1.3: Ta s˜e go.i {bx (s) } s≥1 l`a d˜ay d`o t`ım ngˆa˜u nhiˆen hˆo˜n

ho. p cu’a b`ai to´an QHD - D - (1.1.1), nˆe´u

P { lim

N →∞ f(0)(b x(N )) = f(0)(x∗) } = 1 (1.1.26)

1.2 B`ai to´an quy hoa.ch ngˆa˜u nhiˆen v`a phu.o.ng ph´ap

Monte-Carlo d`ung d¯ˆe’ gia’i n´o

Trong mu.c 1.1 ta x´et b`ai to´an QHD - D - (1.1.1) v´o.i h`am mu.c tiˆeu f (0) (x)

d¯u.o. c gia’ thiˆe´t l`a c´o thˆong tin ch´ınh x´ac vˆe` gi´a tri h`amf (0) (x) ( ∀x ∈ D),

theo ngh˜ıa “h`am t´ınh d¯u.o c” Bˆay gi`o ta x´et tru.`o.ng ho p h`am n`ay c´othˆong tin khˆong ch´ınh x´ac v´o.i mˆo.t sai sˆo´ khˆong hˆe thˆo´ng (xem [44]

trong d¯´o tˆa.p ho p l`o.i gia’i chˆa´p nhˆa.n d¯u.o c D g˘a´n v´o.i mˆo.t khˆong giand¯ˆo d¯o (D, Σ D , µ) c`on F (0) (x) = F (0) (x; ω) ( ∀x ∈ D) l`a mˆo.t d¯lnn x´ac d¯i.nhtrˆen khˆong gian x´ac suˆa´t (Ω, Σ, P )v´o.i k`y vo.ng

Z

Ω

F(0)(x; ω)P (dω) = E {F(0)(x; ω) } := E{F(0)(x) } = f(0)(x) (x ∈ D) (1.2.4)

l`a h˜u.u ha.n v`a f (0) : D → R 1 l`a h`am Σ D -d¯o d¯u.o. c trˆen D.

B`ai to´an (1.2.3) trˆen d¯ˆay go.i l`a b`ai to´an quy hoa.ch ngˆa˜u nhiˆen(QHNN); c`on h`amf (0) (x) = E {F (0) (x) }go.i l`a h`am hˆo`i quy Trong tru.`o.ngho p tˆa.p ho p c´ac l`o.i gia’i chˆa´p nhˆa.n d¯u.o c D x´ac d¯i.nh bo.’i c´ac h`amhˆo`i quy f (i) (x) = E {F (i) (x) } (i = 1 ÷ m) du.´o.i da.ng

D = 

x ∈ X ⊂ R n : E {F (i) (x) } 6 0 (i = 1 ÷ m) ; (1.2.5)

ngh˜ıa l`a tˆa.p ho p Dchı’ nhˆa.n da.ng d¯u.o c v´o.i c´ac sai sˆo´ khˆong hˆe thˆo´ng

ε (i) (x) := f (i) (x) − F (i) (x; ω) (i = 1 ÷ m), thˆong qua c´ac gi´a tri quan s´at

F (i) (x; ω)cu’a c´ac h`am hˆo`i quyE {F (i) (x; ω) }. Khi d¯´o b`ai to´an (1.2.3) tro.’th`anh b`ai to´an QHNN c´o r`ang buˆo.c sau d¯ˆay:

1.2.1 Phu.o.ng ph´ ap d` o t`ım ngˆ a ˜u nhiˆ en hˆ o ˜n ho. p

Nh˘a`m gia’i b`ai to´an QHNN (1.2.3) ta c´o thˆe’ su.’ du.ng mˆo h`ınh d`o t`ımngˆa˜u nhiˆen hˆo˜n ho. p (cu’a b`ai to´an QHNN) du.´o.i d¯ˆay

D- i.nh ngh˜ıa 1.2.1: Gia’ su.’{ bξ(s)} s≥0 l`a d˜ay vtnn x´ac d¯i.nh du.´o.i da.ng(1.1.22)–(1.1.23*) Khi d¯´o{bx (s) } s≥1d¯u.o. c go.i l`a d˜ay d`o t`ım ngˆa˜u nhiˆenhˆo˜n ho. p cu’a b`ai to´an QHNN (1.2.3) nˆe´u n´o d¯u.o. c x´ac d¯i.nh bo’ i cˆong.

th´u.c l˘a.p du.´o.i d¯ˆay

D- i.nh l´y 1.2.1 (xem [52] tr 126): Gia’ su.’ b`ai to´an QHNN (1.2.3) c´o

cu. c tiˆe’u f ∗(0) = f (0) (x ∗ ) khˆong cˆo lˆa.p v`a c´ac d¯iˆe` u kiˆe.n du.´o.i d¯ˆay d¯u.o ctho’a m˜an

s→∞ f(0)(b x(s)) = f(0)(x∗)

1.2.2 Phu.o.ng ph´ ap chiˆ e´u tu. a gradient ngˆa ˜u nhiˆ en

Trˆen d¯ˆay ta v`u.a x´et mˆo h`ınh d`o t`ım ngˆa˜u nhiˆen (hˆo˜n ho p) d¯ˆe’ gia’ib˘a`ng sˆo´ b`ai to´an QHNN (1.2.3) Trong tru.`o.ng ho p d¯˘a.c biˆe.t, khi

f (0) (x) = E {F (0) (x; ω) }l`a h`am lˆo`i v`a kha’ vi trˆen tˆa.p lˆo`i d¯´ong D ⊂ R nv´o.iv´ecto gradient cu’a f (0) (x) ta.i x = (x 1 , , x n ) d¯u.o c k´y hiˆe.u l`a

V`ı d¯˜a c´o thˆong tin khˆong ch´ınh x´ac vˆe` h`am hˆo`i quyf (0) (x) = E {F (0) (x) },

nˆen n´oi chung ta khˆong thˆe’ c´o thˆong tin ch´ınh x´ac vˆe` v´ecto gradient

f x(0)(x) v`a do d¯´o khˆong thˆe’ su.’ du.ng phu.o.ng ph´ap chiˆe´u gradient suyrˆo.ng (xem [39] tr 41–47) d¯ˆe’ gia’i b`ai to´an quy hoa.ch lˆo`i n`ay Tuynhiˆen khi mo.’ rˆo.ng phu.o.ng ph´ap n´oi trˆen ta c´o thˆe’ thiˆe´t lˆa.p d˜ay l`o.igia’i xˆa´p xı’ {x (s) } s≥0 theo phu.o.ng ph´ap chiˆe´u tu. a gradient ngˆa˜u nhiˆenv´o.i x(s) = x (s) (ω) ∈ R n ( ∀s > 0) l`a nh˜u.ng vtnn x´ac d¯i.nh trˆen khˆonggian x´ac suˆa´t (Ω, Σ, P ), t`u cˆong th´u.c l˘a.p

x(s+1) = Π D (x(s)− ρ s γ s ξ(s)) (s > 0), (1.2.14)

trong d¯´o vtnn x(0) ∈ R n

cho.n t`uy ´y; ΠD(u) l`a h`ınh chiˆe´u trˆen D cu’av´ecto u ∈ R n , ngh˜ıa l`a

D- ˆe’ d¯o.n gia’n c´ac gia’ thiˆe´t, ta c´o thˆe’ xem ρ s , γ s (s > 0)l`a nh˜u.ng h˘a`nglu.o. ng (tˆa´t d¯i.nh); c`on vtnn ξ(s) l`a tu. a gradient ngˆa˜u nhiˆen cu’a h`amhˆo`i quy f (0) (x) ta.i x = x (s) , theo ngh˜ıa (xem [39] tr 95) l`a u.´o.c lu.o. ngchˆe.ch cu’a gradient f x(0)(x (s) )

E {ξ(s)|x(0), , x(s)} = a s f x(0)(x(s)) + bs ( ∀s > 0) (1.2.15)

Trong tru.`o.ng ho p ξ(s) l`a u.´o.c lu.o ng khˆong chˆe.ch (U.LKC) cu’a f x(0)(x (s) ) (a s ≡ 1, b s ≡ 0), t`u d¯i.nh l´y tˆo’ng qu´at vˆe` su hˆo.i tu cu’a d˜ay l`o.i gia’i xˆa´pxı’ {x(s) } s≥0 theo phu.o.ng ph´ap chiˆe´u tu. a gradient ngˆa˜u nhiˆen suy rˆo.ng(xem [39] tr 97–102) ta dˆe˜ d`ang suy ra

D- i.nh l´y 1.2.2: Gia’ su.’ b`ai to´an QHNN (1.2.3) c´o l`o.i gia’i Ngo`ai ra,

ta c`on gia’ thiˆe´t r˘a`ng ∀L ∈ (0, +∞), ∃C L ∈ (0, +∞) sao cho

E {kξ(s)k2|x(0), , x(s)} 6 η s2 6 C L (1.2.16)

(khi kx (k) k 6 L (∀k = 0 ÷ s, s > 0) trong d¯´o ξ(s) l`a U.LKC cu’a gradient

f x(0)(x) ta.i x(s) v´o.i c´ac h˘a`ng sˆo´ η s , γ s , ρ s tho’a m˜an c´ac d¯iˆe` u kiˆe.n saud¯ˆay:

Khi d¯´o, d˜ay l`o.i gia’i xˆa´p xı’ theo phu.o.ng ph´ap chiˆe´u tu. a gradientngˆa˜u nhiˆen {x (s) } s≥0 s˜e hˆo.i tu (hcc) vˆe` mˆo.t l`o.i gia’i x∗ n`ao d¯´o cu’a b`aito´an (1.2.3)

1.2.3 Phu.o.ng ph´ ap Errou–Gurvitz

Cuˆo´i c`ung, ta x´et phu.o.ng ph´ap Errou–Gurvitz d¯ˆe’ gia’i b`ai to´anQHNN

c´o r`ang buˆo.c (1.2.6), khi c´ac h`am hˆo`i quyf (i) (x) = E {F (i) (x) } (i = 0÷m)

l`a lˆo`i, kha’ vi trˆen tˆa.p lˆo`i d¯´ong v`a gi´o.i nˆo.i X ⊂ R n ;c´ac r`ang buˆo.c bˆa´td¯˘a’ng th´u.c trong (1.2.6) tho’a m˜an d¯iˆe` u kiˆe.n Slater Ngh˜ıa l`a tˆo`n ta.i

x ∈ X sao cho f (i) (x) < 0 (i = 1 ÷ n). Tu.o.ng tu. nhu (1.2.13), ta k´yhiˆe.u c´ac v´ecto gradient cu’a ch´ung ta.i x = (x 1 , , x n ) du.´o.i da.ng

f x(i)(x) := fx(i)1(x), , fx(i)n(x)

l`a h`am Lagrange ´u.ng v´o.i b`ai to´an (1.2.6) Ta biˆe´t r˘a`ng (xem [39]

tr 37–40) t`u nh˜u.ng gia’ thiˆe´t d¯˜a nˆeu ta c´o thˆe’ suy ra su. tˆo`n ta.id¯iˆe’m yˆen ngu. a(x ∗ , λ∗)cu’a h`am Lagrange (1.2.22) v´o.i c´ac th`anh phˆa` n

l`a nh˜u.ng vtnn x´ac d¯i.nh t`u cˆong th´u.c l˘a.p

x(s+1)= Π X (x(s)− ρ s γ s ξ(s)) (s > 0) (1.2.25)

λ(s+1)= ΠΛ(λ(s)+ ρsγsζ(s)) (s > 0) (1.2.25*)

trong d¯´o vtnn (x (0) , λ(0)) ∈ R n × R m cho.n t`uy ´y v`a

Λ := {(λ 1 , , λ m ) ∈ R m : 0 6 λ i 6 λ i (i = 1 ÷ m)}

D- ˆe’ d¯o.n gia’n c´ac gia’ thiˆe´t sau n`ay, ta c˜ung c´o thˆe’ xem ρ s , γ s (s > 0)

trong (1.2.25), (1.2.25*) l`a nh˜u.ng h˘a`ng lu.o ng (tˆa´t d¯i.nh); c`on vtnn

ξ(s) ∈ R n v`a ζ(s) ∈ R m lˆa` n lu.o t l`a tu a gradient ngˆa˜u nhiˆen theo x v`atheo λ cu’a h`am Lagrange ϕ(x, λ)ta.i (x, λ) = (x (s) , λ(s)), ngh˜ıa l`a

E {ξ(s)|(x(0), λ(0)), , (x(s), λ(s)) } = a s ϕ x (x(s), λ(s)) + b s ( ∀s > 0), (1.2.26)

E {ζ (s) |(x (0) , λ(0)), , (x(s), λ(s)) } = a s ϕ λ (x(s), λ(s)) + d s ( ∀s > 0) (1.2.26*)

Khi d¯´o t`u d¯i.nh l´y tˆo’ng qu´at vˆe` su hˆo.i tu cu’a d˜ay l`o.i gia’i xˆa´p xı’

{x (s) } s≥0 theo phu.o.ng ph´ap chiˆe´u tu. a gradient suy rˆo.ng (xem [39]

tr 112–117) ta dˆe˜ d`ang suy ra:

D- i.nh l´y 1.2.3: Gia’ su.’ h`am f (0) (x) l`a thu. c su lˆo. `i v`a ∀L ∈ (0, +∞),

∃C L ∈ (0, +∞), sao cho

E {kξ(s)k2+ kζ(s)k2| (x(0), λ(0)), , (x(s), λ(s)) } 6 η s2 6 C L , (1.2.27) (khi kx k k 2 + kλkk 2 6 L ( ∀k = 0 ÷ s), s > 0),

trong d¯´o c´ac tu. a gradient ngˆa˜u nhiˆen ξ(s), ζ(s) x´ac d¯i.nh bo.’i (1.2.26),(1.2.26*) v´o.i a s ≡ 1, b s = d s ≡ 0 v`a c´ac h˘a`ng sˆo´ η s , γ s , ρ s (s > 0) tho’am˜an c´ac d¯iˆe` u kiˆe.n (1.2.17), (1.2.18) D- ˆo`ng th`o.i gia’ su.’ r˘a`ng

E {kx (0) k 2 + kλ (0) k 2 } < +∞ (1.2.28)

Khi d¯´o ta c´o

P  lim

s→∞ min

0≤k≤s f(0)(xk) = f(0)(x∗)

trong d¯´o x ∗ ∈ D l`a l`o.i gia’i duy nhˆa´t cu’a b`ai to´an (1.2.6)

1.3 Mˆo h`ınh hˆ`i quy tuyˆo e´n t´ınh v`a xˆa´p xı’ ngˆa˜u nhiˆen

1.3.1 Mˆ o h`ınh hˆ `i quy tuyˆ o e´n t´ınh

Nh˘a`m thiˆe´t lˆa.p b˘a`ng thu c nghiˆe.m c´ac h`am hˆo`i quy trong b`ai to´anquy hoa.ch ngˆa˜u nhiˆen (1.2.3) ho˘a.c (1.2.6), ta c´o thˆe’ x´et h`am M(·; θ) :

X → R 1 x´ac d¯i.nh trˆen tˆa.p X du.´o.i da.ng (xem [41] tr 26–28)

i > 0. Khi d¯´o gi´a tri nghi.ch d¯a’ocu’a phu.o.ng sai D {η i }

s˜e biˆe’u thi “d¯ˆo d¯´ung” (xem [44] tr 343–350) v`a ta go.i n´o l`a tro.ngsˆo´ cu’a th´ı nghiˆe.m th´u.i (i = 1 ÷ n) trong ca’ lˆo n th´ı nghiˆe.m hˆo`i quyn´oi trˆen

Mˆo h`ınh to´an ho.c d`ung d¯ˆe’ u.´o.c lu.o ng c´ac tham sˆo´θ bo.’ i gi´a tri.gˆa` n d¯´ung e θ du. a trˆen c´ac kˆe´t qua’ quan s´at d¯ˆo.c lˆa.p {η 1 , , ηn} v`a c´acphu.o.ng sai tu.o.ng ´u.ng {σ 2

´y r˘a`ng phˆa` n tu.’ th´u i trˆen d¯u.`o.ng ch´eo cu’a ma trˆa.n D {bθ} ch´ınh l`a

phu.o.ng sai cu’a th`anh phˆa` n th´u i cu’a vtnn eθ. Bo.’ i vˆa.y U.LTTTN n´oitrˆen c`on go.i l`a u.´o.c lu.o ng phu.o.ng sai cu c tiˆe’u.

Ngu.`o.i ta d¯˜a chı’ ra (xem [41] tr 35–36) r˘a`ng nˆe´u b θ l`a U.LTTTN cu’a

θ th`ı n´o c˜ung l`a U.LBPTT, hiˆe’u theo ngh˜ıa S(b θ) 6 S(θ) ( ∀θ ∈ R m ),

trong d¯´o S(·) d¯u.o c x´ac d¯i.nh nhu sau

D- ˆe’ x´ac d¯i.nh u.´o.c lu.o ng b θ n´oi trˆen trong mˆo h`ınh hˆo`i quy tuyˆe´n t´ınh,

ta c´o thˆe’ su.’ du.ng kˆe´t qua’ sau (xem [41] tr 29–31)

D- i.nh l´y 1.3.1: U.LBPTT b θ cu’a tham sˆo´ θ trong mˆo h`ınh hˆo`i quytuyˆe´n t´ınh d¯u.o c x´ac d¯i.nh bo.’i phu.o.ng tr`ınh chuˆa’n

b

1.3.2 Mˆ o h`ınh xˆ a´p xı’ ngˆ a ˜u nhiˆ en

Trong viˆe.c t`ım d¯iˆe’m d`u.ng cu’a mˆo.t h`am hˆo`i quy liˆen quan d¯ˆe´n l`o.igia’i ϕ = ϕ ∗ ∈ R m cu’a mˆo˜i b`ai to´an QHNN, phu.o.ng ph´ap xˆa´p xı’ ngˆa˜u

nhiˆen d¯˜a d¯u.o c su.’ du.ng d¯ˆe’ gia’i hˆe phu.o.ng tr`ınh hˆo`i quy phi tuyˆe´ntrong Rm (xem [38]; tr 241–246) da.ng

M(ϕ) := E 

λ(ϕ)

= 0 ∈ R m

trong d¯´o vˆe´ tr´ai cu’a (1.3.9) l`a mˆo.t m˘a.t hˆo`i quy v`a ta.i mˆo˜i d¯iˆe’m

ϕ ∈ R m ,ch´ung ta chı’ biˆe´t quan s´at tu.o.ng ´u.ng λ(ϕ) ∈ R m cu’a M(ϕ)k`emtheo “nhiˆe˜u” (sai sˆo´ ngˆa˜u nhiˆen)

Gia’ su.’ Y 1 , Y 2 , l`a mˆo.t d˜ay biˆe´n (phˆa` n tu.’) ngˆa˜u nhiˆen nhˆa.n gi´atri trong mˆo.t khˆong gian Hilbert (t´ach d¯u.o c) H, tho’a m˜an c´ac d¯iˆe` ukiˆe.n (A0)–(B0) du.´o.i d¯ˆay:

(A0) — E {Y 1 } = E{Y k+1 | Y k , , Y 1 } = 0 (k = 1, 2, )v´o.i x´ac suˆa´t 1

(B0) — Tˆo`n ta.i h˘a`ng sˆo´K > 0,sao choP {kY k k 6 K} = 1 (∀k = 1, 2, ).

Gia’ su.’ M n (·) : H → H (n > 1) l`a mˆo.t d˜ay c´ac to´an tu.’ trong H tho’am˜an c´ac d¯iˆe` u kiˆe.n (C0), (D0) du.´o.i d¯ˆay:

(C0) — Tˆo`n ta.i h˘a`ng sˆo´A > 0, B > 0 sao chokM n (x) k 6 Akxk + B (n >

1, ∀x ∈ H)

(D0) — Tˆo`n ta.i γ > 0 d¯ˆe’ d¯ˆo´i v´o.i mo.i sˆo´ε d¯˜a cho tˆo`n ta.i sˆo´ tu nhiˆen

n 0 (c´o thˆe’ phu thuˆo.c ε) sao cho

x, M n (x)

> γ kxk2 ∀n > n 0 ; kxk > ε

2

D- ˆo´i v´o.i mˆo.t d˜ay sˆo´du.o.ng{a k } k≥1 ,ta lˆa.p d˜ay biˆe´n ngˆa˜u nhiˆen{z n } n≥1 ⊂

⊂ H theo quy tr`ınh Robbins–Monro sau

D- i.nh l´y 1.3.2: Nˆe´u c´ac d¯iˆe`u kiˆe.n (A0)–(D0) d¯u.o c tho’a m˜an v`a d˜ay

{z n } n≥1 lˆa.p theo cˆong th´u.c (1.3.11) th`ı

log 2n β ) nˆe´u α + β = 12exp( −cn 1−2β ) nˆe´u α + β > 1

2

(1.3.12)

o.’ d¯ˆay a k = k β (0 6 β < 1

2 ) v`a c = const > 0 khˆong phu thuˆo.c n; c`on ε v`a

α := γ x´ac d¯i.nh trong d¯iˆe` u kiˆe.n (D0) Trong tru.`o.ng ho p d¯˘a.c biˆe.t,nˆe´u β = 0 th`ı (1.3.12) c´o da.ng

CHU . O . NG 2

Thiˆe´t lˆa.p u.´o.c lu.o ng khˆong chˆe.ch cu’a gradient

v`a ´u.ng du ng v`ao b`ai to´an d¯iˆ` u khiˆe e’n phi tuyˆe´n

2.1 D- ˘a.t vˆa´n d¯ˆe`

X´et b`ai to´an d¯iˆe` u khiˆe’n phi tuyˆe´n (D - KPT) trong mˆo h`ınh r`o.i ra.c,trong d¯´o ta cˆa` n x´ac d¯i.nh c´ac biˆe´n d¯iˆe`u khiˆe’n

Khi su.’ du.ng c´ac tiˆeu chuˆa’n tˆo´i u.u cu’a QHPT ta thu d¯u.o c c´ac d¯iˆe` ukiˆe.n cˆa` n v`a d¯u’ cu’a d¯iˆe` u khiˆe’n tˆo´i u.u v`a ph´at biˆe’u b`ai to´an d¯ˆo´i ngˆa˜ucu’a b`ai to´an D - KPT (2.1.2)–(2.1.5) Kˆe´t ho p d¯iˆe` u n`ay v´o.i nh˜u.ng co.

so.’ vˆe` t´ınh d¯ˆo´i ngˆa˜u, ta thu d¯u.o c nguyˆen l´y cu c d¯a.i (Pontriagin) r`o.ira.c Vˆe` thu c chˆa´t, d¯ˆay l`a viˆe.c phˆan r˜a b`ai to´an D - KPT n´oi trˆen th`anhnh˜u.ng “b`ai to´an co ba’n”, du.´o.i da.ng nh˜u.ng b`ai to´an QHPT c´o k´ıchthu.´o.c nho’ ho.n v`a v´o.i c´ac r`ang buˆo.c chı’ cu’a biˆe´n d¯iˆe` u khiˆe’n x.

b C´ac phu.o.ng ph´ap tru. c tiˆe´p Trong c´ac phu.o.ng ph´ap n`ay,

ta xem c´ac biˆe´n d¯iˆe` u khiˆe’n x = (x 0 , , x N −1 ) l`a biˆe´n d¯ˆo.c lˆa.p cˆa` nt`ım; c´ac biˆe´n tra.ng th´ai y = (y1, , yN) l`a h`am (cu’a x) y = y(x) =

Trong viˆe.c tuyˆe´n t´ınh h´oa h`am mu.c tiˆeu (2.1.2) v`a c´ac d¯iˆe` u kiˆe.nr`ang buˆo.c (2.1.3) c`ung hˆe d¯ˆo.ng lu c (2.1.4) d¯ˆe’ thiˆe´t lˆa.p “nguyˆen l´y

cu. c d¯a.i r`o.i ra.c” (xem [40] tr 67–74) ho˘a.c “nguyˆen l´y cu c d¯a.i tuyˆe´nt´ınh h´oa” (xem [40] tr 75–83) ta luˆon pha’i t´ınh liˆen tiˆe´p c´ac gradientcu’a c´ac h`am F (i) (y, x) (i = 0 ÷ m) v`a g (k) (y k , x k ) (k = 0 ÷ N − 1) ta.i mˆo.td˜ay d¯iˆe’m d¯˜a cho Viˆe.c t´ınh gradient n´oi trˆen v`a t´ınh gradient cu’ac´ac h`am ho p (2.1.7) c˜ung d¯u.o c d¯˘a.t ra, khi ta d`ung nh˜u.ng cˆong cu.cu’a QHPT (nhu gradient, hu.´o.ng c´o thˆe’, Errou–Gurvitz, ) d¯ˆe’ gia’ib`ai to´an QHPT thu d¯u.o c trong c´ac nguyˆen l´y cu c d¯a.i ho˘a.c b`ai to´an

quy hoa.ch (2.1.8), (2.1.8*) d¯u.o c thiˆe´t lˆa.p b˘a`ng c´ac phu.o.ng ph´aptru. c tiˆe´p gia’i b`ai to´an D - KPT (2.1.2)–(2.1.5)
.

Ta biˆe´t r˘a`ng (xem, ch˘a’ng ha.n [39] tr 108–110) ngu.`o.i ta d¯˜a thiˆe´tlˆa.p c´ac u.´o.c lu.o ng chˆe.ch cu’a c´ac gradient n´oi trˆen (d¯ˆo´i v´o.i c´ac h`amt´ınh d¯u.o c v`a kha’ vi liˆen tu.c d¯ˆe´n cˆa´p 2) du.´o.i da.ng “gradient ngˆa˜unhiˆen suy rˆo.ng” (1.2.15), khi su.’ du.ng phu.o.ng ph´ap chiˆe´u gradientngˆa˜u nhiˆen (1.2.14) d¯ˆe’ gia’i c´ac b`ai to´an quy hoa.ch lˆo`i, kha’ vi v´o.i sˆo´chiˆe` u l´o.n

Tuy nhiˆen, do t´ınh “chˆe.ch” cu’a c´ac u.´o.c lu.o ng gradient n`ay nˆen takhˆong thˆe’ biˆe’u diˆe˜n c´ac “b`ai to´an co ba’n” (du.´o.i da.ng mˆo.t b`ai to´anquy hoa.ch kh´a tˆo’ng qu´at) trong c´ac nguyˆen l´y cu c d¯a.i r`o.i ra.c, du.´o.ida.ng b`ai to´an quy hoa.ch ngˆa˜u nhiˆen (1.2.3) Bo.’i vˆa.y, nˆe´u gia’i to’ad¯u.o. c kh´o kh˘an n´oi trˆen, ngh˜ıa l`a thiˆe´t lˆa.p d¯u.o c u.´o.c lu.o ng khˆongchˆe.ch cu’a gradient d¯ˆo´i v´o.i mˆo.t h`am t´ınh d¯u.o c v`a d¯u’ tro.n, th`ı ta c´othˆe’ su.’ du.ng thuˆa.t to´an d`o t`ım ngˆa˜u nhiˆen hˆo˜n ho p (nˆeu trong D- i.nhngh˜ıa 1.2.1) d¯ˆe’ gia’i b˘a`ng sˆo´ mˆo.t l´o.p b`ai to´an D - KPT rˆo.ng r˜ai (xem[30], [7]) theo c´ac phu.o.ng ph´ap gi´an tiˆe´p

D- ˆo´i v´o.i c´ac phu.o.ng ph´ap tru c tiˆe´p, khi gia’i b`ai to´anQHPT (2.1.8)–(2.1.8*) b˘a`ng c´ach su.’ du.ng phu.o.ng ph´ap chiˆe´u gradient ngˆa˜u nhiˆenhay phu.o.ng ph´ap Errou–Gurvitz, ta nhˆa.n thˆa´y (xem c´ac D- i.nh l´y1.2.2 v`a 1.2.3) r˘a`ng khi thay thˆe´ c´ac gradient ngˆa˜u nhiˆen suy rˆo.ng bo.’i

U.LKC cu’a c´ac gradient, c´ac d¯iˆe` u kiˆe.n d¯ˆe’ ´ap du.ng d¯u.o c c´ac phu.o.ngph´ap n`ay c˜ung d¯o.n gia’n ho.n v`a khˆo´i lu.o. ng t´ınh to´an c˜ung ´ıt ho.n.Vˆe` thu c chˆa´t, t´ınh “chˆe.ch” cu’a c´ac gradient ngˆa˜u nhiˆen suy rˆo.ng d¯˜ana’y sinh t`u quan d¯iˆe’m cu’a gia’i t´ıch sˆo´ trong viˆe.c xˆa´p xı’ d¯a.o h`amtheo phu.o.ng ph´ap sai phˆan (xem [39] tr 131–147) Bo.’ i vˆa.y d¯ˆe’ kh˘a´cphu.c t´ınh chˆe.ch cu’a c´ac u.´o.c lu.o ng d¯a.o h`am, ta cˆa` n du a trˆen quand¯iˆe’m cu’a gia’i t´ıch d¯ˆe’ tiˆe´p cˆa.n tru c tiˆe´p v´o.i d¯a.o h`am D- ˆay l`a l´y dod¯ˆe’ xuˆa´t hiˆe.n c´ac cˆong tr`ınh [7], [9]

V´o.i nh˜u.ng ´y ngh˜ıa kˆe’ trˆen, trong chu.o.ng n`ay ta s˜e su.’ du.ng nh˜u.ng

kˆe´t qua’ trong [9] d¯ˆe’ xˆay du. ng mˆo h`ınh loa.i Monte-Carlo (o’ mu.c 2.2,.2.3) nh˘a`m ta.o ra (trˆen m´ay t´ınh) c´ac U.LKC cu’a gradient (m`a ta s˜ego.i l`a “mˆo pho’ng gradient”) d¯ˆo´i v´o.i mˆo.t h`am t´ınh d¯u.o c v`a kha’ viliˆen tu.c theo Lipschitz cˆa´p α (α > 0).

Nhu l`a nh˜u.ng th´ı du ´ap du.ng cu’a c´ac kˆe´t qua’ n`ay, ta s˜e su.’ du.ngnh˜u.ng kˆe´t qua’ trong [11], [12] d¯ˆe’ x´et phu.o.ng ph´ap Monte-Carlo d¯ˆo´iv´o.i viˆe.c gia’i mˆo.t l´o.p d¯u’ rˆo.ng c´ac b`ai to´an D - KPT theo c´ac phu.o.ngph´ap gi´an tiˆe´p (trong mu.c 2.4) v`a c´ac phu.o.ng ph´ap tru c tiˆe´p (trongmu.c 2.5)

2.2 Phu.o.ng ph´ap Monte-Carlo t´ınh tˆo’ng cu’a mˆo.t chuˆo˜i,

gi´o.i ha.n cu’a mˆo.t d˜ay sˆo´

T`u d¯i.nh ngh˜ıa d¯a.o h`am v`a gi´o.i ha.n h`am sˆo´ (theo quan d¯iˆe’m d˜aysˆo´) ta nhˆa.n thˆa´y r˘a`ng viˆe.c t´ınh d¯a.o h`am d¯u.o c d¯u.a vˆe` viˆe.c t´ınh gi´o.iha.n cu’a d˜ay sˆo´ Vˆa´n d¯ˆe` n`ay la.i tu.o.ng d¯u.o.ng v´o.i b`ai to´an t´ınh tˆo’ngcu’a mˆo.t chuˆo˜i sˆo´ V´o.i ´y ngh˜ıa trˆen, tru.´o.c hˆe´t ta s˜e xˆay du ng c´acmˆo h`ınh ngˆa˜u nhiˆen t´ınh tˆo’ng cu’a mˆo.t chuˆo˜i sˆo´ v`a gi´o.i ha.n cu’a mˆo.td˜ay sˆo´

2.2.1 Mˆ o h`ınh ngˆ a ˜u nhiˆ en t´ınh tˆ o’ng cu’a chuˆ o ˜i

X´et mˆo.t chuˆo˜i sˆo´ hˆo.i tu c´o tˆo’ng l`a s

|s i | 6 cq i ( ∀i > 0) v´o.i c = const > 0 (2.2.3)

V´o.i nh˜u.ng d¯iˆe` u kiˆe.n trˆen r˜o r`ang chuˆo˜i (2.2.1) l`a hˆo.i tu tuyˆe.t d¯ˆo´i.Go.i ν ∈ {0, 1, 2, } l`a d¯lnn r`o.i ra.c v´o.i phˆan bˆo´ x´ac suˆa´t

trong d¯´o ν d¯u.o c ta.o ra trˆen m´ay t´ınh t`u sˆo´ ngˆa˜u nhiˆen R ∼ U([0, 1])

(xem [14] tr 90–93) Go.i ξ ∈ [0, 2c] l`a d¯lnn phˆan bˆo´ d¯ˆe` u v´o.i mˆa.t d¯ˆo.x´ac suˆa´t

1 2cdx =

1 2c

1 2c

s i

q i

+ c

− c12c c−si

Khi d¯´o η c´o k`y vo.ng h˜u.u ha.n v`a (2.2.6) d¯u.o c ch´u.ng minh.

D- ˆe’ ch´u.ng minh (2.2.7), ta t´ınh mˆo men bˆa.c 2 cu’a η theo c´achtu.o.ng tu. nhu (2.2.8) Cu thˆe’ l`a khi du a v`ao (2.2.5) v`a (2.2.2) ta c´o

v`a (2.2.7) d¯u.o. c ch´u.ng minh 

Du. a v`ao kˆe´t qua’ n´oi trˆen ta c´o thˆe’ x´ac d¯i.nh gi´a tri xˆa´p xı’ cu’atˆo’ng vˆo ha.n (2.2.1) bo.’i u.´o.c lu.o ng thu.’ thˆo´ng kˆe (U.LTTK) cu’a n´o

η (j) v´o.i η (j) (j = 1 ÷ N) l`a nh˜u.ng thˆe’ hiˆe.n d¯ˆo.c lˆa.p cu’a d¯lnn

η trong (2.2.5)
Khi d¯´o (xem [14] tr 38) ta c´o cˆong th´u.c d¯´anh gi´asai sˆo´

2.2.2 Mˆ o h`ınh ngˆ a ˜u nhiˆ en t´ınh gi´ o.i ha.n cu’a d˜ay

X´et mˆo.t d˜ay sˆo´ hˆo.i tu {f n } n≥0

G˘a´n v´o.i c´ac d¯lnn d¯ˆo.c lˆa.p ξ, ν d¯˜a nˆeu trong tiˆe’u mu.c trˆen, ta lˆa.p d¯lnn

v´o.i quy u.´o.c r˘a`ng f −1 = 0.

Bˆo’ d¯ˆ` 2.2.2: Gia’ su.’ c´ac d¯iˆee ` u kiˆe.n (2.2.12), (2.2.13) d¯u.o c tho’a m˜an.Khi d¯´o gi´o.i ha.n (2.2.11) tˆo`n ta.i h˜u.u ha.n v`a d¯lnn ζ c´o k`y vo.ng v`aphu.o.ng sai h˜u.u ha.n

Du. a v`ao bˆo’ d¯ˆe` trˆen d¯ˆay, ta c´o thˆe’ xˆa´p xı’ gi´o.i ha.n (2.2.11) bo.’i

U.LTTK cu’a n´o l`a ζN = 1

N

N

P

j=1

ζ j , trong d¯´o ζ j (j = 1 ÷ N) l`a nh˜u.ng thˆe’

1 Quy u.´ o.c: c´ ac cˆ ong th´ u.c mang chı’ sˆo´ d¯o.n d¯u.o. c d`ung c´ o t´ınh chˆ a´t d¯i.a phu.o.ng

hiˆe.n d¯ˆo.c lˆa.p cu’a d¯lnn ζ lˆa.p theo cˆong th´u.c (2.2.14) Tu.o.ng tu nhu.cˆong th´u.c d¯´anh gi´a sai sˆo´ (2.2.10*), ta c´o thˆe’ d¯´anh gi´a sai sˆo´ cu’a ζN

theo quy t˘a´c k–s´ıcma (xem [14] tr 38) Ch˘a’ng ha.n, khi k = 2 ta c´o

P {|ζ N − f| < 2σ(ζ)√

N } ≈ 0, 95; σ2(ζ) = D(ζ) = c2− f2 (2.2.18)

V´ı du 3 trong Phu lu.c A c´o thˆe’ xem l`a mˆo.t minh ho.a b˘a`ng sˆo´ chocˆong th´u.c d¯´anh gi´a sai sˆo´ n`ay

2.3 Mˆo h`ınh ngˆa˜u nhiˆen t´ınh gradient cu’a mˆo.t h`am nhiˆe` u

biˆe´n sˆo´

2.3.1 Mˆ o pho’ng gradient theo tˆ a´t ca’ c´ ac d ¯ˆ o´i

D- ˆe’ thiˆe´t lˆa.p mˆo h`ınh loa.i Monte-Carlo t´ınh gradient cu’a h`am f ta.imˆo.t d¯iˆe’m x = (x 1 , , x m ), tru.´o.c hˆe´t ta x´et h`am f : G(x) → R 1 v´o.i

G(x) ⊂ R m l`a lˆan cˆa.n lˆo`i v`a mo.’ cu’a d¯iˆe’m x. Gia’ su.’ trˆen G(x) h`am

f ( ·) kha’ vi liˆen tu.c theo Lipschitz cˆa´p α(x) α(x) > 0

v´o.i h˘a`ng sˆo´Lipschitz c(x) > 0)

th´u.ikh´ac khˆong v`a b˘a`ng 1 Lu.u ´y r˘a`ng do t´ınh mo.’ cu’a G(x) nˆen tac´o thˆe’ cho.n δ 0 d¯u’ b´e, sao cho

Du. a v`ao c´ac d˜ay {f(n)

i (x) } n≥−1 d¯˜a xˆay du. ng, ta c´o thˆe’ thiˆe´t lˆa.p d¯ˆo`ngth`o.i c´ac th`anh phˆa` n fbx

i (x) (i = 1 ÷ m) cu’a vtnn fbx(x) = bfx

1 (x), , , b fxm(x)

theo cˆong th´u.c sau

Trong d¯´o d¯lnn ξ = ξ(x) ∼ U [0, 2c(x)]
d¯ˆo.c lˆa.p v´o.i d¯lnn r`o.i ra.c ν ∈

∈ {0, 1, 2, } c´o phˆan bˆo´ x´ac suˆa´t (2.2.4)

D- i.nh l´y 2.3.1: Nˆe´u d¯iˆe`u kiˆe.n (2.3.1) d¯u.o c tho’a m˜an, th`ı c´ac d¯lnn

Ch´u.ng minh T`u t´ınh khˆong t˘ang cu’a d˜ay {δ n } n≥0 v`a t´ınh lˆo`i cu’a

G(x) ta c´o thˆe’ du. a v`ao (2.3.5) d¯ˆe’ suy ra

ta suy ra t´ınh gi´o.i nˆo.i cu’a ch´ung trˆen [x, x + δ n e i ]. Bo.’ i vˆa.y c´o thˆe’ ´apdu.ng cˆong th´u.c sˆo´ gia gi´o.i nˆo.i v`ao (2.3.3) d¯ˆe’ suy ra

=

= c(x) h

(−1) n θi(n)(x)δ n + θi(n−1)(x)δ n−1

· ke i kiα(x).

Khi d¯´o t`u (4) v`a (2.3.2) ta suy ra

{f i(n)(x) } n≥0 (i = 1 ÷ m). Ap du.ng Bˆo’ d¯ˆe´ ` 2.2.2 v´o.i su thay thˆe´ c´ac d¯lnn

ζ v`aξ ∼ U([0, 2c]) trong (2.2.14)
bo.’ i c´ac d¯lnnfbx

i (x)v`aξ ∼ U [0, 2c(x)]

trong (2.3.6)
, ta suy ra su. tˆo`n ta.i h˜u.u ha.n cu’a k`y vo.ng v`a phu.o.ngsai cu’a c´ac d¯lnn fbx

i (x) (i = 1 ÷ m). Ngo`ai ra, t`u (2.2.15), (2.2.16) tac`on c´o

Khi d¯´o xem (2.3.3)

lim

n→∞ δ n = lim

n→∞

 ( −1) n δ n

lˆa.p theo (2.3.6)
Khi d¯´o c´o thˆe’ d`ung c´ac quy t˘a´c k–s´ıcma (xem [14]

tr 38) d¯ˆe’ d¯´anh gi´a sai sˆo´ cu’a c´ac U.LTTK n´oi trˆen Ch˘a’ng ha.n v´o.i

√ N

Tuy nhiˆen, nh˜u.ng kˆe´t qua’ t´ınh to´an trong v´ı du trˆen chı’ mang

´y ngh˜ıa minh ho.a v`a kiˆe’m tra mˆo h`ınh Monte-Carlo d`ung d¯ˆe’ t´ınhd¯a.o h`am b˘a`ng sˆo´ cu’a mˆo.t h`am t´ınh d¯u.o c; bo.’i v`ı mˆo h`ınh n`ay kh´ad¯˘a´t d¯o’ (so v´o.i c´ac phu.o.ng ph´ap sai phˆan d¯ˆe’ t´ınh d¯a.o h`am b˘a`ngsˆo´ d¯ˆo´i v´o.i h`am 1 ho˘a.c 2 biˆe´n sˆo´) D- iˆe` u quan tro.ng ta d¯a.t d¯u.o ctrong D- i.nh l´y 2.3.1 l`a xˆay du ng d¯u.o c c´ac U.LKC fbxi(x) cu’a c´ac d¯a.o