d¯ˆe˙’ huˆa´n luyˆe.n c´ac m´ay perceptron.. k trong qu´a tr`ınh huˆa´n luyˆ e.n bi.. Thuˆa.t to´an n`ay... Nguyˆen tˇa´c delta, c`on go.i l`a phu.o.ng ph´ap b`ınh phu.o.ngtˆ o´i thiˆ e˙
Trang 1.
Σ .
Vector mˆ a ˜u x Tro.ng lu o ng D - o.n vi k´ıch hoa.t x 1 x 2 x i x n 1 w 1 w 2
w i
w n w n+1 .
+1
−1
O =
1 nˆ e´u d(x) > 0,
−1 nˆ e´u d(x) < 0,
d(x) = P n
i=1 w i x i + w n+1
H`ınh 9.8: Biˆ e˙’u diˆ e ˜n cu˙’a mˆo h`ınh perceptron d¯ˆo´i v´o.i hai l´o.p.
Khi d(x) > 0 tu.o.ng ´ u.ng v´ o.i t´ın hiˆ e.u xuˆa´t ra (output) cu˙’a perceptron bˇa`ng +1;
d ¯iˆ ` u n` e ay chı˙’ ra mˆ a ˜u x d¯u.o c phˆan loa.i thuˆo.c l´o.p w 1 Ngu.o c la.i khi d(x) < 0 th`ı mˆ a ˜u
x d ¯u.o c phˆ an loa.i thuˆo.c l´o .p w 2 Khi d(x) = 0 th`ı x thuˆ o.c biˆen cu˙’a hai l´o p v`a do d¯´o chu.a d ¯u.o c x´ ac d ¯i.nh.
T´ın hiˆ e.u ra O trong H`ınh 9.8 phu thuˆo.c v`ao dˆa´u cu˙’a d(x); hay tu o.ng d¯u.o.ng
+1 nˆ e´u d(x) > 0,
−1 nˆ e´u d(x) < 0.
=
+1 nˆ e´u P n
i=1 w i x i > −w n+1 ,
−1 nˆ e´u P n
i=1 w i x i < −w n+1
Nˆ e´u ta thuˆ ` n nhˆ a a´t ho´ a vector mˆ a ˜u x th`anh y = (x 1 , x 2 , , x n , 1) t v` a d ¯ˇ a.t
w = (w 1 , w 2 , , w n , w n+1 ) t
th`ı h` am quyˆ e´t d ¯i.nh c´o thˆe˙’ viˆe´t la.i
d(y) = hw, yi.
Cˆ ` n ch´ a u ´ y rˇ a `ng, vˆa´n d¯ˆe ` ch´ınh l` a t`ım vector w su. ˙’ du.ng tˆa.p huˆa´n luyˆe.n.
Trang 2C´ ac thuˆ a.t to´ an huˆ a ´n luyˆ e.n
Du.´ o.i d ¯ˆ ay ta s˜ e tr`ınh b` ay nh˜ u.ng thuˆ a.t to´an d¯˜a d¯u o c d¯ˆe` nghi d¯ˆe˙’ huˆa´n luyˆe.n c´ac m´ay perceptron.
C´ ac l´ o.p c´ o thˆ e˙’ t´ ach tuyˆ e ´n t´ınh Thuˆ a.t to´an lˇa.p d¯o n gia˙’n d¯ˆe˙’ t`ım mˆo.t vector tro.ng lu.o ng d ¯ˆ o´i v´ o.i hai tˆ a.p huˆa´n luyˆe.n c´o thˆe˙’ t´ach d¯u o c tuyˆe´n t´ınh nhu sau.
Bu.´ o.c 1 Kho. ˙’ i ta.o tu`y ´y vector tro.ng lu.o ng ban d¯ˆa ` u w(1).
Bu.´ o.c 2 X´ et bu.´ o.c lˇ a.p th´u k.
• Nˆ e´u y(k) ∈ ω 1 v` a hw(k), y(k)i ≤ 0 th`ı thay w(k) bo. ˙’ i
w(k + 1) = w(k) + cy(k),
trong d ¯´ o c l` a hˇ a `ng sˆo´ (du.o.ng) hiˆe.u chı˙’nh.
• Ngu.o c la.i nˆ e´u y(k) ∈ ω 2 v` a hw(k), y(k)i ≥ 0 th`ı thay w(k) bo. ˙’ i
w(k + 1) = w(k) − cy(k).
• Ngu.o c la.i, w(k) khˆ ong thay d ¯ˆ o˙’i; t´ u.c l` a
w(k + 1) = w(k).
Thuˆ a.t to´an d`u ng khi vector tro.ng lu.o ng khˆong thay d¯ˆo˙’i d¯ˆo´i v´o.i tˆa´t ca˙’ c´ac mˆa˜u.
Nhu vˆ a.y, thuˆa.t to´an cˆa.p nhˆa.t la.i w(k) khi mˆa˜u o ˙’ bu.´ . o.c lˇ a.p th´u k trong qu´a tr`ınh huˆa´n
luyˆ e.n bi phˆan loa.i sai khi su ˙’ du.ng vector tro.ng lu.o ng o.˙’ bu.´o.c n`ay Thuˆa.t to´an n`ay . c` on go.i l`a thuˆa.t to´an hiˆe.u chı˙’nh hˇa`ng.
Phu.o.ng ph´ ap hiˆ e.u chı˙’nh hˇa`ng du a trˆ . en kh´ ai niˆ e.m thu o.˙’ng-pha.t “Thu.o.˙’ng” khi m´ ay phˆ an loa.i d¯´ung mˆo.t mˆa˜u v`a “pha.t” trong tru `o.ng ho p ngu.o c la.i N´oi c´ach kh´ac,
nˆ e´u phˆ an loa.i mˆo.t mˆa˜u d¯´ung, m´ay s˜e d¯u o c thu.o.˙’ng bˇa`ng c´ach khˆong thay d¯ˆo˙’i gi´a tri.
w Tuy nhiˆ en nˆ e´u phˆ an loa.i sai, n´o s˜e bi pha.t bˇa`ng c´ach thay d¯ˆo˙’i vector tro.ng lu o ng Thuˆ a.t to´an kˆe´t th´uc khi tˆa´t ca˙’ c´ac vector huˆa´n luyˆe.n d¯˜a d¯u o c kiˆe˙’m tra m`a khˆong xa˙’y
ra lˆ o ˜i Nˆe´u hai tˆa.p huˆa´n luyˆe.n c´o thˆe˙’ t´ach tuyˆe´n t´ınh th`ı thuˆa.t to´an hiˆe.u chı˙’nh hˇa`ng s˜ e hˆ o.i tu sau mˆo.t sˆo´ h˜u .u ha.n bu.´o.c Ch´u.ng minh kˆe´t qua˙’ n`ay, c`on go.i l`a d¯i.nh l´y huˆa´n luyˆ e.n perceptron.
Trang 3V´ ı du 9.3.3 X´ et hai tˆ a.p huˆa´n luyˆe.n trong H`ınh 9.9(a), mˆo˜i tˆa.p gˆo `m hai mˆ a ˜u Do hai
tˆ a.p n`ay c´o thˆe˙’ t´ach tuyˆe´n t´ınh nˆen c´o thˆe˙’ ´ap du.ng thuˆa.t to´an huˆa´n luyˆe.n d¯ˆe˙’ x´ac d¯i.nh siˆ eu phˇ a˙’ng t´ ach.
Tru.´ o.c khi ´ ap du.ng thuˆa.t to´an, gia˙’ su ˙’ c´ . ac mˆ a ˜u d¯˜a d¯u.o c xu ˙’ l´ . y sao cho tˆ a.p huˆa´n luyˆ e.n {(0, 0, 1) t , (0, 1, 1) t } tu.o.ng ´ u.ng l´ o.p ω 1 v` a tˆ a.p {(1, 0, 1) t , (1, 1, 1) t } tu.o.ng ´ u.ng l´ o.p
ω 2 Kho. ˙’ i ta.o, d¯ˇa.t
c = 1, w(1) = 0.
´
Ap du.ng thuˆa.t to´an:
1 Ta c´ o w t (1)y(1) =
0 0 0
0 0 1
= 0 Do d¯´o
w(2) = w(1) + y(1) =
0 0 1
2 Ta c´ o w t (2)y(2) =
0 0 1
0 1 1
= 1 Do d¯´o
w(3) = w(2) =
0 0 1
3 Ta c´ o w t (3)y(3) =
0 0 1
1 0 1
= 0 Do d¯´o
w(4) = w(3) − y(3) =
−1 0 0
4 Ta c´ o w t (4)y(4) =
−1 0 0
1 1 1
= −1 Do d¯´o
w(5) = w(4) =
−1 0 0
Trang 4i
x 1 x 2 (a) y y i i
. x 1 x 2 d(x) = −2x 1 + 1 = 0
(b)
y ∈ ω 1
i ∈ ω 2
H`ınh 9.9: Minh ho.a thuˆa.t to´an huˆa´n luyˆe.n perceptron: (a) c´ac mˆa˜u thuˆo.c hai l´o p; (b) biˆ en quyˆ e´t d ¯i.nh d¯u o c x´ac d¯i.nh thˆong qua huˆa´n luyˆe.n.
C´ ac vector tro.ng lu o ng d¯u.o c d¯iˆe`u chı˙’nh la.i trong c´ac bu.´o.c 1 v`a 3 do phˆan loa.i nhˆa`m Qu´ a tr`ınh ho.c tiˆe´p tu.c bˇa`ng c´ach d¯ˇa.t
y(5) = y(1), y(6) = y(2), y(7) = y(3), y(8) = y(4).
Thuˆ a.t to´an hˆo.i tu khi k = 14 v`a ta c´o vector tro.ng lu .o ng w(14) = −2 0 1
t
H` am biˆ e.t tˆa.p tu .o.ng ´u.ng bˇa`ng d(y) = −2y 1 + 1 Tro. ˙’ la.i khˆong gian mˆa˜u ban d¯ˆa ` u bˇ a `ng c´ach
d ¯ˇ a.t x = (y 1 , y 2 ) ta d ¯u.o c d(x) = −2x 1 + 1 v` a d ¯u.` o.ng thˇ a˙’ng t´ ach hai l´ o.p c´ o phu.o.ng
tr`ınh −2x 1 + 1 = 0.
C´ ac l´ o.p khˆ ong t´ ach d ¯u.o c tuyˆ e ´n t´ınh Thu. c tˆ e´ hiˆ e´m c´ o c´ ac l´ o.p mˆ a ˜u c´o thˆe˙’ t´ach
d ¯u.o c tuyˆ e´n t´ınh V`ı vˆ a.y, phˆa ` n l´ o.n c´ ac nh` a nghiˆ en c´ u.u trong nh˜ u.ng nˇ am 1960-1970
d ¯˜ a cˆ o´ gˇ a ´ng d¯i t`ım c´ach xu ˙’ l´ y c´ ac l´ o.p khˆ ong t´ ach d ¯u.o c tuyˆ e´n t´ınh Do su tiˆ e´n bˆ o gˆa ` n
d ¯ˆ ay trong qu´ a tr`ınh huˆ a´n luyˆ e.n ma.ng neuron, c´ac phu o.ng ph´ap gia˙’i quyˆe´t d¯ˆo´i v´o.i c´ ac l´ o.p khˆ ong t´ ach d ¯u.o c tuyˆ e´n t´ınh d ¯u.o c quan tˆ am d ¯o.n thuˆ ` n v`ı l´ a y do li.ch su ˙’ Tuy . nhiˆ en, mˆ o.t trong nh˜u ng phu.o.ng ph´ap tru.´o.c d¯´o, c´o liˆen quan tru c tiˆe´p d¯ˆe´n b`an luˆa.n
Trang 5o ˙’ d¯ˆ ay: nguyˆ en tˇ a ´c delta gˆo´c Nguyˆen tˇa´c delta, c`on go.i l`a phu.o.ng ph´ap b`ınh phu.o.ng
tˆ o´i thiˆ e˙’u (LMS) hay Widrow-Hoff, huˆ a´n luyˆ e.n c´ac m´ay perceptron sao cho cu c tiˆ . e˙’u ho´ a sai sˆ o´ gi˜ u.a thu c tˆ e´ v` a kˆ e´t qua˙’ nhˆ a.n d¯u o c trong mˆo˜i bu.´o.c lˇa.p.
X´ et h` am nˇ ang lu.o ng
J (w) = 1
2 [r − hw, yi]
2
,
trong d ¯´ o r l` a d ¯´ ap ´ u.ng nhˆ a.n d¯u .o c (t´u.c l`a, r = +1 nˆe´u y ∈ ω 1 v` a r = −1 nˆ e´u y ∈ ω 2 ).
Tiˆ e´n tr`ınh thay d ¯ˆ o˙’i w liˆ en tu.c theo hu .´o.ng −∇J(x) d¯ˆe˙’ t`ım cu c tiˆe˙’u cu˙’a h`am J(x) Dˆe˜
thˆ a´y cu c tiˆ e˙’u xa˙’y ra khi r = hw, yi; t´ u.c l` a cu c tiˆ e˙’u d ¯a.t d¯u o c khi phˆan loa.i d¯´ung Nˆe´u
w(k) l` a vector tro.ng lu .o ng o.˙’ bu.´o.c lˇa.p th´u k th`ı ´ap du.ng thuˆa.t to´an gradient ta c´o
w(k + 1) = w(k) − α
∂J (w)
∂(w
w=w(k)
trong d ¯´ o w(k + 1) l` a gi´ a tri m´o .i cu˙’a w v`a α > 0 l`a d¯ˆo l´o.n cu˙’a gi´a tri hiˆe.u chı˙’nh Do
∂J (w)
∂(w = −(r − hw, yi)y
nˆ en
w(k + 1) = w(k) + α[r(k) − hw(k), y(k)i]y(k)
v´ o.i vector tro.ng lu .o ng ban d¯ˆa`u w(1) d¯u.o c kho.˙’i ta.o tu`y ´y.
D - ˇa.t
∆w = w(k + 1) − w(k).
Khi d ¯´ o ta c´ o thuˆ a.t to´an hiˆe.u chı˙’nh delta
trong d ¯´ o
l` a lˆ o ˜i nhˆa.n d¯u.o c ´u.ng v´o.i vector tro.ng lu.o ng w(k) khi x´et mˆa˜u y(k).
Phu.o.ng tr`ınh (9.21) x´ ac d ¯i.nh lˆo˜i ´u .ng v´o.i vector tro.ng lu.o ng w(k) Nˆe´u ch´ung
ta thay d ¯ˆ o˙’i n´ o th` anh w(k + 1) nhu.ng gi˜ u nguyˆ en mˆ a ˜u y(k) th`ı lˆo˜i tro. ˙’ th` anh
e(k + 1) = r(k) − hw(k + 1), y(k)i. (9.22) Suy ra
∆e(k) = [r(k) − hw(k + 1), y(k)i] − [r(k) − hw(k), y(k)i]
Trang 6= −hw(k + 1) − w(k), y(k)i
= −h∆w, y(k)i.
Nhu.ng ∆w = αe(k)y(k) Vˆ a.y
∆e(k) = −hαe(k)y(k), y(k)i
= −αe(k)ky(k)k 2 .
Do d ¯´ o thay d ¯ˆ o˙’i c´ ac tro.ng lu .o ng gia˙’m lˆo˜i mˆo.t lu.o ng αky(k)k 2 V´ o.i mˆ a ˜u kˆe´ tiˆe´p, ta la.i c´ o mˆ o.t chu tr`ınh m´o .i v´o.i lˆo˜i o.˙’ bu.´o.c n`ay gia˙’m theo αky(k + 1)k 2 , v` a vˆ an vˆ an.
T´ınh ˆ o˙’n d ¯i.nh v`a tˆo´c d¯ˆo hˆo.i tu cu˙’a thuˆa.t to´an phu thuˆo.c v`ao α D - ˆe˙’ l`o.i gia˙’i ˆo˙’n
d ¯i.nh cˆa ` n 0 < α < 2 Trong thu. c tˆ e´, pha.m vi thay d¯ˆo˙’i cu˙’a α l`a khoa˙’ng (0.1, 1.0) C´o
thˆ e˙’ ch´ u.ng minh rˇ a `ng, thuˆa.t to´an hˆo.i tu d¯ˆe´n l`o.i gia˙’i tˆo´i u.u theo ngh˜ıa sai sˆo´ b`ınh phu.o.ng trung b`ınh d ¯ˆ o´i v´ o.i c´ ac mˆ a ˜u cu˙’a tˆa.p huˆa´n luyˆe.n nho˙’ nhˆa´t Khi c´ac l´o.p mˆa˜u t´ ach d ¯u.o c tuyˆ e´n t´ınh, l` o.i gia˙’i cu˙’a thuˆ a.t to´an Widrow-Hoff c´o thˆe˙’ khˆong cho mˆo.t siˆeu phˇ a˙’ng t´ ach Thˆ a.t vˆa.y, mˆo.t nghiˆe.m v´o i sai sˆo´ b`ınh phu.o.ng trung b`ınh khˆong chı˙’ ra nghiˆ e.m theo ngh˜ıa cu˙’a l´y thuyˆe´t huˆa´n luyˆe.n perceptron D - ˆay ch´ınh l`a gi´a pha˙’i tra˙’ khi
´
ap du.ng thuˆa.t to´an hˆo.i tu d¯ˆo´i v´o i tru.`o.ng ho p tˆo˙’ng qu´at.
Hai thuˆ a.t to´an huˆa´n luyˆe.n perceptron d¯u o c tr`ınh b`ay trˆen dˆe˜ d`ang mo.˙’ rˆo.ng cho nhiˆ ` u l´ e o.p Tuy nhiˆ en nhu d ¯˜ a d ¯ˆ ` cˆ e a.p o ˙’ phˆ . ` n d¯ˆ a ` u, c´ a ac thuˆ a.t to´an huˆa´n luyˆe.n n`ay mo ˙’ .
rˆ o.ng cho nhiˆe ` u l´ o.p ´ıt c´ o gi´ a tri.; v`a bo ˙’ i vˆ . a.y, ch´ung ta s˜e ´ap du.ng c´ac ma.ng neuron cho nhiˆ ` u l´ e o.p.
Ma.ng neuron nhiˆe ` u tˆ ` ng lan truyˆ a ` n thuˆ e a.n
Bˆ ay gi` o ch´ ung ta s˜ e xˆ ay du ng c´ ac h` am biˆ e.t tˆa.p cu˙’a b`ai to´an nhˆa.n da.ng mˆa˜u nhiˆe ` u l´ o.p khˆ ong phu thuˆo.c v`ao c´ac l´o p c´o t´ach d¯u.o c tuyˆe´n t´ınh hay khˆong C´ach tiˆe´p cˆa.n
o ˙’ d¯ˆ ay nhˇ a `m kiˆe´n thiˆe´t c´ac tˆa ` ng du a trˆ en co so ˙’ cu˙’a c´ ac m´ ay perceptron.
Cˆ a ´u tr´ uc co ba˙’n H`ınh 9.10 minh ho.a cˆa´u tr´uc cu˙’a hˆe thˆo´ng ma.ng neuron Hˆe thˆo´ng
n` ay gˆ `m c´ o ac tˆ ` ng ch´ a u.a c´ ac n´ ut thu c hiˆ e.n ch´u .c nˇang t´ınh to´an (go.i l`a c´ac neuron) v`a
giˆ o´ng nhau vˆ ` mˇ e a.t cˆa´u tr´uc C´ac neuron d¯u o c sˇa´p xˆe´p sao cho d¯ˆa`u ra cu˙’a mˆo˜i neuron trong mˆ o.t tˆa ` ng s˜e l` a d ¯ˆ ` u v` a ao cu˙’a mo.i neuron trong tˆa ` ng kˆe´ tiˆe´p K´ y hiˆ e.u sˆo´ c´ac
neuron trong tˆ ` ng v` a ao A l` a N A Thˆ ong thu.` o.ng N A bˇ a `ng sˆo´ chiˆe ` u n cu˙’a c´ ac vector
mˆ a ˜u d¯u.a v`ao Sˆo´ c´ac neuron trong tˆa ` ng cuˆ o´i, go.i l`a tˆa ` ng ra Q k´ y hiˆ e.u l`a N Q Sˆ o´ N Q
bˇ a `ng M -ch´ınh l`a sˆo´ c´ac l´o.p mˆa˜u m`a ma.ng neuron d¯˜a d¯u.o c huˆa´n luyˆe.n d¯ˆe˙’ nhˆa.n da.ng.
Trang 7
.
.
.
.
.
.
.
.
x n x 3 x 2 x 1 Tˆ ` ng A a N A n´ ut Tˆ ` ng B a N B n´ ut Tˆ ` ng K a N K n´ ut Tˆ ` ng J a N J n´ ut Tˆ ` ng P a N P n´ ut Tˆ ` ng Q a N Q = M n´ ut
L´ o.p ω 1 L´ o.p ω 2 L´ o.p ω M
. . . . . . .
H`ınh 9.10: Mˆ o h`ınh ma.ng neuron nhiˆe ` u tˆ ` ng lan truyˆe a ` n thuˆ a.n Ma.ng neuron s˜e phˆan loa.i vector mˆa˜u x thuˆo.c l´o .p ω m nˆ e´u m d ¯ˆ ` u ra cu˙’a ma.ng c´o t´ın a hiˆ e.u “cao” trong khi tˆa´t ca˙’ d¯ˆa ` u ra kh´ ac c´ o c´ ac t´ın hiˆ e.u “thˆa´p” Nhu trong H`ınh 9.11 chı˙’ ra, mˆ o ˜i neuron c´o h`ınh da.ng giˆo´ng nhu mˆo h`ınh percep-tron (xem H`ınh 9.8) v´ o.i mˆ o.t kh´ac biˆe.t l`a h`am k´ıch hoa.t “c´u ng” d¯u.o c thay bo.˙’i h`am c´ o d ¯ˆ ` thi “mˆe o ` m” ho.n Mo ˙’ rˆ o.ng nguyˆen tˇa´c huˆa´n luyˆe.n bˇa`ng c´ach lan truyˆe ` n ngu.o c d ¯` oi ho˙’i tˆ a´t ca˙’ c´ ac d ¯u.` o.ng d ¯i trong ma.ng neuron pha˙’i kh´ac nhau Trong thu c tˆ . e´, c´ o thˆ e˙’ d` ung h` am h j (I j ) = 1 1 + exp[−(I j + θ j )/θ 0 ] , (9.23) .
Σ
. . .
O j
..
+1
θ j
l j
H`ınh 9.11: Cˆ a´u tr´ uc co ba˙’n cu˙’a mˆ o ˜i phˆa ` n tu ˙’ neuron trong ma.ng.