tìm hiểu về deep learning và xây dụng mô hình minh họa

1.8 Neural network trong h…nh 1.1 vîi dropout cho c£ c¡c hidden layerv input.. Thæng th÷íng, mºt t¿ l» kh¡c nhau th§p hìn dòng chovi»c t›c c¡c nì-ron cıa input v c¡c hidden layers.. .2.1

I H¯C QU¨C GIA TH NH PH¨ H˙ CH MINH TR×˝NG

L˝IC MÌN

Trong suŁt thíi gian thüc hi»n ç ¡n, chóng tæi ¢ nh“n ÷æc r§t nhi•u

sü gióp ï tł c¡c thƒy cæ cıa tr÷íng ⁄i håc Cæng ngh» thæng tin, °cbi»t l thƒy Vô Thanh Nguy¶n ng÷íi ¢ trüc ti‚p gi£ng d⁄y v h÷îng d¤n

T´MT T

Deep learning l mºt h÷îng ti‚p c“n cıa l¾nh vüc tr‰ tu» nh¥n t⁄o(Artificial Intelligence - AI) ang ÷æc b n lu“n sæi nŒi Deeplearning ¢ c£i thi»n mºt c¡ch ¡ng k” c¡c ph÷ìng ph¡p hi»n ⁄i nh§t cıanhi•u v§n • trong AI nh÷ ph¡t hi»n Łi t÷æng, nh“n di»n giång nâi,dàch m¡y (machine translation) [LeCun et al., 2015]

B i b¡o c¡o n y giîi thi»u c¡c mæ h…nh ti¶n ti‚n phŒ bi‚n gçmFeed-forward Neural Network, Convolutional Neural Network vRecurrent Neural Network Thay v… ch¿ ¡p döng Deep Learningvîi mºt sŁ th÷ vi»n câ sfin, chóng tæi mong muŁn thüc sü hi”u nâ lg… Chóng tæi t“p trung v o nhœng þ t÷ðng ban ƒu ” h…nh th nh,

sü ph¡t tri”n cıa chóng cho ‚n hi»n t⁄i v ¡nh gi¡ c¡c mæ h…nh

Möc löc

Möc löc

Danh s¡ch h…nh v‡

Giîi thi»u

1 Feedforward Neural Networks

1.1 Giîi thi»u

1.2 Ki‚n tróc FNN

1.3 C¡c k‰ hi»u

1.4 C¥n b‹ng trång sŁ

1.5 H m k‰ch ho⁄t

1.5.1 1.5.2 1.5.3 1.5.4 1.5.5 1.6 C¡c layer cıa FNN 1.6.1

1.6.2 1.6.3

MÖC LÖC

1.8.31.8.41.8.51.9 Backpropagation

1.9.11.9.21.9.31.9.4

1.10.11.10.21.10.3

1.11.11.11.21.11.31.11.41.11.51.11.61.12 Khði t⁄o trång sŁ

2 Convolutional Neural Networks

2.1 Giîi thi»u

2.2 Ki‚n tróc CNN

2.3.12.3.22.3.32.3.42.3.52.3.62.3.72.3.8

iv

MÖC LÖC

2.4 C¡c i•u ch¿nh vîi Batch Normalization 2.5 C¡c ki‚n tróc CNN 2.5.1

2.5.22.5.32.5.42.5.52.5.62.6 Backpropagation 2.6.1

2.6.2

2.6.3

2.6.4

MÖC LÖC

3.2.2

3.3 Extreme Layers v loss function

3.3.1 3.3.2 3.3.3 3.4 C¡c °c tr÷ng cıa RNN

3.4.1 3.4.2 3.4.3 3.4.4 3.5 °c tr÷ng cıa LSTM

3.5.1 3.5.2 3.5.3 3.5.4 3.5.5 4 X¥y düng mæ h…nh minh håa 4.1 Giîi thi»u

4.2 M¢ nguçn

4.3 Dœ li»u

4.4 X¥y düng mæ h…nh

4.5 Hu§n luy»n mæ h…nh

4.6 K‚t qu£

5 K‚t lu“n v

Tr‰ch d¤n

vi

1.8 Neural network trong h…nh 1.1 vîi dropout cho c£ c¡c hidden layer

v input Thæng th÷íng, mºt t¿ l» kh¡c nhau (th§p hìn) dòng chovi»c t›c c¡c nì-ron cıa input v c¡c hidden layers .2.1 Mºt ki‚n tróc CNN ( ¥y l LeNet): c¡c convolution operation ÷æctheo sau l pooling operation, cho ‚n khi k‰ch th÷îc feature mapgi£m cÆn mºt Fully connected layers sau â ÷æc k‚t nŁi .2.2 Input layer

2.3 Padding cıa feature map Nhœng sŁ khæng ÷æc th¶m v o l nhœngtile m u ä, k‰ch th÷îc padding n y l

2.4 Convolution operation

DANHS CHHNHV

2.9 Realistic Fully connected operation v Realistic Convolution

oper-ation

2.10 The LeNet CNN

2.11 The AlexNet CNN

2.12 The VGG CNN

2.13 The GoogleNet CNN

2.14 Ki‚n tróc Bottleneck Residual Sì ç tr¶n l‰ thuy‚t b¶n tr¡i, thüc t‚ ð b¶n ph£i Nâ cƒn mºt 1 1 conv vîi stride 1 v sau â mºt VGG conv chu'n v 1 1 conv

2.15 The ResNet CNN

2.16 Backpropagate tł output ‚n fc

2.17 Backpropagate tł fc ‚n fc

2.18 Backpropagate tł fc ‚n pool

2.19 Backpropagate tł pool ‚n conv

2.20 Backpropagate tł conv ‚n conv

2.21 Backpropagate tł conv ‚n pool

2.22 C“p nh“t trång sŁ giœa hai fc layer

2.23 C“p nh“t trång sŁ giœa fc layer v pool layer

2.24 C“p nh“t trång sŁ giœa hai conv layer

2.25 C“p nh“t trång sŁ tł conv ‚n pool công giŁng nh÷ tł conv ‚n input

2.26 C“p nh“t Coefficient giœa hai fc layer

2.27 C“p nh“t Coefficient tł fc ‚n pool công giŁng nh÷ tł conv ‚n pool

2.28 C“p nh“t Coefficient giœa hai conv layer

3.1 Ki‚n tróc RNN, vîi dœ li»u ÷æc lan truy•n theo c£ "khæng gian" v "thíi gian" Trong v‰ dö, chi•u thíi gian câ k‰ch th÷îc l 8, khæng gian câ k‰ch thøc l 4

3.2 H÷îng backward trong ki‚n tróc Do â khæng th” t‰nh to¡n gra-dient cıa mºt layer m khæng t‰nh to¡n nhœng c¡i m qua

3.3 C¡c chi ti‚t cıa RNN hidden unit

viii

DANHS CHHNHV

3.4 C¡ch hidden unit RNN t÷ìng t¡c vîi nhau 49

3.5 Chi ti‚t LSTM hidden unit 53

3.6 C¡ch c¡c LSTM hidden unit t÷ìng t¡c vîi nhau 54

4.1 Minh håa dœ li»u cıa CIFAR-10 59

4.2 Mæ h…nh CNN ìn gi£n cıa chóng tæi 60

Giîi thi»u

B£n ch§t ki‚n tróc nhi•u lîp cho ph†p deep learning kh£ n«ng gi£i quy‚t nhi•uv§n • AI phøc t⁄p hìn [Bengio et al., 2009] V… v“y, c¡c nh nghi¶n cøu ang mðrºng øng döng deep learning tîi c¡c l¾nh vüc v v§n • mîi, v‰ dö: Osako et al

[2015] sß döng recurrent neural network ” denoise c¡c t‰nh hi»u tho⁄i; Gupta

et al [2015] ” kh¡m ph¡ c¡c pattern ph¥n cöm cıa c¡c bi”u hi»n gen; Gatys et

al [2015] sß döng mºt mæ h…nh nì-ron ” t⁄o ra c¡c h…nh £nh vîi c¡c ki”u kh¡cnhau; Wang et al [2016] dòng deep learning ” ph¥n t‰ch t¥m lþ tł nhi•uph÷ìng thøc çng thíi; vv ¥y l giai o⁄n chøng ki”n sü bòng nŒ cıa l¾nh vücnghi¶n cøu deep learning

” tham gia v thóc 'y qu¡ tr…nh nghi¶n cøu deep learning, chóng ta cƒn ph£ihi”u rª c¡c ki‚n tróc cıa c¡c mæ h…nh v t⁄i sao chóng tçn t⁄i Chóng tæi t“ptrung v o ba lo⁄i mæ h…nh deep learning phŒ bi‚n theo mºt tr…nh tü tł ìngi£n ‚n phøc t⁄p thæng qua c¡c ch÷ìng

feedforward neural network, ¥y l b÷îc ph¡t tri”n tł thu“t to¡n perceptron nguy¶nb£n Rosenblatt [1958] C¡c mæ h…nh feedforward network câ c§u tróc x‚pchçng c¡c lîp perceptron l¶n tr¶n nhœng lîp kh¡c, nh÷ non-linear regression

Trong ch÷ìng 2, chóng tæi giîi thi»u convolutional neural network, °c bi»tdòng ” xß l‰ dœ li»u h…nh £nh Chóng tæi giîi thi»u v• nhœng ki‚n thø to¡nnh÷ convo-lution, pooling, v.v Công nh÷ cho th§y sü thay Œi cıa c¡c ki‚n tróckhŁi ÷æc giîi thi»u ð ch÷ìng 1 Nhi•u ki‚n tróc neural network ÷æc giîi thi»u k–

m theo phö löc cıa chóng

x

Ch÷ìng 3 s‡ giîi thi»u recurrent neural network, ki‚n tróc th‰ch hæp ” xß l‰c¡c dœ li»u câ c§u tróc temporal nh÷ thíi gian v v«n b£n Nhœng i”m mîi vnhœng sßa Œi s‡ ÷æc mæ t£ chi ti‚t trong v«n b£n ch‰nh, v c¡c phö löccung c§p c¡c cæng thøc phøc t⁄p nh§t cıa lo⁄i ki‚n tróc m⁄ng n y.

— ch÷ìng 4, chóng tæi x¥y düng mºt mæ h…nh minh håa thuºc lo⁄i tional Neural Network ( ÷æc giîi thi»u trong ch÷ìng 2), ¡p döng c¡c kÿ thu“t,ph÷ìng ph¡p trong b i b¡o c¡o ” thüc h nh c¡c ki‚n thøc ¢ t…m hi”u

m chóng tæi s‡ tr…nh b y, cho ph†p gi£i quy‚t c¡c v§n • hu§n luy»n khi xß lþc¡c dœ li»u câ c§u tróc "s¥u": neural network vîi mºt sŁ l÷æng ¡ng k” c¡chidden state v c¡c hidden layer, nhœng thø ¢ ÷æc chøng minh l r§t khâ ”hu§n luy»n (c¡c v§n • vanishing gradient v overfitting).

1.2 Ki‚n tróc FNN

Mºt FNN ÷æc t⁄o th nh bði mºt input layer, mºt (shallow network) ho°c nhi•uhìn (deep network) c¡c hidden v mºt output layer MØi layer cıa network (trłoutput) ÷æc k‚t nŁi vîi mºt layer ph‰a sau K‚t nŁi n y l trung t¥m cıa c§u trócFNN v câ hai t‰nh n«ng ch‰nh ð d⁄ng ìn gi£n nh§t: c¥n b‹ng trång sŁ v k

‰ch ho⁄t Chóng tæi s‡ tr…nh b y c¡c t‰nh n«ng n y trong c¡c phƒn sau

1

H…nh 1.1: Neural Network vîi N + 1 layers (N 1 hidden layers) Shallowarchi-tectures th÷íng ch¿ câ mºt hidden layer Deep learning câ mºt sŁhidden layer, th÷íng chøa còng sŁ l÷æng hidden neuron.

1.3 C¡c k‰ hi»u

Trong nhœng phƒn sau, chóng tæi s‡ sß döng

N sŁ l÷æng layer (khæng t‰nh input) trong mºt Neural Network

Tmb sŁ l÷æng example trong mºt mini-batch (xem phƒn 1.7)

t 2 J0; Tmb 1K instance trong mini-batch

2 J0; NK sŁ l÷æng layer cıa FNN.

H…nh 1.2: Qu¡ tr…nh weight averaging.

H…nh 1.3: H m sigmoid v ⁄o h m cıa nâ.

H…nh 1.4: H m tanh v ⁄o h m cıa nâ.

Nâ ch÷a tłng ÷æc sß döng cho tîi khi ÷æc dòng trong cæng thøc chu'nhâa (standard formulation) cıa mæ h…nh RNN-LSTM (ch÷ìng 3)

H…nh 1.5: H m RELU v ⁄o h m cıa nâ.

⁄o h m cıa nâ l :

‰ch ho⁄t ReLU câ xu h÷îng bä i mºt sŁ t‚ b o thƒn kinh 'n: khi t‚ b o ¢ ÷æc t›t(gi¡ trà b‹ng 0), nâ khæng bao gií câ th” ÷æc b“t l¶n lƒn nœa

1.5.4 H m leaky-ReLU

The leaky-ReLU nh“n gi¡ trà trong o⁄n [ ; +1] v l mºt sßa Œi nhä cıa

ReLU cho ph†p c¡c hidden neuron nh“n gi¡ trà kh¡c khæng vîi b§t k… gi¡ trà x

Cæng thøc cıa nâ l

g(x) = leaky-ReLU(x) =

H…nh 1.6: H m leaky-RELU v ⁄o h m cıa nâ.

⁄o h m cıa nâ l

H…nh 1.7: H m ELU v ⁄o h m cıa nâ.

gi¡ trà kh¡c 0 cho t§t c£ x

8

<xg(x) = ELU(x) =

1.6.2 Fully connected layer

The fully connected operation thüc ch§t ch¿ l

hf (t)(N) = o(af (t)(N 1)) ;

vîi o ÷æc gåi l m h m output Trong c¡c tr÷íng hæp Euclidean loss function, h

m output ch¿ l nh“n d⁄ng C¡c c¡c b i to¡n ph¥n lo⁄i, o l h m softmax

(t)(N 1)

o a f

1.7 Loss function

Loss function ¡nh gi¡ lØi cıa FNN khi nâ ÷îc t‰nh dœ li»u ÷æc dü o¡n (Nìi thø

hai m dœ li»u ƒu v o xu§t hi»n) Vîi mºt b i to¡n regression, ¥y l mºt h m mean

square error (MSE) ìn gi£n

10

Kÿ thu“t regularization hƒu nh÷ luæn ÷æc sß döng, nh÷ng khæng ph£i ÷æc

regularization n y câ c¡ch di„n gi£i theo Bayes: nâ l suy lu“n Bayes vîi ph¥n

phŁi chu'n cıa trång sŁ Th“t v“y, vîi ¢ cho, qu¡ tr…nh c¥n b‹ng trång sŁ nh÷sau

F 1

af (t)( ) = X f ( 0

f0=0

vîi l noise term cıa trung b…nh 0 v ph÷ìng sai 2 Do â ph¥n phŁi chu'n sau

¥y cho t§t c£ c¡c gi¡ trà cıa t v f:

N a f(t)(i)

f 0 =0

Gi£ sß t§t c£ c¡c trång sŁ câ mºt ph¥n phŁi chu'n câ d⁄ng N

11

còng tham sŁ L2, chóng ta câ bi”u thøc sau

L1 f(0

1.8.3 Clipping

Clipping ng«n ngła L2 norm cıa c¡c trång sŁ v÷æt qu¡ threshold C Cö th” vîi

vi»c c“p nh“t trång sŁ, n‚u L2 norm cıa chóng v÷æt qu¡ C, nâ trð v• C

if

Kÿ thu“t regularization n y tr¡nh v§n • exploding gradient, v nâ ÷æc dòng

chı y‚u trong RNN-LSTM network Gi¡ trà thæng th÷íng cıa C trong kho£ng

100 101 B¥y gií chóng ta h¢y chuy”n sang c¡c kÿ thu“t regularization hi»u qu£

nh§t cho mºt FNN: dropout v Batch-normalization

1.8.4 Dropout

L mºt thı töc ìn gi£n cho ph†p thüc hi»n backpropagation tŁt hìn cho c¡c b i

to¡n ph¥n lo⁄i: dropout t‰nh to¡n ” l m gi£m c¡c hidden units (trong mºt sŁ

tr÷íng hæp, ngay c£ mºt sŁ bi‚n ƒu v o) cho mØi example hu§n luy»n

Vi»c t‰nh to¡n n y ÷æc thüc( )hi»n ( )

hf

vîi m(i) theo mºt ph¥n phŁi Bernoulli p, thæng th÷íng p =f

p = 12 cho nhœng c¡i kh¡c

Dropout [Srivastava et al., 2014] ÷æc xem l kÿ thu“t regularization th nh

cæng nh§t cho tîi khi Batch Normalization xu§t hi»n

1.8.5 Batch Normalization

mini-batch cho tłng lo⁄i dœ li»u, ngay c£ input layer Trong b i b¡o ban ƒu, c¡c t¡c gi£

l“p lu“n r‹ng b÷îc n y n¶n ÷æc thüc hi»n sau c¡c convolutional layer, nh÷ng tr¶n

thüc t‚ nâ ¢ ÷æc chøng minh l hi»u qu£ hìn sau b÷îc khæng tuy‚n t‰nh

13

H…nh 1.8: Neural network trong h…nh 1.1 vîi dropout cho c£ c¡c hidden layer

v input Thæng th÷íng, mºt t¿ l» kh¡c nhau (th§p hìn) dòng cho vi»c t›c c¡c nì-ron cıa input v c¡c hidden layers

vîi

^( )

hf2

14

(t)( )

H» sŁ f( ) thóc 'y chóng ta tho¡t khäi xu h÷îng thi¶n và, v… nâ ÷æc baogçm trong batchnorm Trong qu¡ tr…nh hu§n luy»n, ta ph£i t‰nh tâa gi¡ tràtrung b…nh v ph÷ìng sai, phöc vö cho vi»c ¡nh gi¡ cross-validation v t“p dœli»u ki”m tra (gåi e l sŁ c¡c vÆng l°p iterations/epochs)

h

E h ( f t)( +1)

hVar h ( f t)( +1)

v trong qu¡ tr…nh ki”m tra

15

nhi¶n, n‚u ÷æc thüc hi»n óng, ¥y l cæng vi»c hœu ‰ch v quan trång nh§ttrong FNN Do â chóng tæi mæ t£ s‡ chi ti‚t l m th‚ n o ” t‰nh to¡n mØi trång

sŁ (v Batistorm coefficients) gradients

1.9.1 Backpropagate thæng qua Batch Normalization

Backpropagation giîi thi»u mºt gradient mîi

f

fvîi

Jf

(tt0)( )

#:

16

v vîi cross entropy loss function

f(t)(N 1)Hæp nh§t kþ hi»u cıa c¡c ch÷ìng 1, 2 v 3, chóng tæi gåi

Hff(t)(0 +1)

= g0 a(ft)( ) (f +1)f0 ;v… v“y quy lu“t c“p nh“t cho error rate l

(1.48)

(1.49)

(1.50)

1 9 3 C

“ p n h

“

t t r å n g s

qua vi»c t‰nh to¡n error rate, ⁄o h m cıa error rate ìn gi£n

17

1.9.4 C“p nh“t Coefficient

( ) Xf

t=0

1.10 Dœ li»u n o sß döng cho gradient descent?

Tł ƒu chóng ta ¢ k‰ hi»u Tmb dœ li»u m¤u m chóng ta s‡ hu§n luy»n mæh…nh Thı töc n y ÷æc l°p l⁄i vîi thíi gian d i (mØi lƒn ÷æc gåi l epoch) Tçn t⁄i

ba c¡ch ” l§y m¤u tł c¡c dœ li»u: Full-batch, Stochastic v Mini-batch gradientdescent Chóng tæi n¶u rª c¡c i•u kho£n n y trong c¡c phƒn sau Chóng tæin¶u rª c¡c v§n • n y trong c¡c phƒn sau

1.10.2 Stochastic Gradient Descent (SGD)

SGD t‰nh to¡n” l§y mºt phƒn m¤u cıa dœ li»u trong mØi epoch

J( )=JSGD( ):

18

Sü lüa chån n y d¤n ‚n vi»c t‰nh to¡n nhanh hìn, nh÷ng v… v“y khæng Œn ànhv• sŁ l÷æng Sü lüa chån chu'n nh§t cho ‚n nay l Mini-batch gradient descent.

T§t c£ c¡c t‰nh to¡n trong b¡o c¡o n y •u sß döng kÿ thu“t gradient descent

1.11 Nhœng kÿ thu“t Gradient optimization

Khi m c¡c gradient cho backpropagation ÷æc t‰nh to¡n, c¥u häi l l m th‚ n o ”th¶m chóng v o c¡c trång sŁ ¢ tçn t⁄i ìn gi£n nh§t l dòng

Momentum Qian [1999] ÷a ra mºt vec-tì mîi v v sß döng ” l÷u c¡c c“p nh“t ð

v nhœng trång sŁ ð mØi epoch e s‡ ÷æc c“p nh“t nh÷ sau

e= e 1 ve :

l tham sŁ mîi, th÷íng l 0:9 nh÷ng câ th” thay Œi bði cross-validation

1.11.2 Nesterov accelerated gradient

Nesterov accelerated gradient Nesterov [1983] l mºt sü i•u ch¿nh nhä cıa kÿthu“t momentum cho ph†p gradients tho¡t c¡c i”m local minimum

e= e 1

(1.63)

(1.64)

Læi th‚ cıa Adagrad l learning rate ÷æc thi‚t l“p mºt lƒn v cho t§t c£ (th÷íng l

10 2) v khæng cƒn ch¿nh qua cross validation nœa, v… nâ tü i•u ch¿nh

20

ri¶ng bi»t cho tłng trång sŁ thæng qua ve term dòng ” tr¡nh c¡c tr÷íng hæpchia cho 0, v nâ th÷íng l 10 8.

RMSprop l mºt kÿ thu“t i•u ch¿nh learning rate câ t‰nh th‰ch nghi, nâ ch÷a tłng

÷æc cæng bŁ, v ÷æc • xu§t bði Geoff Hinton trong b i gi£ng tr¶n Coursera V…Adagrad th¶m v o gradient tł epoch ƒu ti¶n, c¡c trång sŁ bà buºc ph£i gi£m ìni»u i•u n y câ th” ÷æc gi£i quy‚t thæng qua kÿ thu“t Adadelta:

1.11.6 Adam

qua hai vec-tì ºc l“p

me = 1me 1 + (1 1) e ; ve = 2ve + (1 2) e 2; (1.69)

vîi 1 v 2 th÷íng l 0:9 v 0:999 Nh÷ng søc m⁄nh v t‰nh ch›c ch›n cıa Adamn‹m ð vi»c nâ l m cho to n bº qu¡ tr…nh håc t“p phö thuºc y‚u tŁ v o precise ”tr¡nh nhœng v§n • v• sŁ trong c¡c b÷îc ƒu ti¶n, c¡c vector n y ÷æc thay Œi t l»

22

t⁄o chóng qu¡ lîn Mºt heuristic tŁt l

h

init ( )f

â l nhœng khŁi x¥y düng cì b£n cıa CNN: convolution v pooling Ngo i rachóng tæi s‡ nâi ‚n nhœng thay Œi ph£i chó þ khi ¡p döng c¡c kÿ thu“tregularization ÷æc giîi thi»u trong phƒn FNN CuŁi còng, chóng tæi s‡ tr…nh

b y c¡c ki‚n tróc CNN phŒ bi‚n nh§t: tł LeNet ‚n ResNet

2.2 Ki‚n tróc CNN

Mºt CNN ÷æc h…nh th nh bði mºt sŁ operation convolution v pooling, th÷íng

l theo sau bði mºt ho°c nhi•u fully connected layer (t÷ìng tü nh÷ c¡c layerFNN truy•n thŁng) Chóng tæi s‡ ch¿ rª c¡c i”m mîi ÷æc giîi thi»u trong phƒnti‚p theo

24

H…nh 2.1: Mºt ki‚n tróc CNN ( ¥y l LeNet): c¡c convolution operation ÷æctheo sau l pooling operation, cho ‚n khi k‰ch th÷îc feature map gi£m cÆnmºt Fully connected layers sau â ÷æc k‚t nŁi.

2.3 T‰nh °c thò cıa CNN

2.3.1 Feature map

Trong mØi layer cıa CNN, dœ li»u khæng cÆn ÷æc g›n nh¢n bði mºt index nh÷trong FNN Chóng ta n¶n xem index trong FNN t÷ìng ÷ìng vîi nh¢n mºt t§m

£nh trong mæt layer cıa CNN Nh¢n n y l

Trong mØi feature map f 2

tr÷ng bði hai ch¿ sŁ bŒ sung

rºng j 2 N 1 Mºt bº f; j; k °c tr÷ng cho mºt pixel duy nh§t cıa mºt feature map.B¥y gií chóng ta h¢y xem x†t c¡c lîp kh¡c nhau cıa CNN

2.3.2 Input layer

Chóng ta x†t ƒu vîi vîi F k¶nh Vîi mºt £nh thæng th÷íng, k¶nh n y t÷ìng øng