Báo cáo Khai phá dữ liệu nâng cao: Đề tài Mạng Neural tích chậm

Các ập ầu ra có cấu trúc ạng Tích Chập m ng neuron tích ch p đi n hình thạng Tích Chập ập ể của hàm tích chập cơ bản ười gian time-series có thể được xem là lưới ng dùng các kĩ thu t ch

TR ƯỜNG ĐẠI HỌC CÔNG N NG Đ I H C CÔNG N ẠI HỌC CÔNG N ỌC CÔNG N GH NGHỆ

NGUY N NG C PHÚC ỄN VĂN PHI ỌC CÔNG N

LỜI CẢM ƠN

Thực tế luôn cho thấy, sự thành công nào cũng đều gắn liền với những sự hỗ trợ, giúp đỡcủa những người xung quanh dù cho sự giúp đỡ đó là ít hay nhiều, trực tiếp hay gián.Trong suốt thời gian từ khi bắt đầu làm tiểu luận đến nay, em đã nhận được sự quan tâm,chỉ bảo, giúp đỡ của thầy cô,anh chị và bạn bè xung quanh Với tấm lòng biết ơn vô cùngsâu sắc, toàn thể Nhóm 5 chúng em xin gửi lời cảm ơn chân thành nhất từ đáy long đếnquý Thầy Cô của trường Đại học Công nghệ đã cùng dùng những tri thức và tâm huyếtcủa mình để có thể truyền đạt cho chúng em trong vốn kiến thức quý báu suốt thời gianhọc tập tại trường Đặc biệt, chúng em xin chân thành cảm ơn Thầy giáo PGS.TS HàQuang Thụy đã tận tâm chỉ bảo hướng dẫn chúng em qua từng buổi học, từng buổi nóichuyện, thảo luận về đề tài nghiên cứu Nhờ có những lời hướng dẫn, dạy bảo đó, bàiluận văn này của chúng em đã hoàn thành một cách suất sắc nhất Một lần nữa, chúng emxin gửi lời cảm ơn chân thành đến thầy Ban đầu em còn bỡ ngỡ vì vốn kiến thức của emcòn hạn Do vậy, không tránh khỏi những thiếu sót, em rất mong nhận được ý kiến đónggóp của quý Thầy Cô và các bạn học cùng lớp bài luận được hoàn thiện hơn Em xinchân thành cảm ơn!

Hà Nội, ngày 15 tháng 12 năm 2018

Sinh viên nhóm 5

M c Lục Lụ ục Lụ

Chương 9: Mạng tích chậpng 9: M ng tích ch pạng Tích Chập ập 4

9.1 Phép tích ch pập 4

9.2 Đ ng l cộng lực ực 7

9.3 Phép toán g pộng lực 10

9.4 Tích ch p và phép g p là tiên nghi m m nh vô h nập ộng lực ệm mạnh vô hạn ạng Tích Chập ạng Tích Chập 14

9.5 Các bi n th c a hàm tích ch p c b nến thể của hàm tích chập cơ bản ể của hàm tích chập cơ bản ủa hàm tích chập cơ bản ập ơng 9: Mạng tích chập ản 15

9.6 Các đ u ra có c u trúcầu ra có cấu trúc ấu trúc 23

9.7 Các ki u d li uể của hàm tích chập cơ bản ữ liệu ệm mạnh vô hạn 24

9.8 Thu t toán tích ch p hi u quập ập ệm mạnh vô hạn ản 26

9.9 Các đ c tr ng ng u nhiên ho c không giám sátặc trưng ngẫu nhiên hoặc không giám sát ư ẫu nhiên hoặc không giám sát ặc trưng ngẫu nhiên hoặc không giám sát 27

9.10 N n t ng th n kinh h c cho m ng tích ch pền tảng thần kinh học cho mạng tích chập ản ầu ra có cấu trúc ọc cho mạng tích chập ạng Tích Chập ập 28

9.11 M ng tích ch p và l ch s c a h c sâuạng Tích Chập ập ịch sử của học sâu ử của học sâu ủa hàm tích chập cơ bản ọc cho mạng tích chập 34

Ph L cục Lụ ục Lụ 35

1 GoogleNet 35

1.1 Gi i thi uới thiệu ệm mạnh vô hạn 35

1.2 Inception Layer 35

GoogleNet Đ y Đầu ra có cấu trúc ủa hàm tích chập cơ bản 37

2 ResNet 37

2.1 Gi i thi uới thiệu ệm mạnh vô hạn 37

2.2 Residual block 37

2.3 Ki n trúc đ y đ c a 1 blockến thể của hàm tích chập cơ bản ầu ra có cấu trúc ủa hàm tích chập cơ bản ủa hàm tích chập cơ bản 38

2.4 ResNet Đ y Đầu ra có cấu trúc ủa hàm tích chập cơ bản 38

3 Th c Hànhực 39

3.1 D li uữ liệu ệm mạnh vô hạn 39

3.2 Hu n Luy nấu trúc ệm mạnh vô hạn 40

3.3, K t quến thể của hàm tích chập cơ bản ản 41

3.4, Bi u di nể của hàm tích chập cơ bản ễn 41

Tham kh oản 44

Chương 9: Mạng tích chập

M ng tích ch p ạng tích chập ập (Convolutional network), hay m ng neuron tích ch p ạng tích chập ập (Convolutional neural

network - CNN), là m t lo i m ng neuron đ c bi t đ x lý d li u có ộng lực ạng Tích Chập ạng Tích Chập ặc trưng ngẫu nhiên hoặc không giám sát ệm mạnh vô hạn ể của hàm tích chập cơ bản ử của học sâu ữ liệu ệm mạnh vô hạn topology d ng lạng Tích Chập ưới thiệui

Ví d nh d li u d ng chu i th i gian (time-series) có th đục Lụ ư ữ liệu ệm mạnh vô hạn ạng Tích Chập ỗi thời gian (time-series) có thể được xem là lưới ời gian (time-series) có thể được xem là lưới ể của hàm tích chập cơ bản ược xem là lưới c xem là lưới thiệu 1 chi u ch a i ền tảng thần kinh học cho mạng tích chập ứa các m u l y t i các kho ng th i gian nh t đ nh, và d li u hình nh có th đẫu nhiên hoặc không giám sát ấu trúc ạng Tích Chập ản ời gian (time-series) có thể được xem là lưới ấu trúc ịch sử của học sâu ữ liệu ệm mạnh vô hạn ản ể của hàm tích chập cơ bản ược xem là lưới c xem là

lưới thiệu 2 chi u t o b i các đi m nh M ng tích ch p đã và đang đi ền tảng thần kinh học cho mạng tích chập ạng Tích Chập % ể của hàm tích chập cơ bản ản ạng Tích Chập ập ược xem là lưới c áp d ng r t thành ục Lụ ấu trúccông trong nhi u ng d ng th c ti n Tên g i "m ng neuron tích ch p" bi u th cho vi c ền tảng thần kinh học cho mạng tích chập ứa ục Lụ ực ễn ọc cho mạng tích chập ạng Tích Chập ập ể của hàm tích chập cơ bản ịch sử của học sâu ệm mạnh vô hạn

m ng s d ng phép toán ạng Tích Chập ử của học sâu ục Lụ tích ch p ập (convolution) - m t d ng ộng lực ạng Tích Chập phép toán tuy n tính ến tính (linear operation) đ c bi t ặc trưng ngẫu nhiên hoặc không giám sát ệm mạnh vô hạn M ng tích ch p đ n gi n là m ng neuron s d ng phép tích ch p thay ạng tích chập ập ơn giản là mạng neuron sử dụng phép tích chập thay ản là mạng neuron sử dụng phép tích chập thay ạng tích chập ử dụng phép tích chập thay ụng phép tích chập thay ập

vì phép nhân ma tr n trong ít nh t m t t ng c a m ng ập ất một tầng của mạng ột tầng của mạng ầng của mạng ủa mạng ạng tích chập

Trong chương 9: Mạng tích chậpng này, trưới thiệuc tiên, chúng tôi sẽ gi i thích v phép tích ch p và t i sao ta s ản ền tảng thần kinh học cho mạng tích chập ập ạng Tích Chập ử của học sâu

d ng nó trong m ng neuron Sau đó, chúng tôi miêu t phép toán ục Lụ ạng Tích Chập ản g p ột tầng của mạng (pooling) - phép toán

được xem là lưới ử của học sâu ục Lục s d ng trong h u h t các m ng tích ch p Thông thầu ra có cấu trúc ến thể của hàm tích chập cơ bản ạng Tích Chập ập ười gian (time-series) có thể được xem là lưới ng, phép tích ch p s d ng ập ử của học sâu ục Lụtrong m ng neuron tích ch p thạng Tích Chập ập ười gian (time-series) có thể được xem là lưới ng không hoàn toàn tương 9: Mạng tích chậpng đ ng v i phép tích ch p s ồng với phép tích chập sử ới thiệu ập ử của học sâu

d ng trong các lĩnh v c khác, nh trong kỹ thu t hay toán thu n túy Chúng tôi sẽ trình ục Lụ ực ư ập ầu ra có cấu trúcbày m t vài bi n th c a hàm tích ch p thộng lực ến thể của hàm tích chập cơ bản ể của hàm tích chập cơ bản ủa hàm tích chập cơ bản ập ười gian (time-series) có thể được xem là lưới ng dùng trong các m ng neuron th c t , cũngạng Tích Chập ực ến thể của hàm tích chập cơ bản

nh cách áp d ng phép tích ch p vào các d ng d li u khác nhau, v i s chi u khác nhau ư ục Lụ ập ạng Tích Chập ữ liệu ệm mạnh vô hạn ới thiệu ố chiều khác nhau ền tảng thần kinh học cho mạng tích chập

và nh ng phữ liệu ương 9: Mạng tích chậpng pháp nâng cao hi u năng c a phép tích ch p M ng tích ch p là m t ví ệm mạnh vô hạn ủa hàm tích chập cơ bản ập ạng Tích Chập ập ộng lực

d n i b t trong vi c các nguyên lý th n kinh h c nh hục Lụ ( ập ệm mạnh vô hạn ầu ra có cấu trúc ọc cho mạng tích chập ản ư%ng t i h c sâu nh th nào ới thiệu ọc cho mạng tích chập ư ến thể của hàm tích chập cơ bảnChúng tôi sẽ th o lu n các nguyên lý th n kinh h c này và đ a ra k t lu n, nh n xét v vaiản ập ầu ra có cấu trúc ọc cho mạng tích chập ư ến thể của hàm tích chập cơ bản ập ập ền tảng thần kinh học cho mạng tích chậptrò c a m ng tích ch p trong l ch s h c sâu Chủa hàm tích chập cơ bản ạng Tích Chập ập ịch sử của học sâu ử của học sâu ọc cho mạng tích chập ương 9: Mạng tích chậpng này sẽ không đ c p t i vi c thi t ền tảng thần kinh học cho mạng tích chập ập ới thiệu ệm mạnh vô hạn ến thể của hàm tích chập cơ bản

k c u trúc m ng tích ch p M c tiêu c a chến thể của hàm tích chập cơ bản ấu trúc ạng Tích Chập ập ục Lụ ủa hàm tích chập cơ bản ương 9: Mạng tích chậpng này là gi i thích các công c mà m ng ản ục Lụ ạng Tích Chậptích ch p cung c p, còn l i, chập ấu trúc ạng Tích Chập ương 9: Mạng tích chậpng 11 sẽ hưới thiệung d n t ng quát v cách ch n công c phù ẫu nhiên hoặc không giám sát ( ền tảng thần kinh học cho mạng tích chập ọc cho mạng tích chập ục Lụ

h p theo hoàn c nh Nghiên c u v thi t k m ng tích ch p đang phát tri n nhanh t i ợc xem là lưới ản ứa ền tảng thần kinh học cho mạng tích chập ến thể của hàm tích chập cơ bản ến thể của hàm tích chập cơ bản ạng Tích Chập ập ể của hàm tích chập cơ bản ới thiệu

m c m i vài tu n t i vài tháng l i có m t ki n trúc m i t t h n đứa ỗi thời gian (time-series) có thể được xem là lưới ầu ra có cấu trúc ới thiệu ạng Tích Chập ộng lực ến thể của hàm tích chập cơ bản ới thiệu ố chiều khác nhau ơng 9: Mạng tích chập ược xem là lưới c công b theo t ng ố chiều khác nhau ừng tiêu chu n Do đó, chúng tôi không th k ra ki n trúc nào là t t nh t trong gi i h n m t * ể của hàm tích chập cơ bản ể của hàm tích chập cơ bản ến thể của hàm tích chập cơ bản ố chiều khác nhau ấu trúc ới thiệu ạng Tích Chập ộng lựcquy n sách Tuy nhiên, chúng tôi sẽ gi i thi u các thành t n n t ng t o nên các thi t k ể của hàm tích chập cơ bản ới thiệu ệm mạnh vô hạn ố chiều khác nhau ền tảng thần kinh học cho mạng tích chập ản ạng Tích Chập ến thể của hàm tích chập cơ bản ến thể của hàm tích chập cơ bảnnày

9.1 Phép tích chập

Đ nh nghĩa chung nh t c a tích ch p là m t phép toán gi a hai hàm có đ i s th c Chúng ịch sử của học sâu ấu trúc ủa hàm tích chập cơ bản ập ộng lực ữ liệu ố chiều khác nhau ố chiều khác nhau ựctôi sẽ đ a ra các ví d v hai hàm s ki u này đ gi i thích rõ h n.ư ục Lụ ền tảng thần kinh học cho mạng tích chập ố chiều khác nhau ể của hàm tích chập cơ bản ể của hàm tích chập cơ bản ản ơng 9: Mạng tích chập

Gi s ta đang theo dõi v trí m t con tàu vũ tr có c m bi n laser C m bi n laser cung ản ử của học sâu ịch sử của học sâu ộng lực ục Lụ ản ến thể của hàm tích chập cơ bản ản ến thể của hàm tích chập cơ bản

c p m t đ u ra duy nh t ấu trúc ộng lực ầu ra có cấu trúc ấu trúc x (t) là v trí c a con tàu t i th i đi m ịch sử của học sâu ủa hàm tích chập cơ bản ạng Tích Chập ời gian (time-series) có thể được xem là lưới ể của hàm tích chập cơ bản t C ản x và t đ u có giá tr ền tảng thần kinh học cho mạng tích chập ịch sử của học sâu

th c, nghĩa là ta có th có đực ể của hàm tích chập cơ bản ược xem là lưới c k t qu c a c m bi n laser b t kì th i đi m nào.ến thể của hàm tích chập cơ bản ản ủa hàm tích chập cơ bản ản ến thể của hàm tích chập cơ bản % ấu trúc ời gian (time-series) có thể được xem là lưới ể của hàm tích chập cơ bản

Bây gi , gi s c m ng laser b nhi u Đ gi m b t sai l ch trong vi c d đoán v trí con ời gian (time-series) có thể được xem là lưới ản ử của học sâu ản ứa ịch sử của học sâu ễn ể của hàm tích chập cơ bản ản ới thiệu ệm mạnh vô hạn ệm mạnh vô hạn ực ịch sử của học sâutàu, chúng ta sẽ l y trung bình m t vài phép đo Dĩ nhiên, các giá tr v a đo đấu trúc ộng lực ịch sử của học sâu ừng ược xem là lưới c càng g n ầu ra có cấu trúc

th i đi m hi n t i càng quan tr ng nên ta dùng trung bình có tr ng s , t c là coi tr ng các ời gian (time-series) có thể được xem là lưới ể của hàm tích chập cơ bản ệm mạnh vô hạn ạng Tích Chập ọc cho mạng tích chập ọc cho mạng tích chập ố chiều khác nhau ứa ọc cho mạng tích chậpgiá tr v a đo địch sử của học sâu ừng ược xem là lưới c Ta có th dùng hàm tr ng s ể của hàm tích chập cơ bản ọc cho mạng tích chập ố chiều khác nhau w (a), trong đó a là "tu i" c a giá tr đo ( ủa hàm tích chập cơ bản ịch sử của học sâu

N u s d ng phép toán trung bình có tr ng s nh v y t i m i th i đi m, ta sẽ có m t ến thể của hàm tích chập cơ bản ử của học sâu ục Lụ ọc cho mạng tích chập ố chiều khác nhau ư ập ạng Tích Chập ọc cho mạng tích chập ời gian (time-series) có thể được xem là lưới ể của hàm tích chập cơ bản ộng lựchàm m i ới thiệu s là ưới thiệu ược xem là lưới c l ng được xem là lưới c làm tr n c a v trí con tàu:ơng 9: Mạng tích chập ủa hàm tích chập cơ bản ịch sử của học sâu

s(t )= ∫ x (a)w (t−a)da

Phép toán này được xem là lưới ọc cho mạng tích chậpc g i là tích ch p ập Ta thười gian (time-series) có thể được xem là lưới ng bi uu di n b ng d u sao (ể của hàm tích chập cơ bản ễn ằng dấu sao ( ấu trúc ¿)

s(t )=(x∗w)(t).

Trong ví d trên, ục Lụ w ph i là m t hàm m t đ xác su t h p l , n u không, sẽ không thu đản ộng lực ập ộng lực ấu trúc ợc xem là lưới ệm mạnh vô hạn ến thể của hàm tích chập cơ bản ược xem là lưới c

đ u ra là trung bình có tr ng s Thêm n a, tr ng s ầu ra có cấu trúc ọc cho mạng tích chập ố chiều khác nhau ữ liệu ọc cho mạng tích chập ố chiều khác nhau w cho t t c các đ i s âm ph i b ngấu trúc ản ố chiều khác nhau ố chiều khác nhau ản ằng dấu sao (

0, n u không đ u ra sẽ tính t i c s li u đo đến thể của hàm tích chập cơ bản ầu ra có cấu trúc ới thiệu ản ố chiều khác nhau ệm mạnh vô hạn ược xem là lưới c trong tương 9: Mạng tích chậpng lai, v n n m ngoài kh ố chiều khác nhau ằng dấu sao ( ảnnăng c a chúng ta Đây là các ràng bu c c th cho ví d này Nhìn chung, phép tích ch p ủa hàm tích chập cơ bản ộng lực ục Lụ ể của hàm tích chập cơ bản ục Lụ ập

được xem là lưới c xác đ nh cho m i hàm v i tích phân nh trên địch sử của học sâu ọc cho mạng tích chập ới thiệu ư ược xem là lưới c xác đ nh và có th có m c đích s ịch sử của học sâu ể của hàm tích chập cơ bản ục Lụ ử của học sâu

d ng khác ch không ch đ tính trung bình có tr ng s ục Lụ ứa ỉ để tính trung bình có trọng số ể của hàm tích chập cơ bản ọc cho mạng tích chập ố chiều khác nhau

Trong thu t ng c a m ng tích ch p, đ i s đ u tiên c a phép tích ch p (trong ví d này, ập ữ liệu ủa hàm tích chập cơ bản ạng Tích Chập ập ố chiều khác nhau ố chiều khác nhau ầu ra có cấu trúc ủa hàm tích chập cơ bản ập ục Lụ

hàm x) thười gian (time-series) có thể được xem là lưới ng được xem là lưới ọc cho mạng tích chậpc g i là đ u vào ầng của mạng (input), và đ i s th hai (trong ví d này, hàm ố chiều khác nhau ố chiều khác nhau ứa ục Lụ w) là

lõi (kernel) Đ u ra đôi lúc đầu ra có cấu trúc ược xem là lưới ọc cho mạng tích chậpc g i là ánh x đ c tr ng ạng tích chập ặc trưng ưng (feature map).

Trong ví d c a chúng ta, vi c c m bi n laser đo đục Lụ ủa hàm tích chập cơ bản ệm mạnh vô hạn ản ến thể của hàm tích chập cơ bản ược xem là lưới % ấu trúcc b t kì th i đi m nào là phi th c ời gian (time-series) có thể được xem là lưới ể của hàm tích chập cơ bản ực

t Thông thến thể của hàm tích chập cơ bản ười gian (time-series) có thể được xem là lưới ng, khi làm vi c v i d li u trên máy tính, th i gian sẽ b r i r c hóa, và ệm mạnh vô hạn ới thiệu ữ liệu ệm mạnh vô hạn ời gian (time-series) có thể được xem là lưới ịch sử của học sâu ời gian (time-series) có thể được xem là lưới ạng Tích Chập

c m bi n sẽ cung c p d li u cách nhau m t kho ng th i gian nh t đ nh N u chúng ta giản ến thể của hàm tích chập cơ bản ấu trúc ữ liệu ệm mạnh vô hạn ộng lực ản ời gian (time-series) có thể được xem là lưới ấu trúc ịch sử của học sâu ến thể của hàm tích chập cơ bản ản

đ nh r ng c m ng đo theo giây thì sẽ th c t h n Ch s th i gian ịch sử của học sâu ằng dấu sao ( ản ứa ực ến thể của hàm tích chập cơ bản ơng 9: Mạng tích chập ỉ để tính trung bình có trọng số ố chiều khác nhau ời gian (time-series) có thể được xem là lưới t lúc đó có th là s ể của hàm tích chập cơ bản ố chiều khác nhau nguyên N u chúng ta gi đ nh ến thể của hàm tích chập cơ bản ản ịch sử của học sâu x và w được xem là lưới c tính theo s nguyên ố chiều khác nhau t, chúng ta có th đ nh ể của hàm tích chập cơ bản ịch sử của học sâunghĩa phép tích ch p r i r c:ập ời gian (time-series) có thể được xem là lưới ạng Tích Chập

s(t )=(x∗w)(t)=∑

a=−∞

∞

x (a)w(t−a).

Trong các ng d ng h c máy, đ u vào thứa ục Lụ ọc cho mạng tích chập ầu ra có cấu trúc ười gian (time-series) có thể được xem là lưới ng là m t m ng d li u đa chi u, và lõi thộng lực ản ữ liệu ệm mạnh vô hạn ền tảng thần kinh học cho mạng tích chập ười gian (time-series) có thể được xem là lưới ng

là m t m ng đa chi u các tham s tuỳ theo t ng thu t toán h c Ta g i các m ng đa chi u ộng lực ản ền tảng thần kinh học cho mạng tích chập ố chiều khác nhau ừng ập ọc cho mạng tích chập ọc cho mạng tích chập ản ền tảng thần kinh học cho mạng tích chậpnày là các tensor Vì m i ph n t c a đ u vào và lõi ph i đỗi thời gian (time-series) có thể được xem là lưới ầu ra có cấu trúc ử của học sâu ủa hàm tích chập cơ bản ầu ra có cấu trúc ản ược xem là lưới ưc l u tr hoàn toàn riêng ữ liệu

bi t, chúng ta thệm mạnh vô hạn ười gian (time-series) có thể được xem là lưới ng gi đ nh r ng các hàm này b ng ản ịch sử của học sâu ằng dấu sao ( ằng dấu sao ( 0 t i m i ch tr m t s đi m h u ạng Tích Chập ọc cho mạng tích chập ỗi thời gian (time-series) có thể được xem là lưới ừng ộng lực ố chiều khác nhau ể của hàm tích chập cơ bản ữ liệu

h n mà chúng ta l u tr các giá tr Nghĩa là, trong th c t , chúng ta có th tính t ng vô ạng Tích Chập ư ữ liệu ịch sử của học sâu ực ến thể của hàm tích chập cơ bản ể của hàm tích chập cơ bản (

h n b ng cách tính t ng m t lạng Tích Chập ằng dấu sao ( ( ộng lực ược xem là lưới ng h u h n các ph n t c a m ng.ữ liệu ạng Tích Chập ầu ra có cấu trúc ử của học sâu ủa hàm tích chập cơ bản ản

Cu i cùng, ta thố chiều khác nhau ười gian (time-series) có thể được xem là lưới ng s d ng hàm tích ch p trên nhi u h n m t tr c (axis) Ví d , n u ử của học sâu ục Lụ ập ền tảng thần kinh học cho mạng tích chập ơng 9: Mạng tích chập ộng lực ục Lụ ục Lụ ến thể của hàm tích chập cơ bảnchúng ta dùng m t b c nh ộng lực ứa ản 2 chi u ền tảng thần kinh học cho mạng tích chập I làm đ u vào, chúng ta c n s d ng m t lõi ầu ra có cấu trúc ầu ra có cấu trúc ử của học sâu ục Lụ ộng lực 2 chi u ền tảng thần kinh học cho mạng tích chập K

Thông thười gian (time-series) có thể được xem là lưới ng, công th c th hai đ n gi n h n đ i v i các th vi n h c máy, vì kho ng giáứa ứa ơng 9: Mạng tích chập ản ơng 9: Mạng tích chập ố chiều khác nhau ới thiệu ư ệm mạnh vô hạn ọc cho mạng tích chập ản

tr h p l c a ịch sử của học sâu ợc xem là lưới ệm mạnh vô hạn ủa hàm tích chập cơ bản m và n ít bi n đ ng h n.ến thể của hàm tích chập cơ bản ộng lực ơng 9: Mạng tích chập

Phép tích ch p có tính giáo hoán là vì ta đã ập đ o ản là mạng neuron sử dụng phép tích chập thay (flip) lõi tương 9: Mạng tích chậpng ng v i đ u vào, đ ng nghĩaứa ới thiệu ầu ra có cấu trúc ồng với phép tích chập sử

r ng khi ằng dấu sao ( m tăng, ch s g n v i đ u vào cũng tăng, nh ng ch s g n v i lõi l i gi m Lý do ỉ để tính trung bình có trọng số ố chiều khác nhau - ới thiệu ầu ra có cấu trúc ư ỉ để tính trung bình có trọng số ố chiều khác nhau - ới thiệu ạng Tích Chập ảnduy nh t cho vi c đ o lõi là đ đ m b o tính giao hoán Tính giao hoán ch h u d ng trongấu trúc ệm mạnh vô hạn ản ể của hàm tích chập cơ bản ản ản ỉ để tính trung bình có trọng số ữ liệu ục Lụ

vi c ch ng minh công th c, thệm mạnh vô hạn ứa ứa ười gian (time-series) có thể được xem là lưới ng không ph i là tính ch t quan tr ng khi th c thi m ng ản ấu trúc ọc cho mạng tích chập ực ạng Tích Chậpneuron Thay vào đó, nhi u th vi n m ng neuron s d ng m t hàm tền tảng thần kinh học cho mạng tích chập ư ệm mạnh vô hạn ạng Tích Chập ử của học sâu ục Lụ ộng lực ương 9: Mạng tích chậpng đương 9: Mạng tích chậpng, g i là ọc cho mạng tích chập

t ưngơn giản là mạng neuron sử dụng phép tích chập thay ng quan chéo (cross-correlation), v n tố chiều khác nhau ương 9: Mạng tích chậpng t hàm tích ch p nh ng không đ o lõi:ực ập ư ản

S(i , j)=(K∗I)(i , j)=∑

n

I (i+m, j+ n) K (m , n).

R t nhi u th vi n h c máy s d ng tấu trúc ền tảng thần kinh học cho mạng tích chập ư ệm mạnh vô hạn ọc cho mạng tích chập ử của học sâu ục Lụ ương 9: Mạng tích chậpng quan chéo nh ng g i nó là tích ch p Trong ư ọc cho mạng tích chập ập

cu n sách này, chúng tôi sẽ theo quy ố chiều khác nhau ưới thiệu ọc cho mạng tích chập ảnc g i c hai phép toán đ u là tích ch p và sẽ nói rõ ền tảng thần kinh học cho mạng tích chập ập

r ng th c s có đ o lõi hay không nh ng ch liên quan đ n đ o lõi Trong h c máy, ằng dấu sao ( ực ực ản % ữ liệu ỗi thời gian (time-series) có thể được xem là lưới ến thể của hàm tích chập cơ bản ản ọc cho mạng tích chậpthu t toán h c sẽ h c ra các giá tr phù h p c a lõi theo m t trình t phù h p, do đó thu t ập ọc cho mạng tích chập ọc cho mạng tích chập ịch sử của học sâu ợc xem là lưới ủa hàm tích chập cơ bản ộng lực ực ợc xem là lưới ậptoán h c d a trên tích ch p có đ o lõi sẽ h c lõi đã b đ o so v i lõi h c đọc cho mạng tích chập ực ập ản ọc cho mạng tích chập ịch sử của học sâu ản ới thiệu ọc cho mạng tích chập ược xem là lưới c b i thu t % ậptoán không có đ o lõi Phép tích ch p hi m khi ch đản ập ến thể của hàm tích chập cơ bản ỉ để tính trung bình có trọng số ược xem là lưới c dùng m t mình trong h c máy, ộng lực ọc cho mạng tích chập

mà thười gian (time-series) có thể được xem là lưới ng được xem là lưới c dùng đ ng th i v i các hàm khác, và s k t h p c a nh ng hàm này ồng với phép tích chập sử ời gian (time-series) có thể được xem là lưới ới thiệu ực ến thể của hàm tích chập cơ bản ợc xem là lưới ủa hàm tích chập cơ bản ữ liệukhông b nh hịch sử của học sâu ản ư%ng b t ch p có đ o hay không đ o lõi.ấu trúc ấu trúc ản ản

Xem Hình 9.1 v ví d c a phép tích ch p (không có đ o lõi) áp d ng cho tensor ền tảng thần kinh học cho mạng tích chập ục Lụ ủa hàm tích chập cơ bản ập ản ục Lụ 2 chi u.ền tảng thần kinh học cho mạng tích chập

Có th coi tích ch p r i r c là phép nhân ma tr n, tuy nhiên, ma tr n này có ràng bu c là ể của hàm tích chập cơ bản ập ời gian (time-series) có thể được xem là lưới ạng Tích Chập ập ập ộng lực

m t s ph n t trong ma tr n có giá tr b ng nhau Ví d , v i phép tích ch p r i r c đ n ộng lực ố chiều khác nhau ầu ra có cấu trúc ử của học sâu ập ịch sử của học sâu ằng dấu sao ( ục Lụ ới thiệu ập ời gian (time-series) có thể được xem là lưới ạng Tích Chập ơng 9: Mạng tích chập

bi n, m i hàng c a ma tr n b ràng bu c ph i b ng hàng bên trên nó khi d ch chuy n đi ến thể của hàm tích chập cơ bản ỗi thời gian (time-series) có thể được xem là lưới ủa hàm tích chập cơ bản ập ịch sử của học sâu ộng lực ản ằng dấu sao ( ịch sử của học sâu ể của hàm tích chập cơ bản 1

ph n t Đây g i là ầu ra có cấu trúc ử của học sâu ọc cho mạng tích chập ma tr n Toeplitz ập Trong trười gian (time-series) có thể được xem là lưới ng h p ợc xem là lưới 2 chi u, tích ch p tền tảng thần kinh học cho mạng tích chập ập ương 9: Mạng tích chậpng ng v i ứa ới thiệu

ma tr n tu n hoàn kh i hai m t ập ầng của mạng ối hai mặt ặc trưng (doubly block circulant matrix) Ngoài nh ng ràng bu c vữ liệu ộng lực ền tảng thần kinh học cho mạng tích chập

s b ng nhau c a các ph n t trong ma tr n, phép tích ch p thực ằng dấu sao ( ủa hàm tích chập cơ bản ầu ra có cấu trúc ử của học sâu ập ập ười gian (time-series) có thể được xem là lưới ng liên quan t i các ma ới thiệu

tr n r t th a (ma tr n mà h u h t các ph n t đ u b ng ập ấu trúc ư ập ầu ra có cấu trúc ến thể của hàm tích chập cơ bản ầu ra có cấu trúc ử của học sâu ền tảng thần kinh học cho mạng tích chập ằng dấu sao ( 0) Đi u này là do lõi thền tảng thần kinh học cho mạng tích chập ười gian (time-series) có thể được xem là lưới ng nhỏ

h n nhi u so v i nh đ u vào B t kì thu t toán m ng neuron nào ho t đ ng đơng 9: Mạng tích chập ền tảng thần kinh học cho mạng tích chập ới thiệu ản ầu ra có cấu trúc ấu trúc ập ạng Tích Chập ạng Tích Chập ộng lực ược xem là lưới c v i ới thiệuphép nhân ma tr n và không ph thu c vào các tính ch t đ c bi t c a c u trúc ma tr n ập ục Lụ ộng lực ấu trúc ặc trưng ngẫu nhiên hoặc không giám sát ệm mạnh vô hạn ủa hàm tích chập cơ bản ấu trúc ậpcũng sẽ ho t đ ng đạng Tích Chập ộng lực ược xem là lưới ới thiệuc v i phép tích ch p mà không c n thay đ i m ng neuron Các ập ầu ra có cấu trúc ( ạng Tích Chập

m ng neuron tích ch p đi n hình thạng Tích Chập ập ể của hàm tích chập cơ bản ười gian (time-series) có thể được xem là lưới ng dùng các kĩ thu t chuyên môn khác đ x lý đ u ập ể của hàm tích chập cơ bản ử của học sâu ầu ra có cấu trúcvào l n m t cách hi u qu , tuy nhiên v m t lý thuy t thì đi u này không ph i b t bu c.ới thiệu ộng lực ệm mạnh vô hạn ản ền tảng thần kinh học cho mạng tích chập ặc trưng ngẫu nhiên hoặc không giám sát ến thể của hàm tích chập cơ bản ền tảng thần kinh học cho mạng tích chập ản - ộng lực

9.2 Động lực

Phép tích ch p m ra c h i giúp c i thi n h th ng h c máy v i ập % ơng 9: Mạng tích chập ộng lực ản ệm mạnh vô hạn ệm mạnh vô hạn ố chiều khác nhau ọc cho mạng tích chập ới thiệu 3 ý tư%ng: t ưngơn giản là mạng neuron sử dụng phép tích chập thay ng tác

th a ưng (sparse interactions), dùng chung tham sối hai mặt (parameter sharing) và bi u di n đ ng ểu diễn đẳng ễn đẳng ẳng

bi n ến tính (equivariant reprentations) H n th , tích ch p còn cung c p công c đ làm vi c v i ơng 9: Mạng tích chập ến thể của hàm tích chập cơ bản ập ấu trúc ục Lụ ể của hàm tích chập cơ bản ệm mạnh vô hạn ới thiệu

đ u vào có kích thầu ra có cấu trúc ưới thiệuc thay đ i Chúng tôi sẽ gi i thích l n l( ản ầu ra có cấu trúc ược xem là lưới ừng c t ng ý tư%ng

Hình 9.1: M t ví d v tích ch p ột tầng của mạng ụng phép tích chập thay ề tích chập ập 2 chi u không đ o lõi Chúng ta gi i h n đ u ra ch t i các v trí có lõi n m ề tích chập ản là mạng neuron sử dụng phép tích chập thay ới hạn đầu ra chỉ tại các vị trí có lõi nằm ạng tích chập ầng của mạng ỉ tại các vị trí có lõi nằm ạng tích chập ị trí có lõi nằm ằm hoàn toàn trong nh, mà trong m t s hoàn c nh g i là tích ch p "h p l " Chúng tôi vẽ các ô v i mũi tên đ ản là mạng neuron sử dụng phép tích chập thay ột tầng của mạng ối hai mặt ản là mạng neuron sử dụng phép tích chập thay ọi là tích chập "hợp lệ" Chúng tôi vẽ các ô với mũi tên để ập ợp lệ" Chúng tôi vẽ các ô với mũi tên để ệ" Chúng tôi vẽ các ô với mũi tên để ới hạn đầu ra chỉ tại các vị trí có lõi nằm ểu diễn đẳng

mô t cách t o ph n t phía trên bên trái c a tensor b ng đ a lõi vào vùng phía trên bên trái t ản là mạng neuron sử dụng phép tích chập thay ạng tích chập ầng của mạng ử dụng phép tích chập thay ủa mạng ằm ưng ưngơn giản là mạng neuron sử dụng phép tích chập thay ng ng c a ứng của ủa mạng tensor đ u vào ầng của mạng

Các t ng m ng neuron truy n th ng dùng phép nhân ma tr n gi a ma tr n c a các tham ầu ra có cấu trúc ạng Tích Chập ền tảng thần kinh học cho mạng tích chập ố chiều khác nhau ập ữ liệu ập ủa hàm tích chập cơ bản

s v i m t tham s riêng bi t th hi n tố chiều khác nhau ới thiệu ộng lực ố chiều khác nhau ệm mạnh vô hạn ể của hàm tích chập cơ bản ệm mạnh vô hạn ương 9: Mạng tích chậpng tác gi a t ng đ n v đ u vào và t ng đ n v ữ liệu ừng ơng 9: Mạng tích chập ịch sử của học sâu ầu ra có cấu trúc ừng ơng 9: Mạng tích chập ịch sử của học sâu

đ u ra Nghĩa là, t t c đ n v đ u ra đ u tầu ra có cấu trúc ấu trúc ản ơng 9: Mạng tích chập ịch sử của học sâu ầu ra có cấu trúc ền tảng thần kinh học cho mạng tích chập ương 9: Mạng tích chậpng tác v i t t c đ n v đ u vào Tuy nhiên, ới thiệu ấu trúc ản ơng 9: Mạng tích chập ịch sử của học sâu ầu ra có cấu trúccác m ng tích ch p l i thạng Tích Chập ập ạng Tích Chập ười gian (time-series) có thể được xem là lưới ng có các tương 9: Mạng tích chậpng tác th a (cũng đư ược xem là lưới ọc cho mạng tích chậpc g i là k t n i th a ến tính ối hai mặt ưng

(sparse connectivity) hay tr ng s th a ọi là tích chập "hợp lệ" Chúng tôi vẽ các ô với mũi tên để ối hai mặt ưng (sparse weight)) Đi u này đền tảng thần kinh học cho mạng tích chập ược xem là lưới ạng Tích Chậpc t o ra b ng cách ằng dấu sao (

s d ng lõi nh h n đ u vào Ví d , khi x lý m t b c nh, b c nh đ u vào có th có ử của học sâu ục Lụ ỏ ơng 9: Mạng tích chập ầu ra có cấu trúc ục Lụ ử của học sâu ộng lực ứa ản ứa ản ầu ra có cấu trúc ể của hàm tích chập cơ bảnhàng ngàn hay hàng tri u đi m nh, nh ng chúng ta v n có th nh n di n các đ c tr ng ệm mạnh vô hạn ể của hàm tích chập cơ bản ản ư ẫu nhiên hoặc không giám sát ể của hàm tích chập cơ bản ập ệm mạnh vô hạn ặc trưng ngẫu nhiên hoặc không giám sát ư

nh , có ý nghĩa nh các c nh v i các lõi ch ch ng hàng ch c hay hàng trăm đi m nh ỏ ư ạng Tích Chập ới thiệu ỉ để tính trung bình có trọng số ừng ục Lụ ể của hàm tích chập cơ bản ản

Đi u này nghĩa là chúng ta ch c n l u tr m t lền tảng thần kinh học cho mạng tích chập ỉ để tính trung bình có trọng số ầu ra có cấu trúc ư ữ liệu ộng lực ược xem là lưới ng tham s ít h n, giúp gi m c yêu c uố chiều khác nhau ơng 9: Mạng tích chập ản ản ầu ra có cấu trúc

v l u tr c a mô hình, cũng nh tăng tính hi u qu v m t th ng kê Đ ng th i, vi c tínhền tảng thần kinh học cho mạng tích chập ư ữ liệu ủa hàm tích chập cơ bản ư ệm mạnh vô hạn ản ền tảng thần kinh học cho mạng tích chập ặc trưng ngẫu nhiên hoặc không giám sát ố chiều khác nhau ồng với phép tích chập sử ời gian (time-series) có thể được xem là lưới ệm mạnh vô hạntoán đ u ra cũng c n ít phép toán h n Nh ng c i ti n v m t hi u qu này thầu ra có cấu trúc ầu ra có cấu trúc ơng 9: Mạng tích chập ữ liệu ản ến thể của hàm tích chập cơ bản ền tảng thần kinh học cho mạng tích chập ặc trưng ngẫu nhiên hoặc không giám sát ệm mạnh vô hạn ản ười gian (time-series) có thể được xem là lưới ng khá

l n N u có ới thiệu ến thể của hàm tích chập cơ bản m đ u vào và ầu ra có cấu trúc n đ u ra, phép nhân ma tr n c n ầu ra có cấu trúc ập ầu ra có cấu trúc m× n tham s , và các thu t toánố chiều khác nhau ậptrong th c t t n ực ến thể của hàm tích chập cơ bản ố chiều khác nhau O(m ×n) th i gian ch y (cho m i m u) N u chúng ta gi i h n đời gian (time-series) có thể được xem là lưới ạng Tích Chập ỗi thời gian (time-series) có thể được xem là lưới ẫu nhiên hoặc không giám sát ến thể của hàm tích chập cơ bản ới thiệu ạng Tích Chập ược xem là lưới ố chiều khác nhau c s

lược xem là lưới ng k t n i c a t ng đ u ra xu ng ến thể của hàm tích chập cơ bản ố chiều khác nhau ủa hàm tích chập cơ bản ừng ầu ra có cấu trúc ố chiều khác nhau k; phương 9: Mạng tích chậpng pháp k t n i th a ch c n ến thể của hàm tích chập cơ bản ố chiều khác nhau ư ỉ để tính trung bình có trọng số ầu ra có cấu trúc k × n tham s vàố chiều khác nhau

O(k × n) th i gian ch y Trong nhi u ng d ng th c t , ta có th đ t đời gian (time-series) có thể được xem là lưới ạng Tích Chập ền tảng thần kinh học cho mạng tích chập ứa ục Lụ ực ến thể của hàm tích chập cơ bản ể của hàm tích chập cơ bản ạng Tích Chập ược xem là lưới c k t qu t t cho ến thể của hàm tích chập cơ bản ản ố chiều khác nhau nhi u tác v h c máy trong khi gi ền tảng thần kinh học cho mạng tích chập ục Lụ ọc cho mạng tích chập ữ liệu k nh h n ỏ ơng 9: Mạng tích chập m vài b c Xem hình 9.2 và hình 9.3 đ hình ập ể của hàm tích chập cơ bảndung k t n i th a Trong m ng tích ch p đa t ng, các đ n v trong các t ng sâu h n có thến thể của hàm tích chập cơ bản ố chiều khác nhau ư ạng Tích Chập ập ầu ra có cấu trúc ơng 9: Mạng tích chập ịch sử của học sâu ầu ra có cấu trúc ơng 9: Mạng tích chập ể của hàm tích chập cơ bản

tương 9: Mạng tích chậpng tác gián ti p v i m t ph n l n đ u vào, nh trong hình 9.4 Đi u này cho phép ến thể của hàm tích chập cơ bản ới thiệu ộng lực ầu ra có cấu trúc ới thiệu ầu ra có cấu trúc ư ền tảng thần kinh học cho mạng tích chập

m ng di n t m t cách hi u qu các tạng Tích Chập ễn ản ộng lực ệm mạnh vô hạn ản ương 9: Mạng tích chậpng tác ph c t p gi a nhi u bi n b ng cách t o ra ứa ạng Tích Chập ữ liệu ền tảng thần kinh học cho mạng tích chập ến thể của hàm tích chập cơ bản ằng dấu sao ( ạng Tích Chậpcác tương 9: Mạng tích chậpng tác t các kh i xây d ng đ n gi n mà t ng kh i ch di n t các từng ố chiều khác nhau ực ơng 9: Mạng tích chập ản ừng ố chiều khác nhau ỉ để tính trung bình có trọng số ễn ản ương 9: Mạng tích chậpng tác th a.ư

Hình 9.2: K t n i th a, xem hình h ến tính ối hai mặt ưng ưngới hạn đầu ra chỉ tại các vị trí có lõi nằm ng t d ừ dưới lên trên Chúng tôi tô đậm một đơn vị đầu vào, ưngới hạn đầu ra chỉ tại các vị trí có lõi nằm i lên trên Chúng tôi tô đ m m t đ n v đ u vào, ập ột tầng của mạng ơn giản là mạng neuron sử dụng phép tích chập thay ị trí có lõi nằm ầng của mạng x3, và các đ n ơn giản là mạng neuron sử dụng phép tích chập thay

v đ u ra trong ị trí có lõi nằm ầng của mạng s ch u nh h ị trí có lõi nằm ản là mạng neuron sử dụng phép tích chập thay ưngởng của đầu vào này ng c a đ u vào này ủa mạng ầng của mạng (Hình phía trên) Khi s đ ưngợp lệ" Chúng tôi vẽ các ô với mũi tên để ạng tích chập c t o nên t tích ch p v i m t ừ dưới lên trên Chúng tôi tô đậm một đơn vị đầu vào, ập ới hạn đầu ra chỉ tại các vị trí có lõi nằm ột tầng của mạng lõi có đ r ng ột tầng của mạng ột tầng của mạng 3, ch có ba đ u ra b ỉ tại các vị trí có lõi nằm ầng của mạng ị trí có lõi nằm x nh h ản là mạng neuron sử dụng phép tích chập thay ưngởng của đầu vào này ng (Hình phía dưới thiệu Khi i) s đ ưngợp lệ" Chúng tôi vẽ các ô với mũi tên để ạng tích chập c t o b i phép nhân ma tr n, k t ởng của đầu vào này ập ến tính

n i không còn th a n a, nên t t c đ u ra đ u b ối hai mặt ưng ữa, nên tất cả đầu ra đều bị ất một tầng của mạng ản là mạng neuron sử dụng phép tích chập thay ầng của mạng ề tích chập ị trí có lõi nằm x3 nh h ản là mạng neuron sử dụng phép tích chập thay ưngởng của đầu vào này ng.

Hình 9.3: K t n i th a, xem hình h ến tính ối hai mặt ưng ưngới hạn đầu ra chỉ tại các vị trí có lõi nằm ng t trên xu ng d ừ dưới lên trên Chúng tôi tô đậm một đơn vị đầu vào, ối hai mặt ưngới hạn đầu ra chỉ tại các vị trí có lõi nằm i Chúng tôi tô đ m m t đ n v đ u ra, ập ột tầng của mạng ơn giản là mạng neuron sử dụng phép tích chập thay ị trí có lõi nằm ầng của mạng s3, và các

đ n v đ u vào trong ơn giản là mạng neuron sử dụng phép tích chập thay ị trí có lõi nằm ầng của mạng x b đ u ra này nh h ị trí có lõi nằm ầng của mạng ản là mạng neuron sử dụng phép tích chập thay ưngởng của đầu vào này ng Các đ n v này đ ơn giản là mạng neuron sử dụng phép tích chập thay ị trí có lõi nằm ưngợp lệ" Chúng tôi vẽ các ô với mũi tên để c g i là ọi là tích chập "hợp lệ" Chúng tôi vẽ các ô với mũi tên để tr ười gian (time-series) có thể được xem là lưới ng ti p nh n ến thể của hàm tích chập cơ bản ập (receptive field)

c a ủa mạng s3 (Hình phía trên) Khi s đ ưngợp lệ" Chúng tôi vẽ các ô với mũi tên để ạng tích chập c t o ra t tích ch p v i m t lõi có đ r ng ừ dưới lên trên Chúng tôi tô đậm một đơn vị đầu vào, ập ới hạn đầu ra chỉ tại các vị trí có lõi nằm ột tầng của mạng ột tầng của mạng ột tầng của mạng 3, ch có ba đ u vào nh h ỉ tại các vị trí có lõi nằm ầng của mạng ản là mạng neuron sử dụng phép tích chập thay ưngởng của đầu vào này ng

s3 (Hình phía d ưới thiệu Khi i) s đ ưngợp lệ" Chúng tôi vẽ các ô với mũi tên để ạng tích chập c t o b i phép nhân ma tr n, k t n i không còn th a n a, nên t t c đ u vào ởng của đầu vào này ập ến tính ối hai mặt ưng ữa, nên tất cả đầu ra đều bị ất một tầng của mạng ản là mạng neuron sử dụng phép tích chập thay ầng của mạng

đ u nh h ề tích chập ản là mạng neuron sử dụng phép tích chập thay ưngởng của đầu vào này ng x3.

Hình 9.4 Trong m ng tích ch p, tr ạng tích chập ập ưng ng ti p nh n c a các đ n v trong các t ng sâu h n l n h n tr ến tính ập ủa mạng ơn giản là mạng neuron sử dụng phép tích chập thay ị trí có lõi nằm ầng của mạng ơn giản là mạng neuron sử dụng phép tích chập thay ới hạn đầu ra chỉ tại các vị trí có lõi nằm ơn giản là mạng neuron sử dụng phép tích chập thay ưng ng ti p ến tính

nh n c a các đ n v trong các t ng nông Hi u ng này sẽ tăng lên n u m ng l ập ủa mạng ơn giản là mạng neuron sử dụng phép tích chập thay ị trí có lõi nằm ầng của mạng ệ" Chúng tôi vẽ các ô với mũi tên để ứng của ến tính ạng tích chập ưngới hạn đầu ra chỉ tại các vị trí có lõi nằm i có các tính ch t thi t k ất một tầng của mạng ến tính ến tính

nh ưng tích ch p s iập ản (strided convolution) (Hình 9.12) hay g p (ph n 9.3) Nghĩa là m c dù các k t n i tr c ti p ột tầng của mạng ầng của mạng ặc trưng ến tính ối hai mặt ực tiếp ến tính trong m ng tích ch p r t th a, các đ n v trong các l p sâu h n v n có th k t n i gián ti p v i t t c hay ạng tích chập ập ất một tầng của mạng ưng ơn giản là mạng neuron sử dụng phép tích chập thay ị trí có lõi nằm ới hạn đầu ra chỉ tại các vị trí có lõi nằm ơn giản là mạng neuron sử dụng phép tích chập thay ẫn có thể kết nối gián tiếp với tất cả hay ểu diễn đẳng ến tính ối hai mặt ến tính ới hạn đầu ra chỉ tại các vị trí có lõi nằm ất một tầng của mạng ản là mạng neuron sử dụng phép tích chập thay

h u h t các nh đ u vào ầng của mạng ến tính ản là mạng neuron sử dụng phép tích chập thay ầng của mạng

Dùng chung tham s ám ch đ n vi c s d ng chung tham s cho nhi u h n m t hàm ố chiều khác nhau ỉ để tính trung bình có trọng số ến thể của hàm tích chập cơ bản ệm mạnh vô hạn ử của học sâu ục Lụ ố chiều khác nhau ền tảng thần kinh học cho mạng tích chập ơng 9: Mạng tích chập ộng lựctrong mô hình Trong m ng neuron truy n th ng, t ng ph n t c a ma tr n tr ng s ạng Tích Chập ền tảng thần kinh học cho mạng tích chập ố chiều khác nhau ừng ầu ra có cấu trúc ử của học sâu ủa hàm tích chập cơ bản ập ọc cho mạng tích chập ố chiều khác nhau

được xem là lưới ử của học sâu ục Lục s d ng m t l n duy nh t khi tính toán đ u ra c a m t t ng Nó động lực ầu ra có cấu trúc ấu trúc ầu ra có cấu trúc ủa hàm tích chập cơ bản ộng lực ầu ra có cấu trúc ược xem là lưới c nhân v i m t ới thiệu ộng lực

ph n t c a đ u vào và không bao gi đầu ra có cấu trúc ử của học sâu ủa hàm tích chập cơ bản ầu ra có cấu trúc ời gian (time-series) có thể được xem là lưới ược xem là lưới ử của học sâu ục Lục s d ng l i n a M t cách tạng Tích Chập ữ liệu ộng lực ương 9: Mạng tích chậpng đương 9: Mạng tích chậpng v i ới thiệudùng chung tham s , chúng ta có th nói ma tr n có ố chiều khác nhau ể của hàm tích chập cơ bản ập liên k t tr ng s (tied weights) ến tính ọi là tích chập "hợp lệ" Chúng tôi vẽ các ô với mũi tên để ối hai mặt (DuongNGUYEN: mình đ xu t đ i l i thành các ền tảng thần kinh học cho mạng tích chập ấu trúc ( ạng Tích Chập tr ng s có liên k t ọi là tích chập "hợp lệ" Chúng tôi vẽ các ô với mũi tên để ối hai mặt ến tính ho c ặc trưng ngẫu nhiên hoặc không giám sát tr ng s có k t n i ọi là tích chập "hợp lệ" Chúng tôi vẽ các ô với mũi tên để ối hai mặt ến tính ối hai mặt ho cặc trưng ngẫu nhiên hoặc không giám sát

tr ng s có ràng bu c ọi là tích chập "hợp lệ" Chúng tôi vẽ các ô với mũi tên để ối hai mặt ột tầng của mạng , danh t chính đây là tr ng s ch không ph i liên k t), vì giá tr ừng % ọc cho mạng tích chập ố chiều khác nhau ứa ản ến thể của hàm tích chập cơ bản ịch sử của học sâu

c a tr ng s cho m t đ u vào đủa hàm tích chập cơ bản ọc cho mạng tích chập ố chiều khác nhau ộng lực ầu ra có cấu trúc ược xem là lưới -c g n v i giá tr c a tr ng s ch khác Trong m ng ới thiệu ịch sử của học sâu ủa hàm tích chập cơ bản ọc cho mạng tích chập ố chiều khác nhau % ỗi thời gian (time-series) có thể được xem là lưới ạng Tích Chậpneuron tích ch p, t ng thành ph n c a lõi đập ừng ầu ra có cấu trúc ủa hàm tích chập cơ bản ược xem là lưới ử của học sâu ục Lục s d ng t t c các v trí c a đ u vào (có% ấu trúc ản ịch sử của học sâu ủa hàm tích chập cơ bản ầu ra có cấu trúc

lẽ ch tr vài đi m nh biên, tuỳ thu c vào các các thi t k liên quan t i biên) Dùng ỉ để tính trung bình có trọng số ừng ể của hàm tích chập cơ bản ản % ộng lực ến thể của hàm tích chập cơ bản ến thể của hàm tích chập cơ bản ới thiệuchung tham s dùng trong tích ch p nghĩa là thay vì h c m i b tham s riêng bi t cho ố chiều khác nhau ập ọc cho mạng tích chập ỗi thời gian (time-series) có thể được xem là lưới ộng lực ố chiều khác nhau ệm mạnh vô hạn

m i v trí, ta ch h c m t b tham s duy nh t Đi u này không nh hỗi thời gian (time-series) có thể được xem là lưới ịch sử của học sâu ỉ để tính trung bình có trọng số ọc cho mạng tích chập ộng lực ộng lực ố chiều khác nhau ấu trúc ền tảng thần kinh học cho mạng tích chập ản ư%ng t i th i gian ới thiệu ời gian (time-series) có thể được xem là lưới

ch y c a quá trình lan truy n thu n-v n là ạng Tích Chập ủa hàm tích chập cơ bản ền tảng thần kinh học cho mạng tích chập ập ẫu nhiên hoặc không giám sát O(k × n)-nh ng làm gi m đáng k nhu c u l u ư ản ể của hàm tích chập cơ bản ầu ra có cấu trúc ư

tr c a mô hình xu ng còn ữ liệu ủa hàm tích chập cơ bản ố chiều khác nhau k tham s Nh c l i r ng: ố chiều khác nhau - ạng Tích Chập ằng dấu sao ( k thười gian (time-series) có thể được xem là lưới ng nh h n ỏ ơng 9: Mạng tích chập m vài b c Vì ập m và

n thười gian (time-series) có thể được xem là lưới ng có kích c g n tỡ gần tương đương, ầu ra có cấu trúc ương 9: Mạng tích chậpng đương 9: Mạng tích chậpng, k th c t thực ến thể của hàm tích chập cơ bản ười gian (time-series) có thể được xem là lưới ng không đáng k so v i ể của hàm tích chập cơ bản ới thiệu m× n Tích

ch p nh đó hi u qu h n r t nhi u so v i vi c nhân ma tr n v m t yêu c u b nh và ập ời gian (time-series) có thể được xem là lưới ệm mạnh vô hạn ản ơng 9: Mạng tích chập ấu trúc ền tảng thần kinh học cho mạng tích chập ới thiệu ệm mạnh vô hạn ập ền tảng thần kinh học cho mạng tích chập ặc trưng ngẫu nhiên hoặc không giám sát ầu ra có cấu trúc ộng lực ới thiệu

hi u qu th ng kê Xem Hình 9.5 đ hi u mô t minh h a cách ệm mạnh vô hạn ản ố chiều khác nhau ể của hàm tích chập cơ bản ể của hàm tích chập cơ bản ản ọc cho mạng tích chập dùng chung tham sối hai mặt ho t ạng Tích Chập

ch đ ỉ tại các vị trí có lõi nằm ưngợp lệ" Chúng tôi vẽ các ô với mũi tên để c dùng m t l n ột tầng của mạng ầng của mạng

Đ l y ví d cho hai quy t c này trong th c t , hình 9.6 cho th y k t n i th a và dùng ể của hàm tích chập cơ bản ấu trúc ục Lụ - ực ến thể của hàm tích chập cơ bản ấu trúc ến thể của hàm tích chập cơ bản ố chiều khác nhau ưchung tham s có th c i thi n đáng k hi u qu c a hàm tuy n tính trong vi c phát hi n ố chiều khác nhau ể của hàm tích chập cơ bản ản ệm mạnh vô hạn ể của hàm tích chập cơ bản ệm mạnh vô hạn ản ủa hàm tích chập cơ bản ến thể của hàm tích chập cơ bản ệm mạnh vô hạn ệm mạnh vô hạn

c nh trong m t b c nh.ạng Tích Chập ộng lực ứa ản

Hình 9.6 Hiệu quả của nhận diện cạnh biên Hình bên phải được tạo nên bằng các lấy từng điểm ảnh trong ảnh gốc

và trừ đi giá trị của điểm ảnh lân cận bên trái Nó cho thấy cường độ của tất cả các cạnh hướng dọc trong ảnh đầu vào, vốn có nhiều khả năng có ích trong việc nhận diện vật thể Cả hai bức ảnh đều cao 280 điểm ảnh Ảnh đầu vào rộng 320 điểm ảnh, trong khi ảnh đầu ra rộng 319 điểm ảnh Biến đổi này có thể được mô tả bằng một lõi tích chập có 2 phần tử, và cần 319 ×280 ×3=267.960 phép toán dấu phẩy động (floating point operations)

(hai phép nhân và một phép cộng cho mỗi điểm ảnh đầu ra) để tính toán sử dụng tích chập Để mô tả một biến đổi này bằng phép nhân ma trận, cần 320 ×280 ×319 ×280, hay hơn 8 tỷ phần tử trong ma trận, chỉ ra tích chập hiệu quả hơn 4 tỷ lần trong việc thể hiện phép biến đổi này Thuật toán nhân ma trận trực tiếp thực hiện hơn 16

tỷ phép toán dấu phẩy động, chỉ ra tích chập hiệu quả hơn gần 60,000 lần về mặt tính toán Tất nhiên, hầu hết các phần tử trong ma trận có thể bằng 0 Nếu chúng ta chỉ lưu trữ các phần tử khác 0 của ma trận, cả phép nhân ma trận và tích chập có thể cần lượng phép toán dấu phẩy động tương đương nhau trong tính toán Ma trận vẫn sẽ cần phải chứa 2 ×319 ×280=178.640 phần tử Tích chập là cách cực kì hiệu quả để mô tả phép biến đổi áp dụng cùng một biến đổi tuyến tính cho một vùng nhỏ cục bộ lên toàn bộ đầu vào Nguồn: Paula Goodfellow.

Trong trười gian (time-series) có thể được xem là lưới ng h p tích ch p, có m t d ng c th c a dùng chung tham s khi n cho m t ợc xem là lưới ập ộng lực ạng Tích Chập ục Lụ ể của hàm tích chập cơ bản ủa hàm tích chập cơ bản ố chiều khác nhau ến thể của hàm tích chập cơ bản ộng lực

t ng có m t tính ch t g i là tính đ ng bi n đ i v i phép t nh ti n M t hàm đầu ra có cấu trúc ộng lực ấu trúc ọc cho mạng tích chập ẳng biến đối với phép tịnh tiến Một hàm được gọi là có ến thể của hàm tích chập cơ bản ố chiều khác nhau ới thiệu ịch sử của học sâu ến thể của hàm tích chập cơ bản ộng lực ược xem là lưới ọc cho mạng tích chậpc g i là có tính đ ng bi n khi đ u vào thay đ i, đ u ra cũng thay đ i theo cùng m t cách nh v y ẳng biến đối với phép tịnh tiến Một hàm được gọi là có ến thể của hàm tích chập cơ bản ầu ra có cấu trúc ( ầu ra có cấu trúc ( ộng lực ư ập

Đ c bi t, hàm ặc trưng ngẫu nhiên hoặc không giám sát ệm mạnh vô hạn f (x) đ ng bi n v i hàm ẳng biến đối với phép tịnh tiến Một hàm được gọi là có ến thể của hàm tích chập cơ bản ới thiệu g n u ến thể của hàm tích chập cơ bản f (g(x ))=g (f ( x)) Trong trười gian (time-series) có thể được xem là lưới ng h p tích ợc xem là lưới

ch p, n u ta cho hàm ập ến thể của hàm tích chập cơ bản g b t kì t nh ti n đ u vào, nghĩa là d ch chuy n nó, thì hàm tích ch pấu trúc ịch sử của học sâu ến thể của hàm tích chập cơ bản ầu ra có cấu trúc ịch sử của học sâu ể của hàm tích chập cơ bản ập

đ ng bi n v i ẳng biến đối với phép tịnh tiến Một hàm được gọi là có ến thể của hàm tích chập cơ bản ới thiệu g Ví d , cho ục Lụ I là hàm ch ra đ sáng c a nh các t a đ nguyên Cho ỉ để tính trung bình có trọng số ộng lực ủa hàm tích chập cơ bản ản % ọc cho mạng tích chập ộng lực g là

m t hàm ánh x m t hàm nh t i hàm nh khác, sao cho ộng lực ạng Tích Chập ộng lực ản ới thiệu ản I '=g(I ) là hàm nh v iản ới thiệu

I ' (x , y )=I (x−1 , y ) Vi c này d ch chuy n t t c các đi m nh c a ệm mạnh vô hạn ịch sử của học sâu ể của hàm tích chập cơ bản ấu trúc ản ể của hàm tích chập cơ bản ản ủa hàm tích chập cơ bản I m t đ n v sang ph i.ộng lực ơng 9: Mạng tích chập ịch sử của học sâu ản

N u ta áp d ng phép bi n đ i này vào ến thể của hàm tích chập cơ bản ục Lụ ến thể của hàm tích chập cơ bản ( I, sau đó áp d ng tích ch p, k t qu sẽ gi ng nh taục Lụ ập ến thể của hàm tích chập cơ bản ản ố chiều khác nhau ư

áp d ng tích ch p vào ục Lụ ập I ', sau đó áp d ng phép bi n đ i ục Lụ ến thể của hàm tích chập cơ bản ( g vào đ u ra Khi x lý d li u ầu ra có cấu trúc ử của học sâu ữ liệu ệm mạnh vô hạnchu i th i gian, đi u này nghĩa là tích ch p t o ra m t lo i dòng th i gian ch ra khi nào ỗi thời gian (time-series) có thể được xem là lưới ời gian (time-series) có thể được xem là lưới ền tảng thần kinh học cho mạng tích chập ập ạng Tích Chập ộng lực ạng Tích Chập ời gian (time-series) có thể được xem là lưới ỉ để tính trung bình có trọng số.các tính ch t khác nhau xu t hi n trong đ u vào N u t i đ u vào ta t nh ti n m t s ki n ấu trúc ấu trúc ệm mạnh vô hạn ầu ra có cấu trúc ến thể của hàm tích chập cơ bản ạng Tích Chập ầu ra có cấu trúc ịch sử của học sâu ến thể của hàm tích chập cơ bản ộng lực ực ệm mạnh vô hạn

v th i đi m mu n h n thì bi u di n gi ng h t c a s ki n đó cũng xu t hi n trong đ u ền tảng thần kinh học cho mạng tích chập ời gian (time-series) có thể được xem là lưới ể của hàm tích chập cơ bản ộng lực ơng 9: Mạng tích chập ể của hàm tích chập cơ bản ễn ố chiều khác nhau ệm mạnh vô hạn ủa hàm tích chập cơ bản ực ệm mạnh vô hạn ấu trúc ệm mạnh vô hạn ầu ra có cấu trúc

ra, ch mu n h n thôi Tỉ để tính trung bình có trọng số ộng lực ơng 9: Mạng tích chập ương 9: Mạng tích chậpng t v i hình nh, tích ch p t o m t ánh x ực ới thiệu ản ập ạng Tích Chập ộng lực ạng Tích Chập 2 chi u cho bi t ền tảng thần kinh học cho mạng tích chập ến thể của hàm tích chập cơ bảnkhi nào các tính ch t c th xu t hi n trong đ u vào N u chúng ta di chuy n m t v t th ấu trúc ục Lụ ể của hàm tích chập cơ bản ấu trúc ệm mạnh vô hạn ầu ra có cấu trúc ến thể của hàm tích chập cơ bản ể của hàm tích chập cơ bản ộng lực ập ể của hàm tích chập cơ bảntrong đ u vào, bi n di n c a nó cũng sẽ b di chuy n m t lầu ra có cấu trúc ể của hàm tích chập cơ bản ễn ủa hàm tích chập cơ bản ịch sử của học sâu ể của hàm tích chập cơ bản ộng lực ược xem là lưới ng tương 9: Mạng tích chậpng đương 9: Mạng tích chậpng trong đ u ầu ra có cấu trúc

ra Đi u này có l i khi chúng ta bi t hàm nào đó c a m t lền tảng thần kinh học cho mạng tích chập ợc xem là lưới ến thể của hàm tích chập cơ bản ủa hàm tích chập cơ bản ộng lực ược xem là lưới ng nh các đi m nh lân c n ỏ ể của hàm tích chập cơ bản ản ậpdùng được xem là lưới c cho nhi u v trí đ u vào Ví d , khi x lý nh, xác đ nh đền tảng thần kinh học cho mạng tích chập ịch sử của học sâu ầu ra có cấu trúc ục Lụ ử của học sâu ản ịch sử của học sâu ược xem là lưới ạng Tích Chậpc c nh trong t ng ầu ra có cấu trúc

đ u tiên c a m ng tích ch p sẽ có l i Nh ng c nh gi ng nhau đ u ít nhi u xu t hi n ầu ra có cấu trúc ủa hàm tích chập cơ bản ạng Tích Chập ập ợc xem là lưới ữ liệu ạng Tích Chập ố chiều khác nhau ền tảng thần kinh học cho mạng tích chập ền tảng thần kinh học cho mạng tích chập ấu trúc ệm mạnh vô hạn

kh p n i trong nh, v y nên chia s các tham s kh p nh là m t vi c th c t Trong m t - ơng 9: Mạng tích chập ản ập ẻ các tham số khắp ảnh là một việc thực tế Trong một ố chiều khác nhau - ản ộng lực ệm mạnh vô hạn ực ến thể của hàm tích chập cơ bản ộng lựcvài trười gian (time-series) có thể được xem là lưới ng h p, chúng ta không mu n chia s các tham s kh p c nh Ví d , n u chúng ợc xem là lưới ố chiều khác nhau ẻ các tham số khắp ảnh là một việc thực tế Trong một ố chiều khác nhau - ản ản ục Lụ ến thể của hàm tích chập cơ bản

ta x lý nh đã đử của học sâu ản ược xem là lưới c xén cho t p trung vào m t m t ngập ặc trưng ngẫu nhiên hoặc không giám sát ộng lực ười gian (time-series) có thể được xem là lưới i, chúng ta mu n trích xu t các ố chiều khác nhau ấu trúc

tính ch t khác nhau các đi m khác nhau—m t ph n c a m ng x lý ph n trên c a ấu trúc % ể của hàm tích chập cơ bản ộng lực ầu ra có cấu trúc ủa hàm tích chập cơ bản ạng Tích Chập ử của học sâu ầu ra có cấu trúc ủa hàm tích chập cơ bảnkhuôn m t c n tìm lông mày, trong khi m t ph n khác c a m ng lặc trưng ngẫu nhiên hoặc không giám sát ầu ra có cấu trúc ộng lực ầu ra có cấu trúc ủa hàm tích chập cơ bản ạng Tích Chập ưới thiệu ử của học sâui x lý ph n dầu ra có cấu trúc ưới thiệu ủa hàm tích chập cơ bảni c akhuôn m t c n tìm c m.ặc trưng ngẫu nhiên hoặc không giám sát ầu ra có cấu trúc ằng dấu sao (

Tích ch p không đ ng bi n v i m t s phép bi n đ i khác, nh phép phóng to, thu nh ập ẳng biến đối với phép tịnh tiến Một hàm được gọi là có ến thể của hàm tích chập cơ bản ới thiệu ộng lực ố chiều khác nhau ến thể của hàm tích chập cơ bản ( ư ỏhay phép xoay X lý nh ng phép bi n đ i này c n các c ch khác.ử của học sâu ữ liệu ến thể của hàm tích chập cơ bản ( ầu ra có cấu trúc ơng 9: Mạng tích chập ến thể của hàm tích chập cơ bản

Cu i cùng, có m t vài d ng d li u không th đố chiều khác nhau ộng lực ạng Tích Chập ữ liệu ệm mạnh vô hạn ể của hàm tích chập cơ bản ược xem là lưới ử của học sâuc x lý b i các m ng neuron đ% ạng Tích Chập ược xem là lưới c đ nh ịch sử của học sâunghĩa b i phép nhân ma tr n v i ma tr n có hình d ng c đ nh Tích ch p cho phép x lý % ập ới thiệu ập ạng Tích Chập ố chiều khác nhau ịch sử của học sâu ập ử của học sâu

m t vài d ng d li u này Chúng ta sẽ th o lu n đi u này sâu h n trong ph n 9.7.ộng lực ạng Tích Chập ữ liệu ệm mạnh vô hạn ản ập ền tảng thần kinh học cho mạng tích chập ơng 9: Mạng tích chập ầu ra có cấu trúc

9.3 Phép toán gộp

M t t ng m ng tích ch p đi n hình g m ba giai đo n (xem hình 9.7) Trong giai đo n đ u ộng lực ầu ra có cấu trúc ạng Tích Chập ập ể của hàm tích chập cơ bản ồng với phép tích chập sử ạng Tích Chập ạng Tích Chập ầu ra có cấu trúctiên, t ng m ng th c hi n song song m t vài phép tích ch p đ t o ra m t t p các tín hi uầu ra có cấu trúc ạng Tích Chập ực ệm mạnh vô hạn ộng lực ập ể của hàm tích chập cơ bản ạng Tích Chập ộng lực ập ệm mạnh vô hạnkích ho t tuy n tính Trong giai đo n th hai, ta cho t ng tín hi u kích ho t tuy n tính ạng Tích Chập ến thể của hàm tích chập cơ bản ạng Tích Chập ứa ừng ệm mạnh vô hạn ạng Tích Chập ến thể của hàm tích chập cơ bản

ch y qua m t hàm kích ho t phi tuy n tính, nh ạng Tích Chập ộng lực ạng Tích Chập ến thể của hàm tích chập cơ bản ư hàm kích ho t tuy n tính hi u ch nh ạng tích chập ến tính ệ" Chúng tôi vẽ các ô với mũi tên để ỉ tại các vị trí có lõi nằm

(rectified linear activation function) Đôi lúc, ta g i giai đo n này là ọc cho mạng tích chập ạng Tích Chập giai đo n phát hi n ạng tích chập ệ" Chúng tôi vẽ các ô với mũi tên để

Trong giai đo n th ba, chúng ta sẽ dùng ạng Tích Chập ứa hàm g p ột tầng của mạng đ bi n đ i đ u ra thêm n a.ể của hàm tích chập cơ bản ến thể của hàm tích chập cơ bản ( ầu ra có cấu trúc ữ liệu

M t hàm g p thay th đ u ra c a m ng t i m t v trí nh t đ nh b ng m t thông s th ng ộng lực ộng lực ến thể của hàm tích chập cơ bản ầu ra có cấu trúc ủa hàm tích chập cơ bản ạng Tích Chập ạng Tích Chập ộng lực ịch sử của học sâu ấu trúc ịch sử của học sâu ằng dấu sao ( ộng lực ố chiều khác nhau ố chiều khác nhau

kê tóm t t c a các đ u ra lân c n Ví d , phép toán - ủa hàm tích chập cơ bản ầu ra có cấu trúc ập ục Lụ g p c c đ i ột tầng của mạng ực tiếp ạng tích chập (max pooling) (Zhouand

Chellappa, 1988) cho ta đ u ra c c đ i trong vùng lân c n hình ch nh t Các hàm h p phầu ra có cấu trúc ực ạng Tích Chập ập ữ liệu ập ộng lực (

bi n khác g m hàm trung bình c a vùng lân c n ch nh t, chu n ến thể của hàm tích chập cơ bản ồng với phép tích chập sử ủa hàm tích chập cơ bản ập ữ liệu ập * L2 c a vùng lân c n hình ủa hàm tích chập cơ bản ập

ch nh t, hay trung bình có tr ng s d a trên kho ng cách t i đi m nh trung tâm.ữ liệu ập ọc cho mạng tích chập ố chiều khác nhau ực ản ới thiệu ể của hàm tích chập cơ bản ản

Hình 9.7: Các thành phần của một tầng mạng neuron tích chập điển hình Có hai bộ thuật ngữ thường được sử

dụng để mô tả các tầng này (Hình bên trái) Trong bộ thuật ngữ này, mạng tích chập được xem là một số ít các lớp

tương đối phức tạp, với mỗi lớp có nhiều “giai đoạn” Ở đây có một ánh xạ một-một giữa các tensor lõi và các tầng

mạng Trong quyển sách này, ta thường sử dụng thuật ngữ này (Hình bên phải) Trong bộ thuật ngữ này, mạng tích

chập được xem như một số lượng lớn các tầng đơn giản; mỗi bước xử lý được coi là một tầng theo đúng nghĩa của

nó Điều này có nghĩa là không phải mọi “tầng” đều có tham số.

Trong m i trọc cho mạng tích chập ười gian (time-series) có thể được xem là lưới ng h p, phép toán g p giúp vi c bi u di n g n nh ợc xem là lưới ộng lực ệm mạnh vô hạn ể của hàm tích chập cơ bản ễn ầu ra có cấu trúc ư b t bi n ất một tầng của mạng ến tính () đ i v i các ố chiều khác nhau ới thiệuphép t nh ti n nh c a đ u vào Tính b t bi n đ i v i phép t nh ti n có nghĩa là n u ta ịch sử của học sâu ến thể của hàm tích chập cơ bản ỏ ủa hàm tích chập cơ bản ầu ra có cấu trúc ấu trúc ến thể của hàm tích chập cơ bản ố chiều khác nhau ới thiệu ịch sử của học sâu ến thể của hàm tích chập cơ bản ến thể của hàm tích chập cơ bản

d ch đ u vào m t lịch sử của học sâu ầu ra có cấu trúc ộng lực ược xem là lưới ng nh , giá tr c a h u h t đ u ra đã g p sẽ không thay đ i Hình 9.8 ỏ ịch sử của học sâu ủa hàm tích chập cơ bản ầu ra có cấu trúc ến thể của hàm tích chập cơ bản ầu ra có cấu trúc ộng lực (trình bày cách th c ho t đ ng c a phép g p ứa ạng Tích Chập ộng lực ủa hàm tích chập cơ bản ộng lực Tính b t bi n c a phép t nh ti n c c b có ất một tầng của mạng ến tính ủa mạng ị trí có lõi nằm ến tính ụng phép tích chập thay ột tầng của mạng

th là m t thu c tính h u ích khi ta quan tâm đ n s t n t i c a đ c tr ng h n là v trí ểu diễn đẳng ột tầng của mạng ột tầng của mạng ữa, nên tất cả đầu ra đều bị ến tính ực tiếp ồn tại của đặc trưng hơn là vị trí ạng tích chập ủa mạng ặc trưng ưng ơn giản là mạng neuron sử dụng phép tích chập thay ị trí có lõi nằm chính xác c a nó ủa mạng Ví d , khi xác đ nh m t hình nh có ch a m t khuôn m t, ta không c n ục Lụ ịch sử của học sâu ộng lực ản ứa ộng lực ặc trưng ngẫu nhiên hoặc không giám sát ầu ra có cấu trúc

bi t v trí c a m t chính xác t i to đ c a t ng đi m nh, ta ch c n bi t r ng có m t ến thể của hàm tích chập cơ bản ịch sử của học sâu ủa hàm tích chập cơ bản - ới thiệu ạng Tích Chập ộng lực ủa hàm tích chập cơ bản ừng ể của hàm tích chập cơ bản ản ỉ để tính trung bình có trọng số ầu ra có cấu trúc ến thể của hàm tích chập cơ bản ằng dấu sao ( ộng lực

m t phía bên trái c a khuôn m t và m t m t bên ph i khuôn m t là đ- % ủa hàm tích chập cơ bản ặc trưng ngẫu nhiên hoặc không giám sát ộng lực - % ản ặc trưng ngẫu nhiên hoặc không giám sát ược xem là lưới c Trong các tình hu ng khác, vi c b o toàn v trí c a các đ c tr ng l i quan tr ng h n Ví d , n u ố chiều khác nhau ệm mạnh vô hạn ản ịch sử của học sâu ủa hàm tích chập cơ bản ặc trưng ngẫu nhiên hoặc không giám sát ư ạng Tích Chập ọc cho mạng tích chập ơng 9: Mạng tích chập ục Lụ ến thể của hàm tích chập cơ bảnchúng ta mu n tìm m t góc đố chiều khác nhau ộng lực ược xem là lưới c xác đ nh b i hai c nh c t nhau t i m t hịch sử của học sâu % ạng Tích Chập - ạng Tích Chập ộng lực ưới thiệung c th nàoục Lụ ể của hàm tích chập cơ bản

đó, chúng ta c n ph i b o toàn v trí c a các c nh đ t t đ ki m tra xem chúng có tho ầu ra có cấu trúc ản ản ịch sử của học sâu ủa hàm tích chập cơ bản ạng Tích Chập ủa hàm tích chập cơ bản ố chiều khác nhau ể của hàm tích chập cơ bản ể của hàm tích chập cơ bản ảnmãn yêu c u trên hay không.ầu ra có cấu trúc

Hình 9.8: Phép gộp cực đại dẫn đến sự bất biến (Hình phía trên) Xét phần ở giữa đầu ra của một tầng tích chập

Hàng dưới cùng cho thấy kết quả đầu ra phi tuyến Hàng trên cùng hiển thị các kết quả đầu ra của phép gộp cực đại, với độ dài 1 điểm ảnh giữa các vùng gộp và độ rộng vùng gộp là 3 điểm ảnh (Hình phía dưới) Xét cùng một

mạng giống như trên, sau khi đầu vào bị dịch chuyển sang phải 1 điểm ảnh Mọi giá trị trong hàng dưới cùng đã thay đổi, nhưng chỉ một nửa giá trị trong hàng trên cùng thay đổi, bởi vì các bộ gộp cực đại chỉ nhạy với giá trị cực đại trong vùng lân cận, không nhạy với vị trí chính xác của nó.

Vi c s d ng phép g p có th đệm mạnh vô hạn ử của học sâu ục Lụ ộng lực ể của hàm tích chập cơ bản ược xem là lưới c xem nh là thêm vào m t tiên nghi m m nh vô h n ư ộng lực ệm mạnh vô hạn ạng Tích Chập ạng Tích Chập

r ng hàm mà các t ng h c ph i là b t bi n đ i v i các t nh ti n nh Khi gi đ nh này là ằng dấu sao ( ầu ra có cấu trúc ọc cho mạng tích chập ản ấu trúc ến thể của hàm tích chập cơ bản ố chiều khác nhau ới thiệu ịch sử của học sâu ến thể của hàm tích chập cơ bản ỏ ản ịch sử của học sâuchính xác, nó có th c i thi n đáng k hi u qu th ng kê c a m ng.ể của hàm tích chập cơ bản ản ệm mạnh vô hạn ể của hàm tích chập cơ bản ệm mạnh vô hạn ản ố chiều khác nhau ủa hàm tích chập cơ bản ạng Tích Chập

Phép g p trong mi n không gian t o ra s b t bi n đ i v i vi c t nh ti n, nh ng n u ộng lực ền tảng thần kinh học cho mạng tích chập ạng Tích Chập ực ấu trúc ến thể của hàm tích chập cơ bản ố chiều khác nhau ới thiệu ệm mạnh vô hạn ịch sử của học sâu ến thể của hàm tích chập cơ bản ư ến thể của hàm tích chập cơ bảnchúng ta g p các đ u ra c a các tích ch p động lực ầu ra có cấu trúc ủa hàm tích chập cơ bản ập ược xem là lưới c tham s hoá m t cách riêng bi t, các đ c ố chiều khác nhau ộng lực ệm mạnh vô hạn ặc trưng ngẫu nhiên hoặc không giám sát

tr ng có th h c các b t bi n theo các phép bi n đ i khác (xem hình 9.9).ư ể của hàm tích chập cơ bản ọc cho mạng tích chập ấu trúc ến thể của hàm tích chập cơ bản ến thể của hàm tích chập cơ bản (

Hình 9.9: Ví dụ về tính bất biến đã được học Một đơn vị gộp đã gộp nhiều đặc trưng được học bằng các tham số riêng biệt có thể học để trở nên bất biến đối với các phép biếnn đổi của đầu vào Ở đây chúng ta chỉ ra cách một

bộ 3 bộ lọc học được và một đơn vị gộp tối đa có thể học để trở nên bất biến đối với phép xoay Cả ba bộ lọc được mong đợi sẽ phát hiện được số 5 được viết tay Mỗi bộ lọc cố gắng để phù hợp với một hướng hơi khác nhau của

số 5 Khi số 5 xuất hiện trong đầu vào, bộ lọc tương ứng sẽ khớp với nó và gây ra một tín hiệu kích hoạt lớn trong đơn vị phát hiện Các đơn vị gộp tối đa sau đó có một tín hiệu kích hoạt lớn bất kể đơn vị phát hiện nào đã được kích hoạt Chúng ta chỉ ra ở đây quá trình mạng xử lý hai đầu vào khác nhau, kết quả trả về là hai đơn vị phát hiện khác nhau đã được kích hoạt Các hiệu ứng trên các đơn vị gộp là gần như nhau đối với hai cách Nguyên tắc này được tận dụng bởi các mạng lưới tối đa đầu ra (Goodfellow et al., 2013a) và các mạng tích chập khác Gộp tối đa trên các vị trí không gian là bất biến một cách tự nhiên đối với phép tịnh tiến; cách tiếp cận đa kênh này chỉ cần thiết cho việc học các phép biến đổi khác.

B i vì phép g p tóm t t các ph n h i c a toàn b vùng lân c n, ta có th s d ng ít đ n v % ộng lực - ản ồng với phép tích chập sử ủa hàm tích chập cơ bản ộng lực ập ể của hàm tích chập cơ bản ử của học sâu ục Lụ ơng 9: Mạng tích chập ịch sử của học sâu

g p h n so v i s đ n v phát hi n, b ng cách báo cáo các th ng kê tóm t t cho các vùng ộng lực ơng 9: Mạng tích chập ới thiệu ố chiều khác nhau ơng 9: Mạng tích chập ịch sử của học sâu ệm mạnh vô hạn ằng dấu sao ( ố chiều khác nhau

-g p r n-g ộng lực ộng lực k đi m nh cách nhau h n ể của hàm tích chập cơ bản ản ơng 9: Mạng tích chập 1 đi m nh Xem ví d hình 9.10 Đi u này c i thi nể của hàm tích chập cơ bản ản ục Lụ % ền tảng thần kinh học cho mạng tích chập ản ệm mạnh vô hạn

hi u su t tính toán c a m ng vì t ng ti p theo có s đ u vào ít h n kho ng ệm mạnh vô hạn ấu trúc ủa hàm tích chập cơ bản ạng Tích Chập ầu ra có cấu trúc ến thể của hàm tích chập cơ bản ố chiều khác nhau ầu ra có cấu trúc ơng 9: Mạng tích chập ản k l n Khi s ầu ra có cấu trúc ố chiều khác nhau

lược xem là lưới ng tham s trong t ng ti p theo là hàm c a kích thố chiều khác nhau ầu ra có cấu trúc ến thể của hàm tích chập cơ bản ủa hàm tích chập cơ bản ưới thiệuc đ u vào (ví d nh khi t ng ầu ra có cấu trúc ục Lụ ư ầu ra có cấu trúc

ti p theo là t ng k t n i đ y đ và d a trên phép nhân ma tr n), vi c gi m kích thến thể của hàm tích chập cơ bản ầu ra có cấu trúc ến thể của hàm tích chập cơ bản ố chiều khác nhau ầu ra có cấu trúc ủa hàm tích chập cơ bản ực ập ệm mạnh vô hạn ản ưới thiệuc

đ u vào này cũng có th d n đ n c i thi n hi u su t th ng kê và gi m yêu c u b nh đ ầu ra có cấu trúc ể của hàm tích chập cơ bản ẫu nhiên hoặc không giám sát ến thể của hàm tích chập cơ bản ản ệm mạnh vô hạn ệm mạnh vô hạn ấu trúc ố chiều khác nhau ản ầu ra có cấu trúc ộng lực ới thiệu ể của hàm tích chập cơ bản

l u tr các tham s ư ữ liệu ố chiều khác nhau

Hình 9.10: Gộp với mẫu lấy xuống Ở đây chúng ta sử dụng việc gộp tối đa với độ rộng là 3 và sải giữa các lần gộp là

2 Điều này làm giảm kích thước biểu diễn xuống một hệ số của 2, làm giảm gánh nặng tính toán và thống kê trên tầng tiếp theo Lưu ý rằng vùng gộp ngoài cùng bên phải có kích thước nhỏ hơn nhưng phải được tính vào nếu chúng ta không muốn bỏ qua một số đơn vị phát hiện.

Đ i v i nhi u tác v , vi c g p là r t c n thi t đ x lý các đ u vào có kích thố chiều khác nhau ới thiệu ền tảng thần kinh học cho mạng tích chập ục Lụ ệm mạnh vô hạn ộng lực ấu trúc ầu ra có cấu trúc ến thể của hàm tích chập cơ bản ể của hàm tích chập cơ bản ử của học sâu ầu ra có cấu trúc ưới thiệuc khác nhau Ví d , n u chúng ta mu n phân l p hình nh có kích thục Lụ ến thể của hàm tích chập cơ bản ố chiều khác nhau ới thiệu ản ưới thiệuc thay đ i, đ u vào cho ( ầu ra có cấu trúc

t ng phân l p ph i có kích thầu ra có cấu trúc ới thiệu ản ưới thiệu ố chiều khác nhau ịch sử của học sâuc c đ nh Đi u này thền tảng thần kinh học cho mạng tích chập ười gian (time-series) có thể được xem là lưới ng được xem là lưới c th c hi n b ng cách thayực ệm mạnh vô hạn ằng dấu sao (

đ i kích th( ưới thiệu ủa hàm tích chập cơ bảnc c a m t ph n bù gi a các vùng g p sao cho t ng phân l p luôn nh n động lực ầu ra có cấu trúc ữ liệu ộng lực ầu ra có cấu trúc ới thiệu ập ược xem là lưới c

cùng m t s lộng lực ố chiều khác nhau ược xem là lưới ng th ng kê tóm t t b t k kích thố chiều khác nhau - ấu trúc ể của hàm tích chập cơ bản ưới thiệuc đ u vào Ví d , t ng g p cu i cùng ầu ra có cấu trúc ục Lụ ầu ra có cấu trúc ộng lực ố chiều khác nhau

c a m ng có th đủa hàm tích chập cơ bản ạng Tích Chập ể của hàm tích chập cơ bản ược xem là lưới c xác đ nh đ xu t ra b n b th ng kê tóm t t, m t cho m i góc ịch sử của học sâu ể của hàm tích chập cơ bản ấu trúc ố chiều khác nhau ộng lực ố chiều khác nhau - ộng lực ỗi thời gian (time-series) có thể được xem là lưới

ph n t c a hình nh, b t k kích thầu ra có cấu trúc ư ủa hàm tích chập cơ bản ản ấu trúc ể của hàm tích chập cơ bản ưới thiệuc hình nh.ản

M t s công trình lý thuy t đ a ra hộng lực ố chiều khác nhau ến thể của hàm tích chập cơ bản ư ưới thiệung d n v vi c nên s d ng nh ng d ng phép g p ẫu nhiên hoặc không giám sát ền tảng thần kinh học cho mạng tích chập ệm mạnh vô hạn ử của học sâu ục Lụ ữ liệu ạng Tích Chập ộng lựcnào trong nh ng tình hu ng khác nhau (Boureau et al., 2010) Ta cũng có th g p các đ c ữ liệu ố chiều khác nhau ể của hàm tích chập cơ bản ộng lực ặc trưng ngẫu nhiên hoặc không giám sát

tr ng v i nhau m t cách linh đ ng, ví d , b ng cách ch y m t thu t toán phân c m trên ư ới thiệu ộng lực ộng lực ục Lụ ằng dấu sao ( ạng Tích Chập ộng lực ập ục Lụcác v trí c a các đ c tr ng quan tâm (Boureau et al., 2011) Cách ti p c n này t o ra các ịch sử của học sâu ủa hàm tích chập cơ bản ặc trưng ngẫu nhiên hoặc không giám sát ư ến thể của hàm tích chập cơ bản ập ạng Tích Chậpvùng g p khác nhau cho m i hình nh M t cách ti p c n khác là ộng lực ỗi thời gian (time-series) có thể được xem là lưới ản ộng lực ến thể của hàm tích chập cơ bản ập h c ọi là tích chập "hợp lệ" Chúng tôi vẽ các ô với mũi tên để m t c u trúc g p duyộng lực ấu trúc ộng lực

nh t sau đó đấu trúc ược xem là lưới c áp d ng cho t t c các nh (Jia et al., 2012).ục Lụ ấu trúc ản ản

Phép toán g p có th làm ph c t p hoá m t s lo i ki n trúc m ng neuron s d ng thông ộng lực ể của hàm tích chập cơ bản ứa ạng Tích Chập ộng lực ố chiều khác nhau ạng Tích Chập ến thể của hàm tích chập cơ bản ạng Tích Chập ử của học sâu ục Lụtin d ng t trên xu ng dạng Tích Chập ừng ố chiều khác nhau ưới thiệui, ch ng h n nh máy Boltzmann và các b t mã hóa Nh ng ẳng biến đối với phép tịnh tiến Một hàm được gọi là có ạng Tích Chập ư ộng lực ực ữ liệu

v n đ này sẽ đấu trúc ền tảng thần kinh học cho mạng tích chập ược xem là lưới c th o lu n sâu h n khi chúng ta trình bày các lo i m ng này trong ản ập ơng 9: Mạng tích chập ạng Tích Chập ạng Tích Chập

ph n III Phép toán g p trong các máy Boltzmann tích ch p đầu ra có cấu trúc ộng lực ập ược xem là lưới c trình bày trong ph n ầu ra có cấu trúc20.6 Các phép toán gi ng ngh ch đ o trên các đ n v g p sẽ c n thi t trong m t s m ng ố chiều khác nhau ịch sử của học sâu ản ơng 9: Mạng tích chập ịch sử của học sâu ộng lực ầu ra có cấu trúc ến thể của hàm tích chập cơ bản ộng lực ố chiều khác nhau ạng Tích Chập

kh vi đản ược xem là lưới c nh c t i trong ph n 20.10.6.- ới thiệu ầu ra có cấu trúc

M t s ví d v các ki n trúc m ng tích ch p hoàn ch nh cho tác v phân l p và phéo toán ộng lực ố chiều khác nhau ục Lụ ền tảng thần kinh học cho mạng tích chập ến thể của hàm tích chập cơ bản ạng Tích Chập ập ỉ để tính trung bình có trọng số ục Lụ ới thiệu

g p sẽ động lực ược xem là lưới c th hi n trong hình 9.11.ể của hàm tích chập cơ bản ệm mạnh vô hạn

Hình 9.11: Ví dụ về kiến trúc cho tác vụ phân lớp với các mạng tích chập Các bước sải và độ sâu cụ thể được sử dụng trong hình này không được khuyến khích cho sử dụng thực tế; chúng được thiết kế rất nông cạn để vừa với các phần trong trang Các mạng tích chập thực cũng thường tồn tại nhiều sự phân nhánh, không như các cấu trúc

chuỗi đơn giản ở đây (Hình bên trái) Một mạng tích chập xử lý hình ảnh có kích thước cố định Sau khi xen kẽ giữa phép chập và gộp cho một vài tầng, tensor cho ánh xạ đặc trưng tích chập được tạo lại hình dạng (reshape) để

giảm bớt chiều không gian Phần còn lại của mạng là một mạng phân lớp lan truyền thuận đa tầng bình thường, đã

được mô tả trong chương 6 (Hình ở giữa) Một mạng tích chập xử lý hình ảnh có kích thước khác nhau nhưng vẫn

duy trì một phần được kết nối đầy đủ Mạng này sử dụng các phép toán gộp có kích thước khác nhau nhưng số lần gộp là cố định để cung cấp một vector có kích thước cố định là 576 đơn vị cho vùng liên kết đầy đủ của mạng

(Hình bên phải) Một mạng tích chập không có bất kỳ tầng liên kết trọng số đầy đủ nào Thay vào đó, tầng tích chập

cuối cùng xuất ra một ánh xạ đặc trưng cho từng lớp Mô hình này có thể học một ánh xạ về khả năng xảy ra của từng lớp tại mỗi vị trí không gian Việc tính trung bình một ánh xạ đặc trưng xuống một giá trị duy nhất cung cấp đối số cho tầng phân lớp cực đại mềm ở trên cùng.

9.4 Tích chập và phép gộp là tiên nghiệm mạnh vô hạn

Nh c l i khái ni m - ạng Tích Chập ệm mạnh vô hạn phân ph i xác su t tiên nghi m ối hai mặt ất một tầng của mạng ệ" Chúng tôi vẽ các ô với mũi tên để t ph n 5.6 Đây là m t phân b xác ừng ầu ra có cấu trúc ộng lực ố chiều khác nhau

su t d a trên các tham s c a m t mô hình mã hoá ni m tin c a chúng ta r ng nh ng mô ấu trúc ực ố chiều khác nhau ủa hàm tích chập cơ bản ộng lực ền tảng thần kinh học cho mạng tích chập ủa hàm tích chập cơ bản ằng dấu sao ( ữ liệuhình nào là h p lý, trợc xem là lưới ưới thiệuc khi chúng ta quan sát b t kỳ d li u nào.ấu trúc ữ liệu ệm mạnh vô hạn

Các tiên nghi m có th đệm mạnh vô hạn ể của hàm tích chập cơ bản ược xem là lưới c coi là y u ho c m nh tùy thu c vào m c đ t p trung c a ến thể của hàm tích chập cơ bản ặc trưng ngẫu nhiên hoặc không giám sát ạng Tích Chập ộng lực ứa ộng lực ập ủa hàm tích chập cơ bản

m t đ xác su t trong tiên nghi m M t tiên nghi m y u là m t phân b tiên nghi m v i ập ộng lực ấu trúc ệm mạnh vô hạn ộng lực ệm mạnh vô hạn ến thể của hàm tích chập cơ bản ộng lực ố chiều khác nhau ệm mạnh vô hạn ới thiệuentropy cao, ch ng h n nh m t phân b Gauss v i phẳng biến đối với phép tịnh tiến Một hàm được gọi là có ạng Tích Chập ư ộng lực ố chiều khác nhau ới thiệu ương 9: Mạng tích chậpng sai cao Tiên nghi m nh v y ệm mạnh vô hạn ư ậpcho phép d li u di chuy n các tham s m t cách g n nh t do M t tiên nghi m m nh ữ liệu ệm mạnh vô hạn ể của hàm tích chập cơ bản ố chiều khác nhau ộng lực ầu ra có cấu trúc ư ực ộng lực ệm mạnh vô hạn ạng Tích Chập

có entropy r t th p, ch ng h n nh m t phân ph i Gauss v i phấu trúc ấu trúc ẳng biến đối với phép tịnh tiến Một hàm được gọi là có ạng Tích Chập ư ộng lực ố chiều khác nhau ới thiệu ương 9: Mạng tích chậpng sai th p Tiên ấu trúc

nghi m nh v y đóng m t vai trò tích c c h n trong vi c xác đ nh giá tr c a các tham s ệm mạnh vô hạn ư ập ộng lực ực ơng 9: Mạng tích chập ệm mạnh vô hạn ịch sử của học sâu ịch sử của học sâu ủa hàm tích chập cơ bản ố chiều khác nhau

M t tiên nghi m m nh vô h n gán xác su t b ng ộng lực ệm mạnh vô hạn ạng Tích Chập ạng Tích Chập ấu trúc ằng dấu sao ( 0 cho m t s tham s và cho bi t r ng ộng lực ố chiều khác nhau ố chiều khác nhau ến thể của hàm tích chập cơ bản ằng dấu sao (các giá tr tham s này hoàn toàn b c m, b t k vi c d li u h tr cho nh ng giá tr đó ịch sử của học sâu ố chiều khác nhau ịch sử của học sâu ấu trúc ấu trúc ể của hàm tích chập cơ bản ệm mạnh vô hạn ữ liệu ệm mạnh vô hạn ỗi thời gian (time-series) có thể được xem là lưới ợc xem là lưới ữ liệu ịch sử của học sâu

nh th nào.ư ến thể của hàm tích chập cơ bản

Chúng ta có th tể của hàm tích chập cơ bản ư%ng tược xem là lưới ng m ng tích ch p cũng tạng Tích Chập ập ương 9: Mạng tích chậpng t nh m t m ng liên k t đ y ực ư ộng lực ạng Tích Chập ến thể của hàm tích chập cơ bản ầu ra có cấu trúc

đ nh ng v i tiên nghi m m nh vô h n cho các tr ng s c a nó Tiên nghi m m nh vô ủa hàm tích chập cơ bản ư ới thiệu ệm mạnh vô hạn ạng Tích Chập ạng Tích Chập ọc cho mạng tích chập ố chiều khác nhau ủa hàm tích chập cơ bản ệm mạnh vô hạn ạng Tích Chập

h n này cho bi t các tr ng s cho m t đ n v n sẽ ph i đ ng nh t v i các tr ng s c a ạng Tích Chập ến thể của hàm tích chập cơ bản ọc cho mạng tích chập ố chiều khác nhau ộng lực ơng 9: Mạng tích chập ịch sử của học sâu * ản ồng với phép tích chập sử ấu trúc ới thiệu ọc cho mạng tích chập ố chiều khác nhau ủa hàm tích chập cơ bảncác đ n v lân c n Tiên nghi m cũng cho bi t các tr ng s ph i b ng ơng 9: Mạng tích chập ịch sử của học sâu ập ệm mạnh vô hạn ến thể của hàm tích chập cơ bản ọc cho mạng tích chập ố chiều khác nhau ản ằng dấu sao ( 0, tr các giá tr t i ừng ịch sử của học sâu ạng Tích Chậpcác trười gian (time-series) có thể được xem là lưới ng ti p nh n nh và ti p giáp nhau đến thể của hàm tích chập cơ bản ập ỏ ến thể của hàm tích chập cơ bản ược xem là lưới ấu trúcc n đ nh cho đ n v n đó Nhìn chung, ta ịch sử của học sâu ơng 9: Mạng tích chập ịch sử của học sâu *

có th coi vi c s d ng tích ch p nh vi c đ a ra m t phân ph i xác su t tiên nghi m ể của hàm tích chập cơ bản ệm mạnh vô hạn ử của học sâu ục Lụ ập ư ệm mạnh vô hạn ư ộng lực ố chiều khác nhau ấu trúc ệm mạnh vô hạn

m nh vô h n cho các tham s trong m t t ng Tiên nghi m này cho bi t r ng hàm s mà ạng Tích Chập ạng Tích Chập ố chiều khác nhau ộng lực ầu ra có cấu trúc ệm mạnh vô hạn ến thể của hàm tích chập cơ bản ằng dấu sao ( ố chiều khác nhau

m i t ng nên h c ch ch a các tỗi thời gian (time-series) có thể được xem là lưới ầu ra có cấu trúc ọc cho mạng tích chập ỉ để tính trung bình có trọng số ứa ương 9: Mạng tích chậpng tác c c b và có tính đ ng bi n đ i v i các phép t nh ục Lụ ộng lực ẳng biến đối với phép tịnh tiến Một hàm được gọi là có ến thể của hàm tích chập cơ bản ố chiều khác nhau ới thiệu ịch sử của học sâu

ti n Tến thể của hàm tích chập cơ bản ương 9: Mạng tích chậpng t nh v y, s d ng phép g p là m t tiên nghi m m nh vô h n mà m i đ n ực ư ập ử của học sâu ục Lụ ộng lực ộng lực ệm mạnh vô hạn ạng Tích Chập ạng Tích Chập ỗi thời gian (time-series) có thể được xem là lưới ơng 9: Mạng tích chập

v c n ph i có tính b t bi n v i các phép t nh ti n nh ịch sử của học sâu ầu ra có cấu trúc ản ấu trúc ến thể của hàm tích chập cơ bản ới thiệu ịch sử của học sâu ến thể của hàm tích chập cơ bản ỏ

Dĩ nhiên vi c tri n khai m ng tích ch p nh m t m ng liên k t đ y đ v i các tiên ệm mạnh vô hạn ể của hàm tích chập cơ bản ạng Tích Chập ập ư ộng lực ạng Tích Chập ến thể của hàm tích chập cơ bản ầu ra có cấu trúc ủa hàm tích chập cơ bản ới thiệu

nghi m m nh vô h n là r t lãng phí tài nguyên tính toán Nh ng quan đi m coi m ng tích ệm mạnh vô hạn ạng Tích Chập ạng Tích Chập ấu trúc ư ể của hàm tích chập cơ bản ạng Tích Chập

ch p nh m t m ng liên k t đ y đ v i các tiên nghi m m nh vô h n có th giúp chúng ập ư ộng lực ạng Tích Chập ến thể của hàm tích chập cơ bản ầu ra có cấu trúc ủa hàm tích chập cơ bản ới thiệu ệm mạnh vô hạn ạng Tích Chập ạng Tích Chập ể của hàm tích chập cơ bản

ta hi u rõ h n v cách ho t đ ng c a m ng tích ch p.ể của hàm tích chập cơ bản ơng 9: Mạng tích chập ền tảng thần kinh học cho mạng tích chập ạng Tích Chập ộng lực ủa hàm tích chập cơ bản ạng Tích Chập ập

M t chi ti t quan tr ng đó là phép ch p và phép g p có th gây ra hi n tộng lực ến thể của hàm tích chập cơ bản ọc cho mạng tích chập ập ộng lực ể của hàm tích chập cơ bản ệm mạnh vô hạn ược xem là lưới ng v kh p c a ịch sử của học sâu ới thiệu ủa hàm tích chập cơ bản

mô hình Gi ng nh b t kỳ tiên nghi m nào, phép ch p và phép g p ch h u ích khi các giố chiều khác nhau ư ấu trúc ệm mạnh vô hạn ập ộng lực ỉ để tính trung bình có trọng số ữ liệu ản

đ nh b i tiên nghi m là chính xác m t cách h p lý N u nh tác v c a bài toán ph thu c ịch sử của học sâu % ệm mạnh vô hạn ộng lực ợc xem là lưới ến thể của hàm tích chập cơ bản ư ục Lụ ủa hàm tích chập cơ bản ục Lụ ộng lựcvào vi c gi nguyên các thông tin không gian m t cách chính xác thì vi c s d ng phép g pệm mạnh vô hạn ữ liệu ộng lực ệm mạnh vô hạn ử của học sâu ục Lụ ộng lựctrên toàn b đ c tr ng sẽ làm tăng sai s hu n luy n M t vài ki n trúc m ng tích ch p ộng lực ặc trưng ngẫu nhiên hoặc không giám sát ư ố chiều khác nhau ấu trúc ệm mạnh vô hạn ộng lực ến thể của hàm tích chập cơ bản ạng Tích Chập ập(Szegedy et al 2014a) được xem là lưới c thi t k đ s d ng phép g p ch trên m t s kênh đ thu ến thể của hàm tích chập cơ bản ến thể của hàm tích chập cơ bản ể của hàm tích chập cơ bản ử của học sâu ục Lụ ộng lực ỉ để tính trung bình có trọng số ộng lực ố chiều khác nhau ể của hàm tích chập cơ bản

được xem là lưới c các đ c tr ng có tính b t bi n cao và các đ c tr ng sẽ không b v kh p khi tiên ặc trưng ngẫu nhiên hoặc không giám sát ư ấu trúc ến thể của hàm tích chập cơ bản ặc trưng ngẫu nhiên hoặc không giám sát ư ịch sử của học sâu ịch sử của học sâu ới thiệu

nghi m t nh ti n b t bi n b sai N u trong trệm mạnh vô hạn ịch sử của học sâu ến thể của hàm tích chập cơ bản ấu trúc ến thể của hàm tích chập cơ bản ịch sử của học sâu ến thể của hàm tích chập cơ bản ười gian (time-series) có thể được xem là lưới ng h p bài toán yêu c u k t h p thông tin ợc xem là lưới ầu ra có cấu trúc ến thể của hàm tích chập cơ bản ợc xem là lưới

gi a các v trí cách xa nhau t i đ u vào thì tiên nghi m áp đ t b i phép tích ch p trong ữ liệu ịch sử của học sâu ạng Tích Chập ầu ra có cấu trúc ệm mạnh vô hạn ặc trưng ngẫu nhiên hoặc không giám sát % ập

trười gian (time-series) có thể được xem là lưới ng h p này là không thích h p.ợc xem là lưới ợc xem là lưới

M t chi ti t quan tr ng khác đó là chúng ta ch có th so sánh gi a các mô hình m ng tích ộng lực ến thể của hàm tích chập cơ bản ọc cho mạng tích chập ỉ để tính trung bình có trọng số ể của hàm tích chập cơ bản ữ liệu ạng Tích Chập

ch p v i nhau d a trên các thang tiêu chu n v k t qu h c th ng kê Các mô hình không ập ới thiệu ực * ền tảng thần kinh học cho mạng tích chập ến thể của hàm tích chập cơ bản ản ọc cho mạng tích chập ố chiều khác nhau

s d ng phép tích ch p v n có th h c đử của học sâu ục Lụ ập ẫu nhiên hoặc không giám sát ể của hàm tích chập cơ bản ọc cho mạng tích chập ược xem là lưới c dù cho chúng ta hoán đ i v trí các đi m nh ( ịch sử của học sâu ể của hàm tích chập cơ bản ảntrong nh Có nhi u b d li u nh có các tiêu chu n riêng bi t cho các mô hình ản ền tảng thần kinh học cho mạng tích chập ộng lực ữ liệu ệm mạnh vô hạn ản * ệm mạnh vô hạn hoán v ị trí có lõi nằm

b t bi n ất một tầng của mạng ến tính và ph i t tìm ra nh ng khái ni m v topology thông qua quá trình h c và cho cácản ực ữ liệu ệm mạnh vô hạn ền tảng thần kinh học cho mạng tích chập ọc cho mạng tích chập

mô hình đã có ki n th c v các m i quan h không gian đến thể của hàm tích chập cơ bản ứa ền tảng thần kinh học cho mạng tích chập ố chiều khác nhau ệm mạnh vô hạn ược xem là lưới c mã hóa vào mô hình b i %

người gian (time-series) có thể được xem là lưới i thi t k chúng.ến thể của hàm tích chập cơ bản ến thể của hàm tích chập cơ bản

9.5 Các biến thể của hàm tích chập cơ bản

Khi th o lu n v tích ch p trong ph m vi m ng neuron, chúng ta thản ập ền tảng thần kinh học cho mạng tích chập ập ạng Tích Chập ạng Tích Chập ười gian (time-series) có thể được xem là lưới ng không đ c p ền tảng thần kinh học cho mạng tích chập ập

m t cách chính xác v các phép tích ch p tiêu chu n nh trong toán h c Các hàm chúng taộng lực ền tảng thần kinh học cho mạng tích chập ập * ư ọc cho mạng tích chập

s d ng trong các bài toán th c t sẽ khác m t chút Trong m c này, chúng ta sẽ mô t chi ử của học sâu ục Lụ ực ến thể của hàm tích chập cơ bản ộng lực ục Lụ ản

ti t v s khác nhau và làm n i b t m t s đ c tính quan tr ng c a các hàm đến thể của hàm tích chập cơ bản ền tảng thần kinh học cho mạng tích chập ực ( ập ộng lực ố chiều khác nhau ặc trưng ngẫu nhiên hoặc không giám sát ọc cho mạng tích chập ủa hàm tích chập cơ bản ược xem là lưới ử của học sâu ục Lục s d ngtrong các m ng neuron.ạng Tích Chập

Trưới thiệuc tiên, khi đ c p đ n phép ch p trong ph m vi m ng neuron, chúng ta thền tảng thần kinh học cho mạng tích chập ập ến thể của hàm tích chập cơ bản ập ạng Tích Chập ạng Tích Chập ười gian (time-series) có thể được xem là lưới ng nói

đ n m t phép toán bao g m nhi u phép tích ch p song song Đó là b i phép tích ch p v i ến thể của hàm tích chập cơ bản ộng lực ồng với phép tích chập sử ền tảng thần kinh học cho mạng tích chập ập % ập ới thiệu

ch m t lõi ch có th trích xu t đỉ để tính trung bình có trọng số ộng lực ỉ để tính trung bình có trọng số ể của hàm tích chập cơ bản ấu trúc ược xem là lưới c m t d ng đ c tr ng m c dù áp d ng v i nhi u v trí ộng lực ạng Tích Chập ặc trưng ngẫu nhiên hoặc không giám sát ư ặc trưng ngẫu nhiên hoặc không giám sát ục Lụ ới thiệu ền tảng thần kinh học cho mạng tích chập ịch sử của học sâukhác nhau Tuy nhiên ta thười gian (time-series) có thể được xem là lưới ng mong mu n m i t ng trong mô hình m ng có th trích ố chiều khác nhau ỗi thời gian (time-series) có thể được xem là lưới ầu ra có cấu trúc ạng Tích Chập ể của hàm tích chập cơ bản

xu t đấu trúc ược xem là lưới c nhi u d ng đ c tr ng, t i nhi u v trí khác nhau.ền tảng thần kinh học cho mạng tích chập ạng Tích Chập ặc trưng ngẫu nhiên hoặc không giám sát ư ạng Tích Chập ền tảng thần kinh học cho mạng tích chập ịch sử của học sâu

Thêm vào đó, d li u đ u vào thông thữ liệu ệm mạnh vô hạn ầu ra có cấu trúc ười gian (time-series) có thể được xem là lưới ng không ch là m t lỉ để tính trung bình có trọng số ộng lực ưới thiệui các giá tr th c mà đúng ịch sử của học sâu ực

h n là m t lơng 9: Mạng tích chập ộng lực ưới thiệui các quan sát có giá tr vector Ví d , m t nh màu sẽ bao g m ịch sử của học sâu ục Lụ ộng lực ản ồng với phép tích chập sử 3 giá tr đ , ịch sử của học sâu ỏ

l c, lam t i m i đi m nh Trong mô hình m ng neuron tích ch p đa t ng, đ u vào c a ục Lụ ạng Tích Chập ỗi thời gian (time-series) có thể được xem là lưới ể của hàm tích chập cơ bản ản ạng Tích Chập ập ầu ra có cấu trúc ầu ra có cấu trúc ủa hàm tích chập cơ bản

t ng th hai chính là đ u ra c a t ng th nh t, chúng thầu ra có cấu trúc ứa ầu ra có cấu trúc ủa hàm tích chập cơ bản ầu ra có cấu trúc ứa ấu trúc ười gian (time-series) có thể được xem là lưới ng là k t qu c a nhi u phép ến thể của hàm tích chập cơ bản ản ủa hàm tích chập cơ bản ền tảng thần kinh học cho mạng tích chậptích ch p khác nhau t i m i v trí Khi làm vi c v i nh, chúng ta thập ạng Tích Chập ỗi thời gian (time-series) có thể được xem là lưới ịch sử của học sâu ệm mạnh vô hạn ới thiệu ản ười gian (time-series) có thể được xem là lưới ng coi d li u đ u ữ liệu ệm mạnh vô hạn ầu ra có cấu trúcvào và đ u ra c a m ng tích ch p nh các tensor ầu ra có cấu trúc ủa hàm tích chập cơ bản ạng Tích Chập ập ư 3 chi u v i m t chi u tền tảng thần kinh học cho mạng tích chập ới thiệu ộng lực ền tảng thần kinh học cho mạng tích chập ương 9: Mạng tích chậpng ng v i các ứa ới thiệukênh màu và hai chi u còn l i tền tảng thần kinh học cho mạng tích chập ạng Tích Chập ương 9: Mạng tích chậpng ng v i các t a đ không gian c a t ng kênh màu ứa ới thiệu ọc cho mạng tích chập ộng lực ủa hàm tích chập cơ bản ừng Các ph n m m thông thầu ra có cấu trúc ền tảng thần kinh học cho mạng tích chập ười gian (time-series) có thể được xem là lưới ng dùng phương 9: Mạng tích chậpng th c ứa lô d li u ữa, nên tất cả đầu ra đều bị ệ" Chúng tôi vẽ các ô với mũi tên để (batch), do v y th c s mô hìnhập ực ực

c a chúng ta sẽ s d ng tensor ủa hàm tích chập cơ bản ử của học sâu ục Lụ 4 chi u, v i chi u th t tền tảng thần kinh học cho mạng tích chập ới thiệu ền tảng thần kinh học cho mạng tích chập ứa ư ương 9: Mạng tích chậpng ng v i các m u khác nhauứa ới thiệu ẫu nhiên hoặc không giám sáttrong kh i d li u, Tuy nhiên, chúng ta sẽ b qua chi u d li u này đây đ đ n gi n hóa ố chiều khác nhau ữ liệu ệm mạnh vô hạn ỏ ền tảng thần kinh học cho mạng tích chập ữ liệu ệm mạnh vô hạn % ể của hàm tích chập cơ bản ơng 9: Mạng tích chập ản

v n đ ấu trúc ền tảng thần kinh học cho mạng tích chập

Do m ng tích ch p thạng Tích Chập ập ười gian (time-series) có thể được xem là lưới ng s d ng phép tích ch p trên nhi u kênh màu, các phép bi n ử của học sâu ục Lụ ập ền tảng thần kinh học cho mạng tích chập ến thể của hàm tích chập cơ bản

đ i tuy n tính mà chúng d a trên sẽ không đ m b o đ( ến thể của hàm tích chập cơ bản ực ản ản ược xem là lưới c tính giao hoán, ngay c khi s ản ử của học sâu

d ng vi c đ o lõi Các phép bi n đ i trên nhi u kênh ch có th có tính giao hoán n u nh ục Lụ ệm mạnh vô hạn ản ến thể của hàm tích chập cơ bản ( ền tảng thần kinh học cho mạng tích chập ỉ để tính trung bình có trọng số ể của hàm tích chập cơ bản ến thể của hàm tích chập cơ bản ư

m i phép bi n đ i có s kênh đ u ra b ng v i s kênh đ u vào.ỗi thời gian (time-series) có thể được xem là lưới ến thể của hàm tích chập cơ bản ( ố chiều khác nhau % ầu ra có cấu trúc ằng dấu sao ( ới thiệu ố chiều khác nhau ầu ra có cấu trúc

Gi s ta có ản ử của học sâu 1 tensor lõi 4 chi u ền tảng thần kinh học cho mạng tích chập K v i ph n t ới thiệu ầu ra có cấu trúc ử của học sâu K i , j ,k , l cho ta bi t cến thể của hàm tích chập cơ bản ười gian (time-series) có thể được xem là lưới ng đ k t n i gi a ộng lực ến thể của hàm tích chập cơ bản ố chiều khác nhau ữ liệu

m t đ n v t i kênh th ộng lực ơng 9: Mạng tích chập ịch sử của học sâu ạng Tích Chập ứa i c a đ u ra v i m t đ n v t i kênh ủa hàm tích chập cơ bản ầu ra có cấu trúc ới thiệu ộng lực ơng 9: Mạng tích chập ịch sử của học sâu ạng Tích Chập j c a đ u vào, v i đ l ch ủa hàm tích chập cơ bản ầu ra có cấu trúc ới thiệu ộng lực ệm mạnh vô hạn k

hàng và l c t gi a đ n v đ u ra và đ n v đ u vào Gi s r ng đ u vào c a chúng ta ch a ộng lực ữ liệu ơng 9: Mạng tích chập ịch sử của học sâu ầu ra có cấu trúc ơng 9: Mạng tích chập ịch sử của học sâu ầu ra có cấu trúc ản ử của học sâu ằng dấu sao ( ầu ra có cấu trúc ủa hàm tích chập cơ bản ứa

d li u ữ liệu ệm mạnh vô hạn V quan sát được xem là lưới c v i ph n t ới thiệu ầu ra có cấu trúc ử của học sâu V i , j ,k cho ta bi t giá tr đ n v đ u vào v i kênh th ến thể của hàm tích chập cơ bản ịch sử của học sâu ơng 9: Mạng tích chập ịch sử của học sâu ầu ra có cấu trúc ới thiệu ứa i

t i đi m hàng th ạng Tích Chập ể của hàm tích chập cơ bản ứa j c t th ộng lực ứa k Gi s đ u ra c a chúng ta là ản ử của học sâu ầu ra có cấu trúc ủa hàm tích chập cơ bản Z có đ nh d ng gi ng v i ịch sử của học sâu ạng Tích Chập ố chiều khác nhau ới thiệu V

N u ến thể của hàm tích chập cơ bản Z là m t k t qu c a phép nhân ch p gi a tensor lõi ộng lực ến thể của hàm tích chập cơ bản ản ủa hàm tích chập cơ bản ập ữ liệu K và d li u ữ liệu ệm mạnh vô hạn V mà không l t ập K

Ở đây, phép tính tổng của ( ủa hàm tích chập cơ bản l , m và n là các ch s c a tensor là h p l Trong ký hi u c a đ iỉ để tính trung bình có trọng số ố chiều khác nhau ủa hàm tích chập cơ bản ợc xem là lưới ệm mạnh vô hạn ệm mạnh vô hạn ủa hàm tích chập cơ bản ạng Tích Chập

s tuy n tính, ta đánh tr s các m ng b t đ u t ố chiều khác nhau ến thể của hàm tích chập cơ bản ịch sử của học sâu ố chiều khác nhau ản - ầu ra có cấu trúc ừng 1 V i các ngôn ng l p trình nh C và ới thiệu ữ liệu ập ưPython thì tr s sẽ b t đ u t ịch sử của học sâu ố chiều khác nhau - ầu ra có cấu trúc ừng 0, do v y bi u di n công th c trên b ng ngôn ng l p trình ập ể của hàm tích chập cơ bản ễn ứa ằng dấu sao ( ữ liệu ập

sẽ đ n gi n h n Chúng ta có th sẽ mu n b qua m t vài v trí c a lõi đ gi m chi phí tínhơng 9: Mạng tích chập ản ơng 9: Mạng tích chập ể của hàm tích chập cơ bản ố chiều khác nhau ỏ ộng lực ịch sử của học sâu ủa hàm tích chập cơ bản ể của hàm tích chập cơ bản ảntoán Ta có th coi vi c này gi ng nh bể của hàm tích chập cơ bản ệm mạnh vô hạn ố chiều khác nhau ư ưới thiệu gi m m uc ản là mạng neuron sử dụng phép tích chập thay ẫn có thể kết nối gián tiếp với tất cả hay (downsampling) giá tr đ u ra c a ịch sử của học sâu ầu ra có cấu trúc ủa hàm tích chập cơ bảnhàm tích ch p đ y đ N u ta ch mu n l y m u m t s lập ầu ra có cấu trúc ủa hàm tích chập cơ bản ến thể của hàm tích chập cơ bản ỉ để tính trung bình có trọng số ố chiều khác nhau ấu trúc ẫu nhiên hoặc không giám sát ộng lực ố chiều khác nhau ược xem là lưới ng s đi m nh theo m i ể của hàm tích chập cơ bản ản ỗi thời gian (time-series) có thể được xem là lưới

hưới thiệung t i đ u ra thì ta có th đ a ra m t hàm s tích ch p đã gi m m u ạng Tích Chập ầu ra có cấu trúc ể của hàm tích chập cơ bản ư ộng lực ố chiều khác nhau ập ản ẫu nhiên hoặc không giám sát c nh sau:ư

Z i , j , k=c¿

Ta coi s là m t tham s đ i di n cho ch p s i c a phép tích ch p đã gi m m u này Cũng ộng lực ố chiều khác nhau ạng Tích Chập ệm mạnh vô hạn ập ản ủa hàm tích chập cơ bản ập ản ẫu nhiên hoặc không giám sát

có th đ nh nghĩa m t giá tr ch p s i riêng cho m i hể của hàm tích chập cơ bản ịch sử của học sâu ộng lực ịch sử của học sâu ập ản ỗi thời gian (time-series) có thể được xem là lưới ưới thiệung c a bủa hàm tích chập cơ bản ưới thiệuc d ch chuy n Xem ịch sử của học sâu ể của hàm tích chập cơ bảnhình 9.12 M t đ c tính quan tr ng trong b t c vi c tri n khai mô hình m ng tích ch p ộng lực ặc trưng ngẫu nhiên hoặc không giám sát ọc cho mạng tích chập ấu trúc ứa ệm mạnh vô hạn ể của hàm tích chập cơ bản ạng Tích Chập ậpnào đó là có th thêm m t để của hàm tích chập cơ bản ộng lực ười gian (time-series) có thể được xem là lưới ng vi n ph có giá tr b ng ền tảng thần kinh học cho mạng tích chập ục Lụ ịch sử của học sâu ằng dấu sao ( 0 vào V đ m r ng d li u đ uể của hàm tích chập cơ bản % ộng lực ữ liệu ệm mạnh vô hạn ầu ra có cấu trúcvào N u không có đ c tính này thì kích thến thể của hàm tích chập cơ bản ặc trưng ngẫu nhiên hoặc không giám sát ưới thiệu ủa hàm tích chập cơ bảnc c a d li u đ u vào sau khi đi qua m i t ng ữ liệu ệm mạnh vô hạn ầu ra có cấu trúc ỗi thời gian (time-series) có thể được xem là lưới ầu ra có cấu trúc

sẽ b gi m đi s đi m nh b ng kích thịch sử của học sâu ản ố chiều khác nhau ể của hàm tích chập cơ bản ản ằng dấu sao ( ưới thiệuc lõi tr đi ừng 1 Kỹ thu t thêm đập ười gian (time-series) có thể được xem là lưới ng vi n ph ền tảng thần kinh học cho mạng tích chập ục Lụ 0 cho phép ta kh ng ch chi u r ng c a lõi và kích thố chiều khác nhau ến thể của hàm tích chập cơ bản ền tảng thần kinh học cho mạng tích chập ộng lực ủa hàm tích chập cơ bản ưới thiệuc đ u ra m t cách đ c l p N u ầu ra có cấu trúc ộng lực ộng lực ập ến thể của hàm tích chập cơ bảnkhông có kỹ thu t này, chúng ta sẽ b bu c ph i l a ch n gi a quy mô c a m ng sẽ b suy ập ịch sử của học sâu ộng lực ản ực ọc cho mạng tích chập ữ liệu ủa hàm tích chập cơ bản ạng Tích Chập ịch sử của học sâu

gi m m t cách nhanh chóng và l a ch n lõi có kích thản ộng lực ực ọc cho mạng tích chập ưới thiệuc nh C hai l a ch n này đ u sẽ ỏ ản ực ọc cho mạng tích chập ền tảng thần kinh học cho mạng tích chập

gi m năng l c bi u đ t c a mô hình m ng m t cách rõ ràng Xem ví d hình 9.13.ản ực ể của hàm tích chập cơ bản ạng Tích Chập ủa hàm tích chập cơ bản ạng Tích Chập ộng lực ục Lụ %

Có ba trười gian (time-series) có thể được xem là lưới ng h p đ c bi t cho thi t l p kỹ thu t thêm đợc xem là lưới ặc trưng ngẫu nhiên hoặc không giám sát ệm mạnh vô hạn ến thể của hàm tích chập cơ bản ập ập ười gian (time-series) có thể được xem là lưới ng vi n ph ền tảng thần kinh học cho mạng tích chập ục Lụ 0 đáng được xem là lưới c nh c

-đ n M t trong nh ng trến thể của hàm tích chập cơ bản ộng lực ữ liệu ười gian (time-series) có thể được xem là lưới ng h p đó là không s d ng thêm đợc xem là lưới ử của học sâu ục Lụ ười gian (time-series) có thể được xem là lưới ng vi n ph , và lõi ch ền tảng thần kinh học cho mạng tích chập ục Lụ ỉ để tính trung bình có trọng số

được xem là lưới c phép đi qua nh ng v trí khi toàn b lõi n m trong nh Thu t ng trong MATLAB ữ liệu ịch sử của học sâu ộng lực ằng dấu sao ( ản ập ữ liệu

g i đây là ọc cho mạng tích chập tích ch p h p l ập ợp lệ" Chúng tôi vẽ các ô với mũi tên để ệ" Chúng tôi vẽ các ô với mũi tên để (valid convolution) Trong trười gian (time-series) có thể được xem là lưới ng h p này thì t t c đi m nh ợc xem là lưới ấu trúc ản ể của hàm tích chập cơ bản ản

t i đ u ra là m t hàm s c a cùng m t s lạng Tích Chập ầu ra có cấu trúc ộng lực ố chiều khác nhau ủa hàm tích chập cơ bản ộng lực ố chiều khác nhau ược xem là lưới ng đi m nh trong đ u vào, do đó hành vi ể của hàm tích chập cơ bản ản ầu ra có cấu trúc

c a đi m nh đ u ra có ph n cân đ i h n (regular) Tuy nhiên thì kích thủa hàm tích chập cơ bản ể của hàm tích chập cơ bản ản ầu ra có cấu trúc ầu ra có cấu trúc ố chiều khác nhau ơng 9: Mạng tích chập ưới thiệuc đ u ra sẽ b ầu ra có cấu trúc ịch sử của học sâuthu h p d n qua m i t ng trong mô hình N u nh đ u vào có chi u r ng 3 ầu ra có cấu trúc ỗi thời gian (time-series) có thể được xem là lưới ầu ra có cấu trúc ến thể của hàm tích chập cơ bản ản ầu ra có cấu trúc ền tảng thần kinh học cho mạng tích chập ộng lực m và lõi có chi uền tảng thần kinh học cho mạng tích chập

r ng ộng lực k thì đ u ra sẽ có chi u r ng là ầu ra có cấu trúc ền tảng thần kinh học cho mạng tích chập ộng lực m−k +1 T l thu h p v kích thỉ để tính trung bình có trọng số ệm mạnh vô hạn 3 ền tảng thần kinh học cho mạng tích chập ưới thiệuc này sẽ tăng n u ến thể của hàm tích chập cơ bản

nh ta s d ng lõi có kích thư ử của học sâu ục Lụ ưới thiệu ới thiệuc l n Do t l thu h p luôn l n h n ỉ để tính trung bình có trọng số ệm mạnh vô hạn 3 ới thiệu ơng 9: Mạng tích chập 0, nó sẽ làm gi i h n s ới thiệu ạng Tích Chập ố chiều khác nhau

lược xem là lưới ng t ng tích ch p trong mô hình m ng Khi càng thêm các t ng s d ng phép tích ch p ầu ra có cấu trúc ập ạng Tích Chập ầu ra có cấu trúc ử của học sâu ục Lụ ậpvào mô hình thì cu i cùng kích thố chiều khác nhau ưới thiệuc đ u ra sẽ gi m v ầu ra có cấu trúc ản ền tảng thần kinh học cho mạng tích chập 1 ×1, lúc đó các t ng tích ch p ầu ra có cấu trúc ậpthêm vào sau đ y sẽ không còn ý nghĩa n a M t trấu trúc ữ liệu ộng lực ười gian (time-series) có thể được xem là lưới ng h p đ c bi t n a c a thi t l p ợc xem là lưới ặc trưng ngẫu nhiên hoặc không giám sát ệm mạnh vô hạn ữ liệu ủa hàm tích chập cơ bản ến thể của hàm tích chập cơ bản ập

đười gian (time-series) có thể được xem là lưới ng vi n ph ền tảng thần kinh học cho mạng tích chập ục Lụ 0 là khi ta thêm v a đ các đừng ủa hàm tích chập cơ bản ười gian (time-series) có thể được xem là lưới ng vi n ph ền tảng thần kinh học cho mạng tích chập ục Lụ 0 đ kích thể của hàm tích chập cơ bản ưới thiệuc đ u ra sẽ ầu ra có cấu trúc

b ng v i kích thằng dấu sao ( ới thiệu ưới thiệuc đ u vào MATLAB g i kỹ thu t này là ầu ra có cấu trúc ọc cho mạng tích chập ập tích ch p t ập ưngơn giản là mạng neuron sử dụng phép tích chập thay ng t ực tiếp (same

convolution) Trong trười gian (time-series) có thể được xem là lưới ng h p này, mô hình m ng có th thêm vào tùy ý s lợc xem là lưới ạng Tích Chập ể của hàm tích chập cơ bản ố chiều khác nhau ược xem là lưới ng t ng ầu ra có cấu trúctích ch p mi n là phù h p v i gi i h n tính toán c a ph n c ng, b i phép nhân ch p th c ập ễn ợc xem là lưới ới thiệu ới thiệu ạng Tích Chập ủa hàm tích chập cơ bản ầu ra có cấu trúc ứa % ập ực

hi n t ng trệm mạnh vô hạn % ầu ra có cấu trúc ưới thiệuc không làm nh hản ư%ng đ n c u trúc d li u đ u vào c a t ng sau ến thể của hàm tích chập cơ bản ấu trúc ữ liệu ệm mạnh vô hạn ầu ra có cấu trúc ủa hàm tích chập cơ bản ầu ra có cấu trúc

Nh ng đi m nh đ u vào g n v trí biên c a nh nh hữ liệu ể của hàm tích chập cơ bản ản ầu ra có cấu trúc ầu ra có cấu trúc ịch sử của học sâu ủa hàm tích chập cơ bản ản ản ư%ng đ n ít đ u ra h n so v i các ến thể của hàm tích chập cơ bản ầu ra có cấu trúc ơng 9: Mạng tích chập ới thiệu

đi m nh n m trung tâm Đi u này sẽ d n đ n vi c các đi m nh n m biên sẽ không ể của hàm tích chập cơ bản ản ằng dấu sao ( % ền tảng thần kinh học cho mạng tích chập ẫu nhiên hoặc không giám sát ến thể của hàm tích chập cơ bản ệm mạnh vô hạn ể của hàm tích chập cơ bản ản ằng dấu sao ( %

được xem là lưới ược xem là lưới c t ng tr ng m t cách chính xác trong mô hình Do v y, đi u này thúc đ y m t ư ộng lực ập ền tảng thần kinh học cho mạng tích chập * ộng lực

trười gian (time-series) có thể được xem là lưới ng h p tiêu bi u n a, đợc xem là lưới ể của hàm tích chập cơ bản ữ liệu ược xem là lưới c MATLAB g i là phép ọc cho mạng tích chập tích ch p đ y đ ập ầng của mạng ủa mạng (full convolution),

trong đó m t s lộng lực ố chiều khác nhau ược xem là lưới ng v a đ giá tr đi m nh b ng ừng ủa hàm tích chập cơ bản ịch sử của học sâu ể của hàm tích chập cơ bản ản ằng dấu sao ( 0 được xem là lưới c thêm vào đ có th th c hi n ể của hàm tích chập cơ bản ể của hàm tích chập cơ bản ực ệm mạnh vô hạnphép ch p ập k l n theo m i hầu ra có cấu trúc ỗi thời gian (time-series) có thể được xem là lưới ưới thiệung, tr v m t đ u ra có kích thản ền tảng thần kinh học cho mạng tích chập ộng lực ầu ra có cấu trúc ưới thiệu m−k +1 Trong trc ười gian (time-series) có thể được xem là lưới ng

h p này, các đi m nh đ u ra v trí g n biên là m t hàm s c a ít đi m nh đ u vào h nợc xem là lưới ể của hàm tích chập cơ bản ản ầu ra có cấu trúc % ịch sử của học sâu ầu ra có cấu trúc ộng lực ố chiều khác nhau ủa hàm tích chập cơ bản ể của hàm tích chập cơ bản ản ầu ra có cấu trúc ơng 9: Mạng tích chập

so v i các đi m nh n m trung tâm c a nh Vi c này có th gây khó khăn đ h c m t ới thiệu ể của hàm tích chập cơ bản ản ằng dấu sao ( % ủa hàm tích chập cơ bản ản ệm mạnh vô hạn ể của hàm tích chập cơ bản ể của hàm tích chập cơ bản ọc cho mạng tích chập ộng lựclõi duy nh t th hi n hi u qu t i m i v trí trong ánh x đ c tr ng tích ch p Thông ấu trúc ể của hàm tích chập cơ bản ệm mạnh vô hạn ệm mạnh vô hạn ản ạng Tích Chập ọc cho mạng tích chập ịch sử của học sâu ạng Tích Chập ặc trưng ngẫu nhiên hoặc không giám sát ư ập

thười gian (time-series) có thể được xem là lưới ng thì s lố chiều khác nhau ược xem là lưới ng t i u nh t cho vi n ph ố chiều khác nhau ư ấu trúc ền tảng thần kinh học cho mạng tích chập ục Lụ 0 (xét v đ phân l p chính xác c a t p ền tảng thần kinh học cho mạng tích chập ộng lực ới thiệu ủa hàm tích chập cơ bản ập

ki m th ) n m đâu đó gi a tích ch p "h p l " và "tể của hàm tích chập cơ bản ử của học sâu ằng dấu sao ( % ữ liệu ập ợc xem là lưới ệm mạnh vô hạn ương 9: Mạng tích chậpng t ".ực

Hình 9.12: Phép nhân chập sải Trong ví dụ này, ta sử dụng bước sải bằng 2 (Hình phía trên) Phép tích chập sử

dụng với bước sải bằng 2 cho mỗi lượt nhân chập (Hình phía dưới) Phép tích chập với bước sải lớn hơn 1 điểm ảnh thì tương đương về mặt toán học với phép nhân chập có đơn vị sải thực hiện bằng việc giảm mẫu Quan sát thấy rằng, hướng tiếp cận ở hình dưới sẽ lãng phí tài nguyên tính toán, bởi nó tính toán rất nhiều giá trị và sau đó loại bỏ không sử dụng các giá trị đó.

Hình 9.13: Ảnh hưởng của kỹ thuật thêm đường viền phụ 0 lên kích thước của mô hình mạng Xét một mạng tích chập với lõi có chiều rộng bằng 6 tại mọi tầng mạng Trong ví dụ này, chúng ta không sử dụng bất kỳ phép gộp nào,

do vậy chỉ có bản thân phép tích chập làm giảm kích thước mô hình mạng (Hình phía trên) Trong mạng tích chập

này, chúng ta không sử dụng bất kỳ dường viền phụ nào Điều này khiến ma trận đại diện sẽ bị giảm đi 5 điểm ảnh sau mỗi tầng mạng Dữ liệu đầu vào có 16 điểm ảnh, ta chỉ có thể sử dụng 3 tầng tích chập trong mô hình, và tầng cuối cùng không thể di chuyển lõi nên thực sự mô hình chỉ có thể áp dụng 2 tầng tích chập mà thôi Tỉ lệ thu nhỏ

dữ liệu có thể được giảm bớt khi ta sử dụng ma trận nhân chập với kích thước nhỏ Tuy nhiên thì vẫn không thể

tránh được hiện tượng giảm kích thước dữ liệu trong dạng kiến trúc này (Hình phía dưới) Bằng cách thêm 5 điểm ảnh 0 tại mỗi tầng, chúng ta đã ngăn được việc ma trận đại diện giảm kích thước Điều này cho phép chúng ta tạo

ra một mạng tích chập sâu tùy ý.

Trong m t s trộng lực ố chiều khác nhau ười gian (time-series) có thể được xem là lưới ng h p, chúng ta không th c s mu n s d ng tích ch p, thay vào đó là ơng 9: Mạng tích chập ực ực ố chiều khác nhau ử của học sâu ục Lụ ập

s d ng các t ng liên k t c c b (LeCun, 1986, 1989) Trong trử của học sâu ục Lụ ầu ra có cấu trúc ến thể của hàm tích chập cơ bản ục Lụ ộng lực ười gian (time-series) có thể được xem là lưới ng h p này, các ma tr n ợc xem là lưới ập

li n k trong đ th c a m ng Perceptron đa t ng là gi ng nhau, tuy nhiên thì m i k t n i ền tảng thần kinh học cho mạng tích chập ền tảng thần kinh học cho mạng tích chập ồng với phép tích chập sử ịch sử của học sâu ủa hàm tích chập cơ bản ạng Tích Chập ầu ra có cấu trúc ố chiều khác nhau ỗi thời gian (time-series) có thể được xem là lưới ến thể của hàm tích chập cơ bản ố chiều khác nhau

đ u có tr ng s riêng, đền tảng thần kinh học cho mạng tích chập ọc cho mạng tích chập ố chiều khác nhau ược xem là lưới c xác đ nh b i tensor ịch sử của học sâu % 6 chi u ền tảng thần kinh học cho mạng tích chập W Các ch s c a ỉ để tính trung bình có trọng số ố chiều khác nhau ủa hàm tích chập cơ bản W tương 9: Mạng tích chậpng ng ứa

v i: ới thiệu i là s th t kênh đ u ra, ố chiều khác nhau ứa ực ầu ra có cấu trúc j là hàng, k là c t, ộng lực l là s th t kênh đ u vào, ố chiều khác nhau ứa ực ầu ra có cấu trúc m là s th tố chiều khác nhau ứa ựchàng c a d li u đ u vào, ủa hàm tích chập cơ bản ữ liệu ệm mạnh vô hạn ầu ra có cấu trúc n s th t c t c a d li u đ u vào Ph n tuy n tính c a t ng ố chiều khác nhau ứa ực ộng lực ủa hàm tích chập cơ bản ữ liệu ệm mạnh vô hạn ầu ra có cấu trúc ầu ra có cấu trúc ến thể của hàm tích chập cơ bản ủa hàm tích chập cơ bản ầu ra có cấu trúcliên k t c c b có d ng sau:ến thể của hàm tích chập cơ bản ục Lụ ộng lực ạng Tích Chập

Z i , j , k=∑

l ,m ,n

[¿V l , j+ m−1,k+ n−1 w i , j , k ,l , m ,n].¿

Đôi khi ta g i đó là ọc cho mạng tích chập phép tích ch p không chia s tr ng s ập ẻ trọng số ọi là tích chập "hợp lệ" Chúng tôi vẽ các ô với mũi tên để ối hai mặt (unshared convolution), b i nó %

tương 9: Mạng tích chậpng t nh m t phép tích ch p r i r c v i lõi nh , nh ng không chia s các tham s ực ư ộng lực ập ời gian (time-series) có thể được xem là lưới ạng Tích Chập ới thiệu ỏ ư ẻ các tham số khắp ảnh là một việc thực tế Trong một ố chiều khác nhau

gi a các v trí v i nhau Hình 9.14 so sánh gi a phữ liệu ịch sử của học sâu ới thiệu ữ liệu ương 9: Mạng tích chậpng pháp liên k t c c b , phến thể của hàm tích chập cơ bản ục Lụ ộng lực ương 9: Mạng tích chậpng pháp tích ch p và phập ương 9: Mạng tích chậpng pháp liên k t đ y đ ến thể của hàm tích chập cơ bản ầu ra có cấu trúc ủa hàm tích chập cơ bản

Phương 9: Mạng tích chậpng pháp s d ng t ng liên k t c c b ch h u ích khi ta bi t m i đ c tr ng nên là ử của học sâu ục Lụ ầu ra có cấu trúc ến thể của hàm tích chập cơ bản ục Lụ ộng lực ỉ để tính trung bình có trọng số ữ liệu ến thể của hàm tích chập cơ bản ỗi thời gian (time-series) có thể được xem là lưới ặc trưng ngẫu nhiên hoặc không giám sát ư

m t hàm s c a m t ph n nh thu c không gian nh nh ng ta không th nghĩ r ng cùng ộng lực ố chiều khác nhau ủa hàm tích chập cơ bản ộng lực ầu ra có cấu trúc ỏ ộng lực ản ư ể của hàm tích chập cơ bản ằng dấu sao (

m t đ c tr ng nên xu t hi n kh p không gian nh Ví d , n u ta mu n bi t m t t m nh ộng lực ặc trưng ngẫu nhiên hoặc không giám sát ư ấu trúc ệm mạnh vô hạn - ản ục Lụ ến thể của hàm tích chập cơ bản ố chiều khác nhau ến thể của hàm tích chập cơ bản ộng lực ấu trúc ản

có ph i ch p m t khuôn m t hay không thì ta ch c n xác đ nh ph n mi ng n a dản ục Lụ ộng lực ặc trưng ngẫu nhiên hoặc không giám sát ỉ để tính trung bình có trọng số ầu ra có cấu trúc ịch sử của học sâu ầu ra có cấu trúc ệm mạnh vô hạn % ử của học sâu ưới thiệui

c a b c nh Đi u này cũng có ích trong vi c t o ra các phiên b n c a tích ch p ho c l p ủa hàm tích chập cơ bản ứa ản ền tảng thần kinh học cho mạng tích chập ệm mạnh vô hạn ạng Tích Chập ản ủa hàm tích chập cơ bản ập ặc trưng ngẫu nhiên hoặc không giám sát ới thiệuliên k t c c b , trong đó các liên k t b h n ch , ví d đ ràng bu c m i kênh đ u ra ến thể của hàm tích chập cơ bản ục Lụ ộng lực ến thể của hàm tích chập cơ bản ịch sử của học sâu ạng Tích Chập ến thể của hàm tích chập cơ bản ục Lụ ể của hàm tích chập cơ bản ộng lực ỗi thời gian (time-series) có thể được xem là lưới ầu ra có cấu trúc i vào

m t hàm c a ch m t t p con c a các kênh đ u vào ộng lực ủa hàm tích chập cơ bản ỉ để tính trung bình có trọng số ộng lực ập ủa hàm tích chập cơ bản ầu ra có cấu trúc l M t cách thông thộng lực ười gian (time-series) có thể được xem là lưới ng đ làm vi c ể của hàm tích chập cơ bản ệm mạnh vô hạnnày đó là đ a ư m kênh đ u tiên t i đ u ra k t n i v i ch ầu ra có cấu trúc ạng Tích Chập ầu ra có cấu trúc ến thể của hàm tích chập cơ bản ố chiều khác nhau ới thiệu ỉ để tính trung bình có trọng số n kênh đ u tiên t i đ u vào Xem ầu ra có cấu trúc ạng Tích Chập ầu ra có cấu trúchình 9.15 Các tương 9: Mạng tích chậpng tác mô hình gi a m t vài kênh cho phép mô hình m ng có ít tham s ữ liệu ộng lực ạng Tích Chập ố chiều khác nhau

h n, gi m tiêu th b nh tính toán, tăng hi u qu th ng kê và gi m s lơng 9: Mạng tích chập ản ục Lụ ộng lực ới thiệu ệm mạnh vô hạn ản ố chiều khác nhau ản ố chiều khác nhau ược xem là lưới ng tính toán

c n thi t đ th c hi n thu t toán lan truy n thu n và ngầu ra có cấu trúc ến thể của hàm tích chập cơ bản ể của hàm tích chập cơ bản ực ệm mạnh vô hạn ập ền tảng thần kinh học cho mạng tích chập ập ược xem là lưới c Nó gi i quy t các m c tiêu ản ến thể của hàm tích chập cơ bản ục Lụnày mà không c n ph i gi m s lầu ra có cấu trúc ản ản ố chiều khác nhau ược xem là lưới ng đ n v n ơng 9: Mạng tích chập ịch sử của học sâu * Tích ch p x p k nhau ập ến tính ề tích chập (Tiled

convolution) đ a ra m t đi u ki n th a mãn gi a m t t ng tích ch p và m t t ng liên k t ư ộng lực ền tảng thần kinh học cho mạng tích chập ệm mạnh vô hạn ỏ ữ liệu ộng lực ầu ra có cấu trúc ập ộng lực ầu ra có cấu trúc ến thể của hàm tích chập cơ bản

c c b Thay vì h c riêng bi t t ng b tr ng s t i m i v trí, chúng ta sẽ h c m t b các ục Lụ ộng lực ọc cho mạng tích chập ệm mạnh vô hạn ừng ộng lực ọc cho mạng tích chập ố chiều khác nhau ạng Tích Chập ỗi thời gian (time-series) có thể được xem là lưới ịch sử của học sâu ọc cho mạng tích chập ộng lực ộng lựclõi mà chúng ta có th xoay lõi đó khi d ch chuy n trong không gian nh Đi u này có nghĩaể của hàm tích chập cơ bản ịch sử của học sâu ể của hàm tích chập cơ bản ản ền tảng thần kinh học cho mạng tích chập

là các v trí k nhau sẽ có các b l c khác nhau nh trong m t t ng liên k t c c b , tuy ịch sử của học sâu ền tảng thần kinh học cho mạng tích chập ộng lực ọc cho mạng tích chập ư ộng lực ầu ra có cấu trúc ến thể của hàm tích chập cơ bản ục Lụ ộng lựcnhiên thì yêu c u v b nh đ ch a các tham s sẽ tăng do kích thầu ra có cấu trúc ền tảng thần kinh học cho mạng tích chập ộng lực ới thiệu ể của hàm tích chập cơ bản ứa ố chiều khác nhau ưới thiệu ủa hàm tích chập cơ bảnc c a b các lõi này, ộng lựcthay vì do kích thưới thiệu ủa hàm tích chập cơ bảnc c a toàn b ánh x đ c tr ng đ u ra Hình 9.16 là so sánh gi a các ộng lực ạng Tích Chập ặc trưng ngẫu nhiên hoặc không giám sát ư ầu ra có cấu trúc ữ liệu

t ng liên k t c c b , tích ch p x p k nhau và tích ch p tiêu chu n Đ đ nh nghĩa tích ầu ra có cấu trúc ến thể của hàm tích chập cơ bản ục Lụ ộng lực ập ến thể của hàm tích chập cơ bản ền tảng thần kinh học cho mạng tích chập ập * ể của hàm tích chập cơ bản ịch sử của học sâu

ch p x p k nhau theo phập ến thể của hàm tích chập cơ bản ền tảng thần kinh học cho mạng tích chập ương 9: Mạng tích chậpng di n đ i s , cho ệm mạnh vô hạn ạng Tích Chập ố chiều khác nhau K là m t tensor ộng lực 6 chi u, có ền tảng thần kinh học cho mạng tích chập 2 chi u tền tảng thần kinh học cho mạng tích chập ương 9: Mạng tích chậpng

ng v i các v trí khác nhau c a d li u đ u ra Thay vì s d ng m t ch s riêng bi t cho

ứa ới thiệu ịch sử của học sâu ủa hàm tích chập cơ bản ữ liệu ệm mạnh vô hạn ầu ra có cấu trúc ử của học sâu ục Lụ ộng lực ỉ để tính trung bình có trọng số ố chiều khác nhau ệm mạnh vô hạn

m i v trí trên ánh x đ u ra, chu kỳ v trí đ u ra sẽ thông qua m t t p h p l a ch n ỗi thời gian (time-series) có thể được xem là lưới ịch sử của học sâu ạng Tích Chập ầu ra có cấu trúc ịch sử của học sâu ầu ra có cấu trúc ộng lực ập ợc xem là lưới ực ọc cho mạng tích chập t khác

nhau c a lõi theo m i hủa hàm tích chập cơ bản ỗi thời gian (time-series) có thể được xem là lưới ưới thiệung N u ến thể của hàm tích chập cơ bản t b ng v i chi u r ng c a đ u ra, nó sẽ gi ng v i m t ằng dấu sao ( ới thiệu ền tảng thần kinh học cho mạng tích chập ộng lực ủa hàm tích chập cơ bản ầu ra có cấu trúc ố chiều khác nhau ới thiệu ộng lực

t ng liên k t c c b :ầu ra có cấu trúc ến thể của hàm tích chập cơ bản ục Lụ ộng lực

Z i , j , k=∑

l ,m ,n

V l , j+ m−1,k+n−1 K i ,l , m ,n , j %t +1,k %t+ 1 ,

đây

Ở đây, phép tính tổng của % là m t phép toán chia l y d , ví d ộng lực ấu trúc ư ục Lụ t % t =0, (t +1)%t=1, vân vân Đó là m t cách ộng lực

tr c ti p t ng quát hóa phực ến thể của hàm tích chập cơ bản ( ương 9: Mạng tích chậpng trình này đ s d ng m t ể của hàm tích chập cơ bản ử của học sâu ục Lụ ộng lực d i x p k nhau ản là mạng neuron sử dụng phép tích chập thay ến tính ề tích chập (tiling range) khác nhau cho m i chi u.ỗi thời gian (time-series) có thể được xem là lưới ền tảng thần kinh học cho mạng tích chập

Hình 9.14: So sánh giữa các liên kết cục bộ, tích chập và các liên kết đầy đủ (Hình phía trên) Một tầng liên kết cục

bộ với kích thước mảnh (patch size) là 2 điểm ảnh Mỗi cạnh biên được gán nhãn bởi một chữ cái độc nhất thể

hiện nó liên kết với tham số trọng số của chính mình (Hình ở giữa) Một tầng tích chập với lõi có chiều rộng là 2

điểm ảnh Mô hình này có cách kết nối y hệt với tầng liên kết cục bộ Điểm khác biệt không nằm ở việc các đơn vị tác động với nhau mà là ở cách các tham số được chia sẻ Tầng liên kết cục bộ không có việc dùng chung tham số Tầng tích chập sử dụng cùng hai trọng số lặp đi lặp lại dọc theo toàn bộ đầu vào, như đã được chỉ ra bằng việc lặp

đi lặp lại các chữ cái gán nhãn từng cạnh biên (Hình phía dưới) Một tầng liên kết đầy đủ giống với tầng liên kết cục

bộ ở điểm: mỗi cạnh biên đều có tham số của chính nó Tuy nhiên nó lại không có cách kết nối giới hạn như của tầng liên kết cục bộ.

Hình 9.15: Một mạng tích chập với 2 kênh đầu ra đầu tiên được kết nối với 2 kênh đầu vào đầu tiên, và 2 kênh đầu

ra thứ hai được kết nối đến 2 kênh đầu vào thứ hai.

Hình 9.16: So sánh giữa các tầng liên kết cục bộ, tích chập xếp kề nhau và tích chập tiêu chuẩn Cả ba đều có cùng các kết nối giữa các đơn vị, sử dụng lõi có cùng kích thước Sơ đồ này mô phỏng việc sử dụng lõi có chiều rộng 2

điểm ảnh Sự khác biệt giữa các phương pháp nằm ở cách chúng chia sẻ các tham số (Hình phía trên) Tầng liên kết

cục bộ không dùng chung tham số Ta thấy rằng mỗi liên kết có trọng số của riêng nó và được gán nhãn mỗi liên

kết bằng một chữ cái độc nhất (Hình ở giữa) Tích chập xếp kề nhau có một bộ t các lõi khác nhau Ở đây ta mô phỏng trường hợp t=2, một lõi có các cạnh biên được gán nhãn là "a" và "b", lõi còn lại có các cạnh biên được gán nhãn là "c" và "d" Mỗi lần ta sẽ dịch đi một điểm sang bên phải tại đầu ra thì ta sẽ sử dụng một lõi khác Điều này có nghĩa là, giống như tầng liên kết cục bộ, các đơn vị liền kề tại đầu ra có các tham số khác nhau Không giống như tầng liên kết cục bộ, sau khi ta đã sử dụng hết t lõi, chúng ta sẽ quay vòng trở lại với lõi đầu tiên Nếu hai đơn

vị đầu ra được chia tách bằng nhiều bước t thì chúng sẽ chia sẻ các tham số (Hình phía dưới) Tích chập thông

thường, tương đương với tích chập xếp kề nhau với t=1 Nó chỉ sử dụng duy nhất một lõi và được sử dụng tại mọi điểm trên ảnh, như ta thấy ở trên hình là lõi với các trọng số được gán nhãn "a" và "b" được sử dụng mọi vị trí.

Các t ng liên k t c c b và các t ng tích ch p x p k nhau đ u có nh ng tầu ra có cấu trúc ến thể của hàm tích chập cơ bản ục Lụ ộng lực ầu ra có cấu trúc ập ến thể của hàm tích chập cơ bản ền tảng thần kinh học cho mạng tích chập ền tảng thần kinh học cho mạng tích chập ữ liệu ương 9: Mạng tích chậpng tác thú v ịch sử của học sâu

v i phép g p c c đ i: các đ n v phát hi n c a nh ng t ng này đới thiệu ộng lực ực ạng Tích Chập ơng 9: Mạng tích chập ịch sử của học sâu ệm mạnh vô hạn ủa hàm tích chập cơ bản ữ liệu ầu ra có cấu trúc ược xem là lưới c d n d t b i các b ẫu nhiên hoặc không giám sát - % ộng lực

l c khác nhau N u nh ng b l c này h c đ phát hi n các k t qu bi n đ i khác nhau c aọc cho mạng tích chập ến thể của hàm tích chập cơ bản ữ liệu ộng lực ọc cho mạng tích chập ọc cho mạng tích chập ể của hàm tích chập cơ bản ệm mạnh vô hạn ến thể của hàm tích chập cơ bản ản ến thể của hàm tích chập cơ bản ( ủa hàm tích chập cơ bảncùng các đ c tr ng t ng trặc trưng ngẫu nhiên hoặc không giám sát ư % ầu ra có cấu trúc ưới thiệuc thì phép g p c c đ i sẽ tr nên b t bi n đ i v i các phép ộng lực ực ạng Tích Chập % ấu trúc ến thể của hàm tích chập cơ bản ố chiều khác nhau ới thiệu

bi n đ i đã h c (xem hình 9.9) Các t ng tích ch p đến thể của hàm tích chập cơ bản ( ọc cho mạng tích chập ầu ra có cấu trúc ập ược xem là lưới c mã hóa c ng tr nên b t bi n đ i ứa % ấu trúc ến thể của hàm tích chập cơ bản ố chiều khác nhau

v i các phép t nh ti n.ới thiệu ịch sử của học sâu ến thể của hàm tích chập cơ bản

Ngoài phép tích ch p, các m ng tích ch p cũng c n th c hi n m t s các phép tính khác ập ạng Tích Chập ập ầu ra có cấu trúc ực ệm mạnh vô hạn ộng lực ố chiều khác nhau

Đ th c hi n vi c h c t d li u, mô hình ph i có kh năng tính toán gradient ng v i lõi, ể của hàm tích chập cơ bản ực ệm mạnh vô hạn ệm mạnh vô hạn ọc cho mạng tích chập ừng ữ liệu ệm mạnh vô hạn ản ản ứa ới thiệu

v i gradient ng v i đ u ra cho trới thiệu ứa ới thiệu ầu ra có cấu trúc ưới thiệuc Trong m t s trộng lực ố chiều khác nhau ười gian (time-series) có thể được xem là lưới ng h p đ n gi n, phép toán này ợc xem là lưới ơng 9: Mạng tích chập ản

có th để của hàm tích chập cơ bản ược xem là lưới c th c hi n b ng phép tích ch p, th nh ng trong nhi u trực ệm mạnh vô hạn ằng dấu sao ( ập ến thể của hàm tích chập cơ bản ư ền tảng thần kinh học cho mạng tích chập ười gian (time-series) có thể được xem là lưới ng h p đáng chú ợc xem là lưới

ý, bao g m c trồng với phép tích chập sử ản ười gian (time-series) có thể được xem là lưới ng h p mà giá tr s i ch p l n h n ợc xem là lưới ịch sử của học sâu ản ập ới thiệu ơng 9: Mạng tích chập 1, không có đ c tính này.ặc trưng ngẫu nhiên hoặc không giám sát

Hãy nh r ng tích ch p là m t phép toán tuy n tính và do đó có th đới thiệu ằng dấu sao ( ập ộng lực ến thể của hàm tích chập cơ bản ể của hàm tích chập cơ bản ược xem là lưới c mô t dản ưới thiệu ạng Tích Chậpi d ng

m t phép nhân ma tr n (n u ta thay đ i hình d ng c a tensor đ u vào thành m t vector ộng lực ập ến thể của hàm tích chập cơ bản ( ạng Tích Chập ủa hàm tích chập cơ bản ầu ra có cấu trúc ộng lực

ph ng) Ma tr n liên quan là m t hàm s c a lõi tích ch p Ma tr n đó là ma tr n th a, và ẳng biến đối với phép tịnh tiến Một hàm được gọi là có ập ộng lực ố chiều khác nhau ủa hàm tích chập cơ bản ập ập ập ư

m i ph n t c a lõi đỗi thời gian (time-series) có thể được xem là lưới ầu ra có cấu trúc ử của học sâu ủa hàm tích chập cơ bản ược xem là lưới c sao chép sang m t vài ph n t c a ma tr n đó Quan đi m này ộng lực ầu ra có cấu trúc ử của học sâu ủa hàm tích chập cơ bản ập ể của hàm tích chập cơ bản

sẽ giúp chúng ta hi u để của hàm tích chập cơ bản ược xem là lưới ạng Tích Chậpc t i sao m t vài phép toán khác tr nên c n thi t trong quá ộng lực % ầu ra có cấu trúc ến thể của hàm tích chập cơ bảntrình tri n khai mô hình m ng tích ch p.ể của hàm tích chập cơ bản ạng Tích Chập ập

Nhân ma tr n b ng chuy n v c a ma tr n đập ằng dấu sao ( ể của hàm tích chập cơ bản ịch sử của học sâu ủa hàm tích chập cơ bản ập ược xem là lưới c đ nh nghĩa b ng tích ch p là m t trong ịch sử của học sâu ằng dấu sao ( ập ộng lực

nh ng phép toán nh v y Đây là phép toán c n thi t đ tính các đ o hàm l i lan truy n ữ liệu ư ập ầu ra có cấu trúc ến thể của hàm tích chập cơ bản ể của hàm tích chập cơ bản ạng Tích Chập ỗi thời gian (time-series) có thể được xem là lưới ền tảng thần kinh học cho mạng tích chậpngh ch d c theo t ng tích ch p, do v y nó c n cho vi c hu n luy n m ng tích ch p có ịch sử của học sâu ọc cho mạng tích chập ầu ra có cấu trúc ập ập ầu ra có cấu trúc ệm mạnh vô hạn ấu trúc ệm mạnh vô hạn ạng Tích Chập ập

nhi u h n m t t ng n Phép toán này cũng c n thi t n u ta mu n tái c u trúc các đ n v ền tảng thần kinh học cho mạng tích chập ơng 9: Mạng tích chập ộng lực ầu ra có cấu trúc * ầu ra có cấu trúc ến thể của hàm tích chập cơ bản ến thể của hàm tích chập cơ bản ố chiều khác nhau ấu trúc ơng 9: Mạng tích chập ịch sử của học sâu

kh ki n t nh ng đ n v n (Simard et al., 1992) Vi c tái c u trúc các đ n v kh ki n là ản ến thể của hàm tích chập cơ bản ừng ữ liệu ơng 9: Mạng tích chập ịch sử của học sâu * ệm mạnh vô hạn ấu trúc ơng 9: Mạng tích chập ịch sử của học sâu ản ến thể của hàm tích chập cơ bản

m t phép toán thông thộng lực ười gian (time-series) có thể được xem là lưới ng được xem là lưới ử của học sâu ục Lục s d ng trong các mô hình trong ph n III c a quy n % ầu ra có cấu trúc ủa hàm tích chập cơ bản ể của hàm tích chập cơ bảnsách này, nh là các b t mã hóa, các máy Boltzmann h n ch và mã hóa r i r c Tích ư ộng lực ực ạng Tích Chập ến thể của hàm tích chập cơ bản ời gian (time-series) có thể được xem là lưới ạng Tích Chập

ch p chuy n v là c n thi t đ xây d ng các phiên b n tích ch p c a nh ng mô hình này ập ể của hàm tích chập cơ bản ịch sử của học sâu ầu ra có cấu trúc ến thể của hàm tích chập cơ bản ể của hàm tích chập cơ bản ực ản ập ủa hàm tích chập cơ bản ữ liệu

Gi ng nh phép tính gradient lõi, phép tính gradient đ u vào này đôi khi có th đố chiều khác nhau ư ầu ra có cấu trúc ể của hàm tích chập cơ bản ược xem là lưới c th c ực

hi n b ng m t phép tích ch p nh ng thông thệm mạnh vô hạn ằng dấu sao ( ộng lực ập ư ười gian (time-series) có thể được xem là lưới ng c n ph i th c hi n thêm m t phép ầu ra có cấu trúc ản ực ệm mạnh vô hạn ộng lựctoán th ba C n ph i c n tr ng đ ph i h p phép chuy n v ma tr n này v i quá trình lanứa ầu ra có cấu trúc ản * ọc cho mạng tích chập ể của hàm tích chập cơ bản ố chiều khác nhau ợc xem là lưới ể của hàm tích chập cơ bản ịch sử của học sâu ập ới thiệutruy n thu n Kích thền tảng thần kinh học cho mạng tích chập ập ưới thiệuc ma tr n đ u ra sau khi chuy n v ph thu c vào vi c s d ng kỹập ầu ra có cấu trúc ể của hàm tích chập cơ bản ịch sử của học sâu ục Lụ ộng lực ệm mạnh vô hạn ử của học sâu ục Lụthu t thêm đập ười gian (time-series) có thể được xem là lưới ng vi n ph ền tảng thần kinh học cho mạng tích chập ục Lụ 0 và s i ch p trong phép toán lan truy n thu n, cũng nh kíchản ập ền tảng thần kinh học cho mạng tích chập ập ư

thưới thiệu ủa hàm tích chập cơ bảnc c a ánh x đ u ra c a sau quá trình lan truy n thu n Trong m t s trạng Tích Chập ầu ra có cấu trúc ủa hàm tích chập cơ bản ền tảng thần kinh học cho mạng tích chập ập ộng lực ố chiều khác nhau ười gian (time-series) có thể được xem là lưới ng h p, ợc xem là lưới

th c hi n lan truy n thu n v i đ u vào có nhi u kích thực ệm mạnh vô hạn ền tảng thần kinh học cho mạng tích chập ập ới thiệu ầu ra có cấu trúc ền tảng thần kinh học cho mạng tích chập ưới thiệuc có th tr v ánh x đ u ra cóể của hàm tích chập cơ bản ản ền tảng thần kinh học cho mạng tích chập ạng Tích Chập ầu ra có cấu trúccùng m t kích thộng lực ưới thiệuc, do v y phép chuy n v ph i bi t đập ể của hàm tích chập cơ bản ịch sử của học sâu ản ến thể của hàm tích chập cơ bản ược xem là lưới c chính xác kích thưới thiệu ủa hàm tích chập cơ bảnc c a d ữ liệu

li u đ u vào.ệm mạnh vô hạn ầu ra có cấu trúc

Ba phép toán này - tích ch p, lan truy n ngh ch t đ u ra v các tr ng s và lan truy n ập ền tảng thần kinh học cho mạng tích chập ịch sử của học sâu ừng ầu ra có cấu trúc ền tảng thần kinh học cho mạng tích chập ọc cho mạng tích chập ố chiều khác nhau ền tảng thần kinh học cho mạng tích chậpngh ch t đ u ra v đ u vào - là đ đ tính toán m i gradient c n thi t đ hu n luy n b tịch sử của học sâu ừng ầu ra có cấu trúc ền tảng thần kinh học cho mạng tích chập ầu ra có cấu trúc ủa hàm tích chập cơ bản ể của hàm tích chập cơ bản ọc cho mạng tích chập ầu ra có cấu trúc ến thể của hàm tích chập cơ bản ể của hàm tích chập cơ bản ấu trúc ệm mạnh vô hạn ấu trúc

c mô hình m ng tích ch p lan truy n thu n nào có đ sâu b t kỳ, cũng nh hu n luy n ứa ạng Tích Chập ập ền tảng thần kinh học cho mạng tích chập ập ộng lực ấu trúc ư ấu trúc ệm mạnh vô hạncác mô hình m ng tích ch p v i các hàm s tái c u trúc d a trên chuy n v c a phép tích ạng Tích Chập ập ới thiệu ố chiều khác nhau ấu trúc ực ể của hàm tích chập cơ bản ịch sử của học sâu ủa hàm tích chập cơ bản

ch p Tham kh o Goodfellow (2010) v đ o hàm đ y đ c a các phập ản ền tảng thần kinh học cho mạng tích chập ạng Tích Chập ầu ra có cấu trúc ủa hàm tích chập cơ bản ủa hàm tích chập cơ bản ương 9: Mạng tích chậpng trình trong các

trười gian (time-series) có thể được xem là lưới ng h p đa chi u, đa ví d t ng quát Đ bi t đợc xem là lưới ền tảng thần kinh học cho mạng tích chập ục Lụ ( ể của hàm tích chập cơ bản ến thể của hàm tích chập cơ bản ược xem là lưới c cách ho t đ ng c a các phạng Tích Chập ộng lực ủa hàm tích chập cơ bản ương 9: Mạng tích chậpng trình này, đây chúng ta sẽ s d ng ví d có % ử của học sâu ục Lụ ục Lụ 2 chi u # Chền tảng thần kinh học cho mạng tích chập ương 9: Mạng tích chậpng 9: Các m ng tích ch p (giaiạng Tích Chập ập

đo n 2)ạng Tích Chập

Trong trười gian (time-series) có thể được xem là lưới ng h p chúng ta mu n hu n luy n m t m ng tích ch p có s tham gia c a ợc xem là lưới ố chiều khác nhau ấu trúc ệm mạnh vô hạn ộng lực ạng Tích Chập ập ực ủa hàm tích chập cơ bảnphép tích ch p s i b ng ập ản ằng dấu sao ( ngăn x p lõi ến tính (kernel stack) K áp d ng cho nh đa kênh ục Lụ ản V v i bới thiệu ưới thiệuc

s i ản s nh đ nh nghĩa ư ịch sử của học sâu c (K , V , s) trong phương 9: Mạng tích chậpng trình 9.8 Gi s chúng ta mu n c c ti u hoá ản ử của học sâu ố chiều khác nhau ực ể của hàm tích chập cơ bản

m t s hàm m t mát ộng lực ố chiều khác nhau ấu trúc J (V , K ) Trong quá trình lan truy n thu n, chúng ta sẽ c n s d ng ền tảng thần kinh học cho mạng tích chập ập ầu ra có cấu trúc ử của học sâu ục Lụ

b n thân ản c đ t o đ u ra ể của hàm tích chập cơ bản ạng Tích Chập ầu ra có cấu trúc Z, b ng cách lan truy n xuyên su t toàn b ph n còn l i c a ằng dấu sao ( ền tảng thần kinh học cho mạng tích chập ố chiều khác nhau ộng lực ầu ra có cấu trúc ạng Tích Chập ủa hàm tích chập cơ bản

m ng và sau đó s d ng đ tính toán hàm chi phí ạng Tích Chập ử của học sâu ục Lụ ể của hàm tích chập cơ bản J Trong quá trình lan truy n ngh ch, ền tảng thần kinh học cho mạng tích chập ịch sử của học sâuchúng ta sẽ nh n đập ược xem là lưới c m t tensor ộng lực G sao cho G i , j ,k= ∂

∂ Z i , j , k J (V , K).

Đ hu n luy n m ng này, chúng ta c n tính các đ o hàm có liên quan v i nh ng tr ng s ể của hàm tích chập cơ bản ấu trúc ệm mạnh vô hạn ạng Tích Chập ầu ra có cấu trúc ạng Tích Chập ới thiệu ữ liệu ọc cho mạng tích chập ố chiều khác nhau trong lõi Trong khi đ làm để của hàm tích chập cơ bản ược xem là lưới c vi c này, chúng ta có th s d ng hàm sệm mạnh vô hạn ể của hàm tích chập cơ bản ử của học sâu ục Lụ ố chiều khác nhau

g¿

N u t ng này không ph i t ng đáy c a m ng, chúng ta c n tính gradient liên quan v i ến thể của hàm tích chập cơ bản ầu ra có cấu trúc ản ầu ra có cấu trúc ủa hàm tích chập cơ bản ạng Tích Chập ầu ra có cấu trúc ới thiệu V

đ lan truy n ngh ch sai s xu ng dể của hàm tích chập cơ bản ền tảng thần kinh học cho mạng tích chập ịch sử của học sâu ố chiều khác nhau ố chiều khác nhau ưới thiệui Đ làm th , chúng ta có th s d ng hàmể của hàm tích chập cơ bản ến thể của hàm tích chập cơ bản ể của hàm tích chập cơ bản ử của học sâu ục Lụ

M ng t mã hóa ạng tích chập ực tiếp (Autoencoder network), được xem là lưới c miêu t trong chản ương 9: Mạng tích chậpng 14, là lo i m ng lan ạng Tích Chập ạng Tích Chậptruy n thu n đền tảng thần kinh học cho mạng tích chập ập ược xem là lưới c hu n luy n đ sao chép đ u vào c a m ng t i đ u ra M t ví d đ n ấu trúc ệm mạnh vô hạn ể của hàm tích chập cơ bản ầu ra có cấu trúc ủa hàm tích chập cơ bản ạng Tích Chập ới thiệu ầu ra có cấu trúc ộng lực ục Lụ ơng 9: Mạng tích chập

gi n là thu t toán phân tích thành ph n chính sao chép đ u vào ản ập ầu ra có cấu trúc ầu ra có cấu trúc x c a nó đ vào m t mô ủa hàm tích chập cơ bản ể của hàm tích chập cơ bản ộng lựchình tái c u trúc x p x ấu trúc ấu trúc ỉ để tính trung bình có trọng số r b ng cách s d ng hàm ằng dấu sao ( ử của học sâu ục Lụ W ⊤ Wx Các b t mã hoá t ng quát ộng lực ực (

thười gian (time-series) có thể được xem là lưới ng s d ng phép nhân v i chuy n v c a ma tr n tr ng s gi ng nh thu t toán phânử của học sâu ục Lụ ới thiệu ể của hàm tích chập cơ bản ịch sử của học sâu ủa hàm tích chập cơ bản ập ọc cho mạng tích chập ố chiều khác nhau ố chiều khác nhau ư ậptích thành ph n chính làm Đ làm cho các mô hình nh v y có tính tích ch p, chúng ta có ầu ra có cấu trúc ể của hàm tích chập cơ bản ư ập ập

th s d ng hàm ể của hàm tích chập cơ bản ử của học sâu ục Lụ h đ th c hi n chuy n v c a toán t tích ch p Gi s chúng ta có các ể của hàm tích chập cơ bản ực ệm mạnh vô hạn ể của hàm tích chập cơ bản ịch sử của học sâu ủa hàm tích chập cơ bản ử của học sâu ập ản ử của học sâu

đ n v n ơng 9: Mạng tích chập ịch sử của học sâu * H có cùng đ nh d ng v i ịch sử của học sâu ạng Tích Chập ới thiệu Z và chúng ta đ nh nghĩa m t mô hình tái c u trúc:ịch sử của học sâu ộng lực ấu trúc

R=h(K , H , s)

Đ hu n luy n b t mã hóa, chúng ta sẽ xem gradient tể của hàm tích chập cơ bản ấu trúc ệm mạnh vô hạn ộng lực ực ương 9: Mạng tích chậpng ng v i ứa ới thiệu R nh m t tensor ư ộng lực E

Đ hu n luy n ể của hàm tích chập cơ bản ấu trúc ệm mạnh vô hạn b gi i mã ột tầng của mạng ản là mạng neuron sử dụng phép tích chập thay (decoder), chúng ta c n tính gradient tầu ra có cấu trúc ương 9: Mạng tích chậpng ng v i ứa ới thiệu K K t qu ến thể của hàm tích chập cơ bản ản

đó được xem là lưới c cho b i % g(H , E , s) Đ hu n luy n ể của hàm tích chập cơ bản ấu trúc ệm mạnh vô hạn b mã hóa ột tầng của mạng (encoder), chúng ta c n tính ầu ra có cấu trúc

gradient tương 9: Mạng tích chậpng ng v i ứa ới thiệu H K t qu đó đến thể của hàm tích chập cơ bản ản ược xem là lưới c cho b i % c (K , E , s) Ta cũng có th tính vi phân ể của hàm tích chập cơ bản

thông qua g b ng cách s d ng ằng dấu sao ( ử của học sâu ục Lụ c và h, nh ng các toán t này không c n thi t cho thu t ư ử của học sâu ầu ra có cấu trúc ến thể của hàm tích chập cơ bản ậptoán lan truy n ngh ch trên b t kỳ ki n trúc m ng chu n nào.ền tảng thần kinh học cho mạng tích chập ịch sử của học sâu ấu trúc ến thể của hàm tích chập cơ bản ạng Tích Chập *

Nhìn chung, chúng ta không ch s d ng toán t tuy n tính đ chuy n đ i các đ u vào ỉ để tính trung bình có trọng số ử của học sâu ục Lụ ử của học sâu ến thể của hàm tích chập cơ bản ể của hàm tích chập cơ bản ể của hàm tích chập cơ bản ( ầu ra có cấu trúcthành các đ u ra trong m t t ng tích ch p Chúng ta thầu ra có cấu trúc ộng lực ầu ra có cấu trúc ập ười gian (time-series) có thể được xem là lưới ng sẽ c ng thêm đ ch ch cho ộng lực ộng lực ệm mạnh vô hạn

m i k t qu đ u ra trỗi thời gian (time-series) có thể được xem là lưới ến thể của hàm tích chập cơ bản ản ầu ra có cấu trúc ưới thiệuc khi s d ng toán t phi tuy n tính Đi u này đ t ra câu h i v ử của học sâu ục Lụ ử của học sâu ến thể của hàm tích chập cơ bản ền tảng thần kinh học cho mạng tích chập ặc trưng ngẫu nhiên hoặc không giám sát ỏ ền tảng thần kinh học cho mạng tích chậpcách chia s các tr ng s gi a các đ ch ch Đ i v i các t ng k t n i c c b , ta sẽ cho m i ẻ các tham số khắp ảnh là một việc thực tế Trong một ọc cho mạng tích chập ố chiều khác nhau ữ liệu ộng lực ệm mạnh vô hạn ố chiều khác nhau ới thiệu ầu ra có cấu trúc ến thể của hàm tích chập cơ bản ố chiều khác nhau ục Lụ ộng lực ỗi thời gian (time-series) có thể được xem là lưới

đ n v m t đ ch ch c a riêng nó Đ i v i tích ch p x p k nhau, ta sẽ chia s các đ ơng 9: Mạng tích chập ịch sử của học sâu ộng lực ộng lực ệm mạnh vô hạn ủa hàm tích chập cơ bản ố chiều khác nhau ới thiệu ập ến thể của hàm tích chập cơ bản ền tảng thần kinh học cho mạng tích chập ẻ các tham số khắp ảnh là một việc thực tế Trong một ộng lực

ch ch v i cùng mô th c x p k nhau nh lõi ch p Đ i v i các t ng tích ch p, thông ệm mạnh vô hạn ới thiệu ứa ến thể của hàm tích chập cơ bản ền tảng thần kinh học cho mạng tích chập ư ập ố chiều khác nhau ới thiệu ầu ra có cấu trúc ập

thười gian (time-series) có thể được xem là lưới ng sẽ có m t đ ch ch ng v i m i kênh c a đ u ra và đ ch ch này sẽ động lực ộng lực ệm mạnh vô hạn ứa ới thiệu ỗi thời gian (time-series) có thể được xem là lưới ủa hàm tích chập cơ bản ầu ra có cấu trúc ộng lực ệm mạnh vô hạn ược xem là lưới c chia s ẻ các tham số khắp ảnh là một việc thực tế Trong một trên t t c các v trí trong m t ánh x tích ch p Tuy nhiên, n u đ u vào có kích thấu trúc ản ịch sử của học sâu ộng lực ạng Tích Chập ập ến thể của hàm tích chập cơ bản ầu ra có cấu trúc ưới thiệu ố chiều khác nhau c c

đ nh bi t trịch sử của học sâu ến thể của hàm tích chập cơ bản ưới thiệuc, ta cũng có th h c đ ch ch riêng bi t cho t ng v trí c a ánh x đ u ra ể của hàm tích chập cơ bản ọc cho mạng tích chập ộng lực ệm mạnh vô hạn ệm mạnh vô hạn ừng ịch sử của học sâu ủa hàm tích chập cơ bản ạng Tích Chập ầu ra có cấu trúc

Vi c tách r i các đ ch ch nh v y có th làm gi m hi u qu th ng kê c a mô hình m t ệm mạnh vô hạn ời gian (time-series) có thể được xem là lưới ộng lực ệm mạnh vô hạn ư ập ể của hàm tích chập cơ bản ản ệm mạnh vô hạn ản ố chiều khác nhau ủa hàm tích chập cơ bản ộng lựcchút nh ng nó cho phép mô hình đi u ch nh các khác bi t trong th ng kê hình nh các vư ền tảng thần kinh học cho mạng tích chập ỉ để tính trung bình có trọng số ệm mạnh vô hạn ố chiều khác nhau ản % ịch sử của học sâutrí khác nhau Ví d , khi s d ng kĩ thu t thêm đục Lụ ử của học sâu ục Lụ ập ười gian (time-series) có thể được xem là lưới ng vi n ph 0 n, các đ n v dò tìm ền tảng thần kinh học cho mạng tích chập ục Lụ * ơng 9: Mạng tích chập ịch sử của học sâu %

c nh biên c a nh nh n đạng Tích Chập ủa hàm tích chập cơ bản ản ập ược xem là lưới c ít s đ u vào h n và có th c n các tr ng s đ ch ch l n ố chiều khác nhau ầu ra có cấu trúc ơng 9: Mạng tích chập ể của hàm tích chập cơ bản ầu ra có cấu trúc ọc cho mạng tích chập ố chiều khác nhau ộng lực ệm mạnh vô hạn ới thiệu

h n.ơng 9: Mạng tích chập

9.6 Các đầu ra có cấu trúc

Các m ng tích ch p có th đạng Tích Chập ập ể của hàm tích chập cơ bản ược xem là lưới ử của học sâu ục Lục s d ng đ t o ra m t đ i tể của hàm tích chập cơ bản ạng Tích Chập ộng lực ố chiều khác nhau ược xem là lưới ng có s chi u l n, có c u ố chiều khác nhau ền tảng thần kinh học cho mạng tích chập ới thiệu ấu trúctrúc, thay vì ch gói g n trong vi c d đoán nhãn cho tác v phân lo i ho c m t giá tr th cỉ để tính trung bình có trọng số ọc cho mạng tích chập ệm mạnh vô hạn ực ục Lụ ạng Tích Chập ặc trưng ngẫu nhiên hoặc không giám sát ộng lực ịch sử của học sâu ựccho tác v h i quy Thông thục Lụ ồng với phép tích chập sử ười gian (time-series) có thể được xem là lưới ng đ i tố chiều khác nhau ược xem là lưới ng này ch là m t tensor, đỉ để tính trung bình có trọng số ộng lực ược xem là lưới ạng Tích Chậpc t o ra b i m t % ộng lực

t ng tích ch p chu n Ví d , mô hình này có th t o ra m t tensor ầu ra có cấu trúc ập * ục Lụ ể của hàm tích chập cơ bản ạng Tích Chập ộng lực S , trong đó S i , j ,k là xác

su t mà đi m nh đ u vào ấu trúc ể của hàm tích chập cơ bản ản ầu ra có cấu trúc (j, k ) c a m ng thu c l p ủa hàm tích chập cơ bản ạng Tích Chập ộng lực ới thiệu i Đi u này cho phép mô hình g n ền tảng thần kinh học cho mạng tích chập nhãn m i đi m nh trong m t b c nh và t o các mask chính xác tuân theo đ c đi m c a ọc cho mạng tích chập ể của hàm tích chập cơ bản ản ộng lực ứa ản ạng Tích Chập ặc trưng ngẫu nhiên hoặc không giám sát ể của hàm tích chập cơ bản ủa hàm tích chập cơ bản

-t ng đ i -từng ố chiều khác nhau ược xem là lưới ng riêng l ẻ các tham số khắp ảnh là một việc thực tế Trong một

M t v n đ thộng lực ấu trúc ền tảng thần kinh học cho mạng tích chập ười gian (time-series) có thể được xem là lưới ng xu t hi n là m t ph ng đ u ra có th nh h n m t ph ng đ u vào, ấu trúc ệm mạnh vô hạn ặc trưng ngẫu nhiên hoặc không giám sát ẳng biến đối với phép tịnh tiến Một hàm được gọi là có ầu ra có cấu trúc ể của hàm tích chập cơ bản ỏ ơng 9: Mạng tích chập ặc trưng ngẫu nhiên hoặc không giám sát ẳng biến đối với phép tịnh tiến Một hàm được gọi là có ầu ra có cấu trúc

nh trong hình 9.13 Trong các lo i ki n trúc thư ạng Tích Chập ến thể của hàm tích chập cơ bản ười gian (time-series) có thể được xem là lưới ng được xem là lưới ử của học sâu ục Lục s d ng đ phân lo i m t đ i ể của hàm tích chập cơ bản ạng Tích Chập ộng lực ố chiều khác nhau

tược xem là lưới ng duy nh t trong m t hình nh, s suy gi m l n nh t v kích thấu trúc ộng lực ản ực ản ới thiệu ấu trúc ền tảng thần kinh học cho mạng tích chập ưới thiệuc không gian c a ủa hàm tích chập cơ bản

m ng đ n t vi c s d ng các t ng g p v i bạng Tích Chập ến thể của hàm tích chập cơ bản ừng ệm mạnh vô hạn ử của học sâu ục Lụ ầu ra có cấu trúc ộng lực ới thiệu ưới thiệu ản ới thiệuc s i l n Đ t o ra m t ánh x đ u ra có ể của hàm tích chập cơ bản ạng Tích Chập ộng lực ạng Tích Chập ầu ra có cấu trúccùng kích thưới thiệuc v i đ u vào, ngới thiệu ầu ra có cấu trúc ười gian (time-series) có thể được xem là lưới i ta có th tránh s d ng phép g p (Jain et al., 2007) ể của hàm tích chập cơ bản ử của học sâu ục Lụ ộng lực

M t cách khác là đ n thu n t o ra m t lộng lực ơng 9: Mạng tích chập ầu ra có cấu trúc ạng Tích Chập ộng lực ưới thiệui các nhãn có đ phân gi i th p h n (Pinheiro ộng lực ản ấu trúc ơng 9: Mạng tích chậpand Collobert, 2014, 2015) Cu i cùng, v nguyên t c, ngố chiều khác nhau ền tảng thần kinh học cho mạng tích chập - ười gian (time-series) có thể được xem là lưới i ta có th s d ng m t toán t ể của hàm tích chập cơ bản ử của học sâu ục Lụ ộng lực ử của học sâu

g p v i đ n v s i.ộng lực ới thiệu ơng 9: Mạng tích chập ịch sử của học sâu ản

M t chi n lộng lực ến thể của hàm tích chập cơ bản ược xem là lưới c cho vi c gán nhãn t ng đi m nh c a nh là d đoán ban đ u các nhãn ệm mạnh vô hạn ừng ể của hàm tích chập cơ bản ản ủa hàm tích chập cơ bản ản ực ầu ra có cấu trúc

c a hình nh, sau đó tinh ch nh l i giá tr d đoán ban đ u này b ng cách s d ng s ủa hàm tích chập cơ bản ản ỉ để tính trung bình có trọng số ạng Tích Chập ịch sử của học sâu ực ầu ra có cấu trúc ằng dấu sao ( ử của học sâu ục Lụ ực