Tìm hiểu mạng CNN và ứng dụng nhận dạng lá cây thuốc chữa bệnh trong dân gian

Trong giai đoạn gần đây, cụm từ cách mạng công nghiệp lần thứ tư được nhắc đến rất nhiều trên truyền thông. Khái niệm cách mạng công nghiệp 4.0 được đưa ra dựa trên xu thế bùng nổ của nhiều công nghệ mới như: công nghệ truyền dẫn tốc độ cao, CPU rất mạnh, GPU hàng ngàn nhân, công nghệ chế tạo bộ nhớ đạt nhiều đột phá. Song song với đó, công nghệ dần làm các thiết bị nhỏ lại, nhưng sức mạnh tăng lên đáng kể. Công nghệ mạch nhúng cũng bùng nổ không kém với nhiều mạch nhúng nhỏ, sử dụng lượng điện khiêm tốn, nhưng khả năng tính toán lên tới hàng ngàn tỉ phép tính trên giây, tương đương sức mạnh của 1 siêu máy tính cách đây khoảng 20 năm. Ví dụ như board mạch Nvidias Jetson TX1 được ra mắt năm 2015, có thể nằm vừa trong lòng bàn tay và chỉ sử dụng 10 oát điện, đã có sức mạnh tính toán tới 1 ngàn tỉ phép tính trên giây, điều mà cách đó tròn 20 năm, vào năm 1996, siêu máy tính ASCI Red của Intel, phải sử dụng tới 6000 vi xử lý Pentium Pros, vận hành với 1000 kW mới có thể đạt được sức mạnh tính toán trên.Máy tính hiện nay có sức mạnh tính toán lớn nhưng giá thành lại ở mức phổ thông, dẫn tới người làm nghiên cứu rất dễ dàng để có thể tự kiểm nghiệm được các lý thuyết về trí tuệ nhân tạo từ nhiều năm trước. Cùng với mã nguồn mở, hiện làn sóng trí tuệ nhân tạo đang bùng nổ mạnh mẽ trong thời gian gần đây, và đem lại rất nhiều ứng dụng trong đời sống.Ngày nay, với sự phát triển của công nghệ bán dẫn, máy tính ngày càng nhỏ đi, năng lượng tiêu thụ ngày càng thấp xuống, trong khi tốc độ xử lý lại ngày càng tăng lên. Với những ưu điểm như vậy, chúng ta có thể thấy rất nhiều thiết bị thông minh đã và đang hiện diện mọi nơi trong đời sống, với camera nhiều điểm ảnh, bộ nhớ trong lớn và vi xử lý mạnh như: điện thoại thông minh, máy ảnh kỹ thuật số, camera hành trình,... Ngoài ra, với sự bùng nổ của xu hướng mạng vạn vật IOT, người ta có thể sẽ còn thấy rất nhiều thiết bị thông minh mới xuất hiện: xe ô tô tự lái, thiết bị bay không người lái tự giao hàng,... Có thể thấy, việc sử dụng trí thông minh nhân tạo để khai thác dữ liệu hình ảnh trong các thiết bị thông minh trong tương lai đã và đang trở thành xu hướng. Từ nhận định trên tôi quyết định chọn nội dung “Tìm hiểu mạng CNN và ứng dụng nhận dạng lá cây thuốc chữa bệnh trong dân gian” để làm đề tài báo cáo cuối kì trong môn trí tuệ nhân tạo.Tìm hiểu mạng CNN và ứng dụng nhận dạng lá cây thuốc chữa bệnh trong dân gian, Nhận dạng lá cây thuốc bằng thuật toán CNN

NHẬN DẠNG LÁ CÂY THUỐC BẰNG THUẬT TOÁN CNN

MỤC LỤC

MỞ ĐẦU 1

1 Lí do chọn đề tài 1

2 Cấu trúc đề tài 1

CHƯƠNG 1 TỔNG QUAN VỀ ĐỀ TÀI 3

1.1 Giới thiệu 3

1.2 Hướng tiếp cận 3

1.3 Khó khăn và thách thức 3

1.4 Hướng giải quyết 3

CHƯƠNG 2 CƠ SỞ LÝ THUYẾT 5

2.1 Giới thiệu về mạng nơ-ron 5

2.1.1 Lịch sử của nơ-ron nhân tạo 5

2.1.2 Cấu tạo và quá trình xử lý của một nơ-ron sinh học 6

2.1.3 Cấu tạo và quá trình xử lý của một nơ-ron nhân tạo 6

2.1.4 Các mô hình hàm kích phổ hoạt phổ biến của mạng nơ rơn nhân tạo 8

2.2 Mạng nơ-ron nhân tạo 10

2.2.1 Giới thiệu mạng nơ rọn nhân tạo 10

2.2.2 Một số kiểu mạng nơ-ron 11

2.2.3 Mạng nơ-ron lan truyền ngược 12

2.3 Mạng nơ-ron tích chập Convolutional Neural Networks (CNN) 13

2.3.1 Giới thiệu 13

2.3.2 Cấu trúc mạng CNN 13

2.3.3 Ứng dụng của CNN 14

2.3.4 Tăng cường dữ liệu (Data Augmentation) 17

CHƯƠNG 3 THU THẬP DỮ LIỆU VÀ XỬ LÝ DỮ LIỆU 19

3.1 Giới thiệu 19

3.2 Một số bài thuốc có sử dụng lá cây trong dân gian 19

3.2.1 Bạc hà 19

3.2.2 Bạch hoa xà thiệt thảo 19

3.2.3 Cốt khí 20

3.2.4 Trinh nữ hoàng cung 21

3.2.5 Tía tô 21

3.2.6 Lá mơ 21

3.2.7 Dừa cạn 22

3.2.8 Cây cúc tần 22

3.2.9 Dâu tằm 23

CHƯƠNG 4 XÂY DỰNG BÀI TOÁN 24

4.1 Các bước chi tiết trong thuật toán 24

4.2 Tập dữ liệu và kết quả đạt được của thuật toán 27

CHƯƠNG 5: KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 29

5.1 Kết luận 29

5.2 Hạn chế 29

5.3 Hướng phát triển 29

TÀI LIỆU THAM KHẢO 30

DANH MỤC HÌNH

Hình 2.1 Hình ảnh thí nghiệm của David Hubel và Torsten Wiesel trên mèo 5

Hình 2.2 Cấu trúc một nơ-ron sinh học 6

Hình 2.3 Cấu trúc xử lý của nơ-ron nhân tạo 6

Hình 2.4 Kết quả hàm sigmoid khi không sử dụng bias 7

Hình 2.5 Kết quả hàm sigmoid khi sử dụng bias 7

Hình 2.6 Đồ thị hàm Sigmoid 8

Hình 2.7 Đồ thị hàm TanH 8

Hình 2.8 Đồ thị hàm tuyến tính 9

Hình 2.9 Đồ thị hàm ReLU 9

Hình 2.10 Đồ thị hàm ELU 10

Hình 2.11 Mạng nơ-ron truyền thẳng 11

Hình 2.12 Mạng nơ-ron hồi quy (RNN) 11

Hình 2.13 Sơ đồ mạng hồi quy 12

Hình 3.1 lá bạc hà 19

Hình 3.2 Lá bạch hoa xà thiệt thảo 20

Hình 3.3 Lá cốt khí 20

Hình 3.4 Lá trinh nữ hoàng cung 21

Hình 3.5 Lá tía tô 21

Hình 3.6 Lá mơ 22

Hình 3.7 lá cây dừa cạn 22

Hình 3.8 Lá cúc tần 23

Hình 3.9 Lá dâu tằm 23

MỞ ĐẦU

1 Lí do chọn đề tài

Trong giai đoạn gần đây, cụm từ cách mạng công nghiệp lần thứ tư được nhắcđến rất nhiều trên truyền thông Khái niệm cách mạng công nghiệp 4.0 được đưa radựa trên xu thế bùng nổ của nhiều công nghệ mới như: công nghệ truyền dẫn tốc độcao, CPU rất mạnh, GPU hàng ngàn nhân, công nghệ chế tạo bộ nhớ đạt nhiều đột phá.Song song với đó, công nghệ dần làm các thiết bị nhỏ lại, nhưng sức mạnh tăng lênđáng kể Công nghệ mạch nhúng cũng bùng nổ không kém với nhiều mạch nhúng nhỏ,

sử dụng lượng điện khiêm tốn, nhưng khả năng tính toán lên tới hàng ngàn tỉ phép tínhtrên giây, tương đương sức mạnh của 1 siêu máy tính cách đây khoảng 20 năm Ví dụnhư board mạch Nvidia's Jetson TX1 được ra mắt năm 2015, có thể nằm vừa tronglòng bàn tay và chỉ sử dụng 10 oát điện, đã có sức mạnh tính toán tới 1 ngàn tỉ phéptính trên giây, điều mà cách đó tròn 20 năm, vào năm 1996, siêu máy tính ASCI Redcủa Intel, phải sử dụng tới 6000 vi xử lý Pentium Pros, vận hành với 1000 kW mới cóthể đạt được sức mạnh tính toán trên

Máy tính hiện nay có sức mạnh tính toán lớn nhưng giá thành lại ở mức phổthông, dẫn tới người làm nghiên cứu rất dễ dàng để có thể tự kiểm nghiệm được các lýthuyết về trí tuệ nhân tạo từ nhiều năm trước Cùng với mã nguồn mở, hiện làn sóng trítuệ nhân tạo đang bùng nổ mạnh mẽ trong thời gian gần đây, và đem lại rất nhiều ứngdụng trong đời sống

Ngày nay, với sự phát triển của công nghệ bán dẫn, máy tính ngày càng nhỏ đi,năng lượng tiêu thụ ngày càng thấp xuống, trong khi tốc độ xử lý lại ngày càng tănglên Với những ưu điểm như vậy, chúng ta có thể thấy rất nhiều thiết bị thông minh đã

và đang hiện diện mọi nơi trong đời sống, với camera nhiều điểm ảnh, bộ nhớ tronglớn và vi xử lý mạnh như: điện thoại thông minh, máy ảnh kỹ thuật số, camera hànhtrình, Ngoài ra, với sự bùng nổ của xu hướng mạng vạn vật IOT, người ta có thể sẽcòn thấy rất nhiều thiết bị thông minh mới xuất hiện: xe ô tô tự lái, thiết bị bay khôngngười lái tự giao hàng, Có thể thấy, việc sử dụng trí thông minh nhân tạo để khaithác dữ liệu hình ảnh trong các thiết bị thông minh trong tương lai đã và đang trởthành xu hướng Từ nhận định trên tôi quyết định chọn nội dung “Tìm hiểu mạngCNN và ứng dụng nhận dạng lá cây thuốc chữa bệnh trong dân gian” để làm đề tài báocáo cuối kì trong môn trí tuệ nhân tạo

2 Cấu trúc đề tài

Báo cáo được tổ chức gồm 5 chương gồm:

-Chương 1: Giới thiệu về bài toán phân loại lá cây thuốc, giới thiệu một số hướngtiếp cận, ưu nhược điểm của các hướng tiếp cận, khó khăn và thách thức Cuối cùng là

hướng giải quyết.

-Chương 2: Trình bày về một số kiểu mạng nơ-ron và cơ chế lan truyền ngược.Cuối cùng là giới thiệu về cấu tạo và cách hoạt động của mạng nơ-ron tích chập Trìnhbày tổng quan về bài toán nhận dạng bằng mạng nơ-ron tích chập (CNN)

-Chương 3: Thu thập và xử lý dữ liệu Tìm hiểu các bài báo về các lá cây thuốcchữa bệnh trong dân gian Sau khi đã có danh sách các lá cây thuốc chữa bệnh tiếnhành đi thu thập hình ảnh của các lá cây thuốc nhằm phục vụ việc huấn luyện model.-Chương 4: Xây dựng mô hình huấn để giải quyết bài toán tìm lá cây thuốc bằnghình ảnh

-Chương 5: Cuối cùng là phần kết luận kết quả đã đạt được và nêu ra những tồntại, dựa vào đó để đưa ra những mục tiêu và phương hướng phát triển cho hệ thống saunày

CHƯƠNG 1 TỔNG QUAN VỀ ĐỀ TÀI1.1 Giới thiệu

Việt Nam là một nước có rất nhiều loại lá cây thuốc quý hiếm, ngành đông y đã

có một bề dày lịch sử đáng kể Hiện nay ngành thuốc tây y đã phát triển đột phá vềcông nghệ nhưng không thể phủ nhận giá trị mà các loại thuốc đông y mang lại, vẫncòn đó những loại bệnh mà cần phải kết hợp giữa đông và tây y

Trên thế giới đã có một số công trình nghiên cứu về nhận dạng lá cây thuốc.Bằng cách vận dụng kỹ thuật xử lý ảnh và nhận dạng đã đạt được một số kết quả khảquan Các hệ thống nhận dạng chỉ được thử nghiệm trên điều kiện lý tưởng, các mẫuvật được chụp một cách rõ ràng và có thể thấy rõ chi tiết của lá, nhưng chưa áp dụngvào cuộc sống đại trà

Với công nghệ phát triển đột phá trong thập kỉ qua, việc đưa máy học và mạngnơ-ron nhân tạo vào để phân loại đã không là một điều gì quá khó khăn Hiện tại ởViệt Nam vẫn chưa có nhiều công trình kết hợp học sâu để phân loại lá cây thuốc Tôiquyết định thực hiện đề tài này với mục đích nghiên cứu các công nghệ mới hiện nay

để tạo tiền đề cho việc ứng dụng trí tuệ nhân tạo vào thực tiễn đời sống

1.2 Hướng tiếp cận

Thu thập kiến thức và dữ liệu về lá cây thuốc dân gian trong điều trị bệnh

Tìm hiểu mạng học sâu, các mô hình mạng nơ-ron và cách hoạt động củachúng

Xây dựng một hệ thống phân tích và nhận dạng được những loại lá cây thuốc

Khó khăn tiếp theo là vấn đề tạo nên một giao diện dễ dàng sử dụng cho ngườidụng Vì tôi chưa được tiếp cận nhiều với lập trình hướng đối tượng chuyên nghiệp

1.4 Hướng giải quyết

Để giải quyết bài toán phân loại các cây thuốc, tôi sử dụng thuật toán CNN

Bước đầu cần tìm kiếm thu thập và xây dựng kho dữ liệu hình ảnh lá cây thuốcđược lưu truyền trong dân gian và có trong kho sách về thuốc chữa bệnh của ViệtNam Từ đó chọn lọc và tiến hành gán nhãn để thực hiện bước huấn luyện.

Mô hình sẽ học và trích lọc các đặc trưng của từng loại lá cây khác nhau

Bước cuối cùng là đưa ứng dụng kết hợp với model phân loại lên giao diện đểđưa đến tay người dùng Model được đưa vào phần tìm kiếm bằng hình ảnh, từ đó sẽđưa ra được tên của loại lá cây mà người dùng đang tìm kiếm và các bài thuốc sử dụngloại lá cây đó

CHƯƠNG 2

CƠ SỞ LÝ THUYẾT2.1 Giới thiệu về mạng nơ-ron

2.1.1 Lịch sử của nơ-ron nhân tạo

Vào năm 1943, nhà thần kinh học Warren McCulloch đã cùng nhà toán họcWalter Pitts đã viết một cuốn sách về cách mạng thần kinh hoạt động Và họ đã thựchiện mô phỏng một mạng thần kinh đơn giản trên một mạch điện

Vào năm 1949, Donald Hebb đã viết cuốn sách Organization of Behavior Điểmnhấn chính là mạng thần kinh nào được sử dụng nhiều sẽ được tăng cường

Vào năm 1959, David Hubel và Torsten Wiesel đã xuất bản cuốn sách Receptivefields of single neurons in the cat’s striate cortex, miêu tả về phản ứng của các tế bàothần kinh thị giác trên loài mèo, cũng như cách loài mèo ghi nhớ và nhận diện hìnhdạng trên kiến trúc vỏ não của nó

Hình 2.1 Hình ảnh thí nghiệm của David Hubel và Torsten Wiesel trên mèo

Vào năm 1989, Yann LeCun đã áp dụng thuật toán học cho mạng nơ-ron theokiểu lan truyền ngược vào kiến trúc mạng nơ-ron tích chập của Fukushima Sau đó vàinăm, LeCun đã công bố LeNet-5 Có thể nói, LeNet-5 là một trong những mạng nơ-ron tích chập sơ khai nhất, tuy nhiên các dấu ấn của nó vẫn tồn tại tới ngày nay, có thểthấy thông qua một số thành phần thiết yếu mà các mạng nơ-ron tích chập của ngàynay vẫn đang sử dụng

2.1.2 Cấu tạo và quá trình xử lý của một nơ-ron sinh học

Hình 2.2 Cấu trúc một nơ-ron sinh học

Một số chức năng cơ bản của một nơ-ron sinh học:

Cell body: là nơi xử lý tất cả tín hiệu đưa vào;

Dendrite: là nơi nhận các xung điện vào trong nơ-ron;

Axon: là nơi đưa tín hiệu ra ngoài sau khi được xử lý bởi nơ-ron;

Synaptic terminals: vị trí nằm giữa Dendrite và Axon, đây là điểm liên kết đầu

ra của nơ-ron này với đầu vào của nơ-ron khác

2.1.3 Cấu tạo và quá trình xử lý của một nơ-ron nhân tạo

Dựa vào cấu tạo của một nơ-ron sinh học, các nhà khoa học nghiên cứu và lậptrình đã đưa ra kiến trúc của một nơ-ron nhân tạo:

Hình 2.3 Cấu trúc xử lý của nơ-ron nhân tạo

Trong đó:

Xi : Là danh sách các đầu vào Số lượng thuộc tính đầu vào thường nhiều hơnmột, do dữ liệu thô đầu vào thường là một vector nhiều chiều, hoặc nhiều nơ-ron tầng

trước kết nối tới một nơ-ron tầng sau;

Wji : Các trọng số tương ứng với các đầu vào;

Θj : độ lệch (bias) Độ lệch được đưa vào sau khi khi tính toán xong hàm tổng,tạo ra giá trị cuối cùng trước khi đưa vào hàm truyền Mục đích của việc thêm vào độlệch nhằm dịch chuyển chức năng của hàm kích hoạt sang trái hoặc phải, giúp ích khimạng được huấn luyện

Aj : đầu vào mạng (net-input) Có chức năng tính tổng các tích của các đầu vào

và trọng số tương ứng

G(x): hàm chuyển (hàm kích hoạt)

Zj : đầu ra của nơron

Một số hàm kích hoạt phổ biến hiện nay: Sigmoid, TanH, ReLU,

Hình 2.4 Kết quả hàm sigmoid khi không sử dụng bias

Hình 2.5 Kết quả hàm sigmoid khi sử dụng bias

2.1.4 Các mô hình hàm kích phổ hoạt phổ biến của mạng nơ rơn nhân tạo

Biểu diễn hàm: f ( x )={0 khi x<0 x khi x ≥0

Đạo hàm của hàm: f ' ( x )={1 khi x ≥ 0 0 khi x <0

Hàm RELU áp dụng với những trường hợp cần đầu ra nằm trong khoảng (0,+∞),

có tốc độ tính toán rất nhanh, gán các giá trị âm trở thành 0 ngay lập tức, phù hợp choviệc huấn luyện từ dữ liệu chuẩn Tuy nhiên, điều này khiến hàm ReLU không ánh xạcác giá trị âm một cách thích hợp

Hình 2.9 Đồ thị hàm ReLU

2.1.4.5 Hàm ELU

Biểu diễn hàm: f ( x )={α (e x−1)khi x <0

x khi x ≥ 0

Đạo hàm của hàm: f ' ( x )={f (x )+α khi x <0 1 khi x ≥ 0

Hàm ELU là một biến thể của hàm RELU Hàm thường được sử dụng khingưỡng đầu ra của nó nằm trong khoảng (-1, +∞) Hàm ELU khắc phục hạn chế ánh

xạ các giá trị âm của hàm ReLU

Hình 2.10 Đồ thị hàm ELU

2.2 Mạng nơ-ron nhân tạo

2.2.1 Giới thiệu mạng nơ rọn nhân tạo

Mạng nơ-ron nhân tạo (Artificial Neural Network) là một chuỗi các giải thuật lậptrình, mô phỏng dựa trên cách hoạt động của mạng lưới thần kinh trong não bộ cácsinh vật sống Mạng nơ-ron nhân tạo được sử dụng để tìm ra mối quan hệ của một tập

dữ liệu thông qua một thiết kế kiến trúc chứa nhiều tầng ẩn (hidden layer), mỗi tầng lạichứa nhiều nơ-ron Các nơ-ron được kết nối với nhau và độ mạnh yếu của các liên kếtđược biểu hiện qua trọng số liên kết

Lập trình thông thường có thể làm được rất nhiều phần mềm lớn, như tính toán

mô phỏng các vụ nổ hạt nhân trong siêu máy tính ở các phòng thí nghiệm, hoặc táihiện các tế bào ở cấp độ phân tử để phân tích các thử nghiệm thuốc Một siêu máy tính

có thể tính toán được nhiều tỉ phép tính trên giây, tuy nhiên lập trình thông thường lạigặp khó khăn trong việc nhận ra các mẫu đơn giản, ví dụ như nhận diện mặt người,điều mà một bộ não sinh học xử lý nhanh và chính xác hơn nhiều

Áp dụng với các kỹ thuật học sâu, mạng nơ-ron nhân tạo hiện nay đang được ápdụng để giải quyết những vấn đề mà lập trình theo logic thông thường khó có thể giảiquyết được Do đó, mạng nơ-ron nhân tạo đang nhanh chóng trở nên phổ biến, và là xuthế trên nhiều lĩnh vực

Hình 2.12 Mạng nơ-ron hồi quy (RNN)

Công dụng chính của RNN là khi sử dụng google hoặc Facebook, các giao diệnnày có thể dự đoán từ tiếp theo mà bạn sắp nhập RNN có các vòng lặp để cho phépthông tin tồn tại Điều này làm giảm độ phức tạp của các tham số, không giống nhưcác mạng nơ-ron khác Các mạng thần kinh này được coi là khá tốt để lập mô hình dữ

liệu trình tự.

Mạng nơron hồi quy là một biến thể kiến trúc tuyến tính của mạng đệ quy.Chúng có một “bộ nhớ” do đó nó khác với các mạng nơ-ron khác Bộ nhớ này ghi nhớtất cả các thông tin về những gì đã được tính toán ở trạng thái trước đó Nó sử dụngcác tham số giống nhau cho mỗi đầu vào vì nó thực hiện cùng một nhiệm vụ trên tất cảcác đầu vào hoặc các lớp ẩn để tạo ra đầu ra

2.2.3 Mạng nơ-ron lan truyền ngược

2.2.3.1 Tổng quan về mạng nơ-ron lan truyền ngược

Giải thuật lan truyền ngược được mô tả ngắn gọn như sau:

Bước 1: Lan truyền Giai đoạn lan truyền có hai bước, lan truyền tiến và lantruyền ngược Bước vào lan truyền tiến là đưa dữ liệu huấn luyện vào các mạng nơ-ron

và tính toán đầu ra Sau đó, dựa vào kết quả đầu ra so sánh với dữ liệu huấn luyện.Chúng ta sử dụng lan truyền ngược để cập nhật ngược lại các trọng số cho các nơ-rontrong các tầng trước đó

Bước 2: Cập nhật trọng số Mạng cập nhật các giá trị của trọng số của nơ-rontheo hàm lỗi của kết quả đầu ra

Bước 3: Lặp lại hai bước trên đến khi sai số tối thiểu

2.2.3.2 Cách thức lan truyền ngược

Hình 2.13 Sơ đồ mạng hồi quy

Bước 1: Khởi tạo các giá trị ban đầu của wji, wkj, θj, θk, và η (> 0)

Bước 2: Các giá trị đầu ra mong muốn dk, k = 1, 2,…, K tương ứng với dữ liệuđầu vào xi, i = 1, 2, ,I

Bước 3: Tính toán đầu ra của các nơ-ron trong lớp ẩn và lớp đầu ra bằng

Bước 6: Quay lại bước 3.

2.3 Mạng nơ-ron tích chập Convolutional Neural Networks (CNN)

Mỗi một lớp sau khi thông qua các hàm kích hoạt sẽ tạo ra các thông tin trừutượng hơn cho các lớp tiếp theo Trong mô hình mạng truyền ngược (feedforwardneural network) thì mỗi neural đầu vào (input node) cho mỗi neural đầu ra trong cáclớp tiếp theo

Mô hình này gọi là mạng kết nối đầy đủ (fully connected layer) hay mạng toànvẹn (affine layer) Còn trong mô hình CNNs thì ngược lại Các layer liên kết được vớinhau thông qua cơ chế convolution

Layer tiếp theo là kết quả convolution từ layer trước đó, nhờ vậy mà ta có đượccác kết nối cục bộ Như vậy mỗi neuron ở lớp kế tiếp sinh ra từ kết quả của filter ápđặt lên một vùng ảnh cục bộ của neuron trước đó

Mỗi một lớp được sử dụng các filter khác nhau thông thường có hàng trăm hàngnghìn filter như vậy và kết hợp kết quả của chúng lại Ngoài ra có một số layer khácnhư pooling/subsampling layer dùng để chắt lọc lại các thông tin hữu ích hơn (loại bỏcác thông tin nhiễu)