Luận văn thạc sĩ nghiên cứu tự Động phát hiện Điểm mốc trên Ảnh cánh côn trùng

trùng tự động bằng Học sâu, cụ thể là trên tập đữ liệu ảnh cánh của loài ruồi giám lên khoa học: 2vosophila Luận văn nảy tập trung vào vẫn để “Mgiiên cứu tụ động phát hiện điểm mốc trên

TRUONG DAI HOC BACH KHOA HA NOI

LUẬN VĂN THẠC SĨ

Nghiên cứu tự động phát hiện điểm mốc

trên ảnh cánh côn trùng

NGO XUAN QUANG

Quang NXCA190079@sis hust.edu.vn

Ngành: Kỹ thuật Diện tử

Giảng viên hướng dẫn: T5 Võ Lê Cường

Giáng viên đồng hướng dẫn: 18 Nguyễn Hoàng Hà

DA NOL, 06/2021

TRUONG DAT AOC BACH KHOA BA NOT

LUAN VAN THAC Si

Nghiên cứu tự động phát hiện điểm mốc

Giáng viên đồng hướng dẫn: TS Nguyễn Hoàng Hà

HA NOL 06/2021

CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM

— Tự do— Hạnh phúc

BẢN XÁC NHẠN CHỈNH SỬA LUẬN VĂN THẠC SĨ

Họ và tên tác giả luận văn: Ngô Xuân Quang

Để lài luận văn: Nghiên cứu tự động phát hiện điểm mốc trên ảnh

4năm 202] với cáo nội dụng sau:

- Chỉnh sửa và bố sưng luận văn theo đúng quy định của luận văn

- Chỉnh sửa luận văn theo ÿ kiến của hội đồng

Ngày 27 tháng 6 năm 2021

Giáo viên hướng dẫn 'Tác giả luận văn

TS Va Lê Cường Ngã Xuân Quang

CHỦ TỊCH HỘI ĐỨNG

TS Phạm Duän Tĩnh

DANH MUC HINH ANH

Ilinh 1 1 Sơ đề khối quy trình nhận dạng điểm mắc ca

Hình 1 2: Hai phương pháp nhận dựng điểm mỗc - 6 Ilinh 2 1: Khung chữ nhật bao quanh các diém méc duge nhận diện 9

Hình 2 3: Ví dụ về nhận diện dối tượng, 13

Hình 2 4: Mô tả phân hình qua thuật toán tìm kiếm chọn lọc 14

Hình 2 5: Phân loại khung hình dễ xuất khu vực R-CNR 15

Hình 2 6: Kiến trúc của East R-CNN mm

Hình 2 7: So sánh training time, test time giữa R-CNN và Fast R-ONN 17

Tĩnh 2 §: Kiến trúc của Iaster R-CNN T8

Tĩnh 2 9: Chỉ tiết mạng để xuất khu vực - RPN ¬ se

Tình 2 10: Công dụng của cửa số trượt và bẩn đồ đặc trưng 19 Tỉnh 2 11: Khung hình chữ nhật của anchor trong RPN 20

Tình 2 12: RPN tạo ra các k mỏ neo tương ứng ở ảnh gốc 21

Hình 2 13: So sah test-time speed R-CNN, Fast R-CNN va Faster R-CNN

wD

Hinh 2 15: Kién tric multi-sacle convolution prediction st dung trong SSI

Hinh 2 16: MultiBox prior And IOU

2 Tỉnh 2 17: Minh họa cho ý tưởng của F:eđ Priors Ố

Hình 2 19: Các bước xử lý rong m mỗ hình You ° 27

Hình 3 1: Dữ liệu ảnh cánh ruỗi giắm Drosophila thu thap được ở [7] 30

Hình 3 2: Dữ liệu ảnh cánh ruồi giảm TDrosophila thu thập dược ở |9] 30

Ilinh 3

Hinh 3

Kết quả kiếm thử từng ảnh của mạng YOLO 35

0: ão sánh độ chỉnh xác sủa cáo mô hình nhận diện 39

2

Hình 3 3: Ảnh bên trái được gắn nhãn 15 điển mốc bằng tay thco bên phả¡31

Hình 3 4: Quá trình gán nhãn thủ công bằng phần mềm TpsDig2 ver2.3131

Hình 3 5: Quá trình huấn luyện Faster R-CNA theo Tensorflow 33 Hình 3 6: Quá trình huấn luyện S5D theo Tensorflow 233 Hinh 3 7: Quá trình huấn luyện YOLO theo Darknet 34

Tlinh 3 8: Két qua kiém thir timg anh cia mang Faster R-CNN va SSD 35

9:

1

1.2 Các nghiên cứu liên quan

1.3 Quá trình nghiên cứu

1.4 Cấu trúc của luận án

CHƯƠNG 2: PHƯƠNG PHÁP NGHIÊN CỨU

2.I Tông quan bài toán và phương pháp Học Sâu

2.1.1 Téng quan bai toán

2.1.2 Giới thiệu về Hoc S4u (Machine Learning)

2.2 Phương pháp đánh giá mô hình

2.3 Các mạng nhận dạng Học sâu

2.3.1 Một số khái niệm và thuật ngữ thường đủng

2.3.2 Cau trúc cáu mạng backbone trong Học sâu

CHƯƠNG 3: THỰC NGHIỆM, KẾT QUÁ VÀ ĐẢNH GIÁ

iv

DANH MUC HINH ANH

Ilinh 1 1 Sơ đề khối quy trình nhận dạng điểm mắc ca

Hình 1 2: Hai phương pháp nhận dựng điểm mỗc - 6 Ilinh 2 1: Khung chữ nhật bao quanh các diém méc duge nhận diện 9

Hình 2 3: Ví dụ về nhận diện dối tượng, 13

Hình 2 4: Mô tả phân hình qua thuật toán tìm kiếm chọn lọc 14

Hình 2 5: Phân loại khung hình dễ xuất khu vực R-CNR 15

Hình 2 6: Kiến trúc của East R-CNN mm

Hình 2 7: So sánh training time, test time giữa R-CNN và Fast R-ONN 17

Tĩnh 2 §: Kiến trúc của Iaster R-CNN T8

Tĩnh 2 9: Chỉ tiết mạng để xuất khu vực - RPN ¬ se

Tình 2 10: Công dụng của cửa số trượt và bẩn đồ đặc trưng 19 Tỉnh 2 11: Khung hình chữ nhật của anchor trong RPN 20

Tình 2 12: RPN tạo ra các k mỏ neo tương ứng ở ảnh gốc 21

Hình 2 13: So sah test-time speed R-CNN, Fast R-CNN va Faster R-CNN

wD

Hinh 2 15: Kién tric multi-sacle convolution prediction st dung trong SSI

Hinh 2 16: MultiBox prior And IOU

2 Tỉnh 2 17: Minh họa cho ý tưởng của F:eđ Priors Ố

Hình 2 19: Các bước xử lý rong m mỗ hình You ° 27

Hình 3 1: Dữ liệu ảnh cánh ruỗi giắm Drosophila thu thap được ở [7] 30

Hình 3 2: Dữ liệu ảnh cánh ruồi giảm TDrosophila thu thập dược ở |9] 30

Ilinh 3

Hinh 3

Kết quả kiếm thử từng ảnh của mạng YOLO 35

0: ão sánh độ chỉnh xác sủa cáo mô hình nhận diện 39

2

Hình 3 3: Ảnh bên trái được gắn nhãn 15 điển mốc bằng tay thco bên phả¡31

Hình 3 4: Quá trình gán nhãn thủ công bằng phần mềm TpsDig2 ver2.3131

Hình 3 5: Quá trình huấn luyện Faster R-CNA theo Tensorflow 33 Hình 3 6: Quá trình huấn luyện S5D theo Tensorflow 233 Hinh 3 7: Quá trình huấn luyện YOLO theo Darknet 34

Tlinh 3 8: Két qua kiém thir timg anh cia mang Faster R-CNN va SSD 35

9:

1

TOM TAT NOI DUNG LUAN VAN hận điện điểm mốc là bài toán con thuộc bài toán đoán hình dang Với xnội ảnh đầu vào, hệ thông nhận dạng sẽ cỗ gắng xác định các điểm quan trong

trong RỒI cña ảnh đó Trong Sinh học, giải pháp ứng dụng Học máy, Học sâu

vào nghiên cứu vẫn còn khá mới mẻ, rất đáng, được quan tầm và khai thác Dồng, thời, nhận thấy được sự quan trọng của việc phân tích hùnh thai dua trên diém mốc, chúng tôi đã tiến hành nghiên cứu phát hiện điểm mốc hinh thai cánh côn trùng tự động bằng Học sâu, cụ thể là trên tập đữ liệu ảnh cánh của loài ruồi giám

(lên khoa học: 2vosophila)

Luận văn nảy tập trung vào vẫn để “Mgiiên cứu tụ động phát hiện điểm

mốc trên ảnh cánh côn trùng” Dựa vào những cơ sở trên, Luận văn này sẽ phân

tích và so sánh hiệu năng giữa các mô bình tiêu biểu, từ đó chọn ra mồ đình tối

nhật Do vậy một số luận điểm và đóng góp cơ bản trong luận văn này bao gồm:

Nghiên cứu tống quan bài Loán Nhận điện đổi tượng và cÌủ tiết các mạng nhận dạng Học sâu Nghiên cứu thực nghiêm, kết quả và đánh giá Trong phan này, nói tới tập dữ liệu vả quả trình huấn luyện, kiểm định cae m6 hinh Déng thời,

hiệu năng và độ chính xác của những mô hình Học sâu cũng được làm rõ thông,

qua thí nghiệm Nghiên cửu tổng kết công việc dã thực hiện, bản luận về hạn chế của đề tài và hướng nghiên cứu tương lai

TOM TAT NOI DUNG LUAN VAN hận điện điểm mốc là bài toán con thuộc bài toán đoán hình dang Với xnội ảnh đầu vào, hệ thông nhận dạng sẽ cỗ gắng xác định các điểm quan trong

trong RỒI cña ảnh đó Trong Sinh học, giải pháp ứng dụng Học máy, Học sâu

vào nghiên cứu vẫn còn khá mới mẻ, rất đáng, được quan tầm và khai thác Dồng, thời, nhận thấy được sự quan trọng của việc phân tích hùnh thai dua trên diém mốc, chúng tôi đã tiến hành nghiên cứu phát hiện điểm mốc hinh thai cánh côn trùng tự động bằng Học sâu, cụ thể là trên tập đữ liệu ảnh cánh của loài ruồi giám

(lên khoa học: 2vosophila)

Luận văn nảy tập trung vào vẫn để “Mgiiên cứu tụ động phát hiện điểm

mốc trên ảnh cánh côn trùng” Dựa vào những cơ sở trên, Luận văn này sẽ phân

tích và so sánh hiệu năng giữa các mô bình tiêu biểu, từ đó chọn ra mồ đình tối

nhật Do vậy một số luận điểm và đóng góp cơ bản trong luận văn này bao gồm:

Nghiên cứu tống quan bài Loán Nhận điện đổi tượng và cÌủ tiết các mạng nhận dạng Học sâu Nghiên cứu thực nghiêm, kết quả và đánh giá Trong phan này, nói tới tập dữ liệu vả quả trình huấn luyện, kiểm định cae m6 hinh Déng thời,

hiệu năng và độ chính xác của những mô hình Học sâu cũng được làm rõ thông,

qua thí nghiệm Nghiên cửu tổng kết công việc dã thực hiện, bản luận về hạn chế của đề tài và hướng nghiên cứu tương lai

1.2 Các nghiên cứu liên quan

1.3 Quá trình nghiên cứu

1.4 Cấu trúc của luận án

CHƯƠNG 2: PHƯƠNG PHÁP NGHIÊN CỨU

2.I Tông quan bài toán và phương pháp Học Sâu

2.1.1 Téng quan bai toán

2.1.2 Giới thiệu về Hoc S4u (Machine Learning)

2.2 Phương pháp đánh giá mô hình

2.3 Các mạng nhận dạng Học sâu

2.3.1 Một số khái niệm và thuật ngữ thường đủng

2.3.2 Cau trúc cáu mạng backbone trong Học sâu

CHƯƠNG 3: THỰC NGHIỆM, KẾT QUÁ VÀ ĐẢNH GIÁ

iv

LOT CAM DOAN

Téi xin cam doan luan van nay 1 công trình nghiên cứu của cá nhân tôi, dược thực hiện đưới sự hướng đân của F8 Võ Lẻ Cường - cán bộ tại Viện Điện

tử - Viễn thông, trường Đại học Bách Khoa Hả Nội (HUST) và thây 18 Rguyên

‘Hoang Hà — giảng viên tại khoa Công nghệ Théng tin va Truyền thông, trường Pai học Khoa học và Công nghệ Hà Nội (USTH) trong suốt quá trình học tập và nghiên cứu tại Trường Dai hoc Bach khoa TTả Nội

Để hoàn thành luận văn này, tôi tham khảo các tài liệu liên quan đã được liệt kẽ tại cuỗi luận văn này Những tài liệu tham khảo tôi dã chí dẫn trích rõ nguồn trong danh mục tài liệu tham khảo

Hà Nội, ngày 26/06/2021

Hoc viên

Ngô Xuân Quang

LOT CAM DOAN

Téi xin cam doan luan van nay 1 công trình nghiên cứu của cá nhân tôi, dược thực hiện đưới sự hướng đân của F8 Võ Lẻ Cường - cán bộ tại Viện Điện

tử - Viễn thông, trường Đại học Bách Khoa Hả Nội (HUST) và thây 18 Rguyên

‘Hoang Hà — giảng viên tại khoa Công nghệ Théng tin va Truyền thông, trường Pai học Khoa học và Công nghệ Hà Nội (USTH) trong suốt quá trình học tập và nghiên cứu tại Trường Dai hoc Bach khoa TTả Nội

Để hoàn thành luận văn này, tôi tham khảo các tài liệu liên quan đã được liệt kẽ tại cuỗi luận văn này Những tài liệu tham khảo tôi dã chí dẫn trích rõ nguồn trong danh mục tài liệu tham khảo

Hà Nội, ngày 26/06/2021

Hoc viên

Ngô Xuân Quang

DANH MUC HINH ANH

Ilinh 1 1 Sơ đề khối quy trình nhận dạng điểm mắc ca

Hình 1 2: Hai phương pháp nhận dựng điểm mỗc - 6 Ilinh 2 1: Khung chữ nhật bao quanh các diém méc duge nhận diện 9

Hình 2 3: Ví dụ về nhận diện dối tượng, 13

Hình 2 4: Mô tả phân hình qua thuật toán tìm kiếm chọn lọc 14

Hình 2 5: Phân loại khung hình dễ xuất khu vực R-CNR 15

Hình 2 6: Kiến trúc của East R-CNN mm

Hình 2 7: So sánh training time, test time giữa R-CNN và Fast R-ONN 17

Tĩnh 2 §: Kiến trúc của Iaster R-CNN T8

Tĩnh 2 9: Chỉ tiết mạng để xuất khu vực - RPN ¬ se

Tình 2 10: Công dụng của cửa số trượt và bẩn đồ đặc trưng 19 Tỉnh 2 11: Khung hình chữ nhật của anchor trong RPN 20

Tình 2 12: RPN tạo ra các k mỏ neo tương ứng ở ảnh gốc 21

Hình 2 13: So sah test-time speed R-CNN, Fast R-CNN va Faster R-CNN

wD

Hinh 2 15: Kién tric multi-sacle convolution prediction st dung trong SSI

Hinh 2 16: MultiBox prior And IOU

2 Tỉnh 2 17: Minh họa cho ý tưởng của F:eđ Priors Ố

Hình 2 19: Các bước xử lý rong m mỗ hình You ° 27

Hình 3 1: Dữ liệu ảnh cánh ruỗi giắm Drosophila thu thap được ở [7] 30

Hình 3 2: Dữ liệu ảnh cánh ruồi giảm TDrosophila thu thập dược ở |9] 30

Ilinh 3

Hinh 3

Kết quả kiếm thử từng ảnh của mạng YOLO 35

0: ão sánh độ chỉnh xác sủa cáo mô hình nhận diện 39

2

Hình 3 3: Ảnh bên trái được gắn nhãn 15 điển mốc bằng tay thco bên phả¡31

Hình 3 4: Quá trình gán nhãn thủ công bằng phần mềm TpsDig2 ver2.3131

Hình 3 5: Quá trình huấn luyện Faster R-CNA theo Tensorflow 33 Hình 3 6: Quá trình huấn luyện S5D theo Tensorflow 233 Hinh 3 7: Quá trình huấn luyện YOLO theo Darknet 34

Tlinh 3 8: Két qua kiém thir timg anh cia mang Faster R-CNN va SSD 35

9:

1

DANH MỤC CÁC BÀ

Bang 3 1: Thông tin về gen alen của Drosophila

Băng 3 2: Kết quá đánh giá của mô hình Faster R-CNN

Bảng 3 3: Kết qua danh gid cia m6 hinh SSD

Bang 3 4: Kết quả đánh giá của mô hình YOLO

DANH MỤC CÁC BÀ

Bang 3 1: Thông tin về gen alen của Drosophila

Băng 3 2: Kết quá đánh giá của mô hình Faster R-CNN

Bảng 3 3: Kết qua danh gid cia m6 hinh SSD

Bang 3 4: Kết quả đánh giá của mô hình YOLO

LOT CAM ON

Trong suốt quá trinh học tập và nghiên cứu cao học khóa Thạc sỹ 2019A ngảnh Kỹ thuật Điện tử ti Viện Điện tử - Viên thông, trường Đại học Bách khoa

Hả Nội, lỗi đã luôn nhận được sự dạy đỗ, chữ bão lận lình của các cán bộ thấy, cỗ

giáo với nhiều kiên thức mở rộng nắng cao

đắt, hướng dẫn, giúp tôi hòa nhập với môi trường nghiên cứu khoa học, tạo mọi điểu kiên tiện lợi nhất cho tôi rong suốt quả trình làm thực nghiệm vá viết

TOM TAT NOI DUNG LUAN VAN hận điện điểm mốc là bài toán con thuộc bài toán đoán hình dang Với xnội ảnh đầu vào, hệ thông nhận dạng sẽ cỗ gắng xác định các điểm quan trong

trong RỒI cña ảnh đó Trong Sinh học, giải pháp ứng dụng Học máy, Học sâu

vào nghiên cứu vẫn còn khá mới mẻ, rất đáng, được quan tầm và khai thác Dồng, thời, nhận thấy được sự quan trọng của việc phân tích hùnh thai dua trên diém mốc, chúng tôi đã tiến hành nghiên cứu phát hiện điểm mốc hinh thai cánh côn trùng tự động bằng Học sâu, cụ thể là trên tập đữ liệu ảnh cánh của loài ruồi giám

(lên khoa học: 2vosophila)

Luận văn nảy tập trung vào vẫn để “Mgiiên cứu tụ động phát hiện điểm

mốc trên ảnh cánh côn trùng” Dựa vào những cơ sở trên, Luận văn này sẽ phân

tích và so sánh hiệu năng giữa các mô bình tiêu biểu, từ đó chọn ra mồ đình tối

nhật Do vậy một số luận điểm và đóng góp cơ bản trong luận văn này bao gồm:

Nghiên cứu tống quan bài Loán Nhận điện đổi tượng và cÌủ tiết các mạng nhận dạng Học sâu Nghiên cứu thực nghiêm, kết quả và đánh giá Trong phan này, nói tới tập dữ liệu vả quả trình huấn luyện, kiểm định cae m6 hinh Déng thời,

hiệu năng và độ chính xác của những mô hình Học sâu cũng được làm rõ thông,

qua thí nghiệm Nghiên cửu tổng kết công việc dã thực hiện, bản luận về hạn chế của đề tài và hướng nghiên cứu tương lai

DANH MỤC CÁC KỸ HIỆU, CHỮ VIỆT FAT

CHỦ GIẢI TIỂNG ANH

Pairwise Geometric Histogram

Probabilistic Hough ‘lransform Intersection Over Union

Deep neural network Region proposal network

Convolutional Neural Network

Single MultiBox Shot Detector

You Only Look Once

CHÚ GIẢI TIỂNG VIỆT

Khu vue quan tam Máy véc-tơ hỗ trợ Rimg ngẫu nhiên

Cây phân loại và hồi quy

Biểu dỗ hình học theo cặp

Biến đổi Hough theo xác suất Diện tích phần giao nhau chia

cho diễn tích phần hợp giữa

khung chữ nhật đoán vả khung pid (ri that

Mang no-ron sau

Mạng để xuất khu vực

Mạng nơ-ron tích chập

M6 hình nhận điện vả phân loại

nhiều đối tượng trong các khung

chữ nhật chỉ với một lần xử lý

Ban chỉ phải nhìn một lần

LOT CAM ON

Trong suốt quá trinh học tập và nghiên cứu cao học khóa Thạc sỹ 2019A ngảnh Kỹ thuật Điện tử ti Viện Điện tử - Viên thông, trường Đại học Bách khoa

Hả Nội, lỗi đã luôn nhận được sự dạy đỗ, chữ bão lận lình của các cán bộ thấy, cỗ

giáo với nhiều kiên thức mở rộng nắng cao

đắt, hướng dẫn, giúp tôi hòa nhập với môi trường nghiên cứu khoa học, tạo mọi điểu kiên tiện lợi nhất cho tôi rong suốt quả trình làm thực nghiệm vá viết

DANH MUC HINH ANH

Ilinh 1 1 Sơ đề khối quy trình nhận dạng điểm mắc ca

Hình 1 2: Hai phương pháp nhận dựng điểm mỗc - 6 Ilinh 2 1: Khung chữ nhật bao quanh các diém méc duge nhận diện 9

Hình 2 3: Ví dụ về nhận diện dối tượng, 13

Hình 2 4: Mô tả phân hình qua thuật toán tìm kiếm chọn lọc 14

Hình 2 5: Phân loại khung hình dễ xuất khu vực R-CNR 15

Hình 2 6: Kiến trúc của East R-CNN mm

Hình 2 7: So sánh training time, test time giữa R-CNN và Fast R-ONN 17

Tĩnh 2 §: Kiến trúc của Iaster R-CNN T8

Tĩnh 2 9: Chỉ tiết mạng để xuất khu vực - RPN ¬ se

Tình 2 10: Công dụng của cửa số trượt và bẩn đồ đặc trưng 19 Tỉnh 2 11: Khung hình chữ nhật của anchor trong RPN 20

Tình 2 12: RPN tạo ra các k mỏ neo tương ứng ở ảnh gốc 21

Hình 2 13: So sah test-time speed R-CNN, Fast R-CNN va Faster R-CNN

wD

Hinh 2 15: Kién tric multi-sacle convolution prediction st dung trong SSI

Hinh 2 16: MultiBox prior And IOU

2 Tỉnh 2 17: Minh họa cho ý tưởng của F:eđ Priors Ố

Hình 2 19: Các bước xử lý rong m mỗ hình You ° 27

Hình 3 1: Dữ liệu ảnh cánh ruỗi giắm Drosophila thu thap được ở [7] 30

Hình 3 2: Dữ liệu ảnh cánh ruồi giảm TDrosophila thu thập dược ở |9] 30

Ilinh 3

Hinh 3

Kết quả kiếm thử từng ảnh của mạng YOLO 35

0: ão sánh độ chỉnh xác sủa cáo mô hình nhận diện 39

2

Hình 3 3: Ảnh bên trái được gắn nhãn 15 điển mốc bằng tay thco bên phả¡31

Hình 3 4: Quá trình gán nhãn thủ công bằng phần mềm TpsDig2 ver2.3131

Hình 3 5: Quá trình huấn luyện Faster R-CNA theo Tensorflow 33 Hình 3 6: Quá trình huấn luyện S5D theo Tensorflow 233 Hinh 3 7: Quá trình huấn luyện YOLO theo Darknet 34

Tlinh 3 8: Két qua kiém thir timg anh cia mang Faster R-CNN va SSD 35

9:

1

DANH MUC HINH ANH

Ilinh 1 1 Sơ đề khối quy trình nhận dạng điểm mắc ca

Hình 1 2: Hai phương pháp nhận dựng điểm mỗc - 6 Ilinh 2 1: Khung chữ nhật bao quanh các diém méc duge nhận diện 9

Hình 2 3: Ví dụ về nhận diện dối tượng, 13

Hình 2 4: Mô tả phân hình qua thuật toán tìm kiếm chọn lọc 14

Hình 2 5: Phân loại khung hình dễ xuất khu vực R-CNR 15

Hình 2 6: Kiến trúc của East R-CNN mm

Hình 2 7: So sánh training time, test time giữa R-CNN và Fast R-ONN 17

Tĩnh 2 §: Kiến trúc của Iaster R-CNN T8

Tĩnh 2 9: Chỉ tiết mạng để xuất khu vực - RPN ¬ se

Tình 2 10: Công dụng của cửa số trượt và bẩn đồ đặc trưng 19 Tỉnh 2 11: Khung hình chữ nhật của anchor trong RPN 20

Tình 2 12: RPN tạo ra các k mỏ neo tương ứng ở ảnh gốc 21

Hình 2 13: So sah test-time speed R-CNN, Fast R-CNN va Faster R-CNN

wD

Hinh 2 15: Kién tric multi-sacle convolution prediction st dung trong SSI

Hinh 2 16: MultiBox prior And IOU

2 Tỉnh 2 17: Minh họa cho ý tưởng của F:eđ Priors Ố

Hình 2 19: Các bước xử lý rong m mỗ hình You ° 27

Hình 3 1: Dữ liệu ảnh cánh ruỗi giắm Drosophila thu thap được ở [7] 30

Hình 3 2: Dữ liệu ảnh cánh ruồi giảm TDrosophila thu thập dược ở |9] 30

Ilinh 3

Hinh 3

Kết quả kiếm thử từng ảnh của mạng YOLO 35

0: ão sánh độ chỉnh xác sủa cáo mô hình nhận diện 39

2

Hình 3 3: Ảnh bên trái được gắn nhãn 15 điển mốc bằng tay thco bên phả¡31

Hình 3 4: Quá trình gán nhãn thủ công bằng phần mềm TpsDig2 ver2.3131

Hình 3 5: Quá trình huấn luyện Faster R-CNA theo Tensorflow 33 Hình 3 6: Quá trình huấn luyện S5D theo Tensorflow 233 Hinh 3 7: Quá trình huấn luyện YOLO theo Darknet 34

Tlinh 3 8: Két qua kiém thir timg anh cia mang Faster R-CNN va SSD 35

9:

1

TOM TAT NOI DUNG LUAN VAN hận điện điểm mốc là bài toán con thuộc bài toán đoán hình dang Với xnội ảnh đầu vào, hệ thông nhận dạng sẽ cỗ gắng xác định các điểm quan trong

trong RỒI cña ảnh đó Trong Sinh học, giải pháp ứng dụng Học máy, Học sâu

vào nghiên cứu vẫn còn khá mới mẻ, rất đáng, được quan tầm và khai thác Dồng, thời, nhận thấy được sự quan trọng của việc phân tích hùnh thai dua trên diém mốc, chúng tôi đã tiến hành nghiên cứu phát hiện điểm mốc hinh thai cánh côn trùng tự động bằng Học sâu, cụ thể là trên tập đữ liệu ảnh cánh của loài ruồi giám

(lên khoa học: 2vosophila)

Luận văn nảy tập trung vào vẫn để “Mgiiên cứu tụ động phát hiện điểm

mốc trên ảnh cánh côn trùng” Dựa vào những cơ sở trên, Luận văn này sẽ phân

tích và so sánh hiệu năng giữa các mô bình tiêu biểu, từ đó chọn ra mồ đình tối

nhật Do vậy một số luận điểm và đóng góp cơ bản trong luận văn này bao gồm:

Nghiên cứu tống quan bài Loán Nhận điện đổi tượng và cÌủ tiết các mạng nhận dạng Học sâu Nghiên cứu thực nghiêm, kết quả và đánh giá Trong phan này, nói tới tập dữ liệu vả quả trình huấn luyện, kiểm định cae m6 hinh Déng thời,

hiệu năng và độ chính xác của những mô hình Học sâu cũng được làm rõ thông,

qua thí nghiệm Nghiên cửu tổng kết công việc dã thực hiện, bản luận về hạn chế của đề tài và hướng nghiên cứu tương lai

1.2 Các nghiên cứu liên quan

1.3 Quá trình nghiên cứu

1.4 Cấu trúc của luận án

CHƯƠNG 2: PHƯƠNG PHÁP NGHIÊN CỨU

2.I Tông quan bài toán và phương pháp Học Sâu

2.1.1 Téng quan bai toán

2.1.2 Giới thiệu về Hoc S4u (Machine Learning)

2.2 Phương pháp đánh giá mô hình

2.3 Các mạng nhận dạng Học sâu

2.3.1 Một số khái niệm và thuật ngữ thường đủng

2.3.2 Cau trúc cáu mạng backbone trong Học sâu

CHƯƠNG 3: THỰC NGHIỆM, KẾT QUÁ VÀ ĐẢNH GIÁ

iv

1.2 Các nghiên cứu liên quan

1.3 Quá trình nghiên cứu

1.4 Cấu trúc của luận án

CHƯƠNG 2: PHƯƠNG PHÁP NGHIÊN CỨU

2.I Tông quan bài toán và phương pháp Học Sâu

2.1.1 Téng quan bai toán

2.1.2 Giới thiệu về Hoc S4u (Machine Learning)

2.2 Phương pháp đánh giá mô hình

2.3 Các mạng nhận dạng Học sâu

2.3.1 Một số khái niệm và thuật ngữ thường đủng

2.3.2 Cau trúc cáu mạng backbone trong Học sâu

CHƯƠNG 3: THỰC NGHIỆM, KẾT QUÁ VÀ ĐẢNH GIÁ

iv

DANH MUC HINH ANH

Ilinh 1 1 Sơ đề khối quy trình nhận dạng điểm mắc ca

Hình 1 2: Hai phương pháp nhận dựng điểm mỗc - 6 Ilinh 2 1: Khung chữ nhật bao quanh các diém méc duge nhận diện 9

Hình 2 3: Ví dụ về nhận diện dối tượng, 13

Hình 2 4: Mô tả phân hình qua thuật toán tìm kiếm chọn lọc 14

Hình 2 5: Phân loại khung hình dễ xuất khu vực R-CNR 15

Hình 2 6: Kiến trúc của East R-CNN mm

Hình 2 7: So sánh training time, test time giữa R-CNN và Fast R-ONN 17

Tĩnh 2 §: Kiến trúc của Iaster R-CNN T8

Tĩnh 2 9: Chỉ tiết mạng để xuất khu vực - RPN ¬ se

Tình 2 10: Công dụng của cửa số trượt và bẩn đồ đặc trưng 19 Tỉnh 2 11: Khung hình chữ nhật của anchor trong RPN 20

Tình 2 12: RPN tạo ra các k mỏ neo tương ứng ở ảnh gốc 21

Hình 2 13: So sah test-time speed R-CNN, Fast R-CNN va Faster R-CNN

wD

Hinh 2 15: Kién tric multi-sacle convolution prediction st dung trong SSI

Hinh 2 16: MultiBox prior And IOU

2 Tỉnh 2 17: Minh họa cho ý tưởng của F:eđ Priors Ố

Hình 2 19: Các bước xử lý rong m mỗ hình You ° 27

Hình 3 1: Dữ liệu ảnh cánh ruỗi giắm Drosophila thu thap được ở [7] 30

Hình 3 2: Dữ liệu ảnh cánh ruồi giảm TDrosophila thu thập dược ở |9] 30

Ilinh 3

Hinh 3

Kết quả kiếm thử từng ảnh của mạng YOLO 35

0: ão sánh độ chỉnh xác sủa cáo mô hình nhận diện 39

2

Hình 3 3: Ảnh bên trái được gắn nhãn 15 điển mốc bằng tay thco bên phả¡31

Hình 3 4: Quá trình gán nhãn thủ công bằng phần mềm TpsDig2 ver2.3131

Hình 3 5: Quá trình huấn luyện Faster R-CNA theo Tensorflow 33 Hình 3 6: Quá trình huấn luyện S5D theo Tensorflow 233 Hinh 3 7: Quá trình huấn luyện YOLO theo Darknet 34

Tlinh 3 8: Két qua kiém thir timg anh cia mang Faster R-CNN va SSD 35

9:

1

LOT CAM ON

Trong suốt quá trinh học tập và nghiên cứu cao học khóa Thạc sỹ 2019A ngảnh Kỹ thuật Điện tử ti Viện Điện tử - Viên thông, trường Đại học Bách khoa

Hả Nội, lỗi đã luôn nhận được sự dạy đỗ, chữ bão lận lình của các cán bộ thấy, cỗ

giáo với nhiều kiên thức mở rộng nắng cao

đắt, hướng dẫn, giúp tôi hòa nhập với môi trường nghiên cứu khoa học, tạo mọi điểu kiên tiện lợi nhất cho tôi rong suốt quả trình làm thực nghiệm vá viết

DANH MỤC CÁC KỸ HIỆU, CHỮ VIỆT FAT

CHỦ GIẢI TIỂNG ANH

Pairwise Geometric Histogram

Probabilistic Hough ‘lransform Intersection Over Union

Deep neural network Region proposal network

Convolutional Neural Network

Single MultiBox Shot Detector

You Only Look Once

CHÚ GIẢI TIỂNG VIỆT

Khu vue quan tam Máy véc-tơ hỗ trợ Rimg ngẫu nhiên

Cây phân loại và hồi quy

Biểu dỗ hình học theo cặp

Biến đổi Hough theo xác suất Diện tích phần giao nhau chia

cho diễn tích phần hợp giữa

khung chữ nhật đoán vả khung pid (ri that

Mang no-ron sau

Mạng để xuất khu vực

Mạng nơ-ron tích chập

M6 hình nhận điện vả phân loại

nhiều đối tượng trong các khung

chữ nhật chỉ với một lần xử lý

Ban chỉ phải nhìn một lần

DANH MỤC CÁC BÀ

Bang 3 1: Thông tin về gen alen của Drosophila

Băng 3 2: Kết quá đánh giá của mô hình Faster R-CNN

Bảng 3 3: Kết qua danh gid cia m6 hinh SSD

Bang 3 4: Kết quả đánh giá của mô hình YOLO

LOT CAM ON

Trong suốt quá trinh học tập và nghiên cứu cao học khóa Thạc sỹ 2019A ngảnh Kỹ thuật Điện tử ti Viện Điện tử - Viên thông, trường Đại học Bách khoa

Hả Nội, lỗi đã luôn nhận được sự dạy đỗ, chữ bão lận lình của các cán bộ thấy, cỗ

giáo với nhiều kiên thức mở rộng nắng cao

đắt, hướng dẫn, giúp tôi hòa nhập với môi trường nghiên cứu khoa học, tạo mọi điểu kiên tiện lợi nhất cho tôi rong suốt quả trình làm thực nghiệm vá viết

1.2 Các nghiên cứu liên quan

1.3 Quá trình nghiên cứu

1.4 Cấu trúc của luận án

CHƯƠNG 2: PHƯƠNG PHÁP NGHIÊN CỨU

2.I Tông quan bài toán và phương pháp Học Sâu

2.1.1 Téng quan bai toán

2.1.2 Giới thiệu về Hoc S4u (Machine Learning)

2.2 Phương pháp đánh giá mô hình

2.3 Các mạng nhận dạng Học sâu

2.3.1 Một số khái niệm và thuật ngữ thường đủng

2.3.2 Cau trúc cáu mạng backbone trong Học sâu

CHƯƠNG 3: THỰC NGHIỆM, KẾT QUÁ VÀ ĐẢNH GIÁ

iv

TOM TAT NOI DUNG LUAN VAN hận điện điểm mốc là bài toán con thuộc bài toán đoán hình dang Với xnội ảnh đầu vào, hệ thông nhận dạng sẽ cỗ gắng xác định các điểm quan trong

trong RỒI cña ảnh đó Trong Sinh học, giải pháp ứng dụng Học máy, Học sâu

vào nghiên cứu vẫn còn khá mới mẻ, rất đáng, được quan tầm và khai thác Dồng, thời, nhận thấy được sự quan trọng của việc phân tích hùnh thai dua trên diém mốc, chúng tôi đã tiến hành nghiên cứu phát hiện điểm mốc hinh thai cánh côn trùng tự động bằng Học sâu, cụ thể là trên tập đữ liệu ảnh cánh của loài ruồi giám

(lên khoa học: 2vosophila)

Luận văn nảy tập trung vào vẫn để “Mgiiên cứu tụ động phát hiện điểm

mốc trên ảnh cánh côn trùng” Dựa vào những cơ sở trên, Luận văn này sẽ phân

tích và so sánh hiệu năng giữa các mô bình tiêu biểu, từ đó chọn ra mồ đình tối

nhật Do vậy một số luận điểm và đóng góp cơ bản trong luận văn này bao gồm:

Nghiên cứu tống quan bài Loán Nhận điện đổi tượng và cÌủ tiết các mạng nhận dạng Học sâu Nghiên cứu thực nghiêm, kết quả và đánh giá Trong phan này, nói tới tập dữ liệu vả quả trình huấn luyện, kiểm định cae m6 hinh Déng thời,

hiệu năng và độ chính xác của những mô hình Học sâu cũng được làm rõ thông,

qua thí nghiệm Nghiên cửu tổng kết công việc dã thực hiện, bản luận về hạn chế của đề tài và hướng nghiên cứu tương lai

LOT CAM DOAN

Téi xin cam doan luan van nay 1 công trình nghiên cứu của cá nhân tôi, dược thực hiện đưới sự hướng đân của F8 Võ Lẻ Cường - cán bộ tại Viện Điện

tử - Viễn thông, trường Đại học Bách Khoa Hả Nội (HUST) và thây 18 Rguyên

‘Hoang Hà — giảng viên tại khoa Công nghệ Théng tin va Truyền thông, trường Pai học Khoa học và Công nghệ Hà Nội (USTH) trong suốt quá trình học tập và nghiên cứu tại Trường Dai hoc Bach khoa TTả Nội

Để hoàn thành luận văn này, tôi tham khảo các tài liệu liên quan đã được liệt kẽ tại cuỗi luận văn này Những tài liệu tham khảo tôi dã chí dẫn trích rõ nguồn trong danh mục tài liệu tham khảo

Hà Nội, ngày 26/06/2021

Hoc viên

Ngô Xuân Quang

DANH MỤC CÁC BÀ

Bang 3 1: Thông tin về gen alen của Drosophila

Băng 3 2: Kết quá đánh giá của mô hình Faster R-CNN

Bảng 3 3: Kết qua danh gid cia m6 hinh SSD

Bang 3 4: Kết quả đánh giá của mô hình YOLO

LOT CAM ON

Trong suốt quá trinh học tập và nghiên cứu cao học khóa Thạc sỹ 2019A ngảnh Kỹ thuật Điện tử ti Viện Điện tử - Viên thông, trường Đại học Bách khoa

Hả Nội, lỗi đã luôn nhận được sự dạy đỗ, chữ bão lận lình của các cán bộ thấy, cỗ

giáo với nhiều kiên thức mở rộng nắng cao

đắt, hướng dẫn, giúp tôi hòa nhập với môi trường nghiên cứu khoa học, tạo mọi điểu kiên tiện lợi nhất cho tôi rong suốt quả trình làm thực nghiệm vá viết

DANH MỤC CÁC KỸ HIỆU, CHỮ VIỆT FAT

CHỦ GIẢI TIỂNG ANH

Pairwise Geometric Histogram

Probabilistic Hough ‘lransform Intersection Over Union

Deep neural network Region proposal network

Convolutional Neural Network

Single MultiBox Shot Detector

You Only Look Once

CHÚ GIẢI TIỂNG VIỆT

Khu vue quan tam Máy véc-tơ hỗ trợ Rimg ngẫu nhiên

Cây phân loại và hồi quy

Biểu dỗ hình học theo cặp

Biến đổi Hough theo xác suất Diện tích phần giao nhau chia

cho diễn tích phần hợp giữa

khung chữ nhật đoán vả khung pid (ri that

Mang no-ron sau

Mạng để xuất khu vực

Mạng nơ-ron tích chập

M6 hình nhận điện vả phân loại

nhiều đối tượng trong các khung

chữ nhật chỉ với một lần xử lý

Ban chỉ phải nhìn một lần

1.2 Các nghiên cứu liên quan

1.3 Quá trình nghiên cứu

1.4 Cấu trúc của luận án

CHƯƠNG 2: PHƯƠNG PHÁP NGHIÊN CỨU

2.I Tông quan bài toán và phương pháp Học Sâu

2.1.1 Téng quan bai toán

2.1.2 Giới thiệu về Hoc S4u (Machine Learning)

2.2 Phương pháp đánh giá mô hình

2.3 Các mạng nhận dạng Học sâu

2.3.1 Một số khái niệm và thuật ngữ thường đủng

2.3.2 Cau trúc cáu mạng backbone trong Học sâu

CHƯƠNG 3: THỰC NGHIỆM, KẾT QUÁ VÀ ĐẢNH GIÁ

iv

DANH MỤC CÁC BÀ

Bang 3 1: Thông tin về gen alen của Drosophila

Băng 3 2: Kết quá đánh giá của mô hình Faster R-CNN

Bảng 3 3: Kết qua danh gid cia m6 hinh SSD

Bang 3 4: Kết quả đánh giá của mô hình YOLO

DANH MỤC CÁC KỸ HIỆU, CHỮ VIỆT FAT

CHỦ GIẢI TIỂNG ANH

Pairwise Geometric Histogram

Probabilistic Hough ‘lransform Intersection Over Union

Deep neural network Region proposal network

Convolutional Neural Network

Single MultiBox Shot Detector

You Only Look Once

CHÚ GIẢI TIỂNG VIỆT

Khu vue quan tam Máy véc-tơ hỗ trợ Rimg ngẫu nhiên

Cây phân loại và hồi quy

Biểu dỗ hình học theo cặp

Biến đổi Hough theo xác suất Diện tích phần giao nhau chia

cho diễn tích phần hợp giữa

khung chữ nhật đoán vả khung pid (ri that

Mang no-ron sau

Mạng để xuất khu vực

Mạng nơ-ron tích chập

M6 hình nhận điện vả phân loại

nhiều đối tượng trong các khung

chữ nhật chỉ với một lần xử lý

Ban chỉ phải nhìn một lần