BÁO CÁO CHUYÊN NGÀNH 2 Đề tài: Nhận diện khuôn mặt bằng Convolutional Neural Network. TS. Nguyễn Thanh

Mặc dù cho đến nay, theo quan niệm của người viết, ước mơ này vẫn còn xa mớithành hiện thực, tuy vậy những thành tựu đạt được cũng không hề nhỏ: chúng ta đãlàm được các hệ thống phần mềm

ĐẠI HỌC ĐÀ NẴNG TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN

VÀ TRUYỀN THÔNG VIỆT HÀN

BÁO CÁO CHUYÊN NGÀNH 2

Đề tài: Nhận diện khuôn mặt bằng Convolutional Neural Network

Sinh viên thực hiện : Lê Văn Ánh – 17IT2

Phùng Thế Hùng – 17IT3

Giảng viên hướng dẫn : TS Nguyễn Thanh

Đà nẵng, tháng 05 năm 2021

MỞ ĐẦU

Trong Cách mạng Công Nghiệp 4.0, những yếu tố mà các nước đang phát triển(Việt Nam, Lào, Indonesia….) tự hào là ưu thế như lực lượng lao động trẻ, dồi dào sẽkhông còn là thế mạnh hơn nữa còn có thể sớm bị thay thế bởi Trí tuệ nhân tạo (AI).Trong tương lai, lực lượng lao động trong mọi lĩnh vực đều có thể mất việc làm bởicông nghệ robot có thể tác động tới tất cả các ngành nghề từ dệt may, dịch vụ, giải tríđến y tế, giao thông, giáo dục Chính vì vậy, đây là thời kỳ thuận lợi để sinh viên họcCông nghệ thông tin: Lập trình, Quản trị mạng, Bảo mật, thể hiện kiến thức, kỹ năng

và bản lĩnh trong thời đại mới – thời đại 4.0

“Nhu cầu tuyển dụng nhân lực ngành CNTT cao nhất trong lịch sử" là nhận địnhcủa VietnamWorks (Website tuyển dụng lớn nhất Việt Nam) Theo dự đoán của TopDev, năm 2020, Việt Nam sẽ cần 1.000.000 nhân lực ngành CNTT Hơn 90% các nhàtuyển dụng được khảo sát cũng chia sẻ, họ đang đấu tranh để tuyển dụng và giữ châncác nhân viên IT giỏi

Có thể thấy, ngành CNTT đang là “miền đất hứa” với cơ hội việc làm rộng mở vàmức lương hấp dẫn (khởi điểm 400$ - theo Vietnamworks) Chính vì vậy học CNTTtrong thời điểm hiện tại chính là lợi thế

Đa số sinh viên đi học với mong muốn bổ sung kiến thức cho bản thân và đi sâuvào các vấn đề liên quan Do đó, em chọn đề tài Nhận dạng khuôn mặt bằngConvolutional Neural Network

Em xin cảm ơn giảng viên hướng dẫn TS Nguyễn Thanh đã giúp đỡ em với sự

nhiệt huyết của mình, cũng như chỉ bảo những thiếu sót của em

NHẬN XÉT TỪ GIẢNG VIÊN

………

………

………

………

………

………

………

………

………

………

Chữ ký giảng viên

MỤC LỤC Trang MỞ ĐẦU

Chương 1 Giới thiệu 1

1.1 Tổng quan 1

1.2 Phương pháp, kết quả 1

1.3 Cấu trúc đồ án 1

Chương 2 Nghiên cứu tổng quan 3

2.1 Trí tuệ nhân tạo là gì ? 3

2.2 Giới thiệu khái quát về ảnh 3

2.2.1 Các khái niệm cơ bản về ảnh 3

2.2.2 Các cách phân loại ảnh 4

2.3 Tìm hiểu khái quát về ảnh 5

2.3.1 Nhận dạng hình ảnh là gì? 5

2.3.2 Nguyên tắc làm việc của các mô hình nhận dạng hình ảnh 6

2.3.3 Thuật toán sử dụng trong nhận dạng hình ảnh 7

2.3.4 Những thách thức trong nhận dạng hình ảnh 8

2.3.5 Công dụng của nhận dạng hình ảnh 8

2.4 Tìm hiểu Matlab 11

2.4.1 Khái niệm về Matlab 11

2.4.2 Hệ thống Matlab 11

2.4.3 Ứng dụng của Matlab 12

2.5 Tìm hiểu xử lý ảnh trong Matlab 12

2.5.1 Xử lý ảnh là gì? 12

2.5.2 Các giai đoạn xử lý ảnh 12

2.5.3 Xử lý ảnh trong Matlab 13

2.6 Tìm hiểu về Mạng nơ-ron tích chập (Convolutional Neural Network – CNN) ……… 16

2.6.1 Sơ lược về Mạng nơ-ron tích chập 16

2.6.2 Cấu trúc của mạng CNN 17

2.6.3 Mô hình nhận dạng khuôn mặt dựa trên CNN 18

Chương 3 Triển khai xây dựng 21

3.1 Chương trình mô phỏng 21

3.1.1 Cơ sở dữ liệu ảnh 21

3.1.2 Các bước thực hiện 21

3.2 Kết quả mô phỏng 25

3.2.1 Kết quả train 25

3.2.2 Kết quả test 26

3.3 Nhận xét kết quả đạt được 28

Chương 4 Kết luận và hướng phát triển 29

4.1 Kết luận 29

4.2 Hướng phát triển 29

TÀI LIỆU

DANH MỤC HÌNH

Hình 1: Hình ảnh đối tượng đối với AI 5

Hình 2: Hình ảnh và mức độ xác suất dự đoán 6

Hình 3: Một phần nhỏ của hình ảnh được biểu thị ở định dạng ma trận 7

Hình 4: Hình ảnh máy bay không người lái 8

Hình 5: Hình ảnh máy móc trong khâu sản xuất ô tô 9

Hình 6: Hình ảnh xe tự hành 9

Hình 7: Hình ảnh áp dụng cộng nghệ giám sát tuần tra trong rừng 10

Hình 8: Các bước xử lý ảnh 12

Hình 9: Kiến trúc của một mạng CNN 16

Hình 10: Phân lớp ảnh 17

Hình 11: Ví dụ Trường tiếp nhận cục bộ 17

Hình 12: Mô phỏng Lớp tổng hợp 18

Hình 13: Kiến trúc dạng khối của mô hình CNN 19

Hình 14: Một ảnh đầu vào kích thước 100×90×1 19

Hình 15: Hình ảnh sau khi xử lý của khối B2 và lớp nơron POOL 20

Hình 16: Tập ảnh 21

Hình 17: Trained Network đã lưu 23

Hình 18: Kết quả truy cập Trained Network 24

Hình 19: Kết quả squeezenet 25

Hình 20: Number of classes 25

Hình 21: Kết quả Train Progress 26

Hình 22: Kết quả test lần 1 26

Hình 23: Kết quả test lần 2 27

Hình 24: Kết quả test lần 3 27

Chương 1 Giới thiệu

1.1 Tổng quan

Với sự phát triển nhanh chóng của ngành công nghệ thông tin và khả năng quayvideo của các thiết bị như camera ngày càng tốt, kể cả trong điều kiện thiếu ánh sáng.Thì việc áp dụng các hệ thống nhận dạng vào các thiết bị càng dễ dàng Hiện nay, cácnước trên thế giới đã và đang xây dựng các hệ thống nhận dạng khuôn mặt có tỉ lệ sailệch rất nhỏ Chẳng hạn như các quốc gia Mỹ, Australia, Áo, Bỉ, Pháp, Anh, Dubai

Áp dụng kiến thức đã học để phát triển ứng dụng như trên là cần thiết Bởi vì điềunày cho phép học thêm các công nghệ mới, rèn luyện kỹ năng lập trình, đồng thờinâng cao kinh ngiệm và học thêm các kỹ năng quan trọng khác Chính vì thế, em chọn

đề tài “Nhận dạng khuôn mặt bằng Convolutional Neural Network”

Nhận dạng khuôn mặt bằng Convolutional Neural Network giúp người kiểm trabiết được tên và thông số nhận dạng chính xác theo tỷ lệ phần trăm của bức ảnh

1.2 Phương pháp, kết quả

Phương pháp xây dựng ứng dụng sẽ bao gồm các bước sau:

 Tìm hiểu về các công nghệ đã và đang được ứng dụng để giải quyết bài toántrên

 Tìm hiểu khái quát ảnh và xử lý ảnh

 Nghiên cứu các ứng dụng về nhận dạng khuôn mặt đã có trong thực tế

 Nghiên cứu các mã nguồn mở có hỗ trợ để giải quyết vấn đề nhận dạng khuôn mặt có trong một bức ảnh

1.3 Cấu trúc đồ án

Phần tiếp theo của báo cáo bao gồm:

Chương 2: Nghiên cứu tổng quan

Trong chương này, em sẽ giới thiệu tổng quát về Trí tuệ nhân tạo (AI), nhận dạnghình ảnh, OpenCV, Python, Matlab bao gồm:

 Trí tuệ nhân tạo (AI) là gì ?

 Giới thiệu khái quát về ảnh ?

 Tìm hiểu về nhận dạng ảnh ?

 Tìm hiểu về Matlab ?

 Tìm hiểu về xử lý ảnh với Matlab?

 Tìm hiểu về phân tích thành phần chính (Convolutional Neural Network - CNN)

Chương 3: Triển khai xây dựng

Ở phần này em sẽ trình bày mô hình tổng quan của đề tài và cách thức triển khainó

Chương 4: Kết luận và hướng phát triển.

Trong chương này, em chia thành 2 phần Phần 1 kết luận sẽ giới thiệu về những

gì đã đạt được và hạn chế Phần 2 hướng phát triển đưa ra hướng đi tiếp theo của ứngdụng

Chương 2 Nghiên cứu tổng quan

2.1 Trí tuệ nhân tạo là gì ?

Trí tuệ nhân tạo (AI - Artificial Intelligence) là trí thông minh của máy do con ngườitạo ra Ngay từ khi chiếc máy tính điện tử đầu tiên ra đời, các nhà khoa học máy tính

đã hướng đến phát hiển hệ thống máy tính (gồm cả phần cứng và phần mềm) sao cho

nó có khả năng thông minh như loài người

Mặc dù cho đến nay, theo quan niệm của người viết, ước mơ này vẫn còn xa mớithành hiện thực, tuy vậy những thành tựu đạt được cũng không hề nhỏ: chúng ta đãlàm được các hệ thống (phần mềm chơi cờ vua chạy trên siêu máy tinh GeneBlue) cóthể thắng được vua cờ thế giới; chúng ta đã làm được các phần mềm có thể chứngminh được các bài toán hình học; v.v Hay nói cách khác, trong một số lĩnh vực, máytính có thể thực hiện tốt hơn hoặc tương đương con người (tất nhiên không phải tất cảcác lĩnh vực)

2.2 Giới thiệu khái quát về ảnh

2.2.1 Các khái niệm cơ bản về ảnh

Ảnh số là tập hợp hữu hạn các điểm ảnh với mức xám phù hợp

tả ảnh gần với ảnh thật Số điểm ảnh xác định độ phân giải của ảnh Ảnh có độ phân giải càng cao thì càng thể hiện rõ nét các đặt điểm của tấm hình càng làm cho tấm ảnh trở nên thực và sắc nét hơn.

a Điểm ảnh (Picture Element)

Điểm ảnh (Pixel) là một phần tử của ảnh số tại toạ độ (x, y) với độ xám hoặc màu nhất định Kích thước và khoảng cách giữa các điểm ảnh đó được chọn thích hợp sao cho mắt người cảm nhận sự liên tục về không gian và mức xám

(hoặc màu) của ảnh số gần như ảnh thật Mỗi phần tử

trong ma trận được gọi là một phần tử ảnh.

c Độ phân giải của ảnh

Độ phân giải (Resolution) của ảnh là mật độ điểm ảnh được

ấn định trên một ảnh số được hiển thị

Theo định nghĩa, khoảng cách giữa các điểm ảnh phải được chọn sao cho mắt người vẫn thấy được sự liên tục của ảnh Việc lựa chọn khoảng cách thích hợp tạo nên một mật độ phân bổ, đó chính là độ phân giải và được phân bố theo trục x và y trong không gian hai chiều.

Ví dụ: Độ phân giải của ảnh trên màn hình CGA (Color

một lưới điểm theo chiều ngang màn hình: 320 điểm chiều dọc * 200 điểm ảnh (320*200) Rõ ràng, cùng màn hình CGA 12” ta nhận thấy mịn hơn màn hình CGA 17” độ phân giải 320*200 Lý do: cùng một mật độ (độ phân giải) nhưng diện tích màn hình rộng hơn thì độ mịn (liên tục của các điểm) kém hơn.

2.2.2 Các cách phân loại ảnh

Ảnh nhị phân: Giá trị xám của tất cả các điểm ảnh chỉ nhận giá trị

như vậy mỗi điểm ảnh trong ảnh nhị phân được biểu diễn bởi 1 bit

Ảnh xám: Giá trị xám nằm trong [0, 255] như vậy mỗi điểm ảnh

nhị phân được biểu diễn bởi 1 byte

Ảnh màu:

 Hệ màu RGB: Một pixel được biểu diễn bằng 3 giá trị (R, G, B) trong đó R, G, B là một giá trị xám và được biểu biểu diễn bằng

1 byte Khi đó ta có một ảnh 24 bits P(x, y) = (R, G, B)

 Hệ màu CMY: là phần bù của hệ màu RGB (C, M, Y) = (1, 1, 1) - (R, G, B) Hay C+R=M+G=Y+B=1 => Hệ màu này thường được dùng trong máy in

 Hệ màu CMYK: trong đó K là độ đậm nhạt của màu K= min(C,

M, Y)

P(x, y) = (C-K, M-K, V-K, K)

 Ví dụ:

Với (C1, M1, Y1) ta sẽ có K=min(C1, M1, Y1)

Vậy CMYK=(C1-K, M1-K, Y1-K, K)

2.3 Tìm hiểu khái quát về ảnh

Trong chăm sóc sức khỏe, hệ thống nhận dạng và xử lý hình ảnh y tế giúp cácchuyên gia dự đoán rủi ro sức khỏe, phát hiện bệnh sớm hơn và cung cấp nhiều dịch

vụ tập trung vào bệnh nhân hơn Danh sách này có thể đi và về

Nhận dạng hình ảnh rơi vào nhóm các nhiệm vụ thị giác máy tính cũng bao gồmtìm kiếm trực quan, phát hiện đối tượng, phân đoạn ngữ nghĩa và hơn thế nữa

Bản chất của nhận dạng hình ảnh là trong việc cung cấp một thuật toán có thể lấymột hình ảnh đầu vào thô và sau đó nhận ra những gì trên hình ảnh này và gán nhãnhoặc các lớp cho mỗi hình ảnh

Cần lưu ý rằng máy móc không thể nhìn thấy và cảm nhận hình ảnh như chúng talàm Đối với họ, đó là tất cả về toán học, và bất kỳ đối tượng nào sẽ trông như thế này:

Hình 1: Hình ảnh đối tượng đối với AI

2.3.2 Nguyên tắc làm việc của các mô hình nhận dạng hình ảnh

Dựa trên dữ liệu được cung cấp, mô hình sẽ tự động tìm các mẫu, lấy các lớp từdanh sách được xác định trước và gắn thẻ cho mỗi hình ảnh với một, một vài hoặckhông có nhãn

Vì vậy, các bước chính trong nhận dạng hình ảnh AI là thu thập và sắp xếp dữ liệu, xây dựng mô hình dự đoán và sử dụng nó để cung cấp đầu ra chính xác.

Đối với đào tạo mô hình, điều quan trọng là thu thập và sắp xếp dữ liệu đúngcách Chất lượng dữ liệu là rất quan trọng để cho phép mô hình tìm thấy các mẫu Các

bộ dữ liệu phải bao gồm hàng trăm đến hàng ngàn ví dụ và được dán nhãn chínhxác Sau đó, nó sẽ trở nên có thể xác định nhãn rời rạc Trong trường hợp có đủ dữ liệulịch sử cho một dự án, dữ liệu này sẽ được dán nhãn tự nhiên Ngoài ra, để làm chomột dự án nhận dạng hình ảnh AI thành công , dữ liệu cần có sức mạnh dựđoán Các nhà khoa học dữ liệu chuyên gia luôn sẵn sàng cung cấp tất cả các hỗ trợcần thiết ở giai đoạn chuẩn bị dữ liệu

Việc ghi nhãn sẽ được sử dụng để cho phép mô hình dự đoán đối tượng nào trênhình ảnh và mức độ xác suất dự đoán là chính xác Nếu được hiển thị, quá trình nhậndạng hình ảnh trông như thế này:

Hình 2: Hình ảnh và mức độ xác suất dự đoán

2.3.3 Thuật toán sử dụng trong nhận dạng hình ảnh

Một số thuật toán được sử dụng trong nhận dạng hình ảnh (Nhận dạng đối tượng)là:

 Scale-Invariant Feature Transform/SIFT (Chuyển đổi tính năng bất biến tỷ

- Điểm đặc biệt của SIFT là nó sẽ đưa ra các kết quả ổn định với những scale củaảnh khác nhau, bên cạnh đó cũng có thể nói giải thuật này có tính rotation-invariant

 Speeded Up Robust Features/SURF (Tính năng tăng tốc mạnh mẽ): cũng

giống như SIFT nhưng SURF sẽ có những sự cải thiện để cải thiện tốc độ xử lý

mà vẫn đảm bảo độ chính xác trong việc detection

 Principal Component Analysis/PCA (Phân tích thành phần chính): Đây là

thuật toán sinh ra để giải quyết vấn đề dữ liệu có quá nhiều chiều dữ liệu, cầngiảm bớt chiều dữ liệu nhằm tăng tốc độ xử lí, nhưng vẫn giữ lại thông tinnhiều nhất có thể

 Linear Discriminant Analysis/LDA (Phân tích phân biệt tuyến tính): một

phương pháp được sử dụng trong thống kê , nhận dạng mẫu và học máy để tìm

ra sự kết hợp tuyến tính của các tính năng đặc trưng hoặc tách biệt hai hoặcnhiều lớp đối tượng hoặc sự kiện

Hình 3: Một phần nhỏ của hình ảnh được biểu thị ở định dạng ma trận

2.3.4 Những thách thức trong nhận dạng hình ảnh

Biến đổi quan điểm: Trong một thế giới thực, các thực thể trong ảnh được cănchỉnh theo các hướng khác nhau và khi các hình ảnh đó được đưa vào hệ thống, hệthống dự đoán các giá trị không chính xác Nói tóm lại, hệ thống không hiểu rằng việcthay đổi căn chỉnh của hình ảnh (trái, phải, dưới, trên cùng) sẽ không làm cho nó khác

đi và đó là lý do tại sao nó tạo ra những thách thức trong nhận dạng hình ảnh

Biến đổi tỷ lệ: Biến thể về kích thước ảnh hưởng đến việc phân loại đốitượng Bạn càng nhìn gần đối tượng, kích thước của nó càng lớn và ngược lại

Biến dạng: Các đối tượng không thay đổi ngay cả khi chúng bị biến dạng Hệthống học từ hình ảnh hoàn hảo và hình thành một nhận thức rằng một đối tượng cụthể chỉ có thể có hình dạng cụ thể Chúng ta biết rằng trong thế giới thực, hình dạngthay đổi và kết quả là, có những điểm không chính xác khi hệ thống bắt gặp một hìnhảnh bị biến dạng của một vật thể

Biến thể giữa các lớp: Đối tượng nhất định khác nhau trong lớp Chúng có thể cóhình dạng, kích thước khác nhau, nhưng vẫn đại diện cho cùng một lớp Ví dụ, nút,ghế, chai, túi có kích cỡ và hình dáng khác nhau

Loại trừ: Một số đối tượng nhất định cản trở chế độ xem toàn bộ hình ảnh và dẫn đến thông tin không đầy đủ được cung cấp cho hệ thống Cần phải đưa ra một thuật toán nhạy cảm với các biến thể này và bao gồm một loạt các mẫu dữ liệu.

2.3.5 Công dụng của nhận dạng hình ảnh

Máy bay không người lái: Máy bay không người lái được trang bị khả năngnhận dạng hình ảnh có thể cung cấp khả năng giám sát, kiểm tra và kiểm soát tự độngdựa trên tầm nhìn

Hình 4: Hình ảnh máy bay không người lái

Sản xuất: Kiểm tra dây chuyền sản xuất, đánh giá các điểm quan trọng một cáchthường xuyên trong cơ sở Giám sát chất lượng của các sản phẩm cuối cùng để giảmcác khuyết tật Đánh giá tình trạng của công nhân có thể giúp các ngành sản xuất kiểmsoát hoàn toàn các hoạt động khác nhau trong các hệ thống

Hình 5: Hình ảnh máy móc trong khâu sản xuất ô tô

Xe tự hành: Xe tự hành có nhận dạng hình ảnh có thể xác định các hoạt độngtrên đường và thực hiện các hành động cần thiết Robot mini có thể giúp các ngànhcông nghiệp hậu cần định vị và chuyển các vật thể từ nơi này sang nơi khác Nó cũngduy trì cơ sở dữ liệu về lịch sử di chuyển sản phẩm để ngăn sản phẩm bị thất lạc hoặcđánh cắp.

Hình 6: Hình ảnh xe tự hành

Giám sát quân sự: Phát hiện các hoạt động bất thường ở khu vực biên giới vàkhả năng ra quyết định tự động có thể giúp ngăn chặn sự xâm nhập và dẫn đến cứusống các binh sĩ

Hoạt động trong rừng: Máy bay không người lái có thể giám sát rừng, dựđoán những thay đổi có thể dẫn đến cháy rừng và ngăn chặn nạn săn trộm Nó cũng cóthể cung cấp một giám sát đầy đủ về các vùng đất rộng lớn, mà con người không thểtruy cập dễ dàng

Hình 7: Hình ảnh áp dụng cộng nghệ giám sát tuần tra trong rừng

2.4 Tìm hiểu Matlab

2.4.1 Khái niệm về Matlab

Matlab là một ngôn ngữ lập trình thực hành bậc cao được sử dụng đểgiải các bài toán về kỹ thuật Matlab tích hợp được việc tính toán, thể

hiện kết quả, cho phép lập trình, giao diện làm việc rất dễ dàng chongười sử dụng Dữ liệu cùng với thư viện được lập trình sẵn cho phépngười sử dụng có thể có được những ứng dụng sau đây:

 Sử dụng các hàm có sẵn trong thư viện, các phép tính toán họcthông thường

 Cho phép lập trình tạo ra những ứng dụng mới

 Cho phép mô phỏng các mô hình thực tế

 Phân tích, khảo sát và hiển thị dữ liệu

 Với phần mềm đồ hoạ cực mạnh

 Cho phép phát triển, giao tiếp với một số phần mềm khác nhưC++, Fortran

2.4.2 Hệ thống Matlab

Hệ thống giao diện của Matlab được chia thành 5 phần:

 Môi trường phát triển

Đây là nơi đặt các thanh công cụ, các phương tiện giúp chúng

ta sử dụng các lệnh và các file, ta có thể liệt kê một số như sau:

- Desktop

- Command Window

- Command History

- Browsers for viewinghelp

 Thư viện, các hàm toán học bao gồm các cấu trúc như tínhtổng, sin cosin atan, atan2 etc , các phép tính đơn giản đếncác phép tính phức tạp như tính ma trận nghich đảo, trị riêng,chuyển đổi fourier, laplace, symbolic library

 Ngôn ngữ Matlab Đó là các ngôn ngữ cao về ma trận và mảng,với các dòng lệnh, các hàm, cấu trúc dữ liệu vào, có thể lậptrình hướng đối tượng

 Đồ hoạ trong Matlab Bao gồm các câu lệnh thể hiện đồ họatrong môi trường 2D và 3D, tạo các hình ảnh chuyển động,cung cấp các giao diện tương tác giữa người sử dụng và máytính

 Giao tiếp với các ngôn ngữ khác Matlab cho phép tương tác với

ngữ khác như C, Fortran …

2.4.3 Ứng dụng của Matlab

 Các khoá học về toán học

 Các kỹ sư, các nhà nghiên cứu khoa học

 Dùng Matlab để tính toán, nghiên cứu tạo ra các sản phẩm tốtnhất trong sản xuất