NGHIÊN CỨU THUẬT TOÁN FACE MASK DETECTION ỨNG DỤNG TRONG NHẬN DIỆN KHUÔN MẶT ĐEO KHẨU TRANG

Face Mask Detection là một lĩnh vực thuộc Computer Vision, được nghiên cứu rộng rãi trong 2 năm trở lại đây do tác động của dịch Covid19. Tương tự như Face Detection hay Object Detection, Mask Detection đề cập đến khả năng của hệ thống máy tính và phần mềm để định vị các đối tượng trong một hình ảnh và xác định từng đối tượng, cụ thể ở đây là khẩu trang.

VIỆN ĐIỆN TỬ - VIỄN THÔNG

Giảng viên hướng dẫn: TS VÕ LÊ CƯỜNG

Hà Nội, 6-2021

MỤC LỤC

MỤC LỤC 1

A LỜI NÓI ĐẦU 2

B NỘI DUNG 3

Chương 1: Giới thiệu đơn vị thực tập Công ty ADeep Technology 3

1.1 Giới thiệu công ty ADeep Technology 3

1.2 Chức năng tổ chức 5

1.3 Nhiệm vụ tổ chức 6

1.4 Cơ cấu tổ chức 6

Chương 2: Nội dung thực tập kỹ thuật 8

2.1 Các vị trí công việc trong đơn vị 8

2.2 Các lĩnh vực hoạt động của đơn vị 8

2.3 Nội dung công việc được giao trong thực tập 9

2.4 Kết quả đạt được 23

Chương 3: Nhận xét, đánh giá bản thân 24

3.1 Ưu điểm 24

3.2 Nhược điểm 24

3.3 Đề xuất bản thân 24

C KẾT LUẬN 26

D PHỤ LỤC 27

I Danh mục hình ảnh 27

II Danh mục bảng biểu 28

TÀI LIỆU THAM KHẢO 29

A LỜI NÓI ĐẦU

Thực tập kỹ thuật là giai đoạn vô cùng quan trọng đối với mỗi sinh viêntrước khi bước vào sinh viên năm 4 với nhiều đồ án, bài tập lớn Trong khi việchọc tập ở trường, dù có những buổi thực hành, vẫn mang nặng tính lý thuyết, thìviệc thực tập giúp sinh viên có cơ hội tiếp cận thực tế khách quan và cơ hội áp dụngnhững lý thuyết đã học tác động vào môi trường thực tế đó Không chỉ có vậy, thực

tế có rất nhiều đặc điểm khác nhau và biến đổi không ngừng, việc áp dụng kiến thứcvào thực tế cũng đòi hỏi sinh viên phải học được kỹ năng đánh giá, nhận xét sựkhác biệt đó so với lý thuyết và biết cách biến đổi, phát triển các kiến thức cơ bản

đã học được Đây là kỹ năng rất quan trọng của sinh viên trước khi bước vào sinhviên năm 4 và xa hơn là làm việc trong thực tế Vì vậy thực tập kỹ thuật có vai tròquan trọng đối với mỗi sinh viên

Ngày nay, sinh viên khi đi thực tập có rất nhiều thuận lợi, nhất là đối vớingành Điện tử - Viễn thông Kinh tế Việt Nam ngày càng phát triển, các công tylàm việc trong các ngành công nghệ cao được thành lập ngày càng nhiều, sinh viênthực tập có nhiều cơ hội lựa chọn công ty phù hợp với khả năng và chuyên ngànhcủa mình Được thực hiện công việc mình đam mê trong môi trường thực tế cũng làđiểm thuận lợi giúp sinh viên nhanh chóng tích lũy nhiều kinh nghiệm trong thờigian thực tập

Bên cạnh đó, tồn tại không ít khó khăn đối với sinh viên khi đi thực tập Đó

là sự bỡ ngỡ khi mới bước vào môi trường làm việc thực tế, chưa có tác phong làmviệc công nghiệp trong môi trường chuyên nghiệp Đặc biệt sinh viên còn chưa cócác kỹ năng mềm như: kỹ năng làm việc nhóm, kỹ năng thuyết trình, kỹ năng báocáo… Đây là những khó khăn ban đầu của sinh viên thực tập cần được cơ quandoanh nghiệp giúp đỡ hoàn thiện trong quá trình làm việc, thực tập

Em đã may mắn khi được nhận thực tập tốt nghiệp tại công ty ADeepTechnology của thầy Võ Lê Cường Em xin chân thành cảm ơn công ty ADeepTechnology, thầy Võ Lê Cường và viện Điện tử - Viễn thông đã tạo điều kiện thuậnlợi giúp em hoàn thành tốt nội dung thực tập kỹ thuật này

B NỘI DUNG

Chương 1: Giới thiệu đơn vị thực tập

1.1 Giới thiệu công ty ADeep Technology

1.1.1 Thông tin chung đơn vị

Công ty ADeep Technology, thành lập từ tháng 4 năm 2019, chuyên nghiêncứu phát triển giải pháp và sản phẩm trí tuệ nhân tạo (học máy, học sâu, AI tại biên)cho các bài toán thị giác máy

Hình 1.1 Logo công ty Adeep Technology

Tên đơn vị: ADeep Technology

Năm thành lập: 2019

Địa chỉ: Lô 15 D5 Khu đô thị Định Công, Quận Hoàng Mai, TP Hà Nội

Số điện thoại: 0961111396 (Thầy Cường)

1.1.2 Tình hình phát triển

Trong những năm gần đây, Việt Nam đang tích cực hội nhập quốc tế sâurộng, thực hiện nhiệm vụ công nghiệp hóa – hiện đại hóa hóa đất nước Nhu cầu

thông tin liên lạc, kết nối mọi người ở khắp mọi nơi sử dụng các thiết bị công nghệcao ngày càng lớn Không đứng ngoài xu thế thời đại đó, công ty ADeepTechnology cũng tích cực tìm tòi, nghiên cứu và phát triển các hệ thống thông tin,các thiết bị điện tử tinh vi và ngày càng phức tạp để đáng ứng nhu cầu ngày càngcao của đất nước.

Khi mới thành lập, công ty chỉ có 7 thành viên, còn thiếu nhiều cơ sở vậtchất, các thành viên chưa có kỹ năng làm việc, kiến thức còn hạn chế, chưa cóngười đi trước để hướng dẫn và định hướng Ý thức được những khó khăn đó, cácthành viên trẻ tuổi của công ty đã tích cực, chủ động trong nghiên cứu, từng bướcthích nghi và khắc phục những điều kiện thực tế khó khăn, khắc nghiệt Với ưuđiểm của tuổi trẻ là đam mê công nghệ, cần cù, thông minh, chăm chỉ và nhiệthuyết, các thành viên đã giúp cho công ty ngày càng phát triển, thực hiện thànhcông nhiều dự án, các đề tài cấp viện, cấp trường Một số nhóm sinh viên đã đạtnhiều thành tích cao trong các kỳ thi nghiên cứu khoa học Các thành viên của công

ty sau khi tốt nghiệp tại trường thường có việc trong các công ty lớn hoặc có cơ hội

đi du học tại các nước phát triển

1.1.3 Môi trường làm việc

ADeep là một môi trường năng động, sáng tạo, bao gồm những con ngườitràn đầy nhiệt huyết và khát vọng, ham học hỏi và chịu đựng được thử thách

Công ty ADeep Technology có môi trường theo chuẩn doanh nghiệp, tươngđối mở, năng động và khẩn trương Mỗi thành viên khi đến công ty sẽ được cungcấp account cho công việc và được trang bị một hệ thống thiết bị riêng: bàn làmviệc, chỗ ngồi, máy tính… Khi mới vào làm việc trong các dự án, sinh viên có thểcảm nhận không khí làm việc ở đây rất khẩn trương và nghiêm túc, áp lực rất cao.Tuy nhiên mọi người khi đã quen với công việc sẽ cảm thấy thoải mái Đây là môitrường tốt cho sinh viên rèn luyện, làm quen trước khi làm việc thực tế tại cácdoanh nghiệp

Làm việc ở công ty như làm việc ở nhà Mọi người có thể ăn mặc tự do,miễn là cảm thấy thoải mái và phù hợp văn hóa công sở Mọi người có thể đem bất

cứ thứ gì mình thích lên bàn làm việc của mình, trang trí để tạo nên không gianthoải mái và hiệu quả nhất Nhằm tạo bầu không khí thoải mái, trong quá trình làmviệc, công ty cũng đã tổ chức rất nhiều hoạt động để nhân viên có thể tham gia saunhững giờ làm việc vất vả Ngoài các hoạt động outing, teambuilding, du lịch công

ty, sinh nhật, các ngày lễ hàng năm , tại Adeep còn có các câu lạc bộ học tập vuichơi giải trí hoạt động sôi nổi

Đặc điểm công việc ở công ty là luôn bận rộn và nhiều công việc Đôi khicông việc gấp rút, bạn phải làm việc quá giờ, đó cũng là lúc mọi người gần gũi nhauhơn, hàng tuần các thành viên trong công ty sẽ báo cáo lại tiến độ công việc củamình, tìm ra lỗi sai để mọi người cùng sửa chữa cho và định hướng công việc tuầntiếp theo Cứ 1 tháng một lần, công ty sẽ có buổi tổng kết để xem thành viên nào sẽđược làm việc tiếp và có nhận được học bổng hay không Ở công ty, thành viên sẽđược đào tạo liên tục và thường xuyên do nhu cầu của công việc Từ kiến thức đến

kỹ năng tất cả đều được thầy Cường và các anh hướng dẫn chi tiết và cụ thể Đồngthời, mọi người được tạo điều kiện học và thi các chứng chỉ, từ các chứng chỉ trongnước tới quốc tế Điều đó khiến thành viên của công ty ngày càng phát triền và tiếnbộ

Văn hóa của công ty là văn hóa rất độc đáo, phong phú, cởi mở và quenthuộc Thành viên là những người trẻ nên họ được hướng tới các hoạt động trẻ trungnăng động: thể thao, trò chuyện, kết bạn, văn nghệ… Đây thực sự là môi trường làmviệc tuyệt vời và hấp dẫn để học tập, nghiên cứu và rèn luyện

1.2 Chức năng tổ chức

Công ty ADeep Technology chuyên nghiên cứu phát triển giải pháp và sảnphẩm trí tuệ nhân tạo (học máy, học sâu, AI tại biên) cho các bài toán thị giác máy.Hội nhập với xu thế toàn cầu nói chung, ADeep mong muốn được góp sức cải thiệnnâng cao phát triển trong hoạt động ứng dụng công nghệ Trí tuệ nhân tạo trong cuộc

sống hàng ngày và trong doanh nghiệp Công ty cũng có mục tiêu phát triển chuyểnđổi số, tiến tới một nền kinh tế số và xã hội số là trọng tâm phát triển và thúc đẩygiúp Việt Nam rút ngắn với các nước phát triển Góp mặt trong đó, ADeep mongmuốn trở thành một công ty đi đầu trong việc cung cấp các giải pháp AI cho thịtrường trong và ngoài nước Công ty cũng đào tạo nhiều sinh viên và các nghiêncứu sinh dưới sự hướng dẫn của thầy Võ Lê Cường Hợp tác nghiên cứu, trao đổichuyên môn với nhiều tập đoàn lớn như Viettel, Samsung Và làm việc thườngxuyên với nhóm nghiên cứu mạnh tại Seoul National University (SNU) Công bốcác kết quả nghiên cứu đạt được, viết báo và đăng lên các tạp trí trong nước và quốc

tế

1.3 Nhiệm vụ tổ chức

Công ty cung cấp các dịch vụ và sản phẩm sau:

• Cung cấp các giải pháp AI ứng dụng trong các lĩnh vực khác nhau như bán lẻ, y tế,

an ninh, sản xuất công nghiệp cho các khách hàng trong và ngoài nước

• Phát triển kinh doanh một số dòng sản phẩm AI, bao gồm: giải pháp đếm và nhậndạng khách hàng thân thiết, giải pháp đo tự động kích thước hàng hoá và giải pháp

hỗ trợ giãn cách xã hội dựa trên phân tích hình ảnh

• Đào tạo chuyên sâu về xử lý ảnh, thị giác máy, AI, học máy và học sâu cho sinhviên năm cuối, kỹ sư từ các công ty cùng lĩnh vực thông qua các dự án phát triểnsản phẩm thực tế

1.4 Cơ cấu tổ chức

Đứng đầu công ty là Tiến sĩ Võ Lê Cường, chịu trách nhiệm hướng dẫn, địnhhướng các thành viên trong các giai đoạn nghiên cứu, thực hiện dự án Đồng thờithầy cũng là người chịu trách nhiệm trang bị cơ sở vật chất, các trang thiết bị dùng

để nghiên cứu cho các thành viên

Dưới sự hướng dẫn của thầy Võ Lê Cường, hiện nay tập thể sinh viên trongcông ty được chia thành 2 nhóm nghiên cứu gồm nhóm nghiên cứu phần mềm vànhóm nghiên cứu phần cứng cho hệ thống camera giám sát thông minh Mỗi nhóm

có 1 người đứng đầu chịu trách nhiệm chính giúp đỡ các thành viên trong nhóm,truyền thụ kinh nghiệm cho các thành viên mới vào nhóm và đốc thúc các thànhviên trong nhóm làm việc hiểu quả Người đứng đầu có thể được thay đổi qua từngthời kỳ sinh viên nghiên cứu, phụ thuộc vào kinh nghiệm và kết quả nghiên cứu củangười đó trong thời gian vừa qua.

Chương 2: Nội dung thực tập kỹ thuật

2.1 Các vị trí công việc trong đơn vị

Đứng đầu phòng nghiên cứu là Tiến sĩ Võ Lê Cường, chịu trách nhiệmhướng dẫn, định hướng các thành viên trong các giai đoạn nghiên cứu, thực hiện dự

án Đồng thời thầy cũng là người chịu trách nhiệm trang bị cơ sở vật chất, các trangthiết bị dùng để nghiên cứu cho các thành viên

Dưới sự chỉ đạo của thầy Võ Lê Cường , hiện nay tập thể sinh viên trongcông ty được chia thành 2 nhóm nghiên cứu gồm nhóm nghiên cứu phần mềm vànhóm nghiên cứu phần cứng cho hệ thống camera giám sát thông minh Mỗi nhóm

có 1 người đứng đầu chịu trách nhiệm chính (trưởng nhóm) giúp đỡ các thành viêntrong nhóm, truyền thụ kinh nghiệm cho các thành viên mới vào nhóm và đốc thúccác thành viên trong nhóm làm việc hiểu quả Người đứng đầu có thể được thay đổiqua từng thời kỳ sinh viên nghiên cứu, phụ thuộc vào kinh nghiệm và kết quảnghiên cứu của người đó trong thời gian vừa qua

Ngoài vị trí trên còn có một số vị trí khá quan trọng bao gồm có một ngườicầm tiền quỹ công ty để tính toán thu, chi tiêu trong các đợt và còn có người luôn tổchức các hoạt động vui chơi, ngoại khóa để các thành viên có tinh thần thỏa mái saugiờ làm căng thẳng

2.2 Các lĩnh vực hoạt động của đơn vị

2.2.1 Hoạt động nghiên cứu

• Cung cấp các giải pháp AI ứng dụng trong các lĩnh vực khác nhau như bán

lẻ, y tế, an ninh, sản xuất công nghiệp cho các khách hàng trong và ngoàinước

• Phát triển kinh doanh một số dòng sản phẩm AI, bao gồm: giải pháp đếm vànhận dạng khách hàng thân thiết, giải pháp đo tự động kích thước hàng hoá

và giải pháp hỗ trợ giãn cách xã hội dựa trên phân tích hình ảnh

• Đào tạo chuyên sâu về xử lý ảnh, thị giác máy, AI, học máy và học sâu chosinh viên năm cuối, kỹ sư từ các công ty cùng lĩnh vực thông qua các dự ánphát triển sản phẩm thực tế

2.2.2 Hoạt động ngoại khóa

Ngoài hoạt động nghiên cứu ra thì công ty cũng có một số hoạt động như vuichơi, ăn uống tổng kết năm, hay đi du lịch Các hoạt động đều nhằm tăng tình đoànkết của thành viên trong công ty ngày càng thân thiết hơn cũng như giảm bớt căngthẳng sau những ngày nghiên cứu căng thẳng Cứ 1 tháng một lần, công ty sẽ cóbuổi tổng kết để xem thành viên nào sẽ được làm việc tiếp và có nhận được họcbổng hay không Ở công ty, nhân viên sẽ được đào tạo liên tục và thường xuyên donhu cầu của công việc Từ kiến thức đến kỹ năng tất cả đều được thầy giáo và cácanh hướng dẫn chi tiết và cụ thể Đồng thời, mọi người được tạo điều kiện học vàthi các chứng chỉ, từ các chứng chỉ trong nước tới quốc tế Điều đó khiến thành viêncủa công ty ngày càng phát triền và tiến bộ.

2.3 Nội dung công việc được giao trong thực tập

Trong thời gian thực tập kỹ thuật, em được giao nhiệm vụ nghiên cứu thuậttoán Face Mask Detection ứng dụng trong việc nhận diện người đeo khẩu trang.Bên cạnh việc tìm hiểu về thuật toán Face Mask Detection, em cũng đọc thêm cácbài báo chuyên môn, tìm hiểu thêm một số phương pháp để từ đó có thể làm tănghiệu quả của thuật toán

2.3.1 Khái quát về thuật toán Face Mask Detection

2.3.1.1 Tìm hiểu chung

Face Mask Detection là một lĩnh vực thuộc Computer Vision, được nghiêncứu rộng rãi trong 2 năm trở lại đây do tác động của dịch Covid-19 Tương tự như

Face Detection hay Object Detection, Mask Detection đề cập đến khả năng của hệthống máy tính và phần mềm để định vị các đối tượng trong một hình ảnh và xácđịnh từng đối tượng, cụ thể ở đây là khẩu trang

Hình 2.1 Kết quả Detection

Về cơ bản, chương trình Mask Detection sẽ hoạt động theo sơ đồ như sau:

Hình 2.2 Sơ đồ khối cho hệ thống nhận diện khẩu trang

- Ảnh đầu vào sẽ được đưa vào chương trình, bắt đầu ở bước tiền xử lý

(preprocess) Trong bước tiền xử lý, hệ thống sẽ phát hiện vùng cần được áp dụng các xử lý/ biến đổi của input (ROI) Tiếp theo đó mô hình nhận dạng gương mặt (face identify model) được đưa vào để nhận diện có hay không có sự xuất hiện của mặt người ở trong bức ảnh Xác định được mặt người sẽ tiếp tục kiếm tra người đó

có đeo khẩu trang không bằng công cụ phát hiện khẩu trang (mask detect model) Cuối cùng sẽ show ra output như hình dưới đây

Hình 2.3 Đầu ra của chương trình Mask Detection

Như vậy, có thể thấy, bài toán Mask Detection là sự kết hợp giữa Face Detection và Mask Detection

2.3.1.2 Phát hiện khuôn mặt (Face Detection)

Phát hiện, xác định vị trí khuôn mặt (face detection) là một kỹ thuật máy tính để xác định vị trí kích thước của mặt người trong các bức ảnh hay video Kỹ thuật này nhận biết được các đặc trưng của khuôn mặt mà bỏ qua các thức khác như: Động vật, nhà,…

Trải qua nhiều năm phát triền, các nhà nghiên cứu đã phát triển nhiều phương pháp để xác định khuôn mặt từ đơn giản đến phức tạp Và quan trọng nhất là việc

ảnh hưởng qua lại giữa độ chính xác và tốc độ detect (phát hiện và xác định vị trí)

Các phương pháp Face Detection có thể kể đến 2 loại chính như dựa trên các

hand-craft feature (đặc trưng cứng) và dựa trên các feature được trính chọn từ mạng

CNN

Các phương pháp detect truyền thống là detect dựa trên cửa sổ trượt và các

handcraft feature (đặc trưng cứng) như: HOG, SIFT, LBP, SUFE, đi qua một

bộ phân loại (ví dụ như SVM classifier) để xác định xem vùng cửa số đó có chứa khuôn mặt không, điển hình là thuật toán HOG-SVM detector được triển khai

trên thư viện Dlib

Hình 2.4 Đặc trưng HOG của ảnh chưa khuôn mặt

Ngoài ra còn có 1 thuật toán face detection nổi tiếng khác là Viola-Jones Thuật toán được xuất bản năm 2001 trong bài báo “ Rapid Object Detection using a

pháp này đạt được độ chính xác cao vào thời điểm đó với tốc độ 15 fps Phươngpháp này gồm 4 bước và được mô tả như trong Hình 1.5:

 Bước 1: sử dụng đặc trưng Harr để trích xuất đặc trưng ảnh Các khuôn mặt

đều có những đặc trưng như là vùng mắt tối hơn vùng sống mũi, vùng trên

má sáng hơn vùng mắt, vị trí của mắt, miệng, mũi, … Những đặc trưng nàyđược tìm kiếm trong ảnh, sau đó những điểm ảnh có cùng đặc trưng đượcgom lại và tạo ra hơn 16000 đặc trưng trên mỗi vùng cửa sổ Cửa sổ sử dụngtrong thuật toán có kích thước 24x24

 Bước 2: sau khi trích xuất đặc trưng, tiến hành tối ưu những đặc trưng đó vì

số lượng đặc trưng rất nhiều Tích hợp ảnh cho phép tính toán nhanh các đặctrưng với số lượng lớn

 Bước 3: Số lượng đặc trưng rất lớn đồng nghĩa với số chiều dữ liệu cũng rấtlớn nên cần có phương pháp giảm chiều dữ liệu để lựa chọn ra các đặc trưngquan trọng phục vụ cho việc phân loại Từ hơn 16000 chiều dữ liệu được

giảm xuống còn vài trăm bởi bộ phân loại AdaBoost Thuật toán cần tìm một

ngưỡng tốt nhất để lựa chọn các đặc trưng

 Bước 4: khi đánh giá trên một ảnh, ảnh được chia thành các vùng nhỏ hơn vàđánh giá một cách riêng biệt Thay vì áp dụng tất cả các đặc trưng đã đượcchọn lên vùng này thì các đặc trưng được chia thành các bậc của các bộ phânloại sau đó áp dụng từng bậc một Phương pháp này gọi là các bộ phân loại

phân tầng (Cascade of Classifiers).