VIOLA JONES ALGORITHM ANALYSIS AND APPLICATION FOR FACE DETECTION AND RECOGNITION WITH THE HIGHEST ACCURACY

Rất nhiều các lĩnh vực ghi nhận đĩng gĩp quan trọng của bài tốn nhận diện như ệ thống giám sát an ninh quản lý xã hội, h - hỗ trợ tìm kiếm người mất tích hay đặc biệt trong thời kỳ Covid

TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI

Giảng viên hướng dẫn:

TS.Nguyễn Trung Kiên/TS Tào Ngọ c Linh

Sinh viên thực hiện:

Trịnh Đình Triển - 20181790

Lê Thu Thủy - 20185411 Nguyễn Th ị Phương Anh - 20183683

Hà Nội:27/8/2021

MỤC LỤC

1 Introduction 4

2 Methodology 6

2.1 Viola-Jones Algorithm 6

2.2 Face detection 7

2.3 Face Recognition System 8

2.2.1 Setting Data 8

2.2.2 Pre-Procesing 9

2.2.3 Face Recognition 10

3 Result And Discussion 11

3.1 nh Ả hưở ng c a các thông s nh n di n: 11 ủ ố ậ ệ 3.1 Effects of identification parameters: 11

Xét trong trường hợp ảnh có nhi ều ngườ i 16

3.2 Kh ả năng nhậ n di ện đối tượ ng 17

4 Conclusion 18

References 19

Bibliography 19

APPENDIX A 20

SOFT WARE 20

APPENDIX B 20

FACE DETECTION IN REAL-TIME 20

FACE DETECTION IN IMAGE 20

APPENDIX C 21

SETTING DATA 21

TRAINING DATA 22

FACE RECOGNITION 23

APPENDIX RESULT 24

DANH M C B NG BI U HÌNH Ụ Ả Ể ẢNH

Hình 1: Các t ập đặc trưng cơ bản [10] (LU Wen- Yao, 2019) 6

Hình 2: Sơ đồ Cascade Classifire [11] (Alpika Gupta, 2015) 7

Hình 3: Sơ đồ thuậ t toán tìm kiếm khuôn m t trong ảnh 7 ặ Hình 4: Quá trình nhận di n 8 ệ Hình 5: Sơ đồ giai đoạ ạo và đào tạ n t o d ữ liệu 9

Hình 6: Thu nhận nh và ti n x 9 ả ề ử lý Hình 7: Sơ đồ quá trình nhậ n diện khuôn m t 10 ặ Hình 8: Thời gian tìm ki m khuôn m t trong th ế ặ ời gian thự c 13

Hình 9: Thời gian trung bình tìm ki m khuôn m t 13 ế ặ Hình 10: Mẫu ảnh đúng ả nh sai 13

Hình 11: Độ chính xác khi thay theo góc camera 14

Hình 12: Độ chính xác phát hiện khuôn m ặt trong hai điề u ki ện ánh sáng 15

Hình 13:Thời gian trung bình tìm ki m 15 ế Hình 14: Kết quả phát hi n khuôn m t trên nh có nhi u ệ ặ ả ề ngườ i 16

Hình 15: Dữ liệu 17

Hình 16: Khả năng nhậ n di ện đối tượ ng 18

Hình 17: Xmapp 20

Hình 18: Python 20

Hình 19: Kích thước vùng ảnh chứa khuôn mặt nhỏ nhất mà thuật toán tìm kiếm được 25

Hình 20: Góc camera chính diện 25

Hình 21: Góc camera 450 26

Hình 22: Góc camera 30o 26

Bảng 1: Các trường hợp phát hiện khuôn mặt 12

Bảng 2: Thống Kê Số Lượng Khuôn M ặt Đúng Sai Theo Góc Camera 14

Bảng 3: Phát hi n khuôn m t trong b ệ ặ ức ả nh có nhi u khuôn m t 16 ề ặ Bảng 4: Thời gian tìm ki m khuôn m t 24 ế ặ Bảng 5: Thời gian tìm ki ếm tạ i các góc camera 24

Bảng 6: Thời gian tìm ki ế m trong các đi ề u ki n ánh sáng 24 ệ Bảng 7: Số ảnh đúng sai trong các trường hợp góc camera 25

VIOLA-JONES ALGORITHM ANALYSIS AND APPLICATION FOR FACE

Nguyen Thi Phuong Anh , Le Thu Thuy and Trinh Dinh Trien 1 2 3

1 Hanoi University of Science And Technology, HA NOI, VIET NAM;

anh.ntp183683@sis.hust.edu.vn thuy.lt185411@sis.hust.edu.vn trien.tt181790@sis.hust.edu.vn, ,

Abstract Tìm kiếm và nhận diện khuơn mặt là bài tốn vơ cùng quan trọng trong lĩnh vực Computer Vison, được

áp dụng phổ biến trong đời sống ngày nay Rất nhiều các lĩnh vực ghi nhận đĩng gĩp quan trọng của bài tốn nhận diện như ệ thống giám sát an ninh quản lý xã hội, h - hỗ trợ tìm kiếm người mất tích hay đặc biệt trong thời kỳ Covid hiện nay việc áp dụng nhận diện khuơn mặt truy tìm các F0 sẽ hỗ trợ giảm tải phần lớn cơng việc khoanh vùng dịch của Đảng và Nhà Nước Việt Nam Nhận thấy tầm quan trọng của bài tốn nghiên cứu áp dụng thuật tốn Viola , - Jones giải quyết hai bài tốn tìm kiếm và nhận diện khuơn mặt trong thời gian thực trong các điều kiện mơi trường

cụ thể đi sâu phân tích từng khía cạnh, yếu tố ảnh hưởng của mơi trường đến hệ thống nhận diện Nghiên cứu đưa ra hướng áp dụng nhằm nâng cao tốc độ tìm kiếm và tính chính xác của hệ thống nhận diện dựa trên thuật tốn Viola - Jones với độ chính xác trung bình lên tới 85.3% và gần như đạt tuyệt đối 99% trong điều kiện thuận lợi.

Facial detection and recognition is a very significant question in the field of computer vision Which is commonly applied in daily life Many areas recognize the important contribution of the identification problem such as a security monitoring system - social management, supporting the search for missing people or especially in the current Covid era, the application of facial recognition to trace F0 will help reduce the load of most of the work of the Party and to the government of Vietnam Recognizing the importance of the problem, the Viola-Jones algorithm applied research

to solve two real-time facial search and recognition problems in specific environmental conditions that analyze each aspect and factor affecting the environment on the identification system The study aims to improve the search speed and accuracy of the Viola-Jones algorithm-based identification system with an average accuracy of up to 85.3% and almost 99% absolute under favorable conditions

Keywords: Viola-Jones algorithm, Face Detection, Face Recognition, Haar-Like Cascade

1 Introduction

Sự phát triển khơng ngừng của xã hội hiện tượng dân số thế giới ngày một gia tăng đã đặt ra một bài tốn cho hệ thống chính quyền các quốc gia về xác định danh tính của từng đối tượng trong xã hội để lưu tr bảo mật thơng tin cá nhậnữ , quản lý, tìm kiếm và xác thực thơng tin nhanh chĩng và kịp thời Chính vì vậy mà việc giải quyết bài tốn nhận diện mặt người trở nên vơ cùng quan trọng đối với mỗi quốc g trên thế giới Các lĩnh vực đời sống xã hội ghi nhận tầm ia quan trọng của nhận diện mặt người dễ thấy như xác nhận thơng tin, danh tính, truy tìm nhưng người bênh truyền nhiễm, tội phạm trong cộng đồng xã hội, bảo mật thơng tin quan trọng của nhà nước hay các thơng tin các nhân trên các nền tảng xã hội Khơng chỉ được ứng dụng vào quản lý xã hội nhận diện mặt người cịn được sử dụng phổ biến trên các nền tảng xã hội mà chúng ta cĩ thể dẽ dàng bắt gặp như các tính năng gắn thẻ của facebook hay gắn các biểu tượng, icon trên mặt của tiktok,…

The continuous development of the world population phenomenon has posed a problem for the system of national authorities to identify each object in society to store the security of personal information, govern, search and authenticate information quickly and immediate That ly ’s why the solution of the question is the reason for the resolution of the problem Human face recognition has become very important for every country in the world The fields

of social life recognize the importance of recognizing conspicuous human faces such as confirming information, identity, tracing but infectious advocates, crimes in the social community, the security of important information of the state, or the information of individuals on social platforms Not only is it used in social management to identify people's faces, but it is also commonly used on social platforms, but we can easily come across such as facebook's tagging features or attaching icons and icons of TikTok,

Nhận diện khuơn mặt là một phần nghiên cứu vơ cùng quan trọng trong lĩnh vực thị giác máy tính khởi đầu là nghiên cứu của Bledsoe vào những năm 60 của thế kỷ XIX 1 (Mankar2, 2012) Vào những ngày đầu tiên phương thức dùng

để xác định gương mặt là trích xuất ra một landmark face – vùng biên của gương mặt được xác định bằng các chấm trên ảnh bằng các thuật tốn cổ điển như SVM, K-NN, Nạve Bayes, Random Forest, MLP [2] (Shahrin Azuan Nazeer

and Marzuki Khalid Telekom Research & Development Sdn Bhd., 2009) Cùng với sự phát triển của học sâu, trí tuệ nhân tạo ngày càng nhiều các thuật tốn mới ra đời thừa kế và phát triển dựa trên các thuật tốn đời đầu với khả năng tính tốn nhanh, giảm thời gian tìm kiếm xác nhận khuơn mặt như sử dụng mạng neurol tích chập (CNN) xử lý tìm kiếm thơng qua các lớp tế bào thần kinh ẩn 3 (Saad ALBAWI, 2017) hay phân tích thành phần chính (Principal Component Analysis - PCA) trích xuất khuơn mặt riêng tương ứng của từng đối tượng, giảm chiều dữ liệu của ảnh đầu vào 4 (Brian S Everitt & David C Howel John Wiley & Sons, 2005) Tuy nhiên theo thống kê các thí nghiệm thực hiện các phương pháp một cách độc lập khơng mang lại kết quả cao về hiệu suất cũng như tính chính xác khi tìm kiếm Các thơng số thể hiện mức tối ưu của thuật tốn dao động từ 70-90% [5] (Narayan T Deshpande, 2017) Ví dụ, sử dụng PCA cĩ hiệu quả 72% [5] (Narayan T Deshpande, 2017) Kết quả nhận diện phụ thuộc rất nhiều vào các tác động

từ bên ngồi như nhiễu, ánh sáng, gĩc camera, trang phục như mũ hay nĩn của đối tượng, mức độ đầy đủ của khuơn mặt dẫn đến sai sĩt của thuật tốn trong quá trình nhận diện Sự sai sĩt khi trong quá trình nhận diện cĩ thể gây ra ảnh hưởng rất lớn đối với hệ thống

Facial recognition was a significant part of the field of computer vision that began with the Bledsoe search in the 1960s

In the early days, the method used to identify faces was to extract a landmark face the boundary of the face was –

determined by the dots on the image using classical algorithms such as SVM, K-NN, Nave Bayes, Random Forest, MLP Along with the development of deep learning, artificial intelligence is increasingly inherited and developed based

on early algorithms with the ability to calculate quickly, reducing the time it takes to search for facial confirmation such as using a built-in neural network (CNN) that processes searches through layers of hidden neurons[3] or component analysis Principal Component Analysis (PCA) extracts the corresponding individual faces of each subject, reducing the data dimension of the input image [4 However, statistically, experiments, by executing methods ] independently, do not yield high results in terms of performance or precision in research Parameters representing the optimum level of the algorithm are in the range of 70-90% [5] For example, using PCA is 72% effective[5 The result ].

of identification depends a lot on external impacts such as noise, light, camera angle, costumes such as the subject's hat or hat, the fullness of the face leading to errors of the algorithm in the identification process Mistakes in the identification process can have enormous implications for the system

Bên cạnh các yếu tố ảnh hưởng của mơi trường thời gian tìm kiếm cũng là một khía cạnh vơ cùng quan trọng cần thiết xét đến đối với mỗi thuật tốn ác thuật tốn trước ViolaC -Jones như SVM, K-NN, Nạve Bayes, Random Forest, MLP tìm kiếm dựa trên nguyên lý trích xuất biên của khuơn mặt bằng cách xem xét từng điểm pixel của ảnh đầu vào Dễ dàng nhận thấy việc xem xét từng điểm ảnh tạo nên khối lượng tính tốn vơ cùng lớn đặc biệt là đối với các ảnh đầu vào cĩ kích thước lớn trên 1000 x 1000 pixel Khối lượng tính tốn lớn gây ra ảnh hưởng vơ cùng lớn đối với tốc độ tìm kiếm nhận diện

In addition to the influences of the research, the time environment is also an extremely important aspect needed for each algorithm Pre-Viola-Jones algorithms such as SVM, K-NN, Nave Bayes, Random Forest, MLP search are based

on the principle of extracting the edge of the face by looking at each pixel point of the input image It is easy to see that the examination of each pixel constitutes the computing volume, particularly for large input images of more than 1000

x 1000 pixels The large volume of computation has a huge impact on the speed of the search for identity

Để giảm thiểu tối đa sự ảnh hưởng của mơi trường đến kết quả của quá trình nhận diện và gia tăng tốc độ thời gian tìm kiếm năm 2001 Paul Viola và Michael Jones đã đề xuất một thuật tốn mới kết hợp sử dụng các đặc trưng Haar với bộ xếp loại phân tầng tạo thành thuật tốn Viola-Jones [4] (Mehul K Dabhi1, 2015) Thuật tốn Viola Jones mở đầu cho -hướng tiếp cận mới đối với lĩnh vực tìm kiếm nhận diện khuơn mặt người Phương pháp tiếp cận xử lý tìm kiếm với từng vùng ảnh thay vì xem xét đến từng điểm ảnh như các thuật tốn trước đĩ Dựa trên cách tiếp cận mới tốc độ tìm kiếm của thuật tốn gia tăng rất nhiều lần so với thuật tốn trước Độ chính xác của phương pháp trong tìm kiếm lên tới 95% [6] (Arwa M Basbrain1, 2017) Nghiên cứu khai thác các tính năng vượt trội của phương pháp ứng dụng xây dựng, cải thiện tính chính xác hệ thống tìm kiếm và nhận diện khuơn mặt trong thời gian thực

To minimize the impact of the environment on the results of the identification process and speed up the search time in

2001 Paul Viola and Michael Jones proposed a new algorithm that combined the use of Haar characteristics with the stratified ratings that form the Viola-Jones algorithm [6] The Viola-Jones algorithm opens the way for a new approach

to human facial recognition search The search processing approach with each image area instead of looking at each pixel as previous algorithms Based on the new approach, the search speed of the algorithm increased a lot compared

to the previous one The accuracy of the method in search is up to 95% [7] The study harnesses the outstanding features

of the built-in application method, improving search system accuracy and facial recognition in real-time

2 Methodology

2.1 Viola-Jones Algorithm

Phương pháp kết hợp sử dụng đặc trưng Haar – Like và bộ phân loại mạnh của thuật toán Adabosst tạo thành bộ lọc Haar Like Cascade có c u trúc phân t– ấ ầng như Hình 2 B l c ti p c n x lý b ng m t ô c a s quét Khi quét vùng ộ ọ ế ậ ử ằ ộ ử ổảnh, bộ lọc Haar-Cascade sẽ dựng lên các hàng rào c n ℎả 𝑖 rồi ti n hành l c vùng ảế ọ nh Thu t toán s sử d ng một đặc ậ ẽ ụtrưng Haar phù hợp để vượt qua một rào cản ℎ𝑖 Nếu một ℎ𝑖 trong bộ lọc không thỏa mãn ô cửa sổ sẽ dừng lọc và dịch chuyển sang vùng nh kả ế tiếp Ngượ ạ ếu vược l i n t qua t t c các rào cấ ả ản ℎ𝑖 vùng nh t i ô c a s quét s là vùng ả ạ ủ ổ ẽ ảnh thuộc khuôn m Sặt ố l n quét toàn b bầ ộ ức ảnh đầu vào theo hai chi u (x,y) [8] (Wang, 2014)ề Số ần quét xấp xỉ 10000 llần cho m t bộ ức ảnh

The combined method using Haar - Like features and strong classifiers of the Adabosst algorithm forms a Haar - Like Cascade filter with a hierarchical structure as shown in Figure 2 The approach filter is processed by a scanning window When scanning the image area, the Haar-Cascade filter will erect barriers h_i and then filter the image area The algorithm will use a suitable Haar feature to overcome a barrier ℎ𝑖 If a hi in the filter does not satisfy the windowpane, the filter stops and moves to the next image area Conversely, if all barriers are overcome, the image area

in the box of the scan window will be the image area of the face Several scans of the entire input image in two dimensions (x,y) [8] The number of scans is approximately 10000 times per image

Để vượt qua rào cản thuật toán sử dụng đặc trưng Haar – Like, mỗi đặc trưng tương ứng với một rào cản ℎ𝑖 Các đặc trưng Haar-Like là sự kết hợp của hai hoặc ba hình chữ nhật đen trắng được chia thành bốn tập đặc trưng cơ bả như n Hình 1 9 (Vikram K, 2017), gồm đặc trưng đường, đặc trưng cạnh, đăc trưng xung quanh tâm và đặc trưng đường chéo

To overcome the algorithmic barrier using the Haar-Like feature, each feature corresponds to a barrier Haar-Like ℎ𝑖

features are combinations of two or three black-and-white rectangles divided into four basic feature sets as shown in Figure 1 [9], including line features, edge features, center around features, and diagonal features

a, Tập đặc trưng đường b, Tập đặc trưng cạnh c,Tập đặc trung

xung quanh tâm d, Đặc trưng

đường chéo Hình 1: Các tập đặc trưng cơ bản [10] (LU Wen-Yao, 2019)

Kích thước cơ bản của cửa s ổ ban đầu là được coi là 24 x 24 để xác định hoặc đánh giá các tính năng trong hình ảnh đã cho Các thông s khác nhố au như ị v trí, lo i và t l cạ ỷ ệ ủa các đối tượng địa lý Haar nếu được xem xét, sau đó tính toán 1.60.000 tính năng nên được thực hiện, đó là thực tế là không thể.Các tính năng tốt nhất trong số 1.60.000 tính năng này có được tìm th y b ng cách s d ng k thu t Adaboost, m t thu t toán cho máy hấ ằ ử ụ ỹ ậ ộ ậ ọc.Ada boost xác định một bộ phân lo i m nh có th s k t h p tuy n tính c a các b phân lo i y u ạ ạ ể là ự ế ợ ế ủ ộ ạ ế F (x) = α1F1 (x) + α2F (x) +… [9] (Vikram

Phương Pháp tìm kiếm được áp dụng cho ảnh Bitmap, kích thước ảnh không nhỏ hơn 24 x 24 pixel Dựa trên các nguyên lý tìm ki m c a thu t toán Viola-Jones, nghiên c u áp dế ủ ậ ứ ụng phương pháp xử lý bài toán tìm ki m khuôn mế ặt trong th i gian th c và nh n di n trong th i gian thờ ự ậ ệ ờ ực

The search method is applied to bitmap images, the image size is a minimum of 24 x 24 pixels Based on the Jones algorithm's research principles, the study applies the method to address the problem of real-time facial research and real-time recognition

Viola-Hình 2: Sơ đồ Cascade Classifire [ ] (Alpika Gupta, 2015) 11

2.2 Face detection

Nghiên c u gi i quy t bài án tìm ki m mứ ả ế to ế ặt người theo mô t bả ởi sơ đồ thu t toán Hình 3ậ Sơ đồ thu t toán ng d ng ậ ứ ụtìm ki m trong cế ả hai trường hợp đầu vào là nh và trong th i gian thả ờ ực Trong quá trình tìm ki m khuôn m t, ế ặ ảnh đầu vào trước khi được đẩy vào bộ lọc Haar-Like sẽ trải qua tiền xử lý gồm thay đổi kích thước ảnh và chuyển ảnh sang màu xám

The study solves the problem of human facial research as described by the algorithm diagram in Figure 3 The algorithm diagram of the search application in both seizure cases is a picture and in real-time During the facial search, the entry photo before being pushed into the Haar-Like filter will be preprocessed including resizing the image and converting the image to gray

Hình 3: Sơ đồ thu t toán tìm ki m khuôn m t trong ậ ế ặ ảnhTheo như mô phỏng của nhóm nghiên cứu đối với một bức ảnh chứa nhiều người và có những vùng khuôn mặt không

rõ thông tin độ tương phản v i nớ ền ảnh thấp thì bước tiền x ử lý đóng vai trò vô cùng quan trọng, ảnh hưởng lớn đến kết

quả tìm kiếm thu được c a thu t toán ủ ậ Đố ới ảnh đầi v u vào có kích thước nhỏ ặc kích thước vùng ảnh chứa khuôn homặt nhỏ dưới 24 x 24 pixel chính xác k t qu c a quá trình tìm kiđộ ế ả ủ ếm bị giảm m nh, x y ra l i nh n diạ ả ỗ ậ ện Để tránh sai sót ưu tiên đưa kích thước vùng khuôn mặt lên trên 60 x 60 pixel Đây là kích thước tối thiểu mà các sai sót bắt đầu đạt ngưỡng tối thiểu Ảnh sau khi thay đổi kích thước sẽ được chuyển sang mức xám rồi đẩy vào bộ lọc Haar – Like Cascade Đối với ảnh đầu vào là ảnh xám độ chính xác của kết quả đầu ra đạt lớn nhất Kết thúc quá trình tìm kiếm vùng ảnh ch a khuôn m t sứ ặ ẽ được phân tách và khoanh vùng Đầu vào c a thu t toán có th là ủ ậ ể ảnh thông thường hoặc ảnh trong thời gian thực

According to the team's simulation of a photo that contains many people and has unknown facial areas that contrast with the low background, the preprocessing step plays a very important role, greatly affecting the search results obtained by the algorithm For small input images or image area sizes containing faces less than 24 x 24 pixels the accuracy of the results of the search is drastically reduced, an identification error occurs To avoid errors, the priority

is to increase the surface size above 60 x 60 pixels This is the minimum size at which the errors begin to reach the minimum threshold The image after resizing will be moved to gray and then pushed into the Haar - Like Cascade filter For the input image is the gray image the accuracy of the output achieves the greatest At the end of the search for the image area containing the face will be separated and zoned The input of the algorithm can be a regular photo or a photo in real-time

Đối với xử lý trong thời gian thực, nghiên cứu sử dụng webcam phân giđộ ải 1280 x 720 để thu ảnh trong thời gian thực sau đó đẩy vào thuật toán tiến hành tìm kiếm, phân tách vùng ảnh

For real-time processing, the analysis uses webcam that a has a re solution 1280 x 720 capture real-time images of to and then pushes through the algorithm that performs the searches, separating the image area

2.3 Face Recognition System

Quá trình nh n diậ ện khuôn mặt trong th i gian thờ ực phân thành ba công đoạn chính như sơ đồ Hình 4 bao g m t o và ồ ạđào tạo bộ dữ liệu, tiền xử lý ảnh đầu vào trong thời gian thực và cuối cùng là nhận diện đối tượng có trong ảnh đầu vào

The recognition process in the time implementation is divided into three main stages as shown in Figure 4, including the creation and training of the dataset, the input of the preprocessed image into the time execution, and finally the print recognition object the first image

Hình 4 Quá trình nh n di n : ậ ệ

2.2.1 Setting Data

Công đoạn đầu tiên xây dựng hệ thống nhận diện khuôn mặt là tạo và đào tạo bộ dữ liệu cứa các đối tượng cần nhận

diện trong th i gian thờ ực Bộ ữ liệ d u g m 100 nh xám ng v i mồ ả ứ ớ ột đối tượng c n nh n diầ ậ ệ n

The first step in building the facial recognition system is to create and form a data set of objects that have to be recognized in real-time The data set consists of 100 grey images corresponding to a target object

Thông qua vi c s d ng ph n m m Xệ ử ụ ầ ề ampp và webcam nhóm nghiên c u xây d ng thu t toán t o b dứ ự ậ ạ ộ ữ liệu đầu vào cho hệ thống nhận diện.Ảnh đầu vào thu nh n trong th i gian th c b ng webcam sau khi l c qua b lậ ờ ự ằ ọ ộ ọc Haar-Like s ẽchỉ giữ l i thành ph n chính c n nh n di n cạ ầ ầ ậ ệ ủa đối tượng là vùng nh ch a khuôn m t Khuôn mả ứ ặ ặt đã khoanh vùngđược trích xu t ấ dướ ạng ảnh bitmap, định dạng ảnh jpg và thêm vào b i d ộ cơ sở d u Quá trình lữ liệ ọc ảnh giúp giảm bớt các thông tin không c n thi t có trong dầ ế ữ liệu đầu vào ch d l thông tin chính ỉ ữ ại ở đây là khuôn mặ ủa đối tượng đểt cthuận ti n cho quá ệ trình đào tạo dữ liệu

Using the XAMPP software and webcam, the search team creates an algorithm to create an input dataset for the reconnaissance system The input image is acquired in real-time via webcam after filtering through the Haar-Like filter keep only the primary recognition component of the object, which is the image area containing the face The area faces are extracted in the form of bitmaps, jpg pictures and added to the database The image filtering process reduces the amount of unnecessary information in the input data Only the primary information here is the face of the object to facilitate the data formation process

Sau khi Tạo được b dộ ữ liệu ch a khuôn m t cứ ặ ủa các đối tượng c n nh n di n, hầ ậ ệ ệ thống tiến hành đào tạo b dộ ữ liệu

đầu vào Kết thúc giai đoạn, hệ thống thu được thư viện nh n diện recognizer.ymlậ Quá trình được thể hiện thông qua

sơ đồ thuật toán Hình 5

After creating a data set containing the faces of the objects to be recognized, the system conducts the formation of the input data set At the end of the stage, the system gets the library recognizer.yml The process is illustrated using the algorithm diagram from Figure 5

Hình 5: Sơ đồ giai đoạ ạo và đào tạn t o dữ liệu

được đẩy vào công đoạn nhận diện khuôn m t có trong bức ảnh Tiền xử ặ lý đưa ảnh đầu vào về ềđi u ki n thuận lệ ợi để

dễ dàng ti n hành l c vùng khuôn m t trong ế ọ ặ ảnh Giai đoạn ti n x lý không phề ử ải giai đoạn quan tr ng nh t trong c ọ ấ ả

quá trình nh n diậ ện ảnh, tuy nhiên nếu không có giai đoạn ti n x lý, hề ử ệ thống s không thẽ ể tiến hành trích xu t vùng ấ

ảnh chứa khuôn mặt đưa ra đối chiếu nhận diện với thư vi n recognizer ệ

The input image will go through a pre-processing stage including reading the pixel matrix and converting the image

to gray level before being pushed into the face recognition process in the image Pre-processing provides the input image under favorable conditions to easily filter the facial area the image The pre-processing stage is not the most of important in the whole image recognition process, but without the pre-processing stage, the system will not be able to proceed to extract the image area containing the face for recognition comparison interface with the recognizer library

sẽ tiến hành trích xu t thông tin cấ ủa đối tượng ở đây là tên của đối tượng đưa lên giao diện nh n di n c a hậ ệ ủ ệ thống

The final phase of the face recognition system in real-time consists of identifying and labeling the corresponding name

of the object

The three-step process involves extracting the image area containing the face, detecting the extracted face, and obtaining the object information from the image attached to the face area The process of implementation is based on the diagram The input image in real-time is filtered by the Viola-Jones algorithm The image area after filtering is compared with the data library trained by the system, the face is extracted in real-time after comparing with the objects

in the standard data set If the face to be recognized is in the standard data set, the system will extract the object's information here, which is the name of human and put it on the system's recognition interface a

Hình 7: Sơ đồ quá trình nh n diậ ện khuôn mặt Thuật toán Viola-Jones được ứng d ng trong c ụ ả hai công đoạn của quá trình nh n diậ ện là tạo-đào tạo b d u là nhộ ữ liệ ận diện khuôn m t Có thặ ể thấy vai trò c t y u c a thu t toán trong toán b hố ế ủ ậ ộ ệ thống được xây d ng Chính vì v y, tính ự ậchính xác và th i gian nh n di n c a hờ ậ ệ ủ ệ thống được quyết định b i thu t toán Viola-Jones ở ậ

The Viola-Jones algorithm is applied in both stages of the recognition process, training the dataset, which is face recognition It is possible to find that the essential role of the algorithm in all systems is built Therefore, the accuracy and recognition time of the system is determined by the Viola-Jones algorithm

3 Result A nd Discussion

Các số liệu sau đây cho thấy k t qu phát hiế ả ện khuôn mặ ằng cách s d ng thu t toán Viola Jones t b ử ụ ậ

The following figures show the results of facial detection using the Viola-Jones algorithm

3.1 Ảnh hưởng c a các thông sủ ố nhậ n di n: ệ

3.1 Effects of identification parameters:

Sau khi tìm hi u và phân tích v ể ề thời gian th c hiự ện việc phát hi n khuôn mệ ặt, nghiên c u ứ đi đến các trường hợp cụ thể khi phát hiện khuôn mặt với các điều kiện khác nhau Độ chính xác của phát hi n khuôn m t ệ ặ được xem là c i thi n ả ệ hơnkhi thu được bằng cách tối đa hóa sốlượng ảnh mà được s d ng làm tham chi u phù h p v i khuôn m t và hình ử ụ ế ợ ớ ặ ảnh khuôn mặt th nghiử ệm có cùng điều kiện Ngoài ra t i thạ ời điểm nh n d ng khuôn mậ ạ ặt được th c hi n b ng webcam ự ệ ằkhông nên có quá nhiều nhiễu Các ứng ụng đượ d c xây dựng ở nghiên cứu có th phát hiể ện được ngay c khi khuôn ảmặt của đối tượng có thay đổi so v i d ớ ữ liệu đầu vào c ụ thể như khi s d ng kính mử ụ ắt, điều ki n ánh sáng m , ánh sáng ệ ờkém Bảng 1dưới đây cho ta cái nhìn trực quan và bao quát về phạm vi hoạt động c a vi c phát hiủ ệ ện khuôn mặ ằng t bphương pháp Viola-Jones

Following the study and analysis, the time necessary to detect the size, the study focuses on specific cases when detecting faces with different conditions The accuracy of facial detection is seen as better when obtained by maximizing the number of photos that are used as matching references to faces and test face images with the same conditions Also during facial recognition carried out by webcam should not be too much noise The applications integrated into the study were detectable even when the subject's face changed from specific input data, such as when using glasses, low light conditions, poor lighting Table 1 below provides an intuitively comprehensive overview of the scope of facial detection using the Viola-Jones method

Xét góc nghiêng , thu t toán có th phát hi n khuôn m t v i các góc nghiêng khác nhau, khi khuôn mλ ậ ể ệ ặ ớ ặt thẳng góc và khi quay mặt đi một góc xác định nào đó, việc phát hi n khuôn m t là hoàn toàn có thệ ặ ể thực hiện được Khi khuôn mặt thẳng góc v i cameraớ , độ chính xác c a thu t toán gủ ậ ần như tuyệt đố khoải ng 99% v i tớ ốc độ phát hi n ra khuôn mệ ặt nhanh chóng ch v i 0.2 giây Khi quay mỉ ớ ặt đi một góc quá lớn khiến cho khuôn mặt không đầy đủ thông tin, khuôn mặt không được phát hiện ra n a (ữ Bảng 1) T i góc quay là 45ạ °, nhi u xu t hiễ ấ ện nhiều, vi c phát hiệ ện khuôn mặt không còn đạt độ chính xác như khi thẳng góc nữa

Considering the tilt angle λ, the algorithm can detect faces with different tilt angles, when the face is perpendicular and when the face is turned to a certain angle, face detection is completely possible When the face is perpendicular to the camera, the precision of the algorithm is nearly 99% with a rapid face detection speed of only 0.2 seconds When the face is rotated at an excessive angle, making the face incomplete, the face is no longer detected (Table 1) At a 45° angle, noise appears heavily, face detection is not as accurate as in a straight line

Xét v ề độ tối B, khuôn m t cặ ủa đối tượng được phát hi n ngay c ệ ả trong trường hợp thiếu sáng như khi chỉ có m t nguộ ồn sáng là c a s chi u ngang m t, và khi kéo rèm c a t o m t ánh sáng r t yử ổ ế ặ ử ạ ộ ấ ếu Như vậy, thu t toán phát hi n v n hoậ ệ ẫ ạt động được trong điều kiện ánh sáng không tốt

In terms of B-darkness, the subject's face is detected even in low-light cases such as when only one light source is a window that hits across the face, and when pulling the curtains creates a very weak light This means that the detection algorithm always works under poor lighting conditions

Xét v ề kích thước thực của vùng ảnh ch a khuôn m t sứ ặ , vùng ảnh chứa khuôn m t có th ặ ể được phát hiện khi kích thước không nh ỏ hơn biên 24 x 24 pixel Các sai sót qu quá trình tìm kiả ếm đạt ngưỡng t i thiố ểu khi kích thước các vùng ảnh chứa khuôn mặt đạt trên 60 x 60 pixel Trong quá trình tìm hiến ưu tiên đưa kích thước ảnh đầu vào th a mãn ỏ ngưỡng kích thước 60 x 60 pixel cho vùng ảnh chứa khuôn mặt để kết quả tìm kiếm đạt tốt nhât

In terms of the actual size of the image area containing the face s, the image area containing the face can be detected when the size is not less than the margin of 24 x 24 pixels Lookup errors reach the burning threshold when the size of the image areas containing the face exceeds 60 x 60 pixels During the search, priority is given to bringing the input image size to meet the size threshold of 60 x 60 pixels the image area containing the face to achieve the best search in results

Xét v vùng b khu t C, khuôn mề ị ấ ặt có thể được phát hi n ngay c khi b che khu t ệ ả ị ấ miễn là đường viền giống như đường

viền khuôn m t V i C<50%, thu t toán v n th c ặ ớ ậ ẫ ự hiện chính xác, tuy nhiên n u C quá l n, cế ớ ụ thể C lớn hơn khoảng 50%, khuôn mặt đối tượng b che khu t quá nhi u, dị ấ ề ẫn đến tình tr ng không phát hiạ ện được

Concerning the area of obscuration C, the face can be detected even when it is obscured as long as the contour resembles the contour of the face With C<50%, the algorithm is always accurate, but if C is too large, specifically C

is approximately 50% larger, the subject's face is too obscure, leading to the undetectable state

Mắt đóng một vai trò quan trọng để phát hiện mặt trước và mặt vì nó làm giảm khuôn mặt phát hiện dương tính giả Mặt khác, thi t kế ế được đề xuất tiêu th ít thụ ời gian hơn và phát hiện mắt chính xác như trong Bảng 1 Khi l n a mộ ử ặt phía trên ch a m t, thu t toán có th phát hi n ra khuôn mứ ắ ậ ể ệ ặt còn cũng vớ ửi n a mặt bên dưới khi không có m t, viắ ệc phát hiện khuôn mặ ảt x y ra sai sót và không phát hiện được

The eye plays an important role in detecting the front and face as it reduces the face that detects false positives Furthermore, the proposed design consumes less time and provides accurate eye detection, as shown in Table 1 When exposing the upper half of the face containing the eye, the algorithm can detect the face and also the lower half of the face when there are no eyes, the detection of the face occurs flawed and undetectable

Bảng 1: Các trường hợp phát hiện khuôn mặt

Ảnh hưởng của góc nghiêng camera:

Influence of camera angle:

Thời gian th c hi n thu t toán: Hình 8ự ệ ậ và Hình cho th y th i gian th c hi n thu 9 ấ ờ ự ệ ật toán để phát hi n khuôn m t Chúng ệ ặ

ta có th d dàng thể ễ ấy được là dù khi camera chính diện hay quay góc đều thu được k t qu r ng th i gian th c hiế ả ằ ờ ự ện việc phát hi n khuôn m t rệ ặ ất nhanh chưa tới 0.2s Trong đó có sự khác bi t rõ r t v các góc quay vệ ệ ề ới nhau, đứng đầu

về tốc độ phát hi n khuôn mệ ặt đó là trường h p v i camera chính di n v i th i gian trung bình là kho ng 0.08s, theo ợ ớ ệ ớ ờ ảsau nó là camera nghiêng góc 30° và lâu nh t là camera nghiêng góc 45° ấ thực hi n thu t toán m t kho ng 0.16sệ ậ ấ ả , tương

ứng với thời gian phát hiện tăng lên 100% Bên cạnh đó đôi khi vẫn xảy ra s thay đổi về thứ t tự ự ốc độ phát hiện như trong l n th 2 th c hi n, th i gian c a camera nghiêng góc 30° l i ng n nhầ ứ ự ệ ờ ủ ạ ắ ất, đến camera chính di n và camera nghiêng ệgóc 45° Bảng thố2 ng kê cụ thể ố lượng khuôn mặ s t phát hiện đúng và phát hiện sai theo từng trường h p c a góc ợ ủcamera

Execution time of the algorithm: Figures 8 and 9 show the time necessary to run a face detection algorithm It is simple

to see that the camera faces or rotates the corner, the result is that the time to make the facial detection is less than if 0.2 seconds There are marked differences in angles of rotation with each other, topping the speed of facial detection that is the case with the front camera with an average time of about 0.08s, followed by a 30° angle tilt camera and the longest being the 45° angle tilt camera that performs the algorithm takes about 0.16s, corresponding to the detection time increased by 100% Besides, sometimes there is a change in the order of detection speed as in the second time, the time of the camera tilting the angle of 30° is the shortest, to the front camera and the camera tilts the angle of 45° Table 2 indicates the number of sides that detect the camera angle on a case- by -case

Độ chính xác thuật toán với góc camera khác nhau: Kết thúc quá trình tìm kiếm trong th i gian thực, ảnh thu về đư c ờ ợchia thành hai loại ảnh đúng và sai như Hình 10 sau đó tiến hành th ng kê số ố lượng ảnh đúng ảnh sai minh h a bọ ởi Bảng 2 và Hình 11

Algorithm accuracy with different camera angles: At the end of the search in real-time, the resulting image is divided into two types of right and wrong photos such as Figure 10 then conducts statistics on the number of correct photos illustrated by Table 2 and Figure 11

Hình 8: Th gian tìm kiời ếm khuôn mặt trong th gian th c ời ự

Hình 9: Thời gian trung bình tìm ki ếm khuôn m t ặ

Đúng - Ảnh tìm kiếm có chứa đầy đủ khuôn m ặt

- Không b m t hay thi u m t ph n cị ấ ế ộ ầ ủa khuôn mặt

Sai - Ảnh tìm ki m sai do không chế ứa đầy đủ

khuôn mặt c n tìm ầ

- Mất m t hay nhi u ph n c khuôn m t ộ ề ầ ủ ặHình 10: Mẫu ảnh đúng nh sả ai