xây dựng hệ thống tách và nhận dạng mặt người từ camera

Giải pháp sẽ được thực hiện từ cấp độ nghiên cứu đặc tính mặt người trong video, xây dựng các giải thuật phù hợp đểphát hiện vàtách mặt người ra khỏi hậu cảnhtrên các khung hình của vide

BỘ GIÁO DỤC VÀ ĐÀO TẠO

TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT

MẶT NGƯỜI TỪ CAMERA

DANH SÁCH CÁN BỘ THAM GIA THỰC HIỆN ĐỀ TÀI

STT MSCB Họ và tên Đơn vị công tác Nội dung công việc

1 Ths Đậu

Trọng Hiển

ĐT-Viễn thông-khoa Điện-Điện tử-ĐHSPKT tpHCM

Xây dựng thuật toán

Thiết kế phần mềm

2 GVC.ThS.Trần

Tùng Giang

Kỹ Thuật Cơ Sở-khoa Điện-Điện tử-ĐHSPKT tpHCM

Nghiên cứu đặc tính mặt người

- 2 -

MỤC LỤC

DANH SÁCH CÁN BỘ THAM GIA THỰC HIỆN ĐỀ TÀI 1

DANH MỤC HÌNH 5

DANH MỤC BẢNG BIỂU 7

DANH MỤC CHỮ VIẾT TẮT 8

THÔNG TIN KẾT QUẢ NGHIÊN CỨU 9

MỞ ĐẦU 13

PHẦNI 21

CƠ SỞ LÝ THUYẾT 21

CHƯƠNG 1: TỔNG QUAN VỀ CÁC PHƯƠNG PHÁP XÁC ĐỊNH MẶT NGƯỜI 22

1.1 Các phương pháp chính để xác định mặt người: 22

1.2 Hướng tiếp cận dựa trên tri thức: 22

1.3 Hướng tiếp cận dựa trên đặc trưng không thay đổi: 24

1.4 Hướng tiếp cận dựa trên so sánh khớp mẫu: 25

1.5 Hướng tiếp cận dựa trên diện mạo: 25

CHƯƠNG 2: GIỚI THIỆU CÁC THUẬT TOÁN TÁCH VÀ NHẬN DẠNG KHUÔN MẶT 27

2.1 Các thuật toán tách khuôn mặt 27

2.1.1 Tiếp cận Boosting 27

2.1.2 Adaboost 28

2.1.3 Các đặc trưng Haar-Like 32

2.1.4 Cascade of Classifiers 35

2.1.5 Cascade of boosting classifiers 37

2.2 Các thuật toán nhận dạng khuôn mặt 38

2.2.1 PCA: 38

2.2.2 Adaboost 39

2.2.3 Mạng Neural 40

2.2.4 Support Vector Machine 40

2.2.5 Thuật toán Mô hình Markov ẩn (HMM) 41

2.2.6 Phân loại Bayes 41

PHẦNII 43

THIẾT KẾ PHẦN MỀM VÀ THỬ NGHIỆM 43

CHƯƠNG 3: THIẾT KẾ HỆ THỐNG TÁCH VÀ NHẬN DẠNG KHUÔN MẶT TỪ CAMERA 44

3.1 Giới thiệu 44

3.2 Thuật toán đề nghị 45

3.2.1 Tách Frame 46

3.2.2 Phát hiện và tách khuôn mặt(Haar-Like) 46

3.2.3 Tiền xử lý 46

- 4 -

3.2.4 Trích đặc trƣng(PCA) 46

3.2.5 Huấn luyện mạng nơ ron 48

3.4 Kết quả thử nghiệm 51

PHẦNIII 52

KẾT LUẬN VÀ KIẾN NGHỊ 52

Tài liệu tham khảo 54

Phụ lục 55

DANH MỤC HÌNH

Hình 1.1: Phương pháp xác định khuôn mặt điển theo hướng tiếp cận top-down 23

Hình 1.2 Phương pháp chiếu: 24

Hình 2.1: Boosting 28

Hình 2.2: 4 đặc trưng Haar-like cơ bản 32

Hình 2.3: Các đặc trưng mở rộng của các đặc trưng Haar-like cơ sở 33

Hình 2.4: Cách tính Integral Image của ảnh 34

Hình 2.5: Ví dụ cách tính nhanh tổng các điểm ảnh của vùng D trên ảnh 34

Hình 2.6: Ví dụ cách tính nhanh tổng điểm ảnh của vùng D trên ảnh với các đặc trưng xoay 45 o 34

Hình 2.7: cascade of classifiers 36

Hình 2.8: Cascade of boosting classifiers 37

Hình 3.1:Các bước chính trong một hệ thống nhận dạng mặt người 44

Hình 3.2: Sơ đồ huấn luyện mạng và nhận dạng khuôn mặt trong video 45

Hình 3.3:Tách khuôn mặt dùng Haar-Like 46

Hình 3.4: Ảnh các khuôn mặt và ảnh trung bình 47

Hình 3.5: Kiến trúc mạng nơ ron 48

Hình 3.6: Tổng sai số bình phương trong quá trình luyện tại chu kỳ thứ 362 48

Hình 3.7: Quá trình huấn luyện 49

- 6 -

Hình 3.8: Giao diện phần mềm 49Hình 3.9: Kiểm tra thuật toán tách khuôn mặt 50Hình 3.10: Giao diện nhận dạng khuôn mặt trong luồng video 50

DANH MỤC BẢNG BIỂU

Bảng 3.1: Kết quả thử nghiệm 51

- 8 -

DANH MỤC CHỮ VIẾT TẮT

SVM : Super Vector Machine

PCA :Principal component analysis

HMM :Hidden Markov Model

ANN : Artificial Neural network

BỘ GIÁO DỤC VÀĐÀO TẠO

TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT TP HỒ CHÍ MINH

THÔNG TIN KẾT QUẢ NGHIÊN CỨU

I Thông tin chung:

1 Tên đề tài: Xây dựng hệ thống tách và nhận dạng mặt người từ camera

 Mã số: T2011-02TĐ

 Chủ nhiệm: ThS.Đậu Trọng Hiển

 Cơ quan chủ trì: Trường Đại học Sư Phạm Kỹ Thuật TP Hồ Chí Minh

 Thời gian thực hiện:4/2011 – 12/2011

2 Mục tiêu:

Thiết kế, xây dựng phần mềm tách và nhận dạng mặt người trong video từ cameara Giải pháp sẽ được thực hiện từ cấp độ nghiên cứu đặc tính mặt người trong video, xây dựng các giải thuật phù hợp đểphát hiện vàtách mặt người ra khỏi hậu cảnhtrên các khung hình của video từđó dùng các phương pháp nhận dạng kết hợp tiền xử lýảnh để nhận dạng

3 Tính mới và sáng tạo:

So với việc nhận dạngảnh truyền thống thì việc nhận dạngảnh dựa trên video có thể cải thiện được độ chính xác cũng như sựổn định vì có nhiều thông tin hơn Tuy nhiên việc nhận dạngảnh qua video cũng có rất nhiều khó khăn vì sự thay đổi trong

tỉ lệ hình rất lớn, chất lượng ảnh rất thấp, sự thay đổi về độ chói, các tư thế của khuôn mặt cũng như độ bị che phủ của khuôn mặt

Chính vì vậy đề tàikết hợp các giải thuật tiền xử lýảnh để nâng cao chất lượng ảnh trong video và chuẩn hóa khuôn mặt phát hiện được Ngoài ra đề tài cũng kết hợp lai các phương pháp nhận dạngcũng như dựa trên thông tin của nhiều khung hình liên tiếp để cho ra kết quả chính xác hơn

- 10 -

4 Kết quả nghiên cứu:

Xây dựng mô ̣t modul phần mềm tách và nhận dạng mặt người trong video để tích hợp vào trong các bộ phần mềm quản lý vào ra, bộ phần mềm an ninh, bộ phần mềm tìm kiếm tội phạm…Modul phần mềm này còn là mẫu để sinh viên tham khảo phương phápáp dụng các thuật toán về xử lý, tách, nhận dạngảnh, xử lý video vào trong bài toán thực tế

5 Sản phẩm:

- Thiết bị camera vàđĩa CD phần mềm nhận dạng mặt người

- Sản phẩm đào tạo: 2 SV làm Luận văn tốt nghiệp

- 01 bài báo khoa học: đăng tạp chí Khoa học và công nghệ trường Đại học Sư

INFORMATION ON RESEARCH RESULTS

1 General information:

- Project title: Design avideo-based face detection and recognition system

- Code number: T2011-03TĐ

- Coordinator: Dau Trong Hien

- Implementing institution: University of Technical Education Ho Chi Minh City

3 Creativeness and innovativeness:

Compared to traditional face analysis,video based face recognition has advantages

of more abundant information to improve accuracy and robustness, but also suffers from large scale variations, low quality of facial images, illumination changes, pose variations and occlusions So that in this research we use preprocessing to improve image quality and normalize the detected face We also use hybrid recognition algorithms and use multiframe for better performance

- A camera equipment withvideo based recognition programs CD

- Education result: 2 student‟s graduate thesis

- 12 -

- 01 Scientific paper: Design a video-based face detection and recognition system

6 Effects, transfer alternatives of research results and applicability:

The research results might be applied at technical universities and information technology - telecommunications training centres It also isa sample about computer vision system

MỞ ĐẦU

Ngày nay cùng với sự bùng nổ thông tin, sự phát triển công nghệ cao, sự giao tiếp giữa con người và máy tính đang thay đổi rất nhanh, giờ đây giao tiếp này không còn đơn thuần dùng những thiết bị cơ học như chuột, bàn phím… mà có thể thông qua các biểu hiện của khuôn mặt Bên cạnh đó, công nghệ càng phát triển thì giá cả ngày càng giảm, thêm vào đó tốc độ xử lý của máy tính ngày càng cao, do đó hệ thống xử lí khuôn mặt đang được phát triển rất nhiều

Trong số đó, có thể nói đến hệ thống phát hiện và nhận dạng khuôn mặt, hệ thống này có thể giúp máy tính và con người giao tiếp với nhau tốt hơn Những nghiên cứutrong hệ thống này chủ yếu dựa trên những thông tin trong ảnh để phát hiện vị trí khuôn mặt, tách khuôn mặt ra khỏi hậu cảnh, nhận dạng khuôn mặt đã tách.Rất nhiều nghiên cứu và ứng dụng được phát triển dựa trên hệ thống này Tuy nhiên, đây cũng là một thử thách rất lớn bởi phát hiện và nhận dạngđược khuôn mặt còn dựa vào nhiều yếu tố như tỉ lệ, vị trí, hướng nhìn (từ trên xuống, quay,…), kiểu chụp (chụp đối diện, chụp ngang,…) Ngoài ra, những cảm xúc của khuôn mặt, một

số phần bị che, hoặc hướng ánh sáng cũng ảnh hưởng đến bài toán phát hiện khuôn mặt

Bài toán tìm, phát hiện và nhận dạng mặt người hiện đang là vấn đề thách thức trong những nghiên cứu gần đây.Nhận dạng mặt người rất được quan tâm so với các nhận dạng sinh học khác vì bản chất nhận dạng không cần tiếp xúc( no human touch)

Một số ứng dụng của hệ thống nhận dạng mặt người trong video:

 Hệ thống quản lý thời gian làm việc (Time Attendance System)

o Quản lý nhân sự và chấm công dễ dàng

o Tiết kiệm chi phí

o Không tiếp xúc với các bộ phận trên người

 Hệ thống quản lý an ninh đóng mở cửa(Access Control System)

 Hệ thống quản lý khách viếng thăm(Visitor Management System)

o Thống kê được lượng khách

`Mở đầu - 14 -

o Lập hồ sơ số lần viếng thăm của khách

o Báo động khi có khách trong danh sách đen của doanh nghiệp

o Giám sát và phát hiện nạn nhân 24/24

Tình hình nghiên cứu trong và ngoài nước:

Ngoài nước:

Đã có nhiều công trình nghiên cứu việc nhận dạng khuôn mặt bằng các mô hình toán khác nhau Tuy nhiên kết quả thu được vẫn chưa có độ chính xác cao Các công trình nghiên cứu sâu về thuật toánvẫn tiếp tục được tìm tòi nhằm nâng cao độ chính xác của hệ thống nhận dạng Sau đây là một số công trình nghiên cứu về nhận dạng mặt người trong những năm gần đây:

A Novel Subspace Method for Face Recognition

2010 International Conference on Communications and Intelligence Information Security By Yusheng Lin , Guang Li

Issue Date:October 2010 pp 275-278

Hardware-Based Speed Up of Face Recognition Towards Real-Time

Performance

2010 13th Euromicro Conference on Digital System Design: Architectures,

Methods and ToolsBy I Sajid , Sotirios G Ziavras , M.M Ahmed

Two-dimensional Exponential Discriminant Analysis and its Application to Face Recognition

2010 International Conference on Computational Aspects of Social NetworksBy Lijun Yan , Jeng-Shyang Pan

Issue Date:September 2010 pp 528-531

Face Recognition Based on Mixed between Selected Feature by Multiwavelet and Particle Swarm Optimization

2010 Developments in E-systems Engineering

By Adil Abdulwahhab Ghidan Azzawi , Muneera Abed Hmdi Al-Saedi

Máy chấm công: nhận diện khuôn mặt từ video nhưng từng ngườiđơn lẻ

Đóng mở cửa tự động: cũng nhận dạng từng khuôn mặt đơn lẻ trong video

Hệ thống quản lý khách viếng thăm

Phát hiện khuôn mặt trong máyảnh

Truy nhập máy tính dùng khuôn mặt

`Mở đầu - 16 -

Nhận xét về các sản phẩm thương mại: về phần phát hiện khuôn mặt cho độ chính xác tương đối cao Về phần nhận dạng khuôn mặt chỉ có thể nhận dạng cho từng ngườiđơn lẻ và phải quay khuôn mặt chính diện vào máy quay

Trong nước: Các công trình trong nước chủ yếu là nghiên cứu về lý thuyết và khai

thác các hướng khác nhau trong mô hình toán học để cải thiện hiệu quả của việc nhận dạng Sau đây là một số công trình tiêu biểu:

Nghiên cứu phương pháp tra cứu ảnh dựa trên nội dung

Mã số: CSCL‟03.02

Cấp quản lý: Viện Công nghệ thông tin

Chủ nhiệm: PGS TS Ngô Quốc Tạo

Tóm tắt những kết quả chính:

Nghiên cứu các phương pháp nâng cao chất lượng ảnh, phương pháp tách cạnh, phương pháp phân đoạn, phương pháp biến hình, tổng quan về phương pháp tra cứu ảnh theo nội dung, phương pháp phát hiện khuôn mặt người trong ảnh

Nghiên cứu thiết kế thuật toán nhận dạng khuôn mặt dựa trên mạng nơ ron

Đậu Trọng Hiển Tạp chí khoa học kỹ thuật 2010

Tóm tắt: nhận dạngđạt độ chính xác trên 98% tuy nhiên tốc độ bị giới hạn nếu số lượng mẫu nhận dạng lớn, góc quay khuôn mặt không quá 10 độ

Tổng quan các phương pháp xác định khuôn mặt người

Phạm Thế Bảo, Nguyễn Thành Nhựt, Cao Minh Thịnh, Trần Anh Tuấn, Phan Phúc Doãn,TCBCVT2007

Tóm tắt: tổng hợp các phương pháp phát hiện khuôn mặt người trong ảnh

Nghiên cứu, phát triển phương pháp phát hiện và bám đối tượng xác định

Nguyễn Thiện Minh Luận văn Thạc sĩ Công nghệ thông tin, ĐH CNTT, 2007 Tóm tắt: dùng phương pháp Adaboost để phát hiện và bám đối tượng xác định

Điều khiển camera bám mặt người

Lý Đa Tạo, , Luận văn Thạc sĩ, ĐH BK TP.HCM

Tóm tắt: sử dụng phương pháp PCA để phát hiện đối tượng

Tính cấp thiết

Việc tìm kiếm và nhận dạng mặt người có rất nhiều ứng dụng trong dân sự và an ninh Các đề tài và thuật toán tách và nhận dạng mặt người trong ảnh vẫn đang được nghiên cứu cải tiến để đạt được độ chính xác cao hơn Hiện nay việc sử dụng camera theo dõi tại các cửa hàng, siêu thị và các công ty và một số khu vực công cộng đã trở nên phổ biến chính vì vậy việc tìm kiếm người trong video mang lại rất nhiều lợi ích trong lĩnh vực an ninh và cứu hộ.

Mục tiêu đề tài

Thiết kế, xây dựng modul phần mềm tách và nhận dạng mặt người trong video từ cameara.Hệ thống sẽ nhận video từ camera đưa về và phân đoạn thành từng khuôn hình sau đó phát hiện khuôn mặt trong các khung hình và tách ra Khuôn mặt sau khi được tách sẽ qua khâu tiền xử lý để nâng cao chất lượng ảnh và sau đó được chuẩn hóa về kích thước chuẩn cho trước Giai đoạn kế tiếp là sẽ qua khâu PCA để trích đặc trưng của khuôn mặt để làm ngõ vào cho mạng nơ ron nhận dạng khuôn mặt Modul nhận dạng này có thể tích hợp vào hệ thống chấm công và tính lương,

hệ thống an ninh, hệ thống quản lý vào ra…

Cách tiếp cận, phương pháp nghiên cứu, phạm vi nghiên cứu:

- Cách tiếp cận: Nghiên cứu tổng quan các khâu tiền xử lýảnh, khâu phát hiện

và tách khuôn mặt, khâu nhận dạng Nghiên cứu các chuẩn video vàđặc tính camera để chọn thông số phù hợp cho việc nhận dạng Giải pháp thực hiện

từ cấp độ tự thiết kế module phần mềm để đạt được sự tối ưu cao nhất và hoàn toàn chủ động khi ứng dụng rộng rãi

- Phương pháp nghiên cứu : Nghiên cứu tài liệu, chạy mô phỏng thuật toán, Xây dựng phần mềm, Thử nghiệm đánh giá độ chính xác

`Mở đầu - 18 -

- Phạm vi nghiên cứu: Nghiên cứu các công trình liên quan trong nước Nghiên cứu các công trình liên quan trên thế giới, Nghiên cứu xây dựng phần mềm và thiết kế hệ thống nhận dạng hoàn chỉnh

Nội dung nghiên cứu :

 Nghiên cứu đặc trưng mặt người

 Nghiên cứu các phương pháp trích đặc trưng khuôn mặt và xây dựng thuật toán

 Nghiên cứu các phương pháp tách ảnh khuôn mặt và xây dựng thuật toán

 Nghiên cứu các phương pháp nhận dạng khuôn mặt và xây dựng thuật toán

 Thiết kế và viết phần mềm tìm và nhận dạng mặt người

Nội dung báo cáo có cấu trúc như sau:

Phần I: Cơ sở lý thuyết

Phần II: Thiết kế phần mềm và thử nghiệm

Phần III: Tổng kết

PHẦNI

CƠ SỞ LÝ THUYẾT

Chương 1: Tổng quan về các phương pháp xác định mặt người - 22 -

CHƯƠNG 1: TỔNG QUAN VỀ CÁC PHƯƠNG PHÁP XÁCĐỊNHMẶT NGƯỜI

1.1 Các phương pháp chính để xácđịnh mặt người:

Dựa vào tính chất của các phương pháp xác định mặt người trên ảnh, các phương pháp này được chia thành bốn loại chính, tương ứng với bốn hướng tiếp cận khác nhau Ngoài ra cũng có rất nhiều nghiên cứu mà phương pháp xác định mặt người không chỉ dựa vào một hướng mà có liên quan đến nhiều hướng

 Hướng tiếp cận dựa trên tri thức: Dựa vào các thuật toán, mã hóa các đặc trưng và quan hệ giữa các đặc trưng của khuôn mặt thành các luật Đây là hướng tiếp cận theo kiểu top-down

 Hướng tiếp cận dựa trên đặc trưng không thay đổi: Xây dựng các thuật toán

để tìm các đặc trưng của khuôn mặt mà các đặc trưng này không thay đổi khi tư thế khuôn mặt hay vị trí đặt camera thay đổi

 Hướng tiếp cận dựa trên so sánh khớp mẫu: Dùng các mẫu chuẩn của khuôn mặt (các mẫu này đã được chọn và lưu trữ) để mô tả các khuôn mặt hay các đặc trưng của khuôn mặt (các mẫu này được chọn tách biệt theo tiêu chuẩn

đã được các tác giả đề ra để so sánh) Phương pháp này có thể dùng để xác định vị trí hay dò tìm khuôn mặt trên ảnh

Hướng tiếp cận dựa trên diện mạo: Trái ngược với hướng tiếp cận dựa trên khuôn mẫu, các mô hình (hay các mẫu) sẽ được học từ một tập ảnh huấn luyện mà thể hiện tính chất tiêu biểu của sự xuất hiện của mặt người trong ảnh Sau đó hệ thống (mô hình) sẽ xác định mặt người Phương pháp này còn được biết đến với tên gọi tiếp cận theo các phương pháp học máy

1.2 Hướng tiếp cận dựa trên tri thức:

1.2.1 Ý tưởng

Trong hướng tiếp cận này, các phương pháp xác định mặt người được xây dựng dựa vào các luật, các luật này phụ thuộc vào tri thức của các tác giả nghiên cứu về bài toán xác định khuôn mặt Dễ dàng xây dựng các luật cơ bản để mô tả các đặc trưng của khuôn mặt và các quan hệ tương ứng Ví dụ, một khuôn mặt thường

có hai mắt đối xứng qua trục thẳng đứng giữa khuôn mặt và có một mũi một miệng Các quan hệ đặc trưng có thể là quan hệ về vị trí và khoảng cách tương đối Khó khăn của hướng tiếp cận này đó là làm thế nào để chuyển các tri thức của con người

về khuôn mặt sang các luật cho máy tính một cách hiệu quả Nếu các luật này quá chi tiết, chặt chẽ thì sẽ có thể xác định thiếu các khuôn mặt có trong ảnh, nhưng nếu các luật quá tổng quát thì sẽ dẫn đến xác định sai khu vực không phải là khuôn mặt thành khuôn mặt Ngoài ra cũng khó để mở rộng phạm vi của bải toán để xác định các khuôn mặt có nhiều tư thế khác nhau

1.2.2 Các nghiên cứu

Có nhiều cách để xây dựng chương trình xác định mặt người theo hướng tiếp cận dựa trên tri thức Thông thường chương trình sẽ được xây dựng theo hướng dựa vào một phương pháp nào đấy chọn ra các ứng viên trong bức ảnh trước, sau đó sẽ

áp dụng các luật để xác định ứng viên nào là khuôn mặt, ứng viên nào không phải là khuôn mặt Quá trình này có thể được áp dụng nhiều lần để giảm sai sót

Hình 1.1: Phương pháp xác định khuôn mặt điển theo hướng tiếp cận top-down

Yang và Huang đã sử dụng hướng tiếp cận dựa trên tri thức để xác định khuôn mặt [1] Hệ thống của hai tác giả bao gồm ba mức luật Đầu tiên các ông sử dụng một khung cửa sổ để quét trên bức ảnh và thông qua một số tập luật để xác định các ứng viên có thể là mặt người, ví dụ như tìm phần trung tâm của khuôn mặt (phần tối hơn trong hình 1.1) Tiếp theo, dùng một tập luật để mô tả tổng quát hình dáng khuôn mặt, lọc các ứng viên ở mức một thành một tập các ứng viên mới có xác xuất

là khuôn mặt cao hơn Cuối cùng, các ông lại dùng một tập luật khác để xem xét ở mức chi tiết các đặc trưng khuôn mặt ( có thể là đặc trưng về mắt, mũi, miệng … ),

từ đó lọc ra các ứng viên chính xác nhất Có thể nói cách làm của hai ông là một cách làm mịn dần để đạt được kết quả tốt nhất, mặc dù tỷ lệ chính xác chưa cao, nhưng đây là tiền đề cho nhiều nghiên cứu sau này

Chương 1: Tổng quan về các phương pháp xác định mặt người - 24 -

Có rất nhiều công trình nghiên cứu sử dụng phương pháp chiếu để xác định khuôn mặt Kotropoulos và Pitas đưa ra một phương pháp gần tương tự với Yang và Huang Đầu tiên, các vùng của khuôn mặt được định vị bởi phương pháp chiếu (đã được Kanade sử dụng thành công) để xác định biên của khuôn mặt Với I(x,y) là giá trị xám của một điểm trong ảnh có kích thước m x n ở tại vị trí (x,y), các hàm để chiếu ảnh theo phương ngang và thẳng đứng được định nghĩa như sau: HI(x) = 𝐼(𝑥, 𝑦)

𝑛

𝑦=1 và VI(y) = 𝑚𝑥=1𝐼(𝑥, 𝑦) Dựa trên biểu đồ hình chiếu ngang, khi xét biểu đồ biến thiên của HI hai ông tìm được hai cực tiểu địa phương tương ứng với hai đỉnh đầu bên trái và bên phải của khuôn mặt Còn theo hình chiếu dọc, xét biến thiên và tìm cực tiểu địa phương của VI cũng cho ta các vị trí của miệng, đỉnh mũi

và hai mắt Các đặc trưng này đủ để xác định khuôn mặt Hình 2.a cho một ví dụ về cách xác định như trên Cách xác định này có tỷ lệ xác định chính xác là 86.5% cho trường hợp chỉ có một khuôn mặt thẳng trong ảnh và hình nền không phức tạp Nếu hình nền phức tạp như hình 2.b thì rất khó tìm Còn nếu ảnh có nhiều khuôn mặt (hình 1.2.c) thì sẽ không xác định được

Hình 1.2 Phương pháp chiếu:

(a) Ảnh chỉ có một khuôn mặt và hình nền đơn giản;

(b) Ảnh chỉ có một khuôn mặt và hình nền phức tạp;

(c) Ảnh có nhiều khuôn mặt

1.3 Hướng tiếp cận dựa trên đặc trưng không thay đổi:

Tiếp cận dựa trên các đặc trưng không thay đổi là tiếp cận theo kiểu bottom

up Dựa trên thực tế, chúng ta cố gắng tìm ra những đặc điểm không thay đổi khi của khuôn mặt khi ở các tư thế khác nhau và các điều kiện môi trường như ánh sáng khác nhau Đã có rất nhiều nghiên cứu về hướng tiếp cận này, các đặc điểm không thay đổi được tìm thấy như lông mày, mắt, mũi, miệng hay các đường viền trên tóc… Trên cơ sở các đặc trưng này, các nhà nghiên cứu xây dựng lên một mô hình thống kê mô tả quan hệ của các đặc trưng và từ đó xác định sự xuất hiện của khuôn mặt trong bức ảnh Khó khăn của hướng tiếp cận này đó là phải mô tả các đặc trưng

không thay đổi và quan hệ giữa chúng phù hợp với điều kiện ánh sáng, độ nhiễu hay

bị che khuất

1.4 Hướng tiếp cận dựa trên so sánh khớp mẫu:

Trong hướng tiếp cận dựa trên so sánh khớp mẫu, các mẫu chuẩn của khuôn mặt (thường là khuôn mặt được chụp thẳng) sẽ được xác định trước hoặc được biểu diễn thành một hàm với các tham số cụ thể Từ một ảnh đưa vào, tính các giá trị tương quan so với các mẫu chuẩn về đường viền khuôn mặt, mắt, mũi và miệng Thông qua các giá trị tương quan này mà hệ thống sẽ quyết định có hay không có tồn tại khuôn mặt trong ảnh Hướng tiếp cận này có lợi thế là rất dễ cài đặt, nhưng không hiệu quả khi tỷ lệ, tư thế, và hình dáng thay đổi

1.5 Hướng tiếp cận dựa trên diện mạo:

Trái ngược với hướng tiếp cận dựa trên so sánh khớp mẫu (các mẫu đã được các nhà nghiên cứu định nghĩa trước), các mẫu trong hướng tiếp cận này được học

từ một tập ảnh mẫu Có thể nói hướng tiếp cận dựa trên diện mạo áp dụng các kỹ thuật theo hướng xác suất thống kê và học máy để tìm những đặc tính liên quan của khuôn mặt và không phải là khuôn mặt Các đặc tính đã được học ở trong hình thái các mô hình phân bố hay các tham số của một hàm số nên có thể dùng các đặc tính này để xác định khuôn mặt người Đồng thời, bài toán giảm số chiều thường được quan tâm để tăng hiệu quả tính toán cũng như hiệu quả xác định

Trong hướng tiếp cận này, phương pháp xác xuất tiếp tục được nhiều nhà nghiên cứu sử dụng Một bức ảnh hoặc một vector (đặc trưng cho bức ảnh) được xem như một biến ngẫu nhiên Biến ngẫu nhiên này sẽ được xác định là có mô tả các đặc tính của khuôn mặt hay không thông qua các xác xuất có điều kiện p(x/face)

và p(x/nonface) Có thể dùng bộ phân loại Bayesian để phân loại các ứng viên là khuôn mặt hay không phải khuôn mặt Tuy nhiên, việc cài đặt bộ phân loại Bayesian với số chiều x lớn là một điều khá khó khăn, do đó có rất nhiều nghiên cứu theo hướng tiếp cận này quan tâm tới việc tham số hóa hay không tham số các xác xuất p(x/face) và p(x/nonface)

Một cách tiếp cận khác trong hướng tiếp cận dựa trên diện mạo là tìm một hàm biệt số ví dụ như các hàm mô tả mặt phẳng hay siêu phẳng quyết định (các ranh giới) để phân biệt hai lớp khuôn mặt và không phải khuôn mặt Thông thường, một bức ảnh được chiếu vào không gian có số chiều ít hơn rồi sau đó dùng một hàm biệt

Chương 1: Tổng quan về các phương pháp xác định mặt người - 26 -

số (dựa trên các độ đo khoảng cách) để phân loại hoặc xây dựng một mặt quyết định phi tuyến bằng mạng neural đa tầng Ngoài ra có thể dùng SVM và các phương thức kernel chiếu các mẫu vào không gian có số chiều cao hơn để dữ liệu bị rời rạc hoàn toàn và từ đó có thể sử dụng mặt phẳng phân loại để phân loại các mẫu là khuôn mặt hay không phải là khuôn mặt[2]

CHƯƠNG 2: GIỚI THIỆU CÁC THUẬT TOÁN TÁCH VÀ NHẬN

DẠNG KHUÔN MẶT

Dựa vào các phương pháp xácđịnh khuôn mặt trong chương 1 đã có nhiều công trình nghiên cứu đểáp dụng vào việc tách khuôn mặt cũng như nhận dạng khuôn mặt Sau đây là một số thuật toán tiêu biểu đượcứng dụng rộng rãi trong một số sản phẩm thương mại

2.1 Các thuật toán tách khuôn mặt

Học theo adaboost là một cách trong hướng tiếp cận dựa trên diện mạo, Viola

và Jones dùng AdaBoost kết hợp cascade để xác định khuôn mặt người [3] với các đặc trưng dạng Haar wavelet-like Tốc độ xử lý khá nhanh và tỷ lệ chính xác hơn 80% trên ảnh xám

Thuật toán học máy Adaboost được phát triển thuật toán boosting, do đó ta sẽ nghiên cứu sơ lượcvề thuật toán boosting trước khi vào adaboost

2.1.1 Tiếp cận Boosting

Về lịch sử, boosting bắt nguồn từ câu hỏi nổi tiếng được đưa ra bời Kearns

vào năm 1989 : “Liệu có thể tạo ra một strong classifiertừ một tập các bộ phân loại

yếu?” Năm 1990, Robert Schapire đưa ra thuật toán boosting đầu tiên, tiếp đến

năm 1993 thì nó được Drucker, Schapire và Simard kiểm nghiệm trong trong các

chương trình nhận dạng ( OCR application ) Freund đã tiếp tục các nghiên cứu của

Schaprire, và đến năm 1995 thì ông cùng với Schapire phát triển boosting thành adaboost

Như vậy, nguyên lý cơ bản của boosting là sự kết hợp các weak classifiers thành một strong classifier Trong đó, weak classifier là các bộ phân loại đơn giản

chỉ cần có độ chính xác trên 50% Bằng cách này, chúng ta nói bộ phân loại đã được

“boost”

Để hiểu cách hoạt động của thuật toán boosting, ta xét một bài toán phân loại

2 lớp (mẫu cần nhận dạng chỉ thuộc một trong hai lớp) với D là tập huấn luyện gồm

có n mẫu Trước tiên, chúng ta sẽ chọn ngẫu nhiên ra n1 mẫu từ tập D (n1<n) để tạo tập D1 Sau đó, chúng ta sẽ xây dựng weak classifier đầu tiên C1 từ tập D1 Tiếp theo, chúng ta xây dựng tập D2 để huấn luyện bộ phân loại C2 D2 sẽ được xây dựng sao cho một nửa số mẫu của nó được phân loại đúng bởi C1 và nửa còn lại bị

Chương 2: Giới thiệu các thuật toán tách và nhận dạng khuôn mặt - 28 -

phân loại sai bởi C1 Bằng cách này, D2 chứa đựng những thông tin bổ sung cho

C1 Bây giờ chúng ta sẽ xây huấn luyện C2 từ D2

Tiếp theo, chúng ta sẽ xây dựng tập D3 từ những mẫu không được phân loại tốt bởi sự kết hợp giữa C1 và C2: những mẫu còn lại trong D mà C1 và C2 cho kết quả khác nhau Như vậy, D3 sẽ gồm những mẫu mà C1 và C2 hoạt động không hiệu quả Sau cùng, chúng ta sẽ huấn luyện bộ phân loại C3 từ D3

Bây giờ chúng ta đã có một strong classifier: sự kết hợp C1, C2 và C3 Khi

tiến hành nhận dạng một mẫu X, kết quả sẽ được quyết định bởi sự thỏa thuận của 3

bộ C1, C2 và C3: Nếu cả C1 và C2 đều phân X vào cùng một lớp thì lớp này chính

là kết quả phân loại của X; ngược lại, nếu C1 và C2 phân X vào 2 lớp khác nhau, C3

sẽ quyết định X thuộc về lớp nào

Hình 2.1: Boosting

2.1.2 Adaboost

Như đã biết, AdaBoost ( Adaptive Boost ) là một bộ phân loại mạnh phi tuyến

phức dựa trên hướng tiếp cận boosting được Freund và Schapire đưa ra vào năm

1995 Adaboost hoạt động trên nguyên tắc kết hợp tuyến tính các weak classifier dựa trên các đặc trưng Haar- Line để hình thành một strong classifier

Để có thể kết hợp các bộ phân loại yếu, adaboost sử dụng một trọng số (weight) để đánh dấu các mẫu khó nhận dạng Trong quá trình huấn luyện, cứ mỗi