Nhận dạng khuôn mặt người bằng trích chọn đặc trưng PCA

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC NHA TRANG KHOA CÔNG NGHỆ THÔNG TIN BÁO CÁO ĐỒ ÁN MÔN HỌC ĐỀ TÀI PHÁT HIỆN KHUÔN MẶT NGƯỜI Giảng viên hướng dẫn Tiến Sỹ Đinh Đồng Lưỡng Sinh viên thực hiện Nguyễn Duy Hoà Phạm Đình Thông Nguyễn Văn Phi Nguyễn Văn Trâm Nguyễn Hữu Tân Trần Ngọc Sơn Ngô Minh Hiếu Khánh Hòa – 2021 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC NHA TRANG KHOA CÔNG NGHỆ THÔNG TIN BÁO CÁO ĐỒ ÁN MÔN HỌC ĐỀ TÀI PHÁT HIỆN KHUÔN MẶT NGƯỜI Giảng viên hướng dẫn Tiến Sỹ Đinh Đồng Lưỡng Sinh viên th.

BỘ GIÁO DỤC VÀ ĐÀO TẠO

TRƯỜNG ĐẠI HỌC NHA TRANG

KHOA CÔNG NGHỆ THÔNG TIN

BÁO CÁO ĐỒ ÁN MÔN HỌC

ĐỀ TÀI: PHÁT HIỆN KHUÔN MẶT NGƯỜI

Giảng viên hướng dẫn: Tiến Sỹ Đinh Đồng Lưỡng Sinh viên thực hiện: Nguyễn Duy Hoà

Phạm Đình Thông Nguyễn Văn Phi Nguyễn Văn Trâm Nguyễn Hữu Tân Trần Ngọc Sơn Ngô Minh Hiếu

Khánh Hòa – 2021

BỘ GIÁO DỤC VÀ ĐÀO TẠO

TRƯỜNG ĐẠI HỌC NHA TRANG

KHOA CÔNG NGHỆ THÔNG TIN

BÁO CÁO ĐỒ ÁN MÔN HỌC

ĐỀ TÀI: PHÁT HIỆN KHUÔN MẶT NGƯỜI

Giảng viên hướng dẫn: Tiến Sỹ Đinh Đồng Lưỡng Sinh viên thực hiện: Nguyễn Duy Hoà

Phạm Đình Thông Nguyễn Văn Phi Nguyễn Văn Trâm Nguyễn Hữu Tân Trần Ngọc Sơn Ngô Minh Hiếu

Khánh Hòa – 2021

MỤC LỤC

DANH MỤC CÁC KÝ HIỆU, CÁC CHỮ VIẾT TẮT

ATM Automatic Teller Machine

EBGM Elastic Bunch Graph MatchingLDA Linear Discriminate AnalysisMSL Multilinear Subspace Learning PCA Principal Component AnalysisPDM Point Distribution Model SVM Support Vector Machine

DANH MỤC CÁC HÌNH

DANH MỤC CÁC BẢNG

LỜI CẢM ƠN

Trên thực tế không có sự thành công nào mà không gắn liền với những sự hỗ trợ, sựgiúp đỡ dù ít hay nhiều, dù là trực tiếp hay gián tiếp của người khác Trong suốt thờigian từ khi bắt đầu học tập, chúng em đã nhận được rất nhiều sự quan tâm, giúp đỡcủa Thầy Đinh Đồng Lưỡng và bạn bè

Chúng em xin chân thành gửi lời cảm ơn sâu sắc tới thầy Đinh Đồng Lưỡng đã tậntình giảng dạy và truyền đạt cho chúng em những kiến thức, kinh nghiệm quý báutrong suốt thời gian học tập và rèn luyện

Sau cùng, chúng em xin kính chúc các thầy cô trong Khoa Công Nghệ Thông Tindồi dào sức khỏe, niềm tin để tiếp tục thực hiện sứ mệnh của mình là truyền đạtkiến thức cho thế hệ mai sau

Chúng em xin chân thành cảm ơn

BẢNG ĐÁNH GIÁ NHÓM

Nguyễn Duy Hoà 61130318 Tìm thuật toán, làm

word, làm powerpoint,

tổ chức công việc, làm chương trình Phạm Đình Thông 61131158 Tìm demo, thuyết trình,

làm chương trình, lập kế hoạch công việc Nguyễn Văn Phi 61134168 Tìm tổng quan, thuyết

trình, đóng góp ý kiến Ngô Minh Hiếu 61133637 Thuyết trình Nguyễn Hữu Tân 61134319 Thuyết trình, đóng góp ý

kiến Nguyễn Văn Trâm 61131314 Tìm ưu nhược điểm,

thuyết trình, đóng góp ý kiến, làm powerpoint Trần Ngọc Sơn 61130999 Thuyết trình

có nhiều tư thế thay đổi trong ảnh Không những thế mà còn mở rộng cả phạm vimôi trường xung quanh khá đơn giản cho đến môi trường xung quanh rất phức tạpnhằm đáp ứng nhu cầu của con người Công nghệ nhận diện khuôn mặt (facedetection), hay nói chính xác hơn là khu biệt hóa khuôn mặt (khả năng tìm và nhậnbiết đâu là khuôn mặt trong toàn bộ một khung hình), đã có tới hơn 30 năm pháttriển và đây là pha đầu tiên trong hệ thống nhận dạng khuôn mặt người (facerecognition hoặc face identification) Ở hệ thống này, từ một đầu vào là bức ảnh,máy tính có thể khu biệt hóa khuôn mặt nằm ở vị trí nào, sau đó dựa trên các thuậttoán phức tạp khác như xác định đặc điểm của mắt, mồm hay mũi, so sánh với cơ sở

dữ liệu các khuôn mặt đã có, từ đó có thể nhận dạng khuôn mặt đó là ai Công nghệnày vốn được dùng trong ngành an ninh, nhưng nay đã được ứng dụng ngày càngrộng rãi trong dân dụng Có rất nhiều thuật toán đã được phát triển nhằm cải thiệnquá trình nhận dạng khuôn mặt ngày càng tốt hơn, trong đó có cả cách tiếp cận dùngmạng thần kinh (neural network) xử lý các vấn đề về giới tính, cảm xúc Với cơ sở

dữ liệu so sánh lớn, thuật toán phức tạp, sự hỗ trợ từ phần cứng hay chíp xử lýriêng, hệ thống nhận diện có thể nhận diện ngay cả khi mặt người quay ngang haynhìn lên, nhìn xuống, chuyển động hay đứng yên, thậm chí mặt chỉ chiếm một phầnrất nhỏ trong toàn bộ khung hình

Với mong muốn tiếp cận các công nghệ mới, đồng thời bổ sung kiến thức vềkhoa học kỹ thuật hiện đại, cũng như tổng kết những kỹ năng, kiến thức trong suốt

quá trình học tập tại trường, em xin chọn đề tài “Xây dựng phần mềm phát hiện

khuôn mặt người trong ảnh”.

2 Mục tiêu nghiên cứu

- Tìm hiểu bài toán phát hiện khuôn mặt người trong ảnh

- Tìm hiểu về thuật toán nhận dạng khuôn mặt trong ảnh

- Xây dựng chương trình thử nghiệm phát hiện khuôn mặt trong ảnh

3 Đối tượng nghiên cứu

- Thuật toán nhận dạng khuôn mặt dựa trên các trích chọn đặc trưng PCA

- Thư viện mã nguồn mở OpenCV

4 Phạm vi nghiên cứu

Chương trình nhận dạng khuôn mặt được xây dựng để ứng dụng trong cácthiết bị nhận dạng và có thể áp dụng cho các lĩnh vực an toàn, bảo mật thông tin.Trong phạm vi đề tài này nhóm em xây dựng chương trình nhận dạng khuôn mặt đểtìm kiếm một khuôn mặt từ tập các ảnh khuôn mặt đã có sẵn

5 Phương pháp nghiên cứu

- Phương pháp nghiên cứu tài liệu: Tham khảo một số tài liệu trên mạng, sách,

tư liệu, chuyên ngành, các bài báo khoa học có liên quan

- Phương pháp phỏng vấn (lấy ý kiến chuyên gia): Lấy ý kiến từ các thầy côgiáo Khoa Công nghệ thông tin, giáo viên hướng dẫn đề tài để định hướng quá trìnhnghiên cứu và đảm bảo kết quả nghiên cứu chính xác hơn

6 Ý nghĩa khoa học và thực tiễn của đề tài

- Ý nghĩa khoa học: thuật toán PCA được tìm hiểu, nghiên cứu sẽ bổ sungthêm một phương pháp nhận dạng khuôn mặt người để giải quyết bài toán xác địnhkhuôn mặt người

- Ý nghĩa thực tiễn: chương trình thử nghiệm nếu thành công sẽ góp một phầnnhỏ trong việc nhận dạng khuôn mặt đang được áp dụng trong lĩnh vực an toàn vàbảo mật thông tin Qua đó có thể áp dụng rộng rãi trong các thiết bị số

7 Bố cục của đề tài

Với mục tiêu chính là tìm hiểu thuật toán PCA Đồng thời áp dụng vào bàitoán nhận dạng khuôn mặt người, đề tài được trình bày trong ba chương với bố cụcnhư sau:

Chương 1: Tổng quan về bài toán phát hiện khuôn mặt người trong ảnh

Chương 2: Thuật toán nhận dạng khuôn mặt người

Chương 3: Xây dựng chương trình thử nghiệm

CHƯƠNG 1: TỔNG QUAN VỀ BÀI TOÁN PHÁT HIỆN KHUÔN MẶT

NGƯỜI TRONG ẢNH

Phát hiện các đối tượng trong ảnh nói chung và phát hiện khuôn mặt người nóiriêng là một bước quan trọng trong quá trình xử lý phân tích và nhận dạng đốitượng Quá trình phát hiện và nhận dạng một đối tượng nói chung trong ảnh có thểđược mô tả qua sơ đồ sau:

Hình 1.1.1.1 Quá trình phát hiện và nhận dạng một đối tượng

Thông thường, bài toán phát hiện đối tượng nói chung và phát hiện khuôn mặtngười nói riêng được chia thành hai bước:

Bước 2: Phân lớp đối tượng

Bộ phân lớp có nhiệm vụ phân loại các đối tượng dựa trên vector đặc trưng đãđược xây dựng Các bộ phân lớp phải cho phép thực hiện nhanh và phân loại đúngcác đối tượng trong một lớp

Quá trình “phân lớp đối tượng” gồm hai nhánh chính: Huấn luyện và pháthiện Trong khâu huấn luyện, bộ dữ liệu huấn luyện được xử lý để đưa ra mô hìnhhuấn luyện, phục vụ cho công việc phát hiện đối tượng sau này

Có hai kiểu thuật toán cho phương pháp phân lớp: Học có giám sát và không

có giám sát

Học có giám sát là phương pháp học mà ta luôn xác định trước được các lớpcần quan tâm Nhiệm vụ của học có giám sát là dự đoán xem đối tượng nào đó cóthuộc lớp này hay không Học có giám sát gồm có một số phương pháp phổ biếnsau: SVM, Cascaded Adaboost, Neural Network

Học không giám sát là phương pháp nhóm các vector thành các cụm (cluster)

để phân lớp đối tượng Khác với học có giám sát, đầu ra của ký thuật này là tập cácđối tượng cùng lớp, nhưng chưa xác định được lớp đó là gì Kĩ thuật này gồm một

số phương pháp phổ biến như sau: K – means, C – mean, Mean Shift

Hình 1.1.1.2 Quá trình “phân lớp đối tượng”

Các phương pháp đề xuất thường khác nhau ở loại đặc trưng lựa chọn, bộ mô

tả đặc trưng và phương pháp phân lớp đối tượng

Nhận dạng mặt người (Face recognition) được nghiên cứu từ những năm

1980, là một lĩnh vực nghiên cứu của ngành thị giác máy tính (Computer Vision),

và cũng được xem là một lĩnh vực nghiên cứu của ngành sinh trắc học (Biometrics)tương tự như nhận dạng vân tay (Fingerprint recognition), hay nhận dạng tròng mắt(Iris recognition)

Trong số các kỹ thuật sinh trắc học, nhận dạng khuôn mặt có thể không đángtin cậy và thiếu hiệu quả Tuy nhiên, một trong những lợi thế quan trọng là nókhông đòi hỏi sự hợp tác của các đối tượng thử nghiệm Các hệ thống nhận dạngđược được lắp đặt tại nơi công cộng có thể xác định một cá nhân giữa đám đông.Sinh trắc học khác như dấu vân tay, quét mống mắt, và nhận dạng giọng nói khôngthể thực hiện được như vậy

Từ khi ra đời đến nay, đã có rất nhiều công trình nghiên cứu về bài toán xácđịnh khuôn mặt người từ ảnh đen trắng, xám đến ảnh màu Ban đầu chỉ là những bàitoán đơn giản, mỗi ảnh chỉ có một khuôn mặt nhìn thẳng và đầu luôn phải ở tư thếthẳng đứng trong ảnh đen trắng, không đáp ứng được nhu cầu ngày càng cao trongcuộc sống, khoa học ngày nay

Vì thế đã có nhứng cải tiến nghiên cứu về bài toán phát hiện khuôn mặt ngườitrong những môi trường phức tạp hơn, có nhiều khuôn mặt người trong ảnh hơn, và

có nhiều tư thế thay đổi trong ảnh

Vậy, bài toán phát hiện khuôn mặt người trong ảnh là gì?

1 Khái niệm

Phát hiện khuôn mặt người là một kỹ thuật máy tính để xác định vị trí và kíchthước khuôn mặt người trong các ảnh bất kỳ Kỹ thuật này chỉ nhận biết về các đặctrưng của khuôn mặt và bỏ qua những vật thể khác như tòa nhà, cây cối và toàn bộ

cơ thể người

1.2 Ứng dụng

Trước đây, các cơ quan thực thi pháp luật, những người sử dụng hệ thống nhậndiện khuôn mặt để chụp lại những khuôn mặt ngẫu nhiên trong đám đông Một số

cơ quan chính phủ cũng đã sử dụng hệ thống này để bảo mật và hạn chế gian lậnbầu cử.

Bộ Ngoại giao Mỹ điều hành một trong các hệ thống nhận dạng khuôn mặt lớnnhất trên thế giới với hơn 75 triệu bức ảnh được chủ động sử dụng để xử lý visa.Dấu vân tay và hình ảnh của du khách được đối chiếu với cơ sở dữ liệu tội phạm vànghi can khủng bố Sau đó dữ liệu này sẽ được kiểm tra ở cửa khẩu để đảm bảongười được cấp thị thực và trên thực tế là một Hệ thống nhận dạng khuôn mặt cũngđược nâng cấp khả năng tương thích với hệ thống camera và máy tính đã được sửdụng ở ngân hàng và các sân bay

Công nghệ nhận dạng khuôn mặt có thể được sử dụng như một biện pháp anninh tại các máy ATM Thay vì sử dụng một thẻ ngân hàng hoặc số nhận dạng cánhân, máy ATM sẽ chụp một hình ảnh của khuôn mặt của khách hàng, và so sánh

nó với các bức ảnh của chủ tài khoản ngân hàng trong cơ sở dữ liệu để xác nhậndanh tính của khách hàng

Như vậy, có thể thấy các ứng dụng cơ bản của xác định mặt người có thể kểđến là:

- Xác minh tội phạm: Dựa vào ảnh của một người, nhận dạng xem người đấy

có phải là tội phạm hay không bằng cách so sách với các ảnh tội phạm đang đượclưu trữ Hoặc có thể sử dụng camera để phát hiện tội phạm trong đám đông Ứngdụng này giúp cơ quan an ninh quản lý con người tốt hơn

- Camera chống trộm: Các hệ thống camera sẽ xác định đâu là con người và

theo dõi xem con người đó có làm gì phạm pháp không, ví dụ như lấy trộm đồ, xâmnhập bất hợp pháp vào một khu vực nào đó

- Bảo mật: Các ứng dụng về bảo mật rất đa dạng, một trong số đó là công

nghệ nhận dạng mặt người của laptop, công nghệ này cho phép chủ nhân của máytính chỉ cần ngồi trước máy là có thể đăng nhập được Để sử dụng công nghệ này,người dùng phải sử dụng một webcam để chụp ảnh khuôn mặt của mình và cho máy

“học” thuộc các đặc điểm của khuôn mặt giúp cho quá trình đăng nhập sau này

- Lưu trữ khuôn mặt: Xác định mặt người có thể được ứng dụng trong các

trạm rút tiền tự động (ATM) để lưu trữ khuôn mặt của người rút tiền Hiện nay cónhững người bị người khác lấy trộm thẻ ATM và mã PIN, và bị rút tiền trộm, hoặc

có những chủ tài khoản đi rút tiền nhưng lại báo với ngân hàng là bị mất thẻ và bịrút tiền trộm Nếu lưu trữ được khuôn mặt của người rút tiền, ngân hàng có thể đốichứng và xử lý dễ dàng hơn.

+ Kiểm tra trạng thái người lái xe có ngủ gật, mất tập trung hay không, và hỗtrợ thông báo khi cần thiết

+ Tương lai sẽ phát triển các loại thẻ thông minh có tích hợp sẵn đặc trưng củangười dùng trên đó, khi bất cứ người dùng khác dùng để truy cập hay xử lý tại các

hệ thống sẽ được yêu cầu kiểm tra các đặc trưng khuôn mặt so với thẻ để biết nay

có phải là chủ thẻ hay không người

+ Hãng máy chụp hình Canon đã ứng dụng bài toán xác định khuôn mặt ngườivào máy chụp hình thế hệ mới để cho kết quả hình ảnh đẹp hơn, nhất là khuôn mặtngười

1.3 Khó khăn trong phát hiện khuôn mặt

Việc xác định khuôn mặt người có những khó khăn nhất định:

- Nền ảnh phức tạp: nền của ảnh phức tạp là một trong những khó khăn nhấttrong bài toán nhận diện khuôn mặt người trong ảnh, khuôn mặt người sẽ dễ bịnhầm lẫn với nhiều khung cảnh phức tạp xung quanh và ảnh hưởng rất nhiều đếnquá trình phân tích và rút trích các đặc trưng của khuôn mặt trong ảnh, có thể dẫnđến không nhận ra khuôn mặt hoặc là nhận nhầm các khung cảnh xung quanh thànhkhuôn mặt người Mặt người bị che khuất bởi các đối tượng khác có trong ảnh

- Hướng (pose) của khuôn mặt đối với máy ảnh, như: nhìn thẳng, nhìn nghiênghay nhìn từ trên xuống Cùng trong một ảnh có thể có nhiều khuôn mặt ở những tưthế khác nhau

Hình 1.3.1.1 Ảnh hưởng của tư thế và góc chụp

- Sự thể hiện cảm xúc quá nhiều và phụ kiện đi kèm: sự thể hiện cảm xúc quánhiều sẽ làm biến đổi khuôn mặt so với bình thường khá nhiều, gây ra không ít khókhăn cho việc nhận diện khuôn mặt một cách đơn giản, tuy nhiên nó cũng là tháchthức để phát triển nên các hệ thống thông minh nhận biết cảm xúc của con người.ngoài ra việc dùng nhiều các phục kiện đi kèm trang trí trên khuôn mặt cũng là mộtkhó khăn đối với việc nhận biết khuôn mặt, ví dụ một người săm đầy mặt và đeonhiều khuyên trên mặt, tóc tai bù xù…

Hình 1.3.1.2 Ảnh hưởng do biến đổi khuôn mặt

- Điều kiện ánh sáng và môi trường xung quanh: điều kiện của môi trường lúcchụp ảnh có ảnh hưởng rất nhiều đến quá trình phân tính và nhận biết các đặc trưngcủa khuôn mặt Trong đó ánh sáng là một phần rất quan trong để nhận biết đượckhuôn mặt dể dàng, những bức ảnh chụp trong điêu kiện thiếu hoặc thừa ánh sángquá nhiều đều gây khó khăn rất nhiều, ngoài ra các điều kiện về thời tiết ( mưa to,

tuyết rơi…) đều gây ảnh hưởng tới quá trình phân tích và nhận biết khuôn mặtngười.

- Kích thước khác nhau của các khuôn mặt người, và đặc biệt là trong cùngmột ảnh

Hình 1.3.1.3 Ảnh hưởng do kích thước khuôn mặt

- Giới hạn về số ảnh cần thiết cho tập huấn luyện, tập các ảnh khuôn mặt huấnluyện không thể bao quát được tất cả các biến đổi có thể có trên khuôn mặt của mộtngười cần nhận dạng trong thế giới thực

- Màu sắc của da mặt: màu sắc của da mặt quá tối hoặc gần với màu sắc củakhung cảnh môi trường xung quanh cũng là một khó khăn với bài toán nhận diệnmặt người Nếu màu sắc của da người quá tối thì thuật toán sẽ gặp khó khăn trongviệc nhận diện các đặc trưng và có thể không tìm ra được khuôn mặt người

Hình 1.3.1.4 Ảnh hưởng của màu sắc da mặt

1.4 Giới hạn bài toán nghiên cứu

Vì những khó khăn gặp phải trong phát hiện khuôn mặt trong nghiên cứu nàytôi đưa ra những giả định và ràng buộc sau làm giảm độ phức tạp của bài toán nhưsau:

- Góc ảnh trực diện (frontal) hoặc gần như trực diện, không bị che khuất (noocclusion);

- Ảnh được chụp trong điều kiện ánh sáng bình thường;

- Cơ sở dữ liệu ảnh nhỏ, khoảng trăm ảnh, tự xây dựng;

- Ảnh được xét là ảnh số, nghĩa là ảnh mặt người được chụp từ các thiết bị nhưmáy ảnh số, camera, và không xem xét các ảnh mặt người nhân tạo như vẽ, điêukhắc

CHƯƠNG 2: THUẬT TOÁN NHẬN DẠNG KHUÔN MẶT NGƯỜI TRONG

ẢNH 2.1 Một số phương pháp phát hiện khuôn mặt người trong ảnh

Cùng với sự phát triển của lĩnh vực thị giá máy tính (computer vision) và họcmáy (machine learning), có rất nhiều các hệ thống nhận dạng khuôn mặt khác nhau

đã được phát triển Kết quả nhận dạng của từng hệ thống cũng rất khác nhau vì tùythuộc vào dữ liệu thử

Do đó bài toán nhận dạng khuôn mặt hiện nay càng ngày càng phát triển theorất nhiều hướng nghiên cứu nhằm nâng cao hiệu suất nhận dạng và tối ưu hóa hệthống

2.1.1 Dựa theo kỹ thuật nhận dạng

Dựa vào kỹ thuật nhận dạng, có thể phân chia thành 3 phương pháp chính đólà:

- Kỹ thuật truyền thống:

Một số thuật toán nhận dạng khuôn mặt xác định các đặc điểm khuôn mặtbằng cách trích xuất các ranh giới, hoặc đặc điểm, từ một hình ảnh khuôn mặt củađối tượng Ví dụ, một thuật toán có thể phân tích các vị trí tương đối, kích thước,và/hoặc hình dạng của mắt, mũi, gò má, và cằm Những tính năng này sau đó được

sử dụng để tìm kiếm các hình ảnh khác với các tính năng phù hợp Các thuật toánbình thường hóa một bộ sưu tập các hình ảnh khuôn mặt và sau đó nén dữ liệukhuôn mặt, chỉ lưu dữ liệu hình ảnh nào là hữu ích cho việc nhận dạng khuôn mặt.Một hình ảnh mẫu sau đó được so sánh với các dữ liệu khuôn mặt Một trong những

hệ thống thành công sớm nhất dựa trên các kỹ thuật phù hợp với mẫu áp dụng chomột tập hợp các đặc điểm khuôn mặt nổi bật, cung cấp một dạng đại diện của khuônmặt được nén

Các thuật toán nhận dạng có thể được chia thành hai hướng chính, là hình học,

đó là nhìn vào tính năng phân biệt, hoặc trắc quang (đo sáng), là sử dụng phươngpháp thống kê để “chưng cất” một hình ảnh thành những giá trị và so sánh các giátrị với các mẫu để loại bỏ chênh lệch

Các thuật toán nhận dạng phổ biến bao gồm Principal Component Analysis(Phép phân tích thành phần chính) sử dụng các khuôn mặt riêng, Linear

Discriminate Analysis (Phân tích biệt tuyến tính), Elastic Bunch Graph Matching sửdụng thuật toán Fisherface, các mô hình Markov ẩn, Multilinear Subspace Learning(Luyện nhớ không gian con đa tuyến) sử dụng đại diện cơ căng, và theo dõi liên kếtđộng thần kinh.

- Nhận dạng 3D:

Một xu hướng mới nổi lên, tuyên bố cải thiện được độ chính xác, là nhận dạngkhuôn mặt ba chiều Kỹ thuật này sử dụng các cảm biến 3D để nắm bắt thông tin vềhình dạng của khuôn mặt Thông tin này sau đó được sử dụng để xác định các tínhnăng đặc biệt trên bề mặt của một khuôn mặt, chẳng hạn như các đường viền củahốc mắt, mũi và cằm

Một lợi thế của nhận dạng khuôn mặt 3D là nó không bị ảnh hưởng bởi nhữngthay đổi trong ánh sáng như các kỹ thuật khác Nó cũng có thể xác định một khuônmặt từ một loạt các góc nhìn, trong đó có góc nhìn nghiêng Các điểm dữ liệu bachiều từ một khuôn mặt cải thiện lớn độ chính xác cho nhận dạng khuôn mặt.Nghiên cứu 3D được tăng cường bởi sự phát triển của các bộ cảm biến tinh vi giúpnắm bắt hình ảnh chụp khuôn mặt 3D được tốt hơn Các cảm biến hoạt động bằngcách chiếu ánh sáng có cấu trúc lên gương mặt Hàng chục hoặc nhiều hơn nữa các

bộ cảm biến hình ảnh này có thể được đặt lên trên cùng một con chip CMOS-mỗicảm biến sẽ thu một phần khác nhau của hình ảnh

- Phân tích kết cấu da:

Một xu hướng mới nổi sử dụng các chi tiết hình ảnh của da, được chụp trongcác hình ảnh kỹ thuật số hoặc máy scan tiêu chuẩn Kỹ thuật này được gọi là phântích kết cấu da, đưa các đường đặc trưng, hình dạng, và các điểm nốt trên làn da củamột người vào một không gian toán học

Các thử nghiệm đã chỉ ra rằng với việc bổ sung các phân tích cấu trúc của da,hiệu quả trong việc nhận ra khuôn mặt có thể tăng 20 - 25 %

2.1.2 Dựa vào hướng tiếp cận

Dựa vào hướng tiếp cận của các phương pháp xác định mặt người trên ảnh,các phương pháp này được chia thành bốn loại chính, tương ứng với bốn hướng tiếpcận khác nhau Ngoài ra cũng có rất nhiều nghiên cứu mà phương pháp xác địnhmặt người không chỉ dựa vào một hướng mà có liên quan đến nhiều hướng

a Hướng tiếp cận dựa trên tri thức

Dựa vào các thuật toán, mã hóa các đặc trưng và quan hệ giữa các đặc trưngcủa khuôn mặt thành các luật Đây là hướng tiếp cận theo kiểu top-down

trong hướng tiếp cận này, phương pháp phát hiện khuôn mặt dựa trên các quytắc rút ra từ những tri thức về khuôn mặt được các nhà khoa học nêu ra Dễ dàng để

có được luật đơn giản để thể hiện các đặc trưng mặt người và mối quan hệ củachúng Chẳng hạn, một khuôn mặt thường có 2 mắt đối xứng nhau, 1 mũi, và 1miệng Quan hệ giữa chúng thể hiện qua quan hệ khoảng cách hay vị trí Thường thìcác đặc trưng khuôn mặt của ảnh đầu vào được trích chọn trước để đưa ra các ứngviên, tiếp đó là dùng tập luật trên đây để loại bỏ tiếp các ứng viên không phải khuônmặt Thông thường có một giai đoạn kiểm tra lại kết quả các ứng viên khuôn mặt đó

để tăng độ chính xác của hệ thống

Tuy nhiên, hướng tiếp cận này gặp một khó khăn đó là việc chuyển từ tri thức

về mặt người thành tập luật xác định tốt cho nhiều trường hợp Tập luật quá chi tiết

sẽ rất dễ dẫn đến bỏ sót các khuôn mặt thật, ngược lại nếu tập luật sơ sài sẽ dẫn đếnkêt quả có rất nhiều khuôn mặt mà trong số đó có cả các ứng viên không phải khuônmặt Thêm vào đó hướng tiếp cận này là khá khó khăn khi mở rộng bài toán trongcác trường hợp tư thế chụp khác nhau vì tư thế chụp có thể dẫn đến luật trên đây ápdụng không đúng nữa

Theo hướng tiếp cận này, chúng ta sẽ xem xét 2 nghiên cứu sau đây:

* Phương pháp của Yang và Huang

Hai nhà khoa học Yang và Huang đã dung phương pháp có thứ tự theo hướngtiếp cận này để phát hiện khuôn mặt Hệ thống của hai ông bao gồm 3 tầng luật:

Tầng đầu tiên: Tìm ra các ứng viên bằng cách quét 1 cửa sổ khắp ảnh đầu

vào, các ứng viên phải thỏa tập luật tầng này

Tầng giữa: Sử dụng các tập luật mô tả chung về khuôn mặt.

Tầng cuối cùng: Dùng các tập luật xem xét một cách chi tiết các đặc trưng

khuôn mặt

Một hệ thống ảnh đa phân giải được xây dựng theo các mẫu con với độ xámcủa cả mẫu đó được thay bằng mức xám trung bình của mẫu Ví dụ như dưới đây:

Hình 2.1.2.1 Các ảnh với độ phân giải khác nhau

Các mẫu với được mã hóa theo quy tắc n x n pixels có giá trị trung bình củacác pixels trong mẫu Trái qua phải n=1,4,8,16

Hình 2.1.2.2 Một tri thức về khuôn mặt

Hai ông sử dụng tri thức về khuôn mặt với một số tính chất độ sáng như hìnhtrên và kết luận rằng:

Tầng đầu tiên: Tìm ứng viên khuôn mặt trong mức phân giải thấp nhất gồm

có phần trung tâm của mặt với 4 phần có mức sáng tương đối đều nhau, tiếp theo làphần xung quanh, sáng hơn chút cũng có độ sang gần như nhau (chênh lệch độ sánggiữa 2 vùng nói trên là đủ lớn)

Tầng giữa: Dùng biểu đồ historgram để xem xét tiếp các ứng viên trên đây,

đồng thời tìm ra đường cạnh bao ứng viên

Tầng cuối cùng: Dùng các tập luật của tầng này xem xét đặc trưng khuôn mặt

các ứng viên qua được tầng giữa Ví dụ đặc trưng về mắt, miệng…

Nhận xét: phương pháp này khá đơn giản, dễ thực hiện, tuy nhiên , kết quả lại

chưa cao Song các ý tưởng của phương pháp đã làm nền tảng cho các nghiên cứu

sau này như ý tưởng sử dụng ảnh đa phân giải hay các tri thức về khuôn mặt đãdùng

* Phương pháp của Kotropoulos và Pitas

Hai ông khá thành công trong việc định vị vùng chứa khuôn mặt bằng phươngpháp chiếu Ta xem xét phương pháp này với ảnh đa mức xám Cơ sở của phươngpháp có thể hiểu như sau:

Giả thiết I(x,y) là độ xám tại vị trí tọa độ (x,y) của ảnh kích thước mxn

đủ để phát hiện được các ứng viên khuôn mặt

Xem ví dụ dưới đây cho giải thuật này Hình dưới đây sẽ minh họa cho cáchxác định biên của khuôn mặt ứng với các cựu trị địa phương như đã nêu trên đây.Sau đó dùng vài luật đơn giản để kiểm tra lại ví như việc tồn tại của lông mày/ mắt,

lỗ mũi/ mũi hay cái miệng … Tuy nhiên ở hai hình b và c việc xác định các cực trịđịa phương như đã nêu là rất khó khăn do sự thay đổi của các đường cong HI(x) vàVI(y) phụ thuộc vào nhiều yếu tố Trường hợp hình 4.b là ảnh với nền phức tạp,trường hợp hình c là ảnh với sự có mặt của nhiều khuôn mặt trong ảnh

Hình 2.1.2.3 Minh họa giải thuật chiếu

Phương pháp được đưa ra kiểm tra trên một tập khuôn mặt trong trong videogồm 37 người khác nhau Mỗi ảnh chỉ chứa 1 khuôn mặt trên 1 nền không đổi.Phương pháp của họ tìm ra được đúng các ứng viên khuôn mặt Tỷ lệ phát hiệnđúng là 86.5% và định vị đúng các đặc trưng của khuôn mặt như mắt, mũi, môi …

Nhận xét: phương pháp của Kotropoulos Pitas khá đơn giản, dễ thực hiện, tuy

nhiên, phương pháp này lại chỉ cho hiệu quả cao với các ảnh có một khuôn mặt, tưthế chụp thẳng và nền ảnh không quá phức tạp Sau này, phương pháp này đã đượccải tiến, kết hợp với ý tưởng đa phân giải, hay tiền xử lí sáng tạo trước khi chiếu

* Ưu điểm của phương pháp dựa trên tri thức:

- Dễ dàng xây dựng những nguyên tắc đơn giản để mô tả các đặc trưng củakhuôn mặt và mối quan hệ giữa chúng

- Định vị tốt cho mặt trước của khuôn mặt trong ảnh có nền không hỗn tạp

- Giải thuật đơn giản, dễ triển khai, thời gian xử lí chấp nhận được

* Nhược điểm của phương pháp dựa trên tri thức:

- Việc chuyển đổi tri thức con người thành những nguyên tắc chính xác là khókhăn Dẫn đến độ chính xác trong phát hiện chưa cao

- Khó có thể mở rộng phương pháp này cho bài toán phát hiện khuôn mặttrong các trường hợp, tư thế khác nhau

b Hướng tiếp cận dựa trên đặc trưng không thay đổi

Xây dựng các thuật toán để tìm các đặc trưng của khuôn mặt mà các đặc trưngnày không thay đổi khi tư thế khuôn mặt hay vị trí đặt camera thay đổi

Khác với hướng tiếp cận dựa trên tri thức, theo hướng tiếp cận này các nhàkhoa học cố gắng tìm ra các đặc trưng bất biến của khuôn mặt phục vụ việc pháthiện khuôn mặt Trên tư tưởng các đặc trưng bất biến này vẫn tồn tại và có thể đượcnhận biết trong nhiều trường hợp và tư thế khác nhau, đã có nhiều nghiên cứu trước

là nhằm xác định các sự tồn tại đặc trưng khuôn mặt và sau là chỉ ra có khuôn mặthay không Các đặc trưng như lông mày, mắt, mũi, miệng, và đường viền của tócđược trích bằng phương pháp xác định cạnh Từ đó xây dựng một mô hình thống

kê để mô tả các quan hệ giữa chúng để kiểm tra sự tồn tại của khuôn mặt Vấn đề ởđây là các đặc trưng này có thể bị sai khác đi tùy thuộc điều kiện chiếu sáng, nhiễu,hay có thể bị che khuất, bên cạnh đó, bóng của ảnh cũng có thể tạo ra các cạnh gây