Phát hiện và nhận dạng khuôn mặt từ camera, ứng dụng trong điểm danh

Ứng dụng khả năng phân biệt dựa trên các đặc điểm khác nhau của khuôn mặt, bài toán “Phát hiện và nhận dạng khuôn mặt từ camera, ứng dụng trong điểm danh” là bài toán có khả năng ứng dụn

LỜI CAM ĐOAN

Tôi - Nguyễn Thế Thụy xin cam đoan những nội dung trình bày luận văn này là kết quả tìm hiểu, nghiên cứu của bản thân dưới sự hướng dẫn của TS Nguyễn Văn Tảo và tham khảo từ các nhà nghiên cứu đi trước Nội dung tham khảo, kế thừa, phát triển từ các công trình đã được công bố được trích dẫn, ghi rõ nguồn gốc

Nếu có gì sai phạm tôi xin hoàn toàn chịu trách nhiệm

Người cam đoan

Nguyễn Thế Thụy

LỜI CẢM ƠN

Trong quá trình thực hiện luận văn mặc dù gặp rất nhiều khó khăn nhưng tôi luôn

nhận được sự quan tâm, giúp đỡ từ thầy cô, đồng nghiệp bạn bè và người thân Đây là

nguồn động lực giúp tôi hoàn thành luận văn này

Tôi xin gửi lời chân thành cảm ơn tới TS Nguyễn Văn Tảo đã tận tình giúp đỡ,

hướng dẫn và chỉ bảo trong quá trình thực hiện luận văn

Tôi xin chân thành cảm ơn tới quý Thầy, Cô Trường Đại học Công nghệ thông tin

và Truyền thông Thái Nguyên đã tận tình chỉ bảo, truyền đạt những kiến thức qúy báu

giúp tôi hoàn thành nhiệm vụ học tập trong suốt thời gian theo học tại trường Quý Thầy

Cô đã giúp tôi có được những kiến thức quan trọng trong lĩnh vực Công nghệ thông tin,

là nền tảng vững chắc cho những nghiên cứu của bản thân trong thời gian tới

Tôi xin cảm ơn anh em, đồng nghiệp đã giúp đỡ, ủng hộ tinh thần trong thời gian

tôi tham gia học tập

Cuối cùng, tôi xin cảm ơn tất cả những người đã luôn luôn quan tâm, sẻ chia và

động viên tôi

Hà Nội, ngày 17 tháng 07 năm 2015

Nguyễn Thế Thụy

MỤC LỤC

LỜI CAM ĐOAN 1

LỜI CẢM ƠN 2

DANH MỤC CÁC HÌNH VẼ 5

LỜI MỞ ĐẦU 6

CHƯƠNG 1: SINH TRẮC HỌC VÀ BÀI TOÁN NHẬN DẠNG KHUÔN MẶT ỨNG DỤNG TRONG ĐIỂM DANH 7

1.1 Tổng quan về sinh trắc học 7

1.1.1 Hệ thống sinh trắc học 9

1.1.1.1 Hệ thẩm định (Verification) 10

1.1.1.2 Nhận dạng (Identification, Recognition) 10

1.1.1.3 Các thành phần chức năng chủ yếu 10

1.1.1.4 Hoạt động của hệ thống 11

1.1.2 Đánh giá hiệu năng và chất lượng hoạt động của hệ sinh trắc học 11

1.1.3 Hệ thống an ninh bảo mật dựa trên sinh trắc học 12

1.2 Phát hiện và nhận dạng khuôn mặt 13

1.3 Những khó khăn và thách thức trong bài toán nhận dạng khuôn mặt 15

1.4 Các ứng dụng của bài toán nhận dạng khuôn mặt 16

1.5 Bài toán điểm danh dựa trên khuôn mặt 17

1.5.1 Bài toán điểm danh và quản lý nhân sự 17

1.5.2 Đầu vào của bài toán 18

1.5.3 Đầu ra và ý nghĩa thực tiễn 19

CHƯƠNG 2: MỘT SỐ KỸ THUẬT PHÁT HIỆN VÀ NHẬN DẠNG KHUÔN MẶT21 2.1 Một số kỹ thuật phát hiện mặt người trong ảnh 21

2.1.1 Hướng tiếp cận dựa trên đặc trưng của ảnh 22

2.1.1.1 Phân tích mức thấp (Low level analysis) 23

2.1.1.2 Phân tích đặc trưng (Feature Analysis) 28

2.1.1.3 Mô hình hình dạng động (Active shape models) 33

2.1.2 Hướng tiếp cận dựa trên ảnh (Image based detection) 37

2.1.2.1 Phương pháp không gian con tuyến tính (Linear subspace methods) 38 2.1.2.2 Mạng neural 41

2.1.2.3 Phương pháp thống kê (Statistical approachs) 44

2.2 Một số kỹ thuật nhận dạng khuôn mặt 47

2.2.1 Phương pháp phân tích thành phần chính (PCA) 49

2.2.2 Phương pháp phân tách tuyến tính (LDA) 49

2.2.3 Phương pháp mạng neural 52

CHƯƠNG 3: CÀI ĐẶT THỬ NGHIỆM 54

3.1 Yêu cầu thực nghiệm, ứng dụng 54

3.2 Phân tích lựa chọn giải pháp, công cụ 55

3.3 Một số kết quả cài đặt thực nghiệm 56

3.3.1 Giao diện của chương trình 56

3.3.2 Một số kết quả điểm danh dựa trên khuôn mặt 61

KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 65

TÀI LIỆU THAM KHẢO 66

DANH MỤC CÁC HÌNH VẼ

Hình 1.1.Các đặc trưng sinh trắc phổ biến 8

Hình 1.2 Mô hình hệ thống sinh trắc học 9

Hình 1.3 Các giá trị ngưỡng của FAR và FRR 11

Hình 1.4 Mô hình hệ thống nhận dạng mặt người Error! Bookmark not defined

Hình 2.1 Sơ đồ các hướng tiếp cận và phương pháp phát hiện mặt người Error!

Bookmark not defined

Hình 2.2.Hệ thống tìm kiếm mặt của Maio và Maltoni Error! Bookmark not defined

Hình 2.3 Một số không gian riêng của CSDL ảnh ORL 38

Hình 2.4 Mô hình mạng neural của Rowley và cộng sựError! Bookmark not

defined

Hình 2.5 Hệ thống nhận dạng khuôn mặt Error! Bookmark not defined

Hình 2.6 Ví dụ minh họa LDA 47

Hình 2.7 Ảnh sau khi biến đổi theo LDA 49

Hình 2.8 Mạng neural 2 lớp truyền thẳng Error! Bookmark not defined

Hình 3.1 Quy trình hoạt động của hệ thống điểm danh dựa trên khuôn mặt …Error! Bookmark not defined Hình 3.2 Giao diện chính của chương trình Error! Bookmark not defined

Hình 3.3 Hình ảnh từ camera và xử lý tương ứng Error! Bookmark not defined

Hình 3.4 Giao diện quản lý danh sách điểm danh và điểm danhError! Bookmark not

LỜI MỞ ĐẦU

Công nghệ Sinh trắc học (Biometric) là một công nghệ sử dụng những thuộc tính vật lý hoặc các mẫu hành vi, các đặc điểm sinh học đặc trưng như dấu vân tay, mẫu mống mắt, giọng nói, khuôn mặt, dáng đi để nhận diện con người

Công nghệ sinh trắc học được áp dụng phổ biến và lâu đời, trong đó phương pháp

sử dụng nhận dạng khuôn mặt là tự nhiên nhất Phương pháp này được chính bản thân con người sử dụng từ khi được sinh ra để phân biệt giữa người này và người khác Ứng dụng khả năng phân biệt dựa trên các đặc điểm khác nhau của khuôn mặt, bài toán “Phát hiện và nhận dạng khuôn mặt từ camera, ứng dụng trong điểm danh” là bài toán có khả năng ứng dụng cao với chi phí thấp được áp dụng trong các cơ quan, doanh nghiệp

Với sự hỗ trợ của camera, máy tính và phần mềm điểm danh, nhà quản lý thu được thông tin về sự có mặt và thời gian làm việc của người lao động một cách chính xác và khách quan với chi phí thấp Việc áp dụng nhận dạng khuôn mặt có thể được sử dụng một cách độc lập với ưu điểm hơn các phương pháp sinh trắc học khác ở tính tự nhiên của nó, đồng thời đây cũng có thể là một phương pháp được sử dụng kết hợp với các phương pháp sinh trắc khác để nâng cao tính chính xác của hệ thống khi vận hành

Chính vì tầm quan trọng của phát hiện, nhận dạng khuôn mặt nói riêng và công nghệ sinh trắc nói chung, tôi thực hiện đề tài “Phát hiện và nhận dạng khuôn mặt từ camera, ứng dụng trong điểm danh” với mục tiêu tìm hiểu các thuật toán phát hiện và nhận dạng khuôn mặt người từ đó xây dựng chương trình điểm danh dựa trên khuôn mặt Tôi hy vọng đề tài này sẽ đem lại một số kiến thức hữu ích cho những ai quan tâm đến vấn đề về phát hiện và nhận dạng khôn mặt cũng như lĩnh vực sinh trắc học

Nội dung luận văn được chia làm 3 phần chính: Chương 1 trình bày khái quát về quản lý học viên và bài toán điểm danh, trong đó nêu rõ đầu vào và đầu ra của bài toán cũng như ứng dụng thực tiễn của bài toán Chương 2 là những nghiên cứu, tìm hiểu về các thuật toán phát hiện và nhận dạng khuôn mặt Chương 3 trình bày thực nghiệm và ứng dụng của chương trình điểm danh dựa trên nhận dạng khuôn mặt Phần cuối cùng

là kết luận và hướng phát triển tiếp theo của luận văn

CHƯƠNG 1: SINH TRẮC HỌC VÀ BÀI TOÁN NHẬN DẠNG KHUÔN

MẶT ỨNG DỤNG TRONG ĐIỂM DANH 1.1 Tổng quan về sinh trắc học

Sinh trắc học hay công nghệ sinh trắc học (thuật ngữ khoa học là Biometric) là công nghệ sử dụng những thuộc tính vật lý, đặc điểm sinh học riêng của mỗi cá nhân như vân tay, mống mắt, khuôn mặt để nhận diện Thuật ngữ sinh trắc học (Biometric) được dùng ghép theo tiếng Hy Lạp từ 2 từ: Bio (thuộc về thực thể sinh vật sống) và metriko (kỹ thuật độ đo, đo lường), thuật ngữ này đã được hình thành trong quá trình phát triển loài người và được biết đến từ lâu để thể hiện các đặc trưng về thể chất hay về hành vi của từng cá thể con người Có nhiều loại đặc trưng sinh trắc học: vân tay (Fingerprint), lòng bàn tay (Palm print), dạng hình học bàn tay (Hand geometry), chữ ký viết tay (Hand written Signature), khuôn mặt (Face), tiếng nói (Voice), con ngươi mắt (Iris), võng mạc (Retina) Những đặc trưng này đã được phát hiện từ rất sớm để nhận dạng, xác thực chủ thể con người và hiện nay đang được quan tâm nghiên cứu triển khai ứng dụng trong các lĩnh vực an ninh, quốc phòng, thương mại, công nghiệp, dịch vụ Các đặc trưng sinh trắc học của cơ thể người được sử dụng phải đảm bảo các tiêu chuẩn sau đây: [1]

- Tính rộng rãi: là tính chất cho biết thông thường mọi người đều có đặc trưng này,

có thể tạo ra khả năng sử dụng hệ thống an ninh sinh trắc học cho một số lượng người lớn

- Tính phân biệt: là tính chất phân biệt đặc trưng sinh trắc học giữa hai người bất

kỳ phải khác nhau, đảm bảo sự duy nhất của chủ thể sinh trắc

- Tính ổn định: là tính chất mà đặc trưng sinh trắc phải có tính ổn định trong một thời gian tương đối dài

- Tính dễ thu thập: là tính chất đặc trưng sinh trắc học phải dễ dàng thu nhận mẫu khi đăng ký, kiểm tra xác thực, nâng cao tính khả thi trong sử dụng

- Tính hiệu quả: là tính chất mà việc xác thực sinh trắc phải chính xác, nhanh chóng và tài nguyên cần sử dụng được chấp nhận

- Tính chấp nhận được: là tính chất mà quá trình thu thập mẫu sinh trắc phải được

sự đồng ý của người dùng

- Chống giả mạo: là tính chất ưu việt của việc sử dụng đặc trưng sinh trắc, khả năng mẫu sinh trắc khó bị giả mạo cao

Hình 1.1.Các đặc trưng sinh trắc phổ biến

Đã có rất nhiều đặc trưng sinh học khác nhau đã và đang được sử dụng Mỗi loại đặc trưng sinh trắc có điểm mạnh và điểm yếu riêng Tuy nhiên không một đặc trưng nào thỏa mãn tốt và đầy đủ tất cả các yêu cầu tính chất của một đặc trưng sinh trắc học nêu trên, nghĩa là không có một đặc trưng sinh trắc học hoàn toàn tối ưu Trong một công trình nghiên cứu, các chuyên gia đã đưa ra một bảng so sánh khái quát các tiêu chuẩn đánh giá các tính chất tương ứng các đặc trưng sinh trắc học sau đây: [1]

Đặc trưng sinh

trắc học

Tính rộng rãi

Tính phân biệt

Tính

ổn định

Tính dễ thu thập

Tính hiệu quả

Tính chấp nhận được

Chống giả mạo

thống sinh trắc học được phân ra thành hai loại chính: hệ thẩm định (Verification) và

hệ nhận dạng (Identification, Recognition) [1]

1.1.1.1 Hệ thẩm định (Verification)

Hệ thẩm định (Verification) là hệ thống thực hiện nhiệm vụ đối sánh 1-1 giữa mẫu sinh trắc học thu nhận được (biometric sample) với mẫu dạng sinh trắc học (biometric template) đã có trong hệ thống từ trước Kết quả trả lời câu hỏi mẫu sinh trắc thu nhận có liên quan tới mẫu dạng sinh trắc hay không? Thông thường trong hệ thẩm định có kết hợp với thông tin định danh chủ thể để thực hiện chức năng xác thực thẩm định sinh trắc (Authentication) Trong hệ xác thực thẩm định đòi hỏi cao về độ chính xác để kết quả trả lời câu hỏi “Sinh trắc học sống thu nhận được (biometric sample) có phải là sinh trắc của chủ thể đã lưu trong hệ thống không?” [1]

1.1.1.2 Nhận dạng (Identification, Recognition)

Hệ nhận dạng (Identification, Recognition) là hệ thống thực hiện chức năng tìm kiếm (1-n) từ một cơ sở dữ liệu lưu trữ một tập các mẫu sinh trắc học để tìm ra một mẫu sinh trắc cụ thể trong các mẫu khuôn dạng sinh trắc thu thập từ trước và sau đó thực hiện đối sánh xấp xỉ để nhận dạng phân lớp (Classification) hoặc nhận dạng đồng nhất (Identification), ví dụ như việc tìm mẫu vân tay tội phạm trong hồ sơ các vân tay,

từ đó xác định danh tính của chủ sở hữu vân tay [1]

1.1.1.4 Hoạt động của hệ thống

Hoạt động của một hệ thống sinh trắc bao gồm 2 giai đoạn cơ bản sau đây:

- Đăng ký (Enrollment): là giai đoạn đăng ký mẫu sinh trắc vào hệ thống

- Thẩm định hoặc nhận dạng (Verification/Identification): là giai đoạn thẩm định, nhận dạng mẫu sinh trắc vừa trích chọn với khuôn mẫu sinh trắc đã có trước

1.1.2 Đánh giá hiệu năng và chất lượng hoạt động của hệ sinh trắc học

Một hệ sinh trắc học khi hoạt động thường gặp hai vấn đề về lỗi sau đây:

- Lỗi phát sinh khi đối sánh mẫu sinh trắc của hai người khác nhau nhưng cho kết quả là của cùng một người Lỗi này được gọi là loại bỏ sai (false reject hay false match)

- Lỗi phát sinh khi đối sánh hai mẫu sinh trắc của cùng một người nhưng cho kết quả sai, vì cho rằng là của hai người khác nhau Lỗi này được gọi là chấp nhận sai (false accept hay false nonmatch) Để đo lường mức độ lỗi của hệ thống sinh trắc, các độ đo lường thường dùng được định nghĩa như sau:

- FMR (False Match Rate): còn gọi là FAR (False Accept Ratio) - Tỷ số chấp nhận sai: cho biết tỉ lệ trả lời là đúng đối với dữ liệu vào là sai

- FNMR (False Nonmatch Rate): còn gọi là FRR (False Rejection Ratio)

- Tỷ số từ chối sai: cho biết tỉ lệ trả lời là sai đối với dữ liệu vào là đúng

Một vấn đề là hai độ đo lường này có sự ràng buộc với nhau như sau: nếu FAR cao thì FRR sẽ giảm tương đối và ngược lại Mức độ chấp nhận được của FAR và FRR tùy thuộc vào từng hệ xác thực sinh trắc cụ thể Với hệ yêu cầu tính bảo mật cao,

và đặt nặng vấn đề an toàn của xác thực hơn sự tiện dụng của người dùng, thì FAR sẽ nhỏ và FRR sẽ cao Ngoài hai độ đo trên, người ta còn sử dụng độ đo FTC (Failure To Capture - thu nhận mẫu thất bại) và FTE (Failure to Enroll - chấp nhận mẫu thất bại)

để đánh giá hiệu năng của hệ xác thực sinh trắc học [1]

Hình 1.3: Các giá trị ngưỡng của FAR và FRR [3]

1.1.3 Hệ thống an ninh bảo mật dựa trên sinh trắc học

Hệ thống sinh trắc học có những ưu điểm mà hệ bảo mật thông thường không

có, trong những cuộc nghiên cứu hệ thống an ninh, bảo mật dựa trên hệ sinh trắc học (Biometric Security System) đã được quan tâm nghiên cứu và đưa vào ứng dụng thực tiễn Hướng nghiên xây dựng hệ thống trên cơ sở kết hợp hệ thống sinh trắc học với hệ mật mã (Biometric Cryptosystem) đang là vấn đề thời sự được quan tâm nghiên cứu phát triển Sự kết hợp này nhằm mục tiêu nâng cao tính an toàn của hệ mật mã dựa trên các ưu điểm của hệ thống sinh trắc học Hệ thống an ninh, bảo mật sinh trắc học (Biometric based Security System) dựa trên sự nhận biết hoặc thẩm định các đặc trưng

về thể chất hay về hành vi con người để nhận dạng, xác thực từng chủ thể Cùng với sự phát triển nhanh chóng của CNTT và truyền thông, hệ thống an ninh dựa trên nhận dạng, thẩm định xác thực sinh trắc học đã và đang được quan tâm nghiên cứu và có nhiều triển khai ứng dụng trong những năm gần đây trên thế giới Đối với các giao dịch điện tử và truyền thông, đây là một trong các hướng tiếp cận mới về an ninh thông tin và mạng, an toàn dữ liệu Phương pháp này mở ra triển vọng lớn về an toàn trong các giao dịch điển tử, chính phủ điển tử, thương mại điện tử [1]

Các lĩnh vực nghiên cứu về hệ thống an ninh sinh trắc học (Biometric Security

- Các các nghiên cứu cơ bản về các loại sinh trắc học, về phương pháp trích chọn đặc trưng sinh trắc và về nhận dạng, thẩm định xác thực chủ thể con người

- Các hệ nhận dạng, thẩm định xác thực sinh trắc học chủ thể trong hệ thống

- Mật mã sinh trắc học (Biometric Cryptography) Trong hệ mật mã thông thường, điểm yếu thường ở quá trình bảo vệ, quản lý và phân phối khóa Nguy cơ này đe dọa các mục tiêu về xác thực và chống phủ nhận Hệ sinh trắc học được ứng dụng giải quyết vấn đề đó Hiện nay có hai hướng tiếp cận để kết hợp sinh trắc học và mật mã học như sau: [1]

- Dùng sinh trắc học quản lý khóa (biometric-based key release)

- Dùng sinh trắc học để tạo khóa (biometric-based key generation)

1.2 Phát hiện và nhận dạng khuôn mặt

Vấn đề nhận dạng mặt người có thể trình bày một cách tổng quan như sau: Cho một ảnh tĩnh hay một đoạn video, hãy phát hiện và nhận ra những người trong ảnh hay trong đoạn video đó dựa trên một tập cho trước các dữ liệu về các mặt người đã biết Giải pháp cho vấn đề này bao gồm bốn vấn đề: phát hiện các mặt người từ ảnh (video), trích chọn đặc trưng từ vùng ảnh, nhận dạng ảnh và xác minh Với quá trình nhận dạng, đầu vào là một ảnh chưa biết, sau quá trình nhận dạng, hệ thống đưa ra định danh về người trong ảnh và trong quá trình xác minh, hệ thống phải được xác định rằng việc nhận dạng đấy là chính xác hay không Về mặt tổng quát, mỗi phương pháp nhận dạng mặt người đều có thể được chia thành 2 module: Module phát hiện mặt người trong ảnh và module nhận dạng mặt người

Được khởi đầu vào những năm 70, nhận dạng mặt người là một trong những ứng dụng của phân tích và xử lý ảnh đạt được nhiều thành tựu nhất Trong thời gian gần đây, do sự phát triển như vũ bão của khoa học máy tính và yêu cầu thực tiễn trong các lĩnh vực kinh tế, luật pháp…, vấn đề nhận dạng mặt người đang được đặc biệt chú ý Một loạt các hội thảo được tổ chức bàn về vấn đề này như AFGR, AVBPA và những đánh giá mang tính hệ thống về các kỹ thuật nhận dạng mặt người (Face Recognition Techniques - FRT), bao gồm phương pháp FERET và XM2VTS

Nhu cầu cấp thiết về các hệ thống thân thiện với người sử dụng đã đảm bảo cho các nghiên cứu về sau không bị lãng phí trong hàng loạt những nghiên cứu đã được thực thi trước đó Hiện nay, để rút tiền từ ATM ta phải nhập PIN, hay để truy cập một

máy tính ta phải nhập mật khẩu hay hàng loạt phương pháp khác để truy cập vào Internet Hiện đã có hàng loạt các phương pháp nhận dạng có độ tin cậy cao dựa vào các kỹ thuật nhân trắc học; chẳng hạn như, kỹ thuật phát hiện vân tay hay kỹ thuật quét nhận dạng võng mạc Tuy nhiên, những hệ thống này có chung nhược điểm là phức tạp và yêu cầu cần có sự phối hợp của nhiều người cùng xử lý Bên cạnh đó, một

hệ thống nhận dạng dựa trên kỹ thuật phân tích ảnh mặt nhìn thẳng của một người sẽ đơn giản hơn nhiều, không đòi hỏi có nhiều người cùng xử lý và cũng không đòi hỏi các kiến thức chuyên môn sâu Chính vì thế, hệ thống nhận dạng người dựa trên kỹ thuật phân tích ảnh mặt đang ngày càng được ứng dụng rộng rãi Các ứng dụng của nhận dạng người dựa trên mặt được thể hiện trong Bảng 1.2

Lĩnh vực Các ứng dụng đặc trưng

Nhân trắc học

Driver’s licences, Entitlement Programs Immigration, National ID, Passports, Voter Registration Welfare

An toàn thông tin

Desktop Logon (Windows 95, Windows NT) Application Security, Database Security, File Encryption Intranet Security, Internet Access, Medical Records Secure Trading Terminals

Law Enforcement

and Surveillance

Advanced Video Surveillance, CCTV Control Portal Control, Post-Event Analysis

Shoftlifting and Suspect Tracking and Investigation

SmartCards Stored Value Security, User Authentification

Access Control Facility Access, Vehicular Access

Bảng 1.2 Các ứng dụng tiêu biểu của nhận dạng mặt người

Một hệ thống nhận dạng mặt người điển hình bao gồm các thành phần chính như Hình 1.4

Nhận dạng mặt người

Thông tin người được nhận dạng

Nhận dạng mặt người (Face recognition) được nghiên cứu từ những năm 1980, là một lĩnh vực nghiên cứu của ngành thị giác máy tính (Computer Vision) và cũng được xem là một lĩnh vực nghiên cứu của ngành sinh trắc học (Biometrics) tương tự như nhận dạng vân tay (Fingerprint recognition), hay nhận dạng mống mắt (Iris recognition)… Trong khi nhận dạng vân tay và mống mắt có thể áp dụng trên thực tế một cách rộng rãi thì nhận dạng mặt người vẫn còn nhiều thách thức So với nhận dạng vân tay và mống mắt, nhận dạng mặt có nguồn dữ liệu phong phú hơn và ít đòi hỏi sự tương tác có kiểm soát hơn Bài toán nhận dạng mặt người còn nhiều thách thức nên hàng năm trong và ngoài nước vẫn có nhiều nghiên cứu về các phương pháp nhận dạng mặt người

Nhận dạng khuôn mặt là một nhiệm vụ dễ dàng đối với con người Thí nghiệm trong [9] đã chỉ ra, ngay cả trẻ sơ sinh 1-3 ngày tuổi có thể phân biệt khuôn mặt Nhưng làm thế nào với một máy tính? Cho đến nay chúng ta biết rất ít về nhận dạng con người Có phải đặc điểm bên trong (mắt, mũi, miệng) hoặc các đặc điểm bên ngoài (hình dạng đầu, chân tóc) được sử dụng cho một nhận dạng khuôn mặt Bộ não con người phân tích một hình ảnh và mã hóa như thế nào? Theo nghiên cứu được bởi David Hubel và Torsten Wiesel, rằng não của chúng ta có tế bào thần kinh chuyên biệt phản ứng với từng hoàn cảnh cụ thể, chẳng hạn như đường, cạnh, góc độ hoặc chuyển động Vì chúng ta không nhìn thấy thế giới như những mảnh phân tán, vỏ não của chúng ta bằng cách nào đó phải kết hợp các nguồn thông tin khác nhau vào các mẫu hữu ích Nhận diện khuôn mặt tách ra những đặc điểm có ý nghĩa từ một hình ảnh, đưa chúng vào một sự biểu diễn hữu ích và thực hiện một số phân loại

1.3 Những khó khăn và thách thức trong bài toán nhận dạng khuôn mặt

Việc xác định khuôn mặt người có những khó khăn nhất định như:

- Hướng (pose) của khuôn mặt đối với máy ảnh, như: nhìn thẳng, nhìn nghiêng hay

nhìn từ trên xuống Cùng trong một ảnh có thể có nhiều khuôn mặt ở những tư thế khác nhau

- Sự có mặt của các chi tiết không phải là đặc trưng riêng của khuôn mặt người, như: râu quai nón, mắt kính

- Các nét mặt (facial expression) khác nhau trên khuôn mặt, như: vui, buồn, ngạc

nhiên

- Mặt người bị che khuất bởi các đối tượng khác có trong ảnh

- Sự biểu cảm của khuôn mặt (The expression of the face): sự biểu cảm có thể làm

thay đổi đáng kể các đặc trưng và thông số của khuôn mặt, ví dụ như khuôn mặt của cùng một người sẽ rất khác khi người đó cười, tức giận hay sợ hãi…

1.4 Các ứng dụng của bài toán nhận dạng khuôn mặt

Xác định mặt người thường là một phần của một hệ thống (facial recognition system) [4] Nó thường được dùng trong giám sát video, giao tiếp người - máy và quản

lý cơ sở dữ liệu ảnh…

 Các ứng cơ bản của xác định mặt người có thể kể đến là:

- Xác minh tội phạm: Dựa vào ảnh của một người, nhận dạng xem người đấy có phải là tội phạm hay không bằng cách so sách với các ảnh tội phạm đang được lưu trữ Hoặc có thể sử dụng camera để phát hiện tội phạm trong đám đông Ứng dụng này giúp cơ quan an ninh quản lý con người tốt hơn

- Camera chống trộm: Các hệ thống camera sẽ xác định đâu là con người và theo dõi xem con người đó có làm gì phạm pháp không, ví dụ như lấy trộm đồ, xâm nhập bất hợp pháp vào một khu vực nào đó

- Bảo mật: Các ứng dụng về bảo mật rất đa dạng, một trong số đó là công nghệ nhận dạng mặt người của laptop, công nghệ này cho phép chủ nhân của máy tính chỉ cần ngồi trước máy là có thể đăng nhập được Để sử dụng công nghệ này, người dùng phải sử dụng một webcam để chụp ảnh khuôn mặt của mình

và cho máy “học” thuộc các đặc điểm của khuôn mặt giúp cho quá trình đăng nhập sau này

- Lưu trữ khuôn mặt: Xác định mặt người có thể được ứng dụng trong các trạm

rút tiền tự động (ATM) để lưu trữ khuôn mặt của người rút tiền Hiện nay có những người bị người khác lấy trộm thẻ ATM và mã PIN và bị rút tiền trộm hoặc có những chủ tài khoản đi rút tiền nhưng lại báo với ngân hàng là bị mất

thẻ và bị rút tiền trộm Nếu lưu trữ được khuôn mặt của người rút tiền, ngân hàng có thể đối chứng và xử lý dễ dàng hơn

 Một số ứng dụng khác:

- Điều khiển vào ra: Văn phòng, công ty, trụ sở, máy tính, Palm,… kết hợp thêm vân tay và mống mắt, cho phép nhân viên được ra vào nơi cần thiết

- An ninh sân bay, xuất nhập cảnh (hiện nay cơ quan xuất nhập cảnh Mỹ đang

sử dụng) Dùng camera quan sát để xác thực người nhập cảnh và kiểm tra xem người đó có phải là tội phạm hay phần tử khủng bố không

- Tìm kiếm và tổ chức dữ liệu liên quan đến con người thông qua khuôn mặt người trên nhiều hệ cơ sở dữ liệu lưu trữ thật lớn, như internet, các hãng truyền hình… Ví dụ: tìm các đoạn video có tổng thống Obama phát biểu, tìm các phim có diễn viên Thành Long đóng…

- Kiểm tra trạng thái người lái xe có ngủ gật, mất tập trung hay không và hỗ trợ thông báo khi cần thiết

- Tương lai sẽ phát triển các loại thẻ thông minh có tích hợp sẵn đặc trưng của người dùng trên đó, khi bất cứ người dùng khác dùng để truy cập hay xử lý tại các hệ thống sẽ được yêu cầu kiểm tra các đặc trưng khuôn mặt so với thẻ để biết người này có phải là chủ thẻ hay không

- Hãng máy chụp hình Canon đã ứng dụng bài toán xác định khuôn mặt người vào máy chụp hình thế hệ mới để cho kết quả hình ảnh đẹp hơn, nhất là khuôn mặt người

1.5 Bài toán điểm danh dựa trên khuôn mặt

1.5.1 Bài toán điểm danh và quản lý nhân sự

Trong thời đại ngày nay, cùng với sự phát triển của khoa học kỹ thuật và xu hướng công nghiệp hóa, hiện đại hóa: máy móc đang và sẽ tiếp tục thay thế con người trong những công việc nặng nhọc và mang tính lặp đi lặp lại Máy móc có những ưu điểm không thể phủ nhận như không biết mệt mỏi, sẵn sàng phục vụ liên tục, không mang tính chủ quan, khả năng xử lý nhanh, lưu trữ lớn

Đối với bài toán điểm danh, chấm công với mục tiêu chủ yếu là kiểm soát nguồn nhân lực về thời gian Các nhà quản lý quan tâm tới hai vấn đề chính là một lao động tên là “A” có mặt hay không, có đúng giời hay không, “A” có làm đủ số giờ quy định hay không Để giải quyết bài toán này thường các công ty, doanh nghiệp các nhà quản

lý sẽ sử dụng một nhóm người có chức năng chấm công và quản lý hoặc sử dụng một

hệ thống sinh trắc học Đối với việc sử dụng con người có rất nhiều nhược điểm như: chi phí lớn, tính khách quan không cao, không hoạt động tốt liên tục trong nhiều giờ liền, không thể sử dụng với phạm vi lớn (một cán bộ chấm công không thể nhớ được quá nhiều người, đặc biệt với những người mới gặp vài lần) Vì thế các hệ thống sinh trắc học tỏ ra khá hiệu quả và là lựa chọn hàng đầu trong bài toán này

Với sự hỗ trợ của camera, máy tính và phần mềm điểm danh, nhà quản lý thu được thông tin về sự có mặt và thời gian làm việc của người lao động một cách chính xác và khách quan với chi phí thấp Việc áp dụng nhận dạng khuôn mặt có thể được sử dụng một cách độc lập với ưu điểm hơn các phương pháp sinh trắc học khác ở tính tự nhiên của nó, đồng thời đây cũng có thể là một phương pháp được sử dụng kết hợp với các phương pháp sinh trắc khác để nâng cao tính chính xác của hệ thống khi vận hành

1.5.2 Đầu vào của bài toán

Với bài toán điểm danh, trong nội dung luận văn tôi lựa chọn phương pháp nhận dạng khuôn mặt làm cơ sở để xây dựng hệ thống Với đầu vào là ảnh của người cần được điểm danh hệ thống sẽ nhận diện hình ảnh và đoán nhận chính xác tên của người

có trong ảnh, từ đó là cơ sở để điểm danh

Như vậy, đầu vào của bài toán là ảnh thu được từ camera đặt ở vị trí quan sát Vị trí này thường là trước cửa của cơ quan, doanh nghiệp, đây thường là nối vào duy nhất của đơn vị cần được điểm danh Trong trường hợp có nhiều cửa vào cho một đơn vị cần được điểm danh, hệ thống sẽ thiết đặt các camera tại các cổng vào Kết quả điểm danh sẽ là kết quả tổng hợp của các camera tại các vị trí khác nhau

Trong trường hợp người quản lý cần xác định rõ thời gian làm việc của lao động (cần xác định rõ thời gian vào và thời gian ra của một người) thì hệ thống cần thiết đặt hai camera trên một cổng, một camera hướng ra để điểm danh người lao động khi vào

và một camera hướng vào trong để điểm danh người lao động khi ra khỏi khu vực làm

việc Hiệu thời gian của lần ra và lần vào sẽ là thời gian người cần được điểm danh có mặt tại khu vực làm việc

Để đảm bảo hệ thống làm việc hiệu quả, chính xác cần xây dựng các tiêu chuẩn cơ bản để hệ thống làm việc Đây là thiết lập cần thiết để nâng cao tính chính xác và khả năng làm việc của hệ thống Các thiết đặt này xuất phát từ chính các khó khăn tồn tại trong các thuật toán xác định và nhận diện khuân mặt hiện này:

- Các khuôn mặt được chụp thẳng hoặc góc nghiêng không đáng kể (nhỏ hơn hoặc bằng 10o)

- Phông nền của ảnh không quá phức tạp

- Ảnh được chụp trong điều kiện ánh sáng bình thường

- Người được điểm danh không có các vật dụng với độ che phủ cao trên khuôn mặt (kính đen, khẩu trang, râu giả )

- Không mang vác ảnh có mặt người qua khu vực điểm danh (sử dụng ảnh 2D chụp người để điểm danh hộ, hoặc gây nhầm lẫn trong hệ thống)

1.5.3 Đầu ra và ý nghĩa thực tiễn

Bài toán điểm danh với đầu vào là ảnh thu được từ camera, dựa trên công nghệ sinh trắc học nhận diện qua khuôn mặt sẽ trả lại kết quả là một danh sách tên người lao động, trong đó mỗi một đối tượng người lao động tồn tại hai trạng thái là được điểm danh và không được điểm danh Để xác định một đối tượng cần được điểm danh ở trạng thái nào, hệ thống dựa trên một tập các ảnh được lưu trong cơ sở dữ liệu, trong quá trình nhận dạng đối tượng đi qua và nhìn về phía camera Hệ thống nhận diện khuôn mặt thu được từ camera và xác định xem đối tượng có nằm trong danh sách điểm danh hay không, nếu có đối tượng tương ứng được xác định trạng thái là có mặt Ngược lại nếu đối tượng cần điểm danh không xuất hiện trong thời gian điểm danh thì trạng thái của đối tượng tại phiên làm việc đó được xác định trạng thái là “vắng”

Như vậy, đầu ra tổng quát của bài toán là xác định hình ảnh người trong ảnh vào

có tương ứng với một định danh ảnh đã có trong cơ sở dữ liệu hay không Nếu có định dang tương ứng là gì Dựa trên một định danh được cung cấp bởi hệ thống nhận dạng

ta xây dựng chương trình điểm danh với hai trạng thái cơ bản là “vắng” và “có mặt”

Nếu trong phiên làm việc định danh được hệ thống xác nhận thì trạng thái được xác định là có mặt và ngược lại Trong trường hợp cần xác định thời gian làm việc của đối tượng đang theo dõi ta cần xác định thêm tham số thời gian khi đối tượng được hệ thống định danh theo chiều vào và thời gian khi đối tượng được hệ thống định danh theo chiều ra

CHƯƠNG 2: MỘT SỐ KỸ THUẬT PHÁT HIỆN VÀ NHẬN DẠNG KHUÔN MẶT 2.1 Một số kỹ thuật phát hiện mặt người trong ảnh

Vấn đề phát hiện mặt được đưa ra đầu tiên vào những năm 70 với việc sử dụng các kỹ thuật nhân trắc học và các phép heuristic giản đơn Với những kỹ thuật này, ta chỉ có thể đạt được kết quả trong những điều kiện khá chặt, ví dụ như nền ảnh đồng nhất, khuôn mặt chụp thẳng Cho đến ngày nay, cùng với sự phát triển vượt bậc của khoa học kỹ thuật, việc yêu cầu những giới hạn như thế là không còn Tuy nhiên, cùng với những yêu cầu ngày càng cao, thì vấn đề phát hiện mặt người đang phải đối mặt với những khó khăn mới Trong suốt quá trình từ những năm đầu tới nay, đã có rất nhiều các hướng xử lý và tiếp cận khác nhau được đưa ra nhằm giải quyết cho những yêu cầu cụ thể khác nhau của từng giai đoạn, từng ứng dụng cụ thể và cũng có nhiều cách phân loại các phương pháp, hướng tiếp cận này Trong luận văn này, chúng ta sẽ chia các phương pháp và hướng tiếp cận thành hai hướng chính: Hướng tiếp cận dựa trên đặc trưng (Feature - based) và hướng tiếp cận dựa trên ảnh (Image - based)

Các phương pháp kỹ thuật được áp dụng trong phát hiện mặt được thể hiện trong Hình 2.1

Hình 2.1 Sơ đồ các hướng tiếp cận và phương pháp phát hiện mặt người

2.1.1 Hướng tiếp cận dựa trên đặc trưng của ảnh

Phương pháp tiếp cận dựa trên đặc trưng được chia thành 3 vấn đề Giả sử cần phải phát hiện một khuôn mặt trong một nền ảnh lộn xộn, phân tích cấp thấp (low-level analysis) thực hiện phân đoạn các đặc trưng của ảnh dựa trên những thuộc tính điểm ảnh như độ xám hay màu sắc Sự phân đoạn này còn mập mờ và chưa rõ ràng Trong phân tích đặc trưng (feature analysis), các đặc trưng của ảnh được tổ chức thành các đặc trưng khuôn mặt có tính tổng quát hơn dựa trên các đặc tính hình học của

Phát hiện mặt (Face Detection)

Tiếp cận dựa trên đặc trưng

Tìm kiếm đặc trưng

Phân tích chòm sao

Mô hình hình dạng động

Snakes

Mẫu biến đổi

Mô hình phân phối điểm

Tiếp cận dựa trên ảnh

Phương pháp không gian con tuyến tính

Mạng noron

Phương pháp thống kê

bớt, đồng thời vị trí khuôn mặt cùng với các đặc trưng khuôn mặt đã được xác định Tiếp theo là việc sử dụng các mô hình hình dạng (active shape models) Những mô hình này bao gồm từ mô hình con rắn (snakes) (được đề xuất vào những năm 80) cho tới mô hình điểm phân tán (Point Distributed Model - PDM) được đề xuất vào những năm gần đây để trích chọn các đặc trưng phức tạp như mắt, môi…

2.1.1.1 Phân tích mức thấp (Low level analysis)

Người ta gọi là phân tích mức thấp vì việc phân tích ở đây là phân tích dựa trên các đặc trưng rất cơ bản và mang tính trực quan, những đặc trưng đó bao gồm biên ảnh, thông tin đa mức xám, màu sắc, chuyển động, tính đối xứng của khuôn mặt

a Biên ảnh (Edges)

Biên ảnh (Edges) là một trong những thuộc tính quan trọng nhất trong các ứng dụng xử lý ảnh, biên đã được sử dụng trong các ứng dụng phát hiện mặt ngay từ những ngày đầu tiên bởi Sakai và cộng sự Theo đó, các đặc trưng khuôn mặt được xác định dựa trên việc phân tích các đường kẻ của các khuôn mặt trên ảnh Craw và cộng sự sau

đó đã phát triển một giải thuật phân cấp dựa trên công việc của Sakai và cộng sự để tìm các mô tả các đầu người có trong ảnh Trong đó, một thành phần dò tìm đường biên (line-follower) với các ràng buộc về độ cong được sử dụng để tránh các biên nhiễu Các đặc trưng về biên trong các biểu diễn mô tả của đầu người sau đấy được phân tích đặc trưng sử dụng thông tin hình dạng và thông tin vị trí của mặt Gần đây, vấn đề trích chọn đặc trưng mặt sử dụng biên và phát hiện mặt sử dụng biên đã được xây dựng bởi rất nhiều tác giả, trong đó có Brunelli và Poggio (1993), J.Choi, S.Kim

và P.R.Hee (1999), B.K.Low và M.K.Ibrahim (1997) Ngoài ra, biên còn được sử dụng trong việc phát hiện những ảnh mặt người đeo kính (Z.Ling và R.Mariani, 2000

và X Jiang, M Binkert, B Achermann, H Bunke, 2000)

Phát hiện biên là bước đầu tiên trong vấn đề biểu diễn biên Cho tới nay, đã có rất nhiều toán tử phát hiện biên được áp dụng Các vấn đề về biên và phát hiện biên sẽ được trình bày kỹ hơn trong chương sau

Trong phương pháp phát hiện mặt áp dụng biên, các biên phải được gán nhãn và phù hợp với một mẫu mặt nhằm đảm bảo sự phát hiện là đúng đắn Govindaraju đã thực hiện công việc này bằng cách gán nhãn các biên như là bên trái, bên phải, nhìn

thẳng hay là tóc và sau đó phù hợp chúng với một mẫu bằng cách sử dụng tỷ lệ vàng của một khuôn mặt điển hình:

Trong hệ thống của Govindaraju, khi tiến hành kiểm thử 60 ảnh có nền phức tạp bao gồm 90 khuôn mặt, thì thấy khả năng hệ thống có thể phát hiện chính xác là 76% với mức độ trung bình sai 2 mặt/1 ảnh

b Thông tin đa mức xám (Grayscale Information)

Ngoài biên, thông tin đa mức xám trong ảnh cũng có thể được sử dụng như một đặc trưng Một số đặc trưng của khuôn mặt như lông mày, đồng tử hay môi thường tối hơn những vùng mặt xung quanh Thuộc tính này có thể được sử dụng để phân biệt nhiều vùng mặt khác nhau Một số giải thuật trích chọn đặc trưng gần đây thực hiện tìm kiếm vùng cực tiểu địa phương mức xám trong một phân đoạn ảnh mặt Trong những giải thuật này, ảnh đầu vào được cải thiện bằng cách làm tăng độ tương phản (contrast - stretching) và thực hiện các bước biến hình mức xám (gray - scale morphological routine) để làm tăng độ tối của những phần nói trên, do đó làm cho việc phát hiện được dễ dàng hơn Sau đó những vùng tối này được trích chọn bằng phép lấy ngưỡng dưới Bên cạnh đó, Wong và cộng sự tiến hành xây dựng một hệ thống tự động tìm kiếm các vùng tối thuộc mặt thông qua sự phân tích về màu sắc Hệ thống sử dụng một mẫu mắt gán trọng số để xác định các vị trí có thể của cặp mắt

c Màu sắc (Color)

Thông tin mức xám cho phép chúng ta biểu diễn một cách cơ bản các đặc trưng của ảnh, còn thông tin về màu cho phép ta phân biệt hữu hiệu các đối tượng trong ảnh Bởi màu được biểu diễn trong không gian 3 chiều, nên 2 đối tượng có cùng mức xám

sẽ có những thể hiện khác nhau trong không gian màu Người ta đã chứng minh được rằng màu da của con người, dù ở lứa tuổi nào hay ở màu da nào, thì đều phân bố trên một cụm xác định của hệ toạ độ màu

Một trong những hệ toạ độ màu được sử dụng nhiều nhất là hệ toạ độ RGB Theo

đó, mỗi màu được biểu diễn bởi sự kết hợp của các giá trị của 3 thành phần màu: đỏ (Red - R), xanh (Green - G) và xanh lá cây (Blue - B) Bởi các thay đổi chính trong

việc biểu diễn da là bởi sự thay đổi về độ sáng, nên thông thường ta thường sử dụng hệ toạ độ RGB chuẩn hoá, do đó ảnh hưởng của độ sáng được loại bỏ Các thành phần chuẩn hoá được tính bởi:

B G R

B b

B G R

G g

B G R

R r

Do r + g + b = 1 nên trong hệ toạ độ màu chuẩn hoá này ta chỉ cần biết 2 giá trị r

và g, bởi b = 1 – r – g Khi phân tích màu da, histogram màu dựa trên r và g chỉ ra rằng màu của mặt người chỉ chiếm một vùng nhỏ trên histogram Bằng cách so sánh thông tin màu của một điểm ảnh với các giá trị r và g của vùng màu mặt, ta có thể xác định được xác suất thuộc vùng mặt của điểm ảnh đấy

Bên cạnh mô hình RGB, người ta cũng sử dụng một số mô hình khác trong việc phát hiện mặt C.H.Lee, J.S.Kim and K.H.Park, 1996, đã xây dựng một giải thuật sử dụng mô hình HSI do ưu điểm vượt trội của nó trong việc phân biệt các vùng màu của các đặc trưng khác nhau của khuôn mặt Do đó, mô hình HSI được sử dụng trong việc trích chọn các đặc trưng của khuôn mặt như mắt, môi

G.Wei và I.K.Sethi, 1999, sử dụng mô hình YIQ để phát hiện mặt Bằng cách chuyển đổi từ hệ toạ độ RGB sang YIQ, người ta nhận thấy thành phần I - thể hiện sự thay đổi từ màu cam (orange) sang màu lục (cyan), có khả năng cải thiện vùng da của người Á Châu Việc chuyển đổi này cũng làm triệt tiêu các phần nền không phải da và

do đó, giúp cho việc phát hiện các khuôn mặt nhỏ được dễ dàng hơn Ngoài ra, một số

mô hình màu khác cũng được sử dụng trong việc phát hiện mặt, như HSV, YES, CrCb, YUV, CIE-xyz, L*a*b, L*u*v*

d Chuyển động (Motion)

Nếu yêu cầu của việc phát hiện mặt người là trong môi trường ảnh video, thì hợp

lý nhất cho việc phát hiện mặt là sử dụng yếu tố chuyển động Phương pháp đơn giản nhất là sử dụng sự khác biệt giữa các frame Mặc dù phương pháp này tỏ ra khá đơn giản, nhưng nó vẫn có thể phát hiện được sự cử động của các đối tượng trên bất cứ nền

được tách bằng phép lấy ngưỡng đối với sự khác biệt giữa các frame Ngoài các vùng mặt, các nhóm tác giả Luthon và Luevin; Crowley, Berard và Low cũng sử dụng sự khác biệt giữa các frame để xác định các đặc trưng mặt J L Crowley và F Berard,

1997, sử dụng sự khác biệt giữa các frame, xác định ra các vùng ứng viên cho vị trí mặt Sau đó, sử dụng độ dịch chuyển ngang và dọc của 2 vùng ứng viên lân cận nhau

để dự đoán sự xuất hiện của cặp mắt

Một phương pháp khác để xác định độ chuyển động là thông qua sự đánh giá các đường nét cử động (moving contour) So với phương pháp trên, thì phương pháp này

tỏ ra đáng tin cậy hơn, đặc biệt là trong những trường hợp các cử động là không rõ ràng Mc Kenna và cộng sự đã sử dụng một bộ lọc không gian - thời gian Gaussian để phát hiện sự chuyển động của các vùng biên mặt và cơ thể người Quá trình này được thực hiện bằng cách nhân chập ảnh đa mức xám I(x, y) với đạo hàm cấp 2 theo thời gian m(x, y, t) của bộ lọc Gaussian G(x, y, t):

2 3

) , , (x y t u a e a x y u t

) , ,

2 2

t u t

y x

Trong đó: u là hệ số tỷ lệ thời gian và a là độ rộng của bộ lọc

Sau đó, thực hiện nhân chập m(x, y, t) với các frame ảnh:

) , , ( ) , , ( ) , , ( x y t m x y t I x y t

S(x,y,t) chứa các thành phần zero - crossing xác định các chuyển động của biên trong I(x,y,t) Các thành phần zero - crossing sau đó được phân vùng để xác định chính xác vị trí của các chuyển động

e Tiêu chuẩn suy rộng (Generalized Measure)

Các đặc tính trực quan như đường biên, mầu, và chuyển động được đưa ra từ những giai đoạn đầu của hệ thống hình ảnh người (human visual system), được chỉ ra bởi nhiều dạng đáp ứng của mắt Quá trình tiền xử lý này cho phép các thông tin trực quan được tổ chức thành nhiều dạng trước các hoạt động trực quan cấp cao trong bộ não Reifeld và Yeshurun đã giới thiệu một toán tử đối xứng suy rộng dựa vào các thao

tác trên điểm biên Do các đặc trưng mặt có tính đối xứng, toán tử không dựa trên các mức cao của các tri thức tiên nghiệm về khuôn mặt sẽ sinh ra một biểu diễn đưa lại nhiều đáp ứng với các vị trí đặc trưng khuôn mặt Độ đo đối xứng gán một đại lượng cho mọi điểm ảnh trong ảnh dựa trên tác động của các điểm ảnh xung quanh Đại

j i C p

M

,

,



Trong đó: C(i,j) là tác động của điểm ảnh xung quanh i và j (của điểm ảnh p)

trong tập các điểm ảnh  p Biểu đồ các đại lượng đối xứng sẽ chỉ ra vị trí của các điểm ảnh cùng có đặc tính khuôn mặt như mắt và miệng Sử dụng biểu đồ này, Reisfeld và cộng sự đã đạt được tỷ lệ thành công là 95% trong dò tìm vị trí của mặt và miệng của rất nhiều ảnh tương tự nhau trong một cơ sở dữ liệu, các ảnh này đồng thời cũng dựa trên nhiều kiểu nền và xoay theo các hướng khác nhau

Một phương pháp sử dụng tính đối xứng suy rộng khác do Lin và cộng sự thực hiện Lin đã đưa ra một toán tử mặt nạ kép nhằm khai thác đặc tính phân phối đối

xứng xuyên tâm của k, gradient hướng, trên các vùng mặt sáng và tối Tương tự như toán tử của Reisfeld và cộng sự, toán tử mặt nạ kép cũng cố gắng trích chọn ra những đặc trưng của khuôn mặt từ các nền khác nhau và dưới các tư thế khác nhau, nhưng với sự phức tạp thấp hơn so với toán tử của Reisfeld và cộng sự Một toán tử mới và đáng chú ý hơn dựa trên các hình dạng lồi và lõm được Tankus và cộng sự đưa ra gần đây Khác với các cách tiếp cận trước, Tankus và cộng sự sử dụng đạo hàm của

gradient hướng k theo hướng y, được gọi là Y - Phase Theo Tankus và cộng sự Y - Phase của các đối tượng lồi và lõm có đáp ứng mạnh tại các điểm âm của trục x Bởi vì các đặc tính mặt thường có dạng parabol, nên Y - Phase của chúng thường tương tự với Y - Phase của Parabol do đó sinh ra đáp ứng mạnh trên trục x Bằng cách đưa ra một định lý và so sánh Y - Phase của log(log(log(I))) và exp(exp(exp(I))) với I là ảnh, Tankus và cộng sự đã chứng minh rằng Y - Phase là bất biến dưới các điều kiện chiếu sáng khác nhau Các thực nghiệm chuyên sâu hơn đã chứng tỏ rằng toán tử này không phản ứng nhạy với những đường biên dày của các đối tượng không lồi và nền các vùng nền kết cấu (texture backgounds)

2.1.1.2 Phân tích đặc trưng (Feature Analysis)

Các đặc trưng được trích chọn bởi phép phân tích cấp thấp thường không rõ ràng Chẳng hạn, khi xác định vị trí của khuôn mặt sử dụng mô hình màu da, những đối tượng nền có màu tương tự như màu da cũng được xác định là mặt Trong nhiều phương pháp, người ta sử dụng các cấu trúc hình học của mặt để xác định và phân biệt các đặc trưng khác nhau của khuôn mặt trong điều kiện chúng còn chưa rõ ràng Hiện

có 2 phương pháp tiếp cận sử dụng cấu trúc hình học của khuôn mặt Phương pháp thứ nhất sử dụng chiến lược tìm kiếm đặc trưng tuần tự dựa trên vị trí tương đối giữa các đặc trưng của khuôn mặt Sự tin cậy của một đặc trưng được phát hiện được tăng cường bằng cách phát hiện thêm các đặc trưng khác của khuôn mặt xung quanh nó Phương pháp thứ hai nhóm các đặc trưng thành các “chòm sao” (constellation) dựa trên một số mô hình khuôn mặt khác nhau

a Tìm kiếm đặc trưng

Kỹ thuật tìm kiếm đặc trưng bắt đầu bằng việc xác định các đặc trưng nổi bật của khuôn mặt Sau khi phát hiện được các đặc trưng nổi bật, dựa trên kỹ thuật nhân trắc học về cấu trúc hình học của khuôn mặt, ta có thể dự đoán được các đặc trưng khác kém nổi bật hơn Chẳng hạn, với trường hợp “một vùng nhỏ nằm trên một vùng lớn hơn trong bối cảnh có đầu và vai” là thể hiện “đầu người nằm trên vai” và một cặp vùng tối tìm thấy trong vùng nhỏ sẽ làm tăng khả năng vùng nhỏ vừa tìm được là một mặt Thông thường, đặc trưng được sử dụng để làm tăng xác suất xuất hiện mặt là cặp mắt bởi chúng luôn xuất hiện cạnh nhau Các đặc trưng khác cũng được sử dụng cho mục đích này là trục đối xứng của mặt, đường nét của đầu và phần thân

Giải thuật trích chọn đặc trưng khuôn mặt xây dựng bởi De Silva và cộng sự là một ví dụ điển hình cho phương pháp tìm kiếm đặc trưng Giải thuật bắt đầu bằng việc phỏng đoán vị trí đỉnh đầu và giải thuật tìm kiếm bắt đầu duyệt từ vị trí đấy đi xuống nhằm tìm vị trí của đôi mắt Sự hiện diện của cặp mắt được xác định bằng sự tăng đột ngột mật độ các biên Khoảng cách giữa đỉnh đầu và trục mắt được sử dụng như một khoảng cách tham khảo Sử dụng khoảng cách này, một mẫu mặt bao gồm các đặc trưng của khuôn mặt như mắt, miệng được khởi tạo từ ảnh đầu vào Mẫu đầu tiên được khởi tạo dựa trên kiến thức nhân trắc học, khoảng cách tham khảo nói trên và một số khuôn mặt có sẵn trong cơ sở dữ liệu của hệ thống

Khoảng cách nhân trắc trung bình được sử dụng trong thực nghiệm của De Silva:

Chiều cao của đầu

Độ phân tách của mắt

Mắt đến mũi

Mắt Đến miệng Khoảng cách

Bảng 2.1 Khoảng cách trung bình trong thuật toán của De Silva

Thuật toán của De Silva đạt được độ chính xác là 82% (khoảng 30 ảnh trong cơ

sở dữ liệu) với tất cả các đặc trưng của các ảnh đầu và vai gần như nhìn thẳng (có độ lệch ± 300) trên nền thuần nhất Mặc dù thuật toán đã cố gắng để dò tìm đặc tính khuôn mặt của các chủng tộc người khác nhau vì thuật toán không dựa trên các thông tin về mức xám và màu da, nhưng thuật toán đã không thể tìm kiếm chính xác các ảnh mặt người đeo kính hoặc có tóc che lên trán

Jeng và cộng sự đã đề xuất một hệ thống tìm kiếm mặt và các đặc tính mặt cũng dựa trên các khoảng cách nhân trắc học Trong hệ thống này, các vị trí có khả năng chứa mặt được xác định từ trước thông qua xác định vị trí của cặp mắt dựa trên các ảnh tiền xử lý được nhị phân hoá Với mỗi vùng ảnh có khả năng chứa cặp mắt, thuật toán sẽ tiếp tục dò tìm vị trí của mũi, miệng và lông mày Mỗi đặc tính của mặt có một hàm lượng giá đi kèm được sử dụng để xác định vùng có khả năng cao nhất là mặt:

E = 0.5Emắt + 0.2EMiệng + 0.1ELông mày trái + 0.1ELông mày phải + 0.1EMũi

Với hệ thống này, tỉ lệ tìm kiếm thành công được thông báo là 86% trên tập dữ liệu 114 ảnh chụp trong điều kiện chụp ảnh được điều chỉnh, nhưng được đặt theo các hướng khác nhau và trên các nền ảnh lộn xộn

Một thuật toán tự động tìm kiếm các đặc trưng mặt GAZE được đề xuất bởi Herper và cộng sự dựa trên nguyên lý về chiến lược chuyển động của mắt trong các hệ thống hình ảnh người (Human Vision System) Cơ chế trung tâm của thuật toán là cơ chế theo dõi cục bộ trong đó xem xét tuần tự các vùng có khả năng chứa các đặc trưng nổi bật nhất Sau đó, một biểu diễn theo dạng đa mức xám của các đặc trưng nổi bật được sinh ra sử dụng bộ lọc Gaussian đa hướng Các đặc trưng nổi bật nhất (với biểu diễn độ nổi bật lớn nhất) được trích ra sử dụng các đánh giá từ thô đến tinh trên biểu

đồ biểu diễn độ nổi bật Bước tiếp theo của thuật toán là bước cải thiện trong đó độ nổi bật của các vùng đã được trích ra sẽ bị giảm đi trong khi độ nổi bật của đặc trưng có thể tiếp theo được gia tăng trong bước lặp kế tiếp Bằng cách áp dụng thuật toán lặp đi lặp lại trên 50 ảnh mặt nhìn thẳng có độ phân giải cao (không có ảnh nền) Helper và cộng sự đã thông báo tỉ lệ dò tìm cặp mắt thành công là 98% chỉ trong ba lần lặp đầu tiên Các vùng đặc tính mặt tiếp theo như mũi và miệng cũng được tìm ra trong các lần lặp tiếp theo Vì các ảnh mặt dùng để thử nghiệm trong thuật toán chứa các ảnh mặt theo các hướng khác nhau và có sự thay đổi nhỏ về điều kiện chiếu sáng và tỉ lệ, nên tỉ

lệ tìm kiếm mặt thành công cao như vậy chỉ ra rằng thuật toán không phụ thuộc vào các biến đổi của ảnh mặt Hơn nữa, không giống như các thuật toán khác, thuật toán này không dựa trên thông tin cụ thể liên quan đến các đặc tính mặt

Chiến lược chuyển động của mắt như trên cũng là cơ sở của thuật toán được đề xuất bởi Smeraldi và cộng sự, trong đó một mô tả về đích tìm kiếm (cặp mắt) được xây dựng bởi đáp ứng Gabor trung bình từ một lưới lấy mẫu võng mạc đặt tại cặp mắt của đối tượng trong tập mẫu Các hàm Gabor hai chiều được sử dụng theo 6 hướng và 5 tần số khác nhau dùng trong trích chọn đặc trưng Hàm Gabor nhỏ nhất được sử dụng

ở trung tâm của lưới lấy mẫu trong khi hàm lớn nhất được sử dụng tại các vùng lệch ra bên ngoài tại đó có các mẫu rời rạc nhất Để tìm kiếm cặp mắt, một thuật toán tìm kiếm dựa trên chuyển động mắt được sử dụng trong đó lưới mẫu được đặt tại một vị trí ngẫu nhiên trong mặt và sau đó chuyển dần tới các vị trí mà khoảng cách Euclide giữa các điểm trong lưới mẫu và các điểm trên đích tìm kiếm là nhỏ nhất Lưới mẫu sẽ được chuyển dịch vòng quanh cho đến khi độ dịch chuyển nhỏ hơn một ngưỡng định trước Nếu đích không được tìm ra (có thể rơi vào trường hợp quá trình tìm kiếm xuất phát từ một vùng trống trong ảnh) thì một điểm ngẫu nhiên mới sẽ được sử dụng Smeraldi và cộng sự đã thông báo tìm kiếm chính xác vị trí cặp mắt của toàn bộ một

cơ sở dữ liệu chứa 800 ảnh nhìn thẳng Bên cạnh Smeraldi, đáp ứng Gabor cũng được

sử dụng nhiều trong tìm kiếm mặt và các đặc tính mặt

Các phương pháp tiếp cận khác được đề xuất để tìm kiếm đặc tính mặt còn bao gồm phương pháp hàm bán kính cơ sở và phương pháp sử dụng thuật toán tiến hoá

b Phân tích chòm sao

Một số giải thuật được đề cập tới trong phần trên dựa chủ yếu vào các thông tin heuristic có được từ việc mô hình hoá các khuôn mặt khác nhau trên những điều kiện

cụ thể Nếu như vấn đề đặt ra tổng quát hơn, chẳng hạn như xác định các khuôn mặt ở nhiều tư thế trong một nền ảnh phức tạp, thì phần lớn trong số những giải thuật trên sẽ gặp thất bại do tính cứng nhắc của chúng Các kỹ thuật phát hiện mặt sau này đã cố gắng linh động hơn bằng cách nhóm các đặc trưng trong khuôn mặt, tương tự như các chòm sao, bằng cách sử dụng các phương pháp mô hình hoá tốt hơn, chẳng hạn như phương pháp thống kê

Có khá nhiều loại chòm sao đã được đề xuất Burl và cộng sự sử dụng mô hình thống kê các đặc trưng được phát hiện bởi bộ lọc Gaussian Mô hình thống kê về sắp xếp không gian của các đặc trưng cho phép giải thuật có khả năng phát hiện tốt hơn trong những điều kiện bị thay đổi về thể hiện (thiếu đặc trưng, đầu nghiêng…) Các

mô hình mặt thống kê cũng được sử dụng trong nhiều giải thuật Theo đó, mặt được phân thành nhiều lớp dựa trên các góc nhìn khác nhau Sau đó, với mỗi lớp mặt này, lại được phân nhỏ hơn nữa thành các thành phần đặc trưng Trong quá trình phát hiện mặt, các đặc trưng mặt được phát hiện bởi các phép xử lý cấp thấp (low - level), sau đó được nhóm lại Quá trình nhóm này được thực hiện cao dần, cho tới khi phát hiện được ảnh

Các phương pháp mô hình thống kê mặt dựa trên sự xuất hiện nhiều mặt cũng đã được đề xuất Trong mô hình của Yow và Cipolla, các khuôn mặt được phân loại ra thành một vài lớp mặt nhỏ có sự tương đồng theo một cách nhìn nào đó Các lớp này sau đó lại được tiếp tục phân lớp thành các lớp thành phần đặc trưng Sau khi các đặc trưng mặt được xác định từ các xử lý mức thấp dựa trên biên, sự phân lớp sau đó sẽ cho phép các lớp mặt khác nhau được xác định một cách phân cấp bắt đầu từ phía thấp nhất của sự phân lớp các mặt Phép phân lớp sẽ làm giảm đi một cách hiệu quả các đặc trưng không chính xác sinh ra do nền không đồng nhất Một mạng Bayes sẽ cho phép kết hợp tổng quát các tìm kiếm riêng biệt của tất cả các lớp và làm cho giả thiết về vùng mặt được đảm bảo với độ tin cậy cao Một tỉ lệ dò tìm 92% được thông báo trên thí nghiệm với 100 ảnh chụp trong khung cảnh phòng thí nghiệm Thuật toán có thể giải quyết được các biến đổi nhỏ trong tỉ lệ, hướng và điểm nhìn của từng mặt đồng thời với sự các trường hợp có kính và thiếu đặc trưng Với cùng một chiến lược tìm

kiếm như của Yow và Cipolla và với một số khác biệt nhỏ về mô hình mặt và bộ dò tìm đặc trưng, Sumi và cộng sự đã đề xuất một hệ thống trong đó các thành phần mặt được xử lý bởi các tác tử song song dựa trong một mạng phân tán Hệ thống này cũng đạt được tỉ lệ thành công cao (94%) trong dò tìm các khuôn mặt khác nhau

Trong hệ thống của Maio và Maltoni, các ảnh đầu vào được chuyển thành một ảnh hướng sử dụng toán tử dạng gradient qua một cửa sổ cục bộ (7x7 điểm ảnh) Từ ảnh hướng này, họ đã áp dụng phương pháp dò tìm mặt hai giai đoạn trong đó sử dụng phép biển đổi Hough suy rộng và một tập 12 mẫu nhị phân biểu diễn các nhóm mặt Phép biến đổi Hough suy rộng được sử dụng để sinh ra các vùng mặt ứng viên thông qua việc tìm kiếm các đường elip Các vùng ứng viên sau đó được đưa vào giai đoạn phù hợp mẫu để quyết dịnh vùng đó là mặt hay không Bởi vì tính hiệu quả trong cài đặt và các vấn đề về thiết kế, đây là một hệ thống dạng thời gian thực Maio và Maltoni đã thông báo dò tìm chính xác 69 trên 70 ảnh mà không gặp cảnh báo lỗi nào Các ảnh mẫu được sử dụng chứa một mặt với các kích cỡ mặt và dạng của vùng nền thay đổi khác nhau Phép biến đổi Hough suy rộng cũng đã được sử dụng trong hệ thống của Schubert

Hình 2.2 Hệ thống tìm kiếm mặt của Maio và Maltoni

Trong các hệ thống nhận dạng, một trong các kỹ thuật được sử dụng rộng rãi là phương pháp đối sánh đồ thị Các đồ thị lưu trữ thông tin đặc trưng cục bộ vào các vectơ đặc trưng tại các đỉnh và các thông tin hình học vào các cạnh (nối kết các đỉnh)

Một vài hệ thống sử dụng phương pháp đối sánh đồ thị gần đây được thiết kế liên quan đến tìm kiếm khuôn mặt tự động nhưng nhiệm vụ này không phải là mục đích chính của toàn bộ hệ thống, vì vậy chỉ có một số kết quả định lượng mở rộng được báo cáo dựa trên nhiệm vụ tìm kiếm khuôn mặt Một phương pháp tiếp cận tương tự dựa trên đối sánh đồ thị cũng được áp dụng trong tìm kiếm khuôn mặt trong thuật toán Mạng khả năng (Potential Net) của Bessho và cộng sự

2.1.1.3 Mô hình hình dạng động (Active shape models)

Đây là mô hình thời gian thực hiệu quả và là thành tựu quan trọng của hướng tiếp cận dựa vào phân tích đặc trưng Mô hình dựa vào tính chất vật lý thật sự và sự xuất hiện mức cao của các đặc trưng Một khi được đưa ra với một mức độ tương tự với đặc trưng, một mô hình hình dạng tích cực như vậy sẽ tương tác với các đặc trưng ảnh cục

bộ (như đường biên, độ sáng) và gần như biến dạng để đạt được hình dạng của các đặc trưng Hiện tại, có khoảng 3 dạng mô hình hình dạng tích cực được nghiên cứu trong lĩnh vực trích chọn các đặc trưng mặt Dạng thứ nhất sử dụng khái niệm đường nét tổng quát và có tên là con rắn (snake), được đưa ra đầu tiên bởi Kass và cộng sự vào năm 1987 Dạng mẫu có thể biến đổi (deformable template) được đưa ra bởi Yuille và cộng sự trong đó quan tâm tới mức độ ưu tiên của các đặc tính mặt và nhằm hướng tới hiệu năng cao hơn dạng con rắn Dạng thứ ba được Cootes và cộng sự đề xuất sử dụng

mô hình mềm dẻo tổng quát mới có tên là con rắn thông minh (smart snake) và PDM

để cung cấp một phương tiện hiệu quả xác định mặt người Mô hình của Cootes và cộng sự dựa trên tập hợp các điểm được gán nhãn chỉ cho phép biến đổi theo một vài hình dạng dựa trên quá trình học

a Mô hình dạng con rắn (Snake)

Được sử dụng để xác định đường bao của đầu Để thực hiện việc này, một con rắn ban đầu được khởi tạo tại một vùng lân cận xung quanh vùng biên đầu Sau đó co dần về phía các đường biên và đưa ra hình dạng giả định của vùng đầu Sự tiến hoá của con rắn được thực hiện thông qua việc cực tiểu hoá một hàm năng lượng Esnake (tương tự với các hệ thống vật lý) và được biểu diễn như sau:

Esnake= Ebên trong+ Ebên ngoài