LUẬN văn THẠC sĩ HAY phát hiện và nhận dạng khuôn mặt từ camera, ứng dụng trong điểm danh

Ứng dụng khả năng phân biệt dựa trên các đặc điểm khác nhau của khuôn mặt, bài toán “Phát hiện và nhận dạng khuôn mặt từ camera, ứng dụng trong điểm danh” là bài toán có khả năng ứng dụ

Trang 1

Số hoỏ bởi Trung tõm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn

đại học thái nguyên Trường đại học công nghệ thông tin và truyền thông

NGUYỄN THẾ THỤY

PHÁT HIỆN VÀ NHẬN DẠNG KHUễN MẶT

TỪ CAMERA, ỨNG DỤNG TRONG ĐIỂM DANH

LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH

THÁI NGUYấN - 2015

LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com

Trang 2

Số hoá bởi Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn

LỜI CAM ĐOAN

Tôi - Nguyễn Thế Thụy xin cam đoan những nội dung trình bày luận văn này là kết quả tìm hiểu, nghiên cứu của bản thân dưới sự hướng dẫn của TS Nguyễn Văn Tảo và tham khảo từ các nhà nghiên cứu đi trước Nội dung tham khảo, kế thừa, phát triển từ các công trình đã được công bố được trích dẫn, ghi rõ nguồn gốc

Nếu có gì sai phạm tôi xin hoàn toàn chịu trách nhiệm

Người cam đoan

Nguyễn Thế Thụy

Trang 3

Em xin gửi lời cảm ơn chân thành tới TS Nguyễn Văn Tảo đã tận tình giúp đỡ, hướng dẫn và chỉ bảo trong quá trình thực hiện luận văn

Em xin chân thành cảm ơn tới quý Thầy, Cô giáo đang công tác tại Viện Công nghệ thông tin Việt Nam, Trường Đại học Công nghệ thông tin và Truyền thông Thái Nguyên

đã tận tình chỉ bảo, truyền đạt những kiến thức qúy báu giúp em hoàn thành nhiệm vụ học tập trong suốt thời gian theo học tại trường Quý Thầy Cô đã giúp em có được những kiến thức quan trọng trong lĩnh vực Công nghệ thông tin, là nền tảng vững chắc cho những nghiên cứu của bản thân trong thời gian tới

Em xin cảm ơn các đồng nghiệp đã giúp đỡ, ủng hộ tinh thần trong thời gian em tham gia học tập và nghiên cứu

Cuối cùng, em xin cảm ơn tất cả những người đã luôn luôn quan tâm, sẻ chia và động viên em

Thái Nguyên, ngày 17 tháng 07 năm 2015

Nguyễn Thế Thụy

Trang 4

MỤC LỤC

LỜI CAM ĐOAN 1

LỜI CẢM ƠN 3

DANH MỤC CÁC HÌNH VẼ 6

LỜI MỞ ĐẦU 7

CHƯƠNG 1: SINH TRẮC HỌC VÀ BÀI TOÁN NHẬN DẠNG KHUÔN MẶT ỨNG DỤNG TRONG ĐIỂM DANH 8

1.1 Tổng quan về sinh trắc học 8

1.1.1 Hệ thống sinh trắc học 10

1.1.1.1 Hệ thẩm định (Verification) 10

1.1.1.2 Nhận dạng (Identification, Recognition) 11

1.1.1.3 Các thành phần chức năng chủ yếu 11

1.1.1.4 Hoạt động của hệ thống 11

1.1.2 Đánh giá hiệu năng và chất lượng hoạt động của hệ sinh trắc học 11

1.1.3 Hệ thống an ninh bảo mật dựa trên sinh trắc học 13

1.2 Phát hiện và nhận dạng khuôn mặt 13

1.3 Những khó khăn và thách thức trong bài toán nhận dạng khuôn mặt 16

1.4 Các ứng dụng của bài toán nhận dạng khuôn mặt 16

1.5 Bài toán điểm danh dựa trên khuôn mặt 18

1.5.1 Bài toán điểm danh và quản lý nhân sự 18

1.5.2 Đầu vào của bài toán 19

1.5.3 Đầu ra và ý nghĩa thực tiễn 20

CHƯƠNG 2: MỘT SỐ KỸ THUẬT PHÁT HIỆN VÀ NHẬN DẠNG KHUÔN MẶT21 2.1 Một số kỹ thuật phát hiện mặt người trong ảnh 21

2.1.1 Hướng tiếp cận dựa trên đặc trưng của ảnh 22

2.1.1.1 Phân tích mức thấp (Low level analysis) 23

2.1.1.2 Phân tích đặc trưng (Feature Analysis) 27

2.1.1.3 Mô hình hình dạng động (Active shape models) 33

2.1.2 Hướng tiếp cận dựa trên ảnh (Image based detection) 37

2.1.2.1 Phương pháp không gian con tuyến tính (Linear subspace methods) 38 2.1.2.2 Mạng neural 41

2.1.2.3 Phương pháp thống kê (Statistical approachs) 44

Trang 5

2.2 Một số kỹ thuật nhận dạng khuôn mặt 47

2.2.1 Phương pháp phân tích thành phần chính (PCA) 48

2.2.2 Phương pháp phân tách tuyến tính (LDA) 49

2.2.3 Phương pháp mạng neural 52

CHƯƠNG 3: CÀI ĐẶT THỬ NGHIỆM 54

3.1 Yêu cầu thực nghiệm, ứng dụng 54

3.2 Phân tích lựa chọn giải pháp, công cụ 55

3.3 Một số kết quả cài đặt thực nghiệm 56

3.3.1 Giao diện của chương trình 56

3.3.2 Một số kết quả điểm danh dựa trên khuôn mặt 60

KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 64

TÀI LIỆU THAM KHẢO 65

Trang 6

DANH MỤC CÁC HÌNH VẼ

Hình 1.1 Các đặc trưng sinh trắc phổ biến 8 Hình 1.2 Mô hình hệ thống sinh trắc học 9 Hình 1.3 Các giá trị ngưỡng của FAR và FRR 11

Hình 1.4 Mô hình hệ thống nhận dạng mặt người Error! Bookmark not defined

Hình 2.1 Sơ đồ các hướng tiếp cận và phương pháp phát hiện mặt người Error!

Bookmark not defined

Hình 2.2 Hệ thống tìm kiếm mặt của Maio và Maltoni Error! Bookmark not defined

Hình 2.3 Một số không gian riêng của CSDL ảnh ORL 38

Hình 2.4 Mô hình mạng neural của Rowley và cộng sựError! Bookmark not defined

Hình 2.5 Hệ thống nhận dạng khuôn mặt Error! Bookmark not defined

Hình 2.6 Ví dụ minh họa LDA 47 Hình 2.7 Ảnh sau khi biến đổi theo LDA 49

Hình 2.8 Mạng neural 2 lớp truyền thẳng Error! Bookmark not defined

Hình 3.1 Quy trình hoạt động của hệ thống điểm danh dựa trên khuôn mặt …Error! Bookmark not defined Hình 3.2 Giao diện chính của chương trình Error! Bookmark not defined

Hình 3.3 Hình ảnh từ camera và xử lý tương ứng Error! Bookmark not defined

Hình 3.4 Giao diện quản lý danh sách điểm danh và điểm danhError! Bookmark not defined

Hình 3.5 Giao diện quản lý danh sách ảnh 60 Hình 3.6 Cơ sở dữ liệu ảnh 60 Hình 3.7 Giao diện các lựa chọn trên thanh thực đơn 61

Trang 7

Công nghệ sinh trắc học được áp dụng phổ biến và lâu đời, trong đó phương pháp

sử dụng nhận dạng khuôn mặt là tự nhiên nhất Phương pháp này được chính bản thân con người sử dụng từ khi được sinh ra để phân biệt giữa người này và người khác

Ứng dụng khả năng phân biệt dựa trên các đặc điểm khác nhau của khuôn mặt, bài

toán “Phát hiện và nhận dạng khuôn mặt từ camera, ứng dụng trong điểm danh” là

bài toán có khả năng ứng dụng cao với chi phí thấp được áp dụng trong các cơ quan, doanh nghiệp

Với sự hỗ trợ của camera, máy tính và phần mềm điểm danh, nhà quản lý thu được thông tin về sự có mặt và thời gian làm việc của người lao động một cách chính xác và khách quan với chi phí thấp Việc áp dụng nhận dạng khuôn mặt có thể được sử dụng một cách độc lập với ưu điểm hơn các phương pháp sinh trắc học khác ở tính tự nhiên của nó, đồng thời đây cũng có thể là một phương pháp được sử dụng kết hợp với các phương pháp sinh trắc khác để nâng cao tính chính xác của hệ thống khi vận hành

Chính vì tầm quan trọng của phát hiện, nhận dạng khuôn mặt nói riêng và công

nghệ sinh trắc nói chung, tôi thực hiện đề tài “Phát hiện và nhận dạng khuôn mặt từ

camera, ứng dụng trong điểm danh” với mục tiêu tìm hiểu các thuật toán phát hiện

và nhận dạng khuôn mặt người từ đó xây dựng chương trình điểm danh dựa trên khuôn mặt Tôi hy vọng đề tài này sẽ đem lại một số kiến thức hữu ích cho những ai quan tâm đến vấn đề về phát hiện và nhận dạng khôn mặt cũng như lĩnh vực sinh trắc học

Nội dung luận văn được chia làm 3 phần chính: Chương 1 trình bày khái quát về quản lý học viên và bài toán điểm danh, trong đó nêu rõ đầu vào và đầu ra của bài toán cũng như ứng dụng thực tiễn của bài toán Chương 2 là những nghiên cứu, tìm hiểu về các thuật toán phát hiện và nhận dạng khuôn mặt Chương 3 trình bày thực nghiệm và ứng dụng của chương trình điểm danh dựa trên nhận dạng khuôn mặt Phần cuối cùng

là kết luận và hướng phát triển tiếp theo của luận văn

Trang 8

CHƯƠNG 1: SINH TRẮC HỌC VÀ BÀI TOÁN NHẬN DẠNG KHUÔN

MẶT ỨNG DỤNG TRONG ĐIỂM DANH 1.1 Tổng quan về sinh trắc học

Sinh trắc học hay công nghệ sinh trắc học (thuật ngữ khoa học là Biometric) là công nghệ sử dụng những thuộc tính vật lý, đặc điểm sinh học riêng của mỗi cá nhân như vân tay, mống mắt, khuôn mặt để nhận diện Thuật ngữ sinh trắc học (Biometric) được dùng ghép theo tiếng Hy Lạp từ 2 từ: Bio (thuộc về thực thể sinh vật sống) và metriko (kỹ thuật độ đo, đo lường), thuật ngữ này đã được hình thành trong quá trình phát triển loài người và được biết đến từ lâu để thể hiện các đặc trưng về thể chất hay về hành vi của từng cá thể con người Có nhiều loại đặc trưng sinh trắc học:

vân tay (Fingerprint), lòng bàn tay (Palm print), dạng hình học bàn tay (Hand geometry), chữ ký viết tay (Hand written Signature), khuôn mặt (Face), tiếng nói (Voice), con ngươi mắt (Iris), võng mạc (Retina) Những đặc trưng này đã được phát hiện từ rất sớm để nhận dạng, xác thực chủ thể con người và hiện nay đang được quan tâm nghiên cứu triển khai ứng dụng trong các lĩnh vực an ninh, quốc phòng, thương mại, công nghiệp, dịch vụ Các đặc trưng sinh trắc học của cơ thể người được sử dụng phải đảm bảo các tiêu chuẩn sau đây: [1]

- Tính rộng rãi: là tính chất cho biết thông thường mọi người đều có đặc trưng này,

có thể tạo ra khả năng sử dụng hệ thống an ninh sinh trắc học cho một số lượng người lớn

- Tính phân biệt: là tính chất phân biệt đặc trưng sinh trắc học giữa hai người bất

kỳ phải khác nhau, đảm bảo sự duy nhất của chủ thể sinh trắc

- Tính ổn định: là tính chất mà đặc trưng sinh trắc phải có tính ổn định trong một thời gian tương đối dài

- Tính dễ thu thập: là tính chất đặc trưng sinh trắc học phải dễ dàng thu nhận mẫu khi đăng ký, kiểm tra xác thực, nâng cao tính khả thi trong sử dụng

- Tính hiệu quả: là tính chất mà việc xác thực sinh trắc phải chính xác, nhanh chóng và tài nguyên cần sử dụng được chấp nhận

- Tính chấp nhận được: là tính chất mà quá trình thu thập mẫu sinh trắc phải được

sự đồng ý của người dùng

Trang 9

- Chống giả mạo: là tính chất ưu việt của việc sử dụng đặc trưng sinh trắc, khả năng mẫu sinh trắc khó bị giả mạo cao

Hình 1.1 Các đặc trưng sinh trắc phổ biến

Đã có rất nhiều đặc trưng sinh học khác nhau đã và đang được sử dụng Mỗi loại đặc trưng sinh trắc có điểm mạnh và điểm yếu riêng Tuy nhiên không một đặc trưng nào thỏa mãn tốt và đầy đủ tất cả các yêu cầu tính chất của một đặc trưng sinh trắc học nêu trên, nghĩa là không có một đặc trưng sinh trắc học hoàn toàn tối ưu Trong một công trình nghiên cứu, các chuyên gia đã đưa ra một bảng so sánh khái quát các tiêu chuẩn đánh giá các tính chất tương ứng các đặc trưng sinh trắc học sau đây: [1]

Bảng 1.1: So sánh các công nghệ nhận dạng sinh trắc học

Đặc trưng sinh trắc học

Tính rộng rãi

Tính phân biệt

Tính

ổn định

Tính dễ thu thập

Tính hiệu quả

Tính chấp nhận được

Chống giả mạo

Trong đó: Các ký hiệu có ý nghĩa như sau: H (cao), M (trung bình) và L (thấp)

Trang 10

hệ nhận dạng (Identification, Recognition) [1]

1.1.1.1 Hệ thẩm định (Verification)

Hệ thẩm định (Verification) là hệ thống thực hiện nhiệm vụ đối sánh 1-1 giữa mẫu sinh trắc học thu nhận được (biometric sample) với mẫu dạng sinh trắc học (biometric template) đã có trong hệ thống từ trước Kết quả trả lời câu hỏi mẫu sinh trắc thu nhận có liên quan tới mẫu dạng sinh trắc hay không? Thông thường trong hệ thẩm định có kết hợp với thông tin định danh chủ thể để thực hiện chức năng xác thực

Trang 11

thẩm định sinh trắc (Authentication) Trong hệ xác thực thẩm định đòi hỏi cao về độ chính xác để kết quả trả lời câu hỏi “Sinh trắc học sống thu nhận được (biometric sample) có phải là sinh trắc của chủ thể đã lưu trong hệ thống không?” [1]

1.1.1.2 Nhận dạng (Identification, Recognition)

Hệ nhận dạng (Identification, Recognition) là hệ thống thực hiện chức năng tìm kiếm (1-n) từ một cơ sở dữ liệu lưu trữ một tập các mẫu sinh trắc học để tìm ra một mẫu sinh trắc cụ thể trong các mẫu khuôn dạng sinh trắc thu thập từ trước và sau đó thực hiện đối sánh xấp xỉ để nhận dạng phân lớp (Classification) hoặc nhận dạng đồng nhất (Identification), ví dụ như việc tìm mẫu vân tay tội phạm trong hồ sơ các vân tay,

từ đó xác định danh tính của chủ sở hữu vân tay [1]

Hoạt động của một hệ thống sinh trắc bao gồm 2 giai đoạn cơ bản sau đây:

- Đăng ký (Enrollment): là giai đoạn đăng ký mẫu sinh trắc vào hệ thống

- Thẩm định hoặc nhận dạng (Verification/Identification): là giai đoạn thẩm định, nhận dạng mẫu sinh trắc vừa trích chọn với khuôn mẫu sinh trắc đã có trước

1.1.2 Đánh giá hiệu năng và chất lượng hoạt động của hệ sinh trắc học

Một hệ sinh trắc học khi hoạt động thường gặp hai vấn đề về lỗi sau đây:

Trang 12

- Lỗi phát sinh khi đối sánh mẫu sinh trắc của hai người khác nhau nhưng cho kết quả là của cùng một người Lỗi này được gọi là loại bỏ sai (false reject hay false match)

- Lỗi phát sinh khi đối sánh hai mẫu sinh trắc của cùng một người nhưng cho kết quả sai, vì cho rằng là của hai người khác nhau Lỗi này được gọi là chấp nhận sai (false accept hay false nonmatch) Để đo lường mức độ lỗi của hệ thống sinh trắc, các độ đo lường thường dùng được định nghĩa như sau:

- FMR (False Match Rate): còn gọi là FAR (False Accept Ratio) - Tỷ số chấp nhận sai: cho biết tỉ lệ trả lời là đúng đối với dữ liệu vào là sai

- FNMR (False Nonmatch Rate): còn gọi là FRR (False Rejection Ratio)

- Tỷ số từ chối sai: cho biết tỉ lệ trả lời là sai đối với dữ liệu vào là đúng

Một vấn đề là hai độ đo lường này có sự ràng buộc với nhau như sau: nếu FAR cao thì FRR sẽ giảm tương đối và ngược lại Mức độ chấp nhận được của FAR và FRR tùy thuộc vào từng hệ xác thực sinh trắc cụ thể Với hệ yêu cầu tính bảo mật cao,

và đặt nặng vấn đề an toàn của xác thực hơn sự tiện dụng của người dùng, thì FAR sẽ nhỏ và FRR sẽ cao Ngoài hai độ đo trên, người ta còn sử dụng độ đo FTC (Failure To Capture - thu nhận mẫu thất bại) và FTE (Failure to Enroll - chấp nhận mẫu thất bại)

để đánh giá hiệu năng của hệ xác thực sinh trắc học [1]

Hình 1.3 Các giá trị ngưỡng của FAR và FRR [3]

Trang 13

1.1.3 Hệ thống an ninh bảo mật dựa trên sinh trắc học

Hệ thống sinh trắc học có những ưu điểm mà hệ bảo mật thông thường không

có, trong những cuộc nghiên cứu hệ thống an ninh, bảo mật dựa trên hệ sinh trắc học (Biometric Security System) đã được quan tâm nghiên cứu và đưa vào ứng dụng thực tiễn Hướng nghiên xây dựng hệ thống trên cơ sở kết hợp hệ thống sinh trắc học với hệ mật mã (Biometric Cryptosystem) đang là vấn đề thời sự được quan tâm nghiên cứu phát triển Sự kết hợp này nhằm mục tiêu nâng cao tính an toàn của hệ mật mã dựa trên các ưu điểm của hệ thống sinh trắc học Hệ thống an ninh, bảo mật sinh trắc học (Biometric based Security System) dựa trên sự nhận biết hoặc thẩm định các đặc trưng

về thể chất hay về hành vi con người để nhận dạng, xác thực từng chủ thể Cùng với sự phát triển nhanh chóng của CNTT và truyền thông, hệ thống an ninh dựa trên nhận dạng, thẩm định xác thực sinh trắc học đã và đang được quan tâm nghiên cứu và có nhiều triển khai ứng dụng trong những năm gần đây trên thế giới Đối với các giao dịch điện tử và truyền thông, đây là một trong các hướng tiếp cận mới về an ninh thông tin và mạng, an toàn dữ liệu Phương pháp này mở ra triển vọng lớn về an toàn trong các giao dịch điện tử, chính phủ điện tử, thương mại điện tử [1]

Các lĩnh vực nghiên cứu về hệ thống an ninh sinh trắc học (Biometric Security Systems)

- Các các nghiên cứu cơ bản về các loại sinh trắc học, về phương pháp trích chọn đặc trưng sinh trắc và về nhận dạng, thẩm định xác thực chủ thể con người

- Các hệ nhận dạng, thẩm định xác thực sinh trắc học chủ thể trong hệ thống

- Mật mã sinh trắc học (Biometric Cryptography) Trong hệ mật mã thông thường, điểm yếu thường ở quá trình bảo vệ, quản lý và phân phối khóa Nguy cơ này đe dọa các mục tiêu về xác thực và chống phủ nhận Hệ sinh trắc học được ứng dụng giải quyết vấn đề đó Hiện nay có hai hướng tiếp cận để kết hợp sinh trắc học và mật mã học như sau: [1]

- Dùng sinh trắc học quản lý khóa (biometric-based key release)

- Dùng sinh trắc học để tạo khóa (biometric-based key generation)

Trang 14

trong đoạn video đó dựa trên một tập cho trước các dữ liệu về các mặt người đã biết

Giải pháp cho vấn đề này bao gồm bốn vấn đề: phát hiện các mặt người từ ảnh (video), trích chọn đặc trưng từ vùng ảnh, nhận dạng ảnh và xác minh Với quá trình nhận dạng, đầu vào là một ảnh chưa biết, sau quá trình nhận dạng, hệ thống đưa ra định danh về người trong ảnh và trong quá trình xác minh, hệ thống phải được xác định rằng việc nhận dạng đấy là chính xác hay không Về mặt tổng quát, mỗi phương pháp nhận dạng mặt người đều có thể được chia thành 2 module: Module phát hiện mặt người trong ảnh và module nhận dạng mặt người

Được khởi đầu vào những năm 70, nhận dạng mặt người là một trong những ứng dụng của phân tích và xử lý ảnh đạt được nhiều thành tựu nhất Trong thời gian gần đây, do sự phát triển như vũ bão của khoa học máy tính và yêu cầu thực tiễn trong các lĩnh vực kinh tế, luật pháp…, vấn đề nhận dạng mặt người đang được đặc biệt chú ý

Một loạt các hội thảo được tổ chức bàn về vấn đề này như AFGR, AVBPA và những đánh giá mang tính hệ thống về các kỹ thuật nhận dạng mặt người (Face Recognition Techniques - FRT), bao gồm phương pháp FERET và XM2VTS

Nhu cầu cấp thiết về các hệ thống thân thiện với người sử dụng đã đảm bảo cho các nghiên cứu về sau không bị lãng phí trong hàng loạt những nghiên cứu đã được thực thi trước đó Hiện nay, để rút tiền từ ATM ta phải nhập PIN, hay để truy cập một máy tính ta phải nhập mật khẩu hay hàng loạt phương pháp khác để truy cập vào Internet Hiện đã có hàng loạt các phương pháp nhận dạng có độ tin cậy cao dựa vào các kỹ thuật nhân trắc học; chẳng hạn như, kỹ thuật phát hiện vân tay hay kỹ thuật quét nhận dạng võng mạc Tuy nhiên, những hệ thống này có chung nhược điểm là phức tạp và yêu cầu cần có sự phối hợp của nhiều người cùng xử lý Bên cạnh đó, một

hệ thống nhận dạng dựa trên kỹ thuật phân tích ảnh mặt nhìn thẳng của một người sẽ đơn giản hơn nhiều, không đòi hỏi có nhiều người cùng xử lý và cũng không đòi hỏi các kiến thức chuyên môn sâu Chính vì thế, hệ thống nhận dạng người dựa trên kỹ thuật phân tích ảnh mặt đang ngày càng được ứng dụng rộng rãi

Bảng 1.2 Các ứng dụng tiêu biểu của nhận dạng mặt người

Trang 15

Welfare

An toàn thông tin

Desktop Logon (Windows 95, Windows NT) Application Security, Database Security, File Encryption Intranet Security, Internet Access, Medical Records Secure Trading Terminals

Law Enforcement and Surveillance

Advanced Video Surveillance, CCTV Control Portal Control, Post-Event Analysis

Shoftlifting and Suspect Tracking and Investigation

SmartCards Stored Value Security, User Authentification

Access Control Facility Access, Vehicular Access

Một hệ thống nhận dạng mặt người điển hình bao gồm các thành phần chính như Hình 1.4

Hình 1.4 Mô hình hệ thống nhận dạng mặt người

Nhận dạng mặt người (Face recognition) được nghiên cứu từ những năm 1980, là một lĩnh vực nghiên cứu của ngành thị giác máy tính (Computer Vision) và cũng được xem là một lĩnh vực nghiên cứu của ngành sinh trắc học (Biometrics) tương tự như nhận dạng vân tay (Fingerprint recognition), hay nhận dạng mống mắt (Iris recognition)… Trong khi nhận dạng vân tay và mống mắt có thể áp dụng trên thực tế một cách rộng rãi thì nhận dạng mặt người vẫn còn nhiều thách thức So với nhận dạng vân tay và mống mắt, nhận dạng mặt có nguồn dữ liệu phong phú hơn và ít đòi hỏi sự tương tác có kiểm soát hơn Bài toán nhận dạng mặt người còn nhiều thách thức nên hàng năm trong và ngoài nước vẫn có nhiều nghiên cứu về các phương pháp nhận dạng mặt người

Ảnh mặt người

Trích chọn đặc trưng

Nhận dạng mặt người

Thông tin người được nhận dạng

Trang 16

Nhận dạng khuôn mặt là một nhiệm vụ dễ dàng đối với con người Thí nghiệm trong [9] đã chỉ ra, ngay cả trẻ sơ sinh 1-3 ngày tuổi có thể phân biệt khuôn mặt Nhưng làm thế nào với một máy tính? Cho đến nay chúng ta biết rất ít về nhận dạng con người Có phải đặc điểm bên trong (mắt, mũi, miệng) hoặc các đặc điểm bên ngoài (hình dạng đầu, chân tóc) được sử dụng cho một nhận dạng khuôn mặt Bộ não con người phân tích một hình ảnh và mã hóa như thế nào? Theo nghiên cứu được bởi David Hubel và Torsten Wiesel, rằng não của chúng ta có tế bào thần kinh chuyên biệt phản ứng với từng hoàn cảnh cụ thể, chẳng hạn như đường, cạnh, góc độ hoặc chuyển động Vì chúng ta không nhìn thấy thế giới như những mảnh phân tán, vỏ não của chúng ta bằng cách nào đó phải kết hợp các nguồn thông tin khác nhau vào các mẫu hữu ích Nhận diện khuôn mặt tách ra những đặc điểm có ý nghĩa từ một hình ảnh, đưa chúng vào một sự biểu diễn hữu ích và thực hiện một số phân loại

1.3 Những khó khăn và thách thức trong bài toán nhận dạng khuôn mặt

Việc xác định khuôn mặt người có những khó khăn nhất định như:

- Hướng (pose) của khuôn mặt đối với máy ảnh, như: nhìn thẳng, nhìn nghiêng hay

nhìn từ trên xuống Cùng trong một ảnh có thể có nhiều khuôn mặt ở những tư thế khác nhau

- Sự có mặt của các chi tiết không phải là đặc trưng riêng của khuôn mặt người, như: râu quai nón, mắt kính

- Các nét mặt (facial expression) khác nhau trên khuôn mặt, như: vui, buồn, ngạc

nhiên

- Mặt người bị che khuất bởi các đối tượng khác có trong ảnh

- Sự biểu cảm của khuôn mặt (The expression of the face): sự biểu cảm có thể làm

thay đổi đáng kể các đặc trưng và thông số của khuôn mặt, ví dụ như khuôn mặt của cùng một người sẽ rất khác khi người đó cười, tức giận hay sợ hãi…

1.4 Các ứng dụng của bài toán nhận dạng khuôn mặt

Xác định mặt người thường là một phần của một hệ thống (facial recognition system) [4] Nó thường được dùng trong giám sát video, giao tiếp người - máy và quản

lý cơ sở dữ liệu ảnh…

 Các ứng dụng cơ bản của xác định mặt người có thể kể đến là:

Trang 17

- Xác minh tội phạm: Dựa vào ảnh của một người, nhận dạng xem người đấy có phải là tội phạm hay không bằng cách so sách với các ảnh tội phạm đang được lưu trữ Hoặc có thể sử dụng camera để phát hiện tội phạm trong đám đông

Ứng dụng này giúp cơ quan an ninh quản lý con người tốt hơn

- Camera chống trộm: Các hệ thống camera sẽ xác định đâu là con người và theo dõi xem con người đó có làm gì phạm pháp không, ví dụ như lấy trộm đồ, xâm nhập bất hợp pháp vào một khu vực nào đó

- Bảo mật: Các ứng dụng về bảo mật rất đa dạng, một trong số đó là công nghệ nhận dạng mặt người của laptop, công nghệ này cho phép chủ nhân của máy tính chỉ cần ngồi trước máy là có thể đăng nhập được Để sử dụng công nghệ này, người dùng phải sử dụng một webcam để chụp ảnh khuôn mặt của mình

và cho máy “học” thuộc các đặc điểm của khuôn mặt giúp cho quá trình đăng nhập sau này

- Lưu trữ khuôn mặt: Xác định mặt người có thể được ứng dụng trong các trạm

rút tiền tự động (ATM) để lưu trữ khuôn mặt của người rút tiền Hiện nay có những người bị người khác lấy trộm thẻ ATM, mã PIN và bị rút tiền trộm hoặc có những chủ tài khoản đi rút tiền nhưng lại báo với ngân hàng là bị mất thẻ và bị rút tiền trộm Nếu lưu trữ được khuôn mặt của người rút tiền, ngân hàng có thể đối chứng và xử lý dễ dàng hơn

- Tìm kiếm và tổ chức dữ liệu liên quan đến con người thông qua khuôn mặt người trên nhiều hệ cơ sở dữ liệu lưu trữ thật lớn, như internet, các hãng truyền hình… Ví dụ: tìm các đoạn video có tổng thống Obama phát biểu, tìm các phim có diễn viên Thành Long đóng…

Trang 18

- Kiểm tra trạng thái người lái xe có ngủ gật, mất tập trung hay không và hỗ trợ thông báo khi cần thiết

- Tương lai sẽ phát triển các loại thẻ thông minh có tích hợp sẵn đặc trưng của người dùng trên đó, khi bất cứ người dùng khác dùng để truy cập hay xử lý tại các hệ thống sẽ được yêu cầu kiểm tra các đặc trưng khuôn mặt so với thẻ để biết người này có phải là chủ thẻ hay không

- Hãng máy chụp hình Canon đã ứng dụng bài toán xác định khuôn mặt người vào máy chụp hình thế hệ mới để cho kết quả hình ảnh đẹp hơn, nhất là khuôn mặt người

1.5 Bài toán điểm danh dựa trên khuôn mặt 1.5.1 Bài toán điểm danh và quản lý nhân sự

Trong thời đại ngày nay, cùng với sự phát triển của khoa học kỹ thuật và xu hướng công nghiệp hóa, hiện đại hóa: máy móc đang và sẽ tiếp tục thay thế con người trong những công việc nặng nhọc và mang tính lặp đi lặp lại Máy móc có những ưu điểm không thể phủ nhận như không biết mệt mỏi, sẵn sàng phục vụ liên tục, không mang tính chủ quan, khả năng xử lý nhanh, lưu trữ lớn

Đối với bài toán điểm danh, chấm công với mục tiêu chủ yếu là kiểm soát nguồn nhân lực về thời gian Các nhà quản lý quan tâm tới hai vấn đề chính là một lao động tên là “A” có mặt hay không, có đúng giờ hay không, “A” có làm đủ số giờ quy định hay không? Để giải quyết bài toán này thông thường các công ty, doanh nghiệp, các nhà quản lý sẽ sử dụng một nhóm người có chức năng chấm công và quản lý hoặc sử dụng một hệ thống sinh trắc học Đối với việc sử dụng con người có rất nhiều nhược điểm như: chi phí lớn, tính khách quan không cao, không hoạt động tốt liên tục trong nhiều giờ liền, không thể sử dụng với phạm vi lớn (một cán bộ chấm công không thể nhớ được quá nhiều người, đặc biệt với những người mới gặp vài lần) Vì thế các hệ thống sinh trắc học tỏ ra khá hiệu quả và là lựa chọn hàng đầu trong bài toán này

Với sự hỗ trợ của camera, máy tính và phần mềm điểm danh, nhà quản lý thu được thông tin về sự có mặt và thời gian làm việc của người lao động một cách chính xác và khách quan với chi phí thấp Việc áp dụng nhận dạng khuôn mặt có thể được sử dụng một cách độc lập với ưu điểm hơn các phương pháp sinh trắc học khác ở tính tự nhiên

Trang 19

của nó, đồng thời đây cũng có thể là một phương pháp được sử dụng kết hợp với các phương pháp sinh trắc khác để nâng cao tính chính xác của hệ thống khi vận hành

1.5.2 Đầu vào của bài toán

Với bài toán điểm danh, trong nội dung luận văn tôi lựa chọn phương pháp nhận dạng khuôn mặt làm cơ sở để xây dựng hệ thống Với đầu vào là ảnh của người cần được điểm danh hệ thống sẽ nhận diện hình ảnh và đoán nhận chính xác tên của người

có trong ảnh, từ đó là cơ sở để điểm danh

Như vậy, đầu vào của bài toán là ảnh thu được từ camera đặt ở vị trí quan sát Vị trí này thường là trước cửa của cơ quan, doanh nghiệp, đây thường là lối vào duy nhất của đơn vị cần được điểm danh Trong trường hợp có nhiều cửa vào cho một đơn vị cần được điểm danh, hệ thống sẽ thiết đặt các camera tại các cổng vào Kết quả điểm danh sẽ là kết quả tổng hợp của các camera tại các vị trí khác nhau

Trong trường hợp người quản lý cần xác định rõ thời gian làm việc của lao động (cần xác định rõ thời gian vào và thời gian ra của một người) thì hệ thống cần thiết đặt hai camera trên một cổng, một camera hướng ra để điểm danh người lao động khi vào

và một camera hướng vào trong để điểm danh người lao động khi ra khỏi khu vực làm việc Hiệu thời gian của lần ra và lần vào sẽ là thời gian người cần được điểm danh có mặt tại khu vực làm việc

Để đảm bảo hệ thống làm việc hiệu quả, chính xác cần xây dựng các tiêu chuẩn cơ bản để hệ thống làm việc Đây là thiết lập cần thiết để nâng cao tính chính xác và khả năng làm việc của hệ thống Các thiết đặt này xuất phát từ chính các khó khăn tồn tại trong các thuật toán xác định và nhận diện khuôn mặt hiện này:

- Các khuôn mặt được chụp thẳng hoặc góc nghiêng không đáng kể (nhỏ hơn hoặc bằng 10o)

- Phông nền của ảnh không quá phức tạp

- Ảnh được chụp trong điều kiện ánh sáng bình thường

- Người được điểm danh không có các vật dụng với độ che phủ cao trên khuôn mặt (kính đen, khẩu trang, râu giả )

- Không mang vác ảnh có mặt người qua khu vực điểm danh (sử dụng ảnh 2D chụp người để điểm danh hộ, hoặc gây nhầm lẫn trong hệ thống)

Trang 20

1.5.3 Đầu ra và ý nghĩa thực tiễn

Bài toán điểm danh với đầu vào là ảnh thu được từ camera, dựa trên công nghệ sinh trắc học nhận diện qua khuôn mặt sẽ trả lại kết quả là một danh sách tên người lao động, trong đó mỗi một đối tượng người lao động tồn tại hai trạng thái là được điểm danh và không được điểm danh Để xác định một đối tượng cần được điểm danh ở trạng thái nào, hệ thống dựa trên một tập các ảnh được lưu trong cơ sở dữ liệu, trong quá trình nhận dạng đối tượng đi qua và nhìn về phía camera Hệ thống nhận diện khuôn mặt thu được từ camera và xác định xem đối tượng có nằm trong danh sách điểm danh hay không, nếu có đối tượng tương ứng được xác định trạng thái là “có mặt” Ngược lại nếu đối tượng cần điểm danh không xuất hiện trong thời gian điểm danh thì trạng thái của đối tượng tại phiên làm việc đó được xác định trạng thái là “vắng”

Như vậy, đầu ra tổng quát của bài toán là xác định hình ảnh người trong ảnh vào

có tương ứng với một định danh ảnh đã có trong cơ sở dữ liệu hay không Nếu có định dang tương ứng là gì Dựa trên một định danh được cung cấp bởi hệ thống nhận dạng

ta xây dựng chương trình điểm danh với hai trạng thái cơ bản là “vắng” và “có mặt”

Nếu trong phiên làm việc định danh được hệ thống xác nhận thì trạng thái được xác định là có mặt và ngược lại Trong trường hợp cần xác định thời gian làm việc của đối tượng đang theo dõi ta cần xác định thêm tham số thời gian khi đối tượng được hệ thống định danh theo chiều vào và thời gian khi đối tượng được hệ thống định danh theo chiều ra

Trang 21

CHƯƠNG 2: MỘT SỐ KỸ THUẬT PHÁT HIỆN VÀ NHẬN DẠNG KHUÔN MẶT 2.1 Một số kỹ thuật phát hiện mặt người trong ảnh

Vấn đề phát hiện mặt được đưa ra đầu tiên vào những năm 70 với việc sử dụng các kỹ thuật nhân trắc học và các phép heuristic giản đơn Với những kỹ thuật này, ta chỉ có thể đạt được kết quả trong những điều kiện khá chặt, ví dụ như nền ảnh đồng nhất, khuôn mặt chụp thẳng Cho đến ngày nay, cùng với sự phát triển vượt bậc của khoa học kỹ thuật, việc yêu cầu những giới hạn như thế là không còn Tuy nhiên, cùng với những yêu cầu ngày càng cao, thì vấn đề phát hiện mặt người đang phải đối mặt với những khó khăn mới Trong suốt quá trình từ những năm đầu tới nay, đã có rất nhiều các hướng xử lý và tiếp cận khác nhau được đưa ra nhằm giải quyết cho những yêu cầu cụ thể khác nhau của từng giai đoạn, từng ứng dụng cụ thể và cũng có nhiều cách phân loại các phương pháp, hướng tiếp cận này Trong luận văn này, tôi chia các phương pháp và hướng tiếp cận thành hai hướng chính: Hướng tiếp cận dựa trên đặc trưng (Feature - based) và hướng tiếp cận dựa trên ảnh (Image - based)

Các phương pháp kỹ thuật được áp dụng trong phát hiện mặt được thể hiện trong Hình 2.1

Trang 22

Hình 2.1 Sơ đồ các hướng tiếp cận và phương pháp phát hiện mặt người

2.1.1 Hướng tiếp cận dựa trên đặc trưng của ảnh

Phương pháp tiếp cận dựa trên đặc trưng được chia thành 3 vấn đề Giả sử cần phải phát hiện một khuôn mặt trong một nền ảnh lộn xộn, phân tích cấp thấp (low-level analysis) thực hiện phân đoạn các đặc trưng của ảnh dựa trên những thuộc tính điểm ảnh như độ xám hay màu sắc Sự phân đoạn này còn mập mờ và chưa rõ ràng

Trong phân tích đặc trưng (feature analysis), các đặc trưng của ảnh được tổ chức thành các đặc trưng khuôn mặt có tính tổng quát hơn dựa trên các đặc tính hình học của

Trang 23

khuôn mặt Sau giai đoạn này, tính mập mờ của các đặc trưng của ảnh đã được giảm bớt, đồng thời vị trí khuôn mặt cùng với các đặc trưng khuôn mặt đã được xác định

Tiếp theo là việc sử dụng các mô hình hình dạng động (active shape models) Những

mô hình này bao gồm từ mô hình con rắn (snakes) (được đề xuất vào những năm 80) cho tới mô hình điểm phân tán (Point Distributed Model - PDM) được đề xuất vào những năm gần đây để trích chọn các đặc trưng phức tạp như mắt, môi…

2.1.1.1 Phân tích mức thấp (Low level analysis)

Người ta gọi là phân tích mức thấp vì việc phân tích ở đây là phân tích dựa trên các đặc trưng rất cơ bản và mang tính trực quan, những đặc trưng đó bao gồm biên ảnh, thông tin đa mức xám, màu sắc, chuyển động, tính đối xứng của khuôn mặt

a Biên ảnh (Edges)

Biên ảnh (Edges) là một trong những thuộc tính quan trọng nhất trong các ứng dụng xử lý ảnh, biên đã được sử dụng trong các ứng dụng phát hiện mặt ngay từ những ngày đầu tiên bởi Sakai và cộng sự Theo đó, các đặc trưng khuôn mặt được xác định dựa trên việc phân tích các đường kẻ của các khuôn mặt trên ảnh Craw và cộng sự sau

đó đã phát triển một giải thuật phân cấp dựa trên công việc của Sakai và cộng sự để tìm các mô tả các đầu người có trong ảnh Trong đó, một thành phần dò tìm đường biên (line-follower) với các ràng buộc về độ cong được sử dụng để tránh các biên nhiễu Các đặc trưng về biên trong các biểu diễn mô tả của đầu người sau đấy được phân tích đặc trưng sử dụng thông tin hình dạng và thông tin vị trí của mặt Gần đây, vấn đề trích chọn đặc trưng mặt sử dụng biên và phát hiện mặt sử dụng biên đã được xây dựng bởi rất nhiều tác giả, trong đó có Brunelli và Poggio (1993), J.Choi, S.Kim

và P.R.Hee (1999), B.K.Low và M.K.Ibrahim (1997) Ngoài ra, biên còn được sử dụng trong việc phát hiện những ảnh mặt người đeo kính (Z.Ling và R.Mariani, 2000

và X Jiang, M Binkert, B Achermann, H Bunke, 2000)

Phát hiện biên là bước đầu tiên trong vấn đề biểu diễn biên Cho tới nay, đã có rất nhiều toán tử phát hiện biên được áp dụng Các vấn đề về biên và phát hiện biên sẽ được trình bày kỹ hơn trong chương sau

Trong phương pháp phát hiện mặt áp dụng biên, các biên phải được gán nhãn và phù hợp với một mẫu mặt nhằm đảm bảo sự phát hiện là đúng đắn Govindaraju đã thực hiện công việc này bằng cách gán nhãn các biên như là bên trái, bên phải, nhìn

Trang 24

thẳng hay là tóc và sau đó phù hợp chúng với một mẫu bằng cách sử dụng tỷ lệ vàng của một khuôn mặt điển hình:

1 52

height width



 (1)

Trong hệ thống của Govindaraju, khi tiến hành kiểm thử 60 ảnh có nền phức tạp bao gồm 90 khuôn mặt, thì thấy khả năng hệ thống có thể phát hiện chính xác là 76%

với mức độ trung bình sai 2 mặt/1 ảnh

b Thông tin đa mức xám (Grayscale Information)

Ngoài biên, thông tin đa mức xám trong ảnh cũng có thể được sử dụng như một đặc trưng Một số đặc trưng của khuôn mặt như lông mày, đồng tử hay môi thường tối hơn những vùng mặt xung quanh Thuộc tính này có thể được sử dụng để phân biệt nhiều vùng mặt khác nhau Một số giải thuật trích chọn đặc trưng gần đây thực hiện tìm kiếm vùng cực tiểu địa phương mức xám trong một phân đoạn ảnh mặt Trong những giải thuật này, ảnh đầu vào được cải thiện bằng cách làm tăng độ tương phản (contrast - stretching) và thực hiện các bước biến hình mức xám (gray - scale morphological routine) để làm tăng độ tối của những phần nói trên, do đó làm cho việc phát hiện được dễ dàng hơn Sau đó những vùng tối này được trích chọn bằng phép lấy ngưỡng dưới Bên cạnh đó, Wong và cộng sự tiến hành xây dựng một hệ thống tự động tìm kiếm các vùng tối thuộc mặt thông qua sự phân tích về màu sắc Hệ thống sử dụng một mẫu mắt gán trọng số để xác định các vị trí có thể của cặp mắt

c Màu sắc (Color)

Thông tin mức xám cho phép chúng ta biểu diễn một cách cơ bản các đặc trưng của ảnh, còn thông tin về màu cho phép ta phân biệt hữu hiệu các đối tượng trong ảnh

Bởi màu được biểu diễn trong không gian 3 chiều, nên 2 đối tượng có cùng mức xám

sẽ có những thể hiện khác nhau trong không gian màu Người ta đã chứng minh được rằng màu da của con người, dù ở lứa tuổi nào hay ở màu da nào, thì đều phân bố trên một cụm xác định của hệ toạ độ màu [10]

Một trong những hệ toạ độ màu được sử dụng nhiều nhất là hệ toạ độ RGB Theo

đó, mỗi màu được biểu diễn bởi sự kết hợp của các giá trị của 3 thành phần màu: đỏ (Red - R), xanh (Green - G) và xanh lá cây (Blue - B) Bởi các thay đổi chính trong việc biểu diễn da là bởi sự thay đổi về độ sáng, nên thông thường ta thường sử dụng hệ

Trang 25

toạ độ RGB chuẩn hoá, do đó ảnh hưởng của độ sáng được loại bỏ Các thành phần chuẩn hoá được tính bởi [10]:

R r

G g

B b

Do r + g + b = 1 nên trong hệ toạ độ màu chuẩn hoá này ta chỉ cần biết 2 giá trị r

và g, bởi b = 1 – r – g Khi phân tích màu da, histogram màu dựa trên r và g chỉ ra

rằng màu của mặt người chỉ chiếm một vùng nhỏ trên histogram Bằng cách so sánh

thông tin màu của một điểm ảnh với các giá trị r và g của vùng màu mặt, ta có thể xác

định được xác suất thuộc vùng mặt của điểm ảnh đấy

Bên cạnh mô hình RGB, người ta cũng sử dụng một số mô hình khác trong việc phát hiện mặt C.H.Lee, J.S.Kim and K.H.Park, 1996, đã xây dựng một giải thuật sử dụng mô hình HSI do ưu điểm vượt trội của nó trong việc phân biệt các vùng màu của các đặc trưng khác nhau của khuôn mặt Do đó, mô hình HSI được sử dụng trong việc trích chọn các đặc trưng của khuôn mặt như mắt, môi

G.Wei và I.K.Sethi, 1999, sử dụng mô hình YIQ để phát hiện mặt Bằng cách chuyển đổi từ hệ toạ độ RGB sang YIQ, người ta nhận thấy thành phần I - thể hiện sự thay đổi từ màu cam (orange) sang màu lục (cyan), có khả năng cải thiện vùng da của người Á Châu Việc chuyển đổi này cũng làm triệt tiêu các phần nền không phải da và

do đó, giúp cho việc phát hiện các khuôn mặt nhỏ được dễ dàng hơn Ngoài ra, một số

mô hình màu khác cũng được sử dụng trong việc phát hiện mặt, như HSV, YES, CrCb,

YUV, CIE-xyz, L*a*b, L*u*v*

d Chuyển động (Motion)

Nếu yêu cầu của việc phát hiện mặt người là trong môi trường ảnh video, thì hợp

lý nhất cho việc phát hiện mặt là sử dụng yếu tố chuyển động Phương pháp đơn giản nhất là sử dụng sự khác biệt giữa các frame Mặc dù phương pháp này tỏ ra khá đơn giản, nhưng nó vẫn có thể phát hiện được sự cử động của các đối tượng trên bất cứ nền nào một cách có hiệu quả Các bóng cử động có chứa phần mặt và cơ thể người có thể được tách bằng phép lấy ngưỡng đối với sự khác biệt giữa các frame Ngoài các vùng

Trang 26

mặt, các nhóm tác giả Luthon và Luevin; Crowley, Berard và Low cũng sử dụng sự khác biệt giữa các frame để xác định các đặc trưng mặt J L Crowley và F Berard,

1997, sử dụng sự khác biệt giữa các frame, xác định ra các vùng ứng viên cho vị trí mặt Sau đó, sử dụng độ dịch chuyển ngang và dọc của 2 vùng ứng viên lân cận nhau

để dự đoán sự xuất hiện của cặp mắt [10]

Một phương pháp khác để xác định độ chuyển động là thông qua sự đánh giá các đường nét cử động (moving contour) So với phương pháp trên, thì phương pháp này

tỏ ra đáng tin cậy hơn, đặc biệt là trong những trường hợp các cử động là không rõ ràng Mc Kenna và cộng sự đã sử dụng một bộ lọc không gian - thời gian Gaussian để phát hiện sự chuyển động của các vùng biên mặt và cơ thể người Quá trình này được

thực hiện bằng cách nhân chập ảnh đa mức xám I(x, y) với đạo hàm cấp 2 theo thời gian m(x, y, t) của bộ lọc Gaussian G(x, y, t):

 2 2 2 2

3 2

Trong đó: u là hệ số tỷ lệ thời gian và a là độ rộng của bộ lọc

Sau đó, thực hiện nhân chập m(x, y, t) với các frame ảnh:

e Tiêu chuẩn suy rộng (Generalized Measure)

Các đặc tính trực quan như đường biên , mầu và chuyển đô ̣ng đươ ̣c đưa ra từ

những giai đoa ̣n đầu của hê ̣ thống hình ảnh người (human visual system ), được chỉ ra bởi nhiều da ̣ng đáp ứng của mắt Quá trình tiền xử lý này cho phép các thông tin trực quan đươ ̣c tổ chức thành nhiều da ̣ng trước các hoa ̣t đô ̣ng trực quan cấp cao trong bô ̣ não Reifeld và Yeshurun đã giới thiê ̣u mô ̣t toán tử đối xứng suy rô ̣ng dựa vào các thao tác trên điểm biên Do các đă ̣c trưng mă ̣t có tính đối xứng , toán tử không dựa trên các mức cao của các tri thức tiên nghiê ̣m về khuôn mă ̣t sẽ sinh ra mô ̣t biểu diễn đưa la ̣i

Trang 27

nhiều đáp ứng với các vị trí đặc trưng khuôn mặt Độ đo đối xứng gán một đại lượng cho mo ̣i điểm ảnh trong ảnh dựa trên tác đô ̣ng của các điểm ảnh xung quanh Đại lươ ̣ng đối xứng M( )p với điểm ảnh p được cho như sau:

Trong đó: C(i,j) là tác động của điểm ảnh xung quanh i và j (của điểm ảnh p)

trong tâ ̣p các điểm ảnh ( )p Biểu đồ các đa ̣i lươ ̣ng đối xứng sẽ chỉ ra vi ̣ trí của các điểm ảnh cùng có đă ̣c tính khuôn mă ̣t như mắt và miê ̣ng Sử du ̣ng biểu đồ này , Reisfeld và cộng sự đã đa ̣t được tỷ lê ̣ thành công là 95% trong dò tìm vi ̣ trí của mă ̣t và

miê ̣ng của rất nhiều ảnh tương tự nhau trong mô ̣t cơ sở dữ liê ̣u , các ảnh này đồng thời cũng dựa trên nhiều kiểu nền và xoay theo các hướng khác nhau

Mô ̣t phương pháp sử du ̣ng tính đối xứng suy rô ̣ng khác do Lin và cộng sự thực hiê ̣n Lin đã đưa ra mô ̣t toán tử mă ̣t na ̣ kép nhằm khai thác đă ̣c tính phân p hối đối xứng xuyên tâm của k, gradient hướ ng, trên các vùng mă ̣t sáng và tối Tương tự như toán tử của Reisfeld và cộng sự , toán tử mặt nạ kép cũng cố gắng trích chọn ra những

đă ̣c trưng của khuôn mă ̣t từ các nền khác nhau và dưới các tư thế khác nhau , nhưng với sự phức ta ̣p thấp hơn so với toán tử của Reisfeld và cộng sự Mô ̣t toán tử mới và

đáng chú ý hơn dựa trên các hình da ̣ng lồi và lõm được Tankus và cộng sự đưa ra gần đây Khác với các cách tiếp cận trước , Tankus và cộng sự sử du ̣ng đa ̣o hàm của gradient hướng k theo hướ ng y, đươ ̣c go ̣i là Y - Phase Theo Tankus và cộng sự Y -

Phase của các đối tượng lồi và lõm có đáp ứ ng mạnh ta ̣i các điểm âm của tru ̣c x Bởi vì

các đặc tính mặt thường có dạng parabol , nên Y - Phase của chúng thường tương tự

với Y - Phase của Parabol do đó sinh ra đáp ứng ma ̣nh trên tru ̣c x Bằng cách đưa ra

mô ̣t đi ̣nh lý và so sánh Y - Phase của log(log(log(I))) và exp(exp(exp(I))) với I là ảnh,

Tankus và cộng sự đã chứng minh rằng Y - Phase là bất biến dưới các điều kiê ̣n chiếu sáng khác nhau Các thực nghiệm chuyên sâu hơn đã chứng tỏ rằng toán tử n ày không phản ứng nhạy với những đường biên dày của các đối tượng không lồi và nền các vùng nền kết cấu (texture backgounds)

2.1.1.2 Phân tích đặc trưng (Feature Analysis)

Các đặc trưng được trích chọn bởi phép phân tích cấp thấp thường không rõ ràng

Chẳng hạn, khi xác định vị trí của khuôn mặt sử dụng mô hình màu da, những đối

Trang 28

tượng nền có màu tương tự như màu da cũng được xác định là mặt Trong nhiều phương pháp, người ta sử dụng các cấu trúc hình học của mặt để xác định và phân biệt các đặc trưng khác nhau của khuôn mặt trong điều kiện chúng còn chưa rõ ràng Hiện

có hai phương pháp tiếp cận sử dụng cấu trúc hình học của khuôn mặt Phương pháp thứ nhất sử dụng chiến lược tìm kiếm đặc trưng tuần tự dựa trên vị trí tương đối giữa các đặc trưng của khuôn mặt Sự tin cậy của một đặc trưng được phát hiện được tăng cường bằng cách phát hiện thêm các đặc trưng khác của khuôn mặt xung quanh nó

Phương pháp thứ hai nhóm các đặc trưng thành các “chòm sao” (constellation) dựa

trên một số mô hình khuôn mặt khác nhau

a Tìm kiếm đặc trưng

Kỹ thuật tìm kiếm đặc trưng bắt đầu bằng việc xác định các đặc trưng nổi bật của khuôn mặt Sau khi phát hiện được các đặc trưng nổi bật, dựa trên kỹ thuật nhân trắc học về cấu trúc hình học của khuôn mặt, ta có thể dự đoán được các đặc trưng khác

kém nổi bật hơn Chẳng hạn, với trường hợp “một vùng nhỏ nằm trên một vùng lớn hơn trong bối cảnh có đầu và vai” là thể hiện “đầu người nằm trên vai” và một cặp

vùng tối tìm thấy trong vùng nhỏ sẽ làm tăng khả năng vùng nhỏ vừa tìm được là một mặt Thông thường, đặc trưng được sử dụng để làm tăng xác suất xuất hiện mặt là cặp mắt bởi chúng luôn xuất hiện cạnh nhau Các đặc trưng khác cũng được sử dụng cho mục đích này là trục đối xứng của mặt, đường nét của đầu và phần thân

Giải thuật trích chọn đặc trưng khuôn mặt xây dựng bởi De Silva và cộng sự là một ví dụ điển hình cho phương pháp tìm kiếm đặc trưng Giải thuật bắt đầu bằng việc phỏng đoán vị trí đỉnh đầu và giải thuật tìm kiếm bắt đầu duyệt từ vị trí đấy đi xuống nhằm tìm vị trí của đôi mắt Sự hiện diện của cặp mắt được xác định bằng sự tăng đột ngột mật độ các biên Khoảng cách giữa đỉnh đầu và trục mắt được sử dụng như một khoảng cách tham khảo Sử dụng khoảng cách này, một mẫu mặt bao gồm các đặc trưng của khuôn mặt như mắt, miệng được khởi tạo từ ảnh đầu vào Mẫu đầu tiên được khởi tạo dựa trên kiến thức nhân trắc học, khoảng cách tham khảo nói trên và một số khuôn mặt có sẵn trong cơ sở dữ liệu của hệ thống

Khoảng cách nhân trắc trung bình được sử dụng trong thực nghiê ̣m của De Silva

Bảng 2.1 Khoảng cách trung bình trong thuật toán của De Silva

Trang 29

Chiều cao của đầu

Độ phân tách của mắt

Mắt đến mũi

Mắt đến miệng Khoảng cách

mă ̣t người đeo kính hoă ̣c có tóc che lên trán

Jeng và cộng sự đã đề xuất mô ̣t hê ̣ thống tìm kiếm mă ̣t và các đă ̣c tính mă ̣t cũng dựa trên các khoảng cách nhân trắc ho ̣c Trong hê ̣ thống này , các vị trí có khả năng chứa mă ̣t được xác đi ̣nh từ trước thông qua xác đi ̣nh vi ̣ trí của cặp mắt dựa trên các ảnh tiền xử lý được nhị phân hoá Với mỗi vùng ảnh có khả năng chứa că ̣p mắt , thuâ ̣t toán sẽ tiếp tục dò tìm vị trí của mũi , miê ̣ng và lông mày Mỗi đă ̣c tính của mă ̣t có mô ̣t hàm lượng giá đi kèm được sử dụng để xác định vùng có khả năng cao nhất là mặt :

E = 0.5Emắt + 0.2Emiê ̣ng + 0.1Elông mày trái + 0.1Elông mày phải + 0.1Emũi

Với hê ̣ thống này , tỷ lê ̣ tìm kiếm thành công được thông báo là 86% trên tâ ̣p dữ

liệu 114 ảnh chụp trong điều kiện chụp ảnh được điều chỉnh , nhưng được đă ̣t theo các hướng khác nhau và trên các nền ảnh lô ̣n xô ̣n

Mô ̣t thuâ ̣t toán tự đô ̣ng tìm kiếm các đă ̣c trưng mă ̣t GAZE được đề xuất bởiHerper và cộng sự dựa trên nguyên lý về chiến lược chuyển đô ̣ng của mắt trong các hê ̣ thống hình ảnh người (Human Vision System) Cơ chế trung tâm của thuâ ̣t toán là cơ chế theo dõi cu ̣c bô ̣ trong đó xem xét tuần tự các vùng có khả năng chứa các đă ̣c trưng nổi bâ ̣t nhất Sau đó, mô ̣t biểu diễn theo da ̣ng đa mức xám của các đă ̣c trưng nổi bâ ̣t đươ ̣c sinh ra sử du ̣ng bô ̣ lo ̣c Gaussian đa hướng Các đặc trưng nổi bật nhất (với biểu diễn đô ̣ nổi bâ ̣t lớn nhất ) được trích ra sử du ̣n g các đánh giá từ thô đến tinh trên biểu đồ biểu diễn đô ̣ nổi bâ ̣t Bước tiếp theo của thuâ ̣t toán là bước cải thiê ̣n trong đó đô ̣ nổi

bâ ̣t của các vùng đã được trích ra sẽ bi ̣ giảm đi trong khi đô ̣ nổi bâ ̣t của đă ̣c trưng có

thể tiếp theo đươ ̣c gia tăng trong bước lă ̣p kế tiếp Bằng cách áp du ̣ng thuâ ̣t toán lă ̣p đi

Trang 30

lă ̣p la ̣i trên 50 ảnh mặt nhìn thẳng có độ phân giải cao (không có ảnh nền ) Helper và cộng sự đã thông báo t ỷ lê ̣ dò tìm că ̣p mắt thành c ông là 98% chỉ trong ba lần lặp đầu tiên Các vùng đặc tính mặt tiếp theo như mũi và miệng cũng được tìm ra trong các lần

lă ̣p tiếp theo Vì các ảnh mặt dùng để thử nghiệm trong thuật toán chứa các ảnh mặt theo các hướng khác nhau và có sự thay đổi nhỏ về điều kiện chiếu sáng và tỉ lệ , nên tỉ

lê ̣ tìm kiếm mă ̣t thành công cao như vâ ̣y chỉ ra rằng thuâ ̣t toán không phu ̣ thuô ̣c vào các biến đổi của ảnh mặt Hơn nữa, không giống như các thuâ ̣t t oán khác, thuâ ̣t toán này không dựa trên thông tin cụ thể liên quan đến các đặc tính mặt

Chiến lươ ̣c chuyển đô ̣ng của mắt như trên cũng là cơ sở của thuâ ̣t toán được đề

xuất bởi Smeraldi và cộng sự, trong đó mô ̣t mô tả về đích tìm kiếm (că ̣p mắt) được xây dựng bởi đáp ứng Gabor trung bình từ mô ̣t lưới lấy mẫu võng ma ̣c đă ̣t ta ̣i că ̣p mắt của đối tươ ̣ng trong tâ ̣p mẫu Các hàm Gabor hai chiều được sử dụng theo 6 hướng và 5 tần số khác nhau dùng tron g trích cho ̣n đă ̣c trưng Hàm Gabor nhỏ nhất được sử dụng

ở trung tâm của lưới lấy mẫu trong khi hàm lớn nhất được sử dụng tại các vùng lệch ra bên ngoài ta ̣i đó có các mẫu rời ra ̣c nhất Để tìm kiếm că ̣p mắt , mô ̣t thuâ ̣t t oán tìm kiếm dựa trên chuyển đô ̣ng mắt được sử du ̣ng trong đó lưới mẫu được đă ̣t ta ̣i mô ̣t vi ̣ trí

ngẫu nhiên trong mă ̣t và sau đó chuyển dần tới các vi ̣ trí mà khoảng cách Euclide giữa các điểm trong lưới mẫu và các điểm tr ên đích tìm kiếm là nhỏ nhất Lưới mẫu sẽ

đươ ̣c chuyển di ̣ch vòng quanh cho đến khi đô ̣ di ̣ch chuyển nhỏ hơn mô ̣t ngưỡng đi ̣nh trước Nếu đích không được tìm ra (có thể rơi vào trường hợp quá trình tìm kiếm xuất phát từ một vùng trống trong ảnh ) thì một điểm ngẫu nhiên mới sẽ được sử dụng Smeraldi và cộng sự đã thông báo tìm kiếm chính xác vi ̣ trí că ̣p mắt của toàn bô ̣ mô ̣t

cơ sở dữ liê ̣u chứa 800 ảnh nhìn thẳng Bên ca ̣nh Smeraldi, đáp ứng Gabor cũng được sử du ̣ng nhiều trong tìm kiếm mă ̣t và các đă ̣c tính mă ̣t

Các phương pháp tiếp cận khác được đề xuất để tìm kiếm đặc tính mặt còn bao gồm phương pháp hàm bán kính cơ sở và phương pháp sử du ̣ng thuâ ̣t toán tiến hoá

Trang 31

gặp thất bại do tính cứng nhắc của chúng Các kỹ thuật phát hiện mặt sau này đã cố gắng linh động hơn bằng cách nhóm các đặc trưng trong khuôn mặt, tương tự như các chòm sao, bằng cách sử dụng các phương pháp mô hình hoá tốt hơn, chẳng hạn như phương pháp thống kê

Có khá nhiều loại chòm sao đã được đề xuất Burl và cộng sự sử dụng mô hình thống kê các đặc trưng được phát hiện bởi bộ lọc Gaussian Mô hình thống kê về sắp xếp không gian của các đặc trưng cho phép giải thuật có khả năng phát hiện tốt hơn trong những điều kiện bị thay đổi về thể hiện (thiếu đặc trưng, đầu nghiêng…) Các

mô hình mặt thống kê cũng được sử dụng trong nhiều giải thuật Theo đó, mặt được phân thành nhiều lớp dựa trên các góc nhìn khác nhau Sau đó, với mỗi lớp mặt này, lại được phân nhỏ hơn nữa thành các thành phần đặc trưng Trong quá trình phát hiện mặt, các đặc trưng mặt được phát hiện bởi các phép xử lý cấp thấp (low - level), sau đó được nhóm lại Quá trình nhóm này được thực hiện cao dần, cho tới khi phát hiện được ảnh

Các phương pháp mô hình thống kê mặt dựa trên sự xuất hiện nhiều mặt cũng đã đươ ̣c đề xuất Trong mô hình của Yow và Cipolla , các khuôn mặ t được phân loa ̣i ra thành một vài lớp mặt nhỏ có sự tương đồng theo một cách nhìn nào đó Các lớp này sau đó la ̣i được tiếp tu ̣c phân lớp thành các lớp thành phần đă ̣c trưng Sau khi các đă ̣c trưng mă ̣t được xác đi ̣nh từ các xử lý mức thấp dựa trên biên , sự phân lớp sau đó sẽ

cho phép các lớp mă ̣t khác nhau được xác đi ̣nh mô ̣t cách phân cấp bắt đầu từ phía thấp nhất của sự phân lớp các mă ̣t Phép phân lớp sẽ làm giảm đi một cách hiệu quả các đặ c trưng không chính xác sinh ra do nền không đồng nhất Mô ̣t ma ̣ng Bayes sẽ cho phép kết hơ ̣p tổng quát các tìm kiếm riêng biê ̣t của tất cả các lớp và làm cho giả thiết về

vùng mặt được đảm bảo với độ tin cậy cao Mô ̣t tỷ lê ̣ dò tìm 92% được thông báo trên thí nghiê ̣m với 100 ảnh chụp trong khung cảnh phòng thí nghiệm Thuâ ̣t toán có thể

giải quyết được các biến đổi nhỏ trong t ỷ lệ, hướng và điểm nhìn của từng mă ̣t đồng thời với các trường hợp c ó kính và thiếu đặc trưng Với cùng mô ̣t chiến lược tìm kiếm như của Yow và Cipolla , với mô ̣t số khác biê ̣t nhỏ về mô hình mă ̣t và bô ̣ dò tìm đă ̣c trưng, Sumi và cộng sự đã đề xuất mô ̣t hê ̣ thống trong đó các thành phần mă ̣t đ ược xử

lý bởi các tác tử song song dựa trong một mạng phân tán Hê ̣ thống này cũng đa ̣t được

tỷ lệ thành công cao (94%) trong dò tìm các khuôn mă ̣t khác nhau

Trang 32

Trong hê ̣ thống của Maio và Maltoni , các ảnh đầu vào được chuyển th ành một ảnh hướng sử dụng toán tử dạng gradient qua một cửa sổ cục bộ (7x7 điểm ảnh) Từ

ảnh hướng này, họ đã áp dụng phương pháp dò tìm mặt hai giai đoạn trong đó sử dụng phép biển đổi Hough suy rộng và một tập 12 mẫu nhi ̣ phân biểu diễn các nhóm mă ̣t Phép biến đổi Hough suy rộng được sử dụng để sinh ra các vùng mặt ứng viên thông qua viê ̣c tìm kiếm các đường elip Các vùng ứng viên sau đó được đưa vào giai đoạn phù hợp mẫu để quyết định vùng đó là mặt hay không Bởi vì tính hiê ̣u quả trong cài

đă ̣t và các vấn đề về thiết kế , đây là mô ̣t hê ̣ thống da ̣ng thời gian thực Maio và Maltoni đã thông báo dò tìm chính xác 69 trên 70 ảnh (98,57%) mà không gặp cảnh báo lỗi nào Các ảnh mẫu được sử dụng chứa một mặt với các kích cỡ mặt và dạng của vùng nền thay đổi khác nhau Phép biến đổi Hough suy rộng cũng đã được sử dụng trong hê ̣ thống của Schubert

Hình 2.2 Hê ̣ thống tìm kiếm mặt của Maio và Maltoni

Trong các hê ̣ thống nhâ ̣n da ̣ng , mô ̣t trong các kỹ thuâ ̣t được sử du ̣ng rô ̣ng rãi là

phương pháp đối sánh đồ thi ̣ Các đồ thị lưu trữ thông tin đặc trưng cục bộ vào các vectơ đă ̣c trưng ta ̣i các đỉnh và các thông tin hình học vào các cạnh (nối kết các đỉnh)

Mô ̣t vài hê ̣ thống sử du ̣ng phương pháp đối sánh đồ thi ̣ gần đây được thiết kế liên quan đến tìm kiếm khuôn mặt tự động nhưng nhiệm vụ này không phải là mục đích chí nh của toàn bộ hệ thống , vì vậy chỉ có một số kết quả định lượng mở rộng được báo cáo dựa trên nhiê ̣m vu ̣ tìm kiếm khuôn mă ̣t Mô ̣t phương pháp tiếp câ ̣n tương tự dựa trên

Tiêu đề	Phát hiện và Nhận dạng Khuôn mặt Từ Camera, Ứng dụng Trong Điểm Danh
Tác giả	Nguyễn Thế Thụy
Người hướng dẫn	TS. Nguyễn Văn Tảo
Trường học	Trường Đại học Công nghệ Thông tin và Truyền thông, Đại học Thái Nguyên
Chuyên ngành	Khoa học máy tính
Thể loại	Luận văn thạc sĩ
Năm xuất bản	2015
Thành phố	Thái Nguyên

Định dạng
Số trang	65
Dung lượng	2,11 MB