Nhận dạng ảnh mặt người sử dụng mạng Nơron nhân tạo và giải thuật di truyền

Theo Ming-Hsuan Yang [22], có thể phân loại thành bốn hướng tiếp cận chính: dựa trên tri thức knowledge-based, đặc trưng bất biến feature invariant, đối sánh mẫu template matching, và dự

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn

ĐẠI HỌC THÁI NGUYÊN

TRƯỜNG ĐH CÔNG NGHỆ THÔNG TIN & TRUYỀN THÔNG

PHẠM THỊ MAI HƯƠNG

NHẬN DẠNG ẢNH MẶT NGƯỜI DÙNG MẠNG NƠRON NHÂN TẠO VÀ GIẢI THUẬT DI TRUYỀN

LUẬN VĂN THẠC SĨ: KHOA HỌC MÁY TÍNH

Thái Nguyên, 2011

ĐẠI HỌC THÁI NGUYÊN

TRƯỜNG ĐH CÔNG NGHỆ THÔNG TIN & TRUYỀN THÔNG

PHẠM THỊ MAI HƯƠNG

NHẬN DẠNG ẢNH MẶT NGƯỜI DÙNG MẠNG NƠRON NHÂN TẠO VÀ GIẢI THUẬT DI TRUYỀN

Chuyên ngành: Khoa học máy tính

Mã số: 60.48.01

LUẬN VĂN THẠC SĨ: KHOA HỌC MÁY TÍNH

NGƯỜI HƯỚNG DẪN KH: PGS.TS LÊ BÁ DŨNG

Thái Nguyên, 2011

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 1

MỞ ĐẦU

Khuôn mặt đóng vai trò quan trọng trong quá trình giao tiếp giữa người với người, và cũng mang một lượng thông tin phong phú, chẳng hạn có thể xác định giới tính, tuổi tác, trạng thái cảm xúc của người đó, hơn nữa khảo sát chuyển động của các đường nét trên khuôn mặt có thể biết được người đó muốn nói gì Do

đó, nhận dạng mặt người là một lĩnh vực nghiên cứu hấp dẫn được nhiều người quan tâm trong vài năm gần đây

Nhận dạng mặt người là một lĩnh vực nghiên cứu hấp dẫn được nhiều người quan tâm trong vài năm gần đây Có rất nhiều hướng tiếp cận trước đây đã thực hiện liên quan đến vấn đề nhận dạng mặt người Theo Ming-Hsuan Yang [22], có thể phân loại thành bốn hướng tiếp cận chính: dựa trên tri thức (knowledge-based), đặc trưng bất biến (feature invariant), đối sánh mẫu (template matching), và dựa vào diện mạo (appearance-based) phương pháp này thường dùng một mô hình học máy nên còn được gọi là phương pháp dựa trên học máy (machine learning-based)

Các kết quả nghiên cứu về nhận dạng mặt người cho đến nay đã cho thấy phương pháp dựa trên học máy là cách tiếp cận tối ưu và hiệu quả nhất Về cơ bản, phương pháp dựa trên học máy sử dụng những mẫu được rút trích qua một quá trình học Nói cách khác, các thuật toán dựa trên học máy dùng các kỹ thuật phân tích thống kê và học máy để xấp xĩ một hàm phân lớp tuyến tính Có nhiều mô hình học máy được áp dụng trong hướng tiếp cận này: Eigenface (M Turk và A Pentland

1991 [23]), Mạng Nơ-ron (H Rowley 1998 [28]), Support Vector Machine (E Osuna et al 1997 [24]), Phân lớp Bayes (H Schneiderman và T Kanade 1998 [22]),

Mô hình Markov ẩn (A Rajagopalan et al 1998 [23]), và các mô hình tăng cường (AdaBoost của P Viola và M Jones 2001 [25][26]; FloatBoost do Stan Z Li và Zhen Qiu Zhang 2004 [23][24])

Phương pháp nhận dạng mặt người dùng mạng nơron là một phương pháp không mới, có thể coi là phương pháp phổ biến nhất trong các phương pháp dựa trên học máy Các kết quả nghiên cứu đã có cho thấy phương pháp này vẫn là phương

pháp hiệu quả, ổn định và có nhiều khả năng ứng dụng Một trong những nghiên cứu đầu tiên dùng NN trong nhận dạng ảnh mặt người trong [72] đã sử dụng mạng Kohonen nhận dạng ảnh trong một tập mẫu nhỏ các ảnh mặt người và cho kết quả tốt ngay cả khi ảnh bị nhiễu hay mất một phần ảnh Tỷ lệ nhận dạng đúng được công bố

là 92.5% với ảnh test đã được huấn luyện và 87.5% với ảnh test chưa được huấn luyện Trong nhiều nghiên cứu nhận dạng ảnh mặt người dùng mạng NN sau đó, loại mạng NN được cho là hiệu quả nhất là mạng NN perception đa lớp lan truyền ngược (backpropagation MLP) Trong [N Jamil and Iqbal [34] ] hệ thống nhận dạng ảnh mặt người dùng mạng MLP lan truyền ngược sử dụng cơ sở dữ liệu gồm 100 ảnh của

10 người khác nhau tự thu thập, tỷ lệ nhận dạng đúng được công bố là 95.6%

Các nghiên cứu nhận dạng ảnh mặt người dùng mạng NN cho tới hiện nay chỉ

ra rằng việc dùng mạng MLP đã cho các kết quả rất tốt cả về độ chính xác Tuy nhiên vấn đề chi phí tính toán trong thao tác huấn luyện và nhận dạng dẫn tới chi phí huấn luyện và nhận dạng khá lớn là vấn đề then chốt cần xử lý của các hệ thống dùng mạng NN Do đó, các nghiên cứu nhận dạng mặt người dùng mạng NN vẫn cần được cải tiến phát triển để giảm khối lượng tính toán, giảm thời gian, chi phí huấn luyện

Một giải pháp đã được đề xuất là áp dụng phương pháp trích đặc trưng vector thành phần PCA để giảm số chiều vector đặc trưng, do đó giảm chi phí tính toán cho mạng NN [19, 20] Một giải pháp khác gần đây được một số nhà nghiên cứu gần đây quan tâm là áp dụng giải thuật di truyền GA tính toán trọng số tối ưu đầu vào cho mạng NN để có để tối ưu hệ thống Luận văn này đi theo cách kết hợp hai hướng tiếp cận này, đó là phát triển một hệ thống nhận dạng mặt người sử dụng kết hợp các phương pháp MLP-PCA-GA Các kết quả đánh giá về hiệu quả nhận dạng bao gồm

tỷ lệ nhận dạng đúng, chi phí huấn luyện, thời gian nhận dạng đều cho thấy phương pháp sử dụng trong đề tài cho các kết quả tương đương và tốt hơn trong một số điều kiện so với các phương pháp truyền thống khác Các kết quả thực nghiệm cho thấy phương pháp sử dụng là một phương pháp tốt cần đầu tư nghiên cứu, phát triển thêm

Để minh họa cho tính ứng dụng của luận văn, tôi cũng trình bày một hệ thống ứng dụng minh họa việc tìm kiếm thông tin hành khách tại sân bay bằng nhận dạng

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 3

mặt người Chương trình cho tính năng minh họa cho một hệ thống thực và có thể phát triển thành một ứng dụng thực tế nếu được tích hợp với hệ thống camera bắt hình trực tiếp và cơ sở dữ liệu hành khách thực

Nội dung đề tài gồm những vấn đề sau:

KẾT LUẬN VÀ KIẾN NGHỊ

Do hạn chế về khả năng, thời gian cũng như tài liệu, đề tài không tránh khỏi những sai sót nhất định Rất mong được sự chỉ bảo của các thầy cô và các ý kiến góp ý quan tâm của các đồng nghiệp

Chương 1 TỔNG QUAN

1.1 BÀI TOÁN NHẬN DẠNG MẶT NGƯỜI VÀ NHỮNG KHÓ KHĂN

1.1.1 Bài toán nhận dạng mặt người

Hệ thống nhận dạng mặt người là một hệ thống nhận vào là một ảnh hoặc một đoạn video (một chuỗi các ảnh) Qua xử lý tính toán hệ thống xác định được vị trí mặt người trong ảnh (nếu có) và xác định là người nào trong số những người hệ thống đã được biết (qua quá trình học) hoặc là người lạ

Hình 1.1 Ví dụ về hệ thống nhận dạng mặt người 1.1.2 Những khó khăn của nhận dạng khuôn mặt

Bài toán nhận dạng mặt người là bài toán đã được nghiên cứu từ những năm

70 Tuy nhiên, đây là một bài toán khó nên những nghiên cứu hiện tại vẫn chưa đạt được kết quả mong muốn Chính vì thế vấn đề này vẫn đang được nhiều nhóm trên thế giới quan tâm nghiên cứu Khó khăn của bài toán nhận dạng mặt người có thể kể như sau:

a Tư thế, góc chụp: Ảnh chụp khuôn mặt có thể thay đổi rất nhiều bởi vì góc

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 5

khác nhau, các thành phần trên khuôn mặt như mắt, mũi, miệng có thể bị khuất một phần hoặc thậm chí khuất hết

b Sự xuất hiện hoặc thiếu một số thành phần của khuôn mặt: Các đặc

trưng như: râu mép, râu hàm, mắt kính, v.v có thể xuất hiện hoặc không Vấn đề này làm cho bài toán càng trở nên khó hơn rất nhiều

c Sự biểu cảm của khuôn mặt: Biểu cảm của khuôn mặt người có thể làm

ảnh hưởng đáng kể lên các thông số của khuôn mặt Chẳng hạn, cùng một khuôn mặt một người, nhưng có thể sẽ rất khác khi họ cười hoặc sợ hãi,v.v

d Sự che khuất: Khuôn mặt có thể bị che khuất bởi các đối tượng khác hoặc

các khuôn mặt khác

e Hướng của ảnh: Các ảnh của khuôn mặt có thể biến đổi rất nhiều với các

góc quay khác nhau của trục camera Chẳng hạn chụp với trục máy ảnh nghiêng làm cho khuôn mặt bị nghiêng so với trục của ảnh

f Điều kiện của ảnh: Ảnh được chụp trong các điều kiện khác nhau về: chiếu

sáng, về tính chất camera (máy kỹ thuật số, máy hồng ngoại,v.v ) ảnh hưởng rất nhiều đến chất lượng ảnh khuôn mặt

1.2 CÁC ỨNG DỤNG LIÊN QUAN ĐẾN NHẬN DẠNG MẶT NGƯỜI

Bài toán nhận dạng mặt người có thể áp dụng rộng rãi trong nhiều ứng dụng thực tế khác nhau Đó chính là lý do mà bài toán này hấp dẫn rất nhiều nhóm nghiên cứu trong thời gian dài Các ứng dụng liên quan đến nhận dạng mặt người có thể kể như:

- Hệ thống phát hiện tội phạm: camera được đặt tại một số điểm công cộng như: siêu thị, nhà sách, trạm xe buýt, sân bay,v.v Khi phát hiện được sự xuất hiện của các đối tượng là tội phạm, hệ thống sẽ gởi thông điệp về cho trung tâm xử lý

- Hệ thống theo dõi nhân sự trong một đơn vị: giám sát giờ ra vào của từng nhân viên và chấm công

- Hệ thống giao tiếp người máy: thay thế việc tương tác giữa người và máy theo những cách truyền thống như: bàn phím, chuột,v.v Thay vào đó là sử dung các giao

tiếp trực quan: biểu cảm khuôn mặt, dấu hiệu, cử chỉ bằng tay (visual input, visual interaction)

- Hệ thống tìm kiếm thông tin trên ảnh, video dựa trên nội dung (chỉ mục theo người) Chẳng hạn như: đài truyền hình Việt Nam (VTV) có một kho dữ liệu video tin tức khá lớn cần tìm kiếm nhanh những đoạn video nào có G Bush hoặc Bin Laden

- Các thệ thống bảo mật dựa trên thông tin trắc sinh học: mặt người, vân tay,v.v thay vì xác nhận mật khẩu, khóa,v.v

1.3 TỔNG QUAN KIẾN TRÚC CỦA MỘT HỆ THỐNG NHẬN DẠNG

MẶT NGƯỜI

Một hệ thống nhận dạng mặt người thông thường bao gồm bốn bước xử lý

sau: phát hiện khuôn mặt (face detection), phân đoạn khuôn mặt (face alignment hay segmentation), rút trích đặc trưng (feature extraction), và phân lớp khuôn mặt (face

classification)

Hình 1.2 Các bước chính trong một hệ thống nhận dạng mặt người

Phát hiện khuôn mặt dò tìm và định vị những vị trí khuông mặt xuất hiện

trong ảnh hoặc trên các frame video Phân đoạn khuôn mặt sẽ xác định vị trí mắt mũi, miệng, và các thành phần khác của khuôn mặt và chuyển kết quả này cho bước rút

trích đặc trưng Từ những thông tin về các thành phần trên khuôn mặt, chúng ta có

thể dễ dàng tính được véc-tơ đặc trưng trong bước rút trích đặc trưng Những véc-tơ đặc trưng này sẽ là dữ liệu đầu vào cho một mô hình đã được huấn luyện trước để

phân loại khuôn mặt Bên cạnh những bước chính nêu trên, chúng ta còn có thể áp

dụng thêm một số bước khác như tiền xử lý, hậu xử lý nhằm làm tăng độ chính xác

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 7

cho hệ thống Trong luận văn này, tôi tập trung chủ yếu vào bước phân loại khuôn

mặt

1.4 GIỚI HẠN PHẠM VI ĐỀ TÀI

Trong đề tài này, tôi tập trung vào một thuật toán hiệu quả cho việc nhận dạng (phân loại) ảnh mặt người Do các điều kiện khó khăn của bài toán và để tập trung sâu vào một phần của hệ thống nhận dạng là khối phân lớp, nhận dạng, tôi đưa ra những giả định và ràng buộc sau nhằm giảm độ phức tạp của bài toán nhận dạng mặt người:

- Thuật toán giải quyết cho ảnh đơn; ảnh khuôn mặt được chụp thẳng hay góc nghiêng không đáng kể; ảnh được chụp trong điều kiện ánh sáng bình thường; ảnh được tiền xử lý trước để cắy lại chỉ còn phần khuôn mặt trong ảnh, do vậy có thể bỏ qua bước phát hiện khuôn mặt (face detection) Với cơ sở dữ liệu thử nghiệm được lọc một phần từ CSDL của Yale dùng trong luận văn này thì các điều kiện trên được thỏa mãn

- Luận văn thừa kế các kết quả nghiên cứu nhận dạng mặt người dùng mạng NN perception đa lớp MLP với thủ tục huấn luyện lan truyền ngược, sử dụng vector đặc trưng PCA đầu vào, thực nghiệm một thuật toán kết hợp mạng NN và giải thuật di truyền GA để tối ưu trọng số mạng NN trong bài toán nhận dạng ảnh mặt người Việc kết hợp GA và NN nhằm mục đích giảm chi phí huấn luyện và tối ưu hệ thống

- Luận văn xây dựng một ứng dụng demo cho việc phát hiện thông tin hành khách tại sân bay bằng nhận dạng ảnh tự động Hệ thống chỉ có tính chất demo, minh họa chứ chưa có khả năng áp dụng ngay trong thực tiễn

1.5 CÁC HƯỚNG TIẾP CẬN LIÊN QUAN ĐẾN PHÁT HIỆN VÀ NHẬN

DẠNG KHUÂN MẶT

Có rất nhiều hướng tiếp cận trước đây đã thực hiện liên quan đến vấn đề phát hiện mặt người Theo Ming-Hsuan Yang [22], có thể phân loại thành bốn hướng tiếp cận chính: dựa trên tri thức (knowledge-based), đặc trưng bất biến (feature invariant), đối sánh mẫu (template matching), và dựa vào diện mạo (appearance-based) phương pháp này thường dùng một mô hình máy học nên còn được gọi là phương pháp dựa

trên máy học (machine learning-based)

Các phương pháp dựa trên tri thức: Hướng tiếp cân này chủ yếu dựa trên

những luật được định nghĩa trước về khuôn mặt người Những luật này thường là các mối quan hệ giữa các thành phần trên khuôn mặt Có một số nghiên cứu từ rất sớm đã

áp dụng phương pháp này như của Kanade 1973 [23], và Kotropoulos 1997 [24]

Hướng tiếp cận dựa trên các đặc trưng bất biến: Hướng tiếp cận này cố

gắng tìm kiếm những đặc trưng độc lập – những đặc trưng không phụ thuộc vào tư thế khuôn mặt, điều kiện chiếu sáng, và các khó khăn khác Các đặc trưng như thế được gọi là bất biến và được sử dụng để phát hiện khuôn mặt Những công trình sử dụng hướng tiếp cận này có thể kể như: K C Yow và R Cipolla 1997 [25], T K Leung 1995 [26]

Phương pháp đối sánh mẫu: Trong hướng tiếp cận này, một mẫu khuôn mặt

chuẩn được định nghĩa bằng tay trước hoặc được tham số hóa bằng một hàm số Mẫu này được sử dụng để phát hiện khuôn mặt bằng cách quét nó qua ảnh và tính toán giá trị tương đồng cho mỗi vị trí Việc xuất hiện một khuôn mặt tại một vị trí nào đó trong ảnh phụ thuộc vào giá trị tương đồng của điểm đó so với mẫu chuẩn I Craw

1992 [27] đã áp dụng một mẫu cứng trong khi A Lanitis 1995 [28] sử dụng một mẫu

có thể biến dạng trong bước phát hiện khuôn mặt

Phương pháp dựa trên máy học: Ngược với phương pháp đối sánh mẫu sử

dụng các mẫu được các chuyên gia định nghĩa trước, phương pháp này sử dụng những mẫu được rút trích qua một quá trình học Nói cách khác, các thuật toán dựa trên máy học dùng các kỹ thuật phân tích thống kê và máy học để xấp xĩ một hàm phân lớp tuyến tính Có nhiều mô hình máy học được áp dụng trong hướng tiếp cận này: Eigenface (M Turk và A Pentland 1991 [22]), Mô hình dựa trên phân phối (K

K Sung and T Poggio 1998 [23]), Mạng Nơ-ron (H Rowley 1998 [24]), Support Vector Machine (E Osuna et al 1997 [25]), Phân lớp Bayes (H Schneiderman và T Kanade 1998 [26]), Mô hình Markov ẩn (A Rajagopalan et al 1998 [27]), và các mô hình tăng cường (AdaBoost của P Viola và M Jones 2001 [28]; FloatBoost do Stan

Z Li và Zhen Qiu Zhang 2004 [22])

data error !!! can't not

read

data error !!! can't not

read

data error !!! can't not

read

data error !!! can't not

read

data error !!! can't not

read

data error !!! can't not

read

data error !!! can't not

read

data error !!! can't not

read

data error !!! can't not

read

data error !!! can't not

read

data error !!! can't not

read

data error !!! can't not

read