Phát hiện và nhận dạng mặt người Thạc sĩ PTIT

Một trong các bài toán nhận dạng con người rất được quan tâm hiện nay là nhận dạng khuôn mặt.. Chương I Giới thiệu chung về các phương pháp nhận dạng mặt người và đặc trưng của phương ph

MỤC LỤC

LỜI MỞ ĐẦU

Hiện nay, cùng với sự phát triển của xã hội, vấn đề an ninh bảo mật đang được yêu cầu khắt khe tại mọi quốc gia trên thế giới Các hệ thống nhận dạng con người được ra đời với độ tin cậy ngày càng cao Một trong các bài toán nhận dạng con người rất được quan tâm hiện nay là nhận dạng khuôn mặt Vì nhận dạng khuôn mặt là cách mà con người sử dụng để phân biệt nhau Bên cạnh đó, ngày nay việc thu thập, xử lý thông tin qua ảnh để nhận biết đối tượng đang được quan tâm và ứng dụng rộng rãi Với phương pháp này, chúng ta có thể thu nhận được nhiều thông tin từ đối tượng mà không cần tác động nhiều đến đối tượng nghiên cứu Sự phát triển của khoa học máy tính tạo môi trường thuận lợi cho bài toán nhận dạng mặt người từ ảnh số Các hệ thống nhận dạng ngày nay có độ tin cậy cao và chính xác hơn

Trong khuôn khổ đồ án này, chúng em sẽ tiếp tục giải quyết bài toán nhận dạng mặt người trong thời gian thực Trong đó đối tượng được thu thập thành các file dữ liệu và được chuyển về trung tâm Tại đó, các số liệu sẽ được phân tích xử lý Trong phần này chúng em sẽ giải quyết bài toán nhận dạng thông thường, phần hai sẽ là phần nhận dạng giới tính

Chương I Giới thiệu chung về các phương pháp nhận dạng mặt người

và đặc trưng của phương pháp nhận dạng mặt người bằng thuật toán PCA

1 Các phương pháp nhận dạng mặt người

a Phân loại các phương pháp nhận dạng

 Nhận dạng dựa trên các đặc trưng của các phần tử trên khuôn mặt (Feature based face recognition)

 Nhận dạng dựa trên xét tổng thể khuôn mặt (Appearance based face recognition)

Ngoài ra còn có một số loại nhận dạng sử dụng mô hình về khuôn mặt, một

số phương pháp được dùng cho loại này:

 Nhận dạng 2D: Elastic Bunch Graph, Active Appearance Model

 Nhận dạng 3D: 3D Morphable Model

b Nhận dạng dựa trên mối quan hệ giữa các phần tử

Đây là phương pháp nhận dạng khuôn mặt dựa trên việc xác định các đặc trưng hình học của các chi tiết trên một khuôn mặt (như vị trí, diện tích, hình dạng của mắt, mũi, miệng,…), và mối quan hệ giữa chúng (như khoảng cách của hai mắt, khoảng cách của hai lông mày,…)

Ưu điểm của phương pháp này là nó gần với cách mà con người sử dụng để nhận biết khuôn mặt Hơn nữa với việc xác định đặc tính và các mối quan hệ, phương pháp này có thể cho kết quả tốt trong các trường hợp ảnh có nhiều nhiễu như bị nghiêng, bị xoay hoặc ánh sáng thay đổi

Nhược điểm của phương pháp này là cài đặt thuật toán phức tạp do việc xác định mối quan hệ giữa các đặc tính đòi hỏi các thuật toán phức tạp Mặt khác, với các ảnh kích thước bé thì các đặc tính sẽ khó phân biệt

c Nhận dạng dựa trên xét toàn diện khuôn mặt

Nội dung chính của hướng tiếp cận này là xem mỗi ảnh có kích thước RxC

là một vector trong không gian RxC chiều Ta sẽ xây dựng một không gian mới có

chiều nhỏ hơn sao cho khi biểu diễn trong không gian đó các đặc điểm chính của một khuôn mặt không bị mất đi Trong không gian đó, các ảnh của cùng một người

sẽ được tập trung lại thành một nhóm gần nhau và cách xa các nhóm khác

Hai phương pháp thường được sử dụng là PCA (Principle Components Analysis) và LDA (Linear Discriminant Analysis) Trong khuôn khổ báo cáo này, chúng em sẽ sử dụng thuật toán PCA

2 Thuật toán PCA

a Giới thiệu chung về thuật toán

PCA (Principle Components Analysis) là một thuật toán để được sử dụng để tạo ra một ảnh mới từ ảnh ban đầu Ảnh mới này có kích thước nhỏ hơn rất nhiều

so với ảnh đầu vào và vẫn mang những đặc trưng cơ bản nhất của ảnh cần nhận dạng PCA không cần quan tâm đến việc tìm ra các đặc điểm cụ thể của thực thể cần nhận dạng và mối quan hệ giữa các đặc điểm đó Tất cả các chi tiết đó đều được thể hiện ở ảnh mới được tạo ra từ PCA

Về bản chất, PCA tìm ra một không gian mới theo hướng biến thiên mạnh nhất của một tập hợp các vector trong không gian cho trước Trong không gian mới, người ta hy vọng rằng việc phân loại sẽ mang lại kết quả tốt hơn so với không gian ban đầu

10.00

20.00

30.00

40.00

50.00

60.00

70.00

x1

0.00

10.00

20.00

30.00

40.00

50.00

60.00

70.00

0.00 50.00 100.00 x1 150.00 200.00 250.00

p2

Không gian mới (p1,p2) theo hướng phân bố mạnh nhất của các vector

trong không gian (x1,x2) tìm theo PCA.

b Ưu điểm của phương pháp PCA

 Tìm được các đặc tính tiêu biểu của đối tượng cần nhận dạng mà không cần phải xác định các thành phần và mối quan hệ giữa các thành phần đó

 Thuật toán có thể thức hiện tốt với các ảnh có độ phân giải cao, do PCA sẽ thu gọn ảnh thành một ảnh có kích thước nhỏ hơn

 PCA có thể kết hợp với các phương pháp khác như mạng Noron, Support Vector Machine … để mang lại hiệu quả nhận dạng cao hơn

c Nhược điểm của PCA

 PCA phân loại theo chiều phân bố lớn nhất của tập vector Tuy nhiên, chiều phân

bố lớn nhất không phải lúc nào cũng mang lại hiệu quả tốt nhất cho bài toán nhận dạng Đây là nhược điểm cơ bản của PCA

 PCA rất nhạy với nhiễu

Chương II Trình bày phương pháp

1 Mô tả

Việc nhận dạng khuôn mặt đã là một vấn đề phổ biến trong nhiều lĩnh vực trên toàn thế giới như cơ điện tử, robot,… đặc biệt là trong lĩnh vực khoa học máy tính

Nhận diện khuôn mặt trong thời gian thực sử dụng C# và EmguCV

EmguCV là một đa nền tảng Net wrapper cho các thư viện xử lý hình ảnh Intel OpenCV Nó cho phép chức năng OpenCV được gọi từ các ngôn ngữ như C#,

VB, VC++, IronPython

Mục đích chính là thực hiện nhận diện khuôn mặt trong thời gian thực sử dụng phân tính thành phần chính (PCA) với eigenface

2 Các hàm xử lý

Đầu tiên, khai báo tất cả các giá trị, vecto và haarcascades:

Sau đó, tải Haarcascades để nhận diện khuôn mặt và tạo thủ tục để tải các gương mặt và nhãn cho mỗi hình ảnh được lưu trữ trước đó

Tiếp tục, khởi tạo thiết bị chụp và sự kiện FrameGrabber để thực hiện việc phát hiện hình ảnh cho mỗi khung hình bị bắt:

Sử dụng DetectHaarCascade và EigenObjectRecognizer để phát hiện các hoạt động đối với mỗi khuôn mặt trong một khung hình:

Các tham số:

haarObj: Phân tầng haar trong nội bộ scaleFactor: yếu tố mà cửa sổ tìm

kiếm được thu nhỏ giữa các lượt quét tiếp theo, ví dụ, 1.1 nghĩa là tăng cửa sổ 10%

minNeighbors: Số tối thiểu (trừ 1) các hình chữ nhật láng giềng tạo nên một

đối tượng Tất cả các nhóm số lượng hình chữ nhật nhỏ hơn min_neighbors-1 sẽ bị

từ chối Nếu min_neighbors là 0, sẽ không có nhóm nào và trả về tất cả hình chữ

nhật được phát hiện, điều này là hữu ích nếu người dùng áp dụng vào thủ tục nhóm tùy chỉnh

flag: Chế độ hoạt động Hiện nay các cờ (flag) chỉ có thể được xác định là

CV_HAAR_DO_CANNY_PRUNING Nếu được thiết lập, chức năng sử dụng việc phát hiện cạnh Canny để từ chối một số vùng ảnh chứa quá ít hoặc quá nhiều cạnh và do đó, không thể chứa các đối tượng tìm kiếm Các giá trị ngưỡng đặc biệt được điểu chỉnh để nhận diện khuôn mặt và trong trường hợp này được giảm bớt

để tăng tốc độ xử lý

minSize: Kích thước cửa sổ tối thiểu Kích thước của mẫu phân loại đã đào

tạo được thiết lập mặc định (~20x20 cho nhận diện khuôn mặt)

- Đào tạo Nguyên mẫu

Với mỗi khung hình sẽ liên tục nhận diện khuôn mặt và có thể thêm khuôn mặt đã được phát hiện vào trong cơ sở dữ liệu hình ảnh với một nhãn Hình ảnh khuôn mặt được đào tạo sẽ hiển thị trong imageBoxFrameGrabber và quá trình này

sẽ được hoàn thành

Ví dụ:

Phần code cho nút Training:

3 Cải thiện độ chính xác

Các thuật toán nhận dạng khuôn mặt dựa trên PCA sẽ so sánh sự phù hợp giữa khuôn mặt được phát hiện và những hình ảnh đào tạo lưu trữ trong cơ sở dữ liệu nhị phân Để có được độ chính xác thì nên thêm một số hình ảnh của cùng một người ở các góc độ, vị trí và điệu kiện chiếu sáng khác nhau

- Các thông số mặc định như: scale_factor = 1.1, min_neighbors = 3, flag = 0 được điều chỉnh cho chính xác phát hiện đối tượng

- Thay đổi kích thước cho một giá trị lớn Sửa đổi này như sau:

4 Cải thiện hiệu suất cho các CPU chậm

Tất cả các thuật toán xử lý hình ảnh đòi hỏi khả năng tính toán cao, trong trường hợp này có hai lựa chọn để cải thiện hiệu suất cho các CPU chậm

- Đối với các video hình ảnh thực cần thiết lập: scale_factor = 1.2, min_neighbors =

2, flag = CV_HAAR_DO_CANNY_PRUNING, MIN_SIZE = <tối thiểu> (ví dụ

từ 1/4 đến 1/16 cho khu vực hình ảnh trong hội nghị truyền hình)

Ngoài ra, bạn có thể thay đổi các tham số Minsize bằng một giá trị lớn:

- Sử dụng “hình thu nhỏ” hoặc thay đổi kích thước hình ảnh chụp ban đầu:

Ví dụ:

Tương tự với nút Training:

Chương III Đánh giá thuật toán

1 Kết quả đạt được

- Đã xử lýđược yêu cầu bài toán khi nhận diện được mặt người bằng phương pháp PCA (phân tích thành phần chính) trong thời gian thực qua camera

- Độ chính xác khi phát hiện và nhận dạng tương đối cao và nó càng chính xác nếu như tập huấn luyện của chúng ta có nhiều góc độ ảnh, vị trí, cường độ sáng với cùng một mẫu thử

- Trong chương trình có sử dụng mã nguồn mở của EmguCVnên việc tương tác với

các thư viện được dễ dàng hơn và độ chính xác cao hơn

2 Những hạn chế của phương pháp lựa chọn

- Khả năng nhận dạng bị hạn chế nếu mẫu thử không được làm giầu trước khi so sánh dễ dẫn đến kết quả bị sai lệch

- Những đối tượng mà không được huấn luyện sẽ không được phát hiện là một hạn

chế của phương pháp Eigenface sử dụng trong chương trình.

- Do sử dụng phương pháp PCA để nhận dạng mặt người nên khi mặt bị che đi 1 góc rất nhỏ (trán hoặc mũi …) thì phương pháp này cũng không thể nhận dạng được