Hệ thống xác định và đánh giá trạng thái mắt người

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vnXác định mắt người trên khuôn mặt là một kỹ thuật máy tính để xác định các vị trí và các kích thước của mắt n

Trang 1

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn

Trang 2

Luận văn được hoàn thành tại trường Đại học Công nghệ thông tin và truyền

thông dưới sự hướng dẫn của TS Vũ Duy Linh Em xin bày tỏ lòng kính trọng

và biết ơn sâu sắc tới thầy

Em cũng xin chân thành cảm ơn các bạn đồng nghiệp phòng Khảo thí & Đảm bảo chất lượng trường Đại học Hải Phòng đã tạo điều kiện giúp đỡ trong quá trình hoàn thành luận văn này

Sự quan tâm, giúp đỡ của gia đình và bạn bè, đặc biệt lớp Cao học K9C trường Đại học Công nghệ thông tin và truyền thông đã cổ vũ, động viên em trong suốt thời gian học tập và thực hiện đề tài

Mặc dù có nhiều cố gắng song luận văn không thể tránh khỏi những thiếu sót, tác giả mong nhận được sự đóng góp ý kiến của các thầy cô và các bạn Xin chân thành cảm ơn!

Thái Nguyên, tháng 01 năm 2013

Tác giả

Nguyễn Thị Hương

Trang 3

LỜI CAM ĐOAN

Tôi xin cam đoan luận văn “ Hệ thống xác định & đánh giá trạng thái mắt người ” là do tôi tự tìm hiểu và được hoàn thành dưới sự hướng dẫn của thầy giáo TS Vũ Duy Linh

Trang 4

MỤC LỤC

MỞ ĐẦU i

CHƯƠNG I TỔNG QUAN VỀ XỬ LÝ ẢNH VÀ BÀI TOÁN XÁC ĐỊNH MẶT NGƯỜI TRONG ẢNH SỐ 10

1.1 Xử lý ảnh và các vấn đề cơ bản trong xử lý ảnh 10

1.1.1.Xử lý ảnh là gì? 10

1.1.2.Các vấn đề cơ bản trong xử lý ảnh 11

1.2 Chuẩn sinh trắc học ( Biometric ) 14

1.2.1.Định nghĩa chuẩn sinh trắc học : 14

1.2.2.Ứng dụng của chuẩn sinh trắc học 14

1.3 Bài toán xác định mặt người trong ảnh số 17

1.3.1.Giới thiệu về bài toán xác định mặt người trong ảnh số 17

1.3.2.Định nghĩa bài toán xác định mặt người 17

1.3.3.Các phương pháp chính xác định mặt người 17

1.4 Ưu điểm của việc xác định vị trí mắt 18

CHƯƠNG 2 CÁC PHƯƠNG PHÁP XÁC ĐỊNH VỊ TRÍ MẮT NGƯỜI TRÊN KHUÔN MẶT 20

2.1 Xác định tọa độ mắt bằng cách sử dụng các so sánh mẫu 21

2.1.1.Phương pháp 21

Bằng cách sử dụng hai mô hình 21

2.1.2.Những thuận lợi và khó khăn xác định vị trí mắt khi sử dụng phương pháp so sánh mẫu 26

2.2 Xác định tọa độ mắt sử dụng phương pháp Moments 26

2.3 Xác định tọa độ mắt bằng cách sử dụng phương pháp chiếu 33

2.4 Xác định tọa độ mắt sử dụng phương pháp Knowledge 46

CHƯƠNG 3 XÂY DỰNG CHƯƠNG TRÌNH VÀ CÀI ĐẶT THỬ NGHIỆM 47

Trang 5

3.1 Giới thiệu về Matlab 47

3.2 Thuật toán để phát hiện vị trí của mắt cho hình ảnh sắc nét 47

3.3 Mô tả các CSDL dùng cho thực nghiệm 53

3.3.1.CSDL ORL 53

3.3.2.CSDL FERET 54

3.3.3.CSDL SIMILAR 55

3.3.4.CSDL BIOID 56

3.4 Phương pháp đánh giá độ chính xác: 57

3.5 Hệ thống đánh giá trạng thái mắt người 59

3.6 Cấu trúc hệ thống 63

KẾT LUẬN 66

TÀI LIỆU THAM KHẢO 67

Trang 6

DANH MỤC CÁC HÌNH VẼ, ẢNH CHỤP

Số hiệu

2 Kết quả xác định các thông số khuôn mặt 13

2.1 Tìm kiếm trung tâm mắt sử dụng phương pháp so sánh mẫu 14

2.2 Các biến thể của các mẫu dùng xác định vị trí mắt 15

2.4 Kết quả xác định vị trí của mắt bằng việc sử dụng mẫu b4 17

2.5 Trích chọn vùng mắt trái bằng cách xử lý hai giai đoạn 18

2.6 Xác định tọa độ trung tâm trên hình ảnh nhị phân 19

2.7 Xác định tọa độ trung tâm dựa trên hai phương pháp 21

2.8 Ảnh khuôn mặt, cho mà dự toán tọa độ mắt là sai 22

2.9 Ví dụ ước tính chính xác của tọa độ mắt 23

2.10 Sử dụng các thành phần I2 để xác định trung tâm mắt 25

2.11 Thủ tục xác định tọa độ của mắt (biến thể "a") 28

2.12 Chức năng hoạt nghiệm 28

2.13 Kết quả xác định vị trí mắt sử dụng phương pháp chiếu 30

2.14 Cửa sổ hàm W cho các phiên bản khác nhau của phép quay đầu 31

2.15 Hàm S và F cho các phiên bản khác nhau cảu phép quay đầu 32

2.16 Kết quả dùng phương pháp đơn gian hóa 32

2.17 Một số kết quả xác định tọa độ mắt của CSDL ỎL 33

2.18 Mô hình khuôn mặt được sử dụng để thử nghiệm 34

2.19 Tính toán và xác minh tọa độ của mắt 34

Trang 7

2.20 Kết quả tính toán của mắt dòng vị trí trong mỗi nửa mặt 35

2.21 Bám sát vị trí của dòng mắt 38

2.22 Vị trí của dòng mắt trong mỗi nửa mặt 38

2.23 Tính toán của mắt phối hợp trong chuỗi video 39

3.2 Kết quả thuật toán xác định vị trí mắt người 45

3.5 Cơ sở dữ liệu hình ảnh khuôn mặt FERE 47

3.7 Cơ sở dữ liệu hình ảnh khuôn mặt BIOID 49

3.8 Trung tâm phối hợp mắt và mối quan hệ giữa chúng 50

3.10 Xác định vị trí của mắt trên CSDL BIOID 51

3.11 Giai đoạn tỉnh táo sắp ngủ và ngủ 53

3.12 Đánh giá hướng quay theo vị trí mắt người 55

3.13 Hệ thống đánh giá trạng thái mắt người 57

3.14 Một ví dụ về việc đánh giá trạng thái của mắt 58

Trang 8

Xác định mắt người trên khuôn mặt là một kỹ thuật máy tính để xác định các vị trí và các kích thước của mắt người trong các ảnh bất kỳ (ảnh kỹ thuật số) Nhận dạng mắt người là một trong những công việc cơ sở chủ yếu cho việc căn chỉnh mặt người và nhận dạng mặt người Việc nhận dạng mắt người này đang đối mặt với nhiều thách thức khác nhau như hướng nhìn, biểu hiện cảm xúc của mặt người thay đổi và các điều kiện ánh sáng khác nhau thay đổi Hệ thống nhận dạng làm việc theo cơ chế so sánh ảnh mặt người đầu vào với các ảnh mặt người được lưu trữ trong CSDL(Face Recognition System) Công nghệ nhận dạng mặt người là một trong những lĩnh vực phát triển nhanh nhất trong các hệ thống sinh trắc học Công nghệ sử dụng khuôn mặt để nhận dạng và điểm đặc biệt là có thể thực hiện việc nhận dạng mà không cần sự tương tác với người như 1 số công nghệ khác(vân tay, con ngươi…)

Ngày nay công nghệ nhận dạng mặt người được đưa vào sử dụng trong nhiều lĩnh vực trong cuộc sống như truy tìm tội phạm, đảm bảo an ninh, hộ chiếu điện tử… Biometric là một phương pháp nhận ra danh tánh của một người dựa trên Physiological hoặc hành vi đặc trưng,các tính năng đo được mặt, dấu vân tay, bàn tay geometry, iris, retinal, giọng nói… biometric xác thực ngày càng được sử dụng trong các lĩnh vực như ngân hàng, bán lẻ, quốc phòng, sản xuất, y

tế các ngành công nghiệp, chứng khoán, khu vực công, sân bay an ninh…Sự phát triển của biometric trên cơ sở sử dụng mặt người ngày càng lớn

Trang 9

Xác định vị trí khuôn mặt là 1 trong những điều kiện quan trọng nhất trong hệ thống nhận dạng mặt người Hiệu suất làm việc của hệ thống phụ thuộc vào việc xác định chính xác vị trí mặt người trong ảnh ở đầu vào cũng như việc xác định vị trí mặt người khi xây dựng cơ sở dữ liệu cho hệ thống

Xác định chính xác vị trí mắt người giúp cho các phương pháp xử lý ảnh mặt người được dễ dàng hơn Ví dụ sau khi xác định được vị trí mắt người có thể sử dụng để xác định đường đối xứng của khuôn mặt, xây dựng model của khuôn mặt, sử dụng trong các bài toán đánh giá trạng thái của mắt người, chuẩn hóa khuôn mặt theo chuẩn Sinh trắc học

Đó là lý do mà em chọn đề tài “ Hệ thống xác định & đánh giá trạng thái mắt người ”

Luận văn được trình bày gồm có 3 chương:

 Chương 1 Tổng quan về xử lý ảnh và bài toán xác định mặt người

 Chương 2 Các phương pháp xác định vị trị mắt người

Gồm có : 4 phương pháp

1 Xác định tọa độ mắt sử dụng mẫu so sánh

2 Xác định tọa độ mắt sử dụng phương pháp Moments

3 Xác định tọa độ mắt sử dụng phương pháp chiếu

4 Xác định tọa độ mắt sử dụng phương pháp Knowlegde

 Chương 3 Xây dựng chương trình và cài đặt

Trang 10

CHƯƠNG I TỔNG QUAN VỀ XỬ LÝ ẢNH VÀ BÀI TOÁN XÁC

ĐỊNH MẶT NGƯỜI TRONG ẢNH SỐ 1.1 Xử lý ảnh và các vấn đề cơ bản trong xử lý ảnh

- Biến đổi ảnh, làm tăng chất lượng ảnh

- Tự động nhận dạng ảnh, đoán nhận ảnh, đánh giá các nội dung của ảnh

Nhận biết và đánh giá được nội dung của ảnh là để phân biệt được đối tượng này với đối tượng khác, từ đó ta có thể mô tả được ảnh ban đầu Có một số phương pháp nhận dạng như: nhận dạng cạnh của một số đối tượng trên ảnh, tách cạnh, phân đoạn hình ảnh … Các kỹ thuật này được ứng dụng nhiều trong y học như: xử lý tế bào, nhiễm sắc thể; nhận dạng chữ viết trong văn bản…

Hình 1.2: Các giai đoạn trong xử lý ảnh

Trích chọn đặc

Trang 11

máy phải được mã hóa, vì vậy ảnh phải được lưu trữ thế nào sao cho các ứng dụng khác nhau có thể thao tác trên các loại dữ liệu này Một số dạng ảnh đã được chuẩn hóa như: GIF, BMP, PCX, ; mỗi kiểu lưu trữ ảnh đều có điểm riêng Tùy theo vùng các giá trị xám của điểm ảnh mà các ảnh được phân chia

ra thành ảnh màu, ảnh xám, ảnh nhị phân Khi trên một ảnh chỉ có giá trị 0 hoặc 1 thì ta nói đó là ảnh nhị phân hoặc ảnh đen trắng và các điểm ảnh của nó gọi là điểm ảnh nhị phân Việc đếm các điểm ảnh trên ảnh nhị phân đã qua biến đổi tạo điều kiện thuận lợi cho việc tách ra các đặc tính Để tạo ra một ảnh nhị phân từ ảnh đa cấp xám ta dùng phương pháp tách ngưỡng Các giá trị nằm ở trên ngưỡng được gán giá trị 1 còn ở bên dưới ngưỡng thì được gán giá trị 0

- Kỹ thuật tách ngưỡng: Ngưỡng  trong kỹ thuật tách ngưỡng thường được cho bởi người sử dụng Kỹ thuật tìm, tách ngưỡng tự động nhằm tìm ra ngưỡng  một cách tự động dựa vào Histogram theo nguyên lý trong vật lý là vật thể tách làm 2 phần nếu tổng độ lệch trong từng phần là tối thiểu

Trang 12

Giả sử ta có ảnh I ~ kích thước m x n; G ~ số mức xám của ảnh kể cả khuyết thiếu; t(g) ~ số điểm ảnh có mức xám ≤ g

Ảnh thu nhận thường bị biến dạng do các thiết bị quang học và điện tử

Để khắc phục, người ta sử dụng các phép chiếu, các phép chiếu thường được xây dựng trên tập các điểm điều khiển

 Khử nhiễu

Có hai loại nhiễu cơ bản trong quá trình thu nhận ảnh:

 Nhiễu hệ thống: là nhiễu có quy luật có thể khử bằng các phép biến đổi

phục bằng các phép lọc

Nhằm khắc phục tính không đồng đều của hệ thống gây ra, thông thường

có hai hướng tiếp cận:

một bó Trường hợp chỉ có hai mức xám thì chính là chuyển về ảnh đen trắng

thuật nội suy Kỹ thuật này nhằm tăng độ mịn của ảnh

 Phân tích ảnh

Là khâu quan trọng trong quá trình xử lý ảnh để tiến tới hiểu ảnh Trong phân tích ảnh việc trích chọn đặc điểm là một bước quan trọng, các đặc

Trang 13

điểm của đối tượng được trích chọn tùy theo mục đích nhận dạng trong quá trình xử lý ảnh Một số đặc điểm của ảnh như: đặc điểm không gian, đặc điểm biến đổi, đặc điểm biên và đường biên

 Nhận dạng ảnh

Nhận dạng ảnh là quá trình liên quan đến các mô tả đối tượng mà người

ta muốn đặc tả nó Quá trình nhận dạng thường đi sau quá trình trích chọn các đặc tính chủ yếu của đối tượng Nhận dạng tự động, mô tả đối tượng, phân loại và phân nhóm các mẫu là những vấn đề quan trọng trong thị giác máy, được ứng dụng trong nhiều ngành khoa học khác nhau

Hệ thống nhận dạng tự động bao gồm ba khâu tương ứng với ba giai đoạn chủ yếu sau: thu nhận dữ kiệu và tiền xử lý, biểu diễn dữ liệu, nhận dạng

và ra quyết định Bốn cách tiếp cận khác nhau trong lý thuyết nhận dạng là: Đối sánh mẫu dựa trên các đặc trưng được trích chọn, phân loại thống kê, đối sánh cấu trúc, phân loại dựa trên mạng nơron nhân tạo

 Nén ảnh

Lượng thông tin để biểu diễn cho một ảnh là rất lớn, vì vậy nén ảnh nhằm giảm thiểu không gian lưu trữ, thường được tiến hành theo cả hai khuynh hướng là nén có bảo toàn và nén không bảo toàn thông tin Nén không bảo toàn thì thường có khả năng nén cao hơn nhưng có khả năng phục hồi kém hơn Các cách nén ảnh:

 Nén ảnh thống kê: Dựa vào việc thống kê tần xuất xuất hiện của giá trị các điểm ảnh, trên cơ sở đó mà có chiến lược mã hóa thích hợp Ví dụ: mã nén

*.TIF

hành mã hóa Kỹ thuật này dựa vào sự giống nhau của các điểm ảnh trong các vùng gần nhau Ví dụ: mã nén *.PCX

Trang 14

kỹ thuật này thường nén hiệu quả hơn Ví dụ: nén *.JPG

 Nén ảnh Fractal: sử dụng tính chất Fractal của các đối tượng ảnh, thể hiện

sự lặp lại của các chi tiết Kỹ thuật nén sẽ tính toán để chỉ cần lưu trữ phần gốc của ảnh và quy luật sinh ra ảnh theo nguyên tắc Fractal

1.2 Chuẩn sinh trắc học ( Biometric )

1.2.1 Định nghĩa chuẩn sinh trắc học :

Công nghệ Sinh trắc học (Biometric) – là một công nghệ sử dụng những thuộc tính vật lý hoặc các mẫu hành vi, các đặc điểm sinh học đặc trưng như dấu vân tay, mẫu mống mắt, giọng nói, khuôn mặt, dáng đi,… để nhận diện con người

1.2.2 Ứng dụng của chuẩn sinh trắc học

 Vân tay

Đầu thế kỷ XIX, phát hiện khoa học vẫn còn được công nhận bởi hai tính năng quan trọng: Đầu tiên, hai phong cách khác nhau sống núi mẫu vân tay (Ridge Hoa văn) là khác nhau từ khác có dấu vân tay sống núi của phong cách sống giống nhau Nghiên cứu này giúp nhận dạng dấu vân tay tại có thể

có của tội phạm áp dụng chính thức Thế kỷ XX, các sixties, như là máy tính

có thể xử lý đồ họa, người ta bắt đầu xem xét các máy tính để xử lý các dấu vân tay, vân tay tự động AFIS Hệ thống xác định trong các lĩnh vực thực thi pháp luật của nghiên cứu, ứng dụng này bắt đầu tới

Một yêu cầu hệ thống sinh trắc học tốt một cách nhanh chóng và hiệu quả trong thời gian thực để hoàn thành quá trình nhận dạng của nó Tất cả các

hệ thống sinh trắc học bao gồm các quá trình điều trị một số sau đây: mua lại, giải mã, so sánh và kết hợp Các dấu vân tay cùng công nhận chế biến, bao gồm chụp ảnh dấu vân tay, vân tay xử lý hình ảnh, tính năng khai thác, tính

Trang 15

năng phù hợp hơn với quá trình Những lợi thế của việc sử dụng phương pháp dấu vân tay được, đáng tin cậy của nó thuận tiện và dễ dàng được chấp nhận

 Võng mạc của mắt

Phân tích các đặc tính phức tạp và độc đáo của công nghệ sinh trắc học mắt được chia thành hai khu vực riêng biệt: các công nghệ nhận dạng mống mắt, và công nhận iris công nghệ Iris được bao quanh bởi một lớp mô màu mống mắt Iris công nhận hệ thống sử dụng camera để chụp mẫu, sau đó các dữ liệu thu thập bởi phần mềm này để so sánh với các mẫu lưu trữ Là giác mạc mắt ở dưới cùng của lớp tế bào máu Giác mạc là quét để kiểm tra mật độ thấp hồng ngoại để nắm bắt đặc điểm độc đáo của giác mạc này Chúng tôi biết các khu vực ở trung tâm của giác mạc đều được kiểm tra, các

tế bào máu do đó sẽ là phương thức duy nhất của capturing Iris công nghệ nhận dạng sinh trắc học được coi là tốt nhất Tuy nhiên, mặc dù độ chính xác cao, mọi người thường nghĩ rằng công nghệ này là không thuận tiện Vì vậy, rất khó để có được chấp nhận phổ quát của người dùng cuối Giác mạc đã được quét bằng máy quét cần thiết để đọc thông tin giác mạc trong thẳng đứng cố định của nó Scanner cho mắt và mù mắt giác mạc và với người dân

là không hợp lệ

 Bề mặt lỗ

Hệ thống nhận dạng khuôn mặt bằng cách phân tích các tính năng mặt của hình dạng độc đáo, mô hình và vị trí để xác định người dân Về cơ bản có hai cách để xử lý dữ liệu: máy ảnh và lập bản đồ nhiệt Standard camera video được xây dựng từ máy ảnh để chụp hình ảnh khuôn mặt Phân tích kỹ thuật của nhiệt vẽ các mạch máu dưới da xảy ra các mô hình nhiệt Việc kháng cáo của sinh trắc học là nó có thể được con người-máy tính tương tác Tuy nhiên,

hệ thống này là rất không đáng tin cậy và đắt tiền Ví dụ, nó không thể phân biệt giữa các cặp sinh đôi hoặc sinh ba, không thể nhận ra những lý lẽ làm

Trang 16

người sử dụng cuối cùng không thể xác định được kính không đeo kính với

cùng một người

 Âm thanh

Xác định được dựa trên đặc điểm sinh lý âm thanh và hành vi sử dụng của người phát biểu của giọng nói và các mẫu ngôn ngữ Nó khác với công nghệ nhận dạng giọng nói không phải là để nói những lời tự được xác định Nhưng chỉ có thông qua phân tích các tính năng thoại, chẳng hạn như tần số của âm thanh để xác định các loa Bài phát biểu công nhận công nghệ cho phép mọi người có thể có khả năng nói tiếng nói để kiểm soát truy cập vào khu vực hạn chế Ví dụ, điện thoại quay số ngân hàng, các dịch vụ cơ sở dữ liệu, mua sắm hoặc voice mail, và truy cập đến các thiết bị bí mật Một người

bị cảm lạnh có thể sai một từ chối công nhận không sử dụng hệ thống nhận dạng giọng nói

 Chữ ký

Chữ ký công nhận, còn được gọi là việc xác định chữ ký cơ khí Nó phân tích các cây bút di chuyển, chẳng hạn như tăng tốc, áp lực, chỉ đạo, chiều dài của đột quỵ, chứ không phải là chữ ký của các hình ảnh bản thân

Sự khác biệt chính giữa chữ ký cơ học của các bộ phận khác nhau của chữ ký, một số, phong tục khác là khác nhau trong mỗi chữ ký Việc sử dụng chữ ký

đã được chấp nhận rộng rãi, trong các ứng dụng khác nhau, từ Tuyên ngôn Độc lập vào thẻ tín dụng có thể được nhìn thấy Tuy nhiên, vấn đề công nhận chữ ký vẫn còn tồn tại trong quá trình đạt được sự công nhận để sử dụng theo cách thức và ký đo lặp Hệ thống kiểm soát đã được lập trong một số cách để chấp nhận thay đổi

Trang 17

1.3 Bài toán xác định mặt người trong ảnh số

1.3.1 Giới thiệu về bài toán xác định mặt người trong ảnh số

Trong những năm qua, có rất nhiều công trình nghiên cứu về bài toán nhận dạng mặt người Các nghiên cứu đi từ bài toán đơn giản, từ việc nhận dạng một mặt người trong ảnh đen trắng cho đến mở rộng cho ảnh mầu và có nhiều mặt người trong ảnh Đến nay các bài toán xác định mặt người đã mở rộng với nhiều miền nghiên cứu như nhận dạng khuôn mặt, định vị khuôn mặt, xác định trạng thái mắt người, theo dõi mặt người hay nhận dạng cảm xúc mặt người…

Phát hiện mặt người trong ảnh là phần đầu tiên của một hệ thống nhận dạng mặt người Các hệ thống nhận dạng khuôn mặt được bắt đầu xây dựng

từ những năm 1970, tuy nhiên do còn hạn chế về các luật xác định mặt người nên chỉ được áp dụng trong một số ứng dụng như nhận dạng thẻ căn cước Nó chỉ được phát triển mạnh mẽ từ những năm 1990 khi có những tiến bộ trong công nghệ video và ngày nay thì các ứng dụng của xác định mặt người đã trở nên phổ biến trong cuộc sống

1.3.2 Định nghĩa bài toán xác định mặt người

Xác định khuôn mặt người là một kỹ thuật máy tính để xác định các vị trí

và kích thước của các khuôn mặt người trong các ảnh số bất kì Kỹ thuật này nhận biết các đặc trưng của khuôn mặt và bỏ qua những thứ khác xung quanh đối tượng như: tòa nhà, cây cối, cơ thể…

1.3.3 Các phương pháp chính xác định mặt người

Dựa vào tính chất của các phương pháp xác định mặt người trên ảnh, các phương pháp này được chia thành bốn loại chính, tương ứng với bốn hướng tiếp cận khác nhau Ngoài ra cũng có rất nhiều nghiên cứu mà phương pháp xác định mặt người không chỉ dựa vào một hướng mà có liên quan đến nhiều hướng

Trang 18

 Hướng tiếp cận dựa trên tri thức: Dựa vào các thuật toán, mã hóa các

đặc trưng và quan hệ giữa các đặc trưng của khuôn mặt thành các luật Đây là hướng tiếp cận theo kiểu top-down

 Hướng tiếp cận dựa trên đặc trưng không thay đổi: Xây dựng các thuật

toán để tìm các đặc trưng của khuôn mặt mà các đặc trưng này không thay đổi khi tư thế khuôn mặt hay vị trí đặt camera thay đổi

 Hướng tiếp cận dựa trên so sánh khớp mẫu: Dùng các mẫu chuẩn của

khuôn mặt (các mẫu này đã được chọn và lưu trữ) để mô tả các khuôn mặt hay các đặc trưng của khuôn mặt (các mẫu này được chọn tách biệt theo tiêu chuẩn đã được các tác giả đề ra để so sánh) Phương pháp này

có thể dùng để xác định vị trí hay dò tìm khuôn mặt trên ảnh

 Hướng tiếp cận dựa trên diện mạo: Trái ngược với hướng tiếp cận dựa

trên khuôn mẫu, các mô hình (hay các mẫu) sẽ được học từ một tập ảnh huấn luyện mà thể hiện tính chất tiêu biểu của sự xuất hiện của mặt người trong ảnh Sau đó hệ thống (mô hình) sẽ xác định mặt người Phương pháp này còn được biết đến với tên gọi tiếp cận theo các phương

- Mắt là nguồn thông tin quan trọng về tình trạng của con người

- Sự xuất hiện của mắt là ít thay đổi nhất trên khuôn mắt

- Việc biết vị trí của mắt cho phép chúng ta chỉ ra được tỷ lệ của khuôn mặt

- Việc định vị chính xác mắt giúp ta chỉ ra được những đặc tính khác trên khuôn mặt

Trang 19

Từ trung tâm của mắt, chúng ta có thể xác định được những điểm chuẩn khác

Hình 1.3 Các điểm trên khuôn mặt

Trong đó : Khuôn mặt có 27 điểm, 13 điểm trích ra từ hình ảnh (màu xanh),

14 điểm suy luận ra (màu đỏ)

Hiện nay, có rất nhiều bài toán liên quan tới việc xác định vị trí mắt người: Xác định trạng thái mắt nhắm hay mở (hệ thống đặt trên ô tô để kiểm soát lái xe, hay hệ thống kiểm tra bảo vệ ngủ tại các cơ quan quan trọng, xác định hướng nhìn của khuôn mặt dựa trên vị trí mắt, xây dựng model khuôn mặt…

Trang 20

CHƯƠNG 2 CÁC PHƯƠNG PHÁP XÁC ĐỊNH VỊ TRÍ MẮT NGƯỜI

TRÊN KHUÔN MẶT Trong chương này sẽ giới thiệu một số phương pháp phát hiện mắt và

xác định tọa độ của mắt trung tâm

Mắt là một trong những chỗ tiếp xúc với những nơi biến dạng trên một khuôn mặt (ví dụ như bằng cách biểu hiện trên khuôn mặt) và đặc biệt : một phần khác đối mặt với thay đổi như vậy sắc nét Tìm kiếm mắt là thao tác chính,nó phụ thuộc tính toán thêm tham số mặt Ví dụ về các thông số, mà có thể xác định là: Tam giác nơi kiểm tra một khuôn mặt, đặc điểm trên khuôn mặt, tọa độ của các mắt trung tâm và trục đối xứng khuôn mặt, khoảng cách giữa các trung tâm của mắt

Hình 2 Kết quả xác định các thông số khuôn mặt

Trục đối xứng khuôn mặt có thể được xác định từ ví dụ trên cơ sở tọa

độ của các mắt trung tâm hay góc của mắt Tuy nhiên, hiệu quả của phương pháp phát hiện mắt (hoặc xác định tọa độ của mắt góc) là giới hạn thông qua đôi mắt có thể đóng cửa hoặc ảnh hưởng của kính

Có rất nhiều phương pháp tiếp cận được biết đến phát hiện mắt và xác định tọa độ của các mắt trung tâm, dưới đây em chỉ mô tả cơ bản một số thuật toán mà dựa trên:

Trang 21

2.1 Xác định tọa độ mắt bằng cách sử dụng các so sánh mẫu

2.1.1 Phương pháp

Bằng cách sử dụng hai mô hình, một trong những nơi có thể chính xác bản địa hoá mắt trên khuôn mặt Ví dụ về cách tiếp cận như vậy cho thấy trên hình 2.1 ta thấy:

1- Hình ảnh ban đầu

2- Mẫu của một phần trung tâm của khuôn mặt

3- Mẫu mắt trái của con người

4- Kết quả của địa phương hoá khu vực mặt từ mẫu 2

5- Vùng mặt, nơi mắt đã tìm thấy và kết quả xác định vị trí của mắt trái 6- Xác định mắt trung tâm bằng cách sử dụng đường chéo của hình chữ nhật để mô tả khu vực xác định vị trí mắt

Hình 2.1 Tìm kiếm trung tâm mắt sử dụng phương pháp so sánh mẫu

Trong ví dụ này, mắt trung tâm là giao điểm đường chéo của hình chữ nhật trên khu vực xác định vị trí mắt Đây cũng là trung tâm của hình chữ nhật - điểm này được đặt ở giữa của chiều rộng và chiều cao của hình chữ nhật Từ kết quả này, tính chính xác độ tính toán tọa độ của mắt phụ thuộc vào độ chính xác của việc trích vùng mắt và đối xứng của vùng liên quan với con người được xác định vị trí mắt Mặt khác, tính chính xác của trích chọn của vùng mắt và đối xứng của nó phụ thuộc vào chất lượng của các mẫu và thích nghi với mắt trên hình ảnh đưa vào

Trang 22

Các biến thể của mẫu, nó được sử dụng xác định vị trí vùng mắt, được trình bày trên hình 2.2

Hình 2.2 Các biến thể của các mẫu dùng xác định vị trí mắt

Trong hình 2.3 trình bày kết quả xác định vị trí của vùng mắt trên hình ảnh khuôn mặt từ cơ sở dữ liệu ORL Nhiều biến thể của các mẫu được sử dụng:

- Ví dụ đầu tiên - mẫu b1 từ hình 2.2 (chiết xuất từ khuôn mặt thực), và các mẫu nhân tạo c4 và b4 từ hình 2.2

- Ví dụ thứ hai - mẫu nhân tạo của bộ phận trung tâm của khuôn mặt và các mẫu c4 và c2 từ hình 2.2

Ta có thể thấy trên hình 2.3 rằng kết quả nhận được của vùng mắt xác định vị trí hiển thị cao hiệu quả và hữu ích thực tế của phương pháp so sánh các mẫu (bất kể là đã lựa chọn mắt trái hoặc mắt phải).Ta có thể biết chắc chắn rằng kết quả xác định vị trí không phụ thuộc vào biến thể của mẫu được

sử dụng Tuy nhiên, một trong những chú ý là những trở ngại trên khuôn mặt (mắt đóng và kính) có ảnh hưởng đáng kể vào kết quả xác định vị trí Bên cạnh đó, ta có thể nhận thấy thiếu đối xứng của vùng được xác định vị trí chú

ý con người của mắt Kết quả từ đó, mà không phải luôn luôn có thể tìm thấy

Trang 23

trung tâm của mắt được rút ra trên các vùng bằng phương tiện chính giữa của hình chữ nhật

Do đó, để xác định tọa độ trung tâm của mắt nói chung trong trường hợp là cần thiết sau các bước:

1 Sử dụng các mẫu giống nhau như hình dạng của mắt người;

Trang 24

Ảnh hưởng của hình dạng mẫu trên kết quả xác định vị trí của mắt (đối xứng của vùng mắt ) được trình bày trên hình 2.4, nơi mà mẫu b4 từ hình 2.2

đã được sử dụng để xác định vị trí của mắt

Hình 2.4 cho thấy kết quả xác định vị trí của vùng mắt và tìm kiếm trung tâm mắt bằng cách sử dụng mẫu b4 cho khuôn mặt mà không có kính là tốt hơn nhiều so với kết quả giới thiệu vào hình 2.3 Hầu như trong mọi mẫu học sinh được đặt ở trung tâm của khu vực được giải nén Cho rằng lý do xác định tọa độ trung tâm của mắt có thể được thực hiện trên cơ sở ước lượng trung tâm của khu vực chiết xuất

Hầu hết các mẫu giống nhau như hình dạng của mắt người tự nhiên có thể được tìm thấy trong kỹ thuật văn học dành những vấn đề của biểu thức phân tích (khuôn mặt biểu thức phân tích)

Hình 2.4 Kết quả xác định vị trí của mắt bằng việc sử dụng mẫu b4

Thêm các toán tử xác định vị trí của vùng mắt trung tâm bên trong các khu vực được giải nén có thể dựa vào: hai giai đoạn (ba giai đoạn) tìm thủ tục tương tự vào thuật toán được trình bày trên hình 2.1, kim tự tháp của hình ảnh đầu vào, thủ tục sử dụng nhiều mẫu, tìm kiếm dọc theo các khu vực mắt xoắn

Trang 25

ốc bằng phương tiện của các mẫu, sử dụng sự tương quan lẫn nhau giữa các mẫu và khu vực dưới nó

Thay đổi tìm kiếm quá trình của vùng mắt trên khuôn mặt có thể dựa vào thủ tục hai giai đoạn, nơi vào giai đoạn đầu tiên của mắt được tính toán, giai đoạn sau tìm kiếm mắt dọc theo dòng này - độ lệch từ dòng mắt trong tìm kiếm quá trình  5 điểm ảnh không thể lớn hơn

Kết quả tìm kiếm vùng mắt nghĩa là sử dụng hai giai đoạn dùng mô hình c4 được trình bày trên hình 2.5, nơi đường ngang dòng mắt, và vùng được giải nén mắt được đánh dấu bằng các hình chữ nhật Trên hình ta có thể thấy rằng mặc dù sử dụng các mẫu không tốt nhất (mẫu c4) có thể nhận được kết quả rất tốt xác định vị trí của mắt

Hình 2.5 Trích chọn vùng mắt trái bằng cách xử lý hai giai đoạn

Ta thấy rằng, trong ví dụ trình bày tọa độ dọc theo 10% độ dài khuôn mặt Vì lý do đó mà sự so sánh trong trình tự hai giai đoạn được xem như là nhỏ hơn trình tự một giai đoạn nơi mà phối hợp dọc theo trục Y thay đổi trong phạm vi 40% của chiều dài khuôn mặt

Trang 26

2.1.2 Những thuận lợi và khó khăn xác định vị trí mắt khi sử dụng

phương pháp so sánh mẫu

trí chính xác tọa độ của mắt trong trường hợp người đeo kính hoặc mắt nhắm

 Lợi thế của phương pháp này là nhận thức là đơn giản, hơn thế nữa được thực hiện trên cơ sở các ứng dụng định kỳ duy nhất của một thủ tục

2.2 Xác định tọa độ mắt sử dụng phương pháp Moments

Phương pháp của thời điểm được sử dụng để xác định tọa độ trọng tâm của khu vực gần nhất, ví dụ trích ra vùng mắt

Nếu hình ảnh nhập vào là tập tin ảnh nhị phân, sau đó trọng tâm của khu vực được giải nén có thể tính toán Như hình ảnh có thể xuất hiện, ví dụ như

là kết quả lượng tử hóa và phân khúc của màu sắc hình ảnh và hình ảnh trước khi sử dụng trung bình lọc Trong trường hợp của hình ảnh nhị phân mà không có tiếng ồn trọng tâm của khu vực được giải nén có thể xác định bằng tính toán khác

Ý tưởng về ứng dụng giới thiệu phương pháp để xác định tọa độ của trọng tâm vào hình ảnh nhị phân mà không có tiếng ồn được trình bày trên hình 2.6

Hình 2.6 Xác định tọa độ trung tâm của lực hấp dẫn trên hình ảnh nhị phân

Trang 27

Trên hình 2.6 được trình bày:

- Ảnh đầu vào : hình ảnh khuôn mặt, được tạo ra trên cơ sở của mẫu a3

từ hình 2.2 (trên bức hình thì giá trị của điểm ảnh màu trắng là "1", trong khi giá trị của điểm ảnh màu đen là "0")

- 1, 2, 3 - Hình ảnh với các vùng được giải nén (1a, 2a, 3a)

- Các vùng (1a, 2a, 3a) với các trung tâm của lực hấp dẫn ( “ + ”)

Bởi vì mục tiêu của chúng ta là tìm tọa độ trung tâm của " đối tượng màu đen" trên lĩnh vực chiết xuất 1a, 2a và 3a, trước khi tính toán mỗi điểm ảnh của những vùng này được chuyển đổi ở cách sau: "1""0", "0""1" Trên cơ sở giới thiệu kết quả, ta có thể thấy rằng trong cả ba trường hợp các trung tâm của lực hấp dẫn được xác định rất chính xác Bên cạnh đó nó không phải là có thể nhận thấy ảnh hưởng của " vị trí bất đối xứng" của chi tiết khác nhau về các khu vực trên kết quả Trên hình ảnh "3" và vùng "3a" hiển thị các kết quả xác định trọng tâm cho vùng mắt được giải nén Trong trường hợp này, trọng tâm của lực hấp dẫn "nhấn" học sinh chính xác, mà cho thấy tính toán là rất chính xác

Giả sử, chúng ta có hình ảnh màu xám và giá trị của mỗi điểm ảnh là I(y,x), trong đó y: là số hàng, x: số cột Đối với vùng được giải nén tọa độ trọng tâm một trong những có thể tính toán trên công thức

Bây giờ cho chúng ta hình ảnh khuôn mặt vào từ hình 2.5 Trích chọn các phần của các khuôn mặt có vùng mắt, được trình bày trên hình 2.7 Trước tiên, chúng tôi sử dụng phương pháp của tại thời điểm để xác định các trung tâm của lực hấp dẫn của các khu vực được giải nén, tiếp theo chúng ta so sánh tọa độ của các trung tâm với phép suy loại tọa độ xác định dựa trên tâm giữa của hình chữ nhật Kết quả của những so sánh được trình bày trên hình 2.7 Ở phía bên trái của cấu hình là các mẫu (c4 và b4 từ hình 2.2), đã được sử dụng

để giải nén các vùng mắt

Trang 28

Trong nền của từng vùng mắt là có thể nhìn thấy hai trung tâm hiển thị của mắt được xác định dựa trên của điểm giữa của hình chữ nhật và phương pháp của thời điểm tức thời Ảnh hưởng của "vị trí bất đối xứng" của học sinh

về kết quả giải thích sự khác biệt trong hệ tọa độ của trung tâm của hai hàng trên Ứng dụng của mô hình c4 trong quá trình khai thác vùng mắt vì nguyên nhân không đối xứng Đối với hai dòng cuối, kết quả xác định của mắt trung tâm được điều chỉnh, bởi vì để giải nén các vùng mắt đã sử dụng kiểu b4 Mô hình này tạo ra các khu vực được đối xứng từ mắt học trò

Hình 2.7 Xác định tọa độ trung tâm của lực hấp dẫn dựa trên hai phương pháp

Không thường xuyên có sự chênh lệch giữa các tọa độ, vì lý do đó người

ta có thế xác định được phương pháp giới thiệu cho dự toán tương đương Do

đó phương pháp của thời điểm tức thời có thể được sử dụng khi vùng mắt không đối xứng tương đối với học trò

Để kiểm tra hiệu quả của phương pháp của thời điểm tức thời chúng ta thực hiện kiểm tra trên cơ sở dữ liệu ORL [ORL **], chứa đựng 400 mặt hình ảnh, được nhóm lại trong 40 lớp Thử nghiệm của thuật toán xác định tọa độ đôi mắt đã được thực hiện dựa trên 3 giai đoạn : xác định dòng mắt bằng cách

sử dụng phép chiếu, tính toán góc đầu xoay quanh trục y bằng cách sử dụng phương pháp so sánh mẫu và phương pháp của thời điểm tức thời bên trong một khung, trả lời góc độ này Kích thước của mỗi hình ảnh từ cơ sở dữ liệu thử nghiệm là 112x92 điểm ảnh Kích thước của mẫu được định nghĩa theo công thức khác Các mẫu là mặt nạ nhân tạo từ chính giữa của dòng đầu

Trang 29

Thử nghiệm cho thấy, tọa độ mắt đã sai rõ ràng cho 30 khuôn mặt từ toàn bộ cơ sở dữ liệu (từ 400 ảnh khuôn mặt), lỗi là 7,5% Trên hình 2.8 mẫu hình ảnh được trình bày từ các lớp, cho mà dự toán tọa độ mắt là sai

Hình 2.8 Ảnh khuôn mặt, cho mà dự toán tọa độ mắt là sai

Cho 370 ảnh tọa độ mắt của khuôn mặt được xác định một cách chính xác Một số trong những kết quả này được trình bày trên hình 2.9

Phân tích các kết quả thu được cho thấy rằng lỗi sẽ trở lên giống như là kết quả của: xác định không chính xác của dòng mắt(1 trường hợp), kích thước mẫu không được điều chỉnh từ kích thước khuôn mặt (11 trường hợp), chất lượng ảnh khuôn mặt thấp vì mắt đóng hoặc có kính (18 trường hợp), không được kiểm soát đầu xoay trên bề mặt XY, đầu xoay khá nhiều (nhiều hơn 45◦) trên trục Y và ảnh hưởng sự kết hợp của nhiều rào cản đã đề cập ở trên

Trang 30

Hình 2.9 Ví dụ ước tính chính xác của tọa độ mắt

Phương pháp của thời điểm tức thời có thể không thành công trong trường hợp khi kính trên khuôn mặt, vì ảnh hưởng của nó trên xác định trọng tâm của lực hấp dẫn có thể quan trọng hơn là ảnh hưởng của học sinh Bên cạnh đó các phương pháp khác được đề cập thường là không hiệu quả trong các trường hợp

Trong trường hợp xử lý ảnh màu có thể thay đổi tình hình cho lợi ích của việc sử dụng phương pháp của thời điểm tức thời Nếu kính là một trở ngại ttrong vùng mắt xử lý thì ngay sau đó ta có thể đề nghị cách tiếp cận sau:

1 Biến đổi trong không gian màu RGB ảnh khuôn mặt từ thành phần I1 của I1I2I3 không gian màu theo không gian (1.4.2)

2 Xác định vị trí của dòng mắt dòng trên khuôn mặt cho các thành phần I1 sử dụng thủ tục (1.5.10)  (1.5.14), (1.5.18) và (1.5.19)

Trang 31

3 Biến đổi trong không gian màu RGB ảnh khuôn mặt từ thành phần màu I2 của I1I2I3 không gian màu theo không gian (1.4.2);

4 Mặt đại diện thông qua các thành phần I2 mất thông tin về kính, không có trở ngại hơn nữa Sau đó,có thể giải nén các vùng mắt Có thể sử dụng phương pháp so sánh với mẫu đang chuyển động dọc theo đường mắt từ điểm 2

5 Nếu khai thác thành công sau đó thực hiện toán tử tại điểm 7, cũng thực hiện tính toán trong điểm 6

6 Sửa đổi các thành phần I2 với xử lý bổ sung chỉ để lại những nơi điểm đen (học sinh) trên nền trắng (hiệu quả của mất thông tin từ kính sẽ tăng cường)

7 Sử dụng phương pháp của thời điểm tức thời để xác định trung tâm mắt chỉ chứa có chứa điểm Kết quả của phương pháp tiếp cận được đề cập ở trên sẽ được trình bày trên hình 2.10 như sau:

 1- Ảnh khuôn mặt (với kính) trong không gian màu RGB

 2- Ảnh khuôn mặt ở dạng đường cong xác định dòng mắt

 3- Ảnh khuôn mặt từ thành phần I2 sửa đổi đánh dấu dòng mắt

 4, 5- Ảnh khuôn mặt (trong các mẫu sửa đổi thành phần I2) với vùng xác định vị trí mắt

 6- Kết quả của trung tâm mắt vào khuôn mặt có kính

Trang 32

Hình 2.10 Sử dụng các thành phần I2 để xác định trung tâm mắt

Hãy phân tích khuôn mặt dưới dạng thành phần I2 (3 cột trên hình 2.10)

Có thể nhận thấy, trên khuôn mặt xảy ra ảnh hưởng mất mát thông tin

về kính, và ở những nơi của mắt có điểm đen từ học sinh và tròng đen Sau khi tất cả các hoạt động không có không có kính, mà có thể bất lợi trong quá trình xác định vị trí mắt Trong này trường hợp khẩn cấp, các phương pháp của thời điểm tức thời cung cấp độ chính xác tính toán cao trung tâm của lực hấp dẫn, mà xác nhận nhận được kết quả - cột 4 và cột 5 của hình 2.10, nơi được đánh dấu bằng hình chữ nhật vùng mắt

Không xác định được tọa độ trung tâm của mắt lúc này là một vấn đề Kết quả chỉ định của trung tâm mắt được trình bày trên hình 2.10 trong cột 6

Ta có thể thấy rằng đã nhận được kết quả là chính xác, đủ để sử dụng nó cho mục đích luyện tập

Các thành phần I2 là màu xám tương đương của ảnh nhập vào đây Biến thể của các thành phần I2 được thực hiện trong hai giai đoạn Hình ảnh đầu tiên I2(MOD)

được tính theo một trong ba cách tiếp cận:

Trang 33

(I2(MOD)

B G R abs

G R abs

abs B

R abs

(1.2.1)

Nơi R, G, B : thành phần không gian màu RGB màu không gian của ảnh đầu vào Tiếp theo, trong bước thứ hai, độ sáng của I2(MOD) là bình thường: độ sáng của ảnh thay đổi để hình ảnh biểu đồ chiếm toàn bộ phạm vi trong khoảng(0-255) Tính toán của độ sáng ảnh bình thường được thực hiện như sau:

MIN) MAX

/(

) MIN I2

( 255 I2(*)  (MOD)  

Trong đó

- I2(MOD) : sửa đổi thành phần I2;

- MIN : độ sáng tối thiểu giá trị của hình ảnh I2(MOD);

- MAX : độ sáng tối đa giá trị của hình ảnh I2(MOD);

- I2(*) : Kết quả

2.3 Xác định tọa độ mắt bằng cách sử dụng phương pháp chiếu

Xác định tọa độ mắt bằng cách sử dụng phương pháp của phép chiếu được dựa trên sự tiếp nối của thủ tục tính toán dòng mắt bằng phép chiếu ngang

Có rất nhiều phiên bản khác nhau của ảnh khuôn mặt:

 Ảnh màu, khuôn mặt với kính và nhìn thẳng

Trang 34

Bên cạnh đó tính được : Khoảng cách D(y,x) ảnh đưa vào, phối hợp Yeyes của dòng mắt và sửa đổi thành phần I2(MOD)

Dữ liệu chuẩn bị :

1 Trích một phần của hình ảnh I2(MOD) , sẽ được đặt dọc theo và đối xứng từ dòng mắt, chiều cao của phần này nên là lẻ: 7, 9, 11, 13 điểm ảnh…( dòng mắt nên là trục đối xứng của khu vực này ngang)

2 Tính toá chiếu dọc vùng này: chức năng xác định tổng của tất cả các dòng của vùng được giải nén :

N x

x y x

V

y

y y

MOD

2,1

,),(2I)

 1- Ảnh màu từ máy quay video

 2- Trích chọn khuôn mặt (hình ảnh nhập vào); Khoảng cách D(y,x)

 4- Xác định dòng mắt bằng phương pháp chiếu ngang của khoảng cách

 5- Hình ảnh I2(*) nhận được theo công thức(1.2.2)

 6- Cắt xén hình ảnh I2(*)

 7- Chiếu dọc V(x) của cắt xén hình ảnh I2(*) Mũi tên dọc trên cắt xén

hình ảnh I2(MOD) được chỉ dẫn tối thiểu của hàm V(x) theo cách xác định vị trí

của mắt trên trục x trục Tìm kiếm tối thiểu sườn tối đa của chức năng này để trả lời trung điểm giữa mắt (đó là độ sáng tối đa trên khuôn mặt)

Một trong những có thể nhận thấy rằng chức năng V(x) ngoại trừ tối đa

là miền trung tâm, có cũng có hai bộ phận lớn để trả biên của khuôn mặt và nền Khi đầu là xoay quanh trục Y, mắt có thể được chuyển (trái hoặc phải) rất nhiều, biên giới mặt/nền chính xác sẽ được điều chỉnh tối thiểu, câu trả lời

Định dạng
Số trang	69
Dung lượng	2,33 MB