Bài viết đề xuất một tiếp cận theo vết chuyển động của mắt. Phương pháp này dựa trên điều kiện phạm vi theo vết ban đầu đã được thu hẹp do tính chất của bài toán.
Trang 1MỘT TIẾP CẬN TRONG BÀI TOÁN THEO VẾT CHUYỂN ĐỘNG CỦA MẮT
PHẠM THẾ BẢO (*)
PHẠM HỮU CƯỜNG (**)
PHẠM CHÂU LỊCH (***)
DƯƠNG TẤN TÀI (****)
TÓM TẮT
Chúng tôi đề xuất một tiếp cận theo vết chuyển động của mắt Phương pháp này dựa trên điều kiện phạm vi theo vết ban đầu đã được thu hẹp do tính chất của bài toán Từ điều kiện này đưa ra cách xác định vị trí mắt dựa vào tính chất hình học khi đã xác định được biên đối tượng Phương pháp của chúng tôi có độ chính xác khoảng 80% và tỉ lệ sai là 11%
ABSTRACT
We propose an approach for eyes tracking This method is based on the initial conditions of tracking regions that is restricted by the properties of a problem We use these conditions to build a process of detecting eyes positions which is based on geometric properties of eyes after determining the boundary of candidates The precision of our method
is about 80 percent; and its deviation is about 11 percent
1 TỔNG QUAN
Tương tác giữa người và máy tính đã và đang là nhu cầu cấp thiết của con người Con người
có thể giao tiếp tương tác với máy tính thông qua ánh mắt, cử chỉ, âm thanh, v.v Bài toán theo vết chuyển động của mắt sẽ có rất nhiều ứng dụng trong thực tế Những hệ thống như thế
có thể được dùng trong an ninh, theo dõi, hỗ trợ người khuyết tật, v.v Để theo được vết chuyển động của mắt, trước tiên chúng ta phải xác định được vùng mắt Để xác định được vùng mắt, thông thường đầu tiên chúng ta phải xác định được khuôn mặt người trong các frame
J.L.Crowley và F.Berard [2] dựa trên sự kiện chớp mắt để xác định khuôn mặt và mắt Hai ông dựa trên sự khác biệt giữa các ảnh nối tiếp nhau và mức độ khác biệt ánh sáng tại vùng biên của đầu và vùng mi mắt để xác định L.P.Bala, K.Talmi và J.Liu [4] cũng dùng sự kiện chớp mắt, nhưng hai ông kết hợp thông tin giữa mô hình màu da và màu nền để xác định khuôn mặt, từ khuôn mặt này tác giả xem xét mức độ khác biệt ánh sáng để tìm sự kiện chớp mắt Cũng theo hướng tìm sự kiện chớp mắt, có tác giả xây dựng phương pháp so khớp mẫu
để tìm Y.Matsumoto và nhóm nghiên cứu của ông [10] đã xây dựng mẫu cho mình, nhưng phương pháp này bị hạn chế khi người dùng không có tập mẫu của mình Trong khi Shinjiro Kawato và Nobuji Tetsutani [6] xây dựng bộ mẫu về chuyển động của đầu, rồi dùng bộ mẫu này để tìm sự kiện chớp mắt Một hướng nghiên cứu khác là theo vết chuyển động điểm giữa hai mắt, thay vì phải theo vết chuyển động của hai mắt Từ điểm giữa này chúng ta có thể suy
ra vị trí mắt dựa vào quan hệ hình học của khuôn mặt Hướng nghiên cứu này cho phép xử lí
(*) ThS, Khoa Toán – Tin học, Trường Đại học Khoa học Tự nhiên, ĐHQG TP.HCM
(**) , (***), (****) CN, Khoa Toán – Tin học, Trường Đại học Khoa học Tự nhiên, ĐHQG TP.HCM
Trang 2được các tình huống: nghiêng, thay đổi góc nhìn, v.v
Chúng tôi nhận thấy khi một người ngồi trước máy thu (máy quay, webcam, v.v.), nếu đầu di chuyển thì chỉ di chuyển trong một phạm vi nhỏ (không thể nghiêng, xoay quá 300
) Chúng tôi
đề xuất một phương pháp xác định mắt dựa trên hình thái của mắt và theo vết chuyển động của mắt trong phạm vi dự đoán di chuyển của đầu và cập nhật thông tin này để xác định vị trí mắt ở lần tiếp theo Mục tiêu có được một phương pháp xác định mắt, phương pháp này phải nhanh để đảm bảo theo được vết chuyển động
2 XÁC ĐỊNH VỊ TRÍ MẮT
Để xác định được vị trí mắt, chúng tôi phải xác định vị trí khuôn mặt người trong frame ảnh màu Chúng tôi dùng phương pháp của Bảo [5] để xác định được bao hình chữ nhật như hình
1
Hình 1 Bao hình chữ nhật của khuôn mặt người
2.1 Trích thô vùng mắt
Khái niệm vùng mắt được hiểu là một vùng ảnh thu nhỏ của vùng khuôn mặt mà trong đó chỉ chứa mắt và lông mày Vùng này được xác định dựa trên các đặc điểm về cấu trúc của khuôn mặt người và sự bố trí các thành phần (mắt, mũi, miệng, lông mày, v.v.) trên khuôn mặt người Nói cách khác là dựa trên mối quan hệ hình học giữa các bộ phận trên mặt như: khoảng cách giữa hai mắt chỉ nằm trong một giới hạn nào đó (không quá xa mà cũng không quá gần), khoảng cách thẳng đứng từ mắt tới lông mày nhỏ hơn khoảng cách thẳng đứng từ mắt tới miệng, v.v [8, 9]
Ảnh trong khung bao hình chữ nhật khuôn mặt người gồm có ba thành phần như: trán, lông mày và mắt, mũi và miệng Thành phần gần mắt nhất chính là lông mày, còn hai thành phần mũi và miệng nằm ở phía dưới mắt có vị trí tương đối xa mắt hơn so với lông mày Thông thường thì phần mũi và miệng nằm trong phần nửa dưới của mặt, phần mắt và lông mày sẽ nằm ở vùng nhỏ hơn một nửa khuôn mặt ở phía trên của vùng bao hình chữ nhật Do đó ta có thể thu hẹp vùng ảnh lại để công việc xử lí được tiến hành nhanh hơn, bằng cách: dịch biên trên của mặt xuống một đoạn và dịch biên dưới của mặt lên một đoạn mà khung mới còn đảm bảo là bao được mắt [3]
Gọi d là kích thước chiều ngang của hình chữ nhật bao, d = ymax-ymin Độ lớn đoạn dịch chuyển biên trên xuống là d/5 Khung bao hình chữ nhật mới sẽ được xác định bởi các thành phần như biểu thức 1, với yminnew là biên trái, ymaxnew biên phải, xminnew biên trên, xmaxnew
là biên dưới, hình 2
yminnew = ymin
y maxnew = ymax xminnew = xmin + d/5 xmaxnew = xminnew + (0.54*d)
(1)
(xmin, ymin)
(xmax, ymax)
Trang 3Hình 2: Trích thô vùng mắt 2.2 Chọn ứng viên mắt
Sau khi đã xác định thô được vùng mắt, chúng tôi tiến hành phân đoạn ảnh vừa có được trong không gian màu YCbCr và kết hợp các phép toán hình thái học để lọc nhiễu [1] Trên ảnh nhị phân thu được, chúng ta có thể thấy rõ các thành phần khác nhau của khuôn mặt bao gồm: hai phần lông mày, hai mắt, còn hai thành phần mũi và miệng không còn do đã được loại bỏ trong bước xác định vùng mắt ở trên Các đường viền (cạnh) của mắt, lông mày và các đường dọc theo biên ngoài của mặt cũng được hiện lên rất rõ ràng, hình 3
Hình 3: Xác định cạnh
Từ ảnh nhị phân này, chúng tôi chỉ trích ra những đoạn tương tự mắt (những đoạn là ứng viên của mắt - ứng viên của mắt được hiểu là những đoạn ảnh có khả năng là mắt), nghĩa là sau khi thực hiện bước này trên ảnh nhị phân thu được sẽ chỉ còn có các thành phần như: mắt, lông mày, miệng (trong trường hợp không loại bỏ được miệng ở bước trích ra vùng mắt, nhưng hầu như trường hợp này ít xảy ra), hình 4
Cạnh của đối tượng không chỉ có mắt và lông mày mà còn các đối tượng khác do tác động của môi trường Do đó, để loại những đối tượng không mong muốn này chúng tôi sử dụng tương quan tỉ lệ giữa khung hình chữ nhật bao đối tượng; hình 5; và khung hình chữ nhật bao vùng mắt thô Gọi H, W lần lượt là chiều dọc và chiều ngang của khung ảnh chứa vùng mắt và h, w
là chiều dọc và chiều ngang của đối tượng được xét
Hình 4: Trích ra những ứng viên mắt
Hình 5: Tọa độ của đối tượng
Dựa vào đặc trưng hình học của khuôn mặt người và ứng viên mắt cũng như kết quả thực nghiệm, chúng tôi nhận thấy các ứng viên còn lại có thể là: hai lông mày, hai mắt
Hình 6: Bốn ứng viên trích ra hai ứng viên
(exmin, eymin)
(exmax, eymax)
Trang 4Trong điều kiện thực tế, do tác động của môi trường nên có thể khi xác định xong thì số lượng ứng viên có thể là: 1, 2, 3, hoặc 4 ứng viên Chúng tôi đề xuất hướng giải quyết cho từng trường hợp như sau:
a) Còn bốn ứng viên: Trường hợp này rất ít khi xảy ra, bốn ứng viên chỉ có thể là hai mắt và
hai lông mày Ta sẽ tìm và loại hai ứng viên có exmin nhỏ nhất (tức là hai ứng viên nằm ở trên nhất) Hai đối tượng còn lại tương ứng với hai mắt, hình 6
b) Còn ba ứng viên: Đây có thể coi là trường hợp ngoại lệ hay gặp nhất trong quá trình thực
hiện Vì sự chênh lệch về kích thước của mắt và lông mày là không nhiều, do đó để đảm bảo khi trích ra các ứng viên trong đó có hai ứng viên là mắt thực sự dễ
Hình 7: Các trường hợp ba ứng viên: (a) hai mắt và một ứng viên ở dưới;
(b) hai mắt và mày phải; (c) hai mắt và mày trái
c) Kéo theo trích ra luôn cả ứng viên lông mày Ba ứng viên này có thể là: hai mắt và mày
trái hoặc hai mắt và mày phải, v.v Để xử lí, ta dựa vào thành phần exmin để xác định hai ứng viên nào mà có thành phần này gần nhau hơn so với ứng viên còn lại, hình 7
d) Còn hai ứng viên: Trong trường hợp này, hai ứng viên có thể hoặc cùng nằm trong một
nửa của vùng khuôn mặt, hoặc thuộc hai nửa khác nhau
Nếu hai ứng viên nằm cùng một bên, nghĩa là nằm trong cùng một nửa của vùng mắt (có trục đối xứng là đường thẳng đứng) Cụ thể, hai ứng viên có thể là mắt trái và mày trái hoặc mắt phải và mày phải Để giải quyết, chúng tôi sẽ tìm ứng viên nằm phía dưới và lấy đối xứng qua nửa còn lại theo một tỉ lệ thích hợp, hình 8
Hình 8: Hai ứng viên thuộc cùng một nửa vùng mặt
Nếu hai ứng viên thuộc hai nửa của vùng mặt Cụ thể, hai ứng viên có thể là mắt trái và mày phải hoặc mắt phải và mày trái Để khắc phục, chúng tôi cũng tìm ra ứng viên nằm thấp hơn rồi lấy đối xứng qua, hình 9
Hình 9: Hai ứng viên thuộc hai nửa vùng mặt
e) Còn một ứng viên: Ở trường hợp này ứng viên chính là mắt trái hoặc là mắt phải Để xác
định vị trí của mắt còn lại ta cũng lấy đối xứng dựa vào vị trí tọa độ của ứng viên ban đầu,
hình 10
(c)
Trang 5Hình 10: Các trường hợp còn một ứng viên
Thông thường khi nhìn màn hình máy tính, mắt người dùng nhìn thẳng hoặc hơi nghiêng một
ít, điều này không ảnh hưởng đến kết quả của phương pháp Còn trường hợp nghiêng đầu thì rất ít khi xảy ra hoặc giả sử nếu có xảy ra thì đầu của người dùng cũng chỉ nghiêng trong một góc không đáng kể Do đó sự chênh lệch vị trí của hai mắt là rất ít, phương pháp vẫn cho kết quả tốt
3 THEO VẾT CHUYỂN ĐỘNG CỦA MẮT
3.1 Phạm vi chuyển động của mắt
Khi một người dùng ngồi trước máy tính và thao tác trên máy tính thì khoảng cách từ vị trí của mắt tới màn hình thường nằm trong một khoảng giới hạn vừa phải, tức không quá xa hoặc quá gần Khi dùng các thiết bị như camera hoặc webcam để thu hình khuôn mặt người dùng trong quá trình xác định vị trí và theo vết mắt, chúng ta sẽ bố trí các thiết bị này sao cho thích hợp, đúng như các điều kiện đã đặt ra và thuận tiện cho người dùng Tuy nhiên, khi thực hiện theo vết mắt chúng tôi còn nhận thấy rằng, người dùng khi ngồi trước màn hình thì đầu chỉ cử động trong một phạm vi (vùng) xung quanh vị trí cố định một khoảng tương đối nhỏ Tức là
sẽ không xảy ra trường hợp đầu của người dùng di chuyển ra khỏi khung ảnh của các thiết bị, hoặc đầu quá nghiêng so với trạng thái bình thường, hoặc quay hẳn sang bên trái hay phải làm khuất góc nhìn của mắt [7, 10]
Từ nhận xét này, chúng tôi sẽ chỉ tiến hành theo vết mắt trong một vùng thu hẹp mà chúng ta
dự đoán là mắt chỉ có thể di chuyển trong phạm vi này, mà không tiến hành theo vết trong toàn bộ ảnh giống như khi xác định vị trí của mắt Điều này làm cho việc theo vết mắt đơn giản và giảm được độ phức tạp cho thuật toán và theo được thời gian thực Phạm vi theo vết mắt mà chúng tôi đưa ra dựa trên vị trí của hai mắt đã xác định được
3.2 Theo vết chuyển động
Trước khi theo vết mắt, thì vị trí của hai mắt ở frame trước được xác định và được lưu lại, đồng thời khoảng cách giữa hai mắt cũng được lưu lại Chúng tôi sử dụng thuật toán xác định
vị trí mắt đã đề cập để xác định vị trí mới của hai mắt Xác định các giá trị tọa độ mới này, đồng thời tính khoảng cách giữa hai mắt trong lần xác định mới này
Sau khi đã có được vị trí cũ và vị trí mới của hai mắt cũng như khoảng cách giữa chúng, chúng tôi tiến hành so sánh các giá trị tọa độ này để thấy được sự di chuyển, thay đổi vị trí của mắt khi tiến hành quá trình trong thời gian thực Sự chênh lệch vị trí này phải nằm trong một giới hạn cho phép
4 KẾT LUẬN
Chúng tôi đã đưa ra một phương pháp để từ đó có thể xây dựng, cài đặt một hệ thống dùng để xác định vị trí mắt và theo vết chuyển động của mắt bằng ngôn ngữ Matlab với công cụ Simulink và thực nghiệm cho thấy là phương pháp mà chúng tôi trình bày cho kết quả khá tốt, nghĩa là đã xác định được vị trí và theo được vết mắt với thời gian thực Dưới đây là một kết quả thực nghiệm được kiểm tra trên mười người khác nhau, trong đó mỗi người được kiểm tra
ba lần Tỉ lệ chính xác khi thử nghiệm của chúng tôi là khoảng 80% và tỷ lệ sai là khoảng 11%, bảng 1
Trong tương lai chúng tôi sẽ phát triển tiếp nghiên cứu này theo hướng xây dựng một hệ thống hay phần mềm hỗ trợ cho việc giao tiếp giữa người và máy thông qua thị giác, cho phép người dùng sử dụng mắt để điểu khiển các thiết bị máy tính thay cho việc sử dụng chuột hay bàn phím Cũng như có thể kiểm soát tài xế lái xe có ngủ gục khi lái xe hay không thông qua chuyển động mắt của họ
Bảng 1: Bảng thống kê kết quả thực nghiệm
Trang 6Người Thời gian
(phút)
Tổng số frame
Số frame chính xác
Tỉ lệ chính xác (%)
Số frame sai Tỉ lệ sai (%)
1
2
3
4
5
6
7
8
9
10
TÀI LIỆU THAM KHẢO
1 Jiatao Song, Zheru Chi, Zhengyou Wang, and Wei Wang (2005) Locating Human Eyes
Using Edge and Intensity Information, ICIC 2005, Part II, LNCS 3645, Springer-Verlag Berlin Heidelberg, pp 492 – 501
2 J.L.Crowley and F.Berard (1997) Multi-modal tracking of face for video communication Proc CVPR 97, page 640-645
3 Kun Peng, Liming Chen, Su Ruan, and Georgy Kukharev (2005) A Robust and Efficient
Algorithm for Eye Detection on Gray Intensity Face Springer-Verlag Berlin Heidelberg
2005 LNCS 3687, pp 302 – 308
4 L.-P Bala, K.Talmi, and J.Liu (Sept 1997) Automatic detection and tracking of faces and facial features in video sequences 1997 Picture Coding Symposium, Berlin, Germany
Trang 75 Phạm Thế Bảo, Xác định khuôn mặt người trong ảnh màu bằng logic mờ, Luận văn TS,
đang thực hiện
6 Shinjiro Kawato and Noguji Tessutani Detection and Tracking of Eyes for Gaze-camera Control, technical report ATR Media Information Science Laboratories
7 S Kawato and J Ohya (2000) Real-time detection of nodding and head-shaking by
directly detecting and tracking “betweeneyes" Proc IEEE 4th Int Conf on Automatic Face and Gesture Recognition, pages 40–45
8 S Kawato and J Ohya (2000) Two-step approach for real-time eye tracking with a new
filtering technique Proc Int Conf on System, Man & Cybernetic, pages 1366–1371
9 Xusheng Tang, Zongying Ou, Tieming Su, Haibo Sun and Pengfei Zhao (2005) Robust
Precise Eye Location by Adaboost and SVM Techniques Springer-Verlag Berlin Heidelberg, LNCS 3497, pp 93–98
10 Y Matsumoto and A.Zelinsky An algorithm for real-time stereo vision implementation of
head pose and gaze direction measurement Proc IEEE 4 th Int Conf on Automatic face and Gesture Recognition, (2000), pages 499-504
