Hệ thống xác định hướng nhìn của mắt develop eye gaze detection system

Việc phát triển và hoàn thiện mô hình xác định hướng nhìn của mắt sẽ là tiền đề để có thể dễ dàng ứng dụng hệ thống này trong các lĩnh vực điều khiển các thiết bị máy móc hoặc việc giám

-

NGÔ TRẦN KHÁNH ĐĂNG

HỆ THỐNG XÁC ĐỊNH HƯỚNG NHÌN CỦA MẮT

DEVELOP EYE-GAZE DETECTION SYSTEM

Chuyên ngành: Kỹ Thuật Cơ Điện Tử

Mã số: 60520114

LUẬN VĂN THẠC SĨ

TP HỒ CHÍ MINH, tháng 12 năm 2018

CÔNG TRÌNH ĐƯỢC HOÀN THÀNH TẠI TRƯỜNG ĐẠI HỌC BÁCH KHOA – ĐHQG-HCM

Cán bộ hướng dẫn khoa học: TS Đoàn Thế Thảo

(Ghi rõ họ, tên, học hàm, học vị và chữ ký) Cán bộ chấm nhận xét 1: TS Nguyễn Vĩnh Hảo

(Ghi rõ họ, tên, học hàm, học vị và chữ ký) Cán bộ chấm nhận xét 2: PGS.TS Nguyễn Thanh Phương

(Ghi rõ họ, tên, học hàm, học vị và chữ ký) Luận văn thạc sĩ được bảo vệ tại Trường Đại học Bách Khoa, ĐHQG Tp HCM ngày 20 tháng 12 năm 2018

Thành phần Hội đồng đánh giá luận văn thạc sĩ gồm:

(Ghi rõ họ, tên, học hàm, học vị của Hội đồng chấm bảo vệ luận văn thạc sĩ)

1 Chủ tịch Hội đồng: PGS.TS Nguyễn Duy Anh

2 Thư ký: TS Lê Thanh Hải

3 Phản biện 1: TS Nguyễn Vĩnh Hảo

4 Phản biện 2: PGS.TS Nguyễn Thanh Phương

5 Ủy viên: PGS.TS Bùi Trọng Hiếu

Xác nhận của Chủ tịch Hội đồng đánh giá LV và Trưởng Khoa quản lý chuyên ngành sau khi luận văn đã được sửa chữa (nếu có)

PGS.TS Nguyễn Duy Anh

ĐẠI HỌC QUỐC GIA TP.HCM

TRƯỜNG ĐẠI HỌC BÁCH KHOA

-

CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM

Độc lập - Tự do - Hạnh phúc - NHIỆM VỤ LUẬN VĂN THẠC SĨ

Họ tên học viên: NGÔ TRẦN KHÁNH ĐĂNG MSHV: 1670051

Ngày, tháng, năm sinh: 4 tháng 8 năm 1992 Nơi sinh: Đồng Tháp

Chuyên ngành: Kỹ thuật Cơ Điện Tử Mã số : 60520114

(DEVELOP EYE-GAZE DETECTION SYSTEM)

II NHIỆM VỤ VÀ NỘI DUNG:

- Tổng quan về một số hệ thống xác định hướng nhìn

- Phân tích và lựa chọn phương pháp khả thi

- Nghiên cứu cơ sở lý thuyết của bài toán xác định hướng nhìn bằng camera và lập trình hệ thống nhúng

- Hiện thực hệ thống nhúng trên nền Linux, sai số cho phép <4o

III NGÀY GIAO NHIỆM VỤ: 15/01/2018

IV NGÀY HOÀN THÀNH NHIỆM VỤ: 01/12/2018

V CÁN BỘ HƯỚNG DẪN: TS Đoàn Thế Thảo

Đây là lần làm luận văn lần thứ hai của tôi tại trường Đại học Bách Khoa – ĐHQG

Tp HCM Thật sự có rất nhiều cảm xúc không thể diễn tả hết khi một lần nữa tôi đã có thêm một cơ hội để theo học tại ngôi trường xưa và gặp lại rất nhiều thầy cô giáo cũ thân yêu

Để đạt được những thành quả như ngày hôm nay tôi xin chân thành cảm ơn tất cả quý thầy cô đang công tác tại trường đã giúp đỡ và dạy bảo tôi thật tận tình và chu đáo Tôi cũng xin chân thành cảm ơn các bài giảng chuyên môn rất chuyên sâu và bổ ích từ quý thầy cô của bộ môn Cơ Điện Tử Với lần đào tạo lần thứ hai, quý thầy cô đã giúp tôi có cái nhìn bao quát hơn, giúp tôi có thể đào sâu hon các kiến thức chuyên môn trong công việc và lĩnh vực mà tôi đang theo đuổi

Luận văn lần thứ hai được thực hiện vỏn vẹn trong các ngày thứ bảy và chủ nhật hàng tuần trong suốt khoảng 5 tháng Để đảm bảo được cả tiến độ và chất lượng công việc được giao trong một khoảng thời gian khá ngắn, đây thật sự là một thử thách lớn đối với tôi Nhưng sau tất cả, giờ đây tôi đã hoàn thành được nhiệm vụ Tôi xin chân thành cảm ơn thầy Đoàn Thế Thảo, người trực tiếp hướng dẫn luận văn tốt nghiệp cho tôi Thầy là người luôn đồng hành, động viên và giúp đỡ tôi rất nhiều trong suốt quá trình nghiên cứu và viết viết báo cáo Và tôi cũng xin cảm ơn em Vương Quốc Nghĩa

đã hỗ trợ tôi rất nhiều trong việc lắp đặt và vận hành mô hình cho luận văn

Đôi lời cuối, tôi xin gửi lời cảm ơn đến ông bà, cha mẹ kính mến, và những người bạn yêu quý đã luôn bên cạnh ủng hộ, giúp đỡ tôi cả trong việc học tập và cuộc sống hằng ngày Cảm ơn ba mẹ đã luôn tin tưởng và ủng hộ mọi quyết định của bản thân con

Tp HCM, ngày 01 tháng 12 năm 2018

Ngô Trần Khánh Đăng

Thị giác là giác quan thu thập được nhiều thông tin nhất trong các giác quan của con người Nếu nắm bắt được hướng nhìn, điểm nhìn của mắt thì sẽ có thể đoán biết được sự quan tâm, chú ý của con người đối với các sự vật hiện tượng xung quanh Xác định hướng nhìn của mắt là một đề tài thú vị đã được nhiều người chú ý đến, cho đến nay đã có rất nhiều mô hình xác định hướng nhìn của mắt được đề xuất dựa trên các phương tiện khoa học, kỹ thuật có sẵn ở từng thời kỳ khác nhau

Luận văn này sẽ đưa ra một cái nhìn tổng quan về kết quả của các nghiên cứu trước đây, đồng thời sẽ trình bày chi tiết một mô hình xác định hướng nhìn của mắt sử dụng các công nghệ mới nhất với thiết kế thật tinh gọn và linh hoạt Hệ thống sẽ được lắp đặt bao gồm 1 camera để thu nhận ảnh và 2 nguồn sáng dùng để hỗ trợ việc xác định hướng nhìn Điểm nhìn của người dùng sẽ được ước lượng dựa trên vị trí của tâm đồng tử và hai đốm sáng phản xạ ở giác mạc mắt trong khuôn ảnh thu được bởi camera Việc phát triển và hoàn thiện mô hình xác định hướng nhìn của mắt sẽ là tiền đề để có thể dễ dàng ứng dụng hệ thống này trong các lĩnh vực điều khiển các thiết bị máy móc hoặc việc giám sát và dự đoán các hành vi của con người

Sight is one of human senses which collects the most useful information If it is able to capture gaze or the point people look at, we can guess people’s attention Maybe that's the reason why many researchers have followed gaze tracking subject So far, a lot of different gaze tracking systems have been proposed based on science and technology in specific periods of time

This thesis not only give an overview about the result of researches in the past but also present a streamlined portable model of an eye-gaze detection system that has been developed by new technology in detail The system includes a camera that record face and eye images as well as two light sources which is used as reference points in order to detect eye-gaze The point-of-gaze will be estimated from the pupil and corneal reflections extracted from eye images captured by video camera The development and improvement of the eye-gaze detection system will be a prerequisite to use eye-gaze as input in order to control machine operation Furthermore, behavior of human can be predicted and monitored by using eye-gaze device

Tôi xin cam đoan: Luận văn tốt nghiệp với đề tài “HỆ THỐNG XÁC ĐỊNH HƯỚNG NHÌN CỦA MẮT” được cá nhân tôi thực hiện nghiên cứu một cách độc lập

và nghiêm túc Tất cả những tham khảo và kế thừa dùng trong luận văn đều được trích dẫn và ghi chú đầy đủ

Tác giả luận văn

Ngô Trần Khánh Đăng

LỜI CẢM ƠN i

TÓM TẮT LUẬN VĂN ii

ABSTRACT iii

LỜI CAM ĐOAN iv

MỤC LỤC v

CHƯƠNG 1: GIỚI THIỆU TỔNG QUAN VỀ HỆ THỐNG XÁC ĐỊNH HƯỚNG NHÌN CỦA MẮT 1

1.1 Các khái niệm về việc xác định hướng nhìn của mắt 1

1.1.1 Cấu tạo và hoạt động của mắt 1

1.1.2 Khái niệm về việc xác định hướng nhìn của mắt 4

1.2 Tổng quan về hệ thống xác định hướng nhìn của mắt và ứng dụng 6

1.2.1 Tổng quan về hệ thống xác định hướng nhìn của mắt 6

1.2.2 Hệ thống xác định hướng nhìn của mắt và ứng dụng 8

1.3 Tình hình nghiên cứu trong nước và thế giới 9

1.4 Mục tiêu và nhiệm vụ khi thực hiện luận văn 12

1.4.1 Mục tiêu 12

1.4.2 Phạm vi và nhiệm vụ của đề tài 12

1.5 Giới thiệu tổng quát các chương 12

CHƯƠNG 2: CÁC PHƯƠNG ÁN LỰA CHỌN CHO HỆ THỐNG XÁC ĐỊNH HƯỚNG NHÌN CỦA MẮT 13

2.1 Phân tích tổng quan các hệ thống xác định hướng nhìn của mắt 13

2.1.1 Hệ thống xác định hướng nhìn với các thiết bị camera gắn liền với người dùng 13

2.1.2 Hệ thống xác định hướng nhìn với các thiết bị điện cực đo đạc sự dịch chuyển của mắt 13

2.1.3 Hệ thống xác định hướng nhìn với các thiết bị camera tách biệt và đặt cách xa người dùng 14

2.1.4 Yêu cầu chung cho hệ thống và đưa ra kết quả lựa chọn thiết kế tổng quan 15

2.2 Các phương án thiết kế với hệ thống xác định hướng nhìn của mắt sử dụng camera tách rời và đặt cách xa người dùng 15

2.2.1 Hệ thống chỉ sử dụng một camera 16

2.2.2 Hệ thống sử dụng một camera và một nguồn sáng 17

2.2.3 Hệ thống sử dụng một camera và hai nguồn sáng 18

2.2.4 Hệ thống sử dụng một camera và nhiều nguồn sáng 19

2.2.5 Hệ thống sử dụng nhiều camera 19

2.2.6 Hệ thống sử dụng nhiều camera và một nguồn sáng 19

2.2.7 Hệ thống sử dụng nhiều camera và nhiều nguồn sáng 20

CHƯƠNG 3: MÔ HÌNH TOÁN ĐỂ XÁC ĐỊNH HƯỚNG NHÌN CỦA MẮT 23

3.1 Các giả thuyết ban đầu và quy ước cho mô hình toán 23

3.1.1 Các giả thuyết ban đầu 23

3.1.2 Các ký hiệu dùng trong mô hình toán 24

3.1.3 Các hệ trục tọa độ dùng trong mô hình toán 25

3.2 Mô hình toán áp dụng cho thiết kế đã được lựa chọn 25

3.2.1 Các phương trình và tính khả thi của bài toán 25

3.2.2 Giải các phương trình và tìm ra hướng nhìn của mắt 28

CHƯƠNG 4: CƠ SỞ LÝ THUYẾT XỬ LÝ ẢNH ÁP DỤNG CHO NGHIÊN CỨU 32 4.1 Cơ sở lý thuyết xử lý ảnh số 32

4.1.1 Giới thiệu về ảnh số 32

4.1.2 Giới thiệu về xử lý ảnh số 35

4.1.3 Chuyển ảnh màu thành ảnh xám hoặc ảnh nhị phân 36

4.1.4 Các phương pháp lọc nhiễu và làm trơn ảnh 37

4.1.5 Các công thức toán tổng quan về lọc nhiễu và làm trơn ảnh 39

4.1.6 Gradient của ảnh số 40

4.2 Các phương pháp xác định vị trí khuôn mặt và mắt người 43

4.2.1 Tổng quan về các phương pháp xác định khuôn mặt người trong ảnh số 43

4.2.2 Thuật toán nhận diện vị trí khuôn mặt người của Viola & Jones 44

4.3 Phương pháp xác định vị trí của tâm đồng tử và các đốm sáng 52

4.3.1 Giới thiệu về đường isophote 52

4.3.2 Tâm của các đường isophote 53

4.3.3 Xác định tâm đường isophote 54

4.3.4 Cách xác định tâm đồng tử và tâm các đốm sáng 55

4.3.5 Thuật toán hỗ trợ cho việc xác định vị trí tâm đồng tử và tâm các đốm sáng 56 4.4 Các thông số của camera và cách hiệu chuẩn các thông số của camera 57

4.4.1 Mô hình pinhole camera là gì? 57

4.4.2 Calibrate camera là gì? 57

CHƯƠNG 5: MÔ HÌNH HỆ THỐNG XÁC ĐỊNH HƯỚNG NHÌN CỦA MẮT 63

5.1 Giới thiệu về các thiết bị dùng trong mô hình 63

5.1.1 Bộ điều khiển của mô hình 63

5.1.2 Camera kết nối với board điều khiển 64

5.1.3 Đèn led hồng ngoại 65

5.1.4 Màn hình hiển thị 65

5.2 Sơ đồ lắp đặt và cách xác định vị trí của các thiết bị 66

5.3 Sơ đồ điện hệ thống xác định hướng nhìn của mắt 68

5.4 Mô hình của hệ thống khi đã lắp đặt hoàn chỉnh 68

6.1 Các thông số đầu vào và đầu ra của bài toán 71

6.2 Thực nghiệm calib camera và xác định tọa độ các thiết bị 72

6.2.1 Thực nghiệm đo đạc vị trí các bóng led và camera 72

6.2.2 Thực nghiệm xác định thông số nội cho camera 72

6.2.3 Thực nghiệm hiệu chuẩn vị trí và hướng của camera 74

6.3 Thực nghiệm xác định hướng nhìn của mắt 77

6.3.1 Thực nghiệm xác định vị trí khuôn mặt 77

6.3.2 Thực nghiệm xác định vị trí của mắt 77

6.3.3 Thực nghiệm xác định vị trí tâm đồng tử và các đốm sáng trên mắt 78

6.3.4 Khảo sát sự ảnh hưởng của các thông số đầu vào đối với kết quả ước lượng hướng nhìn của mắt 82

6.3.5 Khảo sát sự ảnh hưởng của khoảng cách chụp ảnh đối với kết quả ước lượng hướng nhìn của mắt 83

6.3.6 Thực nghiệm xác định hướng nhìn của mắt 85

6.3.7 Thực nghiệm nhúng source code vào máy tính mini Raspberry Pi 89

6.4 Nhận xét – đánh giá kết quả thực hiện 91

6.5 Phương hướng phát triển của đề tài 91

TÀI LIỆU THAM KHẢO 93

Phụ lục A CÁC THÔNG SỐ TIÊU CHUẨN 95

Phụ lục B CODE XỬ LÝ ẢNH ĐỂ XÁC ĐỊNH VỊ TRÍ CỦA TÂM ĐỒNG TỬ VÀ CÁC ĐỐM SÁNG 96

Phụ lục C CÁC NGUY CƠ BỨC XẠ QUANG 99

PHẦN LÝ LỊCH TRÍCH NGANG 101

CHƯƠNG 1: GIỚI THIỆU TỔNG QUAN VỀ HỆ THỐNG XÁC ĐỊNH HƯỚNG NHÌN CỦA MẮT

1.1 Các khái niệm về việc xác định hướng nhìn của mắt

1.1.1 Cấu tạo và hoạt động của mắt

1.1.1.1 Cấu tạo của mắt

Mắt người là cơ quan thị giác của con người thực hiện chức năng nhìn, quan sát, thu nhận lại hình ảnh, màu sắc của sự vật để chuyển vào não xử lý và lưu trữ Các hình dưới đây sẽ chỉ ra cấu tạo của mắt gồm các bộ phần nào

Hình 1.1 Cấu tạo bên ngoài của mắt

( Nguồn: http://www.matsaigon.com/wp-content/uploads/2017/11/cau-tao-mat.jpg )

Hình 1.2 Cấu tạo bên trong của mắt

( Nguồn: http://www.matsaigon.com/wp-content/uploads/2017/11/cau-tao-mat-4.jpg )

Mắt có rất nhiều bộ phận cấu thành tuy nhiên nếu chỉ xem xét những bộ phận cơ bản để đảm bảo chức năng nhìn của mắt thì giác mạc, thủy tinh thể và võng mạc là các

bộ phận cần phải xem xét

- Giác mạc (Cornea): là một màng trong suốt, rất dai, không có mạch máu có hình chỏm cầu chiếm khoảng 1/5 phía trước của vỏ nhãn cầu Chiều dày giác mạc ở trung tâm mỏng hơn ở vùng rìa

- Mống mắt hay tròng đen (Iris): là vòng sắc tố bao quanh đồng tử, quyết định màu mắt (đen, nâu, xanh…)

- Đồng tử (Pupil) là lỗ nhỏ màu đen, nằm ở trung tâm của mống mắt Đồng tử có thể

co lại hoặc giãn ra nhờ các cơ nằm trong mống mắt để điều chỉnh lượng ánh sáng vào mắt

- Thủy tinh thể (Crystalline lens): Thủy tinh thể nằm sau mống mắt Thủy tinh thể trong suốt làm nhiệm vụ như một thấu kính hội tụ cho ánh sáng đi qua, tập trung các tia sáng đúng vào võng mạc để tạo thành hình ảnh rõ nét, giúp con người có thể nhìn xa gần

Hình 1.3 Cấu trúc võng mạc

( Nguồn: https://wit-ecogreen.com.vn/img/tbvm.jpg )

- Võng mạc (Retina) và hoàng điểm (Macula): Võng mạc là một màng bên trong đáy mắt có nhiệm vụ tiếp nhận ánh sáng từ thủy tinh thể hội tụ lại Trung tâm võng mạc là hoàng điểm (điểm vàng), nơi tế bào thị giác nhạy cảm nhất giúp nhận diện nội dung, độ

sắc nét của hình ảnh Thông qua các dây thần kinh thị giác võng mạc sẽ chuyển năng lượng ánh sáng thành tín hiệu thị lực và gửi về trung khu phân tích ở não Võng mạc có nhiều lớp tế bào, đáng chú ý là lớp tế bào que, tế bào nón và lớp tế bào thần kinh cảm thụ Tế bào que, tế bào nón nhận biết hình ảnh, màu sắc Lớp tế bào biểu mô sắc tố võng mạc giúp nuôi dưỡng và bảo vệ tế bào que, tế bào nón trước tác động gây hại của tia cực tím, ánh sáng xanh và chất chuyển hóa gây hại võng mạc

- Mạch máu võng mạc gồm động mạch và tĩnh mạch trung tâm võng mạc cung cấp chất dinh dưỡng giúp nuôi dưỡng mắt

1.1.1.2 Hoạt động của mắt người

Như các thông tin đã nêu, để có thể nhìn thấy một vật, mắt sẽ điều tiết sao cho hình ảnh của vật thể rơi đúng vào điểm vàng của mắt Việc điều tiết này sẽ bao gồm 2 điều tiết chính đó là:

- Điều chỉnh lượng ánh sáng đi vào mắt bằng cách co giãn đồng tử Trong tối đồng

tử giãn ra và ngoài sáng đồng tử sẽ co lại

- Cơ mi và thể mi điều tiết sự co giãn của thể thủy tinh để điều chỉnh sự hội tụ hình ảnh của vật thể vào võng mạc Khi các cơ này nghỉ ngơi, chúng kéo ra và làm phẳng dẹt thủy tinh thể cho phép mắt nhìn thấy sự vật ở xa Trong trường hợp nhìn sự vật gần, cơ

mi phải co lại làm cho thủy tỉnh thể dầy lên do vậy cho phép mắt nhìn thấy rõ ràng Cần lưu ý là cơ thể mi chỉ có thể co lại để điều tiết đến một giới hạn vào khoảng 12 đi-ốp, nếu quá giới hạn này hình ảnh sẽ bị mờ

Hình 1.4 Biểu đồ tia sáng tới và hình ảnh của bốn chùm tia Purkinje

( Nguồn: https://en.wikipedia.org/wiki/File:Diagram_of_four_Purkinje_images.svg )

Thêm một đặc tính khác ở mắt cần phải lưu ý đó chính là sự khúc xạ ánh sáng Khi

đi từ môi trường này sang môi trường khác có chiết suất khác nhau, tia sáng sẽ bị lệch

đi, trừ khi tia sáng chiếu đến vuông góc với bề mặt tiếp giáp giữa hai môi trường Sự lệch đi của tia sáng so với hướng ban đầu là hiện tượng khúc xạ Tia sáng khi đi vào mắt

sẽ bị khúc xạ tại bốn bề mặt tiếp giáp (Hình 1.4):

- (P1) giữa không khí và mặt trước giác mạc

- (P2) giữa mặt sau giác mạc và thủy dịch

- (P3) giữa thủy dịch và mặt trước thể thủy tinh

- (P4) giữa mặt sau thể thủy tinh và dịch kính

Khi chùm tia sáng chiếu vào đường cong giác mạc của mắt, một vài tia sáng sẽ phản xạ trở lại, một vài tia sáng sẽ khúc xạ Với hình ảnh thu được từ 4 chùm tia phản

xạ P1, P2, P3, P4 như Hình 1.4, người ta gọi đây là chùm ảnh Purkinje Ảnh Purkinje

đầu tiên hay tia khúc xạ đầu tiên P1 được xem như một tia phản chiếu (glint)

Hình 1.5 Chùm ảnh Purkinje trên mắt

( Nguồn: https://en.wikipedia.org/wiki/File:030608_Pupil.jpg )

1.1.2 Khái niệm về việc xác định hướng nhìn của mắt

Việc xác định hướng nhìn của mắt là bài toán ước lượng, xác định điểm nhìn của mắt trong không gian 3D hay xác định trục ảo của mắt trong không gian 3D Hướng nhìn sẽ được xác định khi con người chú ý, tập trung nhìn vào một đối tượng cụ thể

Hình 1.8 Sơ đồ trục ảo của mắt

1.2 Tổng quan về hệ thống xác định hướng nhìn của mắt và ứng dụng

1.2.1 Tổng quan về hệ thống xác định hướng nhìn của mắt

Cho đến thời điểm hiện tại, người ta thường sử dụng một trong ba hệ thống dưới đây để giám sát và xác định hướng nhìn của mắt:

- Thiết kế nhóm 1: Hệ thống giám sát mắt sẽ được thiết kế như một mũ chụp hoặc kính mắt Để đo đạc được các chuyển động và hoạt động của mắt, trên hệ thống này người ta sẽ bố trí các camera nhỏ, gương phản xạ, đèn hồng ngoại, cảm biến gyro, cảm biến gia tốc…

Hình 1.10 Kính giám sát mắt của công ty Tobii

( Nguồn: https://imotions.com/wp-content/uploads/2016/02/eye-tracking-glasses-759x600.jpg https://www.bacharach.org/wp-content/uploads/2018/07/How-DoesEyetrackingWork_GlassesPro2.jpg )

- Thiết kế nhóm 2: Người ta sẽ đặt các điện cực xung quanh mắt để giám sát và đo đạc các hoạt động của chúng Hệ thống này sử dụng phương pháp Electrooculography (EOG) để giám sát các hoạt động của mắt

Hình 1.11 Sử dụng phương pháp EOG để giám sát hoạt động của mắt

Trong các hệ thống xác định hướng nhìn của mắt đã nêu thì nhóm phương pháp thiết kế thứ 3 là nhóm phương pháp thiết kế mới nhất và được sử dụng phổ biến nhất

Hệ thống này hoạt động độc lập và không tiếp xúc trực tiếp với người được giám sát

kế web và giao diện người dùng GUI…

Hình 1.13 Điều khiển TV bằng mắt

( Nguồn: https://i2.wp.com/www.techdigest.tv/haier-eye-control-2.jpg )

Hình 1.14 Tương tác với điện thoại bằng mắt nhìn

( Nguồn: https://imotions.com/wp-content/uploads/2015/07/alex_4263_Tobii_Glasses_670x600-300x269.jpg

- Ứng dụng trong việc nghiên cứu thị trường: việc theo dõi hướng nhìn của mắt sẽ hỗ trợ cho việc nghiên cứu thị hiếu của khách hàng được thực hiện dễ dàng hơn Với các

dữ liệu đã thu thập được, các nhà nghiên cứu sẽ có thể dễ dàng thấy được các mong muốn của khách hàng, cách lựa chọn sản phẩm của khách hàng Và đó cũng là cơ sở để

có thể hiệu chỉnh sản phẩm hoặc chiến lược marketing cho các sản phẩm một cách hiệu quả

Hình 1.15 Quan sát hành vi lựa chọn sản phẩm của khách hàng thông qua hướng nhìn của mắt

( Nguồn:

https://static1.squarespace.com/static/533368a4e4b0429a548a9e4d/t/55e85d56e4b0ae9da244361c/1441291611371/heatmap-eyetracking1?format=1500w )

- Ứng dụng trong tâm lý học và nghiên cứu hành vi của con người:

+ Thông qua ánh mắt, các nhà tâm lý học có thể dự đoán được cách suy nghĩ và phản ứng của con người trước các yếu tố kích thích từ môi trường bên ngoài

+ Thông qua việc giám sát mắt nhìn, các bác sĩ có thể kiểm soát và dự đoán được tình trạng sức khỏe và tinh thần của bệnh nhân

+ Theo dõi hướng nhìn của mắt sẽ có thể đánh giá được kết quả luyện tập của các vận động viên Các huấn luyên viên, bác sĩ có thể ghi nhận và phân tích chính xác hơn mọi hoạt động của vận động viên khi có thêm nguồn dữ liệu này

1.3 Tình hình nghiên cứu trong nước và thế giới

Từ khoảng những năm 2000, cùng nhịp với sự phát triển vượt bậc của toàn bộ nền khoa học-kỹ thuật, các nghiên cứu về computer vision đã đạt được rất nhiều thành tựu đáng kể Trong đó, các nghiên cứu được chú ý nhiều nhất là về việc nhận dạng con người

và giám sát các hành vi của con người Ở đây tác giả chỉ xin điểm qua một vài thành tựu nổi bật có liên quan đến việc xác định hướng nhìn của mắt

- Ngoài nước:

Có rất nhiều thuật toán xử lý ảnh để nhận diện khuôn mặt người đã được công bố

và các ứng dụng đầu tiên được biết đến là việc xác định vị trí khuôn mặt người trong khuôn ảnh ở các loại máy ảnh và điện thoại từ khoảng năm 2000

Hình 1.16 Xác định vị trí khuôn mặt khi chụp ảnh bằng điện thoại hoặc máy ảnh

(Nguồn: http://s2.media.ricoh-imaging.co.uk/en/digital-compact/optio-e90.html

https://kosbr.github.io/2015/08/18/find-fragment.html )

Với những nghiên cứu gần đây, computer vision còn có thể nhận diện được chính xác thông tin của con người trong các bức ảnh Kết quả của các nghiên cứu này đã và đang được ứng dụng trong rất nhiều các hệ thống camera giám sát an ninh

Hình 1.17 Hệ thống camera giám sát có khả năng nhận diện

và truy vấn thông tin của người bị giám sát

( Nguồn: www.thestadiumbusiness.com/2017/06/30/nec-face-recognition-leads-way-stadium-security-trial/ )

Như đã nêu ở Hình 1.13, Hình 1.14, Hình 1.15 công nghệ giám sát hướng nhìn

của mắt được áp dụng trong rất nhiều lĩnh vực Và từ đó nhiều công ty công nghệ về việc giám sát hoạt động và hướng nhìn của mắt đã ra đời như: Tobii, Fujitsu, SMI, EyeTech, Smart Eye, EyeLink…

Hình 1.18 Công ty Fujitsu thực hiện demo một sản phẩm giám sát hướng nhìn của mắt

xe Về mảng đề tài hướng nhìn của mắt, gần đây có thể kể đến một số nghiên cứu về điều khiển xe lăn bằng cử động mắt của kĩ sư Nguyễn Hữu Cường (bộ môn tự động hóa, khoa công nghệ Trường ĐH Cần Thơ) dưới sự hướng dẫn của PGS.TS Huỳnh Thái Hoàng (giảng viên khoa điện - điện tử, Trường ĐH Bách khoa - ĐHQG TP.HCM)

1.4 Mục tiêu và nhiệm vụ khi thực hiện luận văn

1.4.1 Mục tiêu

Mục tiêu của đề tài là xây dựng một hệ thống xác định hướng nhìn của mắt dựa vào sự chú ý, tập trung của con người khi nhìn vào một đối tượng cụ thể

1.4.2 Phạm vi và nhiệm vụ của đề tài

Với đề tài nghiên cứu đã đặt ra, nội dung chính của luận văn sẽ trình bày các vấn

đề sau:

- Tìm hiểu, phân tích các phương pháp xác định vị trí khuôn mặt người và mắt người

đã và đang được nghiên cứu trên thế giới

- Tìm hiểu, nghiên cứu mô hình toán để đo đạc hướng nhìn của mắt

- Áp dụng các mô hình toán và các phương pháp xử lý ảnh để xây dựng một hệ thống nhúng giám sát hướng nhìn của mắt

- Phân tích, đánh giá các kết quả đạt được của nghiên cứu từ đó đưa ra hướng cải tiến, phát triển cho đề tài

1.5 Giới thiệu tổng quát các chương

Chương 1: Giới thiệu tổng quan về các khái niệm định nghĩa có liên quan đến hệ thống xác định hướng nhìn của mắt

Chương 2: Giới thiệu về các mô hình xác định hướng nhìn của mắt đã được công

bố trong và ngoài nước Phân tích ưu và nhược điểm của các mô hình khác nhau để từ

đó đưa ra lựa chọn và định hướng nghiên cứu cho luận văn

Chưởng 3: Đưa ra mô hình toán và cách thức xác định hướng nhìn của mắt thông qua các dữ liệu đầu vào có được của bài toán

Chương 4: Trình bày các lý thuyết, kiến thức nền tảng về xử lý ảnh sẽ áp dụng cho

CHƯƠNG 2: CÁC PHƯƠNG ÁN LỰA CHỌN CHO HỆ THỐNG XÁC ĐỊNH HƯỚNG NHÌN CỦA MẮT

2.1 Phân tích tổng quan các hệ thống xác định hướng nhìn của mắt

Như ở Chương 1, phần Tổng quan về hệ thống xác định hướng nhìn của mắt đã

có nêu qua một số hệ thống xác định hướng nhìn của mắt

2.1.1 Hệ thống xác định hướng nhìn với các thiết bị camera gắn liền với người dùng

Với hệ thống camera giám sát gắn liền với người dùng (thường được thiết kế dưới dạng nón chụp hoặc kính đeo) sẽ đưa ra các thông số đo đạc, giám sát mắt nhanh và chính xác hơn các phương pháp khác Hơn thế nữa hệ thống này còn có thể dễ dàng gắn thêm các thiết bị hoặc cảm biến để đo đạc sự chuyển động đầu của người dùng

Hình 2.1 Hệ thống camera gắn liền với người dùng

( Nguồn: https://eyegaze.com/wp-content/uploads/2015/05/Eye-Tracking1.jpg https://www.kent.ac.uk/psychology/research/facilities/EL2_1.JPG )

Tuy nhiên, đây cũng sẽ là một hệ thống với thiết kế phức tạp, đắt tiền và phải sử dụng các thuật toán phức tạp để xử lý các dữ liệu đầu vào Ngoài ra người dùng còn phải đeo các sản phẩm này trong quá trình sử dụng

2.1.2 Hệ thống xác định hướng nhìn với các thiết bị điện cực đo đạc sự dịch chuyển

của mắt

Với hệ thống dùng các điện cực để đo đạc, giám sát các hoạt động của mắt thì thiết

kế hệ thống sẽ trở nên đơn giản hơn, giá thành sản phẩm sẽ giảm xuống

Hình 2.2 Xác định hướng nhìn của mắt bằng các điện cực

( Nguồn: https://neupsykey.com/wp-content/uploads/2016/07/B9781455712670000035_f03-03-9781455712670.jpg

https://www.sciencedaily.com/images/2008/04/080428083418_1_540x360.jpg )

Tuy nhiên, với thiết kế này, mặt hạn chế lớn nhất của hệ thống là việc lắp đặt và calib cho hệ thống sẽ phức tạp và tốn nhiều thời gian Việc xử lý nhiễu từ tín hiệu thu được và sản phẩm của thiết kế bắt buộc phải gắn chặt với da của người dùng cũng là những hạn chế phải kể đến

2.1.3 Hệ thống xác định hướng nhìn với các thiết bị camera tách biệt và đặt cách xa

người dùng

Với thiết kế các camera giám sát, đo đạc thông tin của mắt nằm cách xa người dùng, hệ thống được thiết kế sẽ trở nên rất đơn giản và người dùng sẽ cảm thấy rất thoải mái khi sử dụng hệ thống này (vì không phải đeo hay mang theo bất kỳ thiết bị nào trên người) Giải thuật, thuật toán áp dụng cho hệ thống này không quá phức tạp cũng là một

ưu điểm nữa cho hệ thống Độ chính xác của hệ thống có thể được tăng cường bằng cách lựa chọn và sử dụng các camera với độ phân giải cao hơn hoặc tăng cường số lượng camera giám sát

Tuy nhiên hệ thống này cũng có khuyết điểm khi mà hệ thống chỉ có thể hoạt động trong một không gian giới hạn đã xác định trước Khi con người bước ra khỏi vùng giám sát của camera thì hệ thống sẽ không thể hoạt động

2.1.4 Yêu cầu chung cho hệ thống và đưa ra kết quả lựa chọn thiết kế tổng quan

Yêu cầu chung của luận văn là:

- Thiết kế một hệ thống giám sát hướng nhìn của mắt không bắt buộc người dùng phải đem theo hoặc đeo bất kỳ thiết bị nào

- Chi phí thiết kế, lắp đặt cho hệ thống rẻ nhất có thể

- Hạn chế việc calib lại hệ thống

- Thiết kế hệ thống phải dễ dàng lắp đặt và vận hành

Từ các tiêu chí đã nêu, ta có thể thấy phương án thứ 3, xây dựng hệ thống xác định hướng nhìn với các thiết bị camera tách biệt và đặt cách xa người dùng là phù hợp với các tiêu chí này nhất

2.2 Các phương án thiết kế với hệ thống xác định hướng nhìn của mắt sử dụng camera tách rời và đặt cách xa người dùng

Thiết kế tổng quan đã được lựa chọn cho hệ thống ở mục 2.1 là thiết kế được lựa

chọn nhiều nhất cho các hệ thống giám sát hướng nhìn của mắt hiện nay Với thiết kế

chi tiết hơn người ta sẽ đi theo một trong hai hướng chủ đạo như Hình 2.4

Hình 2.4 So sánh tổng quan giữa thiết kế không dùng và có dùng đèn hồng ngoại

( Nguồn: http://journal.jp.fujitsu.com/en/2014/09/09/01/img/index_img_1.jpg )

Các phân tích và so sánh chi tiết hơn cho từng phương án sẽ được trình bày cụ thể hơn qua các mục ngay dưới đây

2.2.1 Hệ thống chỉ sử dụng một camera

Trong lịch sử nghiên cứu về việc xác định hướng nhìn có một số nghiên cứu chỉ

sử dụng một camera như các nghiên cứu của Chen J và Ji Q [1] sử dụng mô hình 3D của khuôn mặt và mắt để xác định hướng nhìn của mắt Hay như các nghiên cứu của kỹ sư Nguyễn Hữu Cường và PGS.TS Huỳnh Thái Hoàng [2] thực hiện ước lượng hướng nhìn bằng các đặc trưng hình học của mắt

Nếu chỉ sử dụng một camera, hệ thống thiết kế sẽ có được các ưu điểm sau:

- Thiết kế hệ thống đơn giản giúp dễ tối giản kích thước sản phẩm và giá cả sản phẩm

sẽ nằm ở mức thấp nhất nếu so sánh với các thiết kế khác

- Sản phẩm sẽ dễ dàng lắp đặt và dễ sử dụng

Tuy nhiên thiết kế này cũng có các nhược điểm:

- Độ chính xác của hệ thống bị ảnh hưởng nhiều nếu ánh sáng của môi trường bị thay đổi

- Vì chỉ dùng các đặc trưng hình học (vị trí của con ngươi, góc mắt, vị trí của đỉnh mũi…) để ước lượng hướng nhìn của mắt nên kết quả ước lượng hướng nhìn của mắt sẽ không còn chính xác khi người dùng dịch chuyển vị trí của đầu (xoay đầu, không nhìn trực diện vào khu vực quan sát) hoặc trường hợp khuôn mặt người bị che chắn biến dạng

- Có thể phải thực hiện calib lại tất cả các thông số của hệ thống nếu hệ thống có thêm người dùng mới

2.2.2 Hệ thống sử dụng một camera và một nguồn sáng

Với thiết kế này có thể kể đến các nghiên cứu của công ty Fujitsu, họ đã sản xuất một số sản phẩm hỗ trợ người dùng cuộn hay phóng to màn hình bằng điều khiển của mắt Nếu có thêm một ràng buộc về nguồn sáng thì việc ước lượng hướng nhìn của mắt

sẽ trở nên chính xác hơn

Hình 2.5 How the Corneal Reflection Method Works

( Nguồn: http://www.fujitsu.com/global/Images/20121002-02b_tcm100-839130.jpg )

Như vậy nếu lắp thêm một nguồn sáng hồng ngoại, hệ thống sẽ có được các ưu điểm:

- Tăng cường độ chính xác cho việc ước lượng hướng nhìn của mắt

- Giảm bớt ảnh hưởng của các nguồn sáng môi trường xung quanh đối với việc ước lượng hướng nhìn của mắt

- Kết quả ước lượng hướng nhìn của mắt sẽ được cải thiện kể cả với các trường hợp người dùng không nhìn trực diện vào vật thể

Tuy nhiên, lựa chọn này cũng có các khuyết điểm:

- Giá thành sản phẩm sẽ tăng

- Thiết kế và lắp đặt hệ thống sẽ phức tạp hơn

- Việc calib cho hệ thống trở nên phức tạp hơn

2.2.3 Hệ thống sử dụng một camera và hai nguồn sáng

Với thiết kế này có một số nghiên cứu đã được công bố như:

- Nghiên cứu của White K và các đồng nghiệp [3] đã cải tiến độ chính xác cho máy tính cá nhân được điều khiền bằng mắt

- Nghiên cứu của Guestrin E và Eizenman M [4] đã đưa ra các lý thuyết tổng quan để ước lượng hướng nhìn của mắt, trong đó có thuật toán để xác định hướng nhìn với một camera và một nguồn sáng

- Morimoto C và các đồng nghiệp với nghiên cứu chi tiết cho mô hình một camera và hai nguồn sáng ở tài liệu [5]

Thiết kế này có các ưu điểm:

- Kết quả xác định hướng nhìn của mắt được cải thiện một cách rõ rệt so với khi sử dụng 1 nguồn sáng

- Ảnh hưởng của việc dịch chuyển đầu hay không nhìn vật thể một cách trực diện được giảm thiểu

- Do dùng nguồn sáng hồng ngoại nên hệ thống ít bị ảnh hưởng bởi sự thay đổi của ánh sáng môi trường xung quanh

- Có thể thực hiện calib hệ thống một cách độc lập với người dùng

Nhược điểm của hệ thống cũng tương tự với trường hợp sử dụng một nguồn sáng:

- Tốn thêm chi phí khi lắp thêm nguồn sáng thứ hai

- Thiết kế và lắp đặt hệ thống sẽ phức tạp hơn

- Việc calib cho hệ thống trở nên phức tạp hơn

- Các sai số về mối liên hệ vị trí giữa các thiết bị sẽ dẫn đến sai số rất lớn cho việc ước lượng hướng nhìn của mắt

2.2.4 Hệ thống sử dụng một camera và nhiều nguồn sáng

Trường hợp này thường người ta sẽ kết hợp các thuật toán khi hệ thống có một nguồn sáng và khi có hai nguồn sáng lại với nhau để vận hành cho hệ thống Hoặc đề xuất các thuật toán, mô hình toán mới cho hệ thống như nghiên cứu của Coutinho F và Morimoto C [6], họ đã dựa vào các tính toán hồi quy để xác định hướng nhìn của mắt Với thiết kế này hệ thống sẽ có các ưu điểm:

- Độ chính xác của hệ thống sẽ tăng lên so với khi chỉ dùng một hoặc hai nguồn sáng

- Có thể thực hiện calib hệ thống một cách độc lập với người dùng

Khuyết điểm:

- Khi sử dụng quá nhiều nguồn sáng sẽ rất khó khăn để phân tách và xác định vị trí các đốm sáng trên mắt

- Nếu dùng quá nhiều nguồn sáng sẽ ảnh hưởng đến sức khỏe của người dùng

- Chi phí thiết kế hệ thống sẽ tăng lên

2.2.5 Hệ thống sử dụng nhiều camera

Tương tự như trường hợp sử dụng một camera để giám sát hướng nhìn của mắt, với thiết kế này:

- Độ chính xác của hệ thống tăng lên so với khi chỉ sử dụng một camera

- Có thể xây dựng được mô hình 3D cho khuôn mặt của người dùng, từ đó có thể ước lượng sự dịch chuyển, xoay đầu của người dùng

Tuy nhiên nó cũng các có nhược điểm:

- Giá thành thiết kế hệ thống sẽ tăng lên khá nhiều trong khi độ chính xác của hệ thống được cải thiện không quá nhiều

- Quá trình calib cho hệ thống khá phức tạp

2.2.6 Hệ thống sử dụng nhiều camera và một nguồn sáng

Thiết kế này tương tự như trường hợp sử dụng một camera và một nguồn sáng và

có thể kết hợp thêm các thuật toán xây dựng mô hình 3D cho khuôn mặt để xác định

hướng nhìn của mắt Tuy nhiên, kết quả đo đạc cho hệ thống không có nhiều cải thiện

so với chi phí bỏ ra

2.2.7 Hệ thống sử dụng nhiều camera và nhiều nguồn sáng

Với thiết kế này có các nghiên cứu đã được công bố như:

- Lý thuyết tổng quan về việc xác định hướng nhìn của mắt do Guestrin E và Eizenman M [4] công bố

- Guestrin [7] đã tiến hành thực nghiệm hệ thống xác định hướng nhìn với 2 camera

và 4 nguồn sáng và ghi lại kết quả thưc nghiệm trong luận văn của chính mình

- Arar N và Thiran J [8] đã tiến hành nghiên cứu với các mô hình thiết kế khác nhau

và đưa ra các so sánh như bảng tóm tắt dưới đây

TABLE V: Comparison of existing eye tracking systems In ”Cam(s)” column, * indicates that a pan-tilt unit is employed

”Calib.” column indicates whether explicit camera and scene geometry calibrations are required: ”fully” means both are required, ”pre” means the sensor is pre-calibrated In ”Accuracy”, ”SH” and ”MH” correspond to stable and moving head scenarios, respectively The results refer to, unless stated otherwise, person-specific scenarios on within-dataset evaluations

”HP” column indicates whether users’ head pose were fixed, e.g., using a chinrest In ”FoV” column, the systems’ working volume is presented by ”FL”, focal length in mm The smaller the focal length, the larger the FoV

Hình 2.6 Comparison of existing eye tracking systems

( Nguồn: Tài liệu Robust Real-Time Multi-View Eye Tracking [8] )

Thông qua các nghiên cứu đã được công bố, có thể thấy rằng:

- Độ chính xác của hệ thống tăng lên nếu tăng cường số lượng camera và nguồn sáng một cách hợp lý

- Nhờ vào việc sử dụng nhiều camera cùng lúc, hệ thống có thể kết hợp thêm các thuật toán xác định góc xoay của đầu để tăng cường động chính xác cho việc ước lượng hướng nhìn của mắt

- Quá trình calib hệ thống có thể thực hiện độc lập với việc sử dụng của người dùng, giảm bớt các thông số phụ thuộc vào người dùng như bán kính cong giác mạc

Ngoài các ưu điểm có được, thiết kế này cũng có các nhược điểm:

- Giá thành lắp đặt hệ thống sẽ tăng rất nhiều, đặc biệt là trường hợp tăng số lượng camera cho hệ thống

- Khi tăng số lượng nguồn sáng quá nhiều thì kết quả đo đạc của hệ thống không còn chính xác nữa Vì việc tách và xác định vị trí đốm sáng không còn chính xác, các đốm sáng trên mắt có thể bị chồng lấn lên nhau Ngoài ra, khi tăng số lượng nguồn sáng quá nhiều nó sẽ ảnh hưởng đến mắt của người dùng

- Việc lắp đặt hệ thống phức tạp hơn và thời gian calib cho hệ thống cũng tăng lên

2.3 Phương án thiết kế chi tiết cho luận văn

2.3.1 Phân tích lại sự thỏa mãn yêu cầu của các phương án thiết kế

- Trong hệ thống xác định hướng nhìn của mắt thì camera là thiết bị đắt tiền và quan trọng nhất cho hoạt động của hệ thống Lựa chọn chất lượng, độ phân giải, kích thướng khung ảnh của camera sẽ liên quan trực tiếp đến chất lượng và giá thành của cả hệ thống Việc quyết định tăng thêm số lượng camera cho hệ thống cũng tương tự, nếu không yêu cầu độ chính xác của hệ thống quá cao và khoảng không gian hoạt động của người dùng không quá rộng thì việc tăng thêm số lượng camera là không cần thiết

- Việc tăng thêm số lượng nguồn sáng không ảnh hưởng quá nhiều đến chi phí lắp đặt hệ thống, nhưng việc tăng thêm quá nhiều nguồn sáng sẽ làm người dùng khó chịu

và có thể ảnh hưởng đến mắt của người dùng

- Quá trình calib hệ thống nếu:

+ Hệ thống sử dụng 1 camera với 2 hay nhiều hơn 2 nguồn sáng thì quá trình calib cần thực hiện 2 lần, một lần xác định tọa độ các thiết bị trong không gian và một lần để lấy giá trị bán kính cong của giác mạc Nếu áp dụng thuật toán hồi quy 2D cho hệ thống thì có thể bỏ qua thông số bán kinh cong của giác mạc mắt Tuy nhiên thuật toán này sẽ không đáp ứng tốt cho trường hợp góc xoay của đầu bị thay đổi nhiều

+ Nếu hệ thống sử dụng 2 camera với 2 hoặc nhiều hơn 2 nguồn sáng thì việc calib

hệ thống có thể bỏ qua các thông số bán kính cong của giác mạc

- Độ chính xác của hệ thống cần xem xét thêm yếu tố khoảng không gian hoạt động của người dùng để có thể đựa ra lựa chọn hợp lý

2.3.2 Phương thiết kế được lựa chọn

Dựa vào các yêu cầu và phân tích đã nêu thì thiết kế với 1 camera và 2 nguồn sáng

là phương án được lựa chọn cho luận văn Thiết kế này được lựa chọn vì:

- Khoảng không gian hoạt động của người sử dụng không quá rộng (ước lượng tối đa khoảng 0.25m2), do đó hệ thống cũng không cần phải dùng các loại camera với góc quay rộng và độ phân giải quá cao

- Việc tăng thêm số lượng nguồn sáng sẽ tăng cường độ chính xác cho hệ thống, nhưng với các phân tích từ các mô hình toán thì chỉ với 2 nguồn sáng là đã cải thiện độ chính xác của hệ thống có thể đạt mức <4o Lựa chọn này cũng đã xem xét đến việc tinh gọn thiết kế và cố gắng giảm số lượng nguồn sáng tương tác với mắt người (đặc biệt với trường hợp hệ thống không sử dụng LED hồng ngoại)

- Quá trình calib cho hệ thống sử dụng nhiều camera thì sẽ không phải calib cho các thông số mắt ở người dùng, tuy nhiên đây là lựa chọn dẫn đến chi phí để xây dựng hệ thống tăng lên rất nhiều

- Lượng dữ liệu thu thập chỉ với 1 camera sẽ tạo điều kiện cho việc phát triển hệ thống theo hướng IoT với các board mạch nhúng nhỏ gọn và chip xử lý không quá mạnh

CHƯƠNG 3: MÔ HÌNH TOÁN ĐỂ XÁC ĐỊNH HƯỚNG NHÌN CỦA MẮT

Dựa trên thiết kế tổng quan đã lựa chọn ở chương trước, ở chương này tác giả sẽ giới thiệu và diễn giải một mô hình toán có thể áp dụng cho hệ thống xác định hướng nhìn của mắt đã được lựa chọn

3.1 Các giả thuyết ban đầu và quy ước cho mô hình toán

3.1.1 Các giả thuyết ban đầu

- Các nguồn sáng được xem như nguồn sáng điểm

- Các camera theo mô hình camera pinhole

- Mặt cong giác mạc được xem như mặt cầu

- Tâm của mặt cong giác mạc, tâm đồng tử, tâm quay của mắt nằm trên trục quang của mắt

- Tâm quang của mắt trùng với tâm mặt cong giác mạc

- Có thể xác định chính xác vị trí các nguồn sáng và các thông số của camera Tọa độ 2D của tâm đồng tử và các đốm sáng trên mắt có thể xác định chính xác trên khung ảnh

số

3.1.2 Các ký hiệu dùng trong mô hình toán

Hình 3.1 Sơ đồ mối quan hệ giữa tia sáng, mắt và camera

( Nguồn: Tài liệu [9] )

Trên hình Hình 3.1 có các ký hiệu:

li – nguồn sáng thứ i

oj – tâm quang của camera thứ j

vj – ảnh của tâm đồng tử trên camera j

uij – ảnh của nguồn sáng thứ i trên camera j

qij – điểm phản xạ của nguồn sáng thứ i đối với camera j

rj – điểm khúc xạ trên bề mặt mắt của tia sáng từ tâm đông tử vào camera j

p – tâm đồng tử

c – tâm của đường cong giác mạc (cũng là tiêu điểm của mắt)

R – là bán kính cong của giác mạc

K – là khoảng cách từ tâm đường cong giác mạc c đến tâm đồng tử p

3.1.3 Các hệ trục tọa độ dùng trong mô hình toán

(a) Hệ tọa độ thực ; (b) Hệ tọa độ camera ; (c) Hệ tọa độ ảnh

Hình 3.2 Các hệ trục tọa độ trong mô hình toán

( Nguồn: Tài liệu [10] )

- Hệ tọa độ thực: Hệ tọa độ có gốc là 1 hệ trục tọa độ Descartes có các trục X, Y, Z Mặt phẳng XY trùng với mặt phẳng màn hình và gốc tọa độ ở tâm màn hình, trục X nằm ngang Các tọa độ tính theo đơn vị mm

- Hệ tọa độ camera: Hệ tọa độ camera là 1 hệ trục tọa độ Descartes có các trục x, y,

z Mặt phẳng xy của hệ tọa độ trùng với mặt phẳng của cảm biến thu ảnh (CCD hoặc CMOS) và trục z của hệ tọa độ trùng với trục quang của camera, trục x hướng theo hàng của cảm biến Các tọa độ tính theo đơn vị mm

- Hệ tọa độ ảnh: Hệ trục tọa độ ảnh là hệ trục tọa độ 2 chiều có 2 trục r, c thể hiện tọa

độ hàng và cột tính bằng pixel tính từ góc trên bên trái của ảnh

3.2 Mô hình toán áp dụng cho thiết kế đã được lựa chọn

3.2.1 Các phương trình và tính khả thi của bài toán

Hình 3.3 Sơ đồ nguồn sáng và ảnh phản xạ của nguồn sáng trên camera

Có thể quan sát lại sự phản xạ của chùm tia sáng thứ nhất l1 ở Hình 3.3 Do q11 là

điểm phản xạ của chùm tia l1 trên bề mặt giác mạc nên:

‖𝐪11− 𝐜‖ = 𝑅 ; (R là bán kính cong của giác mạc) (3.1)

Theo định luật phản xạ ánh sáng, góc tới (góc tạo bởi tia tới và pháp tuyến) và góc phản xạ (góc tạo bởi tia phản xạ và pháp tuyến) sẽ bằng nhau Đồng thời, tia tới, tia phản

xạ và đường pháp tuyến sẽ đồng phẳng Như vậy, vector tạo bởi q11 và c vuông góc với

bề mặt giác mạc tại điểm q11

Vì tia phản xạ (𝐨1− 𝐪11) đi qua tâm quang của camera nên ba điểm 𝐪11, 𝐨1 và

𝐮11 sẽ cùng nằm trên một đường thẳng và ta có được biểu thức:

Hình 3.4 Sơ đồ ảnh thu được của tâm đồng tử p

Có thể quan sát lại Hình 3.4, xem xét với K là khoảng cách giữa ảnh tâm đồng tử

p và tâm cong giác mạc c, ta sẽ có phương trình:

Xem xét tia sáng đi từ p qua tâm quang của camera o1, giao với mặt phẳng ảnh của

camera tại v1, như vậy:

𝐩 = 𝐨1+ 𝑘𝑝(𝐨1− 𝐯1); 𝑘𝑝 là hệ số (3.10)

Giả sử tọa độ thực của các điểm l1, l2, o1, u11, u21 và v1 được xác định, các thông

số mắt R và K đã tìm được Cùng xem xét lại các phương trình đã có được từ hệ thống,

các biểu thức từ (3.1) đến (3.10) bao gồm 7 biểu thức vô hướng và 3 biểu thức vector

Mỗi biểu thức vector lại có thể chia làm 3 biểu thức vô hướng tương ứng với các trục tọa độ X, Y, Z trong hệ trục tọa độ thực Như vậy tổng cộng kết lại chúng ta tất cả 16 phương trình

Hình 3.5 Ý tưởng chính của mô hình toán nằm ở vectơ chỉ phương b

Các đại lượng vô hướng chưa biết trong 16 phương trình đã nêu bao gồm tọa độ

thực của 4 điểm: q11, q21, p và c (mỗi toạ độ điểm sẽ bao gồm 3 đại lượng vô hướng

tương ứng với các trục tọa độ X, Y, Z trong hệ trục tọa độ thực) Ngoài ra, trong các

phương trình đã nêu còn có các hệ số vô hướng chưa biết như: k q11 , k q12 và k p Như vậy, tổng cộng có 15 đại lượng vô hướng chưa biết trong 16 phương trình đã tìm được Điều này cũng đồng nghĩa với việc đây là bài toán có thể giải được

Đặt thêm một giả sử khác, nếu hệ thống chỉ sử dụng một nguồn sáng thì ta chỉ có

4 biểu thức vô hướng và 2 biểu thức vector Điều này tương ứng với việc hệ thống sẽ có

10 phương trình, nhưng lại có tới 11 đại lượng vô hướng chưa biết (q11, p, c, k q11 và k p)

Do đó, với trường hợp chỉ sử dụng một nguồn sáng, ta sẽ không thể sử dụng mô hình toán này để áp dụng cho hệ thống

3.2.2 Giải các phương trình và tìm ra hướng nhìn của mắt

3.2.2.1 Giải các phương trình

Ở các công thức (3.3) và (3.4) có nhắc đến các điểm l1, q11, o1, u11 và c là đồng phẳng Tương tự như vậy ở các công thức (3.7) và (3.8) đã chứng minh các điểm điểm

l2, q21, o1, u21 và c là đồng phẳng Từ các thông tin này ta có thể suy ra o1 và c cùng nằm

trên giao tuyến của hai mặt phẳng vừa nêu trên Vectơ chỉ phương của đường giao tuyến này có thể được biểu diễn như sau:

Với 𝑘𝑐 là hệ số dương thể hiện khoảng cách giữa tâm mặt cong giác mạc và tâm

quang của camera Điều kiện b ≠ 0⃗ dễ dàng có được nếu đặt các nguồn sáng và camera tạo thành hình chữ V

Lấy phương trình (3.4) trừ đi phương trình (3.12) rồi thế vào phương trình (3.1) ta

sẽ có biểu thức:

‖𝐪11− 𝐜‖ = ‖𝑘𝑞11(𝐨1− 𝐮11) − 𝑘𝑐𝐛𝑛𝑜𝑟𝑚‖ = 𝑅 (3.13) Công thức trên có thể được viết lại:

‖𝑘𝑞11(𝐨1− 𝐮11) − 𝑘𝑐_1𝐛𝑛𝑜𝑟𝑚‖2

= [𝑘𝑞11(𝐨1− 𝐮11) − 𝑘𝑐_1𝐛𝑛𝑜𝑟𝑚] [𝑘𝑞11(𝐨1− 𝐮11) − 𝑘𝑐_1𝐛𝑛𝑜𝑟𝑚] = 𝑅2

⟺ ‖𝐨1− 𝐮11‖2𝑘𝑞112 − 2𝑘𝑐_1𝑘𝑞11(𝐨1− 𝐮11) 𝐛𝑛𝑜𝑟𝑚+ 𝑘𝑐_12 − 𝑅2 = 0 (3.14)

Từ phương trình (3.1) và (3.12) có thể thấy q11 phải nằm trên đường tròn tâm c

bán kính R và cùng nằm trên đường thẳng o1u11 Giải phương trình bậc 2 theo biến k q11,

phương trình (3.14), sẽ thu được hai nghiệm Trong đó, nghiệm mang dấu âm sẽ được giữ lại vì nghiệm này sẽ tìm được q11 nằm trên bề mặt giác mạc:

trị của 𝑘𝑐_1 (Nhắc lại, tọa độ các điểm o1, l1 đã biết trước Tọa độ c được biểu diễn thông qua

k c như đã trình bày ở biểu thức (3.12))

Tương tự, áp dụng cách tính toán này với các biểu thức (3.5), (3.8) và (3.12) ta sẽ

Tương tự cách tính toán đã nêu, kết hợp các biểu thức (3.9), (3.10) và (3.12) sẽ tìm

được biểu thức tính k p theo k c như sau:

𝑘𝑝 = 𝑘𝑐(𝐨1−𝐯1)𝐛𝑛𝑜𝑟𝑚−√𝑘𝑐

2 [(𝐨1−𝐯1)𝐛𝑛𝑜𝑟𝑚] 2 −‖𝐨1−𝐯1‖ 2 (𝑘𝑐2−𝐾 2 )

Vì k c và bnorm đã tìm được ở bước tính toán trước đó, như vậy ta dễ dàng tính được giá

trị k p Và từ đó tọa độ các điểm c, p đã được xác định

3.2.2.2 Tìm ra hướng nhìn của mắt

Hình 3.6 Điểm nhìn của mắt Tiếp theo là việc xác định điểm nhìn của mắt, với g là giao điểm giữa trục ảo của

mắt và màn hình Trục ảo của mắt là đường thẳng đi qua tâm quang và hố thị giác của mắt, nó bị lệch so với trục quang của mắt khoảng 5o Tâm quang của mắt lại di chuyển

tương đối với tâm của mặt cong giác mạc c, nó phụ thuộc vào sự điều tiết của mắt nhưng

khoảng cách giữa chúng duy trì nhỏ hơn 1mm [11] Để đơn giản cho việc tính toán, ta

có thể giả sử tâm quang của mắt trùng với c

Biểu diễn hướng trục quang của mắt thông qua các góc xoay, ta gọi eye và eye lần

lượt là góc theo phương ngang (phương X) và góc theo phương đứng (phương Y) của

trục quang như ở Hình 3.7

Hình 3.7 Mô hình trục quang của mắt

(Nguồn: Tài liệu [9] )

Dựa trên Hình 3.7, ta có thể biểu diễn trục quang của mắt bằng phương trình sau:

trình:

𝐠 = 𝐜 + 𝑘𝑔[

cos(φeye+ βeye) sin(θeye+ αeye)

sin(φeye+ βeye)

− cos(φeye+ βeye) cos(θeye+ αeye)

]; k g là khoảng cách giữa c và g (3.19)

Vì hệ trục tọa độ gốc của hệ thống gắn tại trung tâm của màn hình (xem lại Hình

3.2) nên gZ = 0 (tọa độ theo phương Z của g) và từ đó ta tính được: