Hệ thống nhận diện mống mắt thông minh

Hình 1.9 Các đặc trưng được trích dọc theo các vòng tròn trong mống mắt Từ các đặc trưng này xây dựng vector đặc trưng và được lưu thành dữ liệu để nhận diện... Hình 1.11 Mấu code nhị p

ĐẠI HỌC QUỐC GIA TP HCM

TRƯỜNG ĐẠI HỌC BÁCH KHOA

CÔNG TRÌNH ĐƯỢC HOÀN THÀNH TẠI TRƯỜNG ĐẠI HỌC BÁCH KHOA ĐẠI HỌC QUỐC GIA TP HỒ CHÍ MINH

Cán bộ hướng dẫn khoa học: PGS TS Huỳnh Thái Hoàng Ký tên:

Cán bộ chấm nhận xét 1:

Ký tên Cán bộ chấm nhận xét 2:

Ký tên Luận văn thạc sĩ được bảo vệ tại Trường Đại học Bách Khoa, ĐHQG Tp HCM, ngày tháng năm 201

Thành phần Hội đồng đảnh giá luận văn thạc sĩ gầm: 1

2

3

4

5

Xác nhận của Chủ tịch Hội đồng đánh giá LV và Trưởng Khoa quản lý chuyên ngành sau khi luận văn đã được sửa chữa (nếu cố)

TRƯỞNG KHOA ĐIỆN - ĐIỆN TỬ CHỦ TỊCH HỘI ĐỒNG

ĐẠI HỌC QUỐC GIA TP.HCM CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM TRƯỜNG ĐẠI HỌC BÁCH KHOA Độc lập - Tự do - Hạnh phúc

NHIỆM VỤ LUẬN VĂN THẠC SĨ

Chuyên ngành: Kỹ Thuật Điều Khiển Và Tụ Động Hóa Mã số: 60520216

I TÊN ĐỀ TÀI:

HỆ THỐNG NHẬN DIỆN MỒNG MẮT THÔNG MINH

II NHIỆM VỤ VÀ NỘI DUNG:

- Thu thập tập mẫu và trích đặc trưng

- Xây dựng bộ nhận diện dựa trên mạng thần kinh

- Kiểm tra, đánh giá phần mềm bằng cách nhận diện 100 nguời

III NGÀY GIAO NHIỆM VỤ: 20/01/2015

IV NGÀY HOÀN THÀNH NHỆM VỤ: 31/12/2015

V CÁN BỘ HƯỚNG DẪN: PGS.TS Huỳnh Thái Hoàng

Tp HCM, ngày thảng năm 201

CÁN BỘ HƯỚNG DẪN CHỦ NHIỆM BỘ MÔN Đ À O TẠO

PGS.TS Huỳnh Thái Hoàng TS Trương Đình Châu

TRƯỞNG KHOA ĐIỆN-ĐIỆN TỬ

TS Đỗ Hồng Tuấn

Tôi xin cám ơn cha mẹ và các anh chị em trong gia đình đã động viên và tạo điều kiện giúp tôi vượt qua những khó khăn trong suốt quá trình học tập và nghiên cứu vừa qua Cuối cùng, tôi cũng xin gửi lời cảm ơn đến các bạn học viên, sinh viên vì đã giúp đỡ tôi trong quá trình lấy mẫu và kiểm tra, đánh giá phần mềm của đề tài

TP Hồ Chi Minh, tháng 12/2015

NGUYỄN VĂN DŨNG

2

TÓM TẮT LUẬN VĂN

Luận văn này nghiên cứu và phát triển hệ thống nhận diện mống mắt thông minh dụa trên mạng thần kinh Khối lương luận văn thực hiện gồm 4 nhiệm vụ chính: phân đoạn mống mắt, chuẩn hóa, trích đặc trưng và tạo mạng thần kinh

Phân đoạn mống mắt được thực hiên bằng bộ biến đổi Hough Circle và Hough Line Hough Circle được dùng để tách vòng trong và vòng ngoài mống mắt, Hough Line được dùng để tách mí mắt trên và mí mắt dưới

Chuẩn hóa mống mắt: dùng phương pháp chuẩn hóa Daughman Rubber Sheet để chuẩn hóa mống mắt về hình chữ nhật kích thước 20x240 pixel

Đặc trưng được trích qua 2 bước: bước 1 dùng giải thuật Local Binary Pattern (LBP), bước 2 dùng giải thuật Principal Component Analysis (PCA) để rút gọn kích thước vector đặc trưng

Bộ nhận diện là những mạng thần kinh 2 lớp: 1 lóp vào với 40 tế bào thần kinh, 1 lớp ra với 1 tế bào thần kinh

Luận văn này sử dụng phần mềm Matlab để thực hiện xử lý ảnh và xây dụng mạng thần kinh

ABSTRACT

This thesis researches and develops an intelligent iris recognition system based on neural network The thesis comprises of 4 main parts: iris segmentation, iris normalization, feature exttaction and neural network ttaining

Iris is segmented by using Hough Cừcle and Hough Line Hough Circle is used to exttact inner and outer cừcle of iris Hough Line is used to exttact top and bottom eyelid

Iris normalization: uses Daughman Rubber Sheet method to normalize iris to rectangle with size of 20x240 pixels

Features are extracted through 2 steps: first step uses Local Binary Pattern (LBP) method, second step uses Principle Component Analysis (PCA) to reduce size of

4

LỜI CAM KẾT

Tôi xin cam kết các nội dung lý thuyết trình bày trong luận văn này là do tôi tham khảo các tài liệu và biên soạn lại Phần mềm nhận diện và tất cả các kết quả kiểm tra đánh giá thục nghiệm đều do chính bản thân tôi tự làm ra, hoàn toàn không phải sao chép từ bất kỳ một tài liệu hoặc công trình nghiên cứu nào khác

Nếu tôi không thục hiện đúng các cam kết nêu trên, tôi xin hoàn toàn chịu trách nhiệm truớc kỷ luật của nhà trường cũng như pháp luật Nhà nước

NGUYỄN VĂN DŨNG

5

MỤC LỤC

LỜI CẢM ƠN 1

TÓM TẲT LUẬN VĂN 2

LỜI CAM KÉT 4

DANH MỤC HÌNH ẢNH 7

Chương 1 TỔNG QUAN 11

1.1 Đặt vấn đề 11

1.2 Tổng quan nghiên cứu 12

1.2.1 Phân tích mắt người và ảnh mống mắt 12

1.2.2 Những công trình nghiên cứu liên quan 13

1.3 Mục tiêu đề tài 25

1.4 Sơ lược nội dung luận văn 26

Chương 2 CƠ SỞ LÝ THUYỂT 28

2.1 Giới thiệu về hệ thống xử lý ảnh 28

2.2 Vấn đề cải thiện chất lượng ảnh 31

2.2.1 Cải thiện ảnh dùng toán tử không gian 32

2.3 Phân vùng ảnh 38

2.3.1 Phân vùng ảnh theo ngưỡng biên độ 38

2.3.2 Phân vùng ảnh theo miền đồng nhất 39

2.4 Biến đổi Hough Circle 41

2.5 Biến đổi Hough Parabol 42

2.6 Biến đổi Hough Line 43

2.7 Phương pháp Local Binary Patttem 45

2.8 Phương pháp Principal Component Analysis - PCA 46

2.9 Mạng thần kinh 47

Chương 3 XÂY DỰNG GIẢI THUẬT 49

3.1 Nghiên cứu lý thuyết 49

3.2 Đề xuất giải thuật 50

3.2.1 Thu thập ảnh mẫu và cơ sở dữ liệu 50

3.2.2 Phân vùng mống mắt 54

Chương 4 KÉT QUẢ 76

4.1 Tổng quan phần mềm huấn luyện và nhận diện 76

4.2 Giao diện đồ họa người dùng 77

4.3 Kết quả thực nghiệm 78

6

4.3.1 Kết quả phân đoạn mống mắt 78

4.3.2 Kết quả nhận diện 80

Chương 5 KỂT LUẬN VÀ HƯỞNG PHÁT TRIỂN 82

5.1 Các kết quả đạt được 82

5.2 Hạn chế và hướng phát triển đề tài 83

5.2.1 Hạn chế 83

5.2.2 Hướng phát triển 83

TÀI UỆU THAM KHẢO 85

PHẦN LÝ LỊCH TRÍCH NGANG 87

QUẢ TRÌNH ĐÀO TẠO 87

QUÁ TRÌNH CÔNG TÁC 87

7

DANH MỤC HÌNH ẢNH

Hình 1.1 Cấu trúc các thành phần của mắt 13

Hình 1.2 Hình mổng mẳt và đặc trưng 13

Hình 1.3 Tách con ngươi bằng phương pháp gán nhãn 14

Hình 1.4 Tách vòng ngoài dùng biến đồi Hough Circle 15

Hình 1.5 Dùng hình chữ nhật tìm vùng ảnh con ngươi 15

Hình 1.6 Biên giữa con ngươi và mổng mẳt 16

Hình 1.7 Chuẩn hóa mổng mẳt theo mô hình Daugman 17

Hình 1.8 Mổng mẳt sau khỉ chuẩn hóa 17

Hình 1.9 Các đặc trưng được trích dọc theo các vòng tròn trong mổng mẳt 18

Hình 1.10 Luồng biến đồi Rỉdgelet 20

Hình 1.11 Mầu code nhị phân mổng mẳt sau khỉ dùng biến đổỉ Rỉdgelet 20

Hình 1.12Ăwồng biến đồi Curvelet 21

Hình 1.13 Mầu code nhị phân mổng mẳt sau khỉ dùng biến đổỉ Curvelet 21

Hình 1.14 Lượng tử hóa góc pha thành 4 mức 23

Hình 1.15 Mạng thần kinh với 1 lớp ẩn 24

Hình 1.16 Giải thuật di truyền 25

Hình 2.1 Các bước cơ bản trong xử lý ảnh 29

Hình 2.2 Sơ đồ phân tích và xử lỷ ảnh và lưu đồ thông tin giữa các khổỉ 31

Hình 2.3 Sơ đồ bộ lọc thông cao 36

Hình 2.4 Khải niệm 4 liên thông và 8 liên thông 40

Hình 2.5 Minh họa biến đoi Hough Circle 42

Hình 2.6 Không gian tích lũy biến đoi Hough Circle 42

Hình 2.7 Không giai tích lũy biến đồi Hough Line 45

Hình 2.8 Ví dụ tính Local binary pattern 46

Hình 2.9 Histogram đặc trưng dựa trên LBP 46

Hình 2.10 Mạng thần kinh 47

Hình 3.1 Lưu đồ giải thuật đề xuất 50

Hình 3.2 Hình mổng mẳt được chụp trong nguồn ánh sáng nhìn thẩy và trong vùng ánh sáng hòng ngoại 51

8

Hình 3.3 Thiết bị chụp mổng mẳt IrỉShỉeld™-USB MO 2120 52

Hình 3.4 Hình ảnh mống mẳt của tác giả luận văn được chụp bằng thiết bị IriShỉeld™-USB MO 2120 53

Hình 3.5 Camera OKIIRISPASS-h và hình trong CSDL OKIIRISPASS-h 54

Hình 3.6 Các bước phân vùng mổng mẳt 55

Hình 3.7 Histogram của ảnh mổng mẳt 56

Hình 3.8 Ảnh hưởng nhiễu lông mỉ sau khỉ lấy ngưỡng 57

Hình 3.9 Ảnh nhị phân sau khỉ qua bộ lọc trung vị 58

Hình 3.10 a Hình ảnh gốc I b bản đồ cạnh I c bản đồ cạnh theophương ngang I d bản đồ cạnh theo phương dọc 60

Hình 3.11 Kết quả định vị đồng tử 61

Hình 3.12 Kết quả làm nồi cạnh trước khỉ làm mịn ảnh 62

Hình 3.13 Tác dụng của bộ lọc trung bình 64

Hình 3.14 Kết quả làm nồi cạnh sau khỉ làm mịn ảnh 65

Hình 3.15 Áp dụng biến đồi hough tròn trong bản đồ biên để tìm biên ngoài mổng mat 65

Hình 3.16 Bản đồ biên mổng mẳtphần trên và phần dưới 66

Hình 3.17 Tìm đường thẳng trên hai bản đồ biên bằng biến đổi hough 67

Hình 3.18 Hình ảnh sau khi loại bỏ mí mắt 67

Hình 3.19 Mô hình Daughma Rubber Sheet 68

Hình 3.20 Các pixel được chọn trong mô hình Rubber Sheet 69

Hình 3.21 Chuấn hóa với độ phân giải 10x40 70

Hình 3.22 Hình các pixel được chọn trong quả trình chuấn hóa 71

Hình 3.23 Kết quả chuấn hóa 71

Hình 3.24 Mặt nạ LBP 72

Hình 3.25 Mô hình mạng thần kinh 73

Hình 3.26 Giải thuật Huẩn luyện mạng thần kinh 74

Hình 3.27 Giải thuật nhận diện 75

Hình 4.1 Tổng quan chương trình 76

Hình 4.2 Giao diện đồ họa người dùng 77

Mống mắt là một phần giữa con ngươi và cũng mạc trắng Các kết cấu của mống mắt phức tạp, độc đáo và rất ổn định trong suốt cuộc đời Chúng cung cấp nhiều đặc tính như tàn nhang, vành, sọc, rãnh, tiểu nang Trong cấu trúc mống mắt, hoa văn mống mắt có sự ngẫu nhiên rất cao Đây là những gì làm cho chúng có tính duy nhất Mống mắt là một cơ quan nội tạng được bảo vệ và nó có thể được sử dụng như một dữ liệu nhận dạng hoặc một mật khẩu có tính bảo mật rất cao Từ một tuổi đến khi chết, các hoa văn của mong mắt tương đối ổn định Bởi vì tính độc đáo và tính bất biến của nó, nhận dạng mong mắt là một trong những đặc điểm nhận dạng con người chính xác và đáng tin cậy

Ngày nay công nghệ sinh trắc học đóng vai trò quan trọng trong lĩnh vực an ninh công cộng và an ninh thông tin Mong mắt là một trong những sinh trắc học đáng tin cậy và chính xác, nó đóng một vai trò quan trọng trong việc nhận diện cá nhân Phương pháp nhận dạng mong mắt cung cấp kết quả chính xác trong những hoàn cảnh môi trường khác nhau

Hệ thống sinh trắc học bắt đầu từ việc lấy mẫu đặc trưng như hình quét vân tay, hình chụp mống mắt Những mẫu sau khi lấy sẽ được chuyển thành một khuôn mẫu sinh trắc học bằng cách dùng nhiều hàm toán khác nhau Khuôn mẫu này được chuẩn hóa,

11

trích đặc trưng tiêu biểu cho vật để có thể so sánh với khuôn mẫu khác và đưa ra quyết định nhận dạng Đa số hệ thống sinh trắc học bao gồm hai chế độ hoạt động: chế độ ghi danh và chế độ nhận dạng Chế độ ghi danh cho phép thêm một khuôn mẫu vào cơ sở

dữ liệu Chế độ nhận dạng để kiểm tra một khuôn mẫu mới được tạo thuộc lớp nào trong

❖ Giác mạc (comea) là một màng trong suốt phía trươc cầu mắt

❖ Mống mắt (iris) là cơ điều khiển kích thước của con ngươi (pupil), giống như lỗ

mở ống kính trong một camera cho ánh sáng đi vào

♦♦♦ Mong mắt có chi tiết, họa tiết, màu sắc khác biệt giữa người này với người khác,

do đó có thể được dùng trong sinh trắc học

♦♦♦ Màng cứng mắt (sclera) là bề mặt đai ở phía ngoài của cầu mắt và có màu trắng (tròng trắng) trong ảnh mắt

♦♦♦ Limus là biên giữa tròng trắng và tròng đen

♦♦♦ Đồng tử (pupil) là hình tròn đen bên trong

1.2.2 Những công trình nghiên cứu liên quan

Nhận diện mống mắt là so sánh đạc trưng trích được từ mống mắt vớỉ các đặc trưng được lưu sẵn trong cơ sở dữ liệu

Nhận diện mống mắt là một trong những để tài hấp dẫn được phát triền trong những năm gần đây Đa số các phương pháp nhận diện mống mắt gồm các bước như sau:

13

- Bước 1: Thu thập ảnh

- Bước 2: Phân đoạn ảnh

- Bước 3: Chuẩn hóa

- Bước 4: Trích đặc trưng và mã hóa

Hình 1.3 Tách con ngươi bằng phương pháp gán nhăn

Các pixel này sẽ được gắn nhãn, các pixel kết nối với nhau sẽ được gắn cùng 1 nhãn Sau đó ta sẽ chọn ra nhãn thỏa các thuộc tính là hình tròn và thỏa điều kiện bán kính của con ngươi Tiếp theo để tách được vòng ngoài mống mắt, áp dụng bộ lọc cạnh Canny vào ảnh để làm nổi các cạnh lên Sau đó dùng biến đổi Hough Circle để tìm vòng ngoài mống mắt

14

Hình 1.4 Tách vòng ngoài dùng biến đổi Hough Circle

- Phương pháp hình chữ nhật màu đen [8]

Phương pháp này dùng một hình chữ nhật để tìm ra một vùng trong con ngươi Chia ảnh mống mắt thành nhiều đường ngang đều nhau Dùng hình chữ nhật kích thước 10x10 pixel, bắt đàu quét từ đường ngang chính giữa, quét từ trái sang phải So sảnh giá trị thang xám cảc pixel trong hình chữ nhật này với 1 giá trị ngưỡng, nếu tất cả các pixel này đều nhỏ hơn ngưỡng thì đó là hình chữ nhật đó đã nằm trong vùng con ngươi

Hình 1.5 Dùng hình chữ nhật tìm vùng ảnh con ngươi

Circle Fitting Using

Hough Transform

15

Từ tọa độ hình chữ nhật này, tìm ra các điểm thay đổi thang xám đột ngột theo chiều ngang và chiều dọc, đó chính là biên giữa mống mắt và con ngươi

Hình 1.6 Biên giữa con ngươi và mống mắt

Từ đó ta xác định được tâm và bán kính con ngươi

Trong đó N c - số pixel dọc theo vòng tròn thứ c

Hình 1.9 Các đặc trưng được trích dọc theo các vòng tròn trong mống mắt

Từ các đặc trưng này xây dựng vector đặc trưng và được lưu thành dữ liệu để nhận diện

F c —(X c ,M C ,s c ,d c ),c— l^c (16)

Trong đó: c - số lượng vòng tròn trong vùng mong mắt

x c — mean của vòng trôn thứ c

M c - mode của vòng tròn thứ c

s c - variance của vòng tròn thứ c

1 2VC-1

Ễ(X, C -X C ) 2

i=l

(1.4)

(1.5)

18

d c - standard deviation của vòng tròn thứ c

Sau khi có được vector đặc trưng, dùng Hamming distance để so sánh nhận diện

D(F C,FẠÌ=ŨỸ

Trong đó: Fc - vector đặc trưng cần nhận diện

Fj - vector đặc trưng thứ i trong cơ sở dữ liệu

Phương pháp này đơn giản dễ thực hiện nhung hiệu quả không cao

- Phương pháp biến đổi Ridgelet [2]

Mống mắt sau khi chuẩn hóa sẽ được trích đặc trưng dùng phương pháp biến đổi Ridgelet Biến đổi Ridgelet được giới thiệu bởi Candes và Donoho năm 1999 Phương pháp trích đặc trưng này tương đối phức tạp nhung trích được nhũng đặc trung hiệu quả hơn so với phương pháp thống kê Sau đây là luồng biến đổi Ridgelet

Image -ỳ Fast Fourier Transform 2D -ỳ Invert Fast Fourier Transform ID ->

Wavelet Transform

Hình 1.10 Luồng biến đối Ridgeỉet

Các đặc trưng trích được gồm đặc trưng ngang, đặc trưng dọc, đặc trưng chéo và đặc trưng tổng hợp

Hình 1.11 Mấu code nhị phân mống mắt sau khi dùng biến đối Ridgeỉet

- Phuong pháp biến đổi Curvelet [2]

Các bước làm tương tự như phương pháp trên, chỉ khác là trích đặc trưng dùng biến đổi Curvelet Biến đổi Curvelet cũng được giới thiệu bởi Candes và Donoho năm

20

Hình 1.12 Luồng biến đối Curveỉet

Image -ỳ Wavelet Transform 2D -ỳ Fast Fourier Transform 2D -ỳ Invert Fast Fourier Transform ID -ỳ Wavelet Transform ID

Hình 1.13 Mau code nhị phân mống mắt sau khi dùng biến đối Curveỉet

pJQAMAJ rep IMAGE Hinari frr| hqrrrciilBl Drlail HI

r-jdf HP-H 7-

21

- Phương pháp Local Binary Pattern [14]

Local binary pattern (LBP) được giới thiệu bởi Ojala vào năm 1996, đây là phương pháp đơn giản nhưng hiệu quả trong việc trích xuất đặc trưng dùng cho các bộ phân loại

Ưu điểm của phương pháp này là tính toán đơn giản và thời gian trích đặc trưng nhanh

Vì vậy nó phù hợp cho những ứng dụng yêu cầu thời gian thực Ngoài ra phương pháp này chỉ dựa vào sự so sánh thang xám của pixel trung tâm với 8 pixel xung quanh nó trong liên kết 8, vì vậy nó tránh được ảnh hưởng điều kiện ánh sáng môi trường lên toàn

bộ ảnh

- Phương pháp biến đổi bộ bốn tương quan góc pha [5]

Một phương pháp mới trong trích đặc trưng đó là sử dụng bộ bốn tương quan góc pha Đây cũng là phương pháp hiệu quả trong việc giảm ảnh hưởng điều kiện ánh sáng môi trường lên toàn bộ ảnh Không giống như những phương pháp trích đặc trưng khác (đa số trích đặc trưng dựa trực tiếp giá trị thang xám của các pixel), trong phương pháp này từ giá trị thang xám các pixel được biến đổi sang miền số phức Bộ biến đổi có thể

là Gabor ID, hoặc Gabor 2D, hoặc Log Gabor

22

Hình 1.14 Lượng tử hóa góc pha thành 4 mức

Như vậy mỗi pixel trong ảnh chuẩn hóa sẽ được mã hóa thành 2 bít

d) Các phương pháp nhận diện

- Phương pháp Hamming distance [4]

Đây là phương pháp đơn giản nhưng hiệu quả không cao Trong phương pháp này,

ta tính khoảng cách Hamming giữa đặc trưng cần nhận diện và các đặc trưng trích trước

đó được lưu trong cơ sở dữ liệu Đặc trưng nào có khoảng cách ngắn nhất thì đó là đối tượng cần nhận diện

1

HD = - - = - £ X (XOR)Y(AND^Xn] (AND^Yrij

N-^Xn k (OR)Yn k J '

*=1 (1.8)

- Phương pháp mạng thần kinh và di truyền [6]

Trong nghiên cứu này, tác giả không sử dụng hamming distance mà sử dụng mạng thần kinh và giải thuật di truyền để nhận dạng Sau khi trích được đặc trưng mống mắt, các đặc trưng này sẽ là tín hiệu đầu vào để huấn luyện mạng thần kinh

Sử dụng mạng thần kỉnh 2 lớp, gầm 1 lớp ẩn và 1 lớp ra Các trọng số của mạng thần

23

kỉnh được huấn luyện bằng gỉảỉ thuật di truyền Huấn luyện bằng giải thuật di truyền có

ưu điểm so với các giải thuật huấn luyện khác là thời gian huấn luyện nhanh hơn và kết quả nhận diện chính xác hơn

Hình 1.15 Mạng thần kinh với 1 ỉớp ẩn

Một số nghiên cứu gần đây đã đạt được một số hiệu quả nhất định tuy nhiên còn gặp một vài hạn chế như:

- Chịu nhiều ảnh hưởng điều kiện môi trường

- Thời gian trích đặc trưng lâu

- Phương pháp nhận diện đơn giản mang lại hiệu quả chưa cao

25

Vì vậy, học viên chọn đề tài này với mục tiêu tìm ra phương pháp có sự kế thừa

ưu điểm của những nghiên cứu trước đây, tìm cách biến đổi tối ưu, ứng dụng những phương pháp trích đặc trưng hiệu quả (LBP, PCA) và giải thuật nhận diện thông minh (Neural Network) để đưa ra những phương pháp nhận dạng mống mắt mới đáp ứng được yêu cầu về độ chính xác và thời gian thực

Hệ thống sẽ được phát triển trên nền MATLAB, với phần cứng chụp ảnh mống mắt là thiết bị IriShield của công ty Iritech MATLAB với hộp công cụ xử lý hình ảnh,

và phương pháp lập trình cao cấp giúp tạo ra công cụ kiểm tra thuật toán và tạo ra ứng dụng một các nhanh chóng Để kiểm tra hệ thống, hai bộ dữ liệu hình ảnh mắt sẽ được

sử dụng làm nguyên liệu đầu vào: một cơ sở dữ liệu của hình ảnh mắt CASIA-IrisV4 được tải từ: http://biometrics.idealtest.org/dbDetailForUser.do?id=4, một cơ sở dữ liệu được chính tác giả thu thập từ các bạn sinh viên Bách Khoa Hệ thống nhận dạng mống mắt này được tạo thành bởi một số mô-đun, tương ứng với từng giai đoạn của nhận dạng

mống mắt Các giai đoạn này là phân vùng - định vị các khu vực trong một hình ảnh mống mắt, chuẩn hóa - tạo ra một mẫu đại diện chiều thống nhất của vùng mống mắt,

trích đặc trưng - tạo ra một bản mẫu chỉ chứa những đặc trưng riêng biệt nhất của mống

mắt, training - huấn luyện mạng thần kinh và recognition - đưa ra quyết định một mẫu

thuộc lớp nào trong cơ sở dữ liệu

Đầu vào của hệ thống là 2 tập hình ảnh mắt người: 1 tập chứa mắt người cần nhận dạng, 1 tập chứa mắt người không phải người cần nhận dạng, đầu ra là một mạng thần kinh nhận dạng được mắt người cần nhận dạng và được lưu trong cơ sở dữ liệu Từ đó,

hệ thống có thể tiến hành nhận dạng mống mắt cần kiểm tra

1.4 Sơ lược nội dung luận văn

Nội dung luận văn gồm các chương sau:

Chương 1 Giới thiệu

Giới thiệu sơ lược về nhận diện sinh trắc học, nhận diện mống mắt, tổng quan các công trình nghiên cứu liên quan và từ đó rút ra phương pháp nghiên cứu của đề tài Cuối chương trình bày sơ lược nội dung luận văn

26

Chương 2 Cơ sở lý thuyết

Trình bày sơ lược các lý thuyết xử lý ảnh Chương này cũng trình bày về các phương pháp được dùng trong luận văn để phân đoạn, trích đặc trưng và nhận diện mống mắt

Chương 3 Xây dựng giải thuật

Chương này nói đến giải thuật chương trình Giải thuật phân đoạn đồng tử, mống mắt, loại bỏ mí mắt, lông mi, giải thuật trích đặc trưng kết hợp LBP và PCA, chuẩn hóa,

mô hình huấn luyện mạng thần kinh

Chương 4 Kết quả

Trình bày kết quả đạt được Nêu lên ưu nhược điểm và hướng khắc phục

Chương 5 Kết luận và hướng phát triển

Nhận xét kết quả đạt được Đưa ra hướng phát triển đề tài

Xử lý ảnh được đưa vào giảng dạy ở bậc đại học ở nước ta khoảng chục năm nay

Nó là môn học liên quan đến nhiều lĩnh vực và cần nhiều kiến thức cơ sở khác Đầu tiên phải kể đến xử lý tín hiệu số là một môn học hết sức cơ bản cho xử lý tín hiệu chung, các khái niệm về tích chập, các biến đổi Fourier, biến đổi Laplace, các bộ lọc hữu hạn Thứ hai, các công cụ toán như đại số tuyến tính, xác suất thống kê Một số kiến thứ cần thiết như trí tuệ nhân tạo, mạng thần kinh nhân tạo cũng được đề cập trong quá trình phân tích và nhận dạng ảnh

Để dễ tưởng tượng, xét các bước cần thiết trong xử lý ảnh Đầu tiên, ảnh tự nhiên

từ thế giới ngoài được thu nhận qua các thiết bị thu (như camera, máy chụp ảnh) Trước đây, ảnh thu qua camera là các ảnh tương tự (loại camera ống kiểu CCIR) Gần đây, với

sự phát triển của công nghệ, ảnh màu hoặc đen trắng được lấy ra từ camera, sau đó nó được chuyển trực tiếp thành ảnh số tạo thuận lợi cho xử lý tiếp theo (máy ảnh số hiện nay là một thí dụ gần gũi) Mặt khác, ảnh cũng có thể tiếp nhận từ vệ tinh; có thể quét

từ ảnh chụp bằng máy quét ảnh Hình 2.1 dưới đây mô tả các bước cơ bản trong xử lý ảnh

28

Hình 2.17 Các bước cơ bản trong xử lý ảnh

Sơ đồ này bao gồm cảc thành phần sau:

• Phần thu nhận ảnh

Ảnh có thể nhận qua camera màu hoặc đen trắng Thường ảnh nhận qua camera

là ảnh tương tự, cũng cỏ loại camera đã số hoá Camera thường dùng là loại quét dòng; ảnh tạo ra cố dạng hai chiều Chất lượng một ảnh thu nhận được phụ thuộc vào thiết bị thu, vào môi trường (ánh sáng, phong cảnh )

• Tiền xử lý

Sau bộ thu nhận, ảnh có thể nhiễu độ tương phản thấp nên cần đưa vào bộ tiền xử

lý để nâng cao chất lượng Chức năng chính của bộ tiền xử lý là lọc nhiễu, nâng độ tương phản để làm ảnh rõ hơn, nét hơn

• Phân đoạn hay phân vùng ảnh

Phân vùng ảnh là tách một ảnh đầu vào thành các vùng thành phần để biểu diễn phân tích, nhận dạng ảnh Đây là phần phức tạp khó khăn nhất trong xử lý ảnh và cũng

dễ gây lỗi, làm mất độ chính xác của ảnh Kết quả nhận dạng ảnh phụ thuộc rất nhiều vào công đoạn này

• Biểu diễn ảnh

Đầu ra ảnh sau phân đoạn chứa các điểm ảnh của vùng ảnh (ảnh đã phân đoạn) cộng với mã liên kết với các vùng lận cận Việc biến đổi các số liệu này thành dạng thích hợp là cần thiết cho xử lý tiếp theo bằng máy tính Việc chọn các tính chất để thể hiện ảnh gọi là trích chọn đặc trưng gắn với việc tách các đặc tính của ảnh dưới dạng các thông tin định lượng hoặc làm cơ sở để phân biệt lớp đối tượng này với đối tượng khác trong phạm vi ảnh nhận được

• Cơ sở tri thức

Như đã nói ở trên, ảnh là một đối tượng khá phức tạp về đường nét, độ sáng tối, dung lượng điểm ảnh, môi trường để thu ảnh phong phú kéo theo nhiễu Trong nhiều khâu xử lý và phân tích ảnh ngoài việc đơn giản hóa các phương pháp toán học đảm bảo tiện lợi cho xử lý, người ta mong muốn bắt chước quy trình tiếp nhận và xử lý ảnh theo cách của con người Trong các bước xử lý đó, nhiều khâu hiện nay đã xử lý theo các phương pháp trí tuệ con người

• Mô tả (biểu diễn ảnh)

Ảnh sau khi số hóa sẽ được lưu vào bộ nhớ, hoặc chuyển sang các khâu tiếp theo

để phân tích Neu lưu trữ ảnh trực tiếp từ các ảnh thô, đòi hỏi dung lượng bộ nhớ cục lổn và không hiệu quả theo quan điềm ứng dụng và công nghệ Thông thường, các ảnh thô đó được đặc tả (biểu diễn) lại (hay đơn giản là mã hoá) theo các đặc điểm của ảnh được gọi là các đặc trưng ảnh (Image Features) như: biên ảnh (Boundary), vùng ảnh (Region)

Các mã phân chia thành các vùng con tạo thành một cây phân chia các vùng đồng nhất theo sơ đồ sau:

30

Hình 2.18 Sơ đồ phân tích và xử ìý ảnh và ỉưu đồ thông tín giữa các khối

2.2 Vấn đề cải thiện chất lượng ảnh

Nâng cao chất lượng là bước cần thiết trong xử lý ảnh nhằm hoàn thiện một số đặc tính của ảnh Nâng cao chất lượng ảnh gồm hai công đoạn khác nhau: tăng cường ảnh

và khôi phục ảnh Tăng cường ảnh nhằm hoàn thiện các đặc tính của ảnh như:

- Lọc nhiễu, hay làm trơn ảnh

- Tăng độ tương phản, điều chỉnh mức xám của ảnh

- Làm nổi biên ảnh

Các thuật toán triển khai việc nâng cao chất lượng ảnh hầu hết dựa trên các kỹ thuật trong miền điểm, không gian và tần số Toán tử điểm là phép biến đổi đối với từng điểm ảnh đang xét, không liên quan đến các điểm lân cận khác, trong khỉ đó, toán tử không gian sử dụng các điểm lân cận để quy chiếu tới điểm ảnh đang xét

Một số phép biến đổi có tính toán phức tạp được chuyển sang miền tần số để thực hiện, kết quả cuối cùng được chuyển trở lại miền không gian nhờ các biến đổi ngược

2.2.1 Cải thiện ảnh dùng toán tử không gian

Cải thiện ảnh là làm cho ảnh có chất lượng tốt hơn theo ý đồ sử dụng Thường là ảnh thu nhận có nhiễu cần phải loại bỏ nhiễu hay ảnh không sắc nét bị mờ hoặc cần làm

rõ các chi tiết như đường biên ảnh Các toán tử không gian dùng trong kỹ thuật tăng cường ảnh được phân nhóm theo công dụng: làm trơn nhiễu, nổi biên Đe làm trơn nhiễu hay tách nhiễu, người ta sử dụng các bộ lọc tuyến tính (lọc trung bình, thông thấp) hay

31

lọc phi tuyến (trung vị, giả trung vị, lọc đồng hình) Từ bản chất của nhiễu (thường tương ứng với tần số cao) và từ cơ sở lý thuyết lọc là: bộ lọc chỉ cho tín hiệu có tần số nào đó thông qua do đó, để lọc nhiễu người ta thường dùng lọc thông thấp (theo quan điểm tần số không gian) hay lấy tổ hợp tuyến tính để san bằng (lọc trung bình) Để làm nổi cạnh (ứng với tần số cao), người ta dùng các bộ lọc thông cao, lọc Laplace

Trên thực tế tồn tại nhiều loại nhiễu; tuy nhiên người ta thường xem xét 3 loại nhiễu chính: nhiễu cộng, nhiễu nhân và nhiễu xung:

•Nhiễu cộng thường phân bố khắp ảnh Nếu gọi ảnh quan sát (ảnh thu được) là Xqs, ảnh gốc là Xgốc, nhiễu là T|, ảnh thu được có thể biểu diễn bởi:

•Nhiễu nhân thường phân bố khắp ảnh và ảnh thu được sẽ biểu diễn với công thức:

• Nhiễu xung thường gây đột biến tại một số điểm ảnh

a) Làm trơn nhiễu bằng lọc tuyến tinh', lọc trung bình và lọc dải thông thấp:

1

32

Do có nhiều loại nhiễu can thiệp vào quá trình xử lý ảnh nên cần có nhiều bộ lọc thích hợp Với nhiễu cộng và nhiễu nhân ta dùng các bộ lọc thông thấp, trung bình và lọc đồng hình (Homomorphie); với nhiễu xung ta dùng lọc trung vị, giả trung vị, lọc ngoài (Outlier)

b) Lọc trung bình không gian

Với lọc trung bình, mỗi điểm ảnh được thay thế bằng trung bình trọng số của các điểm lân cận và được định nghĩa như sau:

Một bộ lọc trung bình không gian khác cũng hay được sử dụng Phương trình của

33

thông thấp giống như đã trình bày trên

d) Lọc đồng hình

Kỹ thuật lọc này hiệu quả với ảnh có nhiễu nhân Thực tế, ảnh quan sát được gồm

ảnh gốc nhân với một hệ số nhiễu Gọi X (m, n) là ảnh thu được, X(m, n) là ảnh gốc và

r|(m, n) là nhiễu, như vậy:

X(m, n) = X (m, n) * r|(m, n) Lọc đồng hình thực hiện lấy logarit của ảnh quan

sát Do vậy ta có kết quả sau:

Rõ ràng, nhiễu nhân có trong ảnh sẽ bị giảm Sau quá trình lọc tuyến tính, ta chuyển về ảnh cũ bằng phép biến đổi hàm e mũ

e) Làm trơn nhiễu bằng lọc phi tuyến

Các bộ lọc phi tuyến cũng hay được dùng trong kỹ thuật tăng cường ảnh Trong

kỹ thuật này, người ta dùng bộ lọc trung vị, giả trung vị, lọc ngoài Với lọc trung vị, điểm ảnh đầu vào sẽ được thay thế bởi trưng vị các điểm ảnh còn lọc giả trung vị sẽ dùng trung bình cộng của 2 giá trị “trung vị” (trung bình cộng của max và min)

f) Lọc trung vị

Trung vị được viết với công thức:

V(m,n) = trungvi(y(m-k,n-l)) với {k,l} thuộc w

Kỹ thuật này đòi hỏi giá trị các điểm ảnh trong cửa sổ phải xếp theo thứ tự tăng hay giảm dần so với giá trị trung vị Kích thước cửa số thường được chọn sao cho số điểm ảnh trong cửa số là lẻ Các cửa sổ hay dùng là cửa sổ có kích thước 3x3, hay 5x5 hay 7x7

Tính chất của lọc trung vị:

34

• Lọc trung vị là loại lọc phi tuyến Điều này dễ nhận thấy từ:

Trungvi(x(m)+y(m)) 4- Trungvi(x(m)) + Trungvi(y(m))

• Có lợi cho việc loại bỏ các điểm ảnh hay các hàng mà vẫn bảo toàn độ phân giải

• Hiệu quả giảm khi số điểm trong cửa sổ lớn hay bằng một nửa số điểm trong cửa sổ Điều này dễ giải thích vì trung vị là (Nw+l)/2 giá trị lớn nhất nếu Nw lẻ Lọc trung vị cho trường hợp 2 chiều coi như lọc trung vị tách được theo từng chiều

g) Lọc ngoài

Giả thiết có ngưỡng nào đó cho các mức nhiễu (có thể dựa vào lược đồ xám) Tiến hành so sánh giá trị độ xám của một điểm ảnh với trung bình số học 8 lân cận của nó Nếu sai lệch lớn hơn ngưỡng, điểm ảnh này được coi như nhiễu Trong trường hợp đó, thay thế giá trị của điểm ảnh bằng giá trị trung bình 8 lân cận vừa tính được Bộ lọc ngoài có thể diễn tả bằng công thức sau:

a(w) khi u(m,n) = a(w) u(m,n) #

với a(w) là trung bình cộng các điểm trong lân cận w; ỗ là ngưỡng ngoài

Các cửa sổ tính toán thường chọn là 3x3 Tuy nhiên, cửa sổ có thể mở rộng đến 5x5 hay 7x7 để đảm bảo tính tương quan giữa các điểm ảnh vấn đề quan trọng là xác định ngưỡng để loại nhiễu mà vẫn không làm mất thông tin của ảnh

h) Lọc thông thấp, thông cao và lọc dải thông

Toán tử trung bình không gian là lọc thông thấp Nếu h ư (m,n) biểu diễn bộ lọc

thông thấp FIR (Finite Impulse Response) thì bộ lọc thông cao h ư (m,n) có thể được định

nghĩa:

H ư (m,rì) = ỗ(m, n) - h ư (m,n) Như vậy, bộ lọc thông cao có thể cài đặt một

cách đơn giản như trên hình 2.5 Bộ lọc dải thông có thể định nghĩa như sau:

35

T—• L-oc thòng tliãp - viz -

Hình 2.19 Sơ đồ bộ lọc thông cao

Bộ lọc thông thấp thường dùng làm trơn nhiễu và nội suy ảnh Bộ lọc thông cao dùng nhiều trong trích chọn biên và làm trơn ảnh, còn bộ lọc dải thông có hiệu quả làm nổi cạnh, về biên sẽ được trình bày kỹ trong các phần sau Tuy nhiên, dễ nhận thấy, biên

là điểm có độ biến thiên nhanh về giá trị mức xám theo quan điểm về tần số tín hiệu Như vậy, các điểm biên ứng với các thành phần tần số cao Từ đó, có thể dùng bộ lọc thông cao để cải thiện nhiễu: nghĩa là có thể lọc các thành phần tần số thấp và giữ lại các thành phần tần số cao Vì thế, lọc thông cao thường được dùng làm trơn biên trước khi tiến thành các thao tác với biên ảnh Dưới đây là một số mặt nạ dùng trong lọc thông cao:

Một số nhân chập trong lọc thông cao

Các nhân chập thông cao có đặc tính chung là tổng các hệ số của bộ lọc bằng 1 Nguyên nhân chính là ngăn cản sự tăng quá giới hạn của các giá trị mức xám (các giá trị điểm ảnh vẫn giữ được giá trị của nó một cách gần đúng không thay đổi quá nhiêu với giá trị thực)

36

i) Khuyếch đại và nội suy ảnh

Cố nhiều ứng dụng cần thiết phải phỗng đại một vùng của ảnh Cố nghĩa là lấy một vùng của ảnh đã cho và cho hiện lên như một ảnh lớn Có 2 phương pháp được dùng là lặp (Replication) và nội suy tuyến tính (Linear Interpolation)

• Phương pháp lặp Người ta lấy một vùng của ảnh kích thước MxN và quét theo hàng Mỗi điểm ảnh nằm trên đường quét sẽ được lặp lại 1 lần và hàng quét cũng được lặp lại 1 lần nữa Như vậy, ta thu được ảnh với kích thước 2Nx2N Điều này tương đương với việc chèn thêm một hàng 0 và 1 cột 0 rồi chập với mạt nạ H Mặt nạ H

• Phương pháp nội suy tuyến tính Giả sử cỏ một ma trận điềm ảnh Theo phương pháp nội suy tuyến tính, trước tiên, hàng được đặt vào giữa cảc điểm ảnh theo hàng Tiếp sau, mỗi điểm ảnh dọc theo cột được nội suy theo đường thẳng Thí dụ, với mức độ khuyếch đại 2x2, nội suy tuyến tính theo hàng sẽ được tính theo công thức:

Vùng ảnh là một chi tiết, một thục thể trông toàn cảnh Nó là một tập hợp các điểm

có cùng hoặc gần cùng một tính chất nào đó: mức xám, mức màu, độ nhám Vùng ảnh

là một trong hai thuộc tính của ảnh Nói đến vùng ảnh là nói đến tính chất bề mặt Đuờng bao quanh một vùng ảnh (Boundary) là biên ảnh Các điểm trong một vùng ảnh có độ biến thiên giá trị mức xám tuong đối đồng đều hay tính kết cấu tuơng đồng

Dụa vào đặc tính vật lý của ảnh, nguời ta có nhiều kỹ thuật phân vùng: phân vùng dựa theo miền liên thông gọi là phân vùng dựa theo miền đồng nhất hay miền kề; phân vùng dựa vào biên gọi là phân vùng biên Ngoài ra còn có các kỹ thuật phân vùng khác dựa vào biên độ, phân vùng dựa theo kết cấu

2.3.1 Phân vùng ảnh theo ngưỡng biên độ

Các đặc tính đom giản, cần thiết nhất của ảnh là biên độ và các tính chất vật lý như: độ tưomg phản, độ truyền sáng, màu sắc hoặc đáp ứng phổ Như vậy, có thể dùng ngưỡng biên độ để phân vùng khi biên độ đủ lớn đặc trưng cho ảnh

2.3.2 Phân vùng ảnh theo miền đồng nhất

Kỹ thuật phân vùng ảnh thành các miền đồng nhất dựa vào các tính chất quan trọng nào đó của miền ảnh Việc lựa chọn các tính chất của miền sẽ xác định tiêu chuẩn phân vùng Tính đồng nhất của một miền ảnh là điểm chủ yếu xác định tính hiệu quả của việc phân vùng Các tiêu chuẩn hay được dùng là sự thuần nhất về mức xám, màu sắc đối với ảnh màu, kết cấu sợi và chuyển động