Báo cáo đề xuất phương pháp truy tìm ảnh mặt người trên video

Báo cáo đề xuất phương pháp truy tìm ảnh mặt người trên video

Kiều Anh Dũng – Nguyễn Thanh Liêm- Trần Nguyễn Văn Đoài

Trình bày báo cáo NCKH

Nội dung của NCKH được tổ chức và trình bày trong 6 chương:

Chương 0: Mở đầu: Giới thiệu về đề tài

Chương 1: Tổng quan về bài toán nhận dạng mặt người và các cách tiệp cận.Chương 2:Dò tìm khuôn mặt trong ảnh

Chương 3: Trích chọn đặc trưng cho ảnh khuôn mặt

Chương 4:Nhận dạng ảnh khuôn mặt

Chương 5: Ứng dụng thử nghiệm

Chương 6: Đánh giá và hướng phát triển

Mục lục

Danh sách các hình 7

Danh sách các bảng 11

Chương 0: Giới thiệu 12

Chương 1 Tổng quan về bài toán nhận dạng mặt người 15

1.1 Một số ứng dụng của bài toán nhận dạng mặt người trong thực tế: [2] 15

1.2 Những khó khăn đề ra trong bài toán nhận dạng mặt người 16

1.3 Đề xuất mô hình giải quyết ứng với từng khâu của bài toán nhận dạng mặt người 17

1.3.1 Mô hình tổng quát của bài toán nhận dạng mặt người: 17

1.3.2 Các công trình nghiên cứu về phương pháp dò tìm và nhận dạng khuôn mặt: 17

1.3.3 Hướng tiếp cận trong luận văn để giải quyết bài toán nhận dạng khuôn mặt: 20

Chương 2: Dò tìm khuôn mặt trong ảnh 22

2.1 Bài toán: 22

2.2 Đề xuất phương pháp: 22

2.2.1 Các phương pháp đã được thực hiện [1][3][12][27]: 22

2.2.2 Phương pháp đề xuất trong luận văn: 23

2.3 Các kết quả thực nghiệm của từng phương pháp: 23

2.3.1 Cơ sỡ dữ liệu thử nghiệm: 23

2.3.2 Các kết quả thực nghiệm: 25

2.4 Kết luận: 26

Chương 3 Trích chọn đặc trưng cho ảnh mặt người 27

3.1 Bài toán: 27

3.2 Đề xuất phương pháp: 27

3.2.1 Các phương pháp đã được thực hiện [3][6][12]: 27

3.2.2 Phương pháp đề xuất trong luận văn: 30

3.3 Các kết quả thực nghiệm của từng phương pháp: 36

3.3.1 Cơ sở dữ liệu thử nghiệm chuẩn nước ngoài : 36

3.3.2 Kết quả : 36

3.3.3 Cơ sở dữ liệu tự tạo: 41

3.3.4 Kết quả : 41

3.4 Kết luận: 43

Chương 4 : Nhận dạng mặt người 44

4.1 Bài toán : 44

4.2 Các phương pháp : 44

4.2.1 Nhận dạng bằng phương pháp SVM [3][6][12][phụ lục A.5]: 44

4.2.2 Nhận dạng bằn phương pháp mạng Nơron [6] [phụ lục A.6] 46

4.3 Các kết quả thực nghiệm của từng phương pháp nhận dạng: 48

4.3.1 Cơ sở dữ liệu thử nghiệm chuẩn nước ngoài : 48

4.3.2 Kết quả : 48

4.3.3 Cơ sở dữ liệu trong nước tự tạo: 51

4.3.4 Kết quả: 51

4.4 Kết luận: 53

Chương 5: Ứng dụng thử nghiệm: Truy tìm đối tượng trong video 54

5.1 Giới thiệu bài toán: 54

5.2 Chương trình ứng dụng: 54

5.2.1 Xây dựng cơ sở dữ liệu cho ứng dụng: 54

5.2.2 Mô hình nhận dạng trong ứng dụng thử nghiệm: 55

5.2.3 Tiền xử lý: 56

5.2.4 Sử dụng ICA rút trích đặc trưng cho khuôn mặt, mắt trái, mắt phải, miệng 57

5.2.5 Sử dụng mạng Nơron cho quá trình nhận dạng: 58

5.3 Báo cáo kết quả: 58

5.4 Kết luận chương 5: 59

Chương 6 : Đánh giá và hướng phát triển 60

6.1 Đánh giá: 60

6.2 Hướng phát triển: 61

6.3 Kết luận: 61

Phụ lục: 62

A.1 Các Khái Niệm Toán Học Liên Quan Đến PCA và ICA 62

A.1.1 Trị riêng (eigenvalue) và véc tơ riêng (eigenvector):[7] 62

A.1.2 Kỳ vọng, phương sai,hiệp phương sai, ma trận hiệp phương sai [8][9] 64

A.1.2.1 Kỳ vọng: 64

A.1.2.2 Phương sai: 64

A.1.2.3 Hiệp phương sai: 65

A.1.2.4 Ma trận hiệp phương sai: [9] 65

A.1.3 Độc lập thống kê và phi tương quan: 66

A.1.3.1 Độc lập thống kê 66

A.1.3.2 Phi tương quan chỉ là một phần của độc lập: 66

A.2 Phương pháp AdaBoost [1][11][12][13][14] 67

A.2.1 Tiếp cận Boosting 67

A.2.2 AdaBoost (Adaptive Boost) 68

A.2.3 Cách trích chọn đặc trưng cho AdaBoost 75

A.2.4 Cascade of Classifiers: 77

A.2.5 Cascade of Boosted Classifiers 78

A.3 Phương pháp Phân Tích Thành Phần Chính (Principal Component Analysis - PCA)[3] [6][9] 79

A.3.1 Mục đích, ý nghĩa: 79

A.3.2 Phương pháp: 79

A.3.3 Giảm số chiều của không gian đặc trưng: 80

A.3.4 Áp dụng phân tích thành phần chính trong rút trích đặc trưng ảnh: 81

A.4 Phương pháp Phân tích thành phần độc lập (Independent Component Analysis - ICA) [10][15][20][21][22][23] 85

A.4.1 Giới thiệu tổng quan: 85

A.4.2 Động lực thúc đẩy sự phát triển của ICA: 86

A.4.3 Mô hình ICA cơ bản: 88

A.4.4.Các bất định trong mô hình ICA: 89

A.4.5 Các giả sử trong mô hình ICA: 90

A.4.6 Minh họa ICA: 90

A.4.7 Các nguyên tắc chính của ước lượng ICA: 93

A.4.7.1 Phi Gauss là độc lập: 93

A.4.7.2 Các độ đo tính phi Gauss: 94

A.4.7.2.1 Kurtosis: 94

A.4.7.2.2 Negentropy: 96

A.4.8 Tiền xử lý cho ICA: 98

A.4.8.1 Qui tâm: 98

A.4.8.2 Trắng hóa: 98

A.4.9 Thuật toán FastICA:[16] 100

A.4.9.1 FastICA cho một đơn vị (FastICA for one unit): 100

A.4.9.2 FastICA cho nhiều đơn vị (FastICA for several units): 101

A.4.10 ICA cho ứng dụng rút trích đặc trưng: [17][18] [19] 102

A.4.10.1 Tổ chức dữ liệu: 102

A.4.10.2 Kiến trúc 1: 103

A.4.10.3 Kiến trúc 2: 105

A.4.11 Các so sánh về mặt lý thuyết giữa ICA và PCA [18]: 109

A.4.11.1 So sánh PCA và ICA: 109

A.5 Support vetor Machine (SVM) [1][2][3][24] 110

A.5.1 SVM tuyến tính 110

A.5.2 SVM phi tuyến 114

A.5.3 SVM trong trường hợp có nhiều phân lớp 115

A.6 Cơ sở lý thuyết mạng nơron [25] 115

A.6.1 Mở đầu: 115

A.6.2 Mạng Nơron nhân tạo (Artificial Neural network - ANN) 116

A.6.2.1 Mô hình tổng quát của một Nơron nhân tạo 117

A.6.2.1.1 Định nghĩa Nơron nhân tạo 117

A.6.2.1.2 Hoạt động xử lý thông tin của một Nơron [1] 118

A.6.2.1.3 Các biến đổi toán học trong Nơron 119

A.6.2.1.4 véc tơ tham số [25] 120

A.6.2.1.5 Ánh xạ phi tuyến 121

A.6.2.2 Các cấu trúc mạng Nơron nhân tạo: 122

A.6.2.3 Các luật học 125

A.6.2.4 Hàm truyền: 131

A.6.2.5 Các loại liên kết trọng nơron: 134

A.6.3 Mạng nơron RBF: [26][27][28] 135

A.6.3.1 Cấu trúc mạng RBF : 135

A.6.3.2 Hoạt động : 138

A.6.4 Mạng lan truyền thẳng ba lớp và thuật giải lan truyền ngược [25]: 140

A.6.4.1 Mạng truyền thẳng ba lớp: 140

A.6.4.2 Thuật giải lan truyền ngược với luật học tổng quát delta: [25] 141

B Một số thuật toán chính, cài đặt và hướng dẫn sử dụng 143

B.1 Một số thuật toán chính: 143

B.1.1 Thuật toán hiển thị Video lên khung hiển thị 143

B.1.2 Thuật toán Giải mã Video đầu vào 144

B.1.3 Thuật giải lan truyền ngược: 144

B.1.4 Thuật toán SVM nhiều lớp: 147

B.2 Cài đặt: 148

B.3 Hướng dẫn sử dụng: 149

B.3.1 Màn hình chính: 149

B.3.2 Chức năng nhận dạng trên video: 150

B.3.3 Chức năng huấn luyện cho mạng Nơron: 152

B.3.4 Chức năng Read Data (load data trained): 153

B.3.5 Chức năng nhận dạng các ảnh trong thư mục: 154

B.3.6 Chức năng nhận dạng trên ảnh tĩnh: 155

Tài liệu tham khảo: 156

Danh sách các hình

Hình 1.3.1 – 1 : Mô hình tổng quát của bài toán nhận dạng mặt người 17

Hình 2.2.1 – 1 : Sơ đồ hệ dò tìm khuôn mặt bằng AdaBoost – NN 22

Hình 2.2.2 – 1 : Minh hoạ hệ dò tìm khuôn mặt bằng AdaBoost-Adaboost 23

Hình 2.3.1 – 1 : Một số ảnh có mặt người trong tập mẫu huấn luyện 24

Hình 2.3.1 – 2 : Một số ảnh không chứa mặt người trong tập mẫu huấn luyện 24

Hình 2.3.1 – 3 : Ví dụ về ảnh ngược sáng 24

Hình 2.3.1 – 4: Ví dụ về ảnh bị che khuất thành phần quan trọng 25

Hình 2.3.1 – 5 : Ví dụ về ảnh có cảm xúc đặc biệt 25

Hình 2.3.2 – 1 : So sánh các phương pháp detect + chứng thực khuôn mặt 26

Hình 3.2.1 – 1 : Hướng của véc tơ riêng 27

Hình 3.2.1 – 2 : Minh hoạ phát hiện vị trí mắt, miệng trên khuôn mặt 28

Hình 3.2.1 – 3 : Minh hoạ kiểu kết hợp toàn cục và bộ phận 29

Hình 3.2.2 – 1 : Sự phân phối dữ liệu trong không gian 3 chiều và các trục tương ứng của PCA và ICA 32

Hình 3.2.2 – 2 : véctơ đặc trưng cho mỗi kĩ thuật.PCA, ICA1, ICA2 32

Hình 3.2.2 – 3 :minh họa kiến trúc 1 trong mô hình ICA 33

Hình 3.2.2 – 4 :minh họa kiến trúc 2 trong mô hình ICA 34

Hình 3.2.2 – 5 :Mô hình tổng hợp ảnh cho kiến trúc 2 của ICA 34

Hình 3.2.2 -6 :Mô hình tổng hợp ảnh cho kiến trúc 2 của ICA trên pixel 35

Hình 3.3.2 – 1 :Biểu đồ kết quả thử nghiệm hai phương pháp rút trích đặc trưng PCA – ICA trên bộ dữ liệu CalTech 38

Hình 3.3.2 – 2: Các ảnh với phương pháp rút trích PCA bị nhận dạng sai với bộ dữ liệu nước ngoài 39

Hình 3.3.2 – 3 : Các ảnh với phương pháp rút trích ICA bị nhận dạng sai với bộ dữ liệu nước ngoài 40

Hình 3.3.3 – 1 : Một số ảnh quay phải, trái, quá tối hoặc độ sáng không đồng đều trên khuôn mặt trong tập ảnh tự tạo 41

Hình 3.3.4 – 1 :Biểu đồ kết quả thử nghiệm hai phương pháp rút trích đặc trưng PCA – ICA

trên bộ dữ liệu tự tạo 43

Hình 3.3.4 – 2 : Các ảnh với phương pháp rút trích PCA bị nhận dạng sai với bộ dữ liệu tự tạo .43

Hình 4.2.1 – 1 :Sơ đồ hệ thống nhận dạng mặt người dùng SVM 44

Hình 4.2.2 – 1 :Sơ đồ hệ thống nhận dạng mặt người dùng mạng Nơron 46

Hình 4.3.2 – 1 : Biểu đồ kết quả thử nghiệm hai phương pháp nhận dạng SVM và NN trên .51 bộ dữ liệu nước ngoài 51

Hình 4.3.4 - 1 :Biểu đồ kết quả thử nghiệm hai phương pháp nhận dạng SVM và NN 53

trên bộ dữ liệu trong nước 53

Hình 5.2.1 – 1 : Một số ảnh train trong ứng dụng 54

Hình 5.2.1 – 2 : Một số ảnh test trong ứng dụng 55

Hình 5.2.1 – 3 : 1 đoạn Video trong ứng dụng 55

Hình 5.2.3 – 1 : Sơ đồ quá trình tách frame từ video 57

Hình A.2.2 – 1 : Strong classifier H(x) được xây dựng bằng AdaBoost 69

Hình A.2.2 - 2: Ví dụ minh hoạ sự kết hợp của 3 phân lớp tuyến tính 70

Hình A.2.3 - 1 : Các đặc trưng Haar-like cơ sở 75

Hình A.2.3 - 2: Các miền hình học đặc trưng Haar – like 75

Hình A.2.3 - 3: Ý nghĩa hình học của đạo hàm ảnh 76

Hình A.2.3 - 4: Cách tính giá trị một ô đặc trưng 76

Hình A.2.3 - 5: Dò tìm bàn tay bằng đặc trưng Haar – like 77

Hình A.2.3 - 6: Dò tìm khuôn mặt bằng đặc trưng haar – like 77

Hình A.2.4 - 1: Cascade Classifier 78

Hình A.3.3 - 1 Hướng của véc tơ riêng 81

Hình A.4.2 - 1: Hai tín hiệu nguồn, hai tín hiệu trộn 87

Hình A.4.3 - 1: Các kí hiệu trong ICA 88

Hình A.4.6 - 1: Phân bố kết hợp của hai thành phần độc lập s1, s2 có phân bố đồng nhất 91

Hình A.4.6 - 2: Phân bố kết hợp của các trộn lẫn x1, x2 92

Hình A.4.6 - 3: Phân phối kết hợp của hai biến Gauss 92

Hình A.4.7.2.1 - 1: Hàm mật độ của phân phối Laplace 95

Hình A.4.10.2 - 1:Minh họa kiến trúc 1 trong mô hình ICA 103

Hình A.4.10.2 - 2: véctơ đặc trưng cho mỗi kĩ thuật PCA, ICA1, ICA2 104

Hình A.4.10.2 - 3:Mô hình tổng hợp ảnh cho kiến trúc 1 của ICA 105

Hình A.4.10.3 - 1:minh họa kiến trúc 2 trong mô hình ICA 106

Hình A.4.10.3 - 2:Mô hình tổng hợp ảnh cho kiến trúc 2 của ICA 107

Hình A.4.10.3 - 3:Mô hình tổng hợp ảnh cho kiến trúc 2 của ICA trên pixel 108

Hình A.4.11.1- 2 Sự phân phối dữ liệu trong không gian 3 chiều và các trục tương ứng của PCA và ICA 110

Hình A.5.1 - 1 : Siêu mặt phân cách tuyến tính cho trường hợp phân cách được và 111

kí hiệu các support véc tơr chính là các điểm được bao bằng viền tròn 111

Hình A.6.1-1: Mô hình một Nơron thần kinh 116

Hình A.6.2.1 - 1: Mô hình Nơron nhân tạo 117

Hình A.6.2.1.1 - 1: Mô hình toán học tổng quát của một Nơron 118

Hình A.6.2.1.3 - 1: Các xử lý tương đương trong một Nơron 119

Hình A.6.2.1.4 - 1: Hoạt động tính toán của Nơron 121

Hình A.6.2.2 - 1: Năm sơ đồ liên kết cơ bản của mạng Nơron 124

Hình A.6.2.2 - 2: Liên kết bên trong của phản hồi 125

Hình A.6.2.3 - 1: Ma trận trọng số nối kết 126

Hình A.6.2.3 - 2 : Học có giám sát 127

Hình A.6.2.3 - 3 : Học tăng cường 127

Hình A.6.2.3 - 4: Học không giám sát 128

Hình A.6.2.3 - 5: Luật học phát sinh trọng số 130

Hình A.6.2.4 - 1: Một số dạng hàm dùng trong ánh xạ từ đầu vào -> đầu ra 132

Hình A.6.2.5 – 1 : Các loại liên kết của Nơron 134

Hình A.6.3.1 - 1 : Cấu hình mạng RBF tiêu biểu 136

Hình A.6.3.1 - 2 : Những tập phân lớp trong không gian 2 chiều 138

HìnhA.6.3.1 - 3 : Ánh xạ các tập phân lớp lên neuron RBF 138

Hình A.6.4.1-1: Minh họa mạng lan truyền thẳng ba lớp 140

Hình B.3.1 – 1: Giao diện chính của chương trình 149

Hình B.3.2 -1: Màn hình minh họa chức năng test trên video 150

Hình B.3.2 – 2 : Giao diện của chương trình khi hoạt động 151

Hình B.3.3 – 1 : Màn hình tham số huấn luyện cho mạng nơron 152

Hình B.3.4 -1 : Màn hình đọc dữ liệu đã huấn luyện 153

Hình B.3.5 – 1: Màn hình test thư mục 154

Hình B.3.6 – 1 : Màn hình nhận dạng trên ảnh tĩnh 155

Danh sách các bảng

Bảng 2.3.2 – 1 : So sánh các phương pháp phát hiện + chứng thực khuôn mặt 25

Bảng 3.3.2 – 1 : Kết quả so sánh PCA và ICA trên bộ dữ liệu CalTech 37

Bảng 3.3.4 – 1 : Kết quả so sánh PCA và ICA trên bộ dữ liệu trong nước 42

Bảng4.3.2 – 1 : Thời gian huấn luyện SVM và NN bộ dữ liệu nước ngoài 49

Bảng 4.3.2 – 2 : Thời gian nhận dạng thư mục test nước ngoài bằng SVM và NN 49

Bảng 4.3.2 – 3 : Kết quả so sánh nhận dạng SVM và NN trên bộ dữ liệu nước ngoài 50

Bảng 4.3.4 - 1: Thời gian huấn luyện SVM và NN bộ dữ liệu trong nước 51

Bảng 4.3.4 - 2: Thời gian nhận dạng thư mục test trong nước bằng SVM và NN 51

Bảng 4.3.4 - 3: Kết quả so sánh SVM và NN trên bộ dữ liệu trong nước 52

Bảng 5.3-1 : Kết quả nhận dạng trên ảnh tĩnh 58

Bảng A.2.2 – 1 : Thuật toán AdaBoost 71

Bảng A.2.2 – 2 : Một phiên bản khác của thuật toán AdaBoost 74

Bảng A.6.2.4 – 1 : Một số hàm truyền thông dụng trong mạng Nơron 133

Chương 0: Giới thiệu

Mở đầu, chúng tôi sẽ trình bày về hiện trạng thực tế và cách tiếp cận của đề tài:

Những năm gần đây, bài toán nhận dạng đã được rất nhiều tác giả quan tâm và đềxuất nhiều phương pháp giải khác nhau Tuy nhiên độ chính xác của các phương phápchưa cao, các kết quả chứng thực chưa tốt

Dưới đây tổng kết một số phương pháp trong và ngoài nước đã tiến hành:

 Nước ngoài [3]:

 Dùng phương pháp SVM để nhận dạng khuôn mặt, sử dụng chiếnlược kết hợp nhiều bộ phân loại nhị phân để xây dựng bộ phân loại đalớp

 Sử dụng phương pháp PCA kết hợp LDA (phân tích độc lập tuyếntính) Bước 1, chiếu ảnh khuôn mặt từ không gian ảnh thô sang cáckhông gian khuôn mặt (Mỗi lớp khuôn mặt được nhận dạng sẽ được

mô hình hóa bằng một không gian khuôn mặt) dùng PCA Bước 2, sửdụng phương pháp LDA để tạo bộ phân loại tuyến tính có khả năngphân lớp các lớp khuôn mặt

 Sử dụng phương pháp mạng Neural nhân tạo để xử lý và nhận dạngkhuôn mặt

 Trong nước:

 Nhận dạng mặt người dựa vào thông tin dựa vào thông tin khuôn mặtxuất hiện trên ảnh Sử dụng phương pháp SVM và HMM [2]

 Nhận dạng mặt người dựa trên FSVM và AdaBoost [1]

 Đề xuất phương pháp rút trích đặc trưng hình học (phát hiện mắt,miệng) cho bài toán nhận dạng mặt người [3]

Ở giai đoạn dò tìm khuôn mặt phần lớn chỉ áp dụng phương pháp Adaboost, tuynhiên phương pháp Adaboost có nhược điểm là phát hiện ra đôi khi sai ảnh khuôn mặt

Có nhiều phương pháp chứng thực lại ảnh khuôn mặt sau khi được phát hiện bởiAdaboost, trong luận văn chúng tôi so sánh các phương pháp đã được thực hiện làAdaboost, Adaboost + NN, Adaboost + RBF và đề xuất của chúng tôi là Adaboost +Adaboost.

Sau khi dò tìm được khuôn mặt, phương pháp trích chọn đặc trưng truyền thốngđược sử dụng là phương pháp chia ô lưới thông thường, hoặc phương pháp PCA, tuynhiên các phương pháp này còn có những yếu điểm vì vậy chúng tôi áp dụng phươngpháp rút đặc trưng mới ICA Sau đó, quá trình phân lớp sẽ được thực hiện bằngphương pháp SVM, Mạng Nơron và so sánh kết quả của hai phương pháp phân lớpnày Sau đó, từ các kết quả lý thuyết và thực nghiệm chúng tôi lựa chọn ra phươngpháp tốt nhất trong từng giai đoạn để tạo thành một hệ thống tối ưu

Hệ thống đề xuất cũng được kiểm chứng thông qua một ứng dụng thực tế: truy tìm đốitượng trong video Cụ thể, bài toán có thể phát biểu ngắn gọn như sau: Cho trước mộtCSDL ảnh mặt người các đối tượng cần truy tìm và một đoạn video quay lại khu vựccần kiểm soát Vấn đề đặt ra là: xây dựng hệ thống truy tìm tự động trả lời câu hỏi: ảnhmặt nguời các đối tượng cần truy tìm có xuất hiện trong đoạn video đã quay haykhông? Bài toán này được áp dụng rộng rãi cho nhiều lĩnh vực khác nhau: Phát hiệnkhủng bố, ngăn chặn truy cập bất hợp pháp, …

Đó chính là nội dung đề tài khóa luận của chúng tôi: “Đề xuất phương pháp truy tìmảnh mặt người trên video”

Về nội dung, luận văn tập trung vào các vấn đề sau:

 Tìm hiểu cơ sở lý thuyết áp dụng cho bài toán nhận dạng: AdaBoost, PCA,ICA, SVM, Mạng Nơron

 Dò tìm và chứng thực khuôn mặt: Adaboost, Mạng Nơron truyền thẳng balớp, mạng nơron RBF

 Áp dụng phương pháp trích chọn đặc trưng mới ICA

 Chuẩn bị cơ sở dữ liệu riêng cho ứng dụng: bộ dữ liệu chuẩn nước ngoài và

Chương 1 Tổng quan về bài toán nhận dạng mặt người

1.1 Một số ứng dụng của nhận dạng biển số xe trong thực tế:

1.3.1 Mô hình tổng quát của bài toán nhận dạng mặt người:

Hình 1.3.1 – 1 : Mô hình tổng quát của bài toán nhận dạng biển số xe

1.3.2 Các công trình nghiên cứu về phương pháp dò tìm và nhận dạng khuônmặt:

Bài toán nhận dạng biển số xe cần xác định bốn vấn đề chính:

Ngoài nước:

 Wenyi Zhao, Arvindh Krishnaswamy, Rama Chellappa, Danie L.Swets, John Weng(1998) sử dụng phương pháp PCA (phân tích thành phần chính) kết hợp LDA(phân tích độc lập tuyến tính) Bước 1, chiếu ảnh khuôn mặt từ không gian ảnh thôsang không gian các không gian khuôn mặt (Mỗi lớp khuôn mặt được nhận dạng sẽđược mô hình hóa bằng mộtkhông gian khuôn mặt) dùng PCA Bước 2, sử dụngphương pháp LDA để tạo bộ phân loại tuyến tính có khả năng phân lớp các lớpkhuôn mặt

 John Daugnman (1998) , đưa ra phương pháp dùng đặc trưng về tròng của mắt đểphân biệt cặp (trai/gái) song sinh

 Emmanuel Viennet và Francoise Fogelman Soulie (1998) , sử dụng phương phápmạng neural nhân tạo để xử lý và nhận dạng khuôn mặt

 Antonio J.Colmenarez và Thomas S.Huang (1998), sử dụng kỹ thuật học thị giác vàphù hợp mẫu 2-D Ông quan niệm bài toán dò tìm khuôn mặt là thao tác phân loạikhuôn mặt trong đó khuôn mặt thuộc về một lớp và các đối tượng khác thuộc vềlớp còn lại bằng cách ước lượng mô hình xác suất cho mỗi phân lớp, và việc dòtìm sử dụng luật quyết định Maximum-likelihood

 Kazunori Okada, Johannes Steffens, Thomas Maurer, Hai Hong, Egor Elagin,Hartmut Neven, and Christoph (1998), nhận dạng khuôn mặt dựa vào sóng Gabor

và phương pháp phù hợp đồ thị bó Với ý tưởng dùng đồ thị để biểu diễn khuônmặt, ảnh khuôn mặt được đánh dấu tại các vị trí đã được xác định trước trên khuônmặt, gọi các vị trí này chính là các vị trí chuẩn Khi thực hiện thao tác so khớp đồthị với một ảnh, các điểm chuẩn (Jets) sẽ trích ra từ ảnh và so sánh các điểm chuẩnnày với tất cả các điểm chuẩn tương ứng trong các đồ thị khác nhau, và đồ thị nàophù hợp nhất với ảnh sẽ được chọn

 Baback Moghaddam và Alex Pentland (1998) , đưa ra phương pháp phù hợp thị

giác trực tiếp từ các ảnh cần sử dụng cho mục đích nhận dạng khuôn mặt và dùng

độ đo xác suất để tính độ tương tự

 Massimo Tistaelli và Enrico Grosso (1998), đưa ra kỹ thuật thị giác động Vì khảnăng quan sát các chuyển động của khuôn mặt và xử lý các tính huống theo dự định

là thông tin rất quan trọng, từ đó nhận được mô tả đầy đủ hơn về khuôn mặt chomục đích thu thập mẫu và nhận dạng

 Jeffrey Huang, Chengjun Liu, và Harry Wechsler (1998), đề xuất thuật toán căn cứtrên tính tiến hóa (Evolutionary computation) và di truyền (Genetic) cho các tác vụnhận dạng khuôn mặt Đối với cách tiếp cận này, hai mắt sẽ được dò tìm trước tiên

và thông tin này được xem là vết để quan sát khuôn mặt, trình xử lý dò tiếp mắtbằng cách sử dụng một thuật toán lai để kết hợp thao tác học và tiến hóa trong quátrình học

 Daniel Bgraham và Nigel M Allinson (1998), sử dụng phương pháp được gọi là tạobản sao không gian đặc trưng để biểu diễn và nhận dạng hướng di chuyển củakhuôn mặt

 Ara V.Nefian và Monson H.Hayes III (1998) trình bày hướng tiếp cận theo môhình mô hình Markov ẩn (HMM) trong đó ảnh mẫu khuôn mặt được lượng hóathành chuỗi quan sát trên khuôn mặt theo quan niệm dựa trên thứ tự xuất hiện cácđặc trưng khuôn mặt {hai chân mày, hai lông mi, mũi, miệng, cằm} Trong chuỗiquan sát đó, mỗi quan sát lại là một vector nhiều chiều và mỗi vector quan sát nàyđược sử dụng để đặc trưng cho mỗi trạng thái trong chuỗi trạng trạng thái củaHMM Mỗi người được ước lượng bằng một mô hình của HMM

 Guodong Guo, Stan Z.Li, Kap Luk Chan (17 January 2001), dùng phương phápSVM để nhận dạng khuôn mặt Sử dụng chiến lược kết hợp nhiều bộ phân loại nhịphân để xây dựng bộ phân loại SVM đa lớp

Trong nước:

 Trần Phước Long, Nguyễn Văn Lượng (Luận văn cử nhân tin học, ĐH KHTN

TP.HCM, 7/2003) , nhận dạng khuôn mặt dựa vào các thông tin xuất hiện trên ảnhbằng SVM và HMM.

 Lu Buon Vinh, Hoàng Phương Anh (Luận văn cử nhân tin học, ĐH KHTNTP.HCM, 7/2004) , nhận dạng mặt người dựa trên FSVM và AdaBoost

 Nguyễn Anh Tuấn (Luận văn cử nhân tin học, ĐH KHTN TP.HCM 7/2004), khảosát ứng dụng của tập thô trong lựa chọn và rút gọn đặc trưng cho bài toán nhậndạng mặt người

 Lê Minh Trí – Nguyễn Thúy Hằng (2006) [3], Đề xuất phương pháp trích chọn đặctrưng mới cho bài toán nhận dạng mặt người, Luận văn Cử nhân CNTT Trường ĐạiHọc KHTN TPHCM

1.3.3 Hướng tiếp cận trong luận văn để giải quyết bài toán nhận dạng khuônmặt:

- Giải quyết bài toán nhận dạng mặt người là giải quyết một bài toán lớn, trongbài toán này người ta phải giải quyết bốn bài toán nhỏ hơn, chính là bốn vấn đềchính trong bài toán nhận dạng mặt người 1.3.2, trong bốn bài toán nhỏ có rấtnhiều phương pháp để giải quyết, luận văn chúng tôi sẽ giải quyết từng giai đoạncủa bài toán nhận dạng mặt người bằng cách so sánh các phương pháp đã có vàcác phương pháp do chúng tôi đề xuất

- Từ kết quả so sánh, tiến tới xây dựng mô hình hoàn chỉnh cho bài toán nhậndạng mặt người

- So sánh, đánh giá mô hình đề xuất với một số mô hình truyền thống trên CSDLứng dụng cụ thể, từ đó chỉ ra tính ưu việt của mô hình đề xuất, từ đó đưa ra lớp bàitoán thích hợp với mô hình đề xuất

Cụ thể trong từng vấn đề:

 Để detect khuôn mặt trong ảnh, luận văn so sánh bốn phương pháp: Adaboost [3],Adaboost + mạng Nơron 3 lớp [12], Adaboost + Mạng Nơron RBF [27], Adaboost+ Adaboost

 Đặc trưng được lựa chọn cho khuôn mặt là đặc trưng toàn cục của khuôn mặt kếthợp với các đặc trưng của các bộ phận: mắt trái, mắt phải, miệng [3].

 Về vấn đề rút trích đặc trưng, luận văn so sánh hai phương pháp rút trích đặc trưngcho khuôn mặt được xem là mạnh nhất hiện nay là phân tích thành phần chính(Principal Component Analysis - PCA) [3] và phân tích thành phần độc lập(Independent Component Analysis - ICA)

 Phương pháp huấn luyện cho máy nhận dạng khi đã có tập vectơ đặc trưng: luậnvăn so sánh hai phương pháp được xem là mạnh nhất hiện nay là Mạng Nơron (NN)

và Support Vectơ Machine (SVM) [6]

Chương 2: Dò biển số xe trong ảnh

2.1 Bài toán:

Ảnh biển số xe thường là ảnh bao gồm cả background, để có thể nhận dạng được đốitượng trong ảnh trước hết phải giải quyết bài toán dò tìm biển số xe của đối tượng nằmtại vị trí nào trong ảnh

2.2 Đề xuất phương pháp:

2.2.1 Các phương pháp đã được thực hiện [1][3][12][27]:

Hình 2.2.1 – 1 : Sơ đồ hệ dò tìm khuôn mặt bằng AdaBoost – NN

2.2.2 Phương pháp đề xuất trong luận văn:

Hình 2.2.2 – 1 : Minh hoạ hệ dò tìm khuôn mặt bằng AdaBoost-Adaboost

2.3 Các kết quả thực nghiệm của từng phương pháp:

2.3.1 Cơ sỡ dữ liệu thử nghiệm:

Hình 2.3.1 – 3 : Ví dụ về ảnh ngược sáng

Hình 2.3.1 – 4: Ví dụ về ảnh bị che khuất thành phần quan trọng

Hình 2.3.1 – 5 : Ví dụ về ảnh có cảm xúc đặc biệt

Chương 3 Trích chọn đặc trưng cho biển số xe

3.1 Bài toán:

Sau khi phát hiện được khuôn mặt trong ảnh đầu vào ta cần phải biểu diễn ảnh khuônmặt thành một véc tơ đặc trưng, tuy nhiên vì kích thước ảnh khuôn mặt quá lớn nếubiểu diễn véc tơ là các pixel của ảnh khuôn mặt thì có thể làm cho quá trình huấn luyện

và nhận dạng rất chậm, và xảy ra trường hợp quá khớp vì vậy bài toán đặt ra là cần phải

có phương pháp để biểu diễn ảnh khuôn mặt thành véc tơ đặc trưng mà vẫn giữ lạiđược những thành phần quan trọng của ảnh

3.2 Đề xuất phương pháp:

3.2.1 Các phương pháp đã được thực hiện [3][6][12]:

3.3 Các kết quả thực nghiệm của từng phương pháp:

3.3.1 Cơ sở dữ liệu thử nghiệm chuẩn nước ngoài :

3.3.2 Kết quả :

Nhận xét:

Các ảnh với phương pháp rút trích PCA bị nhận dạng sai:

Hình 3.3.2 – 2: Các ảnh với phương pháp rút trích PCA bị nhận dạng sai với bộ dữ liệu nước ngoài

Các ảnh với phương pháp rút trích ICA bị nhận dạng sai:

Hình 3.3.2 – 3 : Các ảnh với phương pháp rút trích ICA bị nhận dạng sai với bộ dữ liệu nước ngoài

3.3.3 Cơ sở dữ liệu tự tạo:

Bộ dữ liệu được tổng hợp từ hai nguồn:

 Học sinh trường THPT Nguyễn Hữu Cầu ( huyện Hóc Môn, thành

phố Hồ Chí Minh) [6]

 Một số sinh viên trong khoa CNTT trường khoa học tự nhiên[3]

Tổng cộng ảnh của 19 người Số ảnh huấn luyện là 83 ảnh, số ảnh test là 76 ảnh

Nhận xét tập ảnh trong nước: Tập ảnh học sinh trường THPT Nguyễn Hữu Cầu có nhiều ảnh khuôn mặt quay trái, phải, một số ảnh quá tối, hoặc độ sáng không đồng đều trên khuôn mặt:

3.3.4 Kết quả :

Người

Số ảnhtrain

Trainđúng

Số ảnhtest

Bảng 3.3.4 – 1 : Kết quả so sánh PCA và ICA trên bộ dữ liệu trong nước

Các ảnh nhận dạng sai của rút trích PCA

Hình 3.3.4 – 2 : Các ảnh với phương pháp rút trích PCA bị nhận dạng sai với bộ dữ liệu tự tạo

3.4 Kết luận:

Từ cơ sở lý thuyết ta thấy phương pháp rút trích đặc trưng ICA tốt hơn phương pháp PCA và điều này đã được chúng tôi kiểm chứng qua thực nghiệm trên tập dữ liệu chuẩnCalTech cũng như tập dữ liệu do chúng tôi tự tạo Tóm lại tại giai đoạn rút trích đặc trưng phương pháp ICA tốt hơn phương pháp PCA.

Chương 4 : Nhận dạng biển số xe

4.1 Bài toán :

Sau khi có được véc tơ đặc trưng của khuôn mặt, vấn đề tiếp theo cần phải giải quyết làlàm sao để so khớp hai véc tơ đặc trưng, tức là làm sao để xác định một khuôn mặt cósẵn trong cơ sở dữ liệu và một khuôn mặt đầu vào của hệ thống nhận dạng có phải làmột hay không Có nhiều phương pháp để giải quyết vấn đề này Trong luận văn chúngtôi áp dụng hai phương pháp nhận dạng được xem là mạnh nhất hiện nay

Hình 4.2.2 – 1 :Sơ đồ hệ thống nhận dạng mặt người dùng mạng Nơron

4.3 Các kết quả thực nghiệm của từng phương pháp nhận dạng:

 Phương pháp rút trích đặc trưng ICA

 Mạng nơron dùng để huấn luyện và nhận dạng: Dùng mạng nơron FANN của Steffen Nissen [32], [33]

 SVM dùng để huấn luyện và nhận dạng: thư viện svmlib2.8

4.3.1 Cơ sở dữ liệu thử nghiệm chuẩn nước ngoài :

Mô tả cơ sở dữ liệu : tập ảnh CalTech đã mô tả trong 2.3.1

4.3.2 Kết quả :

 Thời gian huấn luyện SVM và NN (không bao gồm thời gian tạo dữ liệu, rút trích đặc trưng ICA) là:

Bảng4.3.2 – 1 : Thời gian huấn luyện SVM và NN bộ dữ liệu nước ngoài

Ta thấy thời gian huấn luyện SVM rất nhanh

 Thời gian nhận dạng toàn bộ thư mục test là:

FNN SVM Thời gian

nhậndạng(s )

Số ảnhTest

26 5 100% 17 17 100.00% 17 100.00%

Tổng

Bảng 4.3.2 – 3 : Kết quả so sánh nhận dạng SVM và NN trên bộ dữ liệu nước ngoài

 Kết quả nhận dạng trên bộ train cả hai phương pháp nhận dạng SVM và NN đều đạt 100%

So sánh hai phương pháp nhận dạng SVM

và NN (rút trích đặc trưng bằng ICA)

92.52 96.57

0 10 20 30 40 50 60 70 80 90 100

Hình 4.3.2 – 1 : Biểu đồ kết quả thử nghiệm hai phương pháp nhận dạng SVM và NN trên

bộ dữ liệu nước ngoài: thống kê trên bộ test

4.3.3 Cơ sở dữ liệu trong nước tự tạo:

Cơ sở dữ liệu thử nghiệm được mô tả trong 3.3.3

4.3.4 Kết quả:

 Thời gian huấn luyện SVM và NN (không bao gồm thời gian tạo dữ liệu, rút trích đặc trưng ICA) là:

FNN SVM Thời gian huấn

luyện(s)

Bảng 4.3.4 - 1: Thời gian huấn luyện SVM và NN bộ dữ liệu trong nước

Ta thấy thời gian huấn luyện SVM rất nhanh

 Thời gian nhận dạng toàn bộ thư mục test là:

Trainđúng

Sốảnhtest

Bảng 4.3.4 - 3: Kết quả so sánh SVM và NN trên bộ dữ liệu trong nước

 Kết quả nhận dạng trên bộ train cả hai phương pháp SVM và NN đều đạt 100%

So sánh hai phương pháp nhận dạng SVM

và NN (rút trích đặc trưng bằng ICA)

96.05 100

0 10 20 30 40 50 60 70 80 90 100

Hình 4.3.4 - 1 :Biểu đồ kết quả thử nghiệm hai phương pháp nhận dạng SVM và NN

trên bộ dữ liệu trong nước: thống kê trên bộ test

4.4 Kết luận:

Từ các kết quả thực nghiệm ta thấy phương pháp SVM huấn luyện và nhận dạng rấtnhanh tuy nhiên kết quả chính xác không cao, phương pháp mạng Nơron tuy huấnluyện chậm và nhận dạng chậm hơn phương pháp SVM nhưng kết quả nhận dạng chínhxác hơn nhiều Tóm lại trong giai đoạn nhận dạng, chúng tôi lựa chọn phương phápmạng nơron

Chương 6 : Đánh giá và hướng phát triển

6.1 Đánh giá:

Với việc tìm hiểu khá kĩ cơ sở lí thuyết về các phương pháp truyền thống cho từng giai đoạn của bài toán nhận dạng mặt người và ứng dụng vào bài toán thực nghiệm, luận văn đã đạt được một số kết quả sau đây:

 Trình bày rõ ràng và có hệ thống các phương pháp áp dụng cho từng giai đoạn của bài toán nhận dạng mặt người từ phát hiện khuôn mặt trong ảnh, đến rút trích đặc trưng và nhận dạng

 Hệ thống hóa bài toán nhận dạng mặt người, thống kê, so sánh bằng lý thuyết và thực nghiệm các phương pháp truyền thống để giải quyết từng giai đoạn của bài toán nhận dạng mặt người, từ đó xây dựng được mô hình tốt nhất cho bài toán nhận dạng mặt người ứng với bộ dữ liệu tương ứng

 Bộ dữ liệu khá đầy đủ, trong nước lẫn nước ngoài, các ảnh trong môi trường

độ sáng không đồng nhất, và quay từ âm 30 độ đến dương 30 độ

 Các thành phần không quan trọng của khuôn mặt như trán khi bị che khuất vẫn cho kết quả chính xác, các ảnh tối hoặc quá sáng, hoặc quay trái phải 30

độ vẫn cho kết quả chính xác

 Trong giai đoạn phát hiện khuôn mặt trong ảnh có kết dùng mạng nơron để chứng thực nhằm nâng cao kết quả phát hiện.

 Trong giai đoạn rút trích đặc trưng có áp dụng phương pháp khá mới là ICA

và kết quả đã chứng minh là phương pháp này tốt hơn phương pháp truyền thống PCA

 Xây dựng chương trình thử nghiệm “Truy tìm đối tượng trong video”, và đầuvào của hệ thống là ảnh động (video) Kết quả tốt của hệ thống đã cho thấy tính khả thi của mô hình đề xuất

Tuy vậy luận văn vẫn còn hạn chế như sau:

 Kết quả nhận dạng còn ảnh hưởng nhiều khi khuôn mặt có các cảm xúc khác,tuy nhiên điều này có thể được khắc phục khi nâng số lượng ảnh huấn luyện bao quát hầu hết các cảm xúc khuôn mặt của từng đối tượng

 Cơ sở dữ liệu thử nghiệm còn ít

6.2 Hướng phát triển:

 Thử nghiệm trên cơ sở dữ liệu lớn

 Tìm kiếm các phương pháp khác vê dò tìm mắt, miệng trên khuôn mặt

 Áp dụng phương pháp rút trích đặc trưng ICA kết hợpvới các phương pháp khác chẳng hạn LDA

 Đối với ứng dụng, có thể sử dụng thuật giải di truyền để tìm các mẫu đồngdạng với các đối tượng tìm được

 Đối với các khuôn mặt có góc quay hơn 30 độ thì không thể nhận dạng trong không gian hai chiều mà phải trong không gian ba chiều

6.3 Kết luận:

Tóm lại, trong đề tài này đã đề xuất một phương pháp cho truy tìm ảnh mặt người trongvideo, phương pháp là sự kết hợp của một số các phương pháp thông dụng hiện nay:adaboost, ICA, mạng nơron Việc lựa chọn các phương pháp được thử nghiệm trên cơ

sở dữ liệu chuẩn được nhiều nhà khoa học sử dụng (CalTech [4]) và cơ sở dữ liệu tựtạo Các kết quả thu được chỉ ra tính khả thi của các phương pháp được chọn lựa ứngvới từng giai đoạn giải quyết bài toán Hệ thống truy tìm ảnh mặt người trên video đượcthực hiện với 5 đoạn video quay ngẫu nhiên đã cho thấy tính khả quan của phươngpháp đề xuất.

Chúng tôi hi vọng trong một tương lai không xa khi mà những hệ thống nhận dạng củachúng ta đã đạt đến một độ tin cậy nhất định thì những ứng dụng nhận dạng sẽ rộng rãi

Và những nghiên cứu tiếp theo ở lĩnh vực này sẽ được nâng lên một cấp độ cao hơn,hoàn thiện hơn

Phụ lục:

A Các cơ sở lý thuyết:

A.1 Các Khái Niệm Toán Học Liên Quan Đến PCA và ICA

A.1.1 Trị riêng (eigenvalue) và véc tơ riêng (eigenvector):[7]

Cho ma trận A R n Số  R được gọi là giá trị riêng (hay trị đặc trưng) của A nếu tồn tại véc tơ x = (x1, ,xn) R nsao cho :

x x x A

2 1 2

1

véc tơ x # 0 gọi là véc tơ riêng (hay véc tơ đặc trưng) của A ứng với giá trị riêng 

Ma trận A với kích thước n x n có tối đa n trị riêng và n véc tơ riêng tương ứng Một

ma trận A nxn khả nghịch sẽ có đủ n giá trị riêng và n véc tơ riêng tương ứng

Khai triển đẳng thức (*) ta đuợc hệ phương trình tuyến tính thuần nhất như sau :

0 )

(

.

) (

0

) (

2 2 1

1

1 2

22 1

21

1 2

12 1 11

n n

n n

n n

x a

x a x a

x a x

a x a

x a x

a x a







(**)

Đa thức đặc trưng: Đa thức đặc trưng của A kí hiệu PA (), là đa thức bậc n theo  (

 là một trị riêng của A ) định bởi:

n

n

a a

a

a a

a

a a

= (-1)  n + an-1  n-1+………+ a1  + a0Với an-1, an-2, … a0 F, a0 = det (A)

Thuật toán tìm giá trị riêng và véc tơ riêng:

Cho f là toán tử tuyến tính trong không gian véc tơ n chiều R n Toán tử tuyến tính này được biểu diễn bằng ma trận vuông A kích thước n x n Để tìm các giá trị riêng và véc

tơ riêng của f (của A) tiến hành theo các bước sau:

Bước1: Lập đa thức đặc trưng P A () = det (A - I n )

Bước2: Giải phương trình đặc trưng P A()=0 để tìm các giá trị riêng của A

Bước3: Với mỗi giá trị riêng (nếu có) của f, giải hệ phương trình(**) để tìm cácvéc tơ riêng ứng ứng với giá trị riêng đó.Ví dụ : cho ma trận A

3

2 1

1

2 3

4 ( 1

3

2 1

1

2 3

0 4 3

0 2 3

0 2 3

3 2 1

3 2 1

3 2 1

x x x

x x x

Hệ phương trình này có 1 nghiệm là (1,1,-1)

Vậy ma trận A có một giá trị riêng là = 4 ứng với véc tơ riêng là (1,1,-1)

véc tơ trực giao và hệ trực giao: Cho X là không gian véc tơ tích vô hướng, các véc tơ x

và y của X gọi là trực giao nếu tích vô hướng của x và y bằng 0.Tập S các véc tơ của X gọi là hệ trực giao nếu 2 véc tơ phân biệt bất kỳ của S đều trực giao

A.1.2 Kỳ vọng, phương sai,hiệp phương sai, ma trận hiệp phương sai [8][9]

xf x( ) được gọi là kì vọng toán của X

Trong thống kê, kỳ vọng E[X] của một biến ngẫu nhiên X có thể được ước lượng bằng trung bình mẫu X :







n i i

x n

X

11

A.1.2.2 Phương sai:

Giá trị phương sai trong thống kê một chiều là độ đo mức độ phân tán của biến ngẫu nhiên xung quanh kỳ vọng

Xét biến ngẫu nhiên X có kì vọng là EX, nếu tồn tại DX = E(X-EX)2 thì ta nói

đó là phương sai của X

Tính chất :DX = E(X2) – (EX)2

Trong thống kê, phương sai DX của một biến ngẫu nhiên X có thể được ước lượng bằng phương sai mẫu X :

S2 = X 2 X2

A.1.2.3 Hiệp phương sai:

Giả sử X,Y là các biến ngẫu nhiên có kì vọng Nếu tồn tại

cov (X,Y) = E(X-EX)(Y-EY) thì ta gọi đó là hiệp phương sai của hai biến ngẫu nhiên X và Y

nếu cov(X,Y) = 0 thì X,Y được gọi là phi tương quan

Trong thống kê, hiệp phương sai cov(X,Y) của hai biến ngẫu nhiên X,Y có thể được ước lượng bằng hiệp phương sai mẫu:

A.1.2.4 Ma trận hiệp phương sai: [9]

Đặt [X1, X2,…, XN] là một ma trận p x N các phép quan sát Giá trị trung bình mẫu (sample mean) của các véc tơ quan sát X1,…, XN được cho bởi:

M = N1 (X1 + X2 + …+ XN)Với k = 1,…N, đặt Xk’= Xk – MĐặt B = [X1’, X2’,…, XN’]

B được gọi là dạng độ lệnh trung bình, lúc đó ma trận hiệp phương sai (mẫu) là

ma trận pxp được xác định bởi:

S = 1 1



N BBTCho X là biểu thị một véc tơ vốn thay đổi trên tập hợp các véc tơ quan sát và ký hiệu các tọa độ của X là x1, …, xp Thì x1 là một số vô hướng vốn thay đổi trên tập hợp các tọa độ đầu tiên của X1,…, XN