Một số mô hình phân tích thành phần chính ba chiều

Lời cam đoan Tôi xin cam đoan luận văn về đề tài “Một số mô hình phân tích thành phần chính ba chiều” là bài viết của tôi dưới sự hướng dẫn của TS.. 11 2.2 Ví dụ về phương sai của dữ liệ

LUẬN VĂN THẠC sĩ TOÁN HỌC

Bộ GIÁO DỤC v.\ ĐÀO TẠOTRƯỜNG DẠI HỌC QUY NHƠN

LUẬN VĂN THẠC sĩ TOÁN HỌC

Người hướng dẫn: TS LÂM THỊ THANH TÂM

Lời cam đoan

Tôi xin cam đoan luận văn về đề tài “Một số mô hình phân tích thành phần chính ba chiều”

là bài viết của tôi dưới sự hướng dẫn của TS Lâm Thị Thanh Tâm và chưa từng được công

bố để bảo vệ một học vị nào cho tới thời điểm này Các nội dung và kết quả sử dụng trongluận văn đều có trích dẫn và chú thích nguồn gốc Nếu có bất kỳ điều gì gian lận, tôi xinchịu trách nhiệm về luận văn của mình

Bình Định, tháng 08 năm 2020Học viên thực hiện đề tài

Nguyễn Thị Ái My

Muc luc

Danh sách hình vẽ iii

LỜI NÓI ĐẦU 1

1 KIẾN THỨC CHUẨN BỊ 3 1.1 Ma trận 3

1.2 Véctơ riêng Giá trị riêng Giá trị kì dị 6

1.3 Tích có hướng của các véctơ Tích Kronecker và tích Katri-Rao của các ma trận 8

2 MỘT SỐ MÔ HÌNH PHÂN TÍCH HAI CHIEU VÀ ỨNG DỤNG 10 2.1 Mở đầu 10

2.2 Phân tích giá trị kì dị (SVD) 11

2.2.1 Phân tích giá trị kì dị 11

2.2.2 Thuật toán tìm SVD của một ma trận 13

2.2.3 Ví dụ 13

2.2.4 Một số tính chất của ma trận liên quan đến SVD của nó 15

2.3 Phân tích thành phần chính (PCA) 16

2.3.1 Ý tưởng 16

2.3.2 Phân tích thành phần chính 18

2.3.3 Tìm các thành phần chính của bài toán PCA thông qua SVD 19 2.3.4 Tính duy nhất nghiệm của PCA 20

2.3.5 Thuật toán tìm PCA của một ma trận 21

2.3.6 Ưu và nhược điểm của PCA 21

2.4 Một số ứng dụng của SVD và PCA 22

2.4.1 Úng dụng trong bài toán xấp xỉ hạng thấp tốt nhất của ma trận 22 2.4.2 Úng dụng trong xử lí ảnh 26

2.4.3 ững dụng trong Eigenface 29

3 MỘT SỐ MÔ HÌNH PHÂN TÍCH THÀNH PHAN CHÍNH BA CHIỀU 32 3.1 Mảng ba chiều 32

3.1.1 Ba loại véctơ của mảng ba chiều 33

3.1.2 Ba loại lát cắt của mảng ba chiều 34

3.1.3 Hạng của mảng ba chiều 35

3.2 Mô hình Candecomp/Parafac (CP) 39

3.2.1 Mô hình 39

3.2.2 Thuật toán tìm nghiệm CP của một mảng 42

3.2.3 Ví dụ 43

3.3 Mô hình Tucker3 44

3.3.1 Mô hình 44

3.3.2 Thuật toán 46

3.4 Mối quan hệ giữa CP và Tucker3 47

Quyết định giao đề tài luận văn thạc sĩ

Danh sách hình vẽ

2.1 Phân tích hai chiều 11

2.2 Ví dụ về phương sai của dữ liệu trong không gian hai chiều, (a) Chiều thứ hai có phương sai (tỉ lệ với độ rộng của đường hình chuông) nhỏ hơn chiều thứ nhất, (b) Cả hai chiều có phương sai đáng kể Phương sai của mỗi chiều là phương sai của thành phần tương ứng được lấy trên toàn bộ dữ liệu Phương sai tỉ lệ thuận với độ phân tán của dữ liệu 17

2.3 Ảnh gốc 27

2.4 Ảnh hiệu chỉnh với k =10 27

2.5 Ảnh hiệu chỉnh với k = 20 28

2.6 Ảnh hiệu chỉnh với k = 50 28

2.7 Ảnh hiệu chỉnh với k =100 29

2.8 Ví dụ về ảnh của một người trong Yale Face Database 30

2.9 Các eigenfaces tìm được bằng PCA 30

2.10 Hàng trên: các ảnh gốc Hàng dưới: các ảnh được suy ra từ eigenfaces Anh ở hàng dưới có nhiều nhiễu nhưng vẫn mang những đặc điểm riêng mà mắt người có thể phân biệt được 31

3.1 Mảng ba chiều 33

3.2 Các véctơ cột, dòng, và lớp 34

3.3 Các lát cắt ngang, đứng, và chính diện 35

3.4 Phân tích ba chiều 40

LỜI NÓI ĐẦU

Trong thống kê, phân tích dữ liệu là một khâu vô cùng quan trọng để tìm hiểu các thông tin

có trong dữ liệu Cùng với sự bùng nổ thông tin, các dữ liệu ngày càng lớn và trở nên đadạng rất nhiều Từ đó cũng làm xuất hiện ngày càng nhiều mô hình phân tích dữ liệu nhằmđáp ứng nhu cầu tìm hiểu thông tin của các nhà khoa học Mục tiêu của các mô hình phântích là tìm hiểu cách biểu diễn dữ liệu sao cho đơn giản mà lượng thông tin bị mất đi là ítnhất Luận văn này nhằm tìm hiểu về các mô hình phân tích dữ liệu

Trong luận văn này, chúng tôi sẽ tìm hiểu về Phân tích giá trị kì dị (Singular valuedecomposition - SVD) và Phân tích thành phần chính (Principal component analysis - PCA)trong mảng hai chiều và ứng dụng của chúng, tìm hiểu về mô hình CP và mô hình Tucker3trong mảng ba chiều Ngoài mục lục, bảng danh sách hình vẽ, lời nói đầu và kết luận, luậnvăn được chia làm ba chương:

Chương 1 Kiến thức chuẩn bị Trong chương này, chúng tôi sẽ trình bày một số kiếnthức cơ sở của Lý thuyết ma trận, phát biểu và chứng minh Định lí phổ của ma trận đốixứng, tích có hướng của các véctơ, tích Kronecker, và tích Khatri - Rao của các ma trận.Chương 2 Một số mô hình phân tích hai chiều và ứng dụng Trong chương này, chúngtôi sẽ trình bày về phân tích hai chiều, phân tích giá trị kì dị, phân tích thành phần chính, vàtrình bày một số ứng dụng của hai mô hình này

Chương 3 Một số mô hình phân tích thành phần chính ba chiều Trong chương này,chúng tôi trình bày một số kiến thức về mảng ba chiều, mô hình Cande- comp/Parafac (CP),

mô hình Tucker3, và mối quan hệ giữa hai mô hình này

Luận văn được hoàn thành dưới sự hướng dẫn tận tình của TS Lâm Thị Thanh Tâm

Tôi xin gửi lời cảm ơn sâu sắc về sự dẫn dắt, chỉ bảo tận tình của Cô trong suốt quá trìnhthực hiện đề tài Nhân đây, tôi cũng xin gửi lời cảm ơn chân thành đến tập thể Lớp Cao họcToán K21, Quý Thầy Cô trong Khoa Toán - Truờng Đại học Quy Nhơn về sự tận tình giảngdạy, cũng nhu đã tạo mọi điều kiện cho tôi hoàn thành Khóa luận này Đồng thời, tôi cũnggửi lời cảm ơn đến gia đình, bạn bè, những nguời đã luôn động viên, giúp đỡ chúng tôi về

mặt tinh thần trong thời gian qua

Mặc dù có nhiều cố gắng trong việc tìm tòi, học hỏi và nghiên cứu nhung do thời gian vàkhả năng của bản thân còn hạn chế nên khóa luận này không tránh khỏi những thiếu sót Vìvậy, tôi rất mong nhận đuợc sự góp ý của Quý Thầy Cô và các bạn để Khóa luận đuợc hoànchỉnh hơn

Tôi xin chân thành cảm ơn

Bình Định, tháng 08 năm 2020

Tác giả

Nguyễn Thị Ái My

Với m = n, ta gọi ma trận cỡ m X m là ma trận vuông cấp m Các phần tử a11, a22, , a mm

nằm trên một đường thẳng được gọi là đường chéo chính của ma trận

Định nghĩa 1.1.2 Ma trận đơn vị cấp n là ma trận vuông cấp n có mọi phần tử nằm trênđường chéo chính bằng 1, các phần tử khác bằng 0 Ta kí hiệu ma trận đơn vị cấp n là In và

Ta thường kí hiệu ma trận đường chéo bởi diag (a 11 , a 22 , , ann) với a11, a22, , ann là các phần

tử nằm trên đường chéo chính

Ma trận chỉ có một dòng được gọi là véctơ dòng Ma trận chỉ có một cột được gọi làvéctơ cột

Định nghĩa 1.1.4 Ma trận vuông A cấp n được gọi là ma trận khả nghịch nếu tồn tại ma trận vuông B cấp n thỏa mãn AB = BA = I n Khi đó B được gọi là ma trận nghịch đảo của ma

Định nghĩa 1.1.7 Cho A là một ma trận vuông cấp n Định thức của ma trận A, kí hiệu

det(A) hay |A| là một giá trị đuợc xác định bởi công thức

det(A) = aiiAii + ai2Ai2 + + ai n Ai n ,

trong đó Aik = (—1)i+k det (M ik ) với M ik tó ma trận vuông cấp n — 1 nhận đuợc từ ma trận A bằng cách tó đi dòng thức i và cột thứ k Đại lượng Aik còn được gọi là phần bù đại số của

aik

Từ Định nghĩa 1.1.7, ta có

Định nghĩa 1.1.8 Cho A là ma trận cỡm X n bất kì và s là số nguyên thỏa 1 < s < min(m, n).

Khi đó, các phần tử nằm trên giao của s dòng và s cột của ma trận A sẽ lập nên các ma trậnvuông cấp s, và được gọi là ma trận con cấp s của ma trận A

Định nghĩa 1.1.9 Định thức con cấp cao nhất khác 0 của ma trận A được gọi là định thứccon cơ sở của ma trận A

Một ma trận A có thể có nhiều định thức con cơ sở cùng cấp

Hạng của ma trận A là cấp của định thức con cơ sở Kí hiệu hạng của ma trận A làrank(A)

Từ Định nghĩa 1.1.9, ta có nhật xét sau

Nhận xét 1.1.1 Cho A là nia trận cấp m X n B là ma trận cấp n X p

(i) Nếu rank(B) = n thì rank(A.B) = rank(A).

(ii) Nếu rank(A) = n thì rank(A.B) = rank(B').

Định nghĩa 1.1.10 vết của ma trận vuông A cấp n được xác định bằng tổng các phần tử trên

đường chéo chính của ma trận A và được kí hiệu là Tr(A).

• Nếu A = thì det(A) = a

• Nếu A = thì det(A) = ad — bc

1.2 Véctơ riêng Giá trị riêng Giá trị kì dị

Định nghĩa 1.2.1 Cho A là ma trận vuông cấp n Khi đó đa thức bậc n của biến A được xác định như sau được gọi là đa thức đặc trưng của ma trận A Các nghiệm của đa thức PA (A)

được gọi là các giá trị riêng của ma trận A

Véctơ u G Rn được gọi là véctơ riêng ứng với gi á trị riêng A của ma trận A nếu thỏa Au

(ii) Mỗi giá trị riêng có thể có nhiều véctơ riêng

(iii) Mỗi véctơ riêng chỉ ứng với một giá trị riêng duy nhất

(iv) Nếu A = 0 là một giá trị riêng của ma trận A thì A không khả nghịch Ngược lại, nếu mọi giá trị riêng của A đều khác 0 thì ma trận A khả nghịch

Định lý 1.2.1 (Định lí phổ của ma trận đối xứng) Cho A lầ ma trận đối xứng cấp n Khi đó

(i) Mọi giá trị riêng của ma trận A đều lầ số thực.

P A (A) = det (A — AI) =

(ii) Tồn tại ma trận đường chéo D cấp n và ma trận trực giao U cấp n sao cho

A = UDU T , trong đó các phần tử nằm trên đường chéo chính của D lầ các giá trị riêng của A vầ cắc véctơ cột của U lằ các véctơ riêng của A tương ứng với các giá trị riêng đó Tức

là, nếu

D = diag (A1, A2, , A n ) và U = [u1 u2 un]thì Aui = Aiui, i = 1,n

Chứng minh.

(i) Giả sử A tó một giá trị riêng của ma trận A Khi đó, tồn tại một véctơ thực, khác không

u sao cho Au = Au Bằng cách chuẩn hóa véctơ u sao cho uTu = 1, ta nhận được A =

uTAu là số thực

(ii) Ta sẽ chứng minh (ii) bằng phương pháp quy nạp toán học

Với n = 1, kết quả trên đúng Giả sử kết quả trên đúng với mọi ma trận có cấp nhỏ hơnhoặc bằng n — 1, ta sẽ chứng minh kết quả trên đúng trong trường hợp ma trận A là

ma trận đối xứng cấp n

Xét P(t) = det(tI — A) là đa thức đặc trưng của A Ta có P(t) là một đa thức có bậc bằng

n Theo Định lí cơ bản của đại số, đa thức P(t) sẽ có n nghiệm là A1, A2, , An, và đóchính là các giá trị riêng của ma trận A

Với A1 là một giá trị riêng của A và ui là một véctơ riêng tương ứng Sử dụng phép

trực giao Gramm-Schmidt, ta có thể tìm được ma trận có cấp n X (n — 1) sao cho [u1

V]J là một ma trận trực giao Ta có VTAV 1 là ma trận đối xứng cấp (n — 1) Khi đó,theo giả thiết quy nạp, ta có thể viết VTAV 1 = Q 1 D 1 Q T , trong đó D1 = diag (A2, A3, ,

An) là ma trận đường chéo với các A2, A3, , An là (n — 1) giá trị riêng của A và Q1 là

ma trận trực giao cấp (n — 1) gồm (n — 1) véctơ riêng của VTAV 1 tương ứng

Ta định nghĩa ma trận U1 cấp n X (n — 1) bởi U1 = V 1 Q^ Khi đó U = u1 U1 là

uT AU1

UT AU1

Điều này chứng tỏ A = UDU l \'C U tó m;i trận trực giao cấp n và D = dia g (A^ ^ ,

An)

□

Định lý 1.2.2 Cho A là ma trận cỡm X n Khi đố mọi giá trị riêng của ma trận A T A đều là

số thực không âm.

Chứng minh Dễ thấy ATA là ma trận đối xứng Theo Định lí phổ đối với ma trận đối xứng,

ta có mọi giá trị riêng của ATA đều là số thực Với mỗi giá trị riêng A của ATA, tồn tại mộtvéctơ riêng tuơng ứng v (chọn v sao cho v là véctơ đơn vị) sao cho ATAv = Av Khi đó

0 < ||Av||2 = (Av)T (Av) = vTATAv = vTAv = A ||v||2 = A

Từ Định lí 1.2.2, chúng ta có định nghĩa về giá trị kì dị của một ma trận

Định nghĩa 1.2.2 Cho A là ma trận cỡ m X n với m > n, và A1, A2, , An lần lượt là các giátrị riêng của của ma trận ATA Các giá trị ơi = y/Ãĩ, i = 1, n được gọi là các giá trị kì dị của

Định nghĩa 1.3.2 Cho A = [aij]mxn, B = [b ij] Tích Kronecker của hai ma trận

Định nghĩa 1.3.1 Cho hai véctơ a = a1 a2 a m và b = bi b2 b n

cỡ n X q Tích Khatri-Rao của hai ma trận A và B là ma trận cỡ mn X q, kí hiệu là

A © B, và được định nghĩa như sau:

A © B = [ai © bi| a2 © &21 | aq © bq].

trong đó E G Rmxn là ma trận dư, A G Rmxr và B G Rnxr là các ma trận có các cột tương ứng là

a1, , ar và b 1 , ,b r

Lưu ý rằng, vì tất cả các cột của ma trận ai◦ đều tỉ lệ với nhau với mọi i = 1,r nên rank(ai

◦ b i ) = 1 nếu ai và bi đồng thời khác véctơ không Do đó, trong (2.1), ma trận X được phântích thành tổng của các ma trận có hạng 1 và ma trận dư E

Nếu E = O mxn thì cặp (A,B) được gọi là nghiệm đúng tốt nhất của (2.1) và X = ABT Nếu

E = O mxn thì ABT được gọi là xấp xỉ hạng r của X

Nếu (A, B) là một nghiệm của (2.1) mà \\E\\ 2 y2 e2 nhỏ nhất thì (A,B) được

i,j

gọi là nghiệm tối ưu của (2.1) và AB T tương ứng được gọi là xấp xỉ hạng r tốt nhất

của X.

Phân tích (2.1) được mô tả bằng hình ảnh như sau

Dổ tìm nghiệm tối ưu của (2.1), người ta thường sử dựng phương pháp Phân tích thànhphần chính dựa trên phương pháp Phân tích giá trị kì dị

2.2 Phân tích giá trị kì dị (SVD)

2.2.1 Phân tích giá trị kì dị

Định nghĩa 2.2.1 Cho X là ma trận cỡ m X n với m > n rank(X) = r, r < n Ma

trận X được gọi là có phân tích giá trị kì dị nếu X được phân tích thành dạng

trong đó U là ma trận cỡ m X n với UTU = In, V là ma trận trực giao cấp n, và S =

diag(ơ 1 , , ơ n ) với ơ1 > > ơ n > 0 là các giá trị kì dị của X.

Các véctơ cột của ma trận U được gọi là các véctơ kì dị trái của X Các véctơ cột của matrận V được gọi là các véctơ kì dị phải của X

Định lý 2.2.1 SVD của một ma trận X bất kì luôn tồn tại.

Chứng minh Vì XTX là ma trận đối xứng nên theo Định lí 1.2.2, các giá trị riêng

A1, A1, , An của XTX đều là các giá trị thực không âm, và theo Định lí phổ của ma trận đối xứng, tồn tại ma trận trực giao V = v1 V2 XT Xv i = A i v i , i = 1,n.

Hình 2.1: Phân tích hai chiều

v n 6 Rnxn sao cho

Không mất tính tổng quát, giả sử tồn tại r < n sao cho A1 > A2 > > Ar > 0 và

ur+1, ,un G Rm sao cho các véctơ ub ,un lập thành một cở trực chuẩn của Rn

Ta chứng minh X = USVT, hay XV = US Thật vậy, với mỗi i > r, vì XTXvi = 0 nênllXv,^2 = vTXTvi = 0 Do đó Xvi = 0 và

US

Suy ra XV = US

Vậy X = USVT

Trong truờng hợp rank(X) = r < n, thì SVD của X có dạng “chặt cụt” nhu sau:

X = Ur Sr VrT, trong đó Ur, vr lần lượt là ma trận được tạo bởi r cột đầu tiên của U,

V, và Sr là ma trận con cấp r X r được tạo bởi r hàng đầu tiên và r cột đầu tiên của S

Khai triển (2.3) được gọi là phân tích SVD “chặt cụt” của X

2.2.2 Thuật toán tìm SVD của một ma trận

Cho X là ma trận cỡ m X n^ói m > n Để tìm SVD của ma trận X, chúng ta thực hiện các

bước sau

• Bước 1 Tính ma trận XTX và giải phương trình det (XTX — Ai) = 0 để tìm các giá trịriêng A1 > A2 > > An > 0 của ma trận XTX Từ đó suy ra các giá trị kì dị của X là ơ i

= ỵ/Ã ị , i = 1, n và S = diag (ơ 1 , ơ 2 , , ơ n)

• Bước 2 Tương ứng với mỗi giá trị riêng Ai5 tìm véctơ riêng vi G Rn sao cho (XTX —

Al) v = 0 Từ đó tìm được ma trận trực giao V cấp n chứa các véctơ kì dị phải của X.

• Bước 3 Xác định các véctơ kì dị trái của X theo công thức

Lởi giải.

Bước 1: Tìm các giá trị kì dị của ma trận X

Ta có

Giải phương trình det(XTX — AI) = 0, ta tìm được các giá trị riêng A của XTX là A1 = 2, A2

= 1 Do đó các giá trị kì dị của X là Ơ 1 = A/2, Ơ 2 = 1 Suy ra

10

01

Định lý 2.2.2 Hạng của một ma trận bằng số cấc giá trị kì dị khác không của nó.

Chứng minh Giả sử X G Rmxn với m > n có phân tích SVD là X = USV T , và r là số các giá

trị kì dị khác không của X

Theo tính chất hạng của ma trận, ta có

rank(U r ) = rank(U r l') = rank(I r) = r,

rank(V r ) = rank(V r VT) = rank(I r) = r

Phân tích thành phần chính (PCA) là phương pháp thống kê phổ biến ra đời vào năm 1901,

do Pearson đề xuất Ngày nay, phương pháp này chủ yếu được sử dụng như một công cụtrong phân tích dữ liệu điều tra và thực hiện các mô hình dự đoán Nó có thể chuyển đổimột tập hợp các giá trị của các biến có thể tương quan với nhau thành một tập hợp các giátrị của các biến không tương quan với nhau, được gọi là các thành phần chính, nhờ đó ta thuđược hầu hết thông tin có trong dữ liệu gốc Điều này cho phép giảm kích thước của tập dữliệu gốc trong khi lượng thông tin bị mất đi là nhỏ nhất có thể

2.3.1 Ý tưởng

Giả sử dữ liệu ban đầu là x G Rm và dữ liệu đã được giảm chiều là z G Rr với r < m Cáchđơn giản nhất để giảm chiều dữ liệu từ m về r < m là chỉ cần giu lại r phần tử quan trọngnhất Có hai câu hỏi được đặt ra ở đây Câu hỏi thứ nhất, làm thế nào để xác định tầm quantrọng của mõi chiều dữ liệu? Câu hỏi thứ hai, nếu tầm quan trọng của các chiều dữ liệu lànhu nhau, ta cần bỏ đi chiều nào?

Để trả lời câu hỏi thứ nhất, ta quan sát Hình 2.2a Giả sử các điểm dữ liệu có thành phần

= k (2.4)

Ta có

(aivi, , ơ k vỊ) ( V1, ,v k ) =

Ơ 1