Luận văn thạc sĩ toán học định lý eckart young dạng rời rạc cho ma trận nguyên

Khai triển thành giá trị kì dị đưa ma trận ban đầu về dạng đường chéo sẽlàm giảm độ phức tạp tính toán và có nhiều ứng dụng hữu ích trong xử lí tínhiệu và thống kê.. Trên cơ sở SVD, vấn

Lời nói đầu 3

Một số ký hiệu chung 6

1 Kiến thức chuẩn bị 7 1.1 Chuẩn vectơ 7

1.2 Chuẩn ma trận 8

1.3 Tính trực giao 10

1.4 Tập ảnh, tập không điểm, hạng của một ma trận 13

1.5 Tính bất biến của chuẩn Frobenius và chuẩn 2 13

1.6 Khai triển thành giá trị kì dị (SVD) 15

1.6.1 Định lý về sự tồn tại của khai triển thành giá trị kì dị 15

1.6.2 Một số tính chất 21

1.7 Các ứng dụng quan trọng của khai triển thành giá trị kì dị 27

2 Định lý Eckart - Young 30 2.1 Định lý Eckart - Young cổ điển 30

2.2 Định lý Eckart - Young mở rộng 32

3 Định lý Eckart - Young dạng rời rạc cho ma trận nguyên 35 3.1 Giới thiệu chung 35

3.2 Thuật toán tìm khai triển 37

3.2.1 Xấp xỉ với khoảng cách Hamming 37

3.2.2 Xấp xỉ với khoảng cách Euclide 42

3.3 Thuật toán IMF 45

3.3.1 Quy tắc chung 45

3.3.2 Khai triển đệ quy 45

1

3.4 Xấp xỉ hạng thấp tối ưu 46

Kết luận 52

Phụ lục 53

Tài liệu tham khảo 55

Khai triển ma trận có vai trò quan trọng trong khoa học và công nghệ hiệnđại Trong đại số tuyến tính, khai triển ma trận là sự phân tích một ma trậnthành tích các ma trận thừa số Có rất nhiều cách khai triển ma trận Ví dụ,khi giải hệ phương trình tuyến tính Ax = b, ma trận A có thể được khai triểnthành hai ma trận L, U (LU decomposition); với L là ma trận tam giác dưới, U

là ma trận tam giác trên Khi đó, giải các hệ L(U x) = b và U x = L−1b sẽ đơngiản hơn hệ ban đầu Tương tự như vậy, khai triển QR (QR decomposition)phân tích A thành tích QR với Q là ma trận trực giao và R là một ma trậntam giác trên Nhưng ở luận văn này, chúng tôi quan tâm đến khai triển thànhgiá trị kì dị (Singular Value Decomposition - SVD) của ma trận A như sau:Cho A là ma trận thực cỡ m × n Khi đó, tồn tại các ma trận trực giao

U ∈ Rm×m và V ∈ Rn×n sao cho

UTAV = ΣA = diagmn(σ1(A), σ2(A), , σp(A)) ∈ Rm×n, p = min{m, n}trong đó σ1(A) ≥ σ2(A) ≥ · · · ≥ σp(A) ≥ 0, σi(A) được gọi là các giá trị kì dịcủa A (Xem Định lý 2.1.1, Chương 2)

Khai triển thành giá trị kì dị đưa ma trận ban đầu về dạng đường chéo sẽlàm giảm độ phức tạp tính toán và có nhiều ứng dụng hữu ích trong xử lí tínhiệu và thống kê Trên cơ sở SVD, vấn đề xấp xỉ một ma trận bằng một matrận hạng thấp hơn đã được hai nhà toán học Carl Eckart và Gale Young đềcập tới vào năm 1936 đó là việc giải bài toán tìm ma trận có hạng nhỏ hơnhoặc bằng k gần ma trận cho trước: Nếu k < r = rank(A) và Ak =

k

X

i=1

σiuiviTthì

min

rank(B)=kkA − Bk2 = kA − Akk2 = σk+1.Tuy nhiên, với các dữ liệu rời rạc (ở đây là dữ liệu nguyên) không thể thựchiện được bằng kĩ thuật thông thường Ta sẽ nghiên cứu bài toán khai triểnthành ma trận nguyên (Integer Matrix Factorization - IMF) sau đây:

3

Cho trước ma trận nguyên A ∈ Zm×n, một metric cảm sinh d và một sốdương k < min{m, n}, bài toán đưa ra là tìm ma trận U = (uil) ∈ Zm×k2 ,

∀i = 1, 2, , m với Z2 := {0, 1} và V ∈ Zk×n sao cho phiếm hàm

f (U, V ) := d(A, U V )

đạt cực tiểu

Người ta nghĩ đến việc xây dựng một chương trình cơ bản trước hết là xấp

xỉ hạng một rồi sử dụng phương pháp đệ quy, chia ma trận xấp xỉ thành tổngcác ma trận hạng một với những phần tử rời rạc Năm 2011, định lý Eckart -Young dạng rời rạc cho ma trận nguyên ra đời: Giả sử ma trận A ∈ Zm×n đượcphân tích thành A ≈ U V với U ∈ Zm×p2 và V ∈ Zp×n bởi Thuật toán 3 (XemMục 3.4, Chương 3) Sắp xếp lại các hàng

d(A, u1v1) ≤ d(A, u2v2) ≤ · · · ≤ d(A, upvp)

Khi đó, cho k = 1, 2, , p, tích UkVk, trong đó Uk và Vk là các ma trận concủa U và V cho trước bởi:

Cấu trúc của luận văn gồm ba chương:

Chương 1 "Kiến thức chuẩn bị" hệ thống lại các khái niệm và tính chấtcủa chuẩn vectơ, chuẩn ma trận, tính trực giao, khai triển thành giá trị kì dị

Chương 2 "Định lý Eckart Young" trình bày hai định lý là Eckart Young cổ điển và Eckart - Young mở rộng.

-Chương 3 "Định lý Eckart - Young dạng rời rạc cho ma trậnnguyên" khai triển ma trận ban đầu thành hai ma trận nguyên và trình bàycác thuật toán tìm khai triển với hai khoảng cách thông dụng là khoảng cáchHamming và khoảng cách Euclide Cuối cùng chúng tôi trình bày định lý Eckart

- Young dạng rời rạc cho ma trận nguyên

Luận văn này được hoàn thành tại Viện Toán học, Viện hàn lâm Khoa học

và Công nghệ Việt Nam Tác giả luận văn xin cảm ơn TS Lê Hải Yến đã dànhnhiều thời gian hướng dẫn tận tình giúp tác giả hoàn thiện luận văn

Tác giả cũng xin bày tỏ lòng biết ơn các thầy cô và cán bộ công nhân viêncủa Viện Toán học đã quan tâm giúp đỡ trong suốt quá trình tác giả học tập

và nghiên cứu tại Viện

Hà Nội, ngày 30 tháng 3 năm 2015

Học viênNguyễn Thị Hoàng Khuyên

Một số ký hiệu chung

Rm×n tập tất cả các ma trận thực cỡ m × n

A = (aij)m×n ma trận A cỡ m × n với các thành phần aij

null(A) tập không điểm của ma trận A

span{v1, v2, , vn} không gian sinh bởi n vectơ

dim(S) số chiều của không gian con S

diagmn(d1, d2, , dp) ma trận đường chéo cỡ m × n với p = min{m, n}

σi(A) giá trị kì dị thứ i của ma trận A

ΣA khai triển thành giá trị kì dị của ma trận A

Σk khai triển thành giá trị kì dị của ma trận Ak

6

• Chuẩn 1 (chuẩn cực đại theo cột)

• Chuẩn ∞ (chuẩn cực đại theo hàng)

Đặc biệt, p = 2 ta được chuẩn Frobenius Kí hiệu: kAkF Chuẩn Frobenius cónhiều cách định nghĩa khác nhau:

kAkF =

vuut

kAkF = ptr(ATA)

Ngoài ra, chuẩn Frobenius còn một định nghĩa khác sẽ được nhắc đến trong

Khi đó, kAkF =ptr(ATA) = √

21 + 30 + 47 = √

98

Định nghĩa 1.3.1 Tập các vectơ {x1, x2, , xp} khác vectơ không trong Rn

là trực giao nếu xTi xj = 0 khi i 6= j và trực chuẩn nếu xT

Mệnh đề 1.3.4 Cho A là ma trận vuông cấp n với hệ số thực, khi đó

(i) A là ma trận trực giao khi và chỉ khi hệ vectơ cột của A lập thành một

cơ sở trực chuẩn của Rn với tích vô hướng chuẩn tắc của Rn

(ii) A là ma trận trực giao khi và chỉ khi hệ vectơ dòng của A lập thành cơ

sở trực chuẩn của Rn với tích vô hướng chuẩn tắc của Rn

Mệnh đề 1.3.5 Giả sử A là ma trận vuông cấp n với hệ số thực Trên khônggian vectơ Euclide Rn với tích vô hướng chuẩn tắc, các kết quả sau là tươngđương:

(i) A là ma trận trực giao;

(ii) kAxk2 = kxk2, ∀x ∈ Rn;

(iii) hAu, Avi = hu, vi, ∀u, v ∈ Rn

Định lý 1.3.6 Mọi hệ gồm những vectơ khác không, đôi một trực giao đều là

mà hxj, xii 6= 0, suy ra

kj = 0, ∀j = 1, 2, , m

Định lý 1.3.7 Giả sử S = {v1, v2, , vr} là họ các vectơ trực chuẩn trong

Rn Khi đó, ta có thể bổ sung n − r vectơ vào S để thu được một hệ cơ sở trựcchuẩn

Định lý 1.3.8 Nếu S = {v1, v2, , vn} là hệ cơ sở trực chuẩn của không gian

Rn thì với mọi vectơ u trong Rn ta có

u = hu, v1iv1+ hu, v2iv2+ · · · + hu, vnivn.Chứng minh Vì S là một cơ sở của Rn nên tồn tại các số thực c1, c2, , cnsao cho

u = c1v1+ c2v2+ · · · + cnvn.Nhân vô hướng hai vế với vi (∀i = 1, 2, , n) ta được

hu, vii = hc1v1+ c2v2+ · · · + cnvn, vii

= c1hv1, vii + · · · + cnhvn, vii

Vì S trực chuẩn nên hvj, vii = 0, ∀j 6= i và hvi, vii = 1

Do đó hu, vii = ci, suy ra u = hu, v1iv1+ hu, v2iv2 + · · · + hu, vnivn 

Bổ đề 1.3.9 [6, p 75] Nếu Q ∈ Rn×n là ma trận trực giao và vectơ x ∈ Rnthì

kQxk2

2 = kxk22.Chứng minh Theo định nghĩa chuẩn 2 của vectơ, ta có

1.4 Tập ảnh, tập không điểm, hạng của một ma

rank(A) = dim(ran(A))

Nếu A ∈ Rm×n thì

dim(null(A)) + rank(A) = n

Hạng của ma trận A còn là số lớn nhất các cột (hay hàng) độc lập tuyến tính

Chuẩn Frobenius và chuẩn 2 của ma trận bất biến với phép nhân trái vàphải với các ma trận trực giao Tính chất này được thể hiện ở hai định lý sauđây:

Định lý 1.5.1 [6, p 75] Cho A ∈ Rm×n, nếu hai ma trận Q ∈ Rm×m và

Z ∈ Rn×n là các ma trận trực giao thì

kQAZkF = kAkF

Chứng minh Theo định nghĩa chuẩn Frobenius, ta có

kZTATk2F = kATk2F = kAk2F(dựa vào định nghĩa chuẩn Frobenius ta được kATkF = kAkF) Định lý 1.5.2 [6, p 75] Cho A ∈ Rm×n, nếu hai ma trận Q ∈ Rm×m và

Z ∈ Rn×n là các ma trận trực giao thì

kQAZk2 = kAk2.Chứng minh Theo định nghĩa của chuẩn 2:

kQAk22 =

sup

x6=0

kQAxk2kxk2

2

Do Q là ma trận trực giao nên theo Bổ đề 1.3.9, ta có

sup

1.6 Khai triển thành giá trị kì dị (SVD)

Có rất nhiều cách khai triển ma trận như QR decomposition, LU position , nhưng ở đây chúng tôi quan tâm đến khai triển thành giá trị kì

decom-dị (Singular Value Decomposition - SVD) Trong khai triển SVD, người ta sửdụng các ma trận trực giao để đưa ma trận ban đầu về dạng đường chéo SVD

có vai trò rất quan trọng trong xử lí dữ liệu và bài toán tìm ma trận gần nhất

1.6.1 Định lý về sự tồn tại của khai triển thành giá trị kì dị

Định lý sau đây đưa ma trận A ban đầu về dạng đường chéo dựa vào việcnhân nó với các ma trận trực giao Định lý này có thể làm giảm độ phức tạptính toán và được sử dụng cho việc chứng minh các định lý ở những chươngsau

Chứng minh Xét x ∈ Rn và y ∈ Rm là các vectơ đơn vị theo chuẩn 2 thỏamãn: Ax = σy với σ = kAk2 Từ Định lý 1.3.7, tồn tại V2 ∈ Rn×(n−1) và

"

yT

U2T

#[Ax| AV2]

yTσy yTAV2

U2Tσy U2TAV2

#

Do kyk2 = 1 nên yTσy = σkyk22 = σ Hơn nữa, U trực giao nên

"

σ WT

#, ta có

A1

"

σW

#

=

"

σ2+ WTWBW

#

Do đó

A1

"

σW

2 2

kA1k2

2 =

sup

kσ

Wk2 2

Theo tính chất bất biến của chuẩn 2 ta có

kUTAV k22 = kAk22

Do ta đặt UTAV = A1 nên kUTAV k22 = kA1k2

2; vì vậykAk22 = kA1k22 = σ2 (∗∗)

• kAk2 = σ1(A);

• kAkF =

vuut

min{m,n}

X

i=1

σ2i(A)

(Xem chứng minh ở Hệ quả 1.6.5)

Ví dụ 1.6.2 • Nếu A là ma trận cỡ 3 × 2 thì khai triển kì dị của A sẽ có dạng

• Nếu A là ma trận cỡ 2 × 3 thì khai triển kì dị của A sẽ có dạng

(ii) Bất đẳng thức Von Neuman về vết của ma trận ATB sẽ phục vụvào việc chứng minh Định lý 2.1.1 ở Chương 2 Định lý được phát biểu nhưsau:

Cho hai ma trận A và B trong không gian Rm×n Gọi σi(A) và σi(B) lầnlượt là các giá trị kì dị của A và B Khi đó

tương ứng Vì vậy, khai triển thành giá trị kì dị của A có thể được tính theocác bước sau:

• Tính ATA, AAT (ma trận nửa xác định dương);

• Tính giá trị riêng của ATA, AAT;

• Tính σi(A) = pλi(ATA) (với λi(ATA) là giá trị riêng thứ i của ma trận

dị của A được tính như sau:

Bước 2 Tính các giá trị riêng và các vectơ riêng tương ứng của ATA, AAT

• Giá trị riêng của ATA là nghiệm của phương trình:

#

+ Với λ = 14, giải phương trình

#

Trực giao hóa ma trận tạo bởi các vectơ riêng trên ta sẽ thu được ma trận

3

√133

√13

2

√13

Giải phương trình trên ta được ba giá trị riêng là λ = 0 hoặc λ = 1 hoặc

+ Với λ = 14, giải phương trình









+ Với λ = 0, giải phương trình

Trực giao hóa ma trận tạo bởi các vectơ riêng trên ta sẽ thu được ma trận

−2

√182

2

√14

0 √13

182

1

√14

−2

√13

3

√182

−3

√14

Bước 3 Khai triển thành giá trị kì dị ma trận A.

Các giá trị kì dị được tính theo các giá trị riêng là σ1 = 1, σ2 = √

14 Khi đó,khai triển thành giá trị kì dị của ma trận A là

−2

√182

13

√182

3

√1822

√14

1

√14

−3

√14

3

√133

√13

2

√13

3

√1342

√182

28

√182

3

√133

√13

2

√13

(iv) Ta dùng kí hiệu σi(A) để chỉ giá trị kì dị lớn nhất thứ i của matrận A Ngoài ra, ta có các kí hiệu đặc biệt:

σmax(A) = giá trị kì dị lớn nhất của A;

σmin(A) = giá trị kì dị nhỏ nhất của A

Hệ quả 1.6.4 Nếu UTAV = Σ là khai triển giá trị kì dị của A ∈ Rm×n và

m ≥ n, thì Avi = σiui và ATui = σivi, ∀i = 1, 2, , n (với ui, vi là các vectơ

kì dị trái và vectơ kì dị phải của A)

Chứng minh Ta sẽ so sánh các cột trong AV = U Σ và ATU = V ΣT.

Thật vậy, vì UTAV = Σ nên AV = U Σ

Ta có

AV = A[v1| v2| · · · | vn] = [Av1| Av2| · · · | Avn]; (1.1)và

. .

0 0 · · · σn

Avn = unσn;hay Avi = σiui, ∀i = 1, 2, , n

Lại có

ΣT = (UTAV )T = VTATU nên V ΣT = ATU

Mặt khác

ATU = AT[u1| u2| · · · | um] = [ATu1| ATu2| · · · | ATun| · · · | ATum]; (1.3)

Chứng minh Các kết quả được suy ra ngay lập tức từ kUTAV k = kΣk cho cảchuẩn 2 và chuẩn Frobenius.

Thật vậy, theo tính chất bất biến của chuẩn kAk2 ta có

kAk2 = kUTAV k2 = kΣk2.Khi đó, ta sẽ tính kAk2 theo kΣk2 Ta có

kΣk2 = sup

x6=0

kΣxk2kxk2 , ∀x ∈ Rn,

kΣkF =

vuut

p

X

i=1

σ2 i

nên ta được

kAkF = kΣkF =

vuut

Hệ quả 1.6.6 Nếu A ∈ Rm×n và E ∈ Rm×n thì

σmax(A + E) ≤ σmax(A) + kEk2;

σmin(A + E) ≥ σmin(A) − kEk2.Chứng minh

Có σmax(A + E) = σ1(A + E) Theo Hệ quả 1.6.4, tồn tại hai vectơ v1, u1 saocho

(A + E)v1 = σ1(A + E)u1.Đồng thời σmax(A) = σ1(A) nên tồn tại hai vectơ v10, u01 sao cho

Av10 = σ1(A)u01

Mặt khác, theo Hệ quả 1.6.5, σ1(A) = kAk2 = sup

x6=0

kAxk2kxk2 (theo định nghĩachuẩn 2 của ma trận) nên

kA + Ek2 ≤ σmax(A) + kEk2

Mà kAk2 = σ1(A) (theo Hệ quả 1.6.5) nên

σ1(A + E) = σmax(A + E) ≤ σmax(A) + kEk2



Hệ quả 1.6.7 Nếu A có r giá trị kì dị khác không thì rank(A) = r và

null(A) = span{vr+1, vr+2, , vn};

ran(A) = span{u1, u2, , ur}

Chứng minh Hạng của ma trận chéo bằng số các phần tử đường chéo chínhkhác 0 nên rank(Σ) = rank(UTAV ) = r Mà rank(UTAV ) = rank(A) nênrank(A) = r

Vì A có r giá trị kì dị khác không nghĩa là σ1(A) ≥ σ2(A) ≥ ≥ σr(A) > 0

và σr+1 = σr+2 = · · · = σp = 0 nên theo Hệ quả 1.6.4, ta có

giả nghịch đảo của ma trận A với SVD là A = U ΣVT là A+ = U Σ+VT, trong

đó Σ+là giả nghịch đảo của Σ được hình thành bởi việc thay mỗi phần tử khác

0 trên đường chéo bằng cách nghịch đảo và sau đó lấy chuyển vị của ma trậnthu được

∗ Giải phương trình tuyến tính thuần nhất Ax = 0

Với ma trận A cho trước, ta muốn tìm vectơ x khác 0 thỏa mãn phươngtrình Ax = 0 Vectơ x thỏa mãn phương trình đó thuộc tập không điểm của A

và đôi khi nó còn được gọi là vectơ không điểm (phải) của A Vectơ x có thểđược coi như là một vectơ kì dị phải của A ứng với giá trị kì dị 0 Nghĩa là,nếu A là ma trận vuông và không có giá trị kì dị bằng 0 thì phương trình sẽkhông có nghiệm x khác 0 Điều đó cũng có nghĩa là nếu A có nhiều giá trị kì

dị bằng 0, thì bất kì tổ hợp tuyến tính nào của các vectơ kì dị (phải) cũng làmột nghiệm của phương trình Ax = 0

∗ Cực tiểu tổng bình phương

Bài toán cực tiểu tổng bình phương là bài toán tìm vectơ x sao cho kAxk2nhỏ nhất với ràng buộc kxk2 = 1 Nghiệm của bài toán này chính là vectơ kì

dị phải của A ứng với giá trị kì dị nhỏ nhất

∗ Mặt khác, SVD cho ta một biểu diễn tường minh không gian ảnh và khônggian không điểm của ma trận A Các vectơ kì dị (phải) ứng với các giá trị kì

dị bằng 0 của A chính là hệ sinh của không gian không điểm Các vectơ kì dị(trái) ứng với các giá trị kì dị khác 0 của A là hệ sinh của không gian ảnh của

A Hệ quả là hạng của A bằng số các giá trị kì dị khác 0 hay chính là số cácphần tử đường chéo khác 0 trong Σ

∗ Xấp xỉ ma trận hạng thấp

Một bài toán xuất hiện nhiều trong các ứng dụng thực tế là bài toán xấp

xỉ ma trận A bởi ma trận eA có hạng r cho trước Trong trường hợp việc xấp

xỉ dựa trên cực tiểu chuẩn Frobenius của hiệu số giữa A và eA với ràng buộcrank( fM ) = r, nghiệm eA có thể được xác định thông qua SVD của A Cụ thể

là eA = U eΣVT, trong đó eΣ là ma trận tương tự như Σ nhưng nó chỉ chứa r giátrị kì dị lớn nhất (các giá trị kì dị khác bằng 0) Điều này được thể hiện trong

định lý Eckart - Young (Chương 2, Định lý 2.1.1) chứng minh bởi hai tác giảEckart và Young vào năm 1936.

Chương 2

Định lý Eckart - Young

Chương 2 gói gọn trong hai định lý đó là định lý Eckart - Young cổ điểnchứng minh cho chuẩn 2 và định lý Eckart - Young mở rộng chứng minh chochuẩn Frobenius Chương này được tác giả tham khảo từ tài liệu [4] và [6]

Định lý 2.1.1 do hai nhà toán học Eckart và Young đưa ra vào năm 1936.Định lý nói rằng khoảng cách (ứng với chuẩn 2) từ ma trận A đến tập tất cảcác ma trận có hạng bằng k (nhỏ hơn hạng của ma trận A) đúng bằng giá trị

Bước 1 Ta có rank(Ak) = rank(UTAkV ) = rank(Σk), mà