MatrixComputations-3

MatrixComputations-3

cơ sở đại số tuyến tính cho giá trị

kỳ dị

1.1 Chuẩn vector.

Định nghĩa 1.1.1 Cho a1, , an∈ Rm, khi đó

span{a1, , an} = {

n

X

j=1

βjaj : βj ∈ R}

Định nghĩa 1.1.2 (Chuẩn vector ) Một chuẩn vector trên Rn là một hàm f :

Rn → R thỏa:

(i)f (x) ≥ 0 x ∈ Rn, (f (x) = 0, x = 0)

(ii)f (x + y) ≤ f (x) + f (y) x, y ∈ Rn

(iii)f (αx) = |α|f (x) α ∈ R, x ∈ Rn

Ký hiệu, kxk - chuẩn x

kxkp = (|x1|p+ · · · + |xn|p)1p p ≥ 1 : p-chuẩn của x

Các chuẩn quan trọng:

kxk1 = |x1| + · · · + |xn| kxk2 = (|x1|2+ · · · + |xn|2)1 = (xTx)1 kxk∞ = max1≤i≤n|xi|

* Các tính chất của chuẩn vector

(i) Bất đẳng thức Holder:

|xTy| ≤ kxkpkykq, 1

p+

1

q = 1.

(ii) Bất đẳng thức Cauchy-Schwartz:

|xTy| ≤ kxk2kyk2 (iii) Mọi chuẩn trên Rn đều tương đương, i.e nếu k.kα và k.kβ là các chuẩn trên Rn, thì tồn tại c1 và c2 sao cho

c1kxkα ≤ kxkβ ≤ c2kxkα Khi đó, một dãy hội tụ trong α - chuẩn thì cũng hội tụ trong β - chuẩn

1.2 Chuẩn Ma trận.

Định nghĩa 1.2.1 Cho A là một ma trận cấp m × n, ta có các khái niệm sau ran(A) = {y ∈ Rm : y = Ax, x ∈ Rn} - Miền giá trị (range) của A

null(A) = {x ∈ Rn : Ax = 0} - không gian rỗng (null space) của A

Nếu A = {a1, , an} là một phân hoạch cột, thì

ran(A) = span{a1, , an}

Định nghĩa 1.2.2 (Đạo hàm) Cho A(α) = (aij(α))m×n Nếu (aij(α)) là các hàm khả vi theo biến α, thì ma trận A(α) có đạo hàm

A0(α) = d

dαA(α) = (

d

dαaij(α)) = (a

0

ij(α))

Giả sử A(α) ∈ Rm×r, B(α) ∈ Rr×n là các ma trận của các hàm khả vi theo biến α, khi đó

d

dα[A(α)B(α)] = [

d

dαA(α)]B(α) + A(α)[

d

dαB(α)]

Định nghĩa 1.2.3 (Chuẩn ma trận) Hàm f : Rm×n → R được gọi là một chuẩn ma trận nếu thỏa:

(i) f (A) ≥ 0 A ∈ Rm×n, (f (A) = 0, A = 0)

(ii) f (A + B) ≤ f (A) + f (B) A, B ∈ Rm×n

(iii) f (αA) = |α|f (A) α ∈ R, A ∈ Rm×n

Ký hiệu, kAk - chuẩn của ma trận A

Chuẩn ma trận được dùng nhiều trong đại số tuyến tính số đó là Frobenius-chuẩn:

kAkF =

v u u t

m

X

i=1

n

X

j=1

|a2

ij|

p - chuẩn:

kAkp = sup

x6=0

kAxkp

kxkp = supx6=0 k A(

x kxkp) kp= maxkxk p =1kAxkp

Nhận xét kABkp ≤ kAkpkBkp

Ta nói rằng các chuẩn f1, f2, f3 trên Rm×q, Rm×n, Rn×q là tương hỗ nhất quán (mutually consistent ) nếu với mọi A ∈ Rm×n, B ∈ Rn×q, ta có

f1(AB) ≤ f2(A)f3(B)

Nói chung, không phải tất cả các chuẩn đều thỏa: kABk ≤ kAkkBk.

Chẳng hạn, nếu kAk4 = max |aij| và

A = B = 1 1

1 1

 ,

thì kABk4 > kAk4kBk4

p - chuẩn có một tính chất quan trọng: với mọi A ∈ Rm×n và x ∈ Rn ta có kAxkp ≤ kAkpkxkp Tổng quát hơn, với mọi chuẩn vector k.kα trên Rn và k.kβ trên Rm, ta có

kAxkβ ≤ kAkα,βkxkα

với

kAkα,β = sup

x6=0

kAxkβ kxkα . Khi đó, ta nói k.kα,β là phụ thuộc (subordinate) k.kα và k.kβ Do {x ∈ Rn : kxkα = 1} là compact và k.kβ là liên tục, ta nhận được

kAkα,β = max

kxk α =1kAxkβ = kAx∗kβ với x∗ ∈ Rn có α-chuẩn bằng 1

1.2.1 Các tính chất

Cho A ∈ Rm×n ta có các tính chất sau:

kAk2 ≤ kAkF ≤√nkAk2

max

i,j |aij| ≤ kAk2 ≤√mn max

i,j |aij|

kAk1 = max

1≤j≤n

m

X

j=1

|aij|

kAk∞ = max

1≤j≤m

n

X

j=1

|aij|

1

√

nkAk∞≤ kAk2 ≤√mkAk∞

1

√

mkAk1 ≤ kAk2 ≤√nkAk1

Nếu 1 ≤ i1 ≤ i2 ≤ m, 1 ≤ ji1 ≤ j2 ≤ n, thì

kA(i1 : i2, j1 : j2)kp ≤ kAkp Một dãy {A(k)} ∈ Rm×n hội tụ nếu

lim

k→∞kA(k)− Ak = 0

Định lý 1.2.1 Nếu A ∈ Rm×n, thì tồn tại z ∈ Rn, kzk2 = 1 sao cho ATAz =

µ2z, µ = kAk2

Chứng minh Giả sử z ∈ Rn, kzk2 = 1 sao cho kAzk2 = kAk2 Đặt

g(x) = 1

2

kAxk2 2

kxk2 2

= 1 2

xTATAx

xTx Khi đó, ∇g(z) = 0, nên ta nhận được

∂g(z)

∂zi = [(z

Tz

n

X

j=1

(ATA)ijzj − (zTATAz)zi]/(zTz)2 = 0

⇒

n

X

j=1

(ATA)ijzj = (zTATAz)zi

⇔

m

X

i=1

n

X

j=1

(ATA)ijzj =

m

X

i=1

(zTATAz)zi

⇔ ATAz = (zTATAz)z = kAzk22 Đặt µ = kAzk2 = kAk2 

Chú ý 1 Theo kết quả định lý, kAk2

2 chính là nghiệm của phương trình đặc trưng p(λ) = det(ATA − λI) = 0

Hệ quả 1.2.1 Nếu A ∈ Rm×n, thì kAk2 ≤pkAk1kAk∞

Chứng minh Nếu z 6= 0 sao cho ATAz = µ2z, µ = kzk2, thì

µ2kzk1 = kATAzk1 ≤ kATk1kAk1kzk1 = kAk∞kAk1kzk1 

1.2.2 Phép nhiễu và nghịch đảo.

Bổ đề 1.2.1 Nếu F ∈ Rn×n và kF kp < 1, thì I − F là không suy biến và

(I − F )−1 =

∞

X

k=0

Fk

với

k(I − F )−1kp ≤ 1

1 − kF kp.

Chứng minh Giả sử I − F là suy biến Khi đó, phương trình (I − F )x = 0

có nghiệm x 6= 0 và kIxkp = kF xkp suy ra kxkp = kF xkp ≤ kF kpkxkp, vậy

kF kp ≥ 1 (mâu thuẩn) Vậy I − F là không suy biến

Xét đồng nhất thức

(

N

X

k=0

Fk)(I − F ) = I − FN +1

Do kF kp < 1 và kFkkp ≤ kF kk

p nên limk→∞Fk= 0

Như vậy,

( lim

N →∞

N

X

k=0

Fk)(I − F ) = I

Điều đó chỉ ra rằng

(I − F )−1 = ( lim

N →∞

N

X

k=0

Fk) =

∞

X

k=0

Fk

Và khi đó,

k(I − F )−1kp = k

∞

X

k=0

Fkkp ≤

∞

X

k=0

kF kk

p = 1

1 − kF kp



Theo kết quả định lý, ta có k(I − F )−1− Ikp ≤ kF kp

1−kF k p Định lý 1.2.2 Nếu A là không suy biến và r = kA−1Ekp < 1, thì A + E là không suy biến và k(A + E)−1− A−1kp ≤ kEkpkA−1k2

p/(1 − r)

Chứng minh Từ A là không suy biến suy ra A + E = A(I − F ), với F =

−A−1E Khi đó, kF kp = r < 1, theo bổ đề trên I − F là không suy biến và

k(I − F )−1kp < 1/(1 − r) Ta có, (A + E)−1 = (A(I − F ))−1 = (I − F )−1A−1,

do đó

k(A + E)−1kp ≤ kA

−1kp

1 − r .

áp dụng: B−1 = A−1 − B−1(B − A)A−1 ta nhận được (A + E)−1 − A−1 =

−A−1E(A + E)−1, và khi đó

k(A + E)−1− A−1kp ≤ kA−1kpkEkpk(A + E)−1kp = kA−1k2

pkEkp

1 − r . 

1.3 Tính trực giao.

Một tập các vector {x1, · · · , xp} ⊂ Rm là trực giao nếu xT

i xj = 0, ∀i 6= j Phần bù trực giao của S ⊆ Rm dược định nghĩa

S⊥ = {y ∈ Rm : yTx = 0, ∀x ∈ S}

Ma trận Q ∈ Rm×m được gọi là trực giao nếu QTQ = I

Định lý 1.3.1 Nếu V1 ∈ Rn×r có các cột trực giao, thì tồn tại V2 ∈ Rn×(n−r)

để cho V = [V1V2] là trực giao

Khi đó, ran(V1)⊥= ran(V2)

Nhận xét

(ii) Nếu QTQ = I, thì kQxk2

2 = xTQTQx = xTx = kxk2

2 (ii) Nếu Q và Z là các ma trận trực giao, thì

kQAZkF = kAkF, |QAZk2 = kAk2

-Phân tích giá trị kỳ dị (SVD).

Không gian Rn trang bị tích vô hướng < , >

Định lý 2.1 Cho L : Rn → Rm là ánh xạ tuyến tính Khi đó tồn tại cơ sở trực chuẩn e1, , en của Rn và ´e1, , ´em của Rm, và các số λ1 ≥ ≥ λr > 0, với r = rankL, sao cho

Lej = λje´j (j = 1, , r), Lej = 0 (j = r + 1, , n)

Chứng minh Xét dạng toàn phương trên Rn : q(x) =< Lx, Lx >= xTATAx Tồn tại cơ sở trực chuẩn e1, , en của Rn sao cho

q(x) =

n

X

k=1

λ2kx2k, với x =

n

X

k=1

xkek,

và λ1 ≥ ≥ λr > 0 = λr+1 = = λn

Khi đó, ´ej = λ1

jLej, j = 1, , r, là hệ trực chuẩn, nên có thể bổ sung thành

hệ cơ sở trực chuẩn của Rm Đó là cơ sở thỏa định lý 

Dạng ma trận của định lý trên là:

Định lý 2.2 (Singular Value Decomposition (SVD))

Cho A là một m × n - ma trận thực Khi đó, tồn tại các ma trận trực giao

U = (u1, , um) ∈ Rm×m và V = (v1, , vn) ∈ Rn×n và các số λ1 ≥ · · · ≥

λq≥ 0, với q = min(m, n), sao cho

UTAV = diag(λ1, , λq) ∈ Rm×n Chứng minh Cho x ∈ Rn và y ∈ Rm là các vector đơn vị trong 2-chuẩn thỏa

Ax = λy, λ = kAk2 Khi đó, tồn tại V2 ∈ Rn×(n−1) và U2 ∈ Rm×(m−1) để cho

V = [xV2] ∈ Rn×n và U = [yU2] ∈ Rm×m là các ma trận trực giao Khi đó,

UTAV = λ wT

0 B



= A1, B = U2TAV2 ∈ R(m−1)×(n−1)

Ta có,

kA1

 λ w



k22 = (λ w)AT1A1

 λ w



≥ (λ2+ wTw)2

Do đó, kA1k2

2 ≥ (λ2+ wTw) Mà λ2 = kAk2

2 = kA1k2

2, nên ta nhận được w = 0 Tiếp tục, chứng minh quy nạp với B = U2TAV2 ∈ R(m−1)×(n−1), ta nhận được chứng minh của định lý 

Định nghĩa 2.1 Các giá trị λi = λi(L), i = 1, , q trong các định lý trên được gọi là các giá trị kỳ dị của L hay của A, ui và vi được gọi là các vector

kỳ dị trái thứ i và phải thứ i tương ứng λ0(L) = 1

Ví dụ

A = 0.96 1.72

2.28 0.96



= U DVT = −0.8 0.6

0.6 0.8

  1 0

0 3

  0.6 0.8

−0.8 0.6

T

A = 0.96 1.72

2.28 0.96



= U DVT = 0.6 −0.8

0.8 0.6

  3 0

0 1

  0.8 0.6 0.6 −0.8

T

3 Hình học của các giá trị kỳ dị.

Không gian vector tích ngoại thứ k của Rn,Vk

Rn, cảm sinh tích vô hướng:

< w, ´w >= det(< vi, ´vj >)1≤i,j≤k, với w = v1 ∧ · · · ∧ vk, ´w = ´v1∧ · · · ∧ ´vk Khi đó,

kv1∧ · · · ∧ vkk = V olk(v1, · · · , vk)

Mỗi ánh xạ tuyến tính L : Rn → Rm, sinh ra ánh xạ tuyến tính

Lk:

k

^

Rn →

k

^

Rm, Lk(v1∧ · · · ∧ vk) = Lv1∧ · · · ∧ Lvk

Ký hiệu wk(L) = kLkk = maxkwk=1kLk(w)k, w0(L) = 1(k = 1, · · · , q = min(m, n))

Theo chứng minh định lý trên ta có:

Mệnh đề 3.1 Gọi r = rank L Khi đó

(i) L(Bn(0, 1)) là một ellipsoid r-chiều, với độ dài các nửa trục là λ1(L), · · · , λr(L) (ii) wk(L) = λ0(L) · · · λk(L) = max{V olk(L(C)) : C hộp đơn vị k-chiều trong

Rn}

Chứng minh: Xem [6]

Từ các định lý trên, ta có nhận xét:

(i) rank L = r khi và chỉ khi λr(L) > 0, λr+1 = 0

(ii) Trong phân tích SVD, gọi D = diag(λ1, , λq) ∈ Rm×n, khi đó, AV =

U D, ATU = V DT, và ta có

Avi = λiui

ATui = λivi



i = 1 : minm, n

A = U DVT =

q

X

k=1

λkukvTk

(iii)

kAk2 = λ1, λi(A) = uTi Avi

min

x6=0

kAxk2 kxk2

= λq, q = min{m, n}

Định lý 4.1 Giả sử A ∈ Rm×ncó phân tích SVD UTAV = diag(λ1, · · · , λr) ∈

Rm×n Nếu k < r = rank(A) và

Ak =

k

X

i=1

λiuiviT,

thì

min

rank(B)=kkA − Bk2 = kA − Akk2 = λk+1 Chứng minh Do UTAkV = diag(λ1, · · · , λk, 0, · · · , 0), nên rank(Ak) = k, và

do UT(A − Ak)V = diag(0, · · · , 0, λk+1, · · · , λr, 0, · · · , 0), nên kA − Akk2 =

λk+1

Giả sử B ∈ Rm×n, rank(B) = k Khi đó, tồn tại hệ trực chuẩn {x1, · · · , xn−k} ⊂

Rn sao cho null(B) = span{x1, · · · , xn−k} Từ số chiều suy ra

null(B) = span{x1, · · · , xn−k} ∩ span{v1, · · · , vk+1} 6= {0}

Giả sử z là vector đơn vị trong tập giao trên Do Bz = 0 và

Az =

k+1

X

i=1

λi(viTz)ui, (do vk+jT z = 0, j = 2, · · · )

nên ta có

kA − Bk22 ≥ k(A − B)zk22 = kAzk22 =

k+1

X

i=1

λ2i(viTz)2 ≥ λ2k+1

Từ đó suy ra kết quả định lý 

Nhận xét

(i) Các giá trị kỳ dị đo khoảng cách đến các tập kỳ dị:

Giá trị kỳ dị nhỏ nhất của A là khoảng cách (theo 2- chuẩn) của A đến tập tất cả các ma trận có hạng khuyết (≤ rank(A)) Nói cách khác, với 0 ≤ k <

q = min(m, n), đặt Σk = {L ∈ L(Rm, Rn: rank(L) = k} Khi đó

λk+1(L) = d(L, Σk) = d(L, Σ0∪ · · · ∪ Σk)

(ii) ε − rank của một ma trận A, được ký hiệu và xác định

rε= rank(A, ε) = min

kA−Bk 2 ≤εrank(B)

Khi đó ta có

λ1(A) ≥ · · · ≥ λrε(A) > ε ≥ λrε+1(A) ≥ · · · ≥ λq, q = min(m, n)

(iii) Cho A là ma trận vuông cấp n khả nghịch Khi đó hệ phương trình tuyến tính Ax = b có duy nhất nghiệm x = A−1b

Theo phân tích SVD,

A =

n

X

i=1

λiuiviT = U DVT,

nên

x = (U DVT)−1b =

n

X

i=1

uT

ib

λi vi. Vậy nếu λn bé, A, b thay đổi nhỏ dẫn tới x thay đổi lớn

Định lý 5.1 (Eckart-Young) Khi A là ma trận khả nghịch cấp n,

λn(A) = d(A, Σn−1) = 1

kA−1k.

Chứng minh Từ phân tích SVD của A, ta có phân tích SVD A−1 = (U DVT)−1 =

V D−1UT

Suy ra kA−1k = λ1(A−1) = λ 1

Một chứng minh khác xem [1]

Số Rabier Cho A ∈ L(Rn, Rm) Đặt

ν(A) = inf

kϕk=1kA∗ϕk, trong đó A∗ là ánh xạ liên hợp của A

Ta có ν(A) > 0 ⇔ A là toán ánh Các tính chất của số Rabier xem [3, 4, 5] Khi n ≥ m, ν(A) = λm(A) = min{|λ| : λ2 là giá trị riêng của AA∗}

Số Kuo Cho A = (A1, · · · , Am) ∈ L(Rn, Rm) Ký hiệu Ai = grad Ai, < (Aj)j6=i> là không gian tuyến tính được sinh ra bởi các Aj, j 6= i Đặt

k(A) = min

1≤k≤md(Ak, < (Aj)j6=k >)

là số Kuo của A

Mệnh đề 5.1 ν(A) ≤ k(A) ≤√

mν(A) (i.e ν(A) ∼ k(A))

Chứng minh: Xem [4]

Số Gaffney Cho A là một m × n- ma trận (n ≥ m) Đặt MI, với I = (i1, · · · , im), là m-minor của A tạo bởi các cột có chỉ số trong I Đặt MJ(j) là (m − 1) − minor tạo bởi các cột có chỉ só trong J bỏ đi cột thứ j (nếu m = 1 đặt MJ(1) = 1) Đặt

g(A) = max

I min

J ⊂I

|MI|

|MJ(j)|. Mệnh đề 5.2 ν(A) ∼ g(A), i.e ∃ c(m, n), C(m, n) > 0, sao cho cν(A) ≤ g(A) ≤ Cν(A)

Chứng minh: Xem [3]

Tài liệu

[1] Blum L, Cucker F, Shub M, Smale S, Complexity and Real Computation, Springer-Verlag (1998)

[2] Golub G.H và van Loan C.F, Matrix computation, Johns Hopkins Univ Press (1983)

[3] Jenlonek Z và Kurdyka K, Quantitative Generalalized Bertini-Sard Theo-rem for Smooth Affine Varieties, preprint (2003)

[4] Kurdyka K, Orro P và Simon S, Semialgebraic Sard theorem for generalized critical values, J.Differential Geom 56 (2000), 67-92

[5] Rabier P.J Ehresmann fibrations and Palais-Smale conditions for mor-phisms of Finsler manifolds, Ann of Math 146 (1997), 647-691

[6] Yosef Yomdin and Georges Comte, Tame Geometry With Application In Smooth Analysis, LNM vol 1834 (2004)

Phan Phiến, 01/2008