Tìm hiểu các phép biến đổi trong xử lý dữ liệu đa phương tiện và ứng dụng

Áp dụng phép biến đổi đơn vị trong nén dữ liệu...3 II.. Tính chất chung của các phép biến đổi đơn vị Các phép biến đổi đơn vị có 3 tính chất chung: - Bảo toàn năng lượng: ||x||2=||y||2 đ

VIỆN CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG

─────── * ───────

Báo cáo xử lí dữ liệu đa

phương tiện

Đề 8: Tìm hiểu các phép biến đổi trong xử lí

dữ liệu đa phương tiện và ứng dụng

Giảng viên hướng dẫn: PGS.TS Nguyễn Thị Hoàng Lan

Sinh viên thực hiện:

Nguyễn Xuân Thạo 20122461

Nguyễn Đình Phúc 20122233

Hà Nội, tháng 5 năm 2016

Mục lục

I Phép biến đổi đơn vị 2

1 Định nghĩa 2

2 Tính chất chung của các phép biến đổi đơn vị 3

3 Áp dụng phép biến đổi đơn vị trong nén dữ liệu 3

II Phép biến đổi KL,PCA 4

1 Phép biến đổi KL 4

1.1 Khái niệm 4

1.2 Cơ sở lý thuyết của phép biến đổi KL 4

1.3 Các bước thực hiện biến đổi KL 5

2 Phép biến đổi PCA 6

III Tìm hiểu thuật toán trích chọn đặc trưng ảnh dựa trên phép biến đổi KL-PCA 7

Tài liệu tham khảo 11

I Phép biến đổi đơn vị

1 Định nghĩa

Trong không gian vector dữ liệu (mảng 1 chiều gồm n giá trị), phép biến đổi đơn vị được định nghĩa bởi:

y=TA.x với điều kiện TA.TA¿T= I

Trong đó:

 x : Ma trận dữ liệu đầu vào có dạng [1*n]={

x1,x2, x3, ,xn }

 y : Ma trận hệ số biến đổi

 TA : Ma trận của phép biến đổi

 TA¿T

: Ma trận chuyển vị của ma trận phức liên hợp của ma trận T A

 I : Ma trận đơn vị

Xét điều kiện trên ta thấy:

T

A−1 T A=I

nếu TA là trực giao thì T A−1=T A

Mặt khác: Nếu TA là ma trận thực thì TA¿= TA⇒ TT A= TA¿

T

Do đó: nếu ma trận TA vừa thực vừa trực giao thì

TA.TA¿

T

= I (điều kiện được thỏa mãn)

Tồn tại một phép biến đổi ngược:

^

x=TS ^y= ∑i Tsi yi

trong đó



T S=T

A−1=T

A∗¿T

⇒T

S .T A=T A T S=I

¿

 Ts

i=( si ,1, si ,2, ,si , n)

chính là hàng thứ i của ma trận TA¿

và cũng là cột thứ i của ma trận TA¿

T

 T s

i được gọi là vector cơ sở của phép biến đổi

Phép biến đổi đơn vị phân tích vector x thành tổ hợp tuyến tính của các vector cơ sở với hệ số phân tích là y

Kì vọng:

E ⟨Φi, ^Φj⟩= δ [ i− j ]

Trong không gian trực chuẩn, TA là ma trận trực giao do

đó ta có:

TS= T

A−1= T

A T  TA T

AT= T

AT.TA= I

E⟨Φ i ,Φ j ⟩= δ [ i− j ]

2 Tính chất chung của các phép biến đổi đơn vị

Các phép biến đổi đơn vị có 3 tính chất chung:

- Bảo toàn năng lượng: ||x||2=||y||2 (đẳng thức Parseval), không gây sai số giữa 2 miền không gian

- Năng lượng tập trung: Đối với ảnh thông thường,

năng lượng phân bố không đều; các thành phần biến thiên nhanh chiếm năng lượng nhỏ trong tín hiệu; nhiều phép biến đổi đơn vị tập trung năng lượng ảnh vào một vài thành phần hệ số biến đổi

- Giải tương quan: Đầu vào là vector có thành phần

tương quan mạnh, qua phép biến đổi sẽ nhận được các thành phần tương quan yếu

3 Áp dụng phép biến đổi đơn vị trong nén dữ liệu

Phép biến đổi áp dụng tốt trong nén dữ liệu cần phải giải tương quan, có tốc độ nén nhanh và chính xác

Đánh giá: Trong các phép biến đổi đơn vị, phương pháp biến đổi KL là tốt nhất về lí thuyết cho nén dữ liệu

Nguyên nhân là vì: Phép biến đổi KL đạt được sự giải tương quan tốt nhất nên về mặt lí thuyết thì đó là phương pháp nén dữ liệu tốt nhất

Tuy nhiên, trong các giải pháp thực tế, phép biến đổi DCT được coi là xấp xỉ tốt cho phép KLT và được dùng theo chuẩn JPEG

Nguyên nhân:

- Phép biến đổi DCT chia tín hiệu và xử lý theo từng khối

để phù hợp với giả thiết ổn định tương đối trong mỗi khối

- Phép biến đổi DCT tính toán đối xứng, có cấu trúc để cho phép xây dựng thuật toán tính nhanh

- Đảm bảo độ giải tương quan tốt

DCT là một tiêu chuẩn quốc tế cho các hệ thống mã chuyển vị bởi nó có đặc tính gói năng lượng tốt (gói năng lượng của ảnh con vào một phần nhỏ các hệ số hàm truyền), cho kết quả là số thực và có thuật toán nhanh để thực hiện chúng DCT mang lại một tỉ lệ nén hiệu quả và chất lượng ảnh suy giảm là có thể chấp nhận được Chính vì thế với JPEG là một định dạng ảnh phổ biến nhất hiện nay, việc sử dụng DCT giúp giảm được rất nhiều chi phí và tài nguyên lưu trữ truyền tải

II Phép biến đổi KL,PCA

1 Phép biến đổi KL

1.1 Khái niệm

Phép biến đổi KL có nguồn gốc từ khai triển chuỗi của các quá trình ngẫu nhiên liên tục Biến đổi KL cũng còn gọi là biến đổi Hoteling hay phương pháp thành phần chính

Phép biến đổi KL là phép biến đổi tuyến tính đơn vị dựa trên các vecto riêng và các giá trị riêng của ma trận tương quan để cho phép giảm thứ nguyên không gian với sai số nhỏ nhất

1.2 Cơ sở lý thuyết của phép biến đổi KL

Đây là phép biến đổi không gian n chiều thành không gian

m chiều, với m<n Mỗi thành phần của vectơ miêu tả một đặc tính của đối tượng Nếu ta biến đổi được từ không gian n chiều về không gian m chiều, như vậy ta sẽ làm giảm được thông tin dư thừa (giảm thứ nguyên)

Mục đích của biến đổi KL là chuyển từ không gian n chiều sang không gian trực giao m chiều sao cho sai số bình phương là nhỏ nhất Gọi U là tập các vector cơ sở trong không gian trực giao U ={u1,u2, … , u n}

Với u j={u 1 j

u 2 j

⋯

u nj

với j=1,2, …,n và u i .u k={0 n ế ui ≠ k 1 n ế u i=k

Mọi vector y trong không gian trực giao có thể viết:

y=φ1u1+φ2u2+…+φ n u n=ϕUU với ϕU=φ1, φ2,… ,φ n

y

Gọi X´ là kết quả thu được trong không gian m chiều và

´

Sai số trong phép biến đổi ε= ´X −X=∑

i=1

n

i=1

m

i=m+1

n

φ i u i

Sai số trung bình bình phương:

ς=E[ε2]=E[(X −X´ )T(X −X´ )]= ¿(X −X´ )T(´X− X)> ¿

¿ < ∑

i=m +1

n

i=m+1

n

¿φ i2> ¿ ¿

Mà ϕU=U T X, do đó ς= ∑

i=m +1

n

(u i T X)(u i X)T= ∑

i=m+1 n

u i T<X X T>u i(3)

Theo định nghĩa của R, phương trình 3 trở thành:

m +1

n

u i T R u i(4 )

ς đạt min khi (4 ¿ đạt min

Đặt η=ς+ ∑

i=m +1

n

λ i(1ưui T) (5) Như vậy η đạt min khi (5) min Để tìm min của 5 ta dùng phương pháp đạo hàm và dẫn đến việc giải phương trình:

( RưλI )u i=0(6)

Phương trình 6 gọi là phương trình đặc trưng của R với λ i

là các trị riêng và u i là các véctơ riêng tương ứng Đây chính

là cơ sở lý thuyết của biến đổi KL

1.3 Các bước thực hiện biến đổi KL

Không gian quan sát χ ={X }, X =[x i]∀ x i ∈ R ,i ∈[1, N ]

Phép biến đổi KL: Y =T A X v ớ i Y =[ y i]∀ y i ∈ R ,i ∈[1, M ], M ≤ N sao cho sai số trung bình bình phương nhỏ nhất

T A là ma trận của phép biến đổi

Các bước thực hiện:

Tính ma trận tương quan R của X: R=E[ X X T

]

R có giá trị riêng λ i , i ∈[1, N ] tương ứng với

vecto riêng u i , i∈[1, N ] (trực giao đôi một)

Có phương trình đặc trưng của R: R u i=λ i u i

⇒ các giá trị riêng λ i

⇒ các vecto riêng u i

Chọn M giá trị λ i lớn nhất trong N giá trị tìm được, ta có M vecto u i tương ứng

Ma trận biến đổi T A=[u1

T

u2T

u M T] với u i T ∈ R N

2 Phép biến đổi PCA

Mục tiêu của PCA là tìm một không gian mới với số chiều nhỏ hơn không gian cũ

Các trục toạ độ trong không gian mới được xây dựng sao cho trên mỗi trục, độ biến thiên của dữ liệu trên đó là lớn nhất có thể

Thuật toán PCA

Cho ma trận X ={x ij}∈ R M × N

^

X ={^x ij}

^

x ij=x ij−g j

√M hoặc ^x ij=x ij−g j

i=1

M

x ij

Với σ j là độ lệch chuẩn của cột j trong X

Tìm các giá trị riêng và vecto riêng của ma trận hiệp phương sai của ^X

R=^ X T X ∈ R N × N

R có N giá trị riêng 𝛌, ta sắp xếp theo thứ tự giảm dần, tương ứng được N vecto riêng u

vào không gian mới.

Chọn ra k vecto riêng đầu tiên:

U =[u1⋯ u k]∈ R N × k

Bắt đầu

Tập ảnh luyện tập

Mỗi ảnh tương ứng

với 1 vectơ , [

Tính vectơ trung bình

, [

Tính

Tính ma trận hiệp

phương sai

Tính các vectơ riêng của ma trận

hiệp phương sai C [

Chọn K vectơ riêng lớn nhất

, [

Mỗi vectơ trong không gian mới

, [ Kết thúc

………

Toạ độ các điểm trong không gian mới là:

III Tìm hiểu thuật toán trích chọn đặc trưng ảnh

dựa trên phép biến đổi KL-PCA

Bước 1: Chuẩn bị tập ảnh luyện tập

Tập ảnh luyện tập bao gồm M ảnh cùng kích thước

…

……

I1, I2, … , I M

Bước 2: Mỗi ảnh I i tương ứng với 1 vectơ Γ i

• Chuyển đổi mỗi ma trận ảnh N × Ntương đương với 1 vectơ

dữ liệu Γ i N2 thành phần, mỗi vectơ được biểu diễn dưới dạng ma trận cột cỡN2×1

• Γ i=[γ1

i

γ2i

⋮

γ N2

i ],i ∈[1 , M],[N2×1]

• Ví dụ:

[−2 −31 1 ] > [−21

1

−3]

• Mỗi ảnh sẽ tưng ứng với 1 vectơ Γ i:

Γ1=[−21

1

−3], Γ2=[ 13

−1

2 ], Γ3=[ 21

−2

3 ], … , Γ M=[12

2

1]

Bước 3: Tính vectơ trung bình Ψ

• Tính vectơ trung bình

i

M

Bước 4: Tính Φ i=Γ i−Ψ

Trừ mỗi vectơ ban đầu cho vectơ trung bình

• Tính vectơ trung bình : Ψ =(Γ1+Γ2+Γ3+…+Γ M) /M

[−21

1

−3]+[ 13

−1

2 ]+[ 21

−2

3 ]+…+[12

2

1]→[−1−1

2

−3]

• Trừ mỗi vectơ ban đầu cho vectơ trung bình

Φ1=[−12

−1

0 ], Φ2=[ 24

−3

5 ], Φ3=[ 32

−4

6 ], … , Φ M=[23

0

4]

Bước 5: Tính ma trận hiệp phương sai

• C= 1

i=1

M

Φ i Φ i T=A A T

Bước 6: Tính giá trị riêng, vectơ riêng của ma trận hiệp phương sai

• C × u i=λ i ×u i

• λ i : giá trị riêng

• u i : Vectơ riêng của C

• Do ma trận C= A A T có kích thước lớn (N2× N2 ) nên khối lượng tính toán lớn

×u i=λ i ×u i

• Vì ma trậnA T A có kích thước nhỏ hơn (M × M ) nên ta sẽ tính vectơ riêng v i theo ma trậnA T A sau đó tính u i=A × v i , [N2×1] Bước 7: Chọn K vectơ riêng lớn nhất

• Không gian đặc trưng (Eigen face space) :

U =[u i],i ∈[1 , K ] ,

Ω i=U T Φ i

^

j=1

K

ω j u j=U Ω i

• Mỗi vectơ Φ i trong không gian riêng tương ứng với 1 vectơ

Ω i

Ω i=[ω1

i

ω2i

⋮

ω i K], i ∈[1 , M ]

Tài liệu tham khảo

1 Slide bài giảng xử lí dữ liệu đa phương tiện của cô Nguyễn Thị Hoàng Lan

2 “Principal Component Analysis” CS498

3 Principal Component Analysis – PCA