Tách mù các nguồn tín hiệu dùng phương pháp phân tích các thành phần độc lập

Với số biến càng nhiều thì tính Gauss của tín hiệu sinh ra từ cơ sở là các thành phần độc lập sẽ có tính Gauss càng lớn định lý giới hạn trung tâm phát biểu rằng khi số biến độc lập tiến

TRƯỜNG ĐẠI HỌC BÁCH KHOA Tp.HCM

CAO HỌC NGÀNH VTĐT

\’[

Luận văn cao học :

HVTH : Đặng Việt Hùng

Tháng 7 - 2005

LỜI CẢM ƠN

Y™Z

Đầu tiên em xin được bày tỏ lòng biết ơn đến quý Thầy Cô trường Đại học Bách Khoa, đặc biệt là các quý Thầy Cô trong Khoa Điện – Điện Tử trường Đại Học Bách Khoa TP.HCM, đã tận tình chỉ dạy, truyền đạt kiến thức cũng như tạo điều kiện thuận lợi cho em trong suốt quá trình học tập vừa qua

Em xin chân thành cảm ơn Thầy Lê Tiến Thường đã quan tâm theo dõi, tận tình hướng dẫn và động viên trong suốt quá trình thực hiện luận án tốt nghiệp

Và em xin gửi đến gia đình và các bạn bè xung quanh, những người luôn bên cạnh và giúp đỡ về tinh thần cũng như vật chất để em hoàn thành được luận văn này

Mục Lục

Y[z\Z

Lời cám ơn

Abstract

PHẦN 0: GIỚI THIỆU……….1

1 Tổng quan về đề tài……… 1

2 Tổ chức báo cáo luận văn ………1

3 Công việc liên quan ……… 1

PHẦN I: LÝ THUYẾT……… 2

Chương1: Các thống kê sử dụng trong hệ thống thông tin số……… 2

1.1 Các biến ngẫu nhiên và các hàm xác suất……… 2

1.1.1 Xác suất và tần suất tương ứng ……… 2

1.1.2 Các biến ngẫu nhiên ……… 3

1.1.3 Hàm phân bố tích lũy CDF và hàm mật độ xác suất PDF ……… 3

1.1.4 Trung bình toàn bộ ……… 5

1.1.5 Moment ……… 5

1.1.6 Variance σ2 (phương sai)……… 5

1.1.7 Độ lệch tiêu chuẩn σ: bằng căn bậc hai của variance……… 5

1.2 Các PDF và CDF thường gặp trong hệ thống thông tin ……… 6

1.2.1 Gauss hay hàm mật độ xác xuất chuẩn……… 6

1.2.2 Định lý giới hạn trung tâm……… 7

Chương 2: Không gian vector, không gian Euclid……… 9

2.1 Khái niệm không gian vector……… 9

2.2 Không gian con và hệ sinh ……… 10

2.2.1 Định nghĩa không gian con……… 10

2.2.2 Tổ hợp tuyến tính của một họ vector ……… 10

2.2.3 Không gian con sinh bởi một họ vector……… 10

2.2.4 Định nghĩa hệ sinh của không gian vector……… 10

2.3 Họ vector độc lập tuyến tính và phụ thuộc tuyến tính……… 11

2.4 Không gian hữu hạn chiều và cơ sở của nó……… 11

2.4.1 Khái niệm về không gian n chiều……… 11

2.4.2 Cơ sở của không gian n chiều……… 11

2.4.3 Những tính chất về cơ sở và số chiều ……… 12

2.5 Tích vô hướng và không gian có tích vô hướng……… 12

2.5.1 Nhắc lại tích vô hướng của hai vector hình học……… 12

2.5.2 Tích vô hướng trong không gian vector và không gian có tích vô hướng…… 13

2.5.3 Độ dài của vector……… 13

2.5.4 Sự vuông góc của hai vector……… 14

2.5.5 Họ vector trực giao……… 14

2.5.6 Quá trình trực giao hóa Gram–Smidt ……… 15

2.5.7 Tính độc lập tuyến tính của một họ vector trực giao……… 16

2.5.8 Sự tồn tại cơ sở trực chuẩn trong không gian Euclid n chiều ……… 16

2.5.9 Hình chiếu của một vector lên một không gian con……… 17

2.6 Bài toán đổi cơ sở……… 18

2.6.1 Đặt bài toán……… 18

2.6.2 Ma trận chuyển ……… 18

Chương 3: Trị riêng và vector riêng của toán tử tuyến tính……… 21

3.1 Nhắc lại khái niệm toán tử tuyến tính và một số tính chất liên quan……… 21

3.1.1 Định nghĩa ánh xạ tuyến tính và toán tử tuyến tính……… 21

3.1.2 Các phép toán về ánh xạ tuyến tính……… 21

3.1.3 Sự đẳng cấu của không gian n chiều với Rn ……… 21

3.2 Ma trận của ánh xạ tuyến tính……… 22

3.2.1 Khái niệm ma trận của ánh xạ tuyến tính……… 22

3.2.2 Ma trận đồng dạng……… 22

3.3.2 Ma trận của ánh xạ tuyến tính thông qua phép biến đổi cơ sở……… 22

3.3 Trị riêng và vector riêng của ma trận ……… 23

3.3.1 Khái niệm trị riêng và vector riêng của ma trận……… 23

3.3.2 Phương trình đặc trưng ……… 24

3.3.3 Trị riêng của ma trận đồng dạng……… 24

3.3.4 Tìm vector riêng của ma trận ……… 25

3.3.5 trị riêng của ma trận đối xứng ……… 26

3.4 Vấn đề chéo hoá ma trận ……… 27

3.4.1 Ma trận chéo hóa được ……… 27

3.4.2 Quy trình chéo hóa một ma trận……… 27

3.5 Vấn đề chéo hóa trực giao ……… 27

3.5.1 Khái niệm chéo hóa trực giao ……… 27

3.5.2 Chéo hóa trực giao ma trận đối xứng ……… 27

3.5.3 Một số tính chất của trị riêng của ma trận đối xứng……… 28

3.5.4 Quy trình chéo hóa trực giao các ma trận đối xứng……… 28

Chương 4: Tổng quan lý thuyết về ICA ……… 29

4.1 Cơ sở và các định nghĩa ……… 29

4.1.1 Mô tả bài toán……… 29

4.1.2 Tính không rõ ràng của ICA……… 29

4.1.3 Tính độc lập……… 30

4.1.4 Không tương quan – Dạng độc lập yếu hơn……… 31

4.1.5 Vấn đề khôi phục tín hiệu Gauss……… 31

4.2 Tiền xử lý ICA ……… 31

4.2.1 Centering (chuyển khối joint density về trung tâm)……… 31

4.2.2 Whitening ……… 32

4.2.2.1 Giới thiệu Principal Component Analysis (PCA) ……… 32

i) Thực hiện PCA bằng phương pháp tối đa hóa phương sai………32

ii) PCA bằng phương pháp nén sai số bình phương trung bình nhỏ nhất… 33 iii) Chọn lựa số các thành phần chính……… 33

iv) PCA bằng cách học trực tuyến (on-line learning)……… 34

4.2.2.2 Whitening ……… 35

4.3 Tính Nongausss và ICA bằng cách đo tính Nongausss kinh điển ……… 36

4.3.1 Tính độc lập là tính Nongauss ……… 36

4.3.2 Đo lường tính độc lập (Nongausss) và tối đa hóa tính độc lập……… 37

4.3.2a Đo lường tính Nongausss bằng Kurtosis ……… 37

4.3.2b Thuật toán Gradient sử dụng kurtosis……… 38

4.3.2c Đo lường tính Nongausss bằng negentropy (entropy âm)……… 39

4.3.2d Thuật toán gradient cho negentropy……… 40

4.3.3 ICA cho nhiều đơn vị……… 41

4.3.4 Tóm tắt ……… 42

Chương 5: Giới thiệu FPGA Spartan-3 và ngôn ngữ VHDL ……… 43

5.1 FPGA và cấu trúc FPGA ……… 43

5.1.1 Giới thiệu FPGA Spartan-3 Starter Kit ……… 44

5.1.2 Chi tiết về FPGA Spartan-3 Starter Kit cần dùng trong đề tài……… 45

a/ SRAM……… 45

b/ 4 LED 7 đoạn dùng để xuất dữ liệu ……… 47

c/ Các công tắc trượt, nút nhấn và các LED ……… 48

d/ Các nguồn xung clock……… 49

e/ Các port lập trình, debug JTAG……… 49

f/ Các chân mở rộng của Kit Spartan-3……… 50

5.2 Ngôn ngữ mô tả phần cứng VHDL ……… 53

5.3 Phần mềm hỗ trợ ……… 55

PHẦN II: THỰC THI ……….58

Chương 1: Lý thuyết bổ sung trong thực thi ……… 58

1.1 Whitening ……… 58

a/ công thức tính k R , với k=2,3,…n ……… 57

b/ Tính − 1 R ……… 58

c/ Tính k R1/ , với k=2,3, n ……… 58

d/ Tính ma trận whitening Q ……… 58

1.2 Một giải thuật ICA khác, (tạm gọi là) ICA không có vòng lặp ……… 59

1.2.1 Đặt vấn đề……… 59

1.2.2 Tính chất……… ……… 60

1.2.3 Chứng minh……….……… 61

1.2.4 Nhận xét về phương pháp……… 62

Chương 2: Thực hiện ICA trên Matlab ………63

2.1 Thực hiện ICA bằng phương pháp tối đa hóa tính Nongausss ……… 63

2.1.1 ICA với ước lượng tính Nongausss bằng kurtosis……… 63

2.1.2 ICA với ước lượng tính Nongausss bằng negentropy ……… 68

2.2 ICA khác với ICA kinh điển, ICA không có vòng lặp……… 70

Chương 3: Thực hiện ICA trên FPGA ……… 71

3.1 Cơ sở thực thi, đơn giản hóa vấn đề ……… 71

3.2 Mạch A/D, D/A ……… 72

3.2.1 IC ADC0809 và mạch A/D……… 72

3.2.2 IC DAC0808 và mạch D/A……… 75

3.3 Thực thi trên FPGA ……… 76

3.3.1 Mô hình 76 3.3.2 Chương trình và thực hiện chương trình 77 PHẦN III: KẾT QUẢ THỰC HIỆN ……… 80

Chương 1: Kết quả thực hiện ICA trên Matlab ……… 80

1.1 Thực hiện ICA bằng cách tối đa hóa tính Nongausss, đo bằng Kurtosis ……… 80

1.1.1 ICA từ công thức (II.2.49), lưu đồ hình (III.2.1) (kurtosis) ……… 80

1.1.1.a/ ICA cho tín hiệu thu 2 chiều (kurtosis)……… 80

1.1.1.b/ ICA cho tín hiệu thu 3 chiều (kurtosis) ……… 83

1.1.2 ICA từ công thức (II.4.49), lưu đồ Hình (II.2.3)……… 89

1.1.2.a/ ICA cho dữ liệu 3 chiều (kurtosis, có lồng ICA con)……… 89

1.1.2.b/ ICA cho dữ liệu 4 chiều (kurtosis, có lồng ICA con) ……… 94

1.2 Thực hiện ICA bằng cách tối đa hóa tính Nongausss, đo bằng Negentropy… 96 1.2.1 ICA cho dữ liệu tín hiệu 2 chiều……… 96

1.2.1.a/ Dùng hàm g1(y)=tanh(a1y)……… 96

1.2.1.b/ Dùng hàm g2(y)= yexp(−y2 /2)……… 98

1.2.2 Xử lý dữ liệu tín hiệu 3 chiều (negentropy)……… 99

1.2.2.a/ Dùng hàm g1(y)=tanh(a1y)……… 100

1.2.2.b/ Dùng hàm g2(y)= yexp(−y2/2)……… 101

1.2.3 Xử lý dữ liệu tín hiệu 4 chiều (negentropy)……… 102

1.2.3.a/ Dùng hàm g1(y)=tanh(a1y)……… 104

1.2.3.b/ Dùng hàmg2(y)=yexp(−y2/2)……… 105

1.3 Thực hiện ICA khác kinh điển, ICA không có vòng lặp ……… 106

1.3.1 ICA không vòng lặp cho dữ liệu tín hiệu 2 chiều ……… 106

1.3.2 ICA không vòng lặp cho dữ liệu tín hiệu 3 chiều ……… 108

1.3.3 ICA không vòng lặp cho dữ liệu tín hiệu 4 chiều ……… 110

Chương 2: Kết quả Mô phỏng ICA và các vấn đề liên quan khác ……… 112

2.1 Số sensor nhiều hơn số nguồn ……… 112

2.2 Dấu của các phần tử trong ma trận tổ hợp A ……… 116

2.3 Ảnh hưởng của nguồn Gauss ……… 119

2.2.1 Ảnh hưởng của một nguồn Gauss……… 119

2.2.2 Ảnh hưởng của nhiều hơn một nguồn Gauss……… 121

Chương 3: Kết quả thực hiện ICA trên FPGA ……… 123

PHẦN IV: KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN ……… 125

1 Kết luận chung ……… 125

2 Hướng phát triển ……… 126

Tài liệu tam khảo……… 127

PHỤ LỤC……… 128

Các từ viết tắt………128

ADC0808………129

DAC0809………133

Spartan-3 Starter Kit ……… 136

ABSTRACT

The achievement of signal processing has become much more powerful since digital technique was put into any aspect of communications Along with that, countless techniques, algorithms have been developed and explicated to meet

the need of affecting, improving and modifying signal, Independent

Component Analysis (ICA) is one of them This thesis will concentrate on

studying the Independent Component Analysis (ICA) approach, its

properties, advances, disadvances applied to practice by using VHDL and

FPGA, a morden way to design hardwares in the last few years ICA is an

algorithm for separating linear dependent components among received signals,

so called the common way to solve the “Cocktail Party” problem It can be

simply explained like this: in a cocktail party, at the same time, we can hear many people talk simultaneously; if we have recorders, how can we separate

the sound source of each person? At a higher view, ICA can be applied in

getting and separating composite signals such as: electro-cardiogram (ECG), electroencephalogram (EEG), seismal signal, or in whitening signals that were received from remote sources … [1,2]

TÓM TẮT

Thành tựu thu được trong việc xử lý tín hiệu trở nên to lớn hơn nhiều kể từ lúc kỹ thuật số được đưa vào mọi ngõ ngách của thông tin liên lạc Theo đà của dòng chảy phát triển đó, vô số kỹ thuật, thuật toán ra đời để đáp ứng nhu cầu

tác động, cải thiện và thay đổi các tín hiệu thông tin Và thuật toán phân tích

thành phần đặc trưng (ICA) là một trong số chúng Bài luận này sẽ tập trung

nghiên cứu cách thực hiện ICA, các tính chất, ưu nhược điểm khi ứng dụng vào

thực tế bằng VHDL và FPGA, là cách thiết kế phần cứng hiện đại trong những

năm gần đây ICA là một thuật toán tách các thành phần phụ thuộc tuyến tính

giữa các nguồn thu dựa trên tính độc lập thống kê giữa các nguồn phát, được

gọi chung là cách giải bài toán “bữa tiệc cocktail” Có thể giải thích ngắn gọn

như sau: tại bữa tiệc cocktail, trong cùng một lúc, ta có thể nghe thấy rất nhiều người nói đồng thời; nếu có máy thu âm để thu tín hiệu thoại, làm sao tách

riêng từng nguồn thoại của mỗi người? Nhìn một cách rộng hơn, ICA có thể

ứng dụng trong việc đo tách tín hiệu tổng hợp như điện tâm đồ, điện não đồ, tín hiệu địa chấn, tín hiệu thu từ những nguồn xa…[1,2]

PHẦN 0: GIỚI THIỆU

1 Tổng quan về đề tài:

Tách mù các thành phần độc lập chính là bài toán phân tích các thành phần độc lập (ICA–Independence Component Analysis), là một kỹ thuật suy ra được những nhân tố bị ẩn khuất trong một tập các biến ngẫu nhiên Kỹ thuật tương đối mới, xuất hiện lần đầu vào đầu thập niên 1980 trong phạm vi ứng dụng của mạng neural, và đã được nghiên cứu khá nhiều ICA với mục tiêu tách các thành phần độc lập chỉ dựa vào tín hiệu thu, là một hỗn hợp pha tạp các tín hiệu với nhau đã trở thành một đề tài thú vị để nghiên cứu và ứng dụng trên thế giơi Tuy vậy nước ta hầu như chưa có đề tài tổng hợp và nghiên cứu phát triển về vấn đề này và đặc biệt là chưa thực thi trên phần cứng Bị lôi cuốn vì sự thú vị đó, học viên đã chọn đề tài này để thực hiện như là một luận văn cao học

Hơn nữa, theo xu hướng phát triển của các chip điện tử, công nghệ ASIC phát triển như vũ bão nhằm đáp ứng tính đa dạng của nhu cầu trong thế giới của cơ chế thị trường Việc các loại FPGA mới ra đời đang rất mạnh và rẻ, mật độ logic cực cao cho phép các phép tính được tính song song, cải thiện tốc độ xử lý, khiến cho việc thực thi mạch thử nghiệm trở nên khả thi Học viên quyết định chọn FPGA để thực hiện phần cứng nhằm hướng theo xu thế phát triển mạch chuyên dụng ASIC, nâng cao kinh nghiệm về FPGA và ngôn ngữ lập trình phần cứng VHDL, ngôn ngữ lập trình cho FPGA

Đề tài này sẽ trình bày các loại thuật toán ICA kinh điển và trình bày một hướng mở nhỏ cho ICA, đó là ICA không có vòng lặp

2 Tổ chức báo cáo luận văn:

Luận văn chia làm 5 phần:

Phần 0: Giới thiệu tổng quan về đề tài

Phần I: Phần lý thuyết, trình bày các phần lý thuyết liên quan về lý thuyết xác suất,

không gian vector, trị riêng vector riêng, lý thuyết về ICA, giới thiệu lý thuyết FPGA và ngôn ngữ VHDL, mỗi phần được gói trong một chương Phần I gồm 5 chương tương ứng

Phần II: Phần thực thi, bổ sung lý thuyết cho thực thi, phần này cụ thể hóa các thuật

toán, trình bày các cách thực hiện mô phỏng và thực hiện ICA trên FPGA

Phần III: Phần kết quả: trình bày kết quả khảo sát ICA qua mô phỏng trên Matlab và kết

quả thi công trên FPGA Spartan-3 Starter Kit

Phần IV: Phần kết luận chung và hướng phát triển cho đề tài

3 Công việc liên quan:

Các ICA có nền tảng dựa trên nền tảng về lý thuyết xác suất, không gian vector, trị riêng-vector riêng nên đây là những phần sẽ được học viên tìm hiểu và trình bày trong đề tài luận văn Ngoài ra học viên phải biết dùng ngôn ngữ VHDL và phải thực hiện mạch cứng A/D và D/A giao tiếp với Kit FPGA Các ICA đã trình bày sẽ được mô phỏng đầy đủ với các loại tín hiệu 2 chiều, 3 chiều và 4 chiều cũng như các vẫn đề liên quan khác nhằm khảo sát các ICA và các tính chất của nó

PHẦN I : LÝ THUYẾT

Chương1

Các thống kê sử dụng trong

hệ thống thông tin số

1.1 Các biến ngẫu nhiên và các hàm xác suất:

1.1.1 Xác suất và tần suất tương ứng:

Xác suất đơn giản: xác suất của một sự kiện A được định nghĩa là P (A), là số lần

xảy ra sự kiện A trong n lần thử

n

lim)

n

lim)

n AB là số lần cả hai sự kiện A và B cùng xảy ra

Xác suất của sự kiện hoặc: là xác suất xảy ra sự kiện A hoặc sự kiện B hoặc cả hai

cùng xảy ra, được định nghĩa là P(A+B):

A

n

lim)

n A+B là số lần cả hai sự kiện A hoặc B hoặc cả hai cùng xảy ra

)()()()(A B P A P B P AB

Nếu A và B là độc lập về mặt xác suất thì

)()()(AB P A P B

)()()()()(A B P A P B P A P B

)()/(

B P A B P

A P B A P

(I.1.9)

• Nếu các sự kiện A1,A2, A nlà độc lập xác suất thì

P(A1A2 A n)=P(A1).P(A2) P(A n) (I.1.10)

1.1.2 Các biến ngẫu nhiên :

Định nghĩa: Biến ngẫu nhiên là một hàm giá trị thực được định nghĩa trên các sự kiện

của hệ thống xác suất

Ví dụ: Xét một sự kiện chắc chắn S=A+B+C+D+E+F+G+H Mỗi sự kiện được biểu thị bằng một giá trị của biến x, giá trị này có thể âm, dương, nguyên, hữu tỉ hoặc vô tỉ Khi đó x là biến ngẫu nhiên

P(H)P(G)P(F)P(E)P(D)P(C)P(B)P(A)1

Các giá trị xác suất của các sự kiện này có thể được vẽ theo biến x,

Ví dụ P(C)=P(-1.5)=0.2

Hàm P (x) có thể rời rạc hoặc liên tục

1.1.3 Hàm phân bố tích lũy CDF (cumulative distribution function) và hàm mật độ xác suất PDF (probability density function):

Định nghĩa: Hàm phân bố tích luỹ (CDF) của một biến ngẫu nhiên x được kí hiệu là F(a), trong đó

a dF x

f( )= ( ) = =

x a da

a x dP

],[)

/(

1)(

b a x

b a x a

b x

a b

1/(b-a) f(x)

x

Với phân bố đều rời rạc, giả sử đối với hệ thống PAM 8 mức, nếu xác suất xảy ra các mức là như nhau ta có một phân bố đều rời rạc theo biến là biên độ mức:

Các tính chất của CDF

1 F(a) là hàm tăng

2 F(a) là hàm liên tục về bên phải

)()(lim

= ( ) 1)

F(x)

x 1

0

Hình I.1: hàm phân phối của hàm mật độ xác suất có phân bố đều trong (a,b)

PDF

1 3 5 7 -7 -5 -3 -1

0.125

CDF

1 3 5 7 -7 -5 -3 -1

1.00

0.125

Hình I.2: PDF và CDF của hàm phân bố rời rạc

1.1.4 Trung bình toàn bộ:

Giá trị trung bình của hàm y=h (x) là:

y = [ x h( )] = ∫∞

∞

−

dx x f x

i x P i x h

1

)()

, với c là hằng số (I.1.33)

Giá trị trung bình của tín hiệu chính là thành phần một chiều của tín hiệu, moment bậc hai của tín hiệu (giá trị trung bình của bình phương tín hiệu) chính là công suất tín hiệu, phương trình (I.1.32) biểu diễn cách tính công suất của thành phần xoay chiều của tín hiệu = công suất tín hiệu – công suất thành phần một chiều σ là giá trị RMS của thành phần xoay chiều

1.2 Các PDF và CDF thường gặp trong hệ thống thông tin:

1.2.1 Gauss hay hàm mật độ xác xuất chuẩn:

Hàm mật độ xác xuất Gauss được sử dụng nhiều để mô tả các hệ thống tin vô tuyến vì hàm này cho ta đặt trưng đầy đủ của tạp âm nhiệt sinh ra do chuyển động ngẫu nhiên của các điện tử Hàm mật độ xác xuất Gauss cho bởi phương trình:

1

σ - ∞ < x < ∞ (I.1.34)

Trong đó μ là giá trị trung bình và σ2 là phương sai của biến ngẫu nhiên liên tục f(x)

hoặc một pdf Trị số của hàm phân bố xác suất tích luỹ được xác định khi sử dụng

phương trình trên đó là:

2

2

1

Một hàm thườøng dùng trong tính toán lý thuyết là hàm Q(z), là hàm được định nghĩa dựa

trên phân bố chuẩn Gauss dùng để tính sai số với z ≥ 0

0.1 0.2 0.3

Hình I.3: PDF chuẩn và CDF chuẩn

1Q(z)= ∞∫ − 2/2 =

z

x

dx e

1)2

(2

π và = ∫z −x

dx e

0

2 /

2

2erf(z)

Phân bố Gauss 2 chiều cũng có dạng tương tự, nếu vẽ phân bố Gauss 2 chiều ta có thể tưởng tượng như hình một cái nón Với giới hạn của đề tài, không cần thiết phải đề cập đến phân bố Gauss nhiều hơn 2 chiều, mọi phương án xử lý liên quan cũng chỉ gói gọn trong phân bố Gauss một chiều

1.3 Định lý giới hạn trung tâm:

Định lý: Nếu các biến ngẫu nhiên độc lập với nhau thì hàm mật độ xác suất của tổng các pdf của chúng có xu hướng trở thành Gauss, các hàm mật độ xác suất các biến có thể không phải là Gauss Hàm mật độ xác suất có trị trung bình bằng tổng các giá trị trung bình độc lập, có phương sai bằng tổng các phương sai độc lập

Hàm mật độ xác suất chung được xem như tích chập của các hàm mật độ độc lập:

)(

*

*)(

*)()(x f1 x f2 x f x

ej

ei

Hình (I.4) mô tả phân bố xác suất của tín hiệu tổ hợp từ 2 thành phần độc lập Hình cho ta khái niệm ban đầu về tính Gauss của tín hiệu mà ICA sẽ xử lý Với số biến càng nhiều thì tính Gauss của tín hiệu sinh ra từ cơ sở là các thành phần độc lập sẽ có tính Gauss càng lớn (định lý giới hạn trung tâm phát biểu rằng khi số biến độc lập tiến tới vô hạn thì phân bố của tổng các thành phần độc lập là phân bố Gauss)

Ta có thể xét tín hiệu là tổ hợp tuyến tính ba chiều để thấy rõ điều này:

Hình trên cho thấy tín hiệu 3 chiều của tổ hợp tuyến tính 3 thành phần độc lập khiến mỗi chiều có xu hướng tiến tới phân bố Gauss một cách rõ nét Các phân bố khác phân bố đều cũng cho kết quả tương tự, do định lý giới hạn trung tâm không phân biệt các loại phân bố, tổng của các biến độc lập của các phân bố bất kỳ đều cho phân bố Gauss

Hình (I.5) chỉ mô tả một chiều đơn cử, các chiều còn lại cũng như vậy, đều cho phân bố có xu hướng rất gần phân bố Gauss Rõ ràng tín hiệu đa chiều là tổ hợp của các thành phần độc lập mang tính phụ thuộc, nghĩa là mỗi chiều đều là tổng của các thành phần độc lập, do đó mỗi chiều sẽ cho phân bố Gauss Điều này rất quan trọng trong ICA, các tiêu chuẩn đánh giá tính phụ thuộc đều dựa trên tính “Nongausss”, nghĩa là đối với các tín hiệu đa chiều, mỗi chiều càng ít tính Gauss thì tính độc lập càng cao

ei

ej

Hình I.5: Hình chiếu của tín hiệu 3 chiều, là tổ hợp tuyến tính được xây

dựng từ ba biến có phân bố xác suất đều, trong mặt phẳng tọa độ và phân

bố xác suất của 1 chiều theo ei

ek

O

Chương 2

Không gian vector, không gian Euclid

2.1 Khái niệm không gian vector:

Định nghĩa: Xét tập V khác rỗng mà mỗi phần tử ta quy ước gọi là một vector và

trường số thực R Giả sử trong V ta định nghĩa được hai phép toán: phép cộng hai

vector và phép nhân một vector với một số thực

Phép cộng hai vector là một luật hợp thành trên V cho phép tạo ra từ một cặp vector

V

y

x, ∈ một vector duy nhất gọi là tổng của chúng, kí hiệu là x+y

Phép nhân một vector với một số, còn gọi là phép nhân với vô hướng, là một luật hợp thành ngoài trên V cho phép tạo ra từ một vector x∈V và một số thực ∈k R một

vector duy nhất gọi là tích của chúng, kí hiệu là kx

Nếu 10 yêu cầu sau được thỏa mãn với mọi x,y,z∈V và mọi k, l∈ R thì tập V được gọi

là một không gian vector trên trường R

(1) Nếu x,y∈V thì x+y∈V (I.2.1) (2) x+y=y+x,∀x,y∈V (I.2.2) (3) x+(y+z)=(x+y)+z,∀x,y,z∈V (I.2.3) (4) Tồn tại vector θ∈V sao cho

θ+x=x+θ =x,∀x∈V (I.2.4) phần tử θ được gọi là phần tử trung hòa của phép + (hay của V )

(5) Với mỗi x∈V tồn tại vector −x∈V sao cho

θ

=+

phần tử x− được gọi là phần tử đối xứng (hay phần tử đối) của x

(6)Nếu ∈k R và x∈ thì V kx∈ V (I.2.6)

Từ đây dẫn đến một số tính chất đầu tiên của không gian vector:

(a) Phần tử trung hòa θ là duy nhất

(b) Phần tử đối xứng của x∈V bất kỳ cũng là duy nhất

(c)∀x∈V ta đều có 0x=θ (I.2.11) (d)∀x∈V ta đều có −x=(−1)x (I.2.12) (e)∀k∈ R ta đều có kθ =θ (I.2.13) (f) ∀x∈V , và ∀k R ta có: ∈

Nếu kx=θ thì hoặc k=0 hoặc x=θ (I.2.14)

2.2 Không gian con và hệ sinh:

2.2.1 Định nghĩa không gian con:

Định nghĩa: V là một không gian vector với hai phép tính: cộng vector và nhân vector với một số,W là một tập con của V Nếu với hai phép tính trên, W cũng là một không gian vector thì W được gọi là không gian con của V

2.2.2 Tổ hợp tuyến tính của một họ vector:

Định nghĩa: V là một không gian vector, S là một họ vector của V :

}, ,,{x1 x2 x n

S=Biểu thức c1x1+c1x2+ +c n x n, với c i = const∈R được gọi là một tổ hợp tuyến tính của

các vector họ S , hay tổ hợp tuyến tính của họ S

2.2.3 Không gian con sinh bởi một họ vector:

Định nghĩa: V là một không gian vector, S={x1,x2, ,x n} là một họ vector của V Ta gọi tất cả những tổ hợp tuyến tính của các vector S , kí hiệu là span (S)

Khi đó ta có

Định lý: W =span (S) là một không gian con của V

Trường hợp W trùng với V , sẽ dẫn đến khái niệm hệ sinh trong không gian vector:

2.2.4 Định nghĩa hệ sinh của không gian vector

Định nghĩa: V là một không gian vector, Nếu span(S)=V, tức là nếu ∀x∈V đều có thể biểu diễn

n

n x c x

c x c

x= 1 1+ 1 2+ + , (I.2.15)

thì ta nói họ S sinh ra V hay họ S là một hệ sinh của V

Ví dụ a: Trong R2 xét i=(1,0) và j=(0,1) Mọi ∈x R2 có dạng x=(x1,x2) đều có thể được viết như sau:

j x i x x

x x x

x=( 1, 2)= 1(1,0)+ 2(0,1)= 1 + 2Vậy họ { j i, } sinh ra R2 hay họ { j i, } là một hệ sinh của R2

Ví dụ b: Xét x=(1,2)∈R2, mọi tổ hợp tuyến tính của x có dạng cx, c∈R Vậy nếu

}{)()

,(y1 y2 span x cx

y= ∈ = thì có (y1,y2)=c(1,2), suy ra y2 =2y1

Đó là đường thẳng đi qua gốc tọa độ Vậy

)2,1(

span chỉ là một đường thẳng đi qua gốc tọa

độ mà không sinh ra cả R2

Ví dụ c: Xét x=(1,2),y=(1,1)∈R2 Ta thử xét xem họ { y x, } có sinh ra R2 không:

Ta xét z=(z1,z2) bất kì của R2 và đi tìm a và b thuộc R để có z=ax+by, nghĩa là:

)2,()1,1()2,1()

=+2

1

2a b z

z b a

,

hệ thức này luôn có nghiêm do định thức 1 0

12

11

≠

−

= luôn có nghiệm

Vậy họ { y x, } là một hệ sinh của R2

2.3 Họ vector độc lập tuyến tính và phụ thuộc tuyến tính

Định nghĩa: V là một không gian vector, S ={x1,x2, ,x n}⊂V Xét điều kiện:

θ

=+++c x c n x n x

Nếu (I.2.16 ) xảy ra khi c1=0,c2 =0, c n =0 thì ta nói S độc lập tuyến tính

Nếu tồn tại các số thực c1,c2, c n không đồng thời bằng 0 để thỏa mãn (I.2.16) thì ta

nói họ S phụ thuộc tuyến tính

Do đó ta có thể suy ra rằng nếu họ S phụ thuộc tuyến tính thì trong họ S có ít nhất một vector biểu diễn được thành một tổ hợp tuyến tính của các vector còn lại (giả sử S có số

vector lớn hơn hoặc bằng 2)

2.4 Không gian hữu hạn chiều và cơ sở của nó

2.4.1 Khái niệm về không gian n chiều:

Đinh nghĩa: không gian vector V được gọi là không gian n chiều (1≤n nguyên) nếu

trong V tồn tại n vector độc lập tuyến tính và không tồn tại quá n vector độc lập

tuyến tính

- Khi đó số chiều của không gian V là n và kí hiệu của nó là dim(V )

- Tập }{θ chỉ gồm một phần tử θ của không gian bất kì cũng là một không gian vector, với số chiều bằng 0

- Các không gian n chiều, n≥0, gọi là không gian hữu hạn chiều, ngược lại, nếu

trong V có thể tìm được một số bất kì các vector độc lập tuyến tính thì ta nói V là

không gian vô hạn chiều Ở phạm vi đề tài, ta chỉ đề cập đến không gian hữu hạn chiều

Ví dụ: Xét không gian R3, trong đó 3 vector không đồng phẳng thì độc lập tuyến

tính, 4 vector bất kì trong R3 thì phụ thuộc tuyến tính, ta có thể kết luận rằng

dim(R3) = 3

2.4.2 Cơ sở của không gian n chiều

Trong không gian n chiều, số vector độc lập tuyến tính có thể có không vượt quá n từ đó ta đi đến định nghĩa sau:

Định nghĩa: Trong không gian n chiều V , mọi họ gồm n vector độc lập tuyến tính gọi là một cơ sở của V 1

Ví dụ: trong không gian R3, trong đó 3 vector không đồng phẳng thì tạo nên một

cơ sở cho R3

Đây một trong những khái niệm cơ bản và cũng rất quan trọng trong việc xét các mô hình toán của ICA Ta sẽ đi sâu hơn về tính chất của chúng:

2.4.3 Những tính chất về cơ sở và số chiều

Định lý: Giả sử V là một không gian vector, S ={f1, f2, f k} là một họ gồm k vector của V Nếu S sinh ra V và độc lập tuyến tính thì V là không gian k chiều và S là một cơ sở của V

Ví dụ: Trong R2 xét i=(1,0) và j=(0,1) Mọi ∈x R2 có dạng x=(x1,x2) đều có thể được viết: x=(x1,x2)=x1(1,0)+x2(0,1)=x1i+x2j, vậy { j i, } sinh ra R2 do đó

dim(R2)=2 Họ { j i, } là một cơ sở (đây là một cở sở trực giao)

Định lý: Nếu V là không gian k chiều và S là một cơ sở thì ∀x∈V có biểu diễn duy nhất:

k

k f c f

c f c

x= 1 1+ 2 2+ + (I.2.17) Ngược lại, nếu ∀x∈Vcó biểu diến duy nhất như (I.2.17): x=c1f1+c2f2+ +c k f k thì

V là không gian k chiều và S là một cơ sở

Khi V là không gian k chiều và S={u1,u2, ,u n}⊂V , ta hãy tìm điều kiện để S độc lập tuyến tính, tức là điều kiện để S là một cơ sở của V

Giả sử B={v1,v2, ,v n} là một cơ sở nào đó của V và u j (j=1,2, ,n) có phân tích là:

n nj j

n n

n n

c

c c c u u

u

u u

u

u u

2 1

2 22

21

1 12

11

Vậy ta có định lý:

Định lý: điều kiện cần và đủ để các u i trong S độc lập tuyến tính là det(A)≠0

Đây là định lý rất quan trọng, là nền tảng cho các công thức chuyển cơ sở cũng như xét xem một họ vector có độc lập tuyến tính hay không

2.5 Tích vô hướng và không gian có tích vô hướng

2.5.1 Nhắc lại tích vô hướng của hai vector hình học

Tích vô hướng của hai vector ar và brlà một số thực, kí hiệu là ar, , (xác định bởi br

,b a b a b

ar r r r r r

= trong không gian Rn)

Các tính chất của tích vô hướng trong không gian Rn:

(a) a r, là một số xác định với mọi vector ar và br (cụ thể ở đây là số thực) br

(c) ar+br,cr = ar,cr + br,cr (I.2.21) (d) k ar br k ar br

,

(e) ar,ar ≥0 , và ar,ar =0⇔ar=θ (I.2.23)

Từ định nghĩa của tích vô hướng của 2 vector ta cũng suy ra:

Trong R3, nếu a=(a1,a2,a3),b=(b1,b2,b3) thì

3 3 2 2 1 1,b a b a b a b

Tổng quát trong Trong Rn, nếu a=(a1,a2, ,a n),b=(b1,b2, ,b n) thì

n

n b a b

a b a b

ar,r = 1 1+ 2 2+ +

2.5.2 Tích vô hướng trong không gian vector và không gian có tích vô hướng

Nó là suy rộng của khái niệm tích vô hướng của hai vector hình học

Định nghĩa: V là một không gian vector, u và v là hai vector của V Tích vô hướng của u và v là một số thực, kí hiệu là u, v , thỏa mãn các tính chất sau gọi là các tiền đề của tích vô hướng

(a) u, v là một số xác định với mọi vector u và v∈V

(c) u+v,w = u,w + v,w (I.2.29)

(e) u,u ≥0 , và u,u =0⇔u=θ (I.2.31)

Không gian vector V có trang bị tích vô hướng gọi là không gian có tích vô hướng

Không gian n chiều có tích vô hướng được gọi là không gian Euclid, nếu:

), ,,(),, ,

,

(a1 a2 a n b b1 b2 b n

a= = thì tích vô hướng ar,br =a1b1+a2b2+ +a n b n

được

gọi là tích vô hướng Euclid trong Rn

2.5.3 Độ dài của vector:

a/ Định nghĩa: V một không gian vector có tích vô hướng và u∈V thì số không âm được xác định bởi:

2 1

u

được gọi là độ dài Euclid của ∈u Rn

b/ Bất đẳng thức Cauchy – Schwarz (C–S)

Nếu u và v là hai vector trong một không gian có tích vô hướng thì có bất đẳng thức

Cauchy – Schwarz:

v u v

2.5.4 Sự vuông góc của hai vector:

Định nghĩa: Trong một không gian có tích vô hướng, hai vector u và v được gọi là

trực giao nếu u,v =0 Hơn nữa, nếu u trực giao với mọi vector của một họ W thì ta nói u trực giao với W

Cần chú ý rằng sự trực giao của hai vector định nghĩa như vậy sẽ phụ thuộc định nghĩa của tích vô hướng Hai vector cho trước có thể trực giao theo tích vô hướng này mà không theo tích vô hướng khác

Trong lý thuyết thông tin, khái niệm trực giao có ý nghĩa rằng thông tin của vector thông tin này và thông tin của vector thông tin kia là bán độc lập với nhau, giữa hai tin không có sự dư thừa về lượng tin, nghĩa là tin này không mang thêm bất cứ phần tin nào của tin kia Tính toán tích vô hướng giữa các vector thông tin đều dựa trên tích vô hướng Euclid

2.5.5 Họ vector trực giao:

a/ Định nghĩa: Một họ vector trong không gian có tích vô hướng gọi là một họ trực giao nếu bất kì hai vector khác nhau nào của họ cũng trực giao

Khi đó ta có định nghĩa mới: Một họ vector trực giao trong đó mọi vector đều có

chuẩn bằng 1 được gọi là một họ trực chuẩn

Ví dụ: Xét các vector sau trong R3:

)0,1,0

1(

2 =

2

1,0,2

1(

Suy ra họ S={v1,v2,v3} trong R3 với tích vô hướng Euclid là một họ trực chuẩn,

điều này có thể được kiểm tra dễ dàng

b/ Chuẩn hóa một vector:

Nếu v là một vector khác vector không trong không gian có tích vô hướng thì

v , quá trình chuẩn hóa một vector rất đơn giản nhưng cần thiết để

biến một họ độc lập tuyến tính thành một họ trực chuẩn Ta sẽ phải dùng công đoạn này trong các vòng lặp của ICA

2.5.6 Quá trình trực giao hóa Gram–Smidt:

Định lý: V là một không gian có tích vô hướng, S={u1,u2, ,u n} là một họ vector độc

lập tuyến tính của V Ta có thể thay S bằng họ trực chuẩn

S'={v1,v2, ,v n} (I.2.41) sao cho span(S)=span(S')

Ta sẽ chứng minh rằng ta làm được điều này bằng một cách, gọi là quá trình trực giao hóa Gram–Smidt, quá trình này thực ra đồng thời tạo ra một họ trực chuẩn: Bước 1:

Ta đặt

1

1 1

2 u tv

v = + và chọn t sao cho v2,v1 =0, tức là: u2 +tv1,v1 =0

0,, 1 1 1

v u

t=− =−

1 1 2 2

1 1

1 2 1 1 2 2

,

u

v u v v u

u = = , nghĩa là u1 và u2 không độc lập tuyến tính, điều này trái giả thiết

Vậy ta đi đến kết luận: span(S2)=span(S'2)Bước 3: Giả sử đã xây dựng được k−1 vector trực chuẩn, (lúc này k−1≥2),

nghĩa là xây dựng được họ S'k−1={v1,v2, ,v k−1} mà

)'()

(S k−1 =span S k−1span

Việc cần làm tiếp là xây dựng v k để cho họ S'k={v1,v2, ,v k−1,v k} là một họ trực chuẩn và span(S k)=span(S'k) Muốn vậy ta đặt:

1 1 2

2 1

1 + + + − −+

k u t v t v t v

v và chọn các t i,i=1, ,k−1, sao cho

0, i =

k v

v , i=1,2, ,k−1

0,

⇔ u k v i t i v i v i , i=1,2, ,k−1

i k

i u v

t =− ,

⇒ , i=1,2, ,k−1Từ đó v k được xác định:

1 1 2

2 1

Chứng minh tương tự, cũng như ở bước 2, v k không thể bằng θ

Chuẩn hóa v k vừa tìm được:

k

k k

v

v

Quá trình này sẽ tiếp tục cho tới khi k=n, ta nói 'S có được từ S bằng

chuẩn hóa Gram–Smidt

Quá trình trực giao hóa bao gồm cả quá trình chuẩn hóa, là một trong những công đoạn quan trọng trong việc giải quyết bài toán ICA, công đoạn này được thực hiện trong những vòng lặp sau mỗi lần tìm kiếm hướng mới cho một vector Ta sẽ thấy rõ điều này ở chương 4 của phần lý thuyết

2.5.7 Tính độc lập tuyến tính của một họ vector trực giao:

Định lý: Nếu S={u1,u2, ,u n} là một họ trực giao các vector khác vector không trong

một không gian có tích vô hướng thì S là độc lập tuyến tính

Từ định lý này, ta suy ra một định lý hệ quả và một định nghĩa quan trọng sau:

Định lý hệ quả: Trong một không gian Euclid n chiều, mọi họ S={u1,u2, ,u n} gồm n vector khác vector không mà trực giao đều là một cơ sở của không gian đó

Trong đó, cơ sở đó là cơ sở trực giao của không gian Euclid Nếu đồng thời độ dài của mỗi vector u i bằng 1 nữa thì nó là cơ sở trực chuẩn của không gian Euclid

2.5.8 Sự tồn tại cơ sở trực chuẩn trong không gian Euclid n chiều

Định lý: Trong mọi không gian Euclid n chiều khác }{θ đều tồn tại ít nhất một cơ sở trực chuẩn

Ta có thể kiểm chứng định lý này một cách dễ dàng, giả sử V là một không gian Euclid n

chiều khác rỗng và S ={u1,u2, ,u n} là một cơ sở bất kỳ của V Áp dụng quá trình trực

giao hóa Gram–Smidt, ta sẽ được họ trực chuẩn gồm n vector

Định lý: Nếu S'={v1,v2, ,v n}là một cơ sở trực chuẩn của một không gian Euclid V n chiều thì với mọi u∈V ta có

n

n v v u v

v u v v u

u= , 1 1+ , 2 2+ + , (I.2.47)

Ví dụ: cho một họ trực chuẩn gồm:

)0,1,0

4(

2 = −

5

4,0,5

3(

5

7,v3 =

u

Vậy theo định lý vừa nêu thì:

3 2 1 3 3 2

2 1

75

1,

,,v v u v v u v v v v v

1,1( − chính là tọa độ của vector u trong

không gian mới Các tích vô hướng u,v1 , u,v2 , u,v3 chính là độ lớn của hình

chiếu của u ` lên từng trục tọa độ của không gian mới Đây là nền tảng cơ bản cho

bài toán đổi cơ sở được đề cập ở phần sau

2.5.9 Hình chiếu của một vector lên một không gian con:

Định nghĩa: Ta gọi a1 là hình chiếu trực giao của u lên W ={w1,w2, ,w k}, kí hiệu

u

hch W , khi đó

k k

W u u w w u w w u w w hch

Trong quá trình thực thi ICA, nếu đã tìm ra một thành phần độc lập, có nghĩa là đã tìm ra một thành phần của vector tín hiệu trực giao với những thành phần còn lại, khi đó, để tìm hình chiếu ta chỉ đơn giản làm một thao tác ngược lại là trừ đi thành phần trực giao

2.6 Bài toán đổi cơ sở:

2.6.1 Đặt bài toán:

Trong không gian vector n chiều V, giả sử có hai cơ sở

), ,,(e1 e2 e n

B= và B'=(e'1,e'2, ,e'n)

Ta sẽ quy ước gọi B là cơ sở cũ và ' B là cơ sở mới

Xét v∈V Đối với cơ sở B ta có

n

n e v e

v e

v

.]

[

2 1

Đối với cơ sở 'B ta có

n

n e v e

v e v

v= '1 '1+ '2 '2+ + ' ' (I.2.51) nghĩa là (v)B' =(v'1,v'2, ,v'n) (I.2.51a)

' ''

]

[

2 1

gọi là ma trận chuyển cơ sở từ B sang ' B

Giải bài toán tìm ma trận chuyển:

Để có P , trước hết ta viết các biểu diễn của e' i trong cơ sở B

n

n e p e

p e p

e'1= 11 1+ 21 2 + + 1

n

n e p e

p e p

n

n p e p e p e

e' = 1 1+ 2 2 + +Nghĩa là

.]

22 12

2

.]'[

n

B

p

p p

B n

p

p p

e

.]'[

2 1

Thay (I.2.53) vào (I.2.51) ta được:

)

('

)

(')

n n n

p v

p v p

v1 = 11 '1+ 12 '2+ + 1 '

n

n v p v

p v p

n

n p v p v p v

v = 1 '1+ 2 '2+ + 'Công thức ((I.2.54) đặt ra gợi ý:

n

n n

p p

p

p p

p

p p

2 22

21

1 12

11

B n B

Định lý: Nếu P là một ma trận chuyển cơ sở từ B sang ' B thì

(a) P khả đảo (tức là P không suy biến, det(B)≠0)

(b) − 1

P là ma trận chuyển cơ sở từ 'B sang B :

[v]B P 1[v]B

Ví dụ: Cho các cơ sở trong R2: B=[e1,e2] và B'=[e'1,e'2]

Các vector viết ở dạng cột:

1',1

0,0

1

2 1

21

P (xếp tọa độ của các vector trong cơ sở 'B theo tọa độ các vector trong

cơ sở B theo cột)

Và ma trận chuyển cơ sở từ ø 'B sang B :

211

P

Sau đây là một kết quả nữa:

Định lý: Nếu P là một ma trận chuyển cơ sở từ một cơ sở trực chuẩn sang một cơ sở trực chuẩn khác trong không gian Euclid n chiều thì P là ma trận trực giao, trực giao

theo nghĩa:

I P

nhiên, lưu ý rằng lúc nào ta cũng phải đảm bảo là P khả đảo, det(P)≠0

Ví dụ: Áp dụng để tìm ra phép quay trong không gian 2 chiều, quay quanh trục vuông góc với mặt phẳng một góc α Một điểm Q có tọa độ (x,y) đối với hệ cũ Oxy và có tọa độ (x’,y’) trong hệ trục tọa độ mới Ox’y’

Ta sẽ tìm liên hệ giữa (x,y) và (x’,y’) và xem lại tính chất T

P

P−1= như sau: Các vector viết ở dạng cột:

},{e1 e2

0

12

α

cos

sin'

,sin

cos'1 e2e

Khi đó ma trận chuyển cơ sở từ ø B sang ' B là:

αα

cossin

sincos

sincos

'

'

y

x y

x P y

x

αα

αα

αα

cos'sin'

sin'cos'

y x

y

y x

αα

cossin

sincos

x' Hình I.7: Mô tả các vector

cơ sở trong không gian cũ

và mới

Chương 3

Trị riêng và vector riêng

3.1 Nhắc lại khái niệm toán tử tuyến tính và một số tính chất liên quan

3.1.1 Định nghĩa ánh xạ tuyến tính và toán tử tuyến tính:

Định nghĩa: V và W là hai không gian vector Ánh xạ T:V →W từ không gian

vector V tới không gian vector W được gọi là ánh xạ tuyến tính nếu có hai tính chất

sau:

(i) T(u+v)=T(u)+T(v),∀u,v∈V (I.3.1) (ii) T(ku)=kT(u),∀u∈V,∀k∈R (I.3.2)

Trong trường hợp W trùng với V thì ánh xạ tuyến tính T:V →V gọi là toán tử tuyến

f = → và g =V →W

là hai ánh xạ tuyến tính từ V tới W

Ta định nghĩa tổng f +g của hai ánh xạ tuyến tính và tích kf của một ánh xạ tuyến tính với một số thực k như sau:

W u g u f u g f V

u∈ + = + ∈

W u kf u kf V

là hai ánh xạ tuyến tính, khi đó ánh xạ hợp go xác định bởi f ∀v∈V :

U v f g v f

g )( )= ( ( ))∈

là một ánh xạ tuyến tính từ V tới U

3.1.3 Sự đẳng cấu của không gian n chiều với R n

Định nghĩa: Hai không gian vector V và ' V được gọi là đẳng cấu nếu giữa các vector

Hai không gian đẳng cấu có những tính chất giống nhau, từ định nghĩa ta đi đến định lý sau:

Định lý: Mọi không gian n chiều V đều đẳng cấu với Rn

Ngoài ra, giả sử tồn tại một ánh xạ tuyến tính T từ V sang W

W V

3.2 Ma trận của ánh xạ tuyến tính:

3.2.1 Khái niệm ma trận của ánh xạ tuyến tính:

Xét hai không gian hữu hạn chiều: V có n chiều và W có m chiều Giả sử B là một cơ sở

trong V, B’ là một cơ sở trong W:

}, ,,{u1 u2 u n

B= và B'={v1,v2, ,v m}

Cho ánh xạ tuyến tính T:V →W Khi đó

W x T V

với x=x1u1+ +x n u n (I.3.11) và T(x)=y1v1+ +y m v m (I.3.12) Từ đó ta có thể thấy rằng ánh xạ tuyến tính chuyển từ T:V →W có thể được thực hiện bằng một phép nhân ma trận

Định nghĩa: Ma trận A cỡ m x n thỏa mãn điều kiện trên nếu có, sẽ được gọi là ma trận ánh xạ tuyến tính T:V →W đối với cơ sở B trong V và B’ trong W Khi đó ma trận A có dạng:

m

n n

a a

a

a a

a

a a

a A

2 22

21

1 12

11

3.2.2 Ma trận đồng dạng

Định nghĩa: Giả sử A và B là hai ma trận vuông cùng cấp n Ta nói B đồng dạng với

A, kí hiệu B∼A, nếu tồn tại một ma trận không suy biến (nghĩa là khả đảo) P cấp n sao cho

hay A=PBP− 1 =(P− 1)− 1BP− 1

Nếu đặt Q = P− 1, ta có:

A=Q−1BQ, không suy biến (I.3.14)

Do đó nếu A đồng dạng với B thì B cũng đồng dạng với A

3.3.2 Ma trận của ánh xạ tuyến tính thông qua phép biến đổi cơ sở

Định lý: Giả sử T:V →V là một toán tử tuyến tính trong không gian n chiều V Nếu

ma trận của T đối với cơ sở B và A’ là ma trận của T đối với cơ sở B’ thì

AP P

trong đó P là ma trận chuyển cơ sở từ B sang B’

Vậy A’ đồng dạng với A Đây là một trong những điều cần thiết cho quá trình tính toán cho thuật toán ICA Khi thực hiện trên phần cứng, ta càng phải làm giảm độ phức tạp mà các ma trận thống kê mang lại, chuyển nó thành một dạng đơn giản hơn để giảm thiểu lượng tính toán, thỏa mãn được sự hạn chế về tài nguyên (cụ thể trong đề tài là FPGA)

Ta đặt vấn đề như sau: cho ma trận vuông bất kì, hỏi có thể tìm được ma trận P vuông cùng cấp để ma trận A'=P−1AP có dạng đơn giản hơn A, chẳng hạn như dạng chéo, được không? Bài toán này chính là bài toán rút gọn ma trận một ta sẽ giải quyết ở phần sau: trị riêng và vector riêng

3.3 Trị riêng và vector riêng của ma trận:

Trong nhiều bài toán, khi cho toán tử tuyến tính T:V →V thì có một vấn đề quan trọng là xác định được những số λ sao cho T(x)=λx, tức là T(x) tỉ lệ với x, x khác vector không Toán tử T ở đây nên được hiểu là một ma trận ánh xạ tuyến tính để giảm tính trừu tượng

3.3.1 Khái niệm trị riêng và vector riêng của ma trận[5]:

Định nghĩa: Giả sử A là một ma trận vuông cấp n Số λ được gọi là trị riêng của A nếu phương trình

Lưu ý: Nếu x là vector riêng của A ứng với trị riêng λ thì cx cũng là vector riêng của A ứng với trị riêng λ

Thật vậy, ta có

)()

()

Đó là phương trình để xác định các trị riêng của A, ta đi đến định nghĩa sau:

Định nghĩa: Phương trình det(A − Iλ )=0 gọi là phương trình đặc trưng của ma trận vuông A, còn đa thức det(A−λI) gọi là đa thức đặc trưng của A

Ví dụ: Tìm trị riêng của ma trận

23

λ

1

23

10

0101

23)(A I

Vậy phương trình đặc trưng của A là

0231

23

Suy ra λ =1 và λ=2 là trị riêng của A

Vì trị riêng là nghiệm của một đa thức nên ngoài giá trị thực ra còn có thể mang giá trị phức

3.3.3 Trị riêng của ma trận đồng dạng:

Định lý: Hai ma trận đồng dạng thì có cùng đa thức đặc trưng, nghĩa là có các trị riêng như nhau

Chứng minh: Giả sử A và B là hai ma trận đồng dạng, nghĩa là tồn tại ma trận P không suy biến: det(P)≠0, để có B=P−1AP

Xét phương trình đặc trưng của B:

)det(

)

IP P AP P I

B−λ = − −λ −

))(

det( 1

P I A

P −λ

)det(

)det(

)det( 1

P I A

P −λ

)det(

)

P P

I

A− −

)det(

)

P P I

A− −

)det(

)det(A−λI I

=

)det(A−λI

=Vậy trị riêng của B trùng với A

3.3.4 Tìm vector riêng của ma trận:

Vector riêng của ma trận A ứng với trị riêng λ là nghiệm khác không của phương trình (I.3.17), đó là những vector khác vector không trong không gian nghiệm của phương trình (I.3.18)

Định nghĩa: Ta gọi không gian nghiệm của phương trình det(A − Iλ )=0 là không gian riêng ứng với trị riêng λ Số chiều của không gian riêng của A ứng với trị riêng λ

gọi là bội số hình học của λ

Ví dụ: tìm cơ sở của không gian riêng của

032

023

A

Giải: Phương trình đặc trưng của A là:

0)5)(

1(5

00

03

2

023

λλ

nên các trị riêng của A là λ=1và λ =5 (bội 2)

Theo định nghĩa, vector

x là vector riêng của A ứng với trị riêng λ khi và chỉ khi x là nghiệm

không tầm thường của (A−λI)x=0

500

03

2

023

3 2 1

x x x

λλλ

000

022

022

3 2 1

x x x

Giải hệ này ta được x1=s,x2 =−s,x3=t

Vậy những vector riêng của A tương ứng với trị riêng λ =5 là những vector khác vector 0 có dạng:

10

0

0

t s

t s s t

s

s x

1và

0 là độc lập tuyến tính, chúng tạo thành một cơ sở không

gian riêng ứng với trị riêng λ=5

400

022

022

3 2 1

x x x

Giải hệ này ta được x1=t,x2 =t,x3 =0

Vậy những vector riêng của A tương ứng với trị riêng λ=1 là những vector khác vector không có dạng:

0

t t

1là cơ sở không gian riêng ứng với trị riêng λ=1

3.3.5 Trị riêng của ma trận đối xứng:

Định lý: Ma trận đối xứng chỉ có trị riêng thực

a

A =[ ]× và x=[x i]n×1Khi đó rõ ràng Ax=A x

Giả sử λ là trị riêng của A và x≠θ là vector riêng tương ứng

Ta có: λx T x=x T(λx)=x T(Ax)=(Ax)T x=x T A T x

x x x x x x x x Ax x x A

x T T = T = T λ = Tλ =λ T =λ T

λλλ

λλ

⇒( )x T x 0 0Vậy ∈λ R

Và do ∈λ R nên các vector riêng cũng là các vector thuộc Rn

Với tính chất này, ta có thể đánh giá rằng công đoạn tính trị riêng và vector riêng khi whiten tín hiệu trong ICA không quá phức tạp

3.4 Vấn đề chéo hóa ma trận

Trong phần trước chúng ta cũng đã đề cập đến việc đơn giản hóa một ma trận thành một

ma trận chéo để dễ kiểm tra, khảo sát các đặc tính của ma trận Cụ thể là đi tìm một cơ sở khác cũng trong V, sao cho ma trận của T đối với là một ma trận chéo! Ngoài ra, trong tính toán thực tế đôi khi cần tính hàm mũ của một ma trận, tất cả đều phải dựa trên sự đơn giản hóa này

3.4.1 Ma trận chéo hóa được:

Định nghĩa: Cho ma trận vuông A Nếu tồn tại một ma trận khả đảo P sao cho P−1AP

là ma trận chéo thì nói ma trận A chéo hóa được và nói ma trận P làm chéo hóa ma trận A

Như vậy A chéo hóa được nếu nó đồng dạng với một ma trận chéo Các định lý sau sẽ cho phép chúng ta hiểu sâu hơn và giúp ta ứng dụng được nhiều hơn:

Định lý: Giả sử ma trận A là ma trận vuông cấp n Điều kiện cần và đủ để A chéo hóa được là nó có n vector riêng độc lập tuyến tính

Định lý: Nếu ma trận A cấp n có n trị riêng khác nhau thì A chéo hóa được

3.4.2 Quy trình chéo hóa một ma trận:

Bước 1: Tìm n vector riêng độc lập tuyến tính của A

p1,p2, ,p n

Bước 2: Lập ma trận P có p1,p2, ,p n là các cột

Bước 3: ma trận P−1AP sẽ là ma trận chéo với λ1,λ2, ,λn là các phần tử chéo liên

tiếp, trong đó λi là trị riêng tương ứng với vector p i, i=1,2, ,n

3.5 Vấn đề chéo hóa trực giao:

Vấn đề này liên quan mật thiết với ma trận đối xứng, một loại ma trận nhận được khi tính giá trị trung bình { T}

3.5.1 Khái niệm chéo hóa trực giao:

Định nghĩa: Cho ma trận vuông A Nếu tồn tại ma trận trực giao P sao cho P−1AP là

ma trận chéo thì ta nói A chéo hóa trực giao được và P là ma trận làm chéo hóa trực giao ma trận A

Do đó ta có định lý:

Định lý: Giả sử A là ma trận vuông cấp n Điều kiện cần và đủ để A chéo hóa trực giao được là A có n vector riêng trực chuẩn

3.5.2 Chéo hóa trực giao ma trận đối xứng

Định lý: Xét ma trận vuông cấp n Điều kiện cần và đủ để ma trận A chéo hóa trực giao được là A đối xứng

Chứng minh:

Gọi D là ma trận

AP P

PD P

D P PDP

A T =( T)T=( T)T T T = T T = T =nghĩa là A là ma trận đối xứng

Phần đảo đã được suy ra từ các định lý trước

Với định lý này, ta có thể yên tâm rằng ta luôn có thể tìm được ma trận P sao cho

D

AP

P−1 = , hay A = PDP− 1, trong đó D là ma trận đường chéo Khi đó, ta luôn tính được

ma trận whitening cho dữ liệu đầu vào (xem (chương 4, phần I)), vì ma trận thống kê R luôn là ma trận đối xứng, và do đó ma trận whitening − 2

= R

Q luôn tính được dựa vào công thức (I.4.32) trình bày trong phần sau Khi bước tiền xử lý trong ICA (centering và whitening) thực hiện xong thì công việc ICA mới có thể tiến hành được

3.5.3 Một số tính chất của trị riêng của ma trận đối xứng

Vì ma trận đối xứng A chéo hóa trực giao được nên tồn tại ma trận trực giao P để

D AP

trong đó D là ma trận chéo các trị riêng của A Vậy A và D có các trị riêng trùng nhau với cùng một số vector riêng độc lập tuyến tính ứng mỗi trị riêng

Từ đó suy ra kết quả:

Định lý: Nếu ma trận vuông A đối xứng thì các vector riêng thuộc những không gian riêng khác nhau sẽ trực giao theo tích vô hướng Euclid trong Rn

Định lý: Nếu ma trận A đối xứng thì số bội hình học của mỗi trị riêng bằng bội đại số của nó

Nghĩa là: nếu trị riêng λ là nghiệm bội m của phương trình đặc trưng của A thì ứng với

λ có đủ m vector riêng độc lập tuyến tính Nói cách khác: không gian riêng ứng với λ

có số chiều bằng đúng m

3.5.4 Quy trình chéo hóa trực giao các ma trận đối xứng

Bước 1: Tìm một cơ sở cho mỗi không gian riêng của ma trận đối xứng A

Bước 2: Áp dụng quá trình trực giao hóa Gram – Smidt (xem công thức từ (I.2.42) đến

(I.2.46)) vào mỗi cơ sở đó để được một cơ sở trực chuẩn cho mỗi không gian riêng

Bước 3: Lập ma trận P mà các cột là các vector cơ sở xây dựng ở bước 2 Ma trận P

này sẽ làm chéo hóa trực giao ma trận A

Chương 4

4.1 – CƠ SỞ VÀ CÁC ĐỊNH NGHĨA[6]

4.1.1 – Mô tả bài toán:

Ta biểu diễn các nguồn s theo kiểu không phụ thuộc t, mà coi s như là một vector tín

hiệu, thay vì viết s(t) ta viết s

Mô tả bài toán như sau:

Giả sử ta có n nguồn phát tín hiệu độc lập nhau để những nơi khác nhau trong không gian, ta có n sensor cũng đặt ở những vị trí khác nhau Khi đó, tín hiệu thu được ở mỗi sensor là x1, x2, …, xn, là tổ hợp tuyến tính của nhiều thành phần độc lập

xj = aj1s1 + aj2s2 + … +ajnsn 1≤ j ≤n (I.4.1) Khi j chạy từ 1 đến n, ta có thể coi vector x = [x1 x2 ….xn]T và A là ma trận các hệ số

i s a

1

Mô hình thống kê (2) được gọi là mô hình phân tích thành phần độc lập, hay mô hình ICA Mô hình này chỉ mô tả cách thức dữ liệu quan sát được tạo ra bởi quá trình tổ hợp các thành phần độc lập si Những thành phần này là ẩn số, ta không thể quan sát trực tiếp, và cả các hệ số tổ hợp cũng không biết nốt Tóm lại, ta chỉ có vector x, ta không biết cả s lẫn A Để tìm được các si, ta phải có một điều kiện chung nhất và quan trọng nhất là các nguồn si là các nguồn độc lập xác suất Để đơn giản, ta giả sử A là ma trận vuông tuy điều này không phải là nhất thiết Ta sẽ phải ước lượng được ma trận W và thu được các

si bằng công thức:

ICA là một cách giải bài toán tách mù nguồn (Blind Source Separation – BSS), nguồn

ở đây chính là các nguồn đầu tiên si, mù vì ta biết rất ít về cả nguồn lẫn ma trận hệ số ICA là một phương pháp có lẽ là thông dụng nhất trong việc tách mù các nguồn độc lập Để đơn giản hơn, ta sẽ khoan không đề cập đến nhiễu trong mô hình toán

4.1.2 Tính không rõ ràng của ICA

- Ta không thể xác định được variance (năng lượng) của các thành phần độc lập

- Ta không thể xác định đúng dấu của các thành phần độc lập, có thể kết quả tách của một si nào đó là – si

- Ta không thể xếp được thứ tự của các thành phần độc lập, điều này là hiển nhiên

4.1.3 Tính độc lập

Xét 2 biến ngẫu nhiên y1 và y2 Chúng sẽ độc lập nếu thông tin của y1 không làm cho

y2 tăng thêm bất kỳ một lượng thông tin nào và ngược lại Do đó, với mô hình vector ở

trên, ta có: các s i độc lập còn các x i thì không

Về mặt toán học, tính độc lập có thể được định nghĩa bằng hàm mật độ xác suất như sau: Gọi p(y1,y2) là hàm mật độ xác suất (pdf) tổng hợp của 2 biến ngẫu nhiên y1 và y2;

p1(y1) và p2(y2) là hàm mật độ xác suất của từng biến ngẫu nhiên y1 và y2 tương ứng

p1(y1)=∫p(y1,y2)dy2 (I.4.5a)

p2(y2)=∫p(y1,y2)dy1 (I.4.5b) Từ đây, ta phát biểu như sau: y1 và y2 độc lập nếu và chỉ nếu pdf có thể phân tích thành các pdf thành phần:

({)}

()({h1 y1 h2 y2 E h1 y1 E h2 y2

Điều này không chỉ đúng đối với 2 biến độc lập mà cũng đúng đối với số biến độc lập là n

Hình I.9: Joint distribution (phân bố xác suất chung) của hai biến độc lập

Hình I.10: Joint distribution của hai tín hiệu thu không độc lập

4.1.4 Không tương quan – Dạng độc lập yếu hơn:

Hai biến y1, y2 được gọi là không tương quan nếu covariance chung của chúng bằng 0

E{y1y2}-E{y1}E{y2} =0 (I.4.8) Tuy E{y1y2}=E{y1}E{y2} nhưng không có nghĩa là chúng độc lập Độc lập sẽ dẫn ra được đẳng thức E{y1y2}=E{y1}E{y2} nhưng ngược lại thì không! Trường hợp này được

xem như là độc lập một nửa, hay còn gọi là bán độc lập

4.1.5 Vấn đề khôi phục tín hiệu Gauss:

Để có thể khôi phục bằng ICA, các tín hiệu phải thỏa tính NonGauss Giả sử ma trận tổ hợp (mixing matrix) là trực giao với những tín hiệu tham gia là Gauss Khi đó, xét 2 tín hiệu thu được là x1, x2: cũng là Gauss, không tương quan, mật độ xác suất được cho bởi:

) ( 2 1 2

1

2 22

1)(x x e x x

Phân bố được mô tả bởi phân bố này là hoàn toàn đối xứng, do đó không chứa thông tin về hướng, đó là lý do tại sao tín hiệu Gauss không thể khôi phục, trừ khi trong n nguồn phát chỉ có một nguồn Gauss

4.2 TIỀN XỬ LÝ ICA:

4.2.1 Centering (chuyển khối joint density về trung tâm)

Một công đoạn quan trọng để thực hiện được ICA là phải chuyển về trung tâm khối tín hiệu x Đơn giản hơn, đó là loại bỏ thành phần một chiều DC trong từng tín hiệu thu Giá trị trung bình của vector x: m=E (x)

m x

Điều này sẽ làm cho bài toán ICA đơn giản hơn Hơn nữa, thành phần DC này thường không chiếm vai trò quan trọng trong thông tin Tuy vậy, nếu cần thiết, ta khử DC nhưng lưu lại các giá trị DC này và sẽ cộng vào kết quả cuối cùng lượng DC đó nếu cần thiết

Nếu ước lượng được một ma trận − 1

A , ta có thể khôi phục thành phần DC trong tín hiệu như sau:

E{s}=A−1E(x)=A−1m (I.4.11)

4.2.2 Whitening

4.2.2.1 Giới thiệu Principal Component Analysis (PCA) [7]:

Có thể nói rằng PCA là tiền thân, sinh ra nhu cầu để ICA ra đời PCA làm nhiệm vụ tách các thành phần phụ thuộc nhau, loại bỏ dư thừa thông tin trên dữ liệu đa chiều, PCA tạo điều kiện thuận lợi cho lưu trữ, truyền dữ liệu đa chiều Điểm khởi đầu cho PCA, ta xét một vector ngẫu nhiên x gồm nhiều phần tử, có T mẫu dữ liệu thu được từ vector này là x(1),x(2), x(T), không có giả sử nào rõ ràng về mật độ xác suất của các vector trong PCA, miễn là các thống kê bậc 1 và bậc 2 có thể được ước lượng từ các mẫu đo được Hơn nữa cũng không có một mô hình sinh nào được gán cho vector x Thông thường các phần tử của x là những giá trị đo như là những mức xám (ảnh) hay những giá trị tức thời của một tín hiệu a nào đó Điều chủ yếu trong PCA là các phần tử này tương quan lẫn nhau, và do đó có sự dư thừa về lượng tin trong vector x, nghĩa là các giá trị này có thể nén được Nếu các phần tử này độc lập nhau thì PCA chẳng có giá trị gi ở đây cả Sau khi xử lý bằng PCA, tín hiệu x→X thì kết quả mà PCA mang lại là:

D XX

D là ma trận đường chéo, nghĩa là tương quan giữa các thành phần là bằng 0 Sau đó một bài toán được đặt ra là tách hẳn các thành phần chính này thành những thành phần độc lập, tức là không chỉ không tương quan, việc thực hiện các vấn đề này chính công việc của ICA

Trong biến đổi PCA, vector x trước tiên cũng được chuẩn về trung tâm (centering) bằng cách trừ đi giá trị trung bình: x←x−E {x}

Trị trung bình này trong thực tế được ước lượng như là kỳ vọng của các mẫu Sau khi centering,E{x}=0 Tiếp theo, x được chuyển đổi qua một ánh xạ tuyến tính thành vector

y gồm m phần tử, với m ≤ n, để cho phần dư gây ra bởi sự tương quan được loại bỏ Điều này được thực hiện bằng cách tìm kiếm một hệ không gian trực giao mới, để quay các phần tử của x vào không gian mới, tại đó, chúng không tương quan nhau nữa Lúc đó, phương sai của x trong hệ không gian trực giao mới theo từng trục tọa độ là lớn nhất

Giới thiệu một số phương pháp PCA đơn giản:

i) Thực hiện PCA bằng phương pháp tối đa hóa phương sai:

Xét sự biến đổi tuyến tính

k x w x w

y

1

1 1