Nghiên cứu về xử lý tín hiệu thống kê và ứng dụng xây dựng bộ cân bằng kênh tự thích nghi

Mục lục hình vẽ Hình 1.1 Các ví dụ về quá trình ngẫu nhiên 1 Hình 1.2 Tập các mẫu của quá trình ngẫu nhiên dừng 2 Hình 1.3 Phổ mật độ công suất của quá trình ngẫu nhiên 8 Hình 1.4 Hàm t

Trường Đại Học Bách Khoa Hà Nội Trung Tâm Đào Tạo – Bồi dưỡng sau Đại Học

Luận Văn Thạc sĩ Ngành: Xử lý thông tin và truyền thông

Đề Tài : “Nghiên cứu về xử lý tín hiệu thống

kê và ứng dụng xây dựng bộ cân bằng kênh tự thích nghi”

Hà Nội 2004

mụC lụC

Mở đầu

Chương I: Tổng quan về xử lý tín hiệu thống kê 1

1.1.1 Khái niệm tín hiệu ngẫu nhiên rời rạc 1

1.1.2 Đặc trưng momen của tín hiệu ngẫu nhiên dừng 4

1.1.2.2 Đặc trưng của tín hiệu ngẫu nhiên trong miền tần số 7

1.1.2.3 Đặc trưng của tín hiệu ngẫu nhiên trong miền biến đổi Z 9

1.3 Biểu diễn tín hiệu ngẫu nhiên dưới dạng vecto ngẫu nhiên 13

1.3.3 Các phép biến đổi tuyến tính của vectơ ngẫu nhiên 15

1.4 Những nguyên tắc cơ bản của ước lượng 17

1.4.2 Bài toán ước lượng các biến ngẫu nhiên 23

1.4.3 Ước lượng trung bình-bình phương tuyến tính 25 Chương 2: Ước lượng phổ quá trình ngẫu nhiên

vàcác mô hình tham số

2.2.3 Phổ của quá trình ngẫu nhiên 30 2.3 Bài toán ước lượng phổ công suất 31

2.3.1.1 Ước lượng phổ không tham số theo phương pháp Periodogram 32

2.3.1.2 Ước lượng phổ không tham số theo phương pháp Bartlett 34

2.3.1.3 Ước lượng phổ không tham số theo phương pháp Welch 35

2.3.1.4 Ước lượng phổ không tham số theo phương pháp

2.3.1.5 Ước lượng phổ trên cơ sở tối thiểu hoá phương sai 37

2.3.1.6 Ước lượng phổ không tham số ứng dụng các phép nhân cửa sổ 38

2.3.2 Các phương pháp ước lượng phổ dựa trên mô hình tham số 39

2.3.2.1 Ước lượng phổ dựa trên mô hình tự hồi quy 40

2.3.2.2 Ước lượng phổ dựa trên mô hình dịch chuyển trung bình 42

2.3.2.3 Ước lượng phổ dựa trên mô hình dịch chuyển trung bình

2.3.2.4 Ước lượng phổ dựa trên mô hình phân tích theo

Chương 3: Lọc Wiener và xử lý tín hiệu thích nghi 48

3.2.2 Xử lý tín hiệu thích nghi theo phương thức giảm gradient 54

3.2.3 Xử lý tín hiệu thích nghi theo phương thức tối thiểu

trung bình bình phương (LMS-Least Mean Squares) 56

3.2.3.3 Thuật toán LMS sử dụng dấu của sai số 57

3.2.3.4 Thuật toán LMS sử dụng phương thức gán trọng số dạng mũ 57

3.2.4 Thuật toán thích nghi theo phương thức tối thiểu

5.1.1 Tín hiệu xác định và nhiễu cộng ngẫu nhiên 74

5.2 Một số kết quả mô phỏng minh hoạ các thuật toán ước

5.3.1 Lọc tín hiệu dựa trên các thông tin về phổ của tín hiệu 82

5.3.2 Lọc tín hiệu bằng bộ lọc tối ưu Wiener(không dựa trên các

5.4.1 Cân bằng kênh tự thích nghi sử dụng thuật toán LMS 84

5.4.2 Cân bằng kênh tự thích nghi bằng thuật toán LMS sử dụng

5.4.3 Cân bằng kênh tự thích nghi bằng thuật toán LMS có tính đến

5.4.4 Cân bằng kênh tự thích nghi bằng thuật toán LMS sử dụng dấu

của sai số và dấu của dữ liệu đầu vào bộ cân bằng 87

5.4.5 Cân bằng kênh tự thích nghi bằng thuật toán LMS với trạng

thái ban đầu được thiết lập bằng lọc Wiener tối ưu có huấn

Phụ lục: Một số từ viết tắt tiếng Anh 90

Mục lục hình vẽ

Hình 1.1 Các ví dụ về quá trình ngẫu nhiên 1

Hình 1.2 Tập các mẫu của quá trình ngẫu nhiên dừng 2 Hình 1.3 Phổ mật độ công suất của quá trình ngẫu nhiên 8 Hình 1.4 Hàm tương quan dạng mũ và mật dộ phổ công suất 10 Hình 1.5 Biểu diễn dãy ngẫu nhiên bằng vectơ ngẫu nhiên 13 Hình 1.6 Ước lượng của trung bình theo xác suất lớn nhất 18 Hình 1.7 Hàm mật độ sử dụng cho ước lượng đúng 20 Hình 1.8 Ước lượng biến ngẫu nhiên y từ tập quan sát 23 Hình 1.9 Các hàm giá trong ước lượng Bayes 34 Hình 4.1 Miêu tả tương đương một kênh thông tin số 61 Hình 4.2 Hệ thống cân bằng kênh thích nghi 62 Hình 4.3 Bộ cân bằng kênh thích nghi theo phương thức ra quyết

Hình 4.4 Sơ đồ khối hệ thống cân bằng kênh tự thích nghi 67 Hình 4.5 Cấu trúc bộ cân bằng ứng dụng phương thức xử lý đ kênh 71 Hình 5.1 Tín hiệu xác định và nhiễu cộng ngẫu nhiên 74 Hình 5.2 Tín hiệu nguẫ nhiên và tín hiệu ngẫu nhiên rời rạc 74 Hình 5.3 Ước lượng phổ theo phương pháp Periodogram 75 Hình 5.4 Phổ của tín hiệu xác định theo phương pháp Periodogram

Hình 5.5 Phổ của tín hiệu xác định theo phương pháp Bartlett 77 Hình 5.6 Phổ của tín hiệu xác định bằng phương pháp Welch 78 Hình 5.7 Phổ của tín hiệu xác định bằng phương pháp Blackman-

Hinh 5.8 Phổ của tín hiệu xác định bằng phương pháp Yule-Walker 80 Hình 5.9 Phổ của tín hiệu xác định dựa trên mô hình tham số AR 81 Hình 5.10 Lọc nhiễu tín hiệu bằng bộ lọc FIR được thiết kế dựa trên

Hình 5.11 Lọc nhiễu bằng bộ lọc IIR được thiết kế dựa trên quan sát

phổ tín hiệu

82

H×nh 5.12 Läc nhiÔu b»ng bé läc Wiener –FIR trªn c¬ së tèi thiÓu

H×nh 5.13 TÝn hiÖu ®Çu ra bé c©n b»ng kªnh ë tr¹ng th¸i c©n b»ng

H×nh 5.14 TÝn hiÖu ®Çu ra bé c©n b»ng kªnh tù thÝch nghi theo thuËt

to¸n LMS sö dông dÊu sai sè 85 H×nh 5.15 TÝn hiÖu ®Çu ra bé c©n b»ng kªnh tù thÝch nghi theo thuËt

to¸n LMS cã sö dông dÊu cña d÷ liËu ®Çu vµo 86 H×nh 5.16 TÝn hiÖu ®Çu ra bé c©n b»ng kªnh tù thÝch nghi theo thuËt

to¸n LMS sö dông hµm dÊu cña sai sè vµ d÷ liÖu ®Çu vµo 87 H×nh 5.17 KÕt qu¶ m« pháng bé c©n b»ng kªnh tù thÝch nghi sö

dông thuËt to¸n LMS víi tr¹ng th¸i c©n b»ng ban ®Çu 88

Chương I: Tổng quan về xử lý tín hiệu thống kê 1.1 Tín hiệu ngẫu nhiên rời rạc

1.1.1 Khái niệm tín hiệu ngẫu nhiên rời rạc

Tín hiệu ngẫu nhiên rời rạc được biểu diễn bởi dãy rời rạc x [n] là tín hiệu mà với sự lựa chọn bất kỳ của biến độc lập n=n0 thì giá trị x[n0] là một giá trị ngẫu nhiên.Hình 1.1 là một số ví dụ về tín hiệu ngẫu nhiên rời rạc:

- ở hình 1.1.a tín hiệu ngẫu nhiên rời rạc thực, tại giá trị bất kỳ của biến

độc lập n=n0 thì giá trị tín hiệu x[n0] nhận giá trị thực nào đó

- ở hình 1.1.b giá trị tín hiệu tại thời điểm n=n0 một cách ngẫu nhiên

là -1 hoặc +1

- ở hình 1.1.c và 1.1.d thoả mãn định nghĩa tín hiệu ngẫu ngiên Nhưng

Hình 1.1 : Các ví dụ về quá trình ngẫu nhiên : (a) Nhiễu,(b) dữ liệu nhị phân,(c) quá trình ngẫu nhiên dạng sin,(d) quá trình ngẫu nhiên dạng điện áp không đổi

giá trị của tín hiệu ứng với giá trị bất kỳ của biến độc lập n=n0 là một giá trị ngẫu nhiên nào đó nằm trong một số hữu hạn các giá trị có thể Với tín hiệu ở hình 1.1.c ta thấy biên độ và pha của nó có thể là một giá trị ngẫu nhiên Nhưng giá trị ở pha tiếp theo có thể xác định thông qua giá trị ở hai pha liên tiếp trước đó của tín hiệu Với tín hiệu

ở hình 1.1.d giá trị của tín iệu có thể là một giá trị ngẫu nhiên nào đó nhưng một mẫu bất kỳ của tín hiệu sẽ đại diện cho tín hiệu ở một thời

có thể ước lượng từ tổ hợp tuyến tính các giá trị trước đó của quá trình

Đặc trưng thống kê cơ bản của quá trình ngẫu nhiên được thể hiện thông qua hàm phân bố xác suất hoặc hàm mật độ xác suất của các mẫu tín hiệu

Với hàm mật độ, ta sử dụng một dãy xung để biểu diễn các giá trị xác suất rời rạc Để đặc trưng cho toàn bộ tín hiệu có thể tạo ra hàm mật

độ chung cho tổ hợp các mẫu tín hiệu bất kỳ của quá trình ngẫu nhiên như hình 1.2 Nếu như hàm mật độ chung này không phụ thuộc vào vị trí các mẫu và khoảng cách lấy mẫu là giống nhau Thì quá trình ngẫu nhiên

được coi là dừng nghiêm ngặt

Hình 1.2 : Quá trình ngẫu nhiên dừng Tập các mẫu bất kỳ

có khoảng cách lấy mẫu bằng nhau có cùng hàm mật độ

3 trường hợp chủ yếu xuất hiện trong xử lý tín hiệu mà có thể chấp nhận các tính chất thống kê của tín hiệu ngẫu nhiên Đó là:

• Khi các mẫu của tín hiệu là độc lập , trong trường hợp này hàm mật

độ chung cho tập các mẫu bất kỳ là tích số của các hàm mật độ của từng mẫu riêng biệt Nếu các mẫu có trung bình zero thì loại quá trình ngẫu nhiên này được biết như là quá trình nhiễu trắng hoàn toàn

• Khi hàm mật độ điều kiện cho các mẫu fx[n]x[n-1] chỉ phụ thuộc vào mẫu trước đó x[n-1] ( hoặc k mẫu trước đó ) Loại quá trình này được biết như là một quá trình MarKov (hoặc quá trình MarKov bậc k)

• Khi các mẫu của quá trình ngẫu nhiên là tuân thủ phân bố Gaussian Thì quá trình ngẫu nhiên được gọi là quá tình ngẫu nhiên Gaussian và

nó xuất hiện nhiều trong các ứng dụng thực tế Ví dụ khi dãy ngẫu nhiên là các mẫu tín hiệu của một loại nhiễu

Việc phân tích thống kê tín hiệu là hoàn toàn hợp lý trong các trường hợp khi bản chất tự nhiên của bài toán cho phép ứng dụng một trong các mô hình ở trên Trong phần lớn các trường hợp chúng ta không biết hoàn toàn về phân bố thông kê của tín hiệu Tuy nhiên một phân tích hữu dụng nào đó vẫn có hể được đưa ra thông qua việc sử dụng các momen thống kê của tín hiệu

Cho trường hợp tín hiệu ngẫu nhiên chỉ nhận giá trị thực thì các momen bậc 1 và 2 theo thứ tự là các hàm trung bình và hàm tương quan

Momen tổng quát được biểu diễn bởi biểu thức:

ε{xk0[n0]xk1[n1] xkL[nL]} (1.5)

Các momen thường không biết và nó được ước lượng từ tập dữ liệu quan sát Trong trường hợp quá trình ngẫu nhiên dừng ta tính momen từ trung bình như sau:

(1.6) ] [ ]

[ ] [ 1

2

1 lim ] [ ]

N n

L kL k

k N

L kL k

k

l n x l n x n x N

l n x l n

Một quá trình ngẫu nhiên mà chỉ thoả mãn điều kiện :

<x[n]>=ε{x[n]} (1.7)

được gọi là Ergodic trung bình

Một quá trình ngẫu nhiên thoả mãn điều kiện:

<x[n]x[n+l]>=ε{x[n]x[n+l]} (1.8)

được gọi là Ergodic trong tương quan

Hai điều kiện (1.7) và (1.8) là thoả mãn trong hầu hết các phân tích thống kê

Ergodic gợi ý rằng các momen thống kê có thể ước lượng được từ một thực hành đơn giản trên qúa trình ngẫu nhiên

1.1.2 Đặc trưng momen của tín hiệu ngẫu nhiên dừng

1.1.2.1 Các Momen và các Culmulant

- Các momen của một quá trình ngẫu nhiên dừng là không phụ thuộc vào chỉ số n Do vậy momen trung bình của quá trình ngẫu nhiên dừng là một hằng số được xác định như sau:

mx=ε{x[n]} (1.9)

- Hàm tự tương quan chỉ phụ thuộc vào khoảng cách giữa hai mẫu l như sau:

Rx=ε{x[n]x*[n-l]} (1.10)

(dấu * trong công thức là dấu liên hợp phức)

- Hàm hiệp phương sai được định nghĩa như sau:

Ví dụ với quá trình ngẫu nhiên là nhiễu trắng (quá trình bất kỳ có trung bình zero và các mẫu không tương quan) Rx[l]=0 với mọi giá trị l khác 0 Với quá trình nhiễu trắng như vậy thì hàm tương quan có dạng:

- Hàm tương qua chéo giữa phần thực và phần ảo thoả mãn:

Rxrxi[l]=-Rxixr[l]=-1/2Im{Rx[l]} (1.14)

Các hàm tương quan có hai tính chất được suy ra từ định nghĩa là:

• Hàm đối xứng liên hợp:

R [l]=R* [-l] (1.15)

• Hàm xác định không âm :

(1.16) 0 ] [ ] [

] [

1 0

n

0 0 1 1

Hai tính chất này có thể suy ra một cách rễ ràng từ định nghĩa Tính chất không âm có thể thu được từ tính chất:

Rx[0]≥|Rx[l]| l≠0;

Các momen và Culmulant bậc cao hơn đôi khi cũng sử dụng trong các mô hình xử lý tín hiệu Các momen bậc 3 và 4 cho quá trình ngẫu nhiên dừng thường được viết như sau:

Các momen chéo giữa hai hay nhiều tín hiệu ngẫu nhiên cũng được

sử dụng Ví dụ cho hai tín hiệu ngẫu nhiên dừng x và y Các hàm tương quan chéo và hiệp phương sai chéo được định nghĩa như sau:

Rxy[l]=ε{x[n]y*[n-l]} (1.21)

1.1.2.2 Đặc trưng của tín hiệu ngẫu nhiên trong miền tần số

+ Hàm mật độ phổ công suất được định nghĩa như là biến đổi Fourier của hàm tự tương quan như sau:

e l R e

-(1.25) )

( 2

1 ]

ω ω π

2

1 ] 0 [

2

x[n]

TB suất Công

Kết quả trên được suy ra từ (1.10) và (1.25) Vì mật độ phổ công suất có thể bao gồm cả hai thành phần liên tục và rời rạc Nên dạng tổng quát của nó là:

(1.26) )

( 2 ) ( )

i

j c i

j x

Hai tính chất mang tính định nghĩa của hàm tương quan (1.15) và (1.16) tương ứng với hai tính chất của hàm mật độ phổ công suất:

j

Thông hường hàm mật độ phổ công suất chéo có giá trị phức Mật

độ phổ chéo ở một điểm nào đó trong miền tần số là số đo tương quan giữa các thành phần của 2 quá trình ngẫu nhiên ở tần số đã chọn Với phổ chéo thường dùng hàm:

(1.30) )

( ) (

) ( )

(

ω ω

ω ω

j y

j x

j xy j

xy

e S e S

e S

Γ

Và bình phương biên độ :

(1.31)

)

( ) (

) ( )

(

2 2

ω ω

ω ω

j y

j x

j xy j

xy

e S e S

e S

Γ

Thường được sử dụng thay thế cho |Sxy(ej ω)| và có tính chất:

Hình 1.3: Phổ mật độ công suất của quá trình ngẫu nhiên

phức với các thành phần liên tục và rời rạc

(1.32) 1

) (

xy e

1.1.2.3 Đặc trưng của tín hiệu ngẫu nhiên trong miền biến đổi Z

Trong rất nhiều trường hợp khi phân tích tín hiệu chúng ta cần phải biến đổi Z các hàm tương quan và tương quan chéo.Ví dụ như khi thiết

kế các bộ lọc cho tín hiệu ngẫu nhiên

Biến đổi Z của hàm tương quan ta thu được hàm mật độ phổ:

(1.33)

l l

Và có tích chất :

(1.34) )

z

1 ( *

Hàm tương quan có thể thu được từ biến đổi ngược như sau:

(1.35)

=

c

l x

2

1 ] [

π

Điều kiện : Đường tính tích phân trong miền hội tụ của phép biến

đổi Miền hội tụ luôn có dạng: a<|z|<1/a Để tính tích phân trên ta có thể

Hàm mật độ phổ công suất tương ứng là :

(1.37)

)

cos(

2 1

) 1 ( )

(

2

2 2

ω ρ ρ

ρ σ

ω

− +

−

=

j

x e S

Hàm mật độ phổ phức tương ứng là :

(1.38)

1 2

2 2

) 1 (

) 1 ( )

−

=

z z

z

S x

ρ ρ ρ

ρ σ

Hàm này có một cặp cự thực là : z=ρ và z=1/ρ và miền hội tụ nằm giữa hai điểm cực

1.2 Các phép biến đổi tuyến tính

Các hệ thống tuyến tính bất biến được biểu diễn trong miền tín hiệu bằng đáp ứng xung h[n] Nếu đầu vào của hệ thống tuyến tính này là tín hiệu ngẫu nhiên x[n] thì đầu ra y[n] của hệ thống cho bởi phép nhân chập:

(1.39)

{ } { }

(1.40) m

Hoặc

y

k

-∑

∑

∞ +

y

] [

] [ ] [ ]

[ ε

Hàm tương quan của đầu ra có thể tinh như sau : Nhân hai vế của (1.39) với y*[n-l] và lấy trung bình các vế ta có :

R

Hoặc

y

k

-∑

∑

∞ +

n y n y

] [ ] [

] [ ] [ ] [ ]

[ ]

Kết hợp (1.41) và (1.43) ta được :

Ry[l]=h[l]*h*[-l]*Rx[l] (1.44) Nói cách khác hàm tương quan của đầu ra thu được bằng cách nhân chập 2 lần hàm tương quan đầu vào với hàm đáp ứng xung và hàm đối xứng của hàm đáp ứng xung liên hợp phức

Có thể rễ ràng chứng minh được rằng các hàm hiệp phương sai và phương sai chéo cũng thoả mãn các quan hệ từ (1.41) đến (1.44)

Bằng cách sử dụng các quan hệ giữa biến đổi Fourier và biến đổi z, kết hợp với 4 phương trình từ (1.41) đến (1.44) ta có thể rễ ràng thu được các biểu thức kết quả của phép biến đổi tuyến tính trong miền tấn số và

trong miền biến đổi z Một tập toàn bộ các quan hệ tuyến tính được liệt

kê như trong bảng1.1

Bảng 1.1 Các phương trình quan hệ trong biến đổi tuyến tính

] [

h[n]=ρnu[n] ở dây u[n] là hàm nhảy đơn vị

Biến đổi Z cho ta hàm :

1

1

1 )

z H

ρ

Nếu đầu vào hệ thống là quá trình ngẫu nhiên nhiễu trắng thì

Sx(z)=σ0 và tất cả các tín hiệu là thực thì hàm mật độ phổ phức đầu ra

của hệ thống là:

) 1 )(

1 ( ) ( ) ( ) ( ) (

1

2 0 1

z z

z S z H z H z

ρ ρ

và 4 ta có công thức tính sau:

(1.45) ] [ ] [ ] [ ] ,

[ ]

,

0 2 2 0 1 1 ) 3 ( 2

−

=

Và

(1.46)

−∞

=

∞ +

−∞

=

+

− +

− +

3 0 2 2 0 2 2 0 1 1 ) 4 (

, [

l

l

l

C

Các biểu thức ở trên được xem như là 1 dãy các phép nhân chập

giữa các đầu vào với đáp ứng xung của bộ lọc theo các hướng khác nhau

1.3 Biểu diễn tín hiệu ngẫu nhiên dưới dạng vecto ngẫu nhiên

1.3.1 Vectơ ngẫu nhiên

Để biểu diễn cho một tín hiệu ngẫu nhiên rời rạc ta sử dụng một

vectơ x được trình bày như hình 1.5 gồm N giá trị tín hiệu x[n]

(n=0,1, ,N-1) Biểu thị hàm mật độ chung của N giá trị này bằng hàm

fx(x) Hàm fx(x) sau này được gọi là hàm mật độ xác suất của biến ngẫu

nhiên x Đầu tiên ta đi xem xét trường hợp tín hiệu ngẫu nhiên thực Nếu

x0 biểu thị một giá trị riêng của vectơ ngẫu nhiên x:

0 1

0 0

0

.

N

x

x x x

Nếu ta nhân hàm mật độ xác suất với số gia của N thành phần ta có:

fx(x0)∆x0∆x1 ∆xN-1Biểu diễn xác suất tín hiệu nằm trong một vùng hẹp của không gian

vectơ miêu tả bởi:

(1.49)

0 0

0 0

0

0

] 1 [ , ,

] 1 [ ,

Cho trường hợp tín hiệu ngẫu nhiên phức, vectơ ngẫu nhiên x có các thành phần phức và hàm fx(x) biểu diễn là hàm mật độ chung của 2N thành phần của x(cả phần thực và phần ảo của x)

(1.52)

] 2 [ ] 1 [

] 0 [ ]

1 [

] 1 [

] 1 [ ]

0 [

x x

x

x x

x

x x

x x

R N

R N

R

N R R

R

N R R

R R

Ma trân hiệp phương sai được định nghĩa như sau:

Cx=ε{(x-mx)(x-mx)*} (1.53)

Và thoả mãn quan hệ:

Rx=Cx+mxm*T

x (1.54) Như vậy ma trận hiệp phương sai chính là ma trận tương quan bỏ đi thành phần trung bình

Với tín hiệu ngẫu nhiên phức dừng ta có quan hệ giữa phần thực và phần ảo của ma trận tuơng quan như sau:

Bảng 1.2 Các phương trình quan hệ giữa phần thực và phần ảo của hàm tương quan của tín hiệu ngẫu nhiên phức dừng

ε{xxT}=0 (1.55)

Đúng cho trường hợp các vectơ ngẫu nhiên phức.Ngoài ra các ma trận tương quan và hiệp phương sai của vecto ngẫu nhiên bất kỳ thoả mãn tính chất:

a*TRxa≥0 và a*TCxa≥0 Với a là vectơ bất kỳ

Các ma trận tương quan chéo và hiệp phương sai chéo của hai tín hiệu ngẫu nhiên tương ứng với hai véctơ ngẫu nhiên x và y cũng được

định nghĩa như sau:

Rxy=ε{xy*T} (1.56)

và

Cxy=ε{(x-mx)(y-my)*T} (1.57)

1.3.3 Các phép biến đổi tuyến tính của vectơ ngẫu nhiên

Nếu vectơ y được xác định bởi phép biến đổi tuyến tính :

Vì ma trận tương quan là ma trận đối xứng Hermitian (tất cả các phần tử trên các đường chéo song song với đường chéo chính là bằng nhau và ma trận là đối xứng qua đường chéo phụ) và các phần tử của ma trận là không âm Các giá rị riêng của ma trận là không âm và các vectơ riêng là trực giao nên ma trận tương quan bất kỳ có thể viết thành :

Rx=EAE*T (1.62)

ở đây E là ma trận thoả mãn E*TE=I, với I là ma trận đơn vị Các cột của ma trận E chính là các vectơ riêng và A là ma trận đường chéo, với các giá trị trên đường chéo là các giá trị riêng Ta có

A=E*RxE

Từ phương trình này và phương trình (1.60) ta thấy rằng nếu:

y=E*Tx Thì Ry=A là ma trận đường chéo do đó các thành phần của y sẽ là không tương quan(ε{yiyj=0,i≠j) Do vậy một phương pháp để tạo ra vectơ với các thành phần không tương quan là áp dụng biến đổi vectơ riêng Ngoài cách áp dụng biến đổi vectơ riêng ta có thể sử dụng phương pháp phân tích tam giác ma trận tương quan để tạo ra vectơ với các thành phần không tương quan.Vì các ma trận tương quan luôn thoả mãn điều kiện cần và chúng là các ma trận đối xứng Hermitian nên chúng luôn có thể viết hành:

Rx=LDL*T (1.64)

Phương trình (1.64) có thể được viết lại như sau:

D=L-1Rx(L-1)*T (1.65)

Từ (1.60) và (1.65) ta có thể chấp nhận D là ma trận tương quan cho vectơ ngẫu nhiên y được định nghĩa bởi :

y=L-1 x (1.66) Vì D là ma tận đường chéo nên các thành phần của y là không tương quan

2 cách biến đổi ở trên tương ứng với 2 phương pháp cơ bản của giải tương quan tín hiệu từ tập các vectơ riêng trực giao Nó cũng là phương pháp hiện đại về phân tích phổ và xử lý mảng

2

1 2

2

1 )

m x x C T x m x x

+ Trường hợp vectơ ngẫu nhiên x là phức:

(1.68)

) ( 1

* ) (

1 )

( x m x T C x x m x

x N

C x

đo đạc.Sử dụng bài toán ước lượng ta có thể xác định được các tham số của tín hiệu thông qua các đại lượng mà ta có thể đo lường trực tiếp của tín hiệu đó hoặc ước lượng nó thông qua một tín hiệu khác Có hai bài toán ứơc lượng là bài toán ước lượng tham số và bài toán ước lượng biến ngẫu nhiên Mặc dù hai bài toán này có rất nhiều điểm chung nhưng để thuận tiện ta có thể xem xét chúng trong từng trường hợp cụ thể

1.4.1 Bài toán ước lượng tham số

Phương pháp ước lượng theo xác suất lớn nhất:

Bài toán ước lượng tham số được sử dụng khi ta có một tập các quan sát cụ thể của biến ngẫu nhiên được mô tả bởi hàm mật độ xác suất với dạng hàm đã biết Nhưng một số tham số mà giá trị của chúng ta chưa biết Trong rất nhiều trường hợp cả biến ngẫu nhiên và tham số đều là các

đại lượng vectơ Do vậy hàm phân bố được biểu thị bằng :fx; θ(x;θ)

Với tập quan sát cho trước x=x0 , phương pháp ước lượng tham số theo xác suất lớn nhất là ước lượng giá trị của θ để hàm fx; θ(x;θ) là lớn nhất, và ký hiệu giá trị ước lượng là θˆml

Xét ví dụ: ước lượng giá trị trung bình m của hàm mật độ Gaussian:

2

2 ) (

;

2

1 )

; (

x m x m

Rõ ràng rằng nếu giá trị đúng của trung bình là một trong các giá trị

m1,m2 hoặc m4 thì quan sát x0 đã cho x0 là không thể xảy ra.Chọn m3 cho trung bình m tuy nhiên để quan sát đã cho có khả năng lớn nhất thì phải

cự đại giá trị hàm fx;m(x0;m) Chính là ước lượng theo xác suất lớn nhất Khi hàm fx; θ(x;θ) được xem là hàm của θ thì ước lượng tham số theo xác suất lớn nhất là cực đại hoá hàm fx; θ(x;θ) Nếu hàm fx; θ(x;θ) là liên tục và cực đại không xuất hiện Thì ước lượng tham số theo xác suất lớn nhất có thể tìm thấy thông qua một trong hai điều kiện:

Hình 1.6 : Ước lượng cho trung bình theo xác suất lớn nhất

) 70 1 (

0 )

: Hoặc

(a)

ml x

ml x

f

f

θ θ θ

θ θ

; ( max arg ) ( ˆ

Rõ ràng ước lượng là một hàm của quan sát Hơn nữa các quan sát

là các vectơ ngẫu nhiên do đó ước lượng cũng là một biến ngẫu nhiên có trung bình, hiệp phương sai, hàm mật độ Không phải tất cả các ước lượng đúng là ước lượng có xác suất lớn nhất Xét ví dụ : ước lượng giá trị trung bình của tín hiệu ngẫu nhiên có phân bố Gaussian cho bởi phương trình: ∑

) ˆ ] [ (

1 ˆ

N n

N

ở đây N biểu thị số quan sát (số chiều của x)

Một số tính chất thường dùng của ước lượng:

2) Ước lượng θ ˆN là thích hợp nếu:

[ ]gọi là hàm xác xuất Pr

ý tuỳ nhỏ Với ζ

ζ θ

Pr lim − < =

ζ

θ ζ

0 khi N→∞ Nói cách khác xác suất để | θ ˆN-θ |≤ζ tiến tới 1

Phương sai của một ước lượng đúng bất kỳ đều chặn bởi giá trị được xác định theo bất đẳng thức Cramer-Roa Với trường hợp ước lượng tham

số vô hướng bất đẳng thức Cramer-Roa có dạng như sau:

1 )

; ( ln

1 ˆ

θ

θ ε

θ

θ ε

Dấu bằng xảy ra nếu và chỉ nếu :

θ

θ θ

x f x

s

θ θ

θ

θ

θ θ

ˆ

; ( ; ) ln

)

; (

Trong trường hợp này K(θ) được xác định như sau:

(1.76) )

( )

( θ = J(−1) θ

K

Ước lượng thoả mãn dấu “=” trong bất đẳng thức được biết như là

ước lượng theo phương sai nhỏ nhất Có thể chỉ ra rằng nếu tồn tại phương sai nhỏ nhất và không xuất hiện xác suất đúng lớn nhất thì ước lượng theo xác suất đúng lớn nhất là tương đương với ước lượng theo phương sai nhỏ nhất

Ước lượng các momen của tín hiệu ngẫu nhiên rời rạc:

Các tham số thống kê quan trọng của tín hiệu ngẫu nhiên rời rạc là: trung bình,tương quan (hoặc hiệp phương sai) và các thống kê bậc cao khác

Cho N mẫu của tín hiệu ngẫu nhiên rời rạc, ước lượng của trung bình có thể được xác định như sau:

(1.77)

(1.79) N

l 0 ; Hoặc

(1.78) N l 0 ;

<

≤ +

=

<

≤ +

l N n x

n x l n x N l R

n x l n x l N l R

1 ˆ

Giá trị của hàm tương quan ứng với l <0 được xác định thông qua quan hệ:Rˆx[ −l] =Rˆỹyc*[l] Phương tình (1.78) cho ta ước lượng đúng trong khi phương trình (1.79) chỉ là tiệm cận đến ước lượng đúng Cả hai ước lượng này đều là hiệu quả và phù hợp Nhưng ước lượng (1.79) thường

được ưa dùng hơn

Ước lượng cho hàm tương quan chéo của hai dãy x và y được xác

định theo các phương trình trên bằng cách thay thế x*[n] bởi y*[n] Các giá trị của hàm tương quan chéo ứng với l <0 có thể được xác định thông

qua quan hệ : Rˆxy[ −l] =Rˆyx*[l]

1.4.2 Bài toán ước lượng các biến ngẫu nhiên

Bài toán lọc và tiên đoán tín hiệu ngẫu nhiên cũng như nhiều bài toán khác có thể được xem xét trong ngữ cảnh của bài toán ước lượng biến ngẫu nhiên Xem hình 1.8 ở đây tín hiệu được xem như là biến ngẫu nhiên y được ước lượng từ tập các quan sát liên quan x1,x2, ,xN

Ước lượng có dạng :

(1.80) )

, , , ( ) (

y= = φ

ở đây hàm φ trong dạng tổng quát là phi tuyến

Nền tảng của bài toán ước lượng biến ngẫu nhiên là thủ tục ước lượng Bayes Tìm cách tối thiểu hoá hàm rủi ro được định nghĩa như sau:

( ) {c y y } (1.81)

R=ε , ˆ

ở C là hàm giá chỉ phụ thuộc vào y và yˆ

Hai trường hợp điển hình thường được xét đến được mô tả như hình 1.9 Trong cả hai tường hợp hàm giá chỉ phụ thuộc vào sự sai khác y− yˆ Trong trường hợp được miêu tả như hình 1.9(a) hàm giá có dạng bậc hai

và hàm rủi ro trở thành trung bình bình phương sai số Với trường hợp hình 1.9(b) hàm giá của sai số bất kỳ mà không nhỏ hơn một lượng nhỏ tuỳ ý cho trước là bằng 1 Có thể chỉ ra rằng ước lượng tối ưu cho cả hai trường hợp này chỉ phụ thuộc vào hàm mật độ điều kiện fy|x được xác

định như sau :

Hình1.8 : Ước lượng biến ngẫu nhiên y từ tập quan sát liên

quan x1,x2, ,xN

(82)

| (y

(1.84)

x a

Nếu như trung bình của x và y là khác 0 thì trung bình bình phương sai số có thể giảm thêm nếu sử dụng ước lượng có dạng:

b +

my vào trong kết quả ước lượng tuyến tính

Bài toán ước lượng trung bình - bình phương tuyến tính được giải dựa trên nguyên lý trực giao Nguyên lý này được phát biểu như sau:

Định lý 1: Đặt ε = y− yˆlà sai số ước lượng Thì a tối thiểu hoá trung bình-bình phương sai số 2 { 2}

là ma trận tương quan chéo giữa hai biến ngẫu nhiên x và y

Các hệ số của ma trận a đảm bảo cho ước lượng tối ưu thu được bằng cách giải phưng trình (1.87) Tối thiểu hoá trung bình-bình phương sai số dẫn ra trực tiếp từ phần thứ hai của nguyên lý trực giao:

{ } { } T (1.90)

xy y T

r a

x y y

2

) ( − = −

ở đây s là phần tín hiệu mong muốn η là phần nhiễu cộng

Nếu giả sử tín hiệu và nhiễu là không tương quan Tín hiệu và/hoặc nhiễu có trung bình zero thì hàm tương quan cho các quan sát được cho bởi:

Rx[l]=Rs[l]+Rη[l] (1.92)

ở đây RS là hàm tương quan của tín hiệu và Rη là hàm tương quan của nhiễu Tương quan chéo giữa phần tín hiệu và các dẫy quan sát được cho bởi:

Rsx[l]=ε{s[n]x*[n-l]}=Rs[l] (1.93) Giả định rằng ước lượng tối ưu được thực hiện bởi một bộ lọc FIR tuyến tính với đáp ứng xung h[0],h[1], ,h[N-1] Thì ước lượng của tín hiệu như sau :

] 1 [

] 1 [

] 1 [ ] 1 [ ] [ ] 0 [ ] [n =h x n +h x n− + +h N − x n−N +

s

Nếu trung bình-bình phương sai số được tối thiểu ở đây

] [ ]

bình-Chương 2: Ước lượng phổ quá trình ngẫu nhiên và các mô hình tham số sử dụng cho ước lượng phổ 2.1 Giới thiệu

Mục tiêu của ước lượng phổ là xác định mật độ phổ công suất (PSD) của một quá trình ngẫu nhiên Mật độ phổ công suất là một hàm giữ vai trò cơ bản trong phân tích quá trình ngẫu nhiên.Trong quá trình ngẫu nhiên dừng hàm mật độ phổ công suất xác định lượng phân bố của tổng công suất như một hàm của tần số Ước lượng mật độ phổ công suất dựa trên tập số liệu các mẫu đã quan sát của quá trình ngẫu nhiên với giả thiết quá trình ngẫu nhiên là dừng ít nhất là theo nghĩa mở rộng- các thống kê bậc 1 và 2 của nó không thay đổi theo thời gian Ước lượng mật độ phổ công suất cung cấp thông tin về cấu trúc của quá trình ngẫu nhiên sau đó

được dùng cho mô hình lọc, tiên đoán hoặc thiết kế bộ lọc cho quá trình

đã quan sát

2.2 Một số khái niệm và định nghĩa

2.2.1 Quá trình ngẫu nhiên

Quá trình ngẫu nhiên biểu diễn sự thay đổi theo thời gian của một

đại lượng nào đó mà không thể miêu tả đầy đủ bằng các hàm xác định Thông thường một quá trình ngẫu nhiên được định nghĩa như là một tập các biến ngẫu nhiên đã được chỉ số theo thời gian Tập các chỉ số là hữu hạn và có thể là liên tục hoặc rời rạc Nếu như tập chỉ số là liên tục thì quá trình ngẫu nhiên là liên tục theo thời gian Ngược lại nếu tập chỉ số là rời rạc thì quá trình ngẫu nhiên là rời rạc Trong phần này chúng ta chỉ tập trung vào xem xét với quá trình ngẫu nhiên rời rạc

Chúng ta sẽ ký hiệu quá trình ngẫu nhiên bằng { }~x[ ]n và một quan sát của nó bằng { }x[ ]n Với n cố định thì { }~x[ ]n cũng như ~x[ ]n là một biến ngẫu nhiên Trong khi x[ ]n là mẫu thứ n của biến ngẫu nhiên Nếu tất cả các mẫu x[n] là thực thì quá trình ngẫu nhiên là thực ngược lại quá trình ngẫu nhiên là phức Trong các phần sau chúng ta giả sử rằng quá trình ngẫu nhiên { }~x[ ]n là phức

Một qúa trình ngẫu nhiên được miêu tả đầy đủ nếu với tập chỉ số thời gian bất kỹ n1,n2, ,nm thì hàm mật độ xác suất chung của

[n +k] [x n +k] x[n +k] ∀ ; k

~

2

dừng nghiêm ngặt Tuy nhiên đièu kiện dừng nghiêm ngặt là một yêu cầu hết sức khắt khe trên thực tế đưa ra khái niệm dừng theo nghĩa mở rộng như sau: Một quá trình ngẫu nhiên được gọi là dừng theo nghĩa mở rộng nếu thoả mãn hai điều kiện sau:

[ ]

( ) [n, n k] ( [ ] [ ] ) [ ] (2.2)

r và

(2.1)

k r k n x n x E

n x E

= +

= +

định chính xác Bên cạnh sự miêu tả trong miền thời gian các tín hiệu xác

định có một các biểu diễn hết sức hữu dụng trong dạng xếp trồng các hàm sin với các tần số khác nhau Chúng được cho bởi phép biến đổi Fourier rời rạc (DTFT)

Một tín hiệu quan sát {g[n]} là không phải tùân hoàn thì biến đổi Fourier rời rạc của nó là một hàm giá trị phức G(f) được định nghĩa như sau:

(2.3)

e n g f

] [ )

(

ở đây j= − 1,f là tần số chuẩn hoá (0≤f<1) và

( fn) j ( fn) (2.4)

e j2πfn = cos 2 π + sin 2 πTổng trong phương trình (2.3) hội tụ nếu

Tín hiệu g[n] có thể xác định được từ G(f) thông qua biến đổi DTFT ngược như sau :

df f G n

g

n

Từ phương trình (2.9) chúng ta có thể suy ra rằng G( )f 2df là phần năng lượng đóng góp vào tổng năng lượng của tín hiệu trong khoảng tần

số (f,f+df) Do đó ( )2

f

G là phổ mật độ năng lượng của tín hiệu { }g[ ]n Khi {g[n]} là tuần hoàn với chu kỳ N :

N

k f e

n g f

N n

n k f j k

k e f G N n

Bây giờ phương trình Parseval trở thành :

2 1 N

k

k N

n

f G N n

g

ở đây hai vế là tổng năng lượng của tín hiệu trong một chu kỳ Nếu chúng ta định nghĩa công suất trung bình của tín hiệu thời gian rời rạc bằng:

Do vậy |G(fk)|2/N2 là mật độ phổ công suất của {g[n]}

2.2.3 Phổ của quá trình ngẫu nhiên

Giả sử chúng ta đi quan sát một quá trình ngẫu nhiên { }xˆ[ ]n Theo

định nghĩa DTFT và từ giả sử quá trình ngẫu nhiên là dừng theo nghĩa rộng Thì hiển nhiên không thể sử dụng biến đổi DTFT để thu được X(f)

từ { }x[ ]n bởi vì phương trình (2.5) không còn thoả mãn khi thay thế g[n] bằng x[n] Thực vậy nếu { }x[ ]n là một thể hiện của quá trình ngẫu nhiên dừng theo nghĩa rộng thì năng lượng của nó là vô hạn Tuy nhiên trong trường hợp tín hiệu tuần hoàn công suất của nó là hữu hạn Bởi vậy nếu chúng ta quan sát { }x[ ]n từ –N đến N ({ } [ ] N

N n

x − và giả sử rằng ngoài khoảng này các mẫu x[n] bằng zero thì ta thu được XN(f) từ biến đổi Fourier như sau :

( ) N [ ] j fn (2.16)

N n

( )

(2.17) 1

X N

Và |XN(f)|2/(2N+1) có thể được hiểu như mật độ công suất Khi cho

N→∞ trong điều kiện thích hợp : ( )

1 2 lim

N

ở đây X~N( )f là DTFT của { }x~[ ]n Có một quan hệ hết sức quan trọng giữa mật độ phổ công suất của một quá trình ngẫu nhiên theo nghĩa rộng với hàm tự tương quan của chúng theo lý thuyết của Wold như sau:

e k r f

ỏ đây r[k] là hàm tự tương quan

Có 3 trường hợp khác nhau của hàm P(f) đó là : nếu P(f) là một hàm liên tục theo f thì quá trình ngẫu nhiên có phổ liên tục Nếu P(f) là bằng 0 tại tất cả các tầt số f ngoại trừ f=fk, k=1,2, thì quá trình ngẫu nhiên có phổ vạch Trong trường hợp này thường sử dụng một biểu diễn hữu dụng cho phổ như sau :

ở đây Pk là công suất tương ứng với vạch phổ k Trường hợp cuối cùng phổ của một quá trình ngẫu nhiên là sự kết hợp giữa phổ liên tục và phổ vạch Thì hàm P(f) là tổng của phổ liên tục và phổ vạch

2.3 Bài toán ước lượng phổ công suất

Bài toán ước lượng phổ công suất được phát biểu như sau: Cho tập

N mẫu {x[ ] [ ]0 ,x1 , ,x[N − 1] }(có thể ký hiệu bởi { } [ ] 1

Các phương pháp sử dụng cho ước lượng phổ mật độ công suất được chia làm hai loại: Ước lượng phổ tham số và Ước lượng phổ không tham

số

2.3.1 Ước lượng phổ không tham số

Phương pháp ước lượng phổ mật độ công suất mà không dựa trên bất kỳ giả sử nào khác về quá trình ngẫu nhiên ngoài giả sử là dừng ít nhất là theo nghĩa rộng thì được gọi là ước lượng phổ không tham số Theo phương trình (2.19) phổ mật độ công suất có thể thu được thông qua ước lượng của dãy tự tương quan các mẫu đã qua sát:

[ ] [ ]0 ,x1 , ,x[N − 1]

x sau đó thực hiện DTFT của ước lượng này

Một ước lượng của dãy tự tương quan được cho bởi :

[ ] 1 [ ] [ ] ; 0 1 (2.21) ˆ

n x n x N k r

k N n

2.3.1.1 Ước lượng phổ không tham số theo phương pháp Periodogram

Phương pháp Periodogram được giới thiệu bởi Schuter năm 1898

Để tìm phổ mật độ công suất theo phương pháp Periodogram ứng với tập dữ liệu quan sát { } [ ] 1

0

−

N

n

x đầu tiên chúng ta phải xác định ước lượng dãy

tự tương quan r[k] trong khoảng −(N − 1)≤k≤ (N − 1 ) và thực hiện DTFT

fk j

Để thuận tiện hơn ta viết ước lượng phổ mật độ công suất theo phương pháp Periodogram trong quan hệ với các mẫu đã quan sát như sau:

N f

Trong thực hành mật độ phổ công suất Periodogram được tính bằng cách áp dụng FFT Tính FFT mật độ phổ công suất tại các giá trị rời rạc

( ) [ ] ; (2.25)

2

D f e

n x N f

N n

N

nk j k

=

− 1 0

N, n







′ +

1 , , 1 ,

n n

x n x

Để tăng số điểm tính Pˆ PER( )f k và xác định lại tập tần số mới

n

N

nk j k

N f

Mặc dù ước lượng mật độ phổ công suất heo phương pháp Periodogram là tiệm cận tới giá trị thực nhưng có thể chỉ ra rằng nó chưa phải là ước lượng thực sự thích hợp Xét ví dụ: nếu { }x~[ ]n là quá trình ngẫu nhiên nhiễu trắng có trung bình zero, các biến ngẫu nhiên của quá trình là độc lập, Gaussian và phân bố đều với phương sai σ 2, phương sai của PˆPER[ ]f bằngσ 4 bất kể chiều dài N của dãy dữ liệu quan sát Hiệu quả của ước lượng periodogram là không tăng khi N lớn hơn Bởi vì khi

N tăng cũng làm tăng số các tham số được ước lượng

( ) ( )f0 ,P f1 , ,P(f N−1)

P Một cách tổng quát ta có thể viết phương sai của