Báo cáo tìm hiểu lý thuyết hội tụ ngẫu nhiên và giới hạn

.+ xn Đây là một biến ngẫu nhiên và phương sai Các định lý giới hạn trung tâm CLC theo một số điều kiện chung, phân phối Fx của x một cách tiếp cận phân phối bình thường với cùng một giá

Mục lục

I Hội tụ ngẫu nhiên và định lý giới hạn 3

1 Định nghĩa: 3

1.1 Hội tụ ở mọi nơi (e) 3

1.2 Luật của 1 số lớn (Bernoulli) 5

2 Các định lý giới hạn trung tâm 7

2.1 Định lý Berry-Esseén: 10

2.2 Kết quả của các định lý giới hạn trung tâm .11

II Quá trình ngẫu nhiên – Ứng dụng 12

1 Định nghĩa 12

1.1 Bình đẳng: 12

1.2 Thống kê quá trình Stochasic 13

1.3 Tương quan tự động: 14

1.4 Trường hợp không đồng nhất .15

1.5 Thuộc tính chung 17

1.6 Tương quan và hiệp phương sai .17

1.7 Tiếng ồn trắng .19

1.8 Số gia độc lập và không tương quan .19

1.9 Quá trình điểm và quá trình đổi mới .20

1.10 Quá trình bất động: 20

2 Các hệ với đầu vào là ngẫu nhiên 21

2.1 Hệ không nhớ 22

2.2 Hệ LTI (Linear Time – Invariant) 22

2.2.1 Hệ tuyến tính 22

2.2.2 Hệ bất biến theo thời gian 22

3 Phổ năng lượng 23

3.1 Định nghĩa .23

3.2 Hệ thống tuyến tính .28

3.3 Quá trình phức tạp 32

3.4 Tích hợp quang phổ .33

3.5 Véc tơ quang phổ .34

3.6 TÍNH CHẤT CỦA CÁC MỐI TƯƠNG QUAN .35

3.6.1 Điều kiện đủ .35

3.6.2 Hệ quả .36

3.6.3 Tương quan chéo .37

4 Quá trình kĩ thuật số 38

4.1 Định nghĩa 38

4.2 Phương pháp lấy mẫu .42

III Ứng dụng Matlab 43

I Hội tụ ngẫu nhiên và định lý giới hạn

1.1 Hội tụ ở mọi nơi (e)

Như chúng ta nhớ lại, một dãy số xn tiến đến giới hạn x nếu cho >0, chúng ta tìm số n0 thỏa mãn:

|xn-x|< với mọi n>n0 (8-99)

Chúng ta nói rằng một chuỗi xn ngẫu nhiên hội tụ khắp nơi nếu chuỗi số xn( ) hội

tụ như trên cho mọi Giới hạn là một số phụ thuộc nói chung vào Nói cách khác, giới hạn của chuỗi ngẫu nhiên là một biến ngẫu nhiên x:

Ở phía trên, {xn x} bao gồm tất cả kết quả xn( )

Hội tụ trọng MS Chuỗi xn có xu hướng đến biến ngẫu nhiên x trong ý nghĩa MS nếu

Cho bất kì >0 thì chúng ta nói rằng chuỗi xn có xu hướng dần đến biến ngẫu nhiên

x trong xác suất Cái này được gọi là hội tụ ngẫu nhiên

 Hội tụ trong phân phối (d): Chúng ta kí hiệu Fn(x) và F(x) là phân phối của biến ngẫu nhiên xn và x Nếu

Fn(x) F(x) n (8-104)

Với mọi điểm x liên tục của F(x) thì chúng ta nói rằng chuỗi xn có xu hướng dần đến biến ngẫu nhiên x trong phân phối Chúng ta lưu ý rằng trong trường hợp này chuỗi xn( ) ko cần phải hội tụ tại bất kì nào

 Tiêu chuẩn Cauchy: Như chúng ta ghi nhận, xác định chuỗi xn hội tụ nếu thỏa mãn (8-99) Định nghĩa này liên quan đến việc giới hạn x của xn Định lý sau đây, được gọi là tiêu chuẩn CauChy, thiết lập các điều kiện cho sự hội tụ của xn

để tránh việc sử dụng x: Nếu

|xn+m-xn| 0 khi n (8-105)

Với mọi m>0, thì chuỗi hội tụ

Định lý trên được dùng cho chuỗi ngẫu nhiên Trong trường hợp này giới hạn phải được giải thích phù hợp Ví dụ nếu:

E{|xn+m-xn|2} 0 khi n

Với mọi m>0 thì chuỗi xn hội tụ ngẫu nhiên trong MS

 So sánh các phương thức hội tụ Trong hình 8-3 chúng ta cho thấy mối quan

hệ giữa các phương thức hội tụ khác nhau Mỗi điểm trọng hình chữ nhật đại diện cho một chuỗi ngẫu nhiên Chữ trong mỗi đường cong cho thấy rằng tất cả các chuỗi bên trong của đường cong hội tụ ở chế độ quy định Khu vực gạch chéo bao gồm tất cả các chuỗi không hội tụ.Chữ d trên đường cong bên ngoài cho thấy rằng nếu một chuỗi hội tụ ở tất cả thì nó sẽ hội tụ trong phân phối

Nếu một chuỗi hội tụ trong MS thì nó cũng hội tụ trong xác suất

1.2 Luật của 1 số lớn (Bernoulli)

Trong 3-3 chúng ta cho thấy rằng nếu xác suất của 1 sự kiện A trong 1 thử nghiệm đã cho bằng p và số lần thành công của A trong n lần thử nghiệm bằng k thì

Của các biến ngẫu nhiên có xu hướng dần đến xác suất p khi n

Chứng minh Như chúng ta đã biết

 Luật mạnh của số lớn (Borel)

Nó có thể được chỉ ra rằng ̅̅̅ có xu hướng đến p không chỉ là xác suất mà còn

là xác suất 1 Kết quả này, do Borel, được gọi là luật mạnh của số lớn Sẽ không được chứng minh

E{ ̅ }

→ 0 (8-108) Chứng minh: chứng minh dựa trên các bất đẳng thức đơn giản

| ̅ | | ̅ ̅ | | ̅ |Giá trị kì vọng của hai bên ta được:

E{ ̅ } { ̅ ̅ } ̅

Và (8-108) từ (8-107)

 Hệ quả (điều kiện Tchebycheff)

Nếu biến ngẫu nhiên xi là ko tương quan và

Ví dụ 8-14.Chúng tôi muốn xác định phân phối F(x) của một biến ngẫu nhiên x quy định trong một cuộc thử nghiệm nào đó Cho mục đích này chúng ta lặp lại thí nghiệm n lần và tạo thành các biến ngẫu nhiên xi như trong (8-12)

yi(x) = {

trong đó x là 1 số cố định

E{yi(x)} = 1 P{yi =1} = P(xi x) = F(x)

2 Các định lý giới hạn trung tâm

Với n biến ngẫu nhiên độc lập xi, chúng ta có tổng

x = x1 + + xn

Đây là một biến ngẫu nhiên và phương sai Các định lý giới hạn trung tâm (CLC) theo một số điều kiện chung, phân phối F(x) của x một cách tiếp cận phân phối bình thường với cùng một giá trị trung bình và phương sai:

Nói chung và cho các trường hợp liên tục

Ví dụ 8-17 Nếu biến ngẫu nhiên xi là độc lập và phân phối giống nhau với mật độ

fi(x) như trong hình 8-8a thì f(x) bao gồm 3 parabol (xem ví dụ 8-12) và N(0,1/4)

là ước lượng chuẩn Kể từ khi f(x) đều và m4=13/80 (see Prob.8-4), kết quả (8-117)

√ (

) ̅ Trong hình 8-8b, chúng ta sửa lỗi của ước lượng chuẩn và sửa lỗi lệnh đầu tiên ̅

Chứng minh định lý giới hạn trung tâm: Chúng ta sẽ giải thích cho xấp xỉ (8-111) bằng sử dụng các hàm đặc trưng Chúng ta giả định đơn giản ni=0 Biểu thị bởi

và , tương ứng, các hàm đặc tính của biến ngẫu nhiên xi và x=x1+…+x2, chúng ta kết luận sự độc lập của xi

Gần nguồn gốc, các hàm có thể xấp xỉ bằng 1 parabol:

| | (8-118)

Nếu biến ngẫu nhiên xi là liên tục, thì (xem 5-61 và Prob 5-25)

| | | | (8-119)

Phương trình (8-119) cho thấy với nhỏ và n lớn, hàm là không đáng kể khi

| | ( Hình 8-9a) Điều đó cũng cho hàm mũ nếu như trong (8-123) Từ đó sẽ có

(8-120)

∫ với mọi I (8-124)

Những điều kiện này không phải là chung nhất Tuy nhiên chúng bao gồm một loạt các ứng dụng Ví dụ, (8-123) được thỏa mãn nếu tồn tại một hằng số >0 thỏa mãn với mọi i Điều kiện (8-124) được thỏa mãn nếu tất cả các mật độ f(x) là 0 bên ngoài một khoảng hữu hạn (-c,c) bất kể lớn thế nào

 Mạng tinh thể: Các lí do trên cũng có thể được áp dụng với biến ngẫu nhiên

rời rạc Tuy nhiên trong trường hợp này các hàm là từng thời kì (hình 9b) và kết quả của chúng có giá trị đáng kể chỉ trong một vùng nhỏ gần các điểm Sử dụng xấp xỉ (8-112) trong vùng này, chúng ta có được ∑ (8-125)

8-Như chúng ta có thể nhìn thấy từ (11A-1), nghịch đảo kết quả trên (8-112)

2.1 Định lý Berry-Esseén: định lý này nói rằng nếu

Cuối cùng, chúng ta lưu ý rằng trong khi (8-128) thiết lập chỉ đơn thuần là sự hội

tụ trong phân phối của ̅ cho một biến ngẫu nhiên bình thường, (8-127) lại cung cấp một ràng buộc đô lệch của F(x)

2.2 Kết quả của các định lý giới hạn trung tâm

Với n biến ngẫu nhiên đọc lập xi:

Ví dụ 8-18 Giả sử các biến ngẫu nhiên xi là đồng đều trong khoảng (0,1) Trong trường hợp này,

II Quá trình ngẫu nhiên – Ứng dụng

1 Định nghĩa

Chúng ta hãy nhớ lại,một RVx là một quy tắc gán ghép cho mọi kết quả của mọi thực nghiệm một số x( Một quá trình ngẫu nhiên x(t) là quy tắc gán cho từng một chức năng x(t .Do đó,một quá trình tập hợp các chức năng thời gian phụ thuộc vào các tham số,hoặc tương đương với chức năng của t và Miền là tập hợp các kết quả thực nghiệm và miền của t là tập hợp R các số thực

Nếu R là trục thực x(t) là quá trình thời gian liên tục.Nếu R là tập hợp các số nguyên x(t) là quá trình rời rạc.Như vậy một quá trình thời gian rời rạc là chuỗi các biến ngẫu nhiên và nó sẽ được ký hiệu là x (như trong phần 8-4) hoặc để tránh những chỉ số tăng gấp đôi x[n]

Chúng ta sẽ nói rằng x(t) là quá trình rời rạc nếu giá trị của nó đếm được.Ngược lại nó là một quá trình liên tục

Hầu hết các kết quả trong cuộc điều tra này sẽ được trình bày dưới hình thức quá trình thời gian liên tục”chủ đề liên quan đến quy trình thời gian rời rạc sẽ được giới thiệu bằng minh họa lý thuyết chung hoặc khi phần thời gian rời rạc của nó không phải là hiển nhiên

Chúng ta sẽ sử dụng các ký hiệu x(t) để đại diện cho quá trình ngẫu nhiên,như trong trường hợp của các biến ngẫu nhiên,sự phụ thuộc vào Do đó x(t) có những

sự giải thích sau đây:

a Đó là gia đình(hoặc một quần thể) của các chức năng x(t, ).Trong cách giải thích này t và là các biến

b Đây là một chức năng thời gian duy nhất(hoặc một mẫu của quá trình nhất định).Trong trường hợp này t là một biến và được cố định

c Nếu t là cố định và có thể thay đổi,x(t) là một biến ngẫu nhiên tương đương với trạng thái của quá trình được đưa ra tại một thời điểm t

d Nếu t và cố định thì x(t) là một số

1.1 Bình đẳng:

Quy trình ngẫu nhiên x(t) và y(t) bằng nhau(ở mọi nơi) nếu mẫu x(t, ) và y(t, ) là giống nhau cho mỗi .Tương tự,bình đẳng z(t)=x(t)+y(t) có nghĩa là

z(t, )=x(t, )+y(t, ).Bất kỳ các hoạt động khác liên quan quá trình ngẫu nhiên được định nghĩa tương tự về các hoạt động tương ứng cho mỗi mẫu

Như trong trường hợp giới hạn các định nghĩa trên có thể được nới lỏng.Chúng ta đưa ra dưới đây ý nghĩa của MS bình đẳng và trong phụ lục 10A chúng ta định nghĩa tích phân MS và các chất dẫn xuất.Hai quá trình x(t) và y(t) là bình đẳng trong IFT

E{

Cho từng t Bình đẳng trong ý nghĩa MS dẫn đến các kết luận sau:biểu thị bởi tập tập mà x(t, )=y(t, ) và tập hợp các kết quả sao cho x(t, )=y(t, ) với mọi t.(10-1) sau đó x(t, )-y(t, )=0 với xác suất 1.Do đó P( )=1.Tuy nhiên,nó không theo P( )=1.Trong thực tế,bởi vì là giao của tất cả các bộ phận và t phạm vi trên toàn trục.Thậm chí có thể bằng 0

1.2 Thống kê quá trình Stochasic

Một quá trình ngẫu nhiên là sự vô hạn không thể đếm được của biến ngẫu nhiên,cho t.Để cụ thể t,x(t) là một RV với phân phối

F(x,t)=P{x(t) }

Chức năng này phụ thuộc vào t và nó tương đương với xác suất của các sự kiện x(t) bao gồm tất cả kết quả như nó,tại thời điểm t cụ thể,mẫu x(t, của quá trình nhất định không vượt quá số x.Chức năng F(x,t) được gọi là sự phân bố lệnh đầu tiên của quá trình x(t).Dẫn xuất của nó đối với x:

biệt,giá trị kỳ vọng của x(t) Những số lượng này có thể được trình bày trong các thuộc tính bậc hai của x(t) được định nghĩa như sau:

Trung bình (t) của x(t) là giá trị RV

Trong đó RVs với r và là đơn vị độc lập và ở dưới dạng bất định

Sử dụng danh tính lượng giác đơn giản ta có

số ( ) của các điểm t,trong một số khoảng ( ) của độ dài t=

Là một Poisson RV với tham số λt

Chứng minh

E{ } 10-15)

Bởi vì R( )=R( ) điều đó chứng tỏ (10-14) cho và x( ) độc lập vì khoảng (0,t) và ( không chồng chéo.Hơn nữa,chúng là những Poisson được phân bố với tham số và .Do đó

Một quá trình hector (quá trình n-chiều) là một tập hợp của quá trình ngẫu nhiên

1.6 Tương quan và hiệp phương sai

Tự tương quan của 1 tiến trình x(t) phức tạp,theo định nghĩa giá trị trung bình của sản phẩm x(t)x*( .Chức năng này sẽ biểu thị bằng R( hoặc hoặc Do đó

C( = R( - ( * ( (10-25)

Trên đó (t)=E{x(t)} là trung bình của x(t)

R( =

√ (10-26)

Là hệ số tương quan t của quá trình x(t)

Lưu ý:hiệp phương sai tự động C( của quá trình x(t) là tương quan tự động của quá trình trung tâm

Hệ số tương quan r( của x(t) là hợp phương sai tự động của quá trình bình thường hóa x(t)/√ ,do vậy nó cũng là p.d Hơn nữa

Là hợp phương sai chéo

Hai quá trình x(t) và y(t) được gọi là trực giao nếu

C =0 với | | (10-33)

Một tiến trình x(t) được gọi là tương quan phụ thuộc nếu thỏa mãn tự tương quan của nó (10-33).Rõ rang nếu x(t) là mối tương quan phụ thuộc vào một,sau đó bất

kỳ sự kết hợp tuyến tính của các giá trị của nó t< ”không tương quan với bất kỳ

sự kết hợp tuyến tính của các giá trị của nó t> +a

1.8 Số gia độc lập và không tương quan

Nếu gia số của một quá trình x(t) không tương quan (độc lập) cho bất kỳ sau đó chúng ta nói rằng x(t) là một quá trình với gia tăng không tương quan(độc lập).Quá trình Poisson là một quá trình với số gia độc lập.Tích phân (10-35) của tiếng ồn trắng là một quá trình với gia số không tương quan

Quá trình độc lập:Nếu hai quá trình x(t) và y(t) là như vậy RVs x( …,x( là độc lập với nhau,thì các quá trình này được gọi là độc lập

Quá trình bình thường:Một tiến trình x(t) được gọi là bình thường nếu RVs x( …,x( là cùng bình thường đối với bất kỳ n và

Các số liệu thống kê của một quá trình bình thường được xác định hoàn toàn về trung bình và có hợp phương sai tự động C(

E{x(t)}= (t)

Chúng ta kết luận rằng phân bố hạng đầu f(x,t) của x(t) là phân bố bình thường Tương tự,bởi vì chức năng r( trong (10-26) là hệ số tương quan của RVs x( phân bố hạng hai f( của x(t) là phân bố bình thường

Hàm đặc trưng thứ n của tiến trình x(t) được cho bởi

Exp{j∑ ) ∑ } (10-37)

Nghịch đảo của nó f( là sự phân bổ hạng n của x(t)

Định lý tồn tại cho một chức năng tùy ý (t) và một p.d chức năng C( ) chúng

ta có thể xây dựng một quá trình bình thường với trung bình (t) và hợp phương sai tự động C( ) Điều này sau nếu chúng ta sử dụng trong (10-37) (t) chức năng (t) và C( ) nghịch đảo của các chức năng đặc trưng kết quả là mật độ bởi

vì chức năng C( ) là pd theo giả thiết

1.9 Quá trình điểm và quá trình đổi mới

Một quá trình điểm là một tập hợp các điểm ngẫu nhiên t trên trục thời gian.Với tất cả quá trình điểm chúng ta có thể kết hợp một quá trình ngẫu nhiên x(t) bằng số lượng điểm t trong khoảng (0,t).Một ví dụ là quá trình Poisson.Mỗi điểm quá trình

t chúng ta có thể kết hợp chuỗi các RVs

Trong đó t là điểm ngẫu nhiên đầu tiên bên phải của gốc.Trình tự này được gọi là một quá trình đổi mới.Một ví dụ là lịch sử ra đời của bóng đèn được thay thế ngay sau khi họ thất bại.Trong trường hợp này z là tổng thời gian bóng đèn thứ i là trong hoạt động và t là thời gian của sự thất bại của nó

Dó đó chúng ta đã thành lập tương ứng giữa ba khái niệm sau đây

(a) Là quá trình điểm

(b) Quá trình ngẫu nhiên rời rạc x(t) ngày càng tăng trong các bước đơn vị tại các điểm quá trình đổi mới của

1.10 Quá trình bất động:

Quá trình ngẫu nhiên x(t) được goi là quá trình bất động nghiêm(viết tắt là SSS)

nếu tài sản thống kê của nó là bất biến đối với một sự thay đổi về nguồn gốc.Điều

này có nghĩa các quá trình x(t) và có các số liệu thống kê tương tự cho bất kỳ

Hai quá trình x(t) và y(t) được gọi là quá trình bất động liên kết nếu các số liệu

thống kê chung của x(t) và y(t) là tương tự như các số liệu thống kê chung của

Do đó trung bình của quá trình bất động là độc lập của t và nó bằng R(0)

2 Các hệ với đầu vào là ngẫu nhiên

Cho một quá trình ngẫu nhiên x(t), chúng ta chỉ định một số nguyên tắc cho mỗi

mẫu x(t, ζi) một hàm y(t, ζi) Chúng ta đã tạo ra 1 quá trình:

Y(t) = T[x(t)]

Quá trình y(t) được hình thành có thể coi là đầu ra của hệ thống với đầu vào là quá

trình x(t), Thông qua toán tử T thể hiện mối quan hệ giữa đầu ra và đầu vào của hệ

Chúng ta xem xét 2 trường hợp đặc biệt sau:

2.2 Hệ LTI (Linear Time – Invariant)

2.2.1 Hệ tuyến tính

Ký hiệu y(t) = L[x(t)] (10-76) với y(t) là đầu ra của một hệ tuyến tính với đầu vào

là x(t) Nghĩa là:

(10-77) Với mọi a1, a2, x1(t), x2(t)

Hệ trên là một hệ tuyến tính quen thuộc với các biến a1 a2 ngẫu nhiên bởi như ta đã

giả định rằng hệ là xác định và nó chỉ hoạt động trên biến t

2.2.2 Hệ bất biến theo thời gian

a Định nghĩa: Hệ được gọi là bất biến theo thời gian nếu nó đặc trung cho x(t+c)

bằng y(t+c) Chúng ta giả định tất cả hệ tuyến tính được xem như là bất biến theo thời gian Như ta đã biết thì đầu ra của hệ tuyến tính là một phép chập:

∫ (10-78)

Khi

Ngày nay hầu hết các hệ đều quy định bởi công thức trên

b Định lý cơ bản: cho tất cả hệ tuyến tính

E{L[x(t)]} = L[E{x(t)}] (10-79)

Nói cách khác, thái trị trung bình ηy(t) của đầu ra bằng đáp úng của giá trị trung bình ηx(t) của đầu vào:

ηy(t) = L[ηx(t)] (10-80) Nếu ta viết tách rời như một giới hạn của một tổng ta được công thức:

E{x(t1)y(t)} = Lt[E{x(t1)x(t)} và 10-83 với t = t2

Nhân 10-76 với y(t2) và sử dụng 10-79 ta được:

E{y(t1)y(t)} = Lt[E{x(t1)y(t)}] và 10-85 với t = t1

3 Phổ năng lƣợng

3.1 Định nghĩa

Phổ năng lượng (hoặc mật độ quang phổ) của một quá trình WSS , thực hay phức, là biến đổi Fourier của sự tương quan của nó