Phương pháp monte carlo ứng dụng vào xử lý tín hiệu và mô hình hóa trên DS

• Mô phỏng các thuật toán của các phương pháp Monte Carlo ứng dụng trong xử lý tín hiệu cũng như một số vấn đề quan trọng khác neural networks,… để thấy được hiệu suất BER của các phương

Trang 1

TRƯỜNG ĐẠI HỌC BÁCH KHOA

NGUYỄN PHAN THANH BỬU

PHƯƠNG PHÁP MONTE CARLO

ỨNG DỤNG VÀO XỬ LÝ TÍN HIỆU

VÀ MÔ HÌNH HÓA TRÊN DSP

(MONTE CARLO METHODS APPLIED TO SIGNAL PROCESSING AND MODELLING BASED ON DSP)

Chuyên ngành : Kỹ thuật điện tử

Mã số ngành : 60.52.70

LUẬN VĂN THẠC SĨ

Tp Hồ Chí Minh, tháng 7 năm 2007

Trang 2

TRƯỜNG ĐẠI HỌC BÁCH KHOA ĐẠI HỌC QUỐC GIA TP HỒ CHÍ MINH

Cán bộ hướng dẫn khoa học: PGS-TS Lê Tiến Thường

Cán bộ chấm nhận xét 1:

Cán bộ chấm nhận xét 2:

Luận văn thạc sĩ được bảo vệ tại HỘI ĐỒNG CHẤM BẢO VỆ LUẬN VĂN THẠC

SĨ TRƯỜNG ĐẠI HỌC BÁCH KHOA, ngày tháng 7 năm 2007

Trang 3

PHÒNG ĐÀO TẠO SĐH ĐỘC LẬP – TỰ DO – HẠNH PHÚC

Tp HCM, ngày tháng năm 2007

NHIỆM VỤ LUẬN VĂN THẠC SĨ

Họ tên học viên: Nguyễn Phan Thanh Bửu Phái: Nam

Ngày, tháng, năm sinh: 07/04/1983 Nơi sinh: Đồng Nai

Chuyên ngành: Kỹ thuật điện tử MSHV:01405298

I- TÊN ĐỀ TÀI: ‘PHƯƠNG PHÁP MONTE CARLO ỨNG DỤNG TRONG XỬ LÝ TÍN

HIỆU VÀ MÔ HÌNH HÓA TRÊN DSP’

II- NHIỆM VỤ VÀ NỘI DUNG:

• Nghiên cứu vấn đề xử lý tín hiệu model-based và các mô hình dynamic system

• Xây dựng thuật toán cho các phương pháp Monte Carlo (phương pháp MCMC và

SMC ) ứng dụng trong xử lý tín hiệu dựa vào mô hình: tính toán BER, hàm

likelihood, và một số ứng dụng khác

• Mô phỏng các thuật toán của các phương pháp Monte Carlo ứng dụng trong xử lý

tín hiệu cũng như một số vấn đề quan trọng khác (neural networks,…) để thấy

được hiệu suất BER của các phương pháp trong kênh truyền fading và khả năng

ứng dụng của các phương pháp Monte Carlo trong các mô hình không gian trạng

thái tuyến tính, phi tuyến, hỗn hợp, mô hình Bayesian, mô hình nhiễu Gauss,…

vào các vấn đề quan trọng trong thực tiễn Thông qua đó tiến hành so sánh các

phương pháp với nhau

• Thực hiện mô hình hóa một số thuât toán của các phương pháp MCMC và SMC

ứng dụng trong xử lý tín hiệu model-based trên kit DSP TMS320C6711, đánh giá

kết quả thu được trên DSP kit TMS320C6711 so sánh với kết quả mô phỏng trên

Matlab

III- NGÀY GIAO NHIỆM VỤ: 22/02/2007

IV- NGÀY HOÀN THÀNH NHIỆM VỤ: 06/07/2007

V- CÁN BỘ HƯỚNG DẪN : PGS.TS LÊ TIẾN THƯỜNG

Trang 4

LỜI CẢM ƠN

Tôi xin chân thành cảm ơn thầy Lê Tiến Thường đã tận tình hướng dẫn,

giúp đỡ tạo mọi điều thuận lợi về tài liệu cũng như trang thiết bị để tôi hoàn thành luận văn này

Tôi cũng xin chân thành cảm ơn quý thầy cô ở Khoa Điện-Điện Tử trường Đại Học Bách Khoa, là những người dạy dỗ, truyền đạt kiến thức

và định hướng nghiên cứu trong suốt khóa đào tạo sau đại học

Cuối cùng xin cảm ơn ba, mẹ, anh, chị, đồng nghiệp và bạn bè đã giúp

đỡ, động viên tôi trong suốt quá trình học tập và nghiên cứu

Xin chân thành cảm ơn Nguyễn Phan Thanh Bửu

Trang 5

LÝ LỊCH TRÍCH NGANG

Họ và tên: NGUYỄN PHAN THANH BỬU

Ngày sinh: 07/04/1983

1 Lý lịch:

⋅ Nơi sinh : Thành Phố Biên Hòa, Tỉnh Đồng Nai

⋅ Thường trú : Xóm 1, Khu 2, Bàu Cá, Trung Hòa, Trảng Bom, Đồng Nai

⋅ Tạm trú : 497/1C Sư Vạn Hạnh, P.12, Q.10, Tp.HCM

⋅ Dân tộc : Kinh Tôn giáo: Không

⋅ Điện thoại : 0903.382 466 Email: buunpt@hptvietnam.com

2 Quá trình đào tạo:

⋅ 1997-2000: Trường Phổ Thông Năng Khiếu – Đại học Quốc Gia Tp.HCM (chuyên Toán)

⋅ 2000-2005: Đại Học Bách Khoa – Đại học Quốc Gia Tp.HCM Khoa Điện-Điện Tử - Chuyên ngành Điện Tử - Viễn Thông

⋅ 2005-2007: Đại Học Bách Khoa – Đại học Quốc Gia Tp.HCM Cao học ngành Kỹ thuật Điện tử

3 Quá trình công tác

12/2005: Công ty Cổ phần tin học HPTvietnam corperation

Trang 6

Lời Giới Thiệu ii HV : Nguyễn Phan Thanh Bửu

LỜI GIỚI THIỆU

Các phương pháp Monte Carlo là một lớp các thuật toán để giải quyết nhiều bài toán trên máy tính theo kiểu không xác định, thường bằng cách sử dụng các số ngẫu nhiên (thường là các số giả ngẫu nhiên) Một ứng dụng cổ điển của phương pháp này là việc tính tích phân xác định, đặc biệt là các tích phân nhiều chiều với các điều kiện biên phức tạp, một số ứng dụng khác trong các lĩnh vực khoa học kỹ thuật ứng dụng như xử lý tín hiệu trong hệ thống thông tin viễn thông

Phương pháp Monte Carlo có một vị trí hết sức quan trọng trong vật lý tính toán và nhiều ngành khác, có ứng dụng bao trùm nhiều lĩnh vực, từ tính toán trong sắc động lực học lượng

tử, mô phỏng hệ spin có tương tác mạnh, đến thiết kế vỏ bọc nhiệt hay hình dáng khí động lực học đến xử lý tín hiệu trong điện tử viễn thông Các phương pháp này đặc biệt hiệu quả khi giải quyết các phương trình vi-tích phân; ví dụ như trong mô tả trường bức xạ hay trường ánh sáng trong mô phỏng hình ảnh 3 chiều trên máy tính, có ứng dụng trong trò chơi điện tử, kiến trúc, thiết kế, phim tạo từ máy tính, các hiệu ứng đặc biệt trong điện ảnh, hay trong nghiên cứu khí quyển, và các ứng dụng nghiên cứu vật liệu bằng laser

Trong toán học, thuật toán Monte Carlo là phương pháp tính bằng số hiệu quả cho nhiều bài toán liên quan đến nhiều biến số mà không dễ dàng giải được bằng các phương pháp khác, chẳng hạn bằng tính tích phân Hiệu quả của phương pháp này so với các phương pháp khác tăng lên khi số chiều của bài toán tăng Phương pháp Monte-Carlo cũng được ứng dụng cho nhiều lớp bài toán tối ưu hóa, như trong ngành tài chính

Phương pháp Monte Carlo được thực hiện hiệu quả hơn với số giả ngẫu nhiên, thay cho số ngẫu nhiên thực thụ, vốn rất khó tạo ra được bởi máy tính, đặc biệt là hiệu quả rất cao trong

xử lý tín hiệu Các số giả ngẫu nhiên có tính xác định , tạo ra từ chuỗi giả ngẫu nhiên có quy luật, có thể sử dụng để chạy thử, hoặc chạy lại mô phỏng theo cùng điều kiện như trước Các

số giả ngẫu nhiên trong các mô phỏng như xử lý tín hiệu chỉ cần tỏ ra "đủ mức ngẫu nhiên", nghĩa là chúng theo phân bố đều hay theo một phân bố định trước, khi số lượng của chúng

đủ lớn

Phương pháp Monte Carlo thường thực hiện lặp lại một số lượng rất lớn các bước đơn giản, song song với nhau; một phương pháp phù hợp cho máy tính Kết quả của phương pháp này càng chính xác (tiệm cận về kết quả đúng) khi số lượng lặp các bước càng tăng

Luận văn sẽ trình bày các phương pháp Monte Carlo ứng dụng vào xử lý tín hiệu Trong đó

tập trung vào 2 phương pháp: Markov Chain Monte Carlo (MCMC) methods và Sequential Monte Carlo (SMC) methods và ứng dụng của chúng trong các vấn đề xử lý

tín hiệu như: ứng dụng trong mô hình cân bằng mù (blind equalization), ứng dụng trong giải chập chuỗi xung (deconvolution of impulsive sequence) , ứng dụng trong optimal filtering và ứng dụng trong neural networks, Để đánh giá được hiệu quả các phương pháp này, luận văn sẽ tiến hành mô phỏng trên Matlab và giả lập mô hình xử lý tín hiệu trên kit DSP TMS320C6711 Qua đó, so sánh và đánh giá ưu khuyết điểm các phương pháp, đưa ra nhận xét các kết quả thu được và hướng phát triển của đề tài

Trang 7

Lời Giới Thiệu iii HV : Nguyễn Phan Thanh Bửu

Nội dung luận văn bao gồm 5 phần:

- Phần I: Xử Lý Tín Hiệu Model-Based Và Các Mô Hình Dynamic Systems gồm 2

chương

o Chương 1: Xử Lý Tín Hiệu Model-Based trình bày các vấn đề xử lý tín hiệu

mô hình cơ bản như cân bằng mù, giải chập chuỗi xung, phân tích phổ,…

o Chương 2: Các Mô Hình Dynamic Systems trình bày các vấn đề về mô hình

không gian-trạng thái gồm các mô hình không gian trạng thái phi tuyến, mô hình không gian-trạng thái trộn giữa phi tuyến và tuyến tính, mô hình không gian-trạng thái tuyến tính, …

- Phần II: Phương Pháp Monte Carlo Và Ứng Dụng gồm 5 chương

o Chương 3: Tổng Quan Về Phương Pháp Monte Carlo trình bày tổng quan

về phương pháp Monte Carlo, các phương pháp Monte Carlo cổ điển, các

phương pháp lấy mẫu, …

o Chương 4: Phương Pháp Markov Chain Monte Carlo trình bày về phương

pháp MCMC, các thuật toán Hastings, thuật toán Hastings one-at-time và bộ lấy mẫu Markov tổng quát, bộ lấy mẫu Gibb sampler, thuật toán Reversible jump MCMC,

Metropolis-o Chương 5: Ứng dụng Markov Chain Monte Carlo trình bày ứng dụng của

phương pháp MCMC ứng dụng trong cân bằng mù với thuật toán lấy mẫu single-site Gibbs sampler, thuật toán Block Gibb sampler, Data Augmentation

… và ứng dụng trong giải chập chuỗi xung với các thuật toán Gibbs sampler+MH steps, thuật toán collapsed Gibbs samplers,… cũng như ứng dụng Reversible jump MCMC vào lựa chọn mô hình Bayesian và ứng dụng Reversible jump MCMC simulated annealing

o Chương 6: Phương Pháp Sequential Monte Carlo trình bày các phương pháp

SMC, thuật toán SIR, bộ lọc particel filter (PF), các bộ lọc marginalized particle filter, thuật toán particle smoother và thuật toán particle smoother thích nghi

o Chương 7: Ứng dụng Sequential Monte Carlo trình bày bộ lọc tối ưu (ứng

dụng SIR), bộ lọc trộn Kalman filter đối với mô hình không gian trạng thái Gaussian tuyến tính, bộ lọc Gauss, bộ lọc Cost-reference, bộ lọc RBPF đối với mạng Bayesian động, bộ lọc Kalman mở rộng, bộ lọc Unscented particle filter, ứng dụng SMC với MCMC step trong lựa chọn mô hình Bayesian

- Phần III: Mô Phỏng Phương Pháp Monte Carlo Trong Xử Lý Tín Hiệu Và Một

Số Ứng Dụng Khác gồm 3 chương

o Chương 8 : Mô Phỏng MCMC thực hiện mô phỏng các thuật toán trong

phương pháp MCMC gồm mô phỏng BER ứng dụng trong bộ cân bằng mù MCMC với kênh truyền fading, mô phỏng thuật toán reversible jump MCMC ứng dụng trong lựa chọn mô hình Bayesian với detect tín hiệu và robot data arm, và mô phỏng thuật toán reversible jump MCMC simulated annealing

o Chương 9 : Mô Phỏng SMC thực hiện mô phỏng phương pháp SMC ứng

dụng vào blind detection trong kênh truyền fading, mô phỏng RBOF đối với

mô hình Gauss và mạng Bayesian động, tiến hành mô phỏng bộ lọc Kalman

mở rộng với thuật toán cực đại kỳ vọng(EM_expectation maximum)_phương

Trang 8

Lời Giới Thiệu iv HV : Nguyễn Phan Thanh Bửu

pháp HySIR, ứng dụng EKF vào các vấn đề price call option, ứng dụng Unscented paticle filter,…

o Chương 10: Đánh Giá Kết Quả Mô Phỏng trình bày kết quả đã mô phỏng

được từ các phương pháp Monte Carlo trên, so sánh với kết quả thực trong lý thuyết và thông qua kết quả mô phỏng đánh giá hiệu suất thực hiện của các phương pháp cũng như khả năng ứng dụng các phương pháp MCMC và SMC cùng các thuật toán cụ thể vào một số vấn đề như xử lý tín hiệu, huấn luyện mạng neuron network và ứng dụng thực tiễn vào thống kê kinh tế,…

- Phần IV: Mô Hình Hóa Phương Pháp Monte Carlo Trên DSP gồm 4 chương

o Chương 11: Tổng Quan Về Kit DSP Texas InTrusment TMS320C6711

trình bày tổng quan về kit DSP TMS320C6711 gồm sơ đồ hệ thống của kit DSP, cấu trúc và các thành phần của C6711 như bộ nhớ, tổ chức tập lênh, CPU, định địa chỉ, ngắt, các thanh ghi … Chương này cũng trình bày mô hình thí nghiệm trên kit DSP đáp ứng cho việc thực hiện mô hình hóa cho các phương pháp MCMC và SMC trên kit TMS320C6711

o Chương 12: Mô Hình Hóa MCMC thực hiện mô hình hóa phương pháp

MCMC trên kit DSP TMS320C6711 ứng dụng vào bài toán tính toán hiệu suất BER trong bộ cân bằng mù MCMC trong kênh truyền fading Phần này lấy kết quả thu được từ file kết quả tập tin.log, sau khi đã thực thi file chương trình mô hình hóa (đã qua trình biên dịch Code Composer Studio v3.2) trên DSP TMS320C6711 và xử lý kết quả trên excel, đưa vào Matlab để mô phỏng trên

đồ thị Dựa vào kết quả đồ thị BER thu được, ta so sánh kết quả thu được khi

mô hình hóa trên DSP so với kết quả mô phỏng Matlab và kết quả trong lý

thuyết

o Chương 13: Mô hình Hóa SMC thực hiện mô hình hóa phương pháp SMC

ứng dụng vào bài toán tính BER trong máy thu SMC trong kênh fading, so sánh kết quả thu được khi mô hình hóa với kết quả trên mô phỏng Matlab và kết quả lý thuyết

o Chương 14 : Đánh Giá Kết Quả Mô Hình Hóa Trên DSP trình bày các kết

quả thu được từ việc mô hình hóa các phương pháp MCMC và SMC trên kit DSP, so sánh các kết quả và đánh giá khách quan hiệu suất thực hiện trên kit

DSP so với kết quả mô phỏng trên Matlab và trong lý thuyết

- Phần V: Kết Luận và Hướng Phát Triển gồm 2 chương

o Chương 15: Kết Luận trình bày những vấn đề đã làm được, những hạn chế về

các phương pháp Monte Carlo, các phương pháp MCMC, SMC với các thuât toán và ứng dụng trong xử lý tín hiệu và ứng dụng trong một số vấn đề khác Phần này cũng đánh giá kết quả thực hiện mô phỏng trên Matlab của các phương pháp và quá trình thực hiện mô hình hóa các phương pháp trên kit DSP TMS320C76711, qua đó so sánh các phương pháp với nhau

o Chương 16: Hướng Phát Triển trình bày những hạn chế của các phương

pháp Monte Carlo và mở rộng các phương pháp này ứng dụng vào các vấn đề khác, đưa ra hướng phát triển đề tài với việc ứng dụng các phương pháp vào các mô hình hỗn hợp và ứng dụng các ưu điểm của các phương pháp phù hợp trong từng ứng dụng cụ thể

Trang 9

Tóm tắt luận văn 1 HV : Nguyễn Phan Thanh Bửu

ABSTRACT

In many areas of signal processing, the trend of addressing problems with increased complexity continues This is best reflected by the forms of the models used for describing phenomena of interest Typically, in these models the number of unknowns that have to be estimated is large and the assumptions about noise distributions are often non-tractable for analytical derivations One major reason that allows researchers to resolve such difficult problems and delve into uncharted territories is the advancement of methods based on Monte Carlo simulations including Markov chain Monte Carlo sampling methods and Sequential Monte Carlo methods

The aim of this thesis is to provide the basic knowledge of these methods and apply into signal processing: sample and/or maximize high-dimensional probability distributions, perform likelihood for complex non-Gaussian signal processing problems, applications for blind equalization, deconvolution of impulse sequences and optimal filtering, neural networks ….To evaluate these methods, we has simulated them by using Matlab and modelled them on DSP kit After that, will compare advantages and disadvantages between Monte Carlo methods, then elaborate on the most recent advances in the field and improve the applications of these methods into many other areas

TÓM TẮT

Nhu cầu xác định các vấn đề cần thiết trong xử lý tín hiệu ngày càng gia tăng mạnh mẽ Điều này được thể hiện qua các mô hình dùng để mô tả các hiện tượng được quan tâm trong xử lý tín hiệu Đặc trưng trong các mô hình này là số ẩn chưa biết cần được đánh giá là tương đối lớn và những giả định đối với các phân bố nhiễu là rất khó kiểm soát khi phân tích chi tiết Một nguyên nhân chính cho phép các nhà nghiên cứu tiếp tục giải quyết các vấn đề khó khăn này và nghiên cứu đào sâu các vấn đề chưa được nghiên cứu trước đó là sự phát triển của các phương pháp mô phỏng Monte Carlo gồm các phương pháp Markov Chain Monte Carlo và Sequential Monte Carlo

Luận văn sẽ trình bày tổng quan các vấn đề cơ bản các phương pháp Monte Carlo và ứng dụng chúng trong xử lý tín hiệu như: lấy mẫu và/hoặc cực đại phân bố xác suất high-dimensional, tính toán likelihood đối với xử lý tín hiệu complex non-Gaussian, ứng dụng trong cân bằng mù, deconvolution chuỗi xung và optimal filtering, neural networks….Để đánh giá các phương pháp này, luận văn tiến hành mô phỏng trên Matlab và mô hình hóa trên kit DSP Thông qua đó sẽ so sánh các ưu khuyết điểm của các phương pháp với nhau, và nói thêm về các ứng dụng gần đây của Monte Carlo trong xử lý tín hiệu cũng như hướng phát triển các phương pháp này ứng dụng trong các lĩnh vực rộng lớn hơn

Trang 10

Nội dung luận văn bao gồm 5 phần:

- Phần I: Xử Lý Tín Hiệu Model-Based Và Các Mô Hình Dynamic Systems gồm 2 chương

o Chương 1: Xử Lý Tín Hiệu Model-Based

o Chương 2: Các Mô Hình Dynamic Systems

- Phần II: Phương Pháp Monte Carlo Và Ứng Dụng gồm 5 chương

o Chương 3: Tổng Quan về Phương Pháp Monte Carlo

o Chương 4: Phương Pháp Markov Chain Monte Carlo

o Chương 5: Ứng dụng Markov Chain Monte Carlo

o Chương 6: Phương Pháp Sequential Monte Carlo

o Chương 7: Ứng dụng Sequential Monte Carlo

- Phần III: Mô Phỏng Phương Pháp Monte Carlo Trong Xử Lý Tín Hiệu Và Một Số Ứng Dụng Khác gồm 3 chương

o Chương 8: Mô Phỏng MCMC

o Chương 9: Mô Phỏng SMC

o Chương 10: So Sánh Các Phương Pháp Và Đánh Giá

- Phần IV: Mô Hình Hóa Phương Pháp Monte Carlo Trên DSP gồm 4 chương

o Chương 11: Tổng Quan Về KIT DSP Texas InTrusment C6711

o Chương 12: Mô Hình Hóa MCMC

o Chương 13: Mô hình Hóa SMC

o Chương 14 : So Sánh Các Phương Pháp và Đánh Giá

- Phần V: Kết Luận và Hướng Phát Triển gồm 2 chương

o Chương 15: Kết Luận

o Chương 16: Hướng Phát Triển

Trang 11

Trong xử lý tín hiệu thống kê, nhiều vấn đề có thể trình bày hệ thống như sau

Ta quan tâm đến việc thu được các ước lượng các biến ngẫu nhiên X của đối tượng nhận

được từ các giá trị của tập hợp χ cho bởi mối quan hệ của các đối tượng thỏa mãn quan hệ thống kê Y=y Trong model-based, ta quan tâm đến hàm likelihood cho bởi xác suất hoặc hàm mật độ xác suất (probibality density function_pdf) p(y|x) của Y bằng y tại X=x Trong trường hợp này, theo lý thuyết chuẩn, ước lượng của X được tính theo ước lượng cực đại likelihood (maximum likelihood_ML):

Xét 1 chuỗi nhị phân độc lập b2:L:T (b k = ±1) qua 1 kênh đáp ứng xung hữu hạn h=(h0, h1,…,

hL-1)T và đối tượng trong nhiễu Gauss với variance (phương sai) σ2, nghĩa là:

1

1 ( | , , ) exp( ( ) )

Trang 12

Trong trường hợp này để cực đại hóa likelihood 2

1: 2 :

( T | L T, ,

p y b− hσ ) đối với b , ta dùng giải

thuật Vertebi Khi đã biết các thông số (h, σ

2 : , → ∞ (h JML,σJML2 sẽ không hội tụ về giá trị thực của chúng Một ước lượng chuẩn các thông số ( ,hσ2)bằng cách cực đại marginal likehood là:

1.2 Giải chập chuỗi xung

Xét một mô hình đơn giản các đối tượng được cho bởi phương trình (2.7) Tuy nhiên trong trường hợp này b2−L T: không là một chuỗi các symbols nhị phân nữa mà là:

giản tính chất của b k sẽ làm vấn đề trở nên khó khăn hơn Trong hầu hết các ứng dụng, ta quan tâm đến việc xác định thay đổi khi 1 xung xuất hiên ở thời điểm k, nghĩa là nếu

Trang 13

CHƯƠNG II

CÁC MÔ HÌNH DYNAMIC SYSTEMS

Hầu như các lớp mô hình tổng quát được xem xét là stochastic differential-algebraic equation (SDAE) Tuy nhiên phần lớn các mô hình hiện tại được sử dụng trong xử lý tín hiệu

và điều khiển tự động là các mô hình state-space, xác định là một trường hợp đặc biệt quan trọng của mô hình SDAE

Công thức tổng quát của một mô hình được cho bởi:

( ( ), ( ), ( ), , ) 0

với dấu “.” tượng trưng cho các thời gian w.r.t khác nhau, z là vector internal varible, đặc

trưng cho tín hiệu ngoài,

u

θ đặc trưng cho một vector thông số time-invariant và t là thời gian Cuối cùng dynamics được mô tả bởi hàm possibly nonlinear F, là một phương trình

differential-algebraic equation (DAE)

Mô hình 1: Mô hình SDAE

Mô hình nonlinear SDAE được cho bởi:

(2.4)

( ( ), ( ), ( ), ( ), , ) 0

F z t z t u t w t θ t = ( ) ( ( ), ( ), ( ), , )

z t = f z t u t w t θ t

với w t và e(t k) là stochastic process

2.1 Mô hình không gian-trạng thái

Mô hình hệ thống là dynamic model mô tả tiến trình của các biến trạng thái(state variables) theo thời gian Đặc tính cơ bản của mô hình hệ thống là Markov property

Markov property: Một process discrete-time stochastic { }x t được nói là đã process Markov property nếu:

Trang 14

Mô hình không gian trạng thái phi tuyến

Phần chính của đoạn này là giới thiệu các mô hình nonlinear, non-Gaussian state-space models Nó cũng chỉ ra rằng mô hình kết quả thực sự là một trường hợp đặc biệt discrete-time của Model 1 Các giả định của explicit cho cả system model và measurent model trong kết quả (2.11) :

Mô hình 3 (Nonlinear state-space model with additive noise)

Mô hình nonlinear, discrete-time state-space với additive noise được cho như sau

với w t và e t được giả sử là process noise độc lập lẫn nhau

Mô hình 4 (Nonlinear state-space model with affine parameters)

Một mô hình nolinear state-space model với các thông số affine được xác định bởi:

2.2 Linear Differential-AlgeBraic Equations

Mô hình6 (Linear stochastic differential-algebraic equation model )

Mô hình linear stochastic differential-algebraic equation model được cho bởi:

nó cho phép systematic treatment của 2 vấn đề estimating các biến internal variables z(t) và

các static parameters θ Tuy nhiên, các mô hình thu được từ object-oriented modelling languages thì hầu như là continuous-time, hơn nữa là chuyển đổi yêu cầu để có thể giới thiệu stochastic process trong các mô hình continuous-time DAEs models

Trang 15

PHẦN II

PHƯƠNG PHÁP MONTE CARLO VÀ ỨNG DỤNG

CHƯƠNG III

TỔNG QUAN VỀ PHƯƠNG PHÁP MONTE CARLO

3.1 Phương pháp Monte Carlo

Xét hàm mật độ xác suất (probability density function) (pdf) π (x) tại x∈X Ta giả định từ bây giờ π(x) được biết như là hằng số chuẩn hóa

Computing integrals : đối với mọi hàm kiểm tra ϕ : X → R ta tính được

Trang 16

cdf đảo chỉ ứng dụng cho những phân bố xác suất đơn giản biết được một cách chính xác hơn là chỉ đến 1 hằng số bình thường Phương pháp acceptance không đòi hỏi nhiều về hằng

số normalizing Tuy nhiên Nó thì không hiệu quả đối với các phân bố high-dimension

3.2.1 Acception-Rejection Method

Chúng ta quan tâm đến lấy mẫu từ π(x) ∝ π( )x Ta có thể lấy mẫu từ hàm pdf khác q(x)

∝ q x( )với π( )x ≤Cq x( ) với mọi x∈χ

Acception-Rejection sampling

1) Lấy mẫu một candidate x*∼q(.)

2) Lấy mẫu u ∼U[1,0] (hàm phân bố Poisson trên đoạn [0,1])

3) Nếu u≤π( ) /(x* Cq x( ))* thì trả lại giá trị x* , ngược lại trở lại bước 1

Giá trị chấp nhận candidate x*được phân bố theo π

3.3.2 Importance sampling

Một lựa chọn cho phương pháp acceptance-rejection là importance sampling Ở đây, ta

có thể dùng hàm phân bố xác suất q(x) ∝ để lấy mẫu các candidate, phân bố xác suất này được gọi là importance distribution Tuy nhiên thay vì chấp nhận các candidate với xác suất cho trước, tất cả các candidates được chấp nhận được gán trọng số để tạo

sự trái ngược giữa q(.) và π(.)

ở đây ω(.) còn được gọi importance weight xác định bởi

( )( )

( )

x x

Ý tưởng chính của MCMC methods là tạo các samples bằng cách thực hiện 1 ergodic chain mà phân bố cân bằng (equilibrium distribution) của nó là desired distribution Một markov chain không theo chu kỳ (aperiodic) và tối giản (irreducible) có đặc tính hội tụ đến 1 hàm phân bố trạng thái duy nhất (unique stationary distribution) mà không phụ thuộc vào mẫu ban đầu hoặc số lần lặp lại j Nếu là chuyển đổi kernel (

transition kernel ) của chain (mắt xích) and p(x) là desired stationary distribution, và nếu chain thỏa mãn phương trình detailed balance dưới đây

)

|(x(j) x(j− 1 )

P

Trang 17

( 1) ( ) ( 1) ( ) ( 1) ( )

p x − P x x − = p x P x − x (4.5)

nó sẽ tạo ra các samples( sau khi hội tụ) từ stationary distribution p(x) Việc tạo các

samples từ required distribution là rất dễ dàng Nếu 1 mẫu có hàm mật độ

với là mẫu tạo ra cuối cùng, thì xác suất chấp nhận (accepted probability) của nó là:

4.1.2 A generalized Markov sampler

Ta có thể mô tả generalized Gibbs sampler 1 cách tóm tắt Sampler này tạo 1 chain (mắt xích) trong không gian I x X, với I là tập hơp chỉ số (index) và X là tập hợp đích (target)

Giả sử G := {x(1),x(2),…} là 1 Markov chain tạo bởi Gibbs sampler chuẩn hoạt động

trong 1 không gian d chiều (d-dimensional space) Và mỗi phần tử x ∈ Rd được biểu

diễn dưới dạng {x1(j) , x2(j) , …xd(j) } G’ = {x1(1) , x2(1) , …xd(1) , x1(2) , x2(2) , …} có cùng phân bố

giới hạn (limiting distribution) như G nhưng không phải là Markov chain

Ta có thể xét G” = [(1, x1(1) ), (2, x2(2) ), ….,(d, xd(1) ), (1, x1(2),….} là 1 Markov chain trong I x X Vì thế Gibbs sampler là 1 Markov chain trong không gian I x X Phép chiếu (projection) của phân bố giới hạn trên X là phân bố giới hạn bắt buộc

4.2 Metropolis-Hastings Algorithm and Gibbs sampler

Giới thiệu một candidate phân bố kernel q(.|.) Phần chính (kernel) của Metropolis-Hasting

đươc cho bởi:

π

Vì các lựa chọn khả năng đối với proposal kernel , ta có thể sử dụng

[independent proposal] hoặc

là hàm pdf của x’ Một cách logic, ta có thể mô phỏng realization của Markov chain chuyển

đổi kernel K MH bằng cách dùng giải thuật dưới đây

Trang 18

Xem xét trường hợp ta quan tâm đến việc lấy mẫu từ phân bố π xác định trên 1 không gian

mà là hợp của các subspace (không gian con), nghĩa là: X ∞k 0{ }k X

=

= ∪ × Ta viết phân bố này là π( , )k x k (với x k∈X k)

Đối với các vấn đề này, không thể ứng dụng thuật giải MH chuẩn để jump từ X k đến X l nếu

dim(X k) dim(≠ X l) Một giải pháp được đề xuất bởi Green gọi là reversible Jump MCMC dựa trên một reversible constraint để chuyển đổi giữa các tập hợp {X k}khác nhau Để jump

từ X1 đến X2, ta lấy mẫu các biến phụ u q∼ 1 2→ (.)và thiết lập:

Reversible jump MCMC algorithrm

Trang 19

4.4 Simulated Annealing for global optimization

Ta nói đến khả năng ước lượng global optimum của phân bố π bằngcách đơn giản hóa các mẫu thu được phân bố theo nó và sử dụng kết quả (3.21)

( )

( ) { }

arg max ( )

i

i x

x

π

Vì tính phù hợp, phương pháp này có thể hiệu quả đối với một số trường hợp Mặt khác nếu phân bố tương đối diffuse, hầu như các mẫu được tập trung từ global mode Ý tưởng đằng

sau mô phỏng annealing là lấy mẫu ở bước lặp thứ n từ phân bố target bổ sung cho bởi

phương trình (4.28) với { }γn n≥1 là chuỗi dương tăng và lim n

n γ

→∞ = ∞ Đối với γn >1, phân bố ở (4.28) sẽ tập trung hơn xung quanh global maxima hơn là phân bố π và giới hạn π∞ sẽ tập trung xung quanh nó trên tập hợp global maxima của π Thật vậy, giả sử 1 global optimum cho bởi xmax sao cho với mọi x ≠ xmax thì π( )x <π(max)

max max

[ ( ) \ ( )]

n n n

x

γ γ

2 L T:

b− p b( 2−L T: |y1:T), ta trình bày các giải thuật MCMC dưới đây

Ở đây các phân bố full conditional có thể tính được dễ dàng như phương trình dưới đây:

Trang 20

5.1.1 Thuật toán 1: Single-site Gibbs sampler

Đây chỉ là một bộ Gibbs sampler đặc biệt Thay vì lấy mẫu các symbol b tại cùng

1 thời điểm, ta có thể lấy mẫu chúng bằng các subblock có chiều dài M Để dơn giản, giả sử rằng

5.2 Deconvolution of Impulse Sequences

Ở đây, ta xét mô hình đã mô tả ở phần I model-based “deconvolution of Impulse Sequences” Trước tiên xem xét trường hợp thông số θ là chưa biết Chúng ta quan tâm đến

việc lấy mẫu từ p i(2−L T: ,b2−L T: |y1:T Một cấu trúc đơn giản sẽ được sử dụng dùng giải thuật Gibbs sampling

5.2.1 Thuật toán 1: Data Augmentation

Khởi tạo

Trang 21

• Chọn ngẫu nhiên hoặc xác định(h(0),σ2(0))

Cho θ( )n =θ*, ngược lại θ( )n =θ(n− 1))

Không thể lấy mẫu từ p( |θ y1:T,i2−L T: ) một cách chính xác, vì vậy ta cập nhật giá trị thông số dùng bước MH (MH step) Việc thiết kế phân bố sẽ gặp khó khăn

Vì vậy một lựa chọn phù hợp là giải thuật (collapsed) Gibbs sampling

( | )

q

CHƯƠNG 6

SEQUENTIAL MONTE CARLO

Phương pháp sequential Monte Carlo (hay còn gọi là phương pháp particle-phần tử) , liên quan đến vấn đề hàm ước lượng đệ quy mật độ xác suất p(xt|Ys) Theo quan điểm của

Trang 22

Bayesian, p(xt|Ys) bao gồm tất cả thông tin thống kê về các trạng thái khác nhau xt, dựa trên thông tin Ys Hàm mật độ xác suất có thể được dùng để xác định các trạng thái khác nhau:

n x

6.1 Sequential Importance sampling and resampling (SIR)

Cho 1 mẫu có trọng số { ( ) , ( ) xấp xỉ từ

1: 1 1 πn−1, ta xét mở rộng mỗi phần ( )

1: 1

i n

x − bằng cách lấy mẫu:

( ) ( ) ( ) 1:

với Thật vậy, phương pháp này là trường hợp đơn giản của importance sampling

với importance distribution cho trước tại bước n là:

1 ( )

1 1

( )( )

i i

Trang 23

• Tính toán và normalized các trọng số

( ) ( ) ( ) 1:

n

1:

( ) 1 1:

x N−

i n

x

}

i n

Để đơn giản ký hiệu, ta dùngđối với các phần tử { } trước khi và sau khi resampling tốt hơn là sử dụng {

( ) 1:

Sự quan tâm particle filtering xuất phát (stems) từ tiềm năng (potential) của nó đối với việc

đi tiên phong giải quyết các vấn đề khó khăn của tín hiệu nonlinear và/hoặc non-Gaussian

Ý tưởng cơ bản trong particle filtering là xấp xỉ đệ quy (recursive approximation) của các phân bố xác suất liên quan bằng ước lượng ngẫu nhiên rời rạc (discrete random measures) Ứng dụng đơn giản nhất của phương pháp sequential Monte Carlo methods là trong lĩnh vực phát triển polymer (growing polymers)

Mô tả chuẩn của vấn đề particle filters được cho bởi mô hình dynamic state-space đặc trưng bằng state-space và observation equations

ở đây xt là 1 vector trạng thái, f t (.) là 1 hàm chuyển đổi hệ thống (system transition

function), yt là vector của observations, g t (.) là 1 hàm ước lượng, u t and v t là các noise

vectors, and t đặc trưng cho 1 chỉ số thời gian rời rạc (discrete time index)

Phương trình đầu tiên là phương trình trạng thái, phương trình thứ 2 là phương trình ước lượng Giả định rằng dạng phân tích của các functions và phân bố của 2 loại nhiễu là đã biết Dựa trên observations yt và những giả định ở trên sẽ ước lượng được x t bằng đệ quy

(recursively)

Vấn đề chính của particle filtering là việc ước lượng ngẫu nhiên rời rạc sẽ thoái hóa (degenerates) 1 cách nhanh chóng Chỉ sau vài samples, tất cả các particles (ngoại trừ một vài) sẽ được gán các trọng số (weights) không đáng kể Sự thoái hóa (degeneracy) này dẫn đến hiệu suất của particle filter suy giảm 1 cách đáng kể Tuy nhiên, sự thoái hóa có thể

giảm bằng cách dùng good importance sampling functions and resampling

Resampling là 1 kỹ thuật loại ra (eliminates) các particles có trọng số nhỏ và thay thế bằng các particles có trọng số lớn Về nguyên lý, nó được cài đặt như sau:

1 Draw M particles, *(m) từ discrete distribution

Trang 24

Thuật toán Particle filter

• Khởi tạo các particles { 0| 1( )i }M1 0( 0

Systematic sampling alogorithm

• Generate M ordered numbers theo biểu thức:

1 ( ) ( )

6.3 Marginalized particle filter

Thuật toán Marginalzed particle filter

1.Khởi tạo: Khởi tạo các particle và set các giá trị khởi tạo đối với các biến linear state variable được sử dụng trong Kalman filter

2 Particle filter measurement update: đánh giá các trọng số quan trọng (importance weights) và chuẩn hóa

3 Resampling với replacement

Trang 25

4 Particle filter time update và Kalman filter a) Kalman filter measurement update

b) Particle filter time update: Predict các particle mới c) Kalman filter time update (cập nhật theo thời gian)

5 Lặp lại từ bước 2

Chỉ có 1 điểm khác nhau duy nhất từ bộ lọc chuẩn standard particle filter là ở trong bước 4,

với 2 bước thêm được giới thiệu Hai bước này tương ứng với efficient estimation của các

biến linear state variables dùng Kalman filter

CHƯƠNG 7

ỨNG DỤNG SMC METHODS

7.1 Optimal filtering

7.1.1 Filtering in general state-space models

Ở đây, ta nói đến ứng dụng của phương pháp SIR trong optimal filtering Phần này đã được thảo luận trong phần I, mục 2.4 Trong ứng dụng này , ta quan tâm đến ước lượng chuỗi unobserved Markov{ }x n n≥1 initial density μ và transition density

SIR cho Optimal Filtering

1 ( )

1 1

( ) ( |( | )

Trang 26

( ) ( ) ( ) ( ) ( ) 1

n

x và {z n} là các unobserved trong khi {y n} là observes Rõ ràng,

mô hình này chỉ là trường hợp riêng của mô hình đã trình bày trong phần trước khi ta

Với p x( 1:n,z0:n |y1:n) là Gussian density

7.2 Gaussian particle filters

Nếu tại thời điểm t-1 ta xấp xỉ filtering density bằng N( − ,∑ − ) và tại thời điểm t mật độ

dự báo (predictive density) bằng N(

1

1 t t

* ( ) 1

m m

j

w w

Trang 27

Ta xét mô hình tổng quát general state-space model/DBN dưới đây với các biến hidden

variables z t và các biến observed variables y t Ta giả sử rằng z t là một Markov process

(chuỗi Markov) của phân bố initial p(z 0 ) và phương trình chuyển đổi p(z t |z t-1) Các đối tượng y1:t { , , , }y y1 2 y được giả sử là độc lập có điều kiện đối với chuỗi process z t của phân bố marginal p y z( | )t t Cho trước các observations này, inference của subset hay property của các trạng thái z0:t { , , , }z z0 1 z t dựa trên phân bố joint posterior

1:

( |z y t t)Ε

1 0: 1: 0: 1 1: 1

1

( | ) ( | ) ( | ) ( | )

7.3.2 Importance sampling and Rao-Blackwellisation

Ta có thể lấy mẫu N i.i.d particles ngẫu nhiên { ( ) ( ) }

0: 0:

( i , i ); 1, ,

t t

r x i= N theo p r x( ,0:t 0:t|y1:t), rồi empirical estimate phân bố này được cho như sau:

( ) ( ) 0: 0:

0: 0: 1: ( , ) 0: 0:

1

1 ( , | ) i i ( )

δ biểu thị cho hàm Dirac delta tại Estimate

của phân bố filtering

của các biến hidden variables w.r.t hàm này I f( )t , dùng:

)

= ∑

Trang 28

7.3.3 Rao-Blackwellised particle filters

Cho N particles (samples) tại bước 1 được phân bố gần đúng theo phân bố

, các RBPFs cho phép ta tính N particles phân bố gần đúng theo phân bố posterior

( ) ( ) 0: 1i , 0: 1i

1 Sequential Importance Sampling step

• Cho i= 1, ,N, lấy mẫu:

( ) ( )

0 : 1 1:

ˆ ( i ) ( | i ,

ˆ ˆ ( i ) ( i , i

( ) ( ) ( ) 0: 1 1: 0: 1 1: 1

( ) 0:

ˆi t

r )

)

( )i t

w

( ) 0:

i t

8.1 Mô phỏng phương pháp MCMC ứng dụng trong Blind Equalization

Phần này tiến hành mô phỏng phương pháp MCMC để chỉ ra performance của MCMC bilnd equalized dựa trên giải thuật single-site Gibbs sampler Ta xét một kênh truyền four-tap ISI với các hệ số complex tap

[ 0.1611 0.4270 , 0.0467 0.4429 , 0.6204 0.4436 , 0.1702 0.0140]T

h= − − j + j − + j − j

Trang 29

(Chú ý rằng kênh sẽ được được normalized để đạt được unit norm, nghĩa là h =1) Để resolve vấn đề delay và phase ambiguities vốn có của blind equalizer, trong Gibbs sampler,

ta bắt buộc các constraints thỏa |h3| |> h l | đối với l∈ {1, 2, 4}và 3

2 h

< ∠ ≤ Channel code bằng ½ mã chập length-5 (với phát 23,35 trong octal notation) Bộ đan xen interleaver được phát 1 cách ngẫu nhiên và fixed cho tất cả các mô phỏng.kích thước block của các bits thông tin bằng 128.(nghĩa là M=256) Các code bits được điều chế theo BPSK(binary phase shift-keying), nghĩa là Trong việc tính toán các symbol probabilities, Gibbs sampler được lặp lại 100 runs cho mỗi khối data block với 50 bước lặp đầu tiên xem như khoảng thời gian burn-in Dưới đây là các phân bố noninformative conjugate prior được dùng trong Gibbs sampler

{ 1, 1}

k

b ∈ + −

Trong blind turbo equalization, đối với lần lặp đầu tiên, xác suất các prior symbols là

cho tất cả các symbols Trong các bước lặp liên tiếp, xác suất ptior symbol được cung cấp bởi bộ gải mã kênh (channel decoder), tận dụng deceoder-assited convergence Đặc biệt, nếu số bits correction tạo bởi bộ decoder vượt mức 1/3 tổng số bit (M/3), thì nó quyết định không đạt được hội tụ và Gibbs sampler được áp dụng lại 1 lần nữa cho cùng khối data (data block)[49]

Trang 30

Hình 8.1 BER của bộ cân bằng mù MCMC trong kênh truyền Gaussian ISI

8.2 Mô phỏng RJMCMC ứng dụng vào Bayesian Model Selection

Khi cài đặt giải thuật RJMCMC, ta phải tìm ra các vấn đề ill-conditioning, mặt khác là các vấn đề đối với các không gian thông số high dimensional Có 2 cách phù hợp với vấn đề này Đầu tiên, ta có thể giới thiệu một ridge regression component để biểu thức mô tả 1

, '( 1: , ) ( 1: , )

M− =D μ x D μ x +∑− + Ιh với h là một số bé, tương tự ta giới thiệu một slight modification cuả prior cho α1:m

1: , 1: ,

2 2 1

Trang 31

Data được tạo ra từ hàm unvariate dưới đây dùng 50 covariate points unformly trên [-2,2]

max , , RW

k l σ và ς* bằng 20, 0.1, 0.001, và 0.1

Trang 32

Ta được kết quả mô phỏng như bên dưới:

Hình 8.2 Ước lượng nhiễu theo thời gian và output data theo input data

Hình 8.3 chỉ ra typical fits thu được cho việc training và validation data sets Bằng cách

thay đổi các variance của nhiễu σ2, ta ước lượng main mode và fractions của

unexplained variance Đối với tiểu chuẩn AIC và BIC/MDL, main mode tương ứng với

tiêu chuẩn có posterior là lớn nhất, trong khi phương pháp Bayesian, main mode tương

ứng với MAP của model order probabilities p k x yˆ ( | , )

Trang 33

Hình 8.3 Hiệu suất của thuật toán RJMCMC trong vấn đề signal deetection

Mặc dù noise variance lớn, ước lượng các hàm “true” function và noise process là rất chính xác (accurate), do đó leading to good generalisation (không over-fitting)

Fractions của unexplained variance(fv) được tính như sau :

50 2100

, , 1

50 2

1 , ,1

i t i t i t

y y fv

với yˆt i, biểu thị cho prediction thứ t đối với trial thứ i và y t i, là ước lượng trung bình

(mean estimate) của y i Việc chuẩn hóa (normalisation) trong đo lường lỗi fv đôc lập với kích thước của tập hợp data Nếu estimated mean được sử dụng như là prediction của data, fv có thể bằng 1 Kết quả trong Table 8.1 fv cho mỗi phương pháp model selection

là giống nhau Kết quả này được mong đợi khi xem xét vấn đề đơn giản hơn và error variations có thể attribute đến sự kiện là ta chỉ dùng 100 realisations của noise process cho mỗi σ2 Điều quan trọng là rõ ràng mô hình full bayesian cung cấp các ước lượng chính xác hơn của model order

Bảng 8.1 Fraction of unexplained variance đối với các giá trị khác nhau của noise variance,

tính trung bình trên 100 test sets

Trang 34

CHƯƠNG 9

MÔ PHỎNG SMC

Giả sử ta muốn truyền chuỗi binary symblols x n∈ + −{ 1, 1}, qua một kênh truyền fading mà mối quan hệ vào-ra (input-output) được cho bởi:

(9.1)

n n n n

y =α x +ω

Với { }ωn là chuỗi của nhiễu i.i.d Gaussian, { }αn đặc trưng cho xử lý unobserved

Rayleighfading mà có thể được mô hình hóa như output của một bô lọc low-pass filter bậc r

dưới ảnh hưởng của nhiễu Gaussian { } ( ){ }

( )

D u D

α =ΨΦ

Với D là toán tử back-shift k

u ∼N σ Vấn đề inference là để ước lượng các transmitted symbols x n tại bước n,

dựa trên tín hiệu thu được { , ,y1 y n+δ} với δ ≥0 với các knowledge của chỉ thống kê của fading process Giải pháp SMC để giải quyết vấn đề này là dựa trên bộ lọc mixture Kalman filter [12]

Tuy nhiên ở đây, ta chỉ mô phỏng một phần để biểu diễn performance của một máy thu SMC blind receiver Fading process được mô hình hóa bởi ngõ ra của mộ bộ lọc Butterworth filter

bậc r=3 dưới ảnh hưởng của nhiễu complex white Gaussian noise Tần số cắt (cutoff) của bộ

lọc này bằng 0.05, tương ứng với tần số normalized Doppler (với tốc độ symbol rate tương ứng là (1/ )T f T d =0.05), trong fast-fading ) Đặc biệt, chuỗi các hệ số fading {αn} được mô hình hóa bởi ARMA(3,3) process dưới đây:

Trang 35

performance theo signal-to-noise ratio (SNR) xác định bởi Var{ }/αn Var{ }ωn tương ứng với các giá trị delay: δ =0(concurent estimate) δ =1, δ =2 Trong cùng hình đó, ta cũng vẽ

known channel lower bound, genie-aided lower bound và đường BER của các differential detector Từ hình vẽ này có thể thấy rằng, SMC blind receiver không đưa ra một error floor, không giống như differential detector Hơn nữa với giá trị delay δ =2, SMC blind receiver

về cơ bản không đạt được genie-aided lower bound

Hình 9.1 BER của máy thu SMC trong kênh truyền fading

9.2 Mô phỏng Rao Blackwellise Particle Filtering

9.2.1 Rao Blackwellise Particle Filtering for Dynamic Conditionally Gaussian Modes

9.2.1.2 Mô hình và đối tượng

Ta chấp nhận mô hình jump Markov linear Gaussian :

x ∈ biểu thị cho các trạng thái

unknown Gaussian states, u t∈Ulà một tín hiệu điều khiển đã biết, biểu thị cho các unknown discrete states Các chuỗi noise processes là i.i.d (phân bố xác

{1, , }

z ∈ n

Trang 36

định độc lập) Gaussian: và Để trình bày rõ ràng, ta cho rằng các mô hình của chúng ta đưa đến continuous densitites

Điều quan trọng cần phải chú ý là đối với mỗi realiseation của z t , ta có một mô hình

đơn linear Gaussian Nếu ta biết z t Ta có thể tính x t một cách chính xác bằng giải thuật Kalman filter

Phần chính của phân tích là tính phân bố marginal posterior distribution của các trạng thái discrete states Phân bố này có thể nhận được từ phân bố posterior

bằng standard marginalisation Posterior density thỏa mãn recursion dưới đây:

1: 1

( | , ) ( , | , ) ( , | ) ( , | )

( ) 0: 0: 1: , 0: 1:

1

t t

N i

δ biểu thị cho hàm Dirac-delta Sự xấp xỉ này có thể cập

nhật một cách đệ quy (truy hồi) dùng phương trình (9.5) như biểu diễn ở hình 9.2 (để đơn giản chúng ta chỉ hiển thị update của marginal đối với x)

Bằng cách xem xét factorisation sau

(9.7)

0: 0: 1: 0: 1: 0: 0: 1:

( t, t | t) ( t | t, t) ( t | t)

p x z y = p x y z p z y

Ta có thể xây dựng các giải thuật hiệu quả hơn Density p x z( 0:t, 0:t|y1:t) là Gaussian và

có thể phân tách nếu ta biết marginal posterior density p z( 0 :t | y1:t) Density này sẽ thỏa mãn sự đệ quy phù hợp sau:

1: 1 0: 1 0: 1: 0: 1 1: 1

1: 1

( | , ) ( | ) ( | ) ( | )

Trang 37

t }

x− N− , cung cấp một approximation Đối với mỗi phần tử, ta tính

toán các importance weighted từ thông tin tại thời điểm t-1 Những kết quả này trong

ước lượng không trọng số{ , thay thế bằng approximation Sau

đó, một bước resampling step chỉ chọn các phần tử phù hợp nhất (fittest) để thu được các ước lượng không trọng số (unweight) { ,

Ở đây, ta sử dụng mô hình state-space để tạo ra synthetic data và so sánh performance

của các giải thuật PF và RBPF Ta thiết lập ma trận A và C ngẫu nhiên B=D=0.1I,

F=G=0, μ0 =0và ∑0=0.1I Trong mục này, ta thiết lập n x =1,n y =n z = 2

Hình 9.3 chỉ ra một run tiêu biểu với các thông số N=100, n z =3, n y =n z = 2,

Trang 38

Hình 9.5 chỉ ra detect erros so sánh giữa giải thuật PF và RBPF cho 2 lần chạy thử

chương trình matlab Ta có thể thấy rằng, RBPF ít error hơn và khả năng detect error

của RBPF cũng hiệu quả hơn Tại lần lặp ứng với 100 phần tử , PF và RBPF có cùng

detect errors Với 100 phần tử, detect errors của PF và RBPF tương đối ổn định

Hình 9.3 Kết quả mô phỏng RBPF tạo ít lỗi hơn

Hình 9.4 Phân bố trạng thái rời rạc tính toán với RBPF

Trang 39

Hình 9.5 So sánh detect errors theo số phần tử giữa PF và RBPF

9.4 Mô phỏng Unscented Particle Filter

Trong mục này, ta sẽ mô phỏng và so sánh các bộ lọc EKF, UKF và PF chuẩn (condensation, survial of fittest, bootstrap filter, SIR, sequential Monte Carlo,… ), paritcle filter với MCMC step, PF với EKF proposal và PF với UKF proposal trên một vấn đề ước lượng trạng thái đơn giản và vấn đề dự báo financial time series

Để mô phỏng UPF, ta so sánh performance của UPF với các bộ lọc non-linear khác trong 2 vấn đề estimate Vấn đề đầu tiên là vấn đề ước lượng synthetic,scalar và vấn đề thứ hai là vấn đề real world liên quan đến pricing của financial instruments

Trong phần này, một time-series (các tín hiệu thời gian) được phát bởi mô hình xử lý sau:

30

2 3

t t t

0.0000 y t, các bộ lọc khác nhau sẽ được sử dụng để

i trạng thái underlying clean state estimate chuỗ x t,t=1 60 Mô phỏng được lặp lại 100 lần

Trang 40

với mỗi khởi tạo ngẫu nhiên cho mỗi lần thực hiện Tất cả các PF dùng 200 phần tử và

residual resampling Thông số SUT được thiết lập là α =1, β = 0 và , Các thông số

này là tối ưu trong trường hợp scalar

2

κ =

Hình 9.6 Ước lượng EKF và UKF estimates of the state covariance

Hình 9.6 chỉ ra các estimates của các state covariance tạo bởi một EKF stand-alone và UKF cho vấn đề này Chú ý rằng các estimate EKF thì nhỏ hơn các estimate của UKF Đặc điểm này làm cho UKF suited tốt hơn EKF cho proposal distribution trong PF framework

CHƯƠNG 10

ĐÁNH GIÁ KẾT QUẢ MÔ PHỎNG

Đối với phương pháp MCMC, các thuật toán single-site Gibb sampler ứng dụng vào cân bằng mù trong kênh truyền fading, thuật toán RJMCMC ứng dụng trong signal detection và robot data arm, thuật toán RJMCMC simulated annealing được mô phỏng trên Matlab

Kết quả đối với thuật toán single-site Gibbs sampler trong kênh truyền fading phản ánh hiệu suất BER thực hiện của phương pháp đối với bước lặp đầu tiên, bước lặp thứ 2 và thứ 3 và thực hiện trong tác động nhiễu AWGN mã hóa và không mã hóa Nhận thấy, Gibbs sampler hội tụ nhanh chóng chỉ trong 20 bước lặp đầu tiên, code BER đầu ra MCMC bilnd equaliser được vẽ cho 3 bước lặp đầu tiên, cho kết quả với số bước lặp càng lớn thì hiệu suất BER càng tốt (nghĩa là BER nhỏ) Nhận thấy đường đặc tính BER tốt nhất là trong môi trườngtác động nhiễu AWGN mã hóa, do đó MCMC blind equalizer có thể đạt được hiệu suất gần bằng hiệu suất máy thu trong kênh AWGN lý tưởng trong một vài bước lặp mới

Đối với thuật toán RJMCMC ứng dụng trong detect signal trong tín hiệu nhiễu với tín hiệu Gauss, so sánh kết quả hiệu suất trong lựa chọn mô hình Bayesian và mô hình peanaled likelihood (AIC, BIC/MDL) khi lượng nhiễu khác nhau ta thấy rằng đối với tiêu chuẩn AIC

Định dạng
Số trang	226
Dung lượng	6,73 MB