Áp dụng information theoretic learning trong xử lý tín hiệu đa mode (multimodal signal processing)

Các bộ lọc thích nghi phi tuyến xử lý tín hiệu dựa trên nội dung thông tin của nó ñang ñược tập trung nghiên cứu và ñã ñược sử dụng trong nhiều ứng dụng như nhận dạng hệ thống, tách nguồ

TRƯỜNG ĐẠI HỌC BÁCH KHOA

-

BÙI QUANG HUY

ÁP DỤNG INFORMATION THEORETIC LEARNING TRONG XỬ LÝ TÍN HIỆU ĐA MODE (MULTIMODAL SIGNAL PROCESSING)

Chuyên ngành: Kỹ thuật điện tử

LUẬN VĂN THẠC SĨ

TP Hồ Chí Minh, tháng 7 năm 2008

TRƯỜNG ĐẠI HỌC BÁCH KHOA ĐẠI HỌC QUỐC GIA TP HỒ CHÍ MINH

Cán bộ hướng dẫn khoa học : PGS TS Lê Tiến Thường

- -oOo -

Tp HCM, ngày tháng năm

NHIỆM VỤ LUẬN VĂN THẠC SĨ Họ và tên học viên: BÙI QUANG HUY Giới tính : Nam Ngày, tháng, năm sinh : 16 – 07 – 1982 Nơi sinh : TP Hồ Chí Minh Chuyên ngành : Kỹ thuật điện tử Khoá (Năm trúng tuyển) : 2006 1- TÊN ĐỀ TÀI: Ứng dụng Information Theoretic Learning trong Xử lý tín hiệu đa mode 2- NHIỆM VỤ LUẬN VĂN:

3- NGÀY GIAO NHIỆM VỤ : 28 – 9 – 2007 4- NGÀY HOÀN THÀNH NHIỆM VỤ : 30 – 6 – 2008

5- HỌ VÀ TÊN CÁN BỘ HƯỚNG DẪN: PGS TS Lê Tiến Thường

Nội dung và đề cương Luận văn thạc sĩ đã được Hội Đồng Chuyên Ngành thông qua

(Họ tên và chữ ký)

Mở đầu cuốn luận văn này, em xin gửi lời cảm ơn sâu

sắc đến thầy hướng dẫn, PGS TS Lê Tiến Thường

Thầy đã tận tình hướng dẫn và tạo điều kiện về thiết bị,

tài liệu trong suốt quá trình em thực hiện luận văn Sự

động viên và hỗ trợ của thầy đã tạo động lực cho em

hoàn thành tốt luận văn này

Ngoài ra, em xin chân thành cảm ơn các thầy cô thuộc

Bộ môn Viễn Thông, khoa Điện – Điện Tử đã cho em

điều kiện tốt nhất trong quá trình thực hiện luận văn

Xin chân thành cảm ơn các bạn bè và đồng nghiệp đã

quan tâm, giúp đỡ và đóng góp ý kiến cho luận văn được

ABSTRACT

In this thesis, an information theoretic approach is presented to multimodal signal processing, and is validated with illustrative example from multimodal image registration The results include a MATLAB program and a basic design for the XUP Virtex – II Pro Development System of Xilinx

The framework here is based on stochastic processes, Markov chains and error probabilities In this framework, the features of both signals of a multi-modal signal pair are simultaneously extracted based on the criteria of maximum redundancy In the implementation of image registration algorithm, I try to find the transformation that maximizes normalized entropy between the pixel intensities of two input images First the algorithm is implemented in MATLAB, then it is attempted to import on hardware

in other to improve the performance

This thesis is divided into seven chapters:

Chapter 1: Introduction

This chapter presents the motivation, the state-of-art in the domain and the scope of the thesis

Chapter 2: Information Theory

This chapter will review some basic concepts from Information Theory that is relevant

to the framework developed in the following chapters The most important concepts are entropy and mutual information as well as Fano inequality and data processing inequality

Chapter 3: Applying Information Theory in Adaptive Filtering

The main idea of Information Theoretic Learning (ITL) is introduced in this chapter, with its application in adaptive filtering Here, I also introduce the concepts of information potential and information force and some entropy estimation methods

Chapter 4: Applying ITL to Multimodal signal processing

The framework is introduced in this chapter This chapter also investigates some criteria used in multimodal signal processing

Chapter 5: Introduce to hardware platform

In this chapter, I introduce the SoC design methodology and some Hardware description language (HDL) This chapter also covers some basic concepts about IP Core and core-based design

Chapter 6: Implementation

In this chapter, I will present the details on the implementation of ITL image registration algorithm

Chapter 7: Conclusion and Future work

This is the final chapter of this thesis, where I will evaluate and review the work done,

as well as introduce some future work to be done

Keywords: Multimodal signal processing, Multimodal image registration, ITL,

Information Theoretic Learning

Mục lục

ABSTRACT 1

Mục lục 3

Mục lục hình 7

Các chữ viết tắt 9

Chương 1: GIỚI THIỆU 11

1 ðặt vấn ñề 11

2 Tổng quan tình hình nghiên cứu 12

2.1 Sơ lược về lịch sử 12

2.2 Các nghiên cứu hiện nay 14

3 Mục tiêu và nội dung nghiên cứu 15

Chương 2: LÝ THUYẾT THÔNG TIN 17

1 Giới thiệu 17

2 Entropy 17

2.1 Entropy theo ñịnh nghĩa của Shannon 17

2.2 Entropy Renyi và entropy Havrda – Charvat 19

2.3 Ý nghĩa hình học của entropy 21

2.4 Entropy của tín hiệu Gauss 22

3 Lượng tin tương hỗ 23

3.1 Lượng tin tương hỗ Shannon 23

3.2 Các lượng tin tương hỗ dạng toàn phương 25

3.2.1 Lượng tin tương hỗ toàn phương khoảng cách Euclide 25

3.2.2 Lượng tin tương hỗ toàn phương Cauchy – Schwartz 26

3.3 Ý nghĩa hình học của lượng tin tương hỗ 30

3.4 Lượng tin tương hỗ của tín hiệu Gauss 32

4 Bất ñẳng thức Fano và bất ñẳng thức xử lý dữ liệu 33

4.1 Quá trình ngẫu nhiên & Xác suất lỗi 33

4.2 Bất ñẳng thức xử lý dữ liệu (Data Processing Inequality) 35

4.3 Bất ñẳng thức Fano 36

Chương 3: ỨNG DỤNG LÝ THUYẾT THÔNG TIN TRONG LỌC THÍCH NGHI 38 1 Lọc thông tin thích nghi 38

2 Information Theoretic Learning (ITL) 39

3 Ước lượng entropy và lượng tin tương hỗ 41

3.1 Mô tả vấn ñề 42

3.2 Ước lượng plug-in 43

3.3 Ước lượng mật ñộ xác suất bằng phương pháp không thông số 43

3.3.1 Histogram 43

3.3.2 Các ước lượng dựa trên các chuỗi trực giao 44

3.3.3 Phương pháp cửa sổ Parzen 45

3.3.4 Mô hình hỗn hợp (Mixture Model) 46

4 Entropy dạng toàn phương và thế thông tin 47

4.1 Thế thông tin 47

4.2 Lực thông tin (IF) 49

4.3 Tính toán thế và lực thông tin 49

5 Lượng tin tương hỗ dạng toàn phương và thế thông tin chéo 50

5.1 Khái niệm 50

5.2 Lực thông tin chéo (Cross Information Force – CIF) 52

5.3 Giải thích về lượng tin tương hỗ toàn phương (QMI) 53

Chương 4: ỨNG DỤNG ITL TRONG XỬ LÝ TÍN HIỆU ðA MODE 56

1 Ý nghĩa của xử lý tín hiệu ña mode 56

2 Trích ñặc trưng ñơn mode dùng ITL 58

3 Xử lý tín hiệu ña mode bằng ITL 60

3.1 Các quá trình ngẫu nhiên ña mode 60

3.2 Từ xác suất lỗi ñến xử lý tín hiệu ña mode 62

4 Các hàm mục tiêu trong xử lý tín hiệu ña mode 64

4.1 ðộ hiệu quả của ñặc trưng (Feature Efficiency) 64

4.2 Tỉ lệ tương quan (Correlation Ratio) 66

4.3 Maximum Likelihood 68

Chương 5: THỰC HIỆN PHẦN CỨNG 69

1 Các ngôn ngữ mô tả phần cứng 69

1.1 AHDL (Altera Hardware Description Language) 69

1.2 Verilog HDL 70

1.3 VHDL 70

2 Các công nghệ cài ñặt hiện ñại 70

2.1 ASIC (Application Specific Intergrated Circuit) 70

2.2 Bộ xử lý số tín hiệu DSP 71

2.3 FPGA (Field – Programmable Gate Array) 72

3 Thiết kế hệ thống dựa trên IP Core 74

4 Tổng quan về quá trình thiết kế core 76

Chương 6: THỰC HIỆN 78

1 Khái niệm về image registration 78

2 Phát biểu bài toán 79

3 Phân loại các phương pháp dùng trong image registration 80

4 Tóm lược một số phương pháp ñã sử dụng trong image registration 81

4.1 Các phương pháp sử dụng vật ñánh dấu 81

4.2 Các phương pháp sử dụng các ñặc trưng hình học 82

4.3 Các phương pháp sử dụng dữ liệu thô 82

4.3.1 Phương pháp sử dụng các bình phương cực tiểu 82

4.3.2 Phương pháp cực ñại hóa lượng tin tương hỗ 83

5 Ứng dụng Information theoretic learning trong register ảnh ña mode 83

5.1 Xem xét bài toán register dưới quan ñiểm lựa chọn ñặc tính 83

5.2 Hướng giải quyết 84

6 Chương trình thực hiện trên MATLAB 87

6.1 Lưu ñồ giải thuật 88

6.2 Giao diện của chương trình 91

6.3 Cấu trúc chương trình 91

7 Thiết kế giải thuật trên kit FPGA Virtex – II Pro 92

7.1 Mô hình hệ thống 92

7.2 Thiết kế core xử lý trên FPGA 93

8 Kết quả thực hiện 97

Chương 7: KẾT LUẬN & HƯỚNG PHÁT TRIỂN 102

1 Kết luận 102

2 Hướng phát triển của ñề tài 103

PHỤ LỤC 104

1 Họ FPGA Virtex – II Pro của Xilinx 104

1.1 Mô tả chung 104

1.2 Kiến trúc 105

2 Kit XUP Virtex – II Pro Development System 109

2.1 Virtex – II Pro FPGA 110

2.2 MGT (Multi – Gigabit Transceiver) 111

2.3 Giao diện Fast Ethernet 112

2.4 Các cổng nối tiếp 112

2.5 ðầu ra XSGA 112

2.6 AC97 Audio CODEC 112

2.7 Giao diện lập trình USB 2 112

Tài liệu tham khảo 114

Mục lục hình

Hình 1 Giải thích hình học của entropy với N = 3 Khoảng cách từ P ñến gốc liên

quan ñến chuẩn α 21

Hình 2 Các mặt và ñường ñồng mức của I S , I ED và I CS theo 11 X P và 21 X P (a)& (b): I S; (c) & (d): I ED ; (e) & (f): I CS 29

Hình 3 Sự thay ñổi của I S , I ED và I CS theo 11 X P 30

Hình 4 Diễn giải hình học của lượng tin tương hỗ 31

Hình 5 Bộ lọc thích nghi cổ ñiển 38

Hình 6 Huấn luyện bộ ánh xạ với ITL 40

Hình 7 Mô hình học thống nhất với tiêu chuẩn thông tin 40

Hình 8 Ước lượng hàm mật ñộ xác suất bằng phương pháp cửa sổ Parzen 46

Hình 9 Khái niệm về các loại hạt thông tin 54

Hình 10 Trường hợp các biến ngẫu nhiên có tương quan cao 55

Hình 11 Trường hợp các biến ngẫu nhiên ñộc lập nhau 55

Hình 12 Xây dựng các chuỗi Markov từ một cặp tín hiệu ña mode 62

Hình 13 Kiến trúc của FPGA 72

Hình 14 Các khóa có thể lập trình dùng công nghệ EPROM 73

Hình 15 Các khóa lập trình ñược ñiều khiển bằng SRAM 73

Hình 16 Cấu trúc antifuse 74

Hình 17 Luồng thiết kế chip tiêu biểu 75

Hình 18 Qui trình thiết kế core 77

Hình 19 Các thông số của hai ảnh cần register 85

Hình 20 Lưu ñồ register ảnh dựa trên entropy chuẩn hóa 87

Hình 21 Lưu ñồ giải thuật (phần 1) 88

Hình 22 Lưu ñồ giải thuật (phần 2) 89

Hình 23 Lưu ñồ giải thuật (phần 3) 90

Hình 24 Giao diện của chương trình 91

Hình 25 Mô hình hệ thống 93

Hình 26 Sơ ñồ khối tổng quát 94

Hình 27 Sơ ñồ thiết kế khối tính entropy kết hợp 96

Hình 28 Ảnh chụp cắt lớp (CT) (Hình 1.1) 97

Hình 29 Ảnh cộng hưởng từ (MRI) (Hình 1.2) 97

Hình 30 Ảnh kết quả sau khi register (Sử dụng chương trình viết trên MATLAB) 98

Hình 31 Ảnh chụp cắt lớp (CT) (Hình 2.1) 98

Hình 32 Ảnh cộng hưởng từ (MRI) (Hình 2.2) 98

Hình 33 Ảnh kết quả sau khi register (Sử dụng chương trình viết trên MATLAB) 99

Hình 34 Ảnh proton density MRI (Hình 3.1) 100

Hình 35 Ảnh T2-weighted MRI (Hình 3.2) 100

Hình 36 Ảnh kết quả sau khi register (Sử dụng chương trình viết trên MATLAB) 100 Hình 37 Ảnh chụp cắt lớp (CT) (Hình 4.1) 101

Hình 38 Ảnh cộng hưởng từ (MRI) (Hình 3.2) 101

Hình 39 Ảnh kết quả sau khi register (Sử dụng chương trình viết trên MATLAB) 101 Hình 40 Kiến trúc tổng quát của Virtex – II Pro 105

Hình 41 Kit XUP Virtex – II Pro Development System 109

Hình 42 Sơ ñồ khối của kit XUP Virtex-II Pro Development System 110

Hình 43 Sơ ñồ kết nối các dãy IO (IO Banks) với ngoại vi 111

Các chữ viết tắt

ADALINE Adaptive Linear Neuron

AHDL Altera Hardware Description Language

ASIC Application Specific Intergrated Circuit

CNEL Computational NeuroEngineering Laboratory

CS - QMI Cauchy - Schwartz Quadratude Mutual Information

CS-CIP Cauchy Schwartz Cross Information Potential

ED – QMI Euclide Distance Quadratude Mutual Information

ED-CIP Euclide Distance Cross Information Potential

EEPROM Electrically Erasable Programmable Read-Only Memory

EPROM Erasable Programmable Read-Only Memory

fMRI Functional MRI

FPGA Field – Programmable Gate Array

GTLP Gunning Transceiver Logic Plus

HSTL High-Speed Transceiver Logic

IP Core Intellectual Property Core

LVCMOS Low Voltage Complementary Metal Oxide Semiconductor

LVTTL Low Voltage Transistor to Transistor Logic

PCI-X Peripheral Component Interconnect eXtended

RISC Reduced Instructions Set Computer

SATA Serial Advanced Technology Attachment

SRAM Static Random Access Memory

SSTL Stub Series Terminated Logic

VHDL Very High Speed Intergrated Circuit Hardware Description

Language

Chương 1: GIỚI THIỆU

1 đặt vấn ựề

Các giải thuật xử lý tắn hiệu cổ ựiển chỉ lấy các tắn hiệu thuộc cùng một mode ựể thực hiện xử lý, vắ dụ như nén tắn hiệu (image compression) hoặc phân ựoạn ảnh (image segmentation) Các cách tiếp cận này ựã bỏ qua thực tế rằng nhiều tắn hiệu thực tế tồn tại dưới dạng bộ ựôi, bộ ba hoặc nhiều hơn các tắn hiệu ựơn mode đây là các tắn hiệu

ựa mode (multimodal signals), trong ựó các mode mang các thông tin ựộc lập nhau, nhưng cũng có một phần phụ thuộc lẫn nhau Vắ dụ ựiển hình nhất là các chuỗi video Ờ lời thoại trong ựó chuyển ựộng của miệng trong video có liên quan trực tiếp ựến tắn hiệu thoại thông qua một mối quan hệ phức tạp Con người ựã sử dụng một cách vô thức ựặc tắnh ựa mode (multimodal) này ựể tối ưu hóa việc tiếp nhận thông tin dẫn ựến hiệu quả mà chưa có một hệ thống máy tắnh nào ựạt ựược Khi cuộc ựối thoại diễn ra ở một nơi ồn ào như trong một buổi tiệc, việc quan sát cử ựộng miệng của người nói cũng cho phép việc hiểu tốt hơn điều này cho thấy rằng việc tận dụng các tắn hiệu từ nhiều mode có thể làm tăng hiệu năng của hệ thống xử lý thông tin

Do ựó, xử lý tắn hiệu ựa mode là một xu hướng triển vọng trong xử lý tắn hiệu Trong

ựó, các ựo lường ựược thu thập từ nhiều cảm biến khác nhau làm việc ở nhiều mode khác nhau, và nhiệm vụ xử lý là phải kết hợp thông tin thu ựược từ các cảm biến này

ựể có một thông tin tổng hợp theo nhu cầu Một vắ dụ cụ thể là trong y học, có nhiều phương pháp chẩn ựoán hình ảnh khác nhau (MRI, CT, PET, Ầ) và ựôi khi cần phải kết hợp các loại chẩn ựoán này lại ựể có ựược kết quả chẩn ựoán chắnh xác đó chắnh

là bài toán image registration, trong ựó các hình ảnh thu thập ở nhiều mode khác nhau

sẽ ựược xếp chồng và trộn lẫn ựể có một ảnh kết hợp thể hiện ựầy ựủ thông tin nhất Việc xếp chồng các ảnh cần phải khai thác sự tương quan về không gian giữa các ảnh,

vắ dụ như các ựường biên ảnhẦ và vấn ựề trở nên phức tạp hơn khi các ảnh thu thập ở các mode khác nhau này thường có thang ựộ sáng rất khác nhau

Trong hầu hết các cách tiếp cận truyền thống của lĩnh vực xử lý tắn hiệu thắch nghi và thống kê, các tắnh chất thống kê bậc hai của tắn hiệu ựã ựược sử dụng rộng rãi do các

giải thuật dẫn ra khá ñơn giản và thường tồn tại lời giải giải tích Tuy nhiên, các cách tiếp cận này không thể giải quyết ñược một số vấn ñề mới xuất hiện gần ñây, cụ thể là bài toán xử lý tín hiệu ña mode ñã nói ở trên Hiện nay, một hướng tiếp cận mới xuất hiện là sử dụng lý thuyết thông tin trong xử lý tín hiệu

Với khả năng tính toán mạnh mẽ của máy tính hiện nay, các kỹ thuật xử lý tín hiệu dựa trên lý thuyết thông tin hoàn toàn có thể thực hiện ñược Các bộ lọc thích nghi phi tuyến xử lý tín hiệu dựa trên nội dung thông tin của nó ñang ñược tập trung nghiên cứu

và ñã ñược sử dụng trong nhiều ứng dụng như nhận dạng hệ thống, tách nguồn mù, phân tích các thành phần ñộc lập, multi-modal signal processing …

Mục ñích của luận văn này là sẽ ñề xuất một cách tiếp cận cho xử lý tín hiệu ña mode (multimodal signal processing) dựa trên information theoretic learning (tạm dịch là học dựa trên lý thuyết thông tin)

2.1 Sơ lược về lịch sử

Nguồn gốc của các hệ thống và lọc thích nghi ñã xuất hiện từ ñầu thế kỷ XIX khi Gauss và các ñồng nghiệp phát triển lý thuyết về xấp xỉ hàm Các nghiên cứu khởi ñầu này ñã cung cấp một nền tảng và cơ sở toán học vững chắc cho vấn ñề xấp xỉ hàm, nhưng ứng dụng thực tiễn của chúng chỉ trở thành hiện thực khi khái niệm về lọc thích nghi ñược thiết lập vào khoảng giữa thế kỷ XX

Phân tích sâu sắc của Wiener về các bộ xấp xỉ hàm và ñặc biệt là ứng dụng của chúng vào cấu trúc bộ lọc FIR ñể dẫn ra phương trình Wiener – Hopf ñã cung cấp sự hiểu biết về bản chất của các bộ lọc thích nghi ñược xem xét dưới tiêu chuẩn tối ưu thông

kê bậc hai Khả năng ứng dụng của các lý thuyết này ñược hiện thực với sự phát minh

ra máy tính số vào những năm 1950

Các nghiên cứu của Widrow về cấu trúc mạng neuron tuyến tính ñơn giản ADALINE (Adaptive Linear Neuron – Mạng neuron tuyến tính thích nghi) ñã dẫn ñến giải thuật LMS nổi tiếng Giải thuật LMS và các hệ quả của nó ñã cho phép áp dụng thành công các bộ lọc thích nghi vào các vấn ñề kỹ thuật thực tế Do ñó, lĩnh vực nghiên cứu về

lọc thích nghi ñã ñược chấp nhận bởi cộng ñồng kỹ thuật cũng như giới khoa học và phát triển mạnh mẽ trong những năm sau ñó

Các nghiên cứu ban ñầu này hầu hết xoay quanh việc dùng sai số trung bình bình phương (MSE) và các ñặc tính thống kê bậc hai khác làm tiêu chuẩn tối ưu vì nhiều lý

do Do các nghiên cứu này chủ yếu tập trung vào các hệ thống thích nghi tuyến tính, việc sử dụng các ño lường tối ưu bậc hai sẽ dẫn ñến các mặt phẳng tối ưu dạng toàn phương, và vì vậy dễ dàng thu ñược biểu thức giải tích của lời giải tối ưu Việc này cho phép phân tích trên lý thuyết nhiều lĩnh vực của vấn ñề thích nghi Hậu quả của việc cho rằng các thống kê bậc hai là ñủ ñể xác ñịnh lời giải trong tất cả các vấn ñề kỹ thuật là trong bốn thập kỷ qua, hầu hết các nghiên cứu về hệ thống thích nghi ñều chỉ dừng lại ở việc sử dụng MSE cho huấn luyện có giám sát và các tiêu chuẩn bậc hai khác cho thích nghi không giám sát

Thời gian gần ñây, một số vấn ñề mới xuất hiện trong lĩnh vực xử lý tín hiệu và truyền thông cho thấy việc chỉ sử dụng các thống kê bậc hai là chưa ñủ mà cần phải sử dụng các tính chất thống kê bậc cao hơn của các quá trình ngẫu nhiên liên quan Các vấn ñề này như là: tách nguồn mù (BSS), phân tích các thành phần ñộc lập (ICA), các phép chiếu không gian con (subspace projections) và giảm số chiều của dữ liệu (data dimensionality reduction), trích tách ñặc trưng (feature extraction) … và nhiều vấn ñề khác

Trong khi các phát triển này ñang ñược thực hiện, lý thuyết thông tin ñã ñộc lập xuất hiện và ñược ứng dụng trong lĩnh vực thông tin Mặc dù khái niệm về thông tin ñã ñược ñưa ra trước ñó bởi Boltzman và Hartley, Shannon mới chính là người ñầu tiên ñịnh nghĩa thông tin trung bình của một quá trình ngẫu nhiên và thiết lập một lý thuyết nền tảng về thông tin cùng các ứng dụng trong thông tin số Tuy Shannon chưa bao giờ gọi nghiên cứu của mình là Lý thuyết thông tin, lĩnh vực toán học mới này ñang thu hút sự chú ý và sự quan tâm của nhiều nhà nghiên cứu

Lúc ñầu, lý thuyết thông tin chỉ nhằm cho việc thiết kế các hệ thống thông tin trong việc tìm bộ mã tối ưu và xác ñịnh dung lượng thông tin của kênh truyền Gần ñây, nó ñang ñược nghiên cứu ứng dụng trong xử lý tín hiệu thích nghi và học bằng máy (machine learning) Trong các ứng dụng này, mục tiêu chung nhất là làm tối ưu

entropy Các nguyên tắc tối ưu entropy phổ biến là nguyên tắc MaxEnt của Jayne và MinXEnt của Kullback MaxEnt tìm phân bố làm cực ñại entropy của Shannon với vài ràng buộc cụ thể MinXEnt tìm một phân bố, từ tất cả các phân bố thỏa mãn các ràng buộc, có khoảng cách tối thiểu (trong không gian xác suất) ñến một phân bố cho trước Trong mạng neuron, ta còn có nguyên tắc tối ưu thông tin InfoMax của Linsker Mục tiêu của nguyên tắc này là tìm vector thông số của hệ thống ñể làm cực ñại lượng tin tương hỗ giữa tín hiệu vào và tín hiệu ra Các nguyên lý này hầu hết ñã ñược áp dụng với giả thiết dữ liệu có phân bố Gauss, ñiều này không thực tế khi áp dụng cho các hệ thống phi tuyến

Alfred Renyi cũng có nhiều ñóng góp quan trọng trong lý thuyết thông tin Ông ñã cho thấy rằng các ñịnh nghĩa về entropy và lượng tin tương hỗ của Shannon thực ra là các trường hợp ñặc biệt của một họ ñịnh nghĩa tổng quát hơn Các ñịnh nghĩa tổng quát này ñược gọi là entropy Renyi và lượng tin tương hỗ Renyi,… Mặc dù các ñịnh nghĩa của Shannon chỉ là các trường hợp ñặc biệt của các ñịnh nghĩa do Renyi ñưa ra, nhưng

do việc nghiên cứu của Shannon có tác ñộng lớn trong lý thuyết truyền thông và ñược biết ñến rộng rãi nên các nghiên cứu của Renyi ñã không ñược các nhà nghiên cứu xem như là công cụ có ích cho ñến gần ñây

Trong những năm 1990, vài phát triển thú vị của entropy Renyi ñược sử dụng trong các lĩnh vực khác nhau, bao gồm nhận dạng mẫu (pattern recognition), và mã hóa Trong lọc thích nghi, giáo sư Principe và các ñồng nghiệp ở phòng thí nghiệm CNEL (Computational NeuroEngineering Laboratory), trường ñại học Florida, ñã ứng dụng thành công entropy Renyi vào bài toán tách nguồn mù, giảm số chiều, tách ñặc trưng,

… trong khi nhiều người khác sử dụng các ñịnh nghĩa của Shannon cho các quá trình

thích nghi Principe là người ñầu tiên giới thiệu thuật ngữ “Information theoretic

learning” (ITL) (tạm dịch là học dựa trên lý thuyết thông tin)

2.2 Các nghiên cứu hiện nay

Phòng thí nghiệm CNEL ñã nghiên cứu về ITL hơn mười năm cho ñến nay Năm

1997, John W Fisher là người ñầu tiên tìm hiểu tách nguồn mù và phép chiếu không gian con từ quan ñiểm lý thuyết thông tin sử dụng entropy Renyi, cùng với Dongxin

Xu [11] Mặc dù thực ra Fisher không sử dụng các ñại lượng lý thuyết thông tin ñể

thích nghi, các hàm mục tiêu của ông cho các bài toán ñược dẫn ra như là một kết quả của các phân tích lý thuyết thông tin Việc sử dụng phương pháp cửa sổ Parzen cũng xuất hiện lần ñầu tiên trong luận án tiến sĩ của Fisher

Gần ñây, ITL ñã ñược ứng dụng ñể giải quyết nhiều vấn ñề khác nhau Trong bài toán trích xuất ñặc trưng (feature extraction), Hild Il, Erdogmus và Torkkola ñã sử dụng ước lượng không tham số của entropy Renyi ñể huấn luyện bộ trích xuất bằng cách cực ñại hóa lượng tin tương hỗ giữa các nhãn lớp và ngõ ra của bộ trích xuất [12] Gokcay & Principe cũng ñã ứng dụng ITL vào bài toán phân nhóm (clustering) [13] ðây là một bài toán quan trọng trong nhận dạng mẫu Do chỉ có cấu trúc của dữ liệu là căn cứ cho việc phân nhóm, lý thuyết thông tin rõ ràng là một tiêu chuẩn tốt nhất cho việc thiết lập quy luật phân nhóm này Ngoài ra, ITL cũng có các ứng dụng trong bài toán phân loại dữ liệu [14] và tách nguồn mù [16]

Nhược ñiểm chủ yếu của việc sử dụng các phương pháp dựa trên ITL là sự phức tạp trong tính toán các tiêu chuẩn bằng phương pháp ước lượng dựa trên kernel Sự phức tạp này rất ñáng kể khi kích thước dữ liệu lớn hoặc khi các kỹ thuật huấn luyện lặp ñược sử dụng Việc này ñã tạo ñộng lực cho các nghiên cứu về các giải thuật tìm kiếm thông số trong ITL ñể tăng hiệu quả tính toán Trong một bài báo, Morejon và Principe

ñã xem xét các giải thuật tìm kiếm nâng cao khi áp dụng ITL với các bộ ước lượng dựa trên phương pháp kernel Trong ñó các tác giả ñã cho thấy rằng trong khi hầu hết các giải thuật ñều cần vài hiệu chỉnh dể tương thích với các hệ thống ITL, hai phương pháp GD ( Gradient Descent) và RP (Resilient Backpropagation) ñủ bền vững ñể có thể áp dụng vào ITL mà không cần thay ñổi gì [8]

Mục tiêu của luận văn này là xem xét khả năng ứng dụng của các giải thuật thích nghi dựa trên lý thuyết thông tin vào bài toán xử lý tín hiệu ña mode (Multi-modal Signal Processing) ðây là một bài toán mới và có nhiều ứng dụng thực tiễn Ví dụ việc kết hợp giữa âm thanh và hình ảnh có thể cải thiện ñáng kể khả năng nhận dạng ngôn ngữ của máy tính, của robot, …

Trong lĩnh vực chẩn đốn hình ảnh, hình ảnh cĩ thể được thu bằng nhiều kỹ thuật khác nhau từ các kỹ thuật hình ảnh cấu trúc như X-ray, MRI hoặc siêu âm cho tới các hình ảnh chức năng như fMRI (Functional MRI) hoặc PET Trong đĩ cĩ những chi tiết cĩ thể được thấy ở mode hình ảnh này nhưng khơng thấy ở mode khác Chính sự bổ trợ này mà chúng ta cần phải sử dụng hình ảnh từ nhiều mode khác nhau Phần thơng tin chung giữa các mode cho phép sử dụng cho quá trình sắp xếp và kết hợp các ảnh với nhau, nhưng thơng tin bổ sung trong mỗi mode mới chính là điều quan trọng Và các thơng tin bổ sung của từng mode riêng đều sẽ được hiển thị trong ảnh kết quả Ảnh kết quả này sẽ mang đầy đủ thơng tin từ tất cả các mode và giúp cho việc chẩn đốn dễ dàng hơn

ðể minh họa cho việc ứng dụng ITL vào bài tốn xử lý tín hiệu đa mode, trong luận văn này, ITL sẽ được sử dụng vào bài tốn sắp xếp ảnh đa mode (multi-modal image registration) Mục tiêu cụ thể đặt ra là trước hết thực hiện được giải thuật bằng một chương trình viết bằng MATLAB chạy trên PC Sau đĩ, sẽ phát triển lên thi cơng phần cứng trên kit FPGA Xilinx Virtex – II Pro

Chương 2: LÝ THUYẾT THÔNG TIN

Nghiên cứu các ñại lượng ño lường thông tin bắt ñầu từ những năm 1920 khi Nyquist

và Hartley ñề nghị một phép ño logarith cho thông tin Sau ñó, vào năm 1948, Shannon ñã chỉ ra rằng phép ño ñó chỉ có giá trị nếu tất cả các sự kiện có khả năng xảy

ra bằng nhau Ông cũng ñã ñưa ra khái niệm “information entropy” , chính là kỳ vọng toán học của các phép ño của Nyquist và Hartley Với bài báo “A mathematical theory

of communication”, Shannon ñã ñặt nền tảng cho lý thuyết thông tin trong việc thiết kế

hệ thống thông tin tối ưu Năm 1960, Renyi tổng quát ý tưởng của Shannon bằng cách

sử dụng một hàm mũ thay vì một hàm tuyến tính ñể tính trung bình Sau ñó, các dạng khác của entropy thông tin xuất hiện như entropy Havrda – Charvat, entropy Kapur, … Mặc dù entropy của Shannon là dạng duy nhất có ñầy ñủ các tính chất cần thiết của một phép ño thông tin, các dạng khác như entropy Renyi, entropy Havrda – Charvat là tương ñương khi cực ñại hóa entropy Trong thực tế, dạng nào ñược sử dụng còn phụ thuộc vào các yếu tố khác, như là khả năng thực hiện ñơn giản,…

Hai ñặc trưng thống kê quan trọng ñược ñưa ra bởi lý thuyết thông tin là entropy và lượng tin tương hỗ

2.1 Entropy theo ñịnh nghĩa của Shannon

Cho một sự kiện có xác suất p, theo ý tưởng của Hartley thì lượng thông tin thu ñược khi sự kiện này xảy ra là:

p p

Shannon tiếp tục phát triển ý tưởng của Hartley, dẫn ñến ñịnh nghĩa entropy thông tin Shannon cho một biến ngẫu nhiên với phân bố xác suất {p k k=1,K,n}:

k

k k

H

1 1

0 1 (2.2)

Entropy Shannon có 5 tính chất cơ bản sau:

1 Phép ño entropy H(p1, K ,p n) là một hàm liên tục của tất cả các xác suất p k, có nghĩa là khi có một lượng thay ñổi nhỏ về phân bố xác suất thì chỉ dẫn ñến sự thay ñổi nhỏ của entropy

2 H(p1, K ,p n) có tính ñối xứng hoán vị, tức là sự thay ñổi vị trí của bất kỳ hai hoặc nhiều p k trong H(p1, K ,p n)sẽ không làm thay ñổi giá trị của entropy Thực tế, sự hoán vị của bất kỳ p k nào trong phân bố sẽ không làm thay ñổi sự không chắc chắn của phân bố, và do ñó không làm thay ñổi entropy

3 H(1n, K ,1n) là hàm tăng ñơn ñiệu của n ðối với một phân bối xác suất bằng nhau, khi số lựa chọn n tăng, sự không chắc chắn hoặc sự bất ổn ñịnh tăng, và

+++

2 1 2 2 1

1 2 2 1 3

2 1 1 2

p p

p p p

p H p p p p p p H p p p

+++

2 1 2 2 1

1 2 2 1 3

2 1 1 2

p p

p p p

p H p p p p p p H p p p

(2.4) Với α là thông số của entropy Renyi hoặc entropy Havrda – Charvat

5 Tính cộng: Nếu p=(p1, K ,p n) và q=(q1, K ,q n)là hai phân bố xác suất ñộc lập,

và phân bố xác suất kết hợp ñược ký hiệu bởi p•q, thì tính chất cộng ñược biểu diễn như sau:

(p q) H( ) ( )p H q

Các loại entropy khác nhau sẽ khác nhau ở các tính chất này

ðối với biến ngẫu nhiên liên tục Y với hàm mật ñộ xác suất f Y( )y , chúng ta có entropy Shannon dạng vi phân (differential):

2.2 Entropy Renyi và entropy Havrda – Charvat

Theo lý thuyết trung bình tổng quát, giá trị trung bình của các số thực x1, K ,x n với các trọng số p1, K ,p n có dạng như sau:

ñược dùng thì ta sẽ có entropy Shannon Còn nếu dạng thứ hai ñược dùng thì chúng ta

có ñược entropy Renyi bậc α:

1 0, log

α

n

k k

α

n

k k

không có tính chất ñệ quy và entropy Havrda – Charvat không có tính chất cộng Tuy nhiên, phân bố xác suất làm cực ñại entropy Renyi và entropy Havrda – Charvat là giống nhau Do ñó, các entropy này là tương ñương cho mục ñích cực ñại hóa entropy Như chúng ta thấy, entropy Shannon không có thông số, nhưng entropy Renyi và entropy Havrda – Charvat có thông số α Do ñó, cả entropy Renyi và entropy Havrda – Charvat tạo thành một họ các phép ño entropy

Mối quan hệ giữa entropy Shannon và entropy Renyi ñược thể hiện như sau:

,

αα

β

S R

R S R

H H

H H H

(2.11)

Ta thấy entropy Renyi là một hàm giảm ñơn ñiệu của thông số α và nó tiến tới entropy Shannon khi α tiến về 1 Do ñó, Shannon entropy chính là một hàm trong họ hàm entropy Renyi

Tương tự ñối với entropy Havrda – Charvat:

1

αα

β α

S h

h S h

H H

β

&

α

H H H

(2.12)

Do ñó, Shannon entropy cũng ñược xem như là thuộc họ entropy Havrda – Charvat ðối với biến ngẫu nhiên liên tục Y với hàm mật ñộ f Y( )y , tương tự với entropy Shannon vi phân, chúng ta cũng có dạng vi phân của entropy Renyi và Havrda – Charvat như sau:

∞

−

∞ +

H dy

y f Y

H

dy y f Y

H dy

y f Y

H

Y h

Y h

Y R

Y R

2 2

2 2

1

1 1

1

log

log 1

1

α α

α α

2.3 Ý nghĩa hình học của entropy

Từ trên, chúng ta có thể thấy rằng cả entropy Renyi và entropy Havrda – Charvat ñều

chứa số hạng ∑

=

n

k k p

1

α ñối với biến rời rạc, và cả hai ñều tiến tới entropy Shannon khi α tiến ñến 1 ðiều này cho thấy rằng tất cả các entropy này ñều liên hệ ñến một loại khoảng cách nào ñó giữa ñiểm biểu diễn phân bố xác suất p=(p1, K ,p n) và gốc tọa ñộ trong không gian n

R Hãy xem xét phân bố xác suất P = (p1, p2, …, pN) như một ñiểm trong không gian N chiều Do các ñiều kiện về xác suất ( 0 , 1

nhất của một siêu phẳng trong không gian N chiều cắt mỗi trục ở tọa ñộ 1 Khoảng cách từ P ñến gốc là căn bậc α của Vα pα Pα

Vαchính là chuẩn α của ñiểm P

ñược lũy thừa α lần và sẽ ñược gọi là “chuẩn α entropy” (entropy α-norm)

Entropy Renyi ñiều chỉnh co dãn Vαbởi một phép tính logarith:

Hình 1 Giải thích hình học của entropy với N = 3 Khoảng cách từ P ñến gốc

liên quan ñến chuẩn α

) 1 ( 1

Do ñó, cả entropy Renyi bậc α (H Rα) và entropy Harvda – Charvat bậc α (H hα) liên hệ

ñến chuẩn α của phân bố xác suất P

Chúng ta sẽ ñặc biệt quan tâm ñến các entropy dạng toàn phương H R2 và H 2 (khi α=2) Chúng ñều là các hàm giảm ñơn ñiệu của “chuẩn 2 entropy” V2 của phân bố xác

suất P và liên hệ ñến khoảng cách Euclide từ ñiểm P ñến gốc tọa ñộ Cực ñại entropy

tương ñương với cực tiểu V2; và ngược lại Ngoài ra, do cả H R2 và H 2 ñều là các chặn dưới của entropy Shannon, chúng có thể hiệu quả hơn entropy Shannon khi cực ñại hóa entropy

ðối với biến ngẫu nhiên liên tục Y, hàm mật ñộ xác suất f Y( )y là một ñiểm trong không gian hàm Tất cả các hàm mật ñộ xác suất f Y( )y sẽ tạo thành một vùng tương tự

trong một “siêu phẳng” ñịnh nghĩa bởi +∞∫ ( ) = 1

∞

−

dy y

f Y và f Y( )y ≥0 Chúng ta cũng có thể áp dụng cách diễn giải hình học trên cho entropy vi phân Cụ thể, chúng ta có

“chuẩn α entropy” như sau:

2.4 Entropy của tín hiệu Gauss

ðối với biến ngẫu nhiên có phân bố Gauss ( )T k

x x

X = 1,K, ∈ với hàm mật ñộ xác suất

log 2

+ Σ

=

1

log 2 2 log 2

log 2

−

1 2

3.1 Lượng tin tương hỗ Shannon

Lượng tin tương hỗ (mutual information – MI) ño lường mối quan hệ giữa hai biến

ngẫu nhiên Theo Shannon, lượng tin tương hỗ giữa hai biến ngẫu nhiên X 1 và X 2 ñược ñịnh nghĩa như sau:

2 1

2 1 2

1 2

1

2 1

2 1 2

1

,log

,

x f x f

x x f x

x f X

X I

X X

X X X

2 1 1

2 1

,

,

X X H X H X H

X X H X H

X X H X H X X I

S S

S

S S

S S

S

− +

H S = S − S là entropy có ñiều kiện của X 1 khi biết X 2, nó cho

biết sự không chắc chắn của X 1 khi cho biết X 2, hoặc là sự không chắc chắn còn lại

trong (X 1 , X 2 ) khi loại bỏ sự không chắc chắn của X 2; tương tự, H S(X2 X1) là entropy

có ñiều kiện của X 2 khi biết X 1

Chúng ta thấy rằng lượng tin tương hỗ là phép ño sự không chắc chắn ñược loại bỏ

khỏi X 1 khi cho biết X 2 (và ngược lại) Hay nói cách khác, lượng tin tương hỗ cho phép

ño lượng thông tin về X 1 mà X 2 mang Nó cung cấp một phép ño mối liên hệ thống kê

giữa X 1 và X 2, chứa tất cả các ñặc tính thống kê của các phân bố liên quan và do ñó

tổng quát hơn là tương quan chéo giữa X 1 và X 2

Lượng tin tương hỗ cũng có thể ñược xem như là divergence Kullback – Leibler (viết tắt là KLD, hoặc còn ñược gọi là entropy chéo) giữa hàm mật ñộ xác suất kết hợp

x f x f g f

KLD là không âm và bằng zero nếu và chỉ nếu hai phân bố xác suất giống hệt nhau

Do ñó, KLD có thể ñược xem như là một phép ño “khoảng cách” giữa các hàm mật ñộ xác suất f( )x và g( )x Tuy nhiên, KLD không có tính ñối xứng, tức là tổng quát

( )f g D ( )g f

D k , ≠ k , , và do ñó nó ñược gọi là “divergence có hướng” Rõ ràng rằng lượng tin tương hỗ ñược ñịnh nghĩa trên ñây chính là KLD giữa hàm mật ñộ xác suất kết hợp ( 1 , 2)

x f g

Tuy nhiên, Renyi ñã chỉ ra rằng D Rα(f X1X2(x1 ,x2) ( ) ( ), f X1 x1 f X2 x2 ) không phải là một

phép ño thích hợp cho lượng tin tương hỗ giữa các biến X 1 và X 2 Ngoài ra, tất cả các phép ño divergence này phức tạp do việc tính toán các tích phân có trong công thức

Do ñó, chúng khó ñược thực hiện trong các ứng dụng xử lý tín hiệu thích nghi trong ñó việc cực ñại hóa hoặc cực tiểu hóa các phép ño ñược thực hiện Do ñó, cần thiết phải

có các phép ño thay thế chúng sao cho các phép ño này ñạt cực ñại/cực tiểu cùng lúc với KLD, ñồng thời dễ thực hiện

Với các biến ngẫu nhiên rời rạc X 1 và X 2 với phân bố xác suất tương ứng là

ij X m

j

ij X S

P P

P P

X X I

1 1 2

1

2 1

log

3.2 Các lượng tin tương hỗ dạng toàn phương

Trong phần này, chúng ta sẽ xem xét các phép ño “lượng tin tương hỗ” có dạng toàn phương của các hàm mật ñộ xác suất Các phép ño này ñược gọi là lượng tin tương hỗ toàn phương mặc dù chúng có thể thiếu vài tính chất của lượng tin tương hỗ Shannon

3.2.1 Lượng tin tương hỗ toàn phương khoảng cách Euclide

Tính ñộc lập là một mối quan hệ thống kê cơ bản giữa hai biến ngẫu nhiên (có thể dễ dàng mở rộng ñịnh nghĩa tính ñộc lập cho nhiều biến ngẫu nhiên) Hai biến ñược gọi là ñộc lập nếu như hàm mật ñộ xác suất kết hợp của chúng bằng tích của các hàm mật ñộ

xác suất biên Ví dụ, hai biến ngẫu nhiên X 1 và X 2 là ñộc lập với nhau khi:

( 1 2) 1( ) ( )1 2 2

2

1 x,x f x f x

Trong ñó ( 1 , 2)

2

1 x x

f X X là hàm mật ñộ xác suất kết hợp và f X1( )x1 và f X2( )x2 là các hàm mật ñộ xác suất biên Như ñã nói ở phần trước, lượng tin tương hỗ có thể ñược xem như là một khoảng cách giữa hàm mật ñộ xác suất kết hợp và tích các hàm mật ñộ xác suất biên, trong không gian các hàm mật ñộ xác suất Khi khoảng cách bằng zero, hai biến ngẫu nhiên là ñộc lập nhau Khi khoảng cách cực ñại, hai biến ngẫu nhiên sẽ ở xa trạng thái ñộc lập và có thể nói nôm na là sự phụ thuộc giữa chúng sẽ ñược cực ñại Khoảng cách Euclide là một phép ño khoảng cách ñơn giản cho hai hàm mật ñộ xác suất Khoảng cách Euclide bình phương giữa hàm mật ñộ xác suất kết hợp và tích các hàm mật ñộ xác suất biên sẽ ñược gọi là lượng tin tương hỗ dạng toàn phương khoảng cách Euclide (ED – QMI) Nó ñược ñịnh nghĩa như sau:

2 1 2

1

2

2 1 2

1 , ,,

,

x f x f x x f D X X I

dx x g x f g f D

X X X

X ED ED

lý ðối với nhiều biến ngẫu nhiên, sự mở rộng của ED – QMI như sau:

X ED k

I

i

1 1

Trong ñó f X(x1, K ,x k) là hàm mật ñộ xác suất kết hợp, f X ( )x i

i (i=1, …, k) là các hàm mật ñộ xác suất biên

3.2.2 Lượng tin tương hỗ toàn phương Cauchy – Schwartz

Một phép ño khoảng cách khác giữa các hàm mật ñộ xác suất ñược dựa trên bất ñẳng thức Cauchy – Schwartz:

ðẳng thức xảy ra khi và chỉ khi f( )x =ζ.g( )x với một hằng số vô hướng ζ Nếu f(x) và g(x) là các hàm mật ñộ xác suất, tức là ∫ f( )x dx= 1 và ∫g( )x dx= 1, thì f( )x =ζ.g( )x

ngầm cho là ζ=1 Do ñó, với hai hàm mật ñộ xác suất f(x) và g(x), chúng ta có ñẳng thức nếu và chỉ nếu f(x) = g(x) Vì vậy, chúng ta có thể ñịnh nghĩa khoảng cách Cauchy – Schwartz cho hai hàm mật ñộ xác suất như sau:

( ) ( )

2 2

log ,

dx x g dx x f g

f

Dựa trên D CS( )f,g , chúng ta có lượng tin tương hỗ toàn phương Cauchy – Schwartz

(CS – QMI) giữa hai biến X 1 và X 2 là:

(X1 ,X2) D (f 1 2(x1 ,x2) ( ) ( ), f 1 x1 f 2 x2 )

Trong ñó các ký hiệu giống ở trên Trực tiếp từ trên, chúng ta có I CS(X1,X2)≥ 0 và dấu

“=” xảy ra nếu và chỉ nếu X 1 và X 2 là ñộc lập lẫn nhau Do ñó, I CS là một phép ño ñộc lập phù hợp Tuy nhiên, các kết quả thí nghiệm ñã cho thấy nó có thể không phải là một phép ño phù hợp cho sự phụ thuộc Với nhiều biến ngẫu nhiên, sự mở rộng như sau:

X CS k

I

i

1 1

= và phân bố xác suất kết hợp {P X ij i=1,K,n; j =1,K,m}, ED-QMI

và CS-QMI như sau:

1 1

2 2

1

2 1

2 1

2 1

log,

,

n

i m

j

j X i X ij X

n

i m

j

j X i X n

i m

j

ij X

CS

n

i m

j

j X i X ij X ED

P P P

P P P

X X I

P P P X

X I

(2.37)

ðể thấy sự giống nhau và khác nhau giữa các lượng tin tương hỗ Shannon, ED – QMI

và CS – QMI, chúng ta hãy xét một ví dụ ñơn giản trong ñó ta có hai biến ngẫu nhiên

rời rạc X 1 và X 2

X 1 có thể nhận một trong hai giá trị 1 hoặc 2 với phân bố xác suất ( 1 2 )

1 1

11 1

22 21 2 12

11 1

2 2

1 1

;

;

X X X X

X X

X X X X

X X

P P P P

P P

P P P P

P P

+

= +

=

+

= +

P thay ñổi trong khoảng từ 0 ñến 0.4

Chúng ta sẽ tính các lượng tin tương hỗ I S , I ED , I CS theo hai biến tự do này và vẽ ñồ thị

của chúng Kết quả thu ñược ñược vẽ trên hình sau Chúng ta thấy rằng mặc dù các mặt cũng như các ñường ñồng mức của ba ñại lượng này khác nhau, chúng ñều ñạt giá trị cực tiểu bằng zero trên cùng ñường thẳng 11 21

5

1 X

P = ở ñó các xác suất kết hợp bằng tích các xác suất biên (các biến ñộc lập nhau) Và các ñiểm cực ñại, mặc dù có

giá trị khác nhau, ñều nằm tại cùng các vị trí (0.6, 0) và (0, 0.4) Ở các ñiểm ñó X 1 và

X 2 hoàn toàn phụ thuộc nhau (có mối quan hệ 1-1)

0 0.1 0.2

0.3 0.40.5 0.60

0.1 0.2

(b)

0.2 0.30.4 0.50.6

0 0.1 0.2

(d)

0.2 0.30.4 0.50.6 0

0.1 0.2

(f)

Hình 2 Các mặt và ñường ñồng mức của I S , I ED và I CS theo P X11 và P X21

(a)& (b): I S ; (c) & (d): I ED ; (e) & (f): I CS

Tiếp theo, chúng ta cố ñịnh hàm phân bố xác suất biên của X 2: [0 , 0 7]

0.7

Shannon MI ED-QMI CS-QMI

Hình 3 Sự thay ñổi của I S , I ED và I CS theo P X11

Trên hình trên, chúng ta thấy các lượng tin ñều ñạt cực tiểu tại cùng 1 ñiểm 11

3.3 Ý nghĩa hình học của lượng tin tương hỗ

Chúng ta có thể thấy rằng cả ED – QMI và CS – QMI ñều có các thành phần sau trong công thức:

2 1

2 1 2 2 1

2 1 2 2 1

2 1 2

1

2 1

2 1

,

,

x dx x f x f x x f V

dx dx x f x f V

dx dx x x f V

X X X

X C

X X M

X X J

(2.38)

I S

I C

Trong ñó V J là “chuẩn 2 entropy” (chuẩn 2 bình phương) của hàm PDF kết hợp, V M

là “chuẩn 2 entropy” của tích các hàm PDF biên và V C là tương quan chéo hoặc tính

vô hướng giữa hàm PDF kết hợp và tích các hàm PDF biên Với 3 thừa số này, QMI

có thể ñược biểu diễn như sau:

J CS

M C J ED

V V

V I

V V V I

loglog

2log

2

(2.39)

Hình trên minh họa cách diễn tả hình học cho các ñại lượng I S là divergence Kullback

- Leibler giữa hàm PDF kết hợp và tích các hàm PDF biên, I ED là bình phương khoảng

cách Euclide giữa hai hàm PDF này và I CS liên hệ ñến góc giữa hai hàm PDF trên

Lưu ý rằng V M có thể ñược phân tích thành tích hai thế thông tin biên V 1 và V 2:

( ) ( )

( ) ( )

1 2 1 1

2 1 2 1 2 2 1

2 1

2 1

dx x f V

dx x f V

V V dx dx x f x f V

X X

X X M

(2.40)

ðối với biến ngẫu nhiên có phân bố Gauss ( )T k

x x

X = 1,K, ∈ với hàm mật ñộ xác suất:

1

(2.41)

J V

trong ñó µ là giá trị trung bình và ∑ là ma trận covariance, entropy thông tin Shannon là:

( )

2 2 log 2

log 2

+ Σ

=

1

log 2 2 log 2

log 2

1

α

απ

α

k k

−

1 2

X = 1, 2 là một biến ngẫu nhiên Gauss trung bình bằng 0 và ma trận

x f

1

2 1

2 2

1

2

1 ,

1 1

2

πσ

x

e x

2 2

2

πσ

x

e x

( ) ( ) ( ) ( )

2 2 2 1 2

2 2

1 2

1 2

1

1

1log2

1,

,

σσρ

ρ

r

x x H x H x H x x

2 1 2 2 2 2 1 1

2 2

1 2 2 1

4 4

2 ,

4 1

1 4

1 ,

ρπβ

πβ

ρπβ

dx dx x f x f V

x dx x x f V

C M

2 2

2 1

1 4

4 log ,

1 4

4 1

1 4

1 ,

ρρ

ρρ

x x I

CS

ED

(2.49)

4.1 Quá trình ngẫu nhiên & Xác suất lỗi

Một quá trình ngẫu nhiên là một chuỗi các biến ngẫu nhiên ñược ñánh chỉ số Tổng quát, các biến này có các sự phụ thuộc bất kỳ lẫn nhau Trong trường hợp xử lý tín hiệu dựa trên lý thuyết thông tin, chúng ta xây dựng quá trình ngẫu nhiên như sau:

- Chúng ta hãy ñịnh nghĩa các biến ngẫu nhiên, X và Xest, trên cùng một tập hợp các kết quả có thể ΩX

- Chúng ta cũng ñịnh nghĩa N biến ngẫu nhiên, Yi trên ΩYi, với i={1,…,N}

- Chúng ta xây dựng quá trình ngẫu nhiên sau:

X
Yi
…
YN
Xest
E, (2.50) Trong ñó, một cách tổng quát, các xác suất chuyển tiếp là phụ thuộc vào tất cả các trạng thái trước ñó E là một biến ngẫu nhiên nhị phân ñược ñịnh nghĩa trên ΩE = {0,

1} và bằng 1 nếu sự ước lượng của X từ YN, tức Xest, ñược xem như sai Quá trình ngẫu nhiên này sẽ là mô hình cơ bản cho các nghiên cứu ở sau

Một ñặc tính quan trọng của phương trình (2.50) là xác suất lỗi Pe = P(E = 1), bằng với

kỳ vọng µE của E:

) 0 ( 0 ) 1 (

x P x y P x

y y

x P x y y

x E P P

N est N

K L

(2.52) Nếu bất kỳ biến ngẫu nhiên nào ñược ñịnh nghĩa trên một khoảng liên tục và do ñó có hàm mật ñộ xác suất liên tục thì tổng tương ứng trong phương trình (2.52) phải ñược thay bằng một tích phân

Bây giờ, chúng ta sẽ chỉ hạn chế xem xét trong trường hợp tất cả các xác suất chuyển tiếp của phương trình (2.50), trừ sự chuyển tiếp cuối cùng, có tính chất Markovian, tức là:

) ( ) (

, , ,

) , , , (

1 1

1 1

1 1

x y P x y P

y y P x y y

y P

y x P x y y

x P

N N N

N

N est N

(2.53)

ðiều này ngầm hiểu rằng quá trình ngẫu nhiên, X
Y1
…
YN
Xest, hình thành một chuỗi Markov ðiều kiện Markovian rõ ràng là không ñúng cho xác suất chuyển tiếp cuối cùng của phương trình (2.50), do xác suất lỗi phụ thuộc ít nhất và vào ngõ vào x của chuỗi và ngõ ra cuối cùng xest Với các ñiều kiện Markovian ñược ñề cập ở trên, xác suất lỗi Pe của phương trình (2.52) trở thành

est N

, , , , 1

L

(2.54)

Ngoài ra, chúng ta sẽ xem xét trường hợp ñặc biệt trong ñó P(E= 1x est,y N, K ,y1,x) chỉ bằng P(E = 1x est,x), tức là xác suất lỗi của chuỗi chỉ phụ thuộc vào quan hệ giữa giá trị ñầu vào và giá trị ước lượng sau khi ñi qua chuỗi

Mô hình ñược ñề nghị ở trên và cụ thể là sự tính toán chính xác xác suất lỗi (phương trình 2.54) ñòi hỏi kiến thức về tất cả các xác suất chuyển tiếp Tuy nhiên, chúng ta có thể không có ñầy ñủ dữ liệu này Mặc dù vậy, chúng ta vẫn muốn ước lượng xác suất

lỗi P e = P(E=1) Khi quá trình, X
Y1
…
YN
Xest, thỏa các ñiều kiện Markovian của phương trình (2.53) và khi xác suất lỗi ñược cho bởi P e =P(X est ≠ X), chúng ta có thể sử dụng một biểu thức gọi là bất ñẳng thức Fano ñể tính giới hạn dưới của Pe như là hàm của chỉ biến ngẫu nhiên X ở ñầu vào và biến ngẫu nhiên YN ở sự chuyển tiếp cuối

4.2 Bất ñẳng thức xử lý dữ liệu (Data Processing Inequality)

Trong hầu hết trường hợp, dữ liệu cần phải ñược xử lý trước khi phân tích Bất ñẳng thức xử lý dữ liệu chúng minh rằng không có xử lý nào trên dữ liệu có thể làm tăng lượng thông tin trong ñó

ðịnh lý ñược phát biểu như sau: Nếu X, Y và Z là ba biến ngẫu nhiên tạo thành một chuỗi Markov X
Y
Z , tức là p(x,z y) ( ) ( )= p x y p z y và I(X;Y), I(X;Z) tương ứng là các giá trị lượng tin tương hỗ Shannon ñược ño giữa X và Y, X và Z, thì

(X Y) (I X Z)

Bất ñẳng thức này có thể ñược diễn giải một cách trực quan như sau Giả sử rằng thông tin chứa trong dữ liệu ñược biểu diễn bởi biến ngẫu nhiên X và dữ liệu ñược biểu diễn bởi Y, ta sẽ thấy có một sự phụ thuộc giữa chúng Nếu dữ liệu ñược ñưa qua một phép biến ñổi nào ñó g(Y)=Z, ba biến ngẫu nhiên này sẽ tạo thành một chuỗi Markov X
Y
g(Y) Và do ñó I(X;Y) (≥I X;g(Y)) Bất ñẳng thức này cho thấy không có hàm nào có thể áp dụng lên dữ liệu ñể làm tăng lượng thông tin trong ñó, mà chỉ có thể làm giảm hoặc giữ không ñổi

ðiều này không có nghĩa rằng việc xử lý dữ liệu là sai lầm Bất ñẳng thức này chỉ cho thấy những gì có thể hoặc không thể ñạt ñược từ dữ liệu Thực chất, xử lý dữ liệu có

thể làm giảm kích thước, loại bỏ nhiễu và các dư thừa, nhưng nó không bao giờ có thể thêm vào các thông tin mà ban ñầu chưa có Tuy nhiên, bao nhiêu thông tin có liên quan ñược chứa trong dữ liệu ban ñầu thì thường không thể tính dược trong thực tế, do

sự khó khăn trong việc tính toán các ñại lượng lý thuyết thông tin

4.3 Bất ñẳng thức Fano

Khi ước lượng một biến ngẫu nhiên từ giá trị của một biến ngẫu nhiên phụ thuộc khác, lỗi có khả năng xảy ra Bất ñẳng thức Fano ñịnh lượng xác suất gây ra các lỗi như vậy, gắn nó với entropy có ñiều kiện của hai biến ngẫu nhiên Nếu X và Y là hai biến ngẫu nhiên và H( )X Y là entropy Shannon có ñiều kiện giữa chúng, thì xác suất lỗi khi ước lượng X từ Y sẽ thỏa bất ñẳng thức sau:

( )

N

Y X H

Trong ñó N là số phần tử trong miền xác ñịnh của X

Nếu như lại giả sử rằng thông tin mà chúng ta quan tâm ñược biểu diễn bởi biến ngẫu nhiên X và dữ liệu ñược biểu diễn bởi Y, bất ñẳng thức trên cho phép chúng ta xác ñịnh một giới hạn dưới của xác suất lỗi khi ước lượng thông tin từ dữ liệu.Khi ñó giới hạn dưới trên cho phép chúng ta biết ñược hiệu quả tốt nhất có thể ñạt ñược (khi sử dụng một bộ phân loại lý tưởng) Tuy nhiên, không có gì ñảm bảo rằng một bộ phân loại cụ thể có khả năng ñạt ñược ñến một hiệu quả như vậy

Do ñó mục tiêu của chúng ta ñể ñảm bảo rằng giới hạn của Fano thấp ñến mức có thể,

ñể cho bất kỳ bộ phân loại nào, nếu ñược huấn luyện phù hợp, có thể hoạt ñộng tốt Giới hạn trên chỉ cho biết xác suất lỗi thấp nhất theo lý thuyết và khi nó thấp hơn thì

sẽ ñảm bảo rằng các bộ phân loại có thể ñạt ñược ñến mức lỗi thấp hơn

Tối thiểu hóa giới hạn dưới của lỗi không ñảm bảo sẽ có một xác suất lỗi thấp Nhưng nếu giới hạn này là cao thì tất nhiên là lỗi sẽ cao bất kể bộ phân loại nào

Với trường hợp chuỗi Markov, X
Y1
…
YN
Xest và với giả thiết rằng

P

P e = est ≠ , giới hạn dưới của Pe có thể viết như sau: