Hàm số trong lý thuyết thông tin và các bài toán liên quan

BỘ GIÁO DỤC VÀ ĐÀO TẠO ĐẠI HỌC ĐÀ NẴNG NGÔ THỊ MINH TRANG HÀM SỐ TRONG LÝ THUYẾT THÔNG TIN VÀ CÁC BÀI TOÁN LIÊN QUAN LUẬN VĂN THẠC SĨ KHOA HỌC Đà Nẵng - Năm 2013... BỘ GIÁO DỤC VÀ ĐÀ

BỘ GIÁO DỤC VÀ ĐÀO TẠO ĐẠI HỌC ĐÀ NẴNG

NGÔ THỊ MINH TRANG

HÀM SỐ TRONG LÝ THUYẾT THÔNG TIN VÀ

CÁC BÀI TOÁN LIÊN QUAN

LUẬN VĂN THẠC SĨ KHOA HỌC

Đà Nẵng - Năm 2013

BỘ GIÁO DỤC VÀ ĐÀO TẠO ĐẠI HỌC ĐÀ NẴNG

NGÔ THỊ MINH TRANG

HÀM SỐ TRONG LÝ THUYẾT THÔNG TIN VÀ

CÁC BÀI TOÁN LIÊN QUAN

Chuyên ngành : Phương pháp Toán sơ cấp

Mã số: 60.46.40

LUẬN VĂN THẠC SĨ KHOA HỌC

Người hướng dẫn khoa học: GS.TSKH NGUYỄN VĂN MẬU

Đà Nẵng - Năm 2013

Tôi xin cam đoan

Những nội dung được trình bày trong luận văn này là do tôi thực hiện dưới sự hướng dẫn của GS.TSKH Nguyễn Văn Mậu

Mọi tài liệu trong luận văn đều được trích dẫn rõ ràng và trung thực tên tác giả, tên công trình, thời gian và địa điểm công bố

Nếu có sao chép không hợp lệ, vi phạm quy chế đào tạo tôi xin chịu hoàn toàn trách nhiệm

Tác giả luận văn

Ngô Thị Minh Trang

MỞ ĐẦU 1

1 Lý do chọn đề tài 1

2 Mục dích nghiên cứu 1

3 Nhiệm vụ nghiên cứu 1

4 Đối tượng và phạm vi nghiên cứu 1

5 Phương pháp nghiên cứu 2

6 Ý nghĩa khoa học và thực tiễn của đề tài 2

7 Cấu trúc luận văn 2

CHƯƠNG 1 CÁC KIẾN THỨC BỔ TRỢ TRONG LÝ THUYẾT THÔNG TIN 3

1.1 KHÁI NIỆM THÔNG TIN 3

1.2 LÝ THUYẾT THÔNG TIN 3

1.3 ĐỘ ĐO THÔNG TIN 4

1.4 ENTROPY SHANNON 5

1.5 CÁC TÍNH CHẤT CỦA ENTROPY SHANNON 8

CHƯƠNG 2 PHƯƠNG TRÌNH HÀM TRONG LÝ THUYẾT THÔNG TIN 33

2.1 PHƯƠNG TRÌNH CƠ BẢN CỦA THÔNG TIN 33

2.2 NGHIỆM TỔNG QUÁT CỦA PHƯƠNG TRÌNH CƠ BẢN CỦA THÔNG TIN 40

2.3 CÁC DẠNG TỔNG QUÁT CỦA PHƯƠNG TRÌNH CƠ BẢN CỦA THÔNG TIN 49 2.4 PHƯƠNG TRÌNH HÀM DẠNG TỔNG VÀ CÁC DẠNG TỔNG

CHƯƠNG 3 LÝ THUYẾT HỖN HỢP CỦA HỆ THÔNG TIN VÀ

CÁC VẤN ĐỀ LIÊN QUAN 63

3.1 MỘT VÀI ĐỘ ĐO KHÁC CỦA THÔNG TIN 63

3.2 ĐỘ ĐO KHOẢNG CÁCH DẠNG TỔNG 64

3.3 ĐỘ ĐO KHOẢNG CÁCH KULLBACK – LEIBLER 67

3.4 ĐỘ ĐO KHOẢNG CÁCH ĐỐI XỨNG 68

3.5 ĐỘ ĐO SHANNON LIÊN TỤC 70

3.6 ENTROPY CỦA ĐẠI LƯỢNG NGẪU NHIÊN RỜI RẠC 71

3.7 ENTROPY CỦA ĐẠI LƯỢNG NGẪU NHIÊN LIÊN TỤC 73

KẾT LUẬN 76

DANH MỤC TÀI LIỆU THAM KHẢO 77 QUYẾT ĐỊNH GIAO ĐỀ TÀI LUẬN VĂN (Bản sao)

MỞ ĐẦU

1 Lý do chọn đề tài

Phương trình hàm là một trong những đề tài lâu đời nhất của toánhọc D’Alembert, Euler, Gauss, Cauchy, Abel, Weierstrass, Darboux vàHilbert là những nhà toán học lớn quan tâm đến đề tài này và đưa rahướng giải quyết chúng Mặc dù lý thuyết về phương trình hàm đã có từlâu, nhưng các ứng dụng của nó vào khoa học kỹ thuật và đời sống thìchỉ mới bắt đầu được các nhà toán học quan tâm trong những thập kỷgần đây Thực tế cho thấy, phương trình hàm có ở khắp nơi và được ápdụng trong rất nhiều lĩnh vực khác nhau Có thể kể đến như: khoa học ứngdụng, khoa học xã hội và nhân văn, khoa học sự sống, khoa học máy tính,kinh tế, kỹ thuật, thống kê, Trong đó, một ứng dụng rất quan trọngcủa phương trình hàm là trong lý thuyết thông tin Do nhu cầu trao đổithông tin của con người ngày càng lớn nên lý thuyết thông tin ngày càngphát triển Lý thuyết thông tin cơ bản là một nhánh của toán học nghiêncứu về đo đạc lượng thông tin Ứng dụng truyền thông của nó là điều kiệntiên quyết cho những ứng dụng khác Với những lí do trên, tôi chọn đề tài:

“Hàm số trong lý thuyết thông tin và các bài toán liên quan”làm đề tài luận văn thạc sĩ Tôi hi vọng đây là một tài liệu tham khảo tốtcho những ai quan tâm đến đề tài này

2 Mục đích nghiên cứu

Hệ thống và tổng quan một số kiến thức về lý thuyết thông tin.Bước đầu tìm hiểu, khảo sát một số phương trình hàm liên quan đến

lý thuyết thông tin và bước đầu tiếp cận một số áp dụng của nó

3 Nhiệm vụ nghiên cứu

Tìm hiểu về lý thuyết thông tin, một số phương trình hàm liên quanđến lý thuyết thông tin và mối quan hệ của chúng

4 Đối tượng và phạm vi nghiên cứu

Đối tượng nghiên cứu: độ đo thông tin entropy, các phương trình hàmliên quan đến lý thuyết thông tin

Phạm vi nghiên cứu: tài liệu, giáo trình của GS TSKH Nguyễn

Văn Mậu, các tài liệu từ các website, tạp chí toán học và các diễn đàntoán học,

5 Phương pháp nghiên cứu

Nghiên cứu từ các tài liệu, giáo trình của GS TSKH Nguyễn VănMậu, các tài liệu tiếng Anh, các trang web, Từ đó tác giả phân tích,đánh giá, tổng hợp và trao đổi với thầy hướng dẫn kết quả đang nghiêncứu để hoàn chỉnh luận văn

6 Ý nghĩa khoa học và thực tiễn của đề tài

Tạo được một đề tài có tính hệ thống, tổng quan tương đối đầy đủ

về lý thuyết thông tin và các phương trình hàm liên quan

Hi vọng đề tài sẽ là tài liệu tham khảo bổ ích cho sinh viên, học viêncao học và tất cả các bạn yêu toán

Đề tài đóng góp thiết thực cho việc nghiên cứu và tìm hiểu toán họchiện đại nói chung và hàm số trong lý thuyết thông tin nói riêng

7 Cấu trúc luận văn

Luận văn gồm phần mở đầu, kết luận, tài liệu tham khảo và 3 chương.Chương 1 Trình bày tổng quan về thông tin, các khái niệm cơ bảncủa lý thuyết thông tin, đơn vị đo lường thông tin (entropy) và đưa ra một

số kết quả quan trọng liên quan đến tính chất của entropy

Chương 2 Trình bày hai dạng phương trình hàm liên quan đến lýthuyết thông tin và công thức nghiệm của nó

Chương 3 Trình bày một số độ đo khác của thông tin và các vấn đềliên quan

Mặc dù đã rất cố gắng, song luận văn không tránh khỏi những hạnchế và thiếu sót Tác giả rất mong nhận được sự đóng góp ý kiến của quýthầy cô và các bạn để luận văn được hoàn chỉnh hơn Tôi xin trân trọngcảm ơn!

CHƯƠNG 1 CÁC KIẾN THỨC BỔ TRỢ TRONG LÝ

THUYẾT THÔNG TIN

1.1 KHÁI NIỆM THÔNG TIN

Thông tin là những tính chất xác định của vật chất mà con người(hoặc hệ thống kỹ thuật) nhận được từ thế giới vật chất bên ngoài hoặc

từ những quá trình xảy ra trong bản thân nó

Khái niệm thông tin gắn liền với sự bất định của đối tượng cần xét

Có sự bất định về một đối tượng nào đó thì những thông báo về đối tượng

đó sẽ cho ta thông tin Khi không có sự bất định thì sẽ không có thôngtin Như vậy, khái niệm thông tin chỉ là một cách diễn đạt khác đi củakhái niệm sự bất định

1.2 LÝ THUYẾT THÔNG TIN

Lý thuyết thông tin là một nhánh mới của lý thuyết xác suất vớilượng lớn các ứng dụng trong hệ thống thông tin liên lạc Nó có nguồn gốc

từ thế kỷ 20 nhưng chỉ trong năm thập kỷ qua nó đã phát triển mạnh mẽ

và có ứng dụng rộng rãi Trước đây, thông tin chỉ được đo về chất lượng

cụ thể: rất đáng tin cậy, đáng tin cậy hoặc không đáng tin cậy Nhưng lýthuyết xác suất đã giúp ích rất nhiều trong việc cung cấp độ đo chất lượngthông tin nhận được từ hệ thống Sự kiện nổi bật đánh dấu sự ra đời của

lý thuyết thông tin là bài báo của Claude E Shannon :"A mathematicaltheory of communication" năm 1948 Điều này đã dẫn đến việc nghiên cứu

và ứng dụng phương trình hàm trong lý thuyết thông tin

1.3 ĐỘ ĐO THÔNG TIN

Thông tin là một đại lượng vật lí, do đó ta cần phải xác định một

độ đo cho thông tin Theo bản chất của thông tin thì thông tin càng có ýnghĩa khi nó càng ít xuất hiện nên độ đo của nó phải tỉ lệ nghịch với xácsuất xuất hiện của tin Nói cách khác, hàm độ đo phải là hàm tỉ lệ nghịchvới xác suất xuất hiện của tin Kí hiệu x là tin với xác suất xuất hiện là

1p(x)



là hàm tỉ lệ nghịch

Xét 2 tin x, y là độc lập thống kê với xác suất xuất hiện tương ứng

cùng một thời điểm Do đó theo tính chất tuyến tính, chúng ta phải có

I(xy) = I(x) + I(y)

là hàm không âm và thỏa mãn đồng thời cả 3 điều kiện đã nêu Dễ thấytrong tất cả các hàm toán học đã biết thì nếu chọn

1p(x)

, a > 1thì tất cả các điều kiện đều được thỏa mãn, bởi vì

1p(x)



1p(x)



1p(x)



1p(xy)



1p(x)p(y)



1p(x)



1p(y)

là những tập với phân bố xác suất hữu hạn, có thể không đầy đủ Entropy

Nếu ta bỏ qua các biến cố với xác suất bằng 0 thì (1.2) có thể đượcviết

đối với trường hợp có một (hoặc nhiều hơn, nhưng không phải tất cả) các

chọn từ tập hợp của tất cả những phân bố xác suất hữu hạn, hoàn chỉnh

của chúng khá tương tự nhau, nên ta cũng có những ký hiệu tương tự.Trong trường hợp đặc biệt, nếu phân bố xác suất chỉ bao gồm một

1

n, ,

1n



= log n (n = 2, 3, )

Đây là entropy được giới thiệu bởi Hartley (1928) người muốn entropychỉ phụ thuộc trên số lượng các biến cố chứ không phụ thuộc vào xác suấtcủa chúng Điều này trùng với

1n



= H

1n

1.5 TÍNH CHẤT CỦA ENTROPY SHANNON

2,

12

Chứng minh.

L(xy) = −xy log(xy) = −xy log x − xy log y = xL(y) + yL(x)

L(0.y) = 0 = 0.L(y) + y.L(0)

Tính chất 1.5 suy ra tính chất 1.6 trong trường hợp (p1, p2, , pm) ∈

Hn(p1, p2, , pn) ≤ Hn

1

1

n, ,

1n



X

k=1

pkn

!

Định lí này cho thấy entropy như là một độ đo sự bất định về kếtquả của một thí nghiệm và đạt giá trị lớn nhất khi các kết quả có xác suất

Lấy tổng theo k từ 1 đến n và thay đổi thứ tự tổng trong vế phải tađược

chỉnh, entropy có điều kiện không bao giờ lớn hơn entropy không điềukiện

(không nhất thiết phải độc lập) không lớn hơn tổng thông tin mong đợi

Bằng quy nạp, một định lí tương tự có thể được chứng minh với nhiềuhơn 2 thí nghiệm Với mục đích này, đặt

Định lí1.3thường được gọi là bổ đề Shannon và bất đẳng thức (1.31)được gọi là bất đẳng thức Shannon.

các tính chất tự nhiên và thiết yếu Các tính chất bắt buộc sẽ được lặplại trong các mô tả khác nhau, ta xác định lại chúng trong phần sau đây,

Định nghĩa 1.3 ([7]) Dãy các hàm In : ∆n → R (n = 1, 2, ) hoặc

In0(p1, p2, , pn0) = In0(pα(1), pα(2), , pα(n0)),

1

2,

12

0,

00



(p1, p2, , pm0) ∈ ∆m0, q1, q2, , qn0 ∈ ∆n0, ta có:

Im0n0(p1q1,p1q2, , p1qn0, p2q1, p2q2, ,

p2qn0, , , pm0q1, pm0q2, , pm0qn0)

= Im0(p1, p2, , pm0) + In0(q1, q2, , qn0);

15 n0 - cực đại với mọi n0 ≥ 2,

In0(p1, p2, , pn0) ≤ In0

1

Giả thiết thêm là cần thiết, tuy nhiên, các điều kiện khác vẫn còn đúng

1.5.4 Các dạng biểu diễn tổng quát

Một số công thức ta đã chứng minh cho Shannon entropy có thể đượctổng quát hóa, và dãy các hàm đã xét có thể thỏa mãn các điều kiện yếuhơn

Ví dụ, tính đệ qui có thể được tổng quát hóa thành tính chất sauTính chất 1.10 (Tính phân nhánh) Tồn tại một dãy các hàm

sao cho

Định nghĩa 1.4 ([7]) Một hàm h : (0, 1) → R thỏa mãn bất đẳng thứcShannon nếu

Định nghĩa 1.5 ([7]) (Tựa tuyến tính với một hàm trọng lượng) Tồn tại

Định nghĩa 1.6 ([7]) (Tựa tuyến tính) Tồn tại một hàm liên tục, đơn

với mọi (p1, p2, , pn ∈ ∆0

xứng và có tính quyết định.

12

2, 0,

12



1

2,

12



2I2(1, 0).

Dùng 3 - đối xứng, vế trái của 2 phương trình trên là tương đương,

còn n - đối xứng với mọi n

và có tính mở rộng

Chứng minh

Theo tính 2 - đối xứng và(n0− 1) - đối xứng, In0 là hoán vị dưới bất

và theo 3 - đệ qui và 3 - đối xứng

0

0,

00



và nếu

In0(0, 0, p3, , pn0) = In0−1(0, p3, , pn0)

In0(0, p2, p3, , pn0) = In0−1(p2, p3, , pn0) + p2I2(0, 1)

= In0−1(p2, p3, , pn0)và

In0(p2, 0, p3, , pn0) = In0−1(p2, p3, , pn0) + p2I2(1, 0)

= In0−1(p2, p3, , pn0)

Vậy tính đối xứng đã được chứng minh đúng trong tất cả các trườnghợp

Kết hợp tính đối xứng và (1.48) suy ra tính mở rộng Vậy mệnh đề

quy nạp

= Im(p1, p2, , pm) + p1In+1(q11, , q1,n−1, q1n, q1,n+1)

nó cũng cộng tính mạnh

Chứng minh

Như ta đã thấy trong bổ đề 1.3 và mệnh đề 1.5, các điều kiện suy ra

Vậy định lí được chứng minh

Điều này cũng có thể được thực hiện bằng cách sử dụng tính phân nhánhyếu hơn

00



Tiếp theo ta xét mối liên hệ giữa hàm số học cộng tính với các entropy,

1

1

n, ,

1n

Chứng minh.

1

1

n, ,

1n



1

CHƯƠNG 2 PHƯƠNG TRÌNH HÀM TRONG LÝ THUYẾT

THÔNG TIN

2.1 PHƯƠNG TRÌNH CƠ BẢN CỦA THÔNG TIN

Nếu ta thực hiện thí nghiệm liên quan đến A, khi đó ta biểu thị độ đo của

chứa trong biến cố A như là thông tin tương đối trong A với toàn bộ tập

cơ bản X

Cho A và B là 2 biến ngẫu nhiên độc lập với xác suất tương ứng là

Từ các định nghĩa trên, ta xây dựng phương trình cơ bản của thôngtin như sau

1 − x

, x, y ∈ D

(2.6)

f (x) + (1 − x)f

y

1 − x



= f (y) + (1 − y)f

x

1 − y



(2.7)

(2.7) là phương trình cơ bản của thông tin.

chắn và biến cố không chứa cùng một lượng thông tin như nhau Hay

f

12

được gọi là một hàm thông tin

Vậy thông tin chứa trong biến cố A là

I(A) = f [P (A)]

Từ đây ta thấy lượng thông tin chứa trong một biến cố ngẫu nhiên

như sự phụ thuộc của độ đo tuyến tính vào nghiệm của phương trình hàmCauchy

Ta gọi S là hàm thông tin Shannon và dễ dàng kiểm tra rằng f = S

Một câu hỏi đặt ra là liệu có tồn tại các hàm thông tin khác S thỏamãn các điều kiện trên Câu trả lời có trong định lí sau

mà

h

12

Điều này suy ra rằng

Bây giờ ta chứng minh rằng f được cho bởi (2.15) thỏa mãn (2.7).Thật vậy

f (x) + (1 − x)f

y

1 − x



= K(x) + K(1 − x) + (1 − x)

K

y

1 − x

+ K

cũng thỏa mãn

f



12



12



12



Mệnh đề 2.1 Mọi hàm thông tin đều thỏa mãn

2,

12



12

1 − x



= f (y)+(1−y)f

x

với qui ước

0.f

00

cộng tính mạnh, suy ra cộng tính Vậy định lí được chứng minh.

tính mạnh và cộng tính

2.2 NGHIỆM TỔNG QUÁT CỦA PHƯƠNG TRÌNH CƠBẢN CỦA THÔNG TIN

là các hàm thông tin tổng quát nhất

F (u, v) = (u + v)f

v

u + v



Bổ đề 2.1 Hàm F : R2+ → R được định nghĩa bởi (2.27) là một hàmthông tin thỏa mãn các tính chất sau:

F (u + v, w) + F (u, v) = F (u, v + w) + F (v, w) ∀u > 0, v > 0, w > 0

phương trình cơ bản của thông tin

v

u + v



= (u + v + w)

f

u + v



= (u + v + w)

f

Chứng minh.

12



= 1

hiển nhiên được thỏa mãn

Cho x và y là các số thực tùy ý thỏa mãn

0 < x < 1, 0 < y < 1, x + y < 1

Khi đó

f (x) + (1 − x)f

y

1 − x



= F (y, 1 − x − y) + F (1 − x, 1 − y)+ F (x, 1 − x − y) − F (1, 1 − x − y)

Ở đây, vế phải đối xứng với x và y và do đó vế trái cũng đối xứng,

x = 0

f (0) + (1 − 0)f

y

1 − 0



= f (y) + (1 − y)f

0

1 − y



Do đó,(2.7) được thỏa mãn trong mọi trường hợp.

Cuối cùng,

F (u, v) = (u + v)F

u

u + v



đến R

Dòng đầu tiên của (2.38) cho thấy rằng (2.34) được thỏa mãn Dễ

được xem xét trong tất cả các trường hợp có thể xảy ra Ta sẽ chỉ ra tínhgiải tích này trong một trường hợp điển hình

G(u + v, w) + G(u, v) = G(u, v + w) + G(v, w)

Chứng minh.

Trong trường hợp đặc biệt

và

định nghĩa bởi

tương tự, phần tử của S2 là đa thức của (a, x) trên S1 Một đa thức tùy

Tiếp tục chứng minh định lí 2.4.

h

12

phương trình tương tự như (2.41) và (2.42) thỏa mãn F, nghĩa là tồn tại



= 1

Định lý 2.6 ([7]) Nghiệm tổng quát của phương trình cơ bản của thôngtin là

2.3 CÁC DẠNG TỔNG QUÁT CỦA PHƯƠNG TRÌNH CƠBẢN CỦA THÔNG TIN

f (x) + g(x)f

y

1 − x



= f (y) + g(y)f

x

1 − y



(2.60)

12



và được cho như sau

12

G(p, q) = f (pq) + g(pq)

f



1 − p

1 − pq

+ g

p(1 − q)

q(1 − p)

1 − pq

+ g

q(1 − p)



1 − q

1 − pq

+ g

q(1 − p)

1 − x



x

1 − x



= h(y) + M (1 − y)k

x

φ(x + y) = φ(x) + φ(y), φ(xy) = φ(x)φ(y)

Điều ngược lại cũng đúng

Hệ quả 2.2 Nghiệm đo được tổng quát nhất của phương trình

f (x) + (1 − x)g

1 − x

+ h(y) + (1 − y)k

2.4 PHƯƠNG TRÌNH HÀM DẠNG TỔNG VÀ CÁC DẠNGTỔNG QUÁT CỦA NÓ

Trước khi tìm hiểu phương trình hàm dạng tổng, ta đưa ra hai kếtquả liên quan đến tính đệ qui

được gọi là phương trình entropy, trong đó H : C = {(x, y, z) ∈ R3 :

H(x, y, z) = (x + y + z) log(x + y + z) − x log x − y log y − z log z

2,

12



Chứng minh

Tiếp theo, ta chứng minh rằng In đối xứng bằng quy nạp Vì I4 đối

In(p1, p2, , pn) = In−1(p1 + p2, p3, , pn) + φ2(p1, p2)

In(p1 + p2, p3, , pn) + φ(p1, p2) = In−1(p1 + p3, p2, , pn) + φ2(p1, p3).Nghĩa là nếu