một số ứng dụng của lý thuyết thông tin để kiểm định giả thiết thống kê

Một số kiến thức cơ bản của lý thuyết thông tin 6 1.1.Khái niệm độ bất định của đại lượng ngẫu nhiên..... Một số kiến thức cơ bản của lí thuyết thông tin Trong chương này chúng tôi trình

MỤC LỤC Mục lục

1 Một số kiến thức cơ bản của lý thuyết thông tin 6 1.1.Khái niệm độ bất định của đại lượng ngẫu nhiên 6

1.2.Entropi của đại lượng ngẫu nhiên 7

1.3.Entropi của hệ đại lượng ngẫu nhiên 10 1.4.Entropi của đại lượng ngẫu nhiên có phân phối chuẩn và phân

1.5.Lượng thông fỈn 2n cence eens 20

2 Một số ứng dụng của thông tin trong thống kê 26

2.1.Các khái niệm và định nghĩa cơ bản 26

2,2,Các tính chất của /(1: 2) và /J(1,2) c2 2c 2v: 29 2.3.Một số ví dụ của thông tin trong thống kê 34

2.4.Các loại sai lầm loại lvà loại 2 cà 36

2.5.Các quần thể nhị thức 222 cà 37

LỜI NÓI ĐẦU Thông tin là một trong những nhu cầu không thể thiếu đối với con người,

là một trong những điều kiện cần cho sự tồn tại và phát triển của xã hội

loài người

Lý thuyết thông tin có rất nhiều ứng dụng đặc biệt đối với ngành công nghệ thông tin và điện tử viễn thông Chúng ta biết nhiều khái niệm của

xác suất đã được sử dụng vào lí thuyết thong tin Vay li thuyết thông tin có

ứng dụng như thế nào trong ngành xác suất thống kê? Trong luận văn này

chúng tôi xin đề cập một vài ứng dụng của lí thuyết thông tin để kiểm định giả thiết thống kê

Với mục đích đó, nội dung luận văn được trình bày trong hai chương Chương 1 Một số kiến thức cơ bản của lí thuyết thông tin Trong chương này chúng tôi trình bày một số kiến thức cơ bản của lí

thuyết thông tin như: Entropi của đại lượng và hệ đại lượng ngẫu nhiên, lượng thông tin của đại lượng và hệ đại lượng ngẫu nhiên để sử dụng cho chương sau

Chương 2 Một số ứng dụng của thông tin trong thống kê

Chương này trình bày một số ứng dụng của thông tin trong thống kê toán học, khái niệm trung tâm của chương này là khái niệm lượng thông tin trung bình do quan sát có lợi cho gia thiét Hy va bat lợi cho giả thiết Hạ được kí hiệu bởi ƒ(1 : 2) và nêu các tính chất của nó Cùng với khái niệm đó chúng tôi đưa ra độ sai khác ( hay khác biệt ) giữa các giá thiết ƒ và Hạ kí hiệu

bởi 7J(1,2) và nêu lên các tính chất của nó

Luận văn được hoàn thành tại trường Dại học Vinh đưới sự hướng dẫn

khoa học của thầy giáo PGS.TS Phan Dức Thành Tác giá bay to long biết

ơn sâu sắc nhất tới thầy Tác giả cũng xin bày tỏ lòng cảm ơn chân thành tới

các Thầy, Cô giáo trong tổ Lý thuyết xác suất và thống kê toán của Khoa

Toán - Trường Dại học Vĩnh đã tận tình dạy dỗ, giúp đỡ tác giả trong suốt

quá trình học tập và nghiên cứu

Tác giá xin gửi lời cảm ơn chân thành nhất đến quý Thầy, Cô giáo khoa

Sau đại học - Trường Dại học Vĩnh, Ban lãnh đạo trường Đại học Vĩnh, các bạn bè, đồng nghiệp và gia đình đã tạo mọi điều kiện thuận lợi, động viên

và giúp đỡ tác giả để tác giả hoàn thành khóa học và thực hiện được luận văn này

Mặc dù tác giả đã rất có gắng nhưng do còn nhiều hạn chế về mặt năng

lực, kiến thức và thời gian nên luận văn không thể tránh khỏi các thiếu sót Rất mong nhận được các ý kiến đóng góp quý báu để luận văn được hoàn thiện hơn

Xin trân trọng cảm ơn!

Vinh, tháng 12 năm 2011

Tác giả

Nguuễn Thị Kiều Oanh

sau

1.1 Khái niệm độ bất định của đại lượng ngẫu nhiên

Như chúng ta đã biết, các hiện tượng ngẫu nhiên là các hiện tượng mà

do tác động của của vô số mối liên hệ giữa các hiện tượng này với các hiện

tượng khác, chúng có thể tiến triển một cách khác nhau và dẫn đến các kết cục khác nhau Do đó kết quả của mỗi lần quan sát của hiện tượng ngẫu

nhiên không thể xác định trước khi chưa thực hiện quan sát Vì thế các kết

quá quan sát của bất kì hiện tượng ngẫu nhiên nào đều mang tính bất định Xét thí nghiệm xuất hiện n biến có xung khắc khác nhau #21, F2, lạ Giả sử xác suất của tất cả các kết quả có thể có của một thí nghiệm nào đó

là:

P(E¡) = pị = da” (m; € N,i=1,n) (1.1)

Khi đó mỗi kết quả thí nghiệm có xác suất œ sẽ nhận chỉ số được biểu diễn bằng một số có zw chữ số trong hệ cơ số ø Nếu coi số lượng các chữ số trong con số viết trong hệ cơ số a, kí hiệu kết quả nhận được của phép thử,

như là một đại lượng ngẫu nhiên thì có thể lấy kỳ vọng toán của đại lượng

ngẫu nhiên đó làm độ đo bất định của các kết quả thí nghiệm Kỳ vọng toán

của đại lượng ngẫu nhiên đó bằng:

HĨ = mịa TH -Ƒ nạa— "2 + - + npa— Thh, (1.2)

Công thức (1.2) có thế được viết dưới dang

n

i=l

Bằng cách như vậy có thể lấy đại lượng #7 được xác định bởi công thức

(1.3) là độ đo bất định của các kết quả của một thí nghiệm trong trường

hợp khi mà các xác suất của tất cả các kết quả có thể (2, 2, , F„) của một thí nghiệm có thể được biểu diễn bằng lũy thừa nguyên âm của một số dương a nào đấy Đại lượng H được xác định băng công thức (1.3) được gọi

là #nfrop¡ của thí nghiệm đã cho

1.2 Entropi của đại lượng ngẫu nhiên

1.2.1.Entropi của đại lượng ngẫu nhiên rời rạc

1.2.1.1.Định nghĩa Giả sử X là đại lượng ngẫu nhiên rời rạc với luật

phân phối pj = P(X = «;)(i = 1,2, n) Entropi cia dai lượng ngẫu nhiên

X, ký hiệu H[X] dược xác định bới công thức

xót không chúa một độ bất định nào cả )

(Chúng ta quy ước rằng lim x log x = 0 với z = 0.)

b) Với N đã cho, T[X] sẽ nhận giá trị lén nhat khi py = pg = - = pp = + (Túc là khi tất cả các giá trị có thể có của đại lượng ngẫu nhiên X là dong xác suất)

» pi log np; = » pi log n + Sori log p;

Như vậy bất đẳng thức (1.9) Entropi của đại lượng ngẫu nhiên rời rạc

sẽ lớn nhất khi tất cả các giá trị có thế có của đại lượng ngẫu nhiên này là đồng xác suất

Nhận zét Đỏi vì log n táng thực sự khi ø tăng nên giá trị có thể lớn nhất

của Entropi của đại lượng ngẫu nhiên là hàm tăng thực sự của số z các giá

trị có thể của đại lượng ngẫu nhiên Diều này hoàn toàn phù hợp với những

suy đoán trực giác của chúng ta là: Số khả năng càng nhiều thà khó xác

định hơn, túc là độ bất định càng lớn

1.2.2 Entropi của đại lượng ngẫu nhiên liên tục

1.2.2.1 Định nghĩa Giả sử đại lượng ngẫu nhiên X có hàm mật độ

Chú ý: 1) Khác với Entropi của đại lượng ngẫu nhiên rời rạc, Entropi

của đại lượng ngẫu nhiên liên tục trong trường hợp tổng quát có thể lấy giá trị dương hoặc âm Chỉ đối với các đại lượng ngẫu nhiên liên với mật độ xác

suất giới nội ƒ() < 4, và nếu luôn luôn quy tóc rằng ly < 3 thì Entropi

sẽ dương

2) Khoảng i„ được đưa vào trong công thức (1.10) để cho đại lượng dưới

dấu logarit không quá lớn, khoảng này có thể được chọn tuỳ ý, đặc biệt tà

có thé lay ly = 1 Do dé tit day vé sau ta chỉ xét với ly = 1 Khi d6 cong thức (1.10) được viết lại là:

-Loe A(X] = -| f(x) log f(x)dx (1.11)

mật độ xác suất không làm giểm Entropi mà chỉ làm tăng Entropi mà

thôi.)

e) Chúng ta cũng dễ dàng thấy rằng Entropi của đại lượng ngẫu nhiên

liên tục không phụ thuộc vào gốc tính của đại lượng ngẫu nhiên Tức là:

với mọi đại lượng ngẫu nhiên X và e là hằng số bất kỳ

Như vậy Entropi của các đại lượng ngẫu nhiên nhận được bằng cách kết

hợp các đại lượng ngẫu nhiên độc lập, sẽ có giá trị bằng tổng các Entropi của các đại lượng ngẫu nhiên thành phần

1.3 Entropi của hệ đại lượng ngẫu nhiên

1.3.1 Entropi của hệ hai đại lượng ngẫu nhiên

Cho hai đại lượng ngẫu nhiên X và Y (X Z Y)

1.3.1.1.Định nghĩa 1 Entropi có điều kiện của đại lượng ngẫu nhiên

X đối với Y, ký hiệu H[X | Y], được xác định bởi:

-Loc

HỊX |Y|== Ƒ_ ñŒ|n)lesfi(rulde 19

Nhận zét Entropi có điều kiện của đại lượng ngẫu nhiên X đối với Y

phụ thuộc vào các giá trị ¿ của đại lượng ngẫu nhiên Y, tức là hàm số của

đại lượng ngẫu nhiên Y

1.3.1.2 Định nghĩa 2 Kỳ vọng toán của Entropi có điều kiện của đại

lượng X đối với Y được gọi là Entropi có điều kiện trung bình của đại lượng

ngẫu nhiên X đối với Y, ký hiệu Hy[X]

Nhờ công thức của kỳ vọng toán ta có:

Hy[X] = —Ellog (X | Y)] (1.17)

Trong trường hợp đặc biệt khi các đại lượng X và Y là độc lập, khi đó ta

có ƒ¡(z | ) không phụ thuộc vào y, thì tất cả các Entropi có điều kiện của đại lượng ngẫu nhiên X đối với Y trùng với Entropi không điều kiện của đại

lượng ngẫu nhiên X, tức là:

Hy|[X| = HỊX |Y] = |X} (1.18)

Chú ý: 1) Entropi có điều kiện /T[Y | X] và Entropi có điều kiện trung

bình 77x[Y |eủa dại lượng ngẫu nhiên Y đối với X được xác định hoàn toàn tương tự

2) Tất cả những điều đã trình bày ở trên đúng cho cả trường hợp X,Y là

các đại lượng ngẫu nhiên vô hướng hoặc các vec tơ ngẫu nhiên Trong trường hợp X,Y là các vectơ, mỗi tích phân trong các công thức ở trên được biểu

diễn như là tích phân bội trên miền tất cả các giá trị có thế có của các veetơ

ngẫu nhiên Xvà Y Ví dụ như nếu X là veetơ ngẫu nhiên ø chiều với các

thành phần X, Xạ, X„ thì công thức (1.10) được viết dưới dạng chỉ tiết

hơn như sau:

HxyY|== [ Š [ ` 00x Rls,g)tedy = =BlesJ(X.YI)

công thức:

H[X,Y] = H[X] + Hx[Y] (1.22)

Do tính đối xứng của X và Y ta cũng có:

HỊX,Y] = HỊY] + Hy[X] (1.23)

Trong trường hợp đặc biệt khi X và Y là các đại lượng ngẫu nhiên độc lập

với nhau thì ta có: Hy[Y] = H[Y], Hy[X] = HỊXỊ|;

Do đó ta có công thức (1.22) và (1.23) trong trường hợp này có dạng:

1.3.2.Hệ ba đại lượng ngẫu nhiên độc lập

Cho ba đại lượng ngẫu nhiên X, Y; Z ta có các định nghĩa sau:

1.3.2.1.Định nghĩa Ta có Entropi có điều kiện của hệ (X,Y) đối với

đại lượng ngẫu nhiên Z được xác định là:

f- J.J falz | (sy) log falz | (a y))drdydz, (1.26)

trong đó /a((z,) | z) và fale | (x, y)) lần lượt là mật độ có điều kiện của

hệ (X,Y) đối với Z và của hệ Z đối với (X, Y) Dược định nghĩa bởi các hệ thức:

ƒ(œ:w.2)

B69) |z)= Tế (L27)

Và fle | (ny) = Fob (1.28)

1.3.2.2.Dinh nghĩa Gọi f(x,y, z) la ham mat độ của hệ ba đại lượng ngẫu nhiên (X, Y, Z) Ta có Entropi của hệ (X, Y, Z) được định nghĩa bởi:

too too too

A\X,Y, Z| = NÃ If „76 y, 2) log f(x, y, z)dadydz

Khi đó theo (1.25),(1.26) và chú ý đến các công thức (1.27),(1.28) ta suy

ta các Emiropi có điều kiện trung bỳnh của hệ (X,Y) đối với đại lượng

ngẫu nhiên Z là:

H;|X,Y| = E{HI(X.Y) | ZlÌ

too ptoo too

- / | [ fale) fale) | log fal (0.9) | 2)derdyd:

+ r†oœ £†®%

-| / f(x,y, 2) log fs((x, y) | z)dadydz (1.30)

và của đại lượng ngẫu nhiên Z đối với hệ (X,Y) là

- / I, Pay 2)log f(z |(e,y))dedydz, (1.31)

Kết hợp với công thức (1.28), ta có thể biểu diễn lại công thức (1.29) như

+00 /†%_ /†œ HỊX,Y.Z] = -| / / f(x,y, 2) log f(x, y, z)dadydz

+œ +00 +œ

¬A

, Tao _ pf foo

= -| / / S(x,y, 2) log f(x, y)dadydz

boc boc Foo

+ / f(a.y, z) log fa(z | (x, y))dadydz

Gia sử (Xi, X„) là các đại lượng ngẫu nhiên tày ý (vô hướng hoặc

véc tơ), thì Entropi của ø đại lượng ngẫu nhiên trên là:

H(X!, , X„) = HỊX1| + Hx,[X›] + -+ Hx x„ (Ấn): (1.33)

Trong trường hợp đặc biệt, khi các đại lượng ngẫu nhiên X, , X; là độc lập thì tất cả các Entropi có điều kiện sẽ trùng với Pntropi không điều kiện của đại lượng ngẫu nhiên tương ứng Như vậy công thức (1.33) được

viết lại như sau:

H(XI X„) =À`H[X:] (1.34)

Như vậy Entropi của các đại lượng ngẫu nhiên nhận được bằng cách kết

hợp các đại lượng ngẫu nhiên độc lập, sẽ có giá trị bằng tổng các Entropi

của các đại lượng ngẫu nhiên thành phần

1.4 Entropi của đại lượng ngẫu nhiên có phân phối chuẩn

và phân phối đều

1.4.1 Đại lượng ngẫu nhiên có phân phối đều

Giá sử ƒ¿(2) là mật độ xác suất của đại lượng ngẫu nhiên X có phân phối đều trong miền ø nào đấy (đặc biệt, nếu X là đại lượng vô hướng thì miền

0 có thể là a < z < Ù) Bởi vì ƒ„(z) = 0 với mọi + không thuộc ø nên dựa

vào công thức (1.10), Entropi của đại lượng ngẫu nhiên X được biểu dién bởi công thức:

TIX] =— ?#(z)log f#,(œ)d# = — fo(x) log Ty =logo (1.35)

Dễ dàng thấy rằng biểu thức cụ thể của mật độ xác suất ƒ„(z) trong công

thức (1.35) không có ảnh hưởng đến giá trị của Entropi của X Điều quan

trọng là mật độ xác suất đó bằng không khắp nơi trong miền ngoài ø Vì

vậy công thức (1.35) vẫn còn đúng nếu thay trong đó ƒ„(%) bởi mật độ xác suất tuỳ ý ƒ() bằng không khắp nơi trong miền ngoài œ Do đó, Pntropi của đại lượng ngẫu nhiên có phân phối đều có thể biểu diễn bằng công thức:

boo

1.4.2 Đại lượng ngẫu nhiên có phân phối chuẩn

Nếu thay vào trong công thức (1.10) biểu thức

của mật độ xác suất chuẩn ø chiều vào công thức (1.20) Khi đó ta nhận được:

= log e

= log V2m)" | K | +5 rk > Kijkij- (1.40)

J

Trong đó | K | là định thức của ma trận tương quan của vectø ngẫu nhiêu

X, còn ¿; là phần phụ đại số của phần tử #¿ trong định thức | K |

Theo công thức của khai triển định thức theo các phần tử của một hàng,

ta co

n

¿j—1

Và công thức (1.40) cho ta:

II[X] = log v/(9ea)" | R | (1.42)

Dặc biệt khi ø = 1, công thức (1.42) có dạng của công thức (1.37) Vì

trong các công thức trên biểu thức cụ thể của mật độ xác suất ƒx(+) không

có ý nghĩa gì mà chỉ có các giá trị của có mô men cấp hai tương ứng với mật độ xác suất ƒwy(z) mới đóng vai trò quan trọng, nên Entropi của đại lượng ngẫu nhiên có phân phối chuẩn ø chiều có thể được biểu diễn bằng công thức:

H[X]= =Ƒ_ fos jenny Xn) log ƒN(#1, ,#n)dị đưa

(1.43)

Trong đó ƒ(z, , #„) là hàm mật độ xác suất tuỳ ý thỏa mãn điều kiện:

boo foo

J af 1ị7(®1, ,®n)đ#t đen = bị, (t7 = 1n) (1.44)

—se —œe

Công thức (1.43) eó thể được viết một cách đơn giản dưới dạng (1.44)

Như vậy công thức (1.38) cho ta biểu thức tổng quát của Entropi của đại lượng ngẫu nhiên có phân phối chuẩn một chiều hoặc nhiều chiều

1.4.4 Tính cực đại của Entropi của các đại lượng ngẫu nhiên

có phân phối chuẩn và phân phối đều

Nếu quan sát công thức (1.36) và (1.37), chúng ta thấy rằng Entropi của

đại lượng ngẫu nhiên có phân phối chuẩn và phân phối đều được biểu diễn qua các mật độ xác suất tùy ý bằng các công thức tương tự nhau Do những

điều đã trình bày ta thấy rằng các đại lượng ngẫu nhiên có phân phối chuẩn

và phân phối đều có Entropi lớn nhất trong lớp các đại lượng ngẫu nhiên

có phân phối xác dịnh Tính chất cựe dại đó của phân phối chuẩn và phân phối đều là hệ quả của bất đẳng thức tổng quát

Bất đẳng thức đó chứng tỏ rằng trong số tất cả các đại lượng ngẫu nhiên

mà tất cả các giá trị có thể có của nó được chứa trong miền ø nào đó, đại

lượng ngẫu nhiên có phân phối đều trong miền 0 sẽ có Entropi lớn nhất Tính chất cực đại của Entropi của đại lượng ngẫu nhiên có phân phối đều tương

tự với tính chất đã được chứng minh trong phần đã trình bày về Entropi của đại lượng ngẫu nhiên rời rạc Như chúng ta đã biết trong mục này, trong số

tất cá các đại lượng ngẫu nhiên rời rạc có những giá trị có thể có, các đại lượng ngẫu nhiên với các giá trị đồng xác suất thì có Entropi lớn nhất Tương tự như vậy, từ công thức (1.38) và bất đẳng thức (*) ta cũng rút

ra kết luận rằng trong số tất cả các đại lượng ngẫu nhiên liên tục có cùng

mô men cấp hai (hoặc ma trận các mô men cấp hai trong trường hợp các

đại lượng ngẫu nhiên véc tơ), các đại lượng ngẫu nhiên có cùng phân phối chuẩn có Entropi lớn nhất

1.5 Lượng thông tin

1.5.1 Định nghĩa

Thông tin về một đại lượng ngẫu nhiên X, nhận được do kết quả của việc

quan sát đại lượng ngẫu nhiên Y có liên quan, sẽ làm thay đổi độ bất định

của đại lượng ngẫu nhiên X, điều đó như ta dã biết trong phân trước chính

là sự thay thế Entropi không điều kiện/7(X) của X bằng Entropi trung bình

có điều kiện Hy(X) cia X đối với Y Vì vậy ta sẽ gọi giá trị:

1[X:Y] = H[X] — Hy [X] (1.46)

Là độ đo thông tin (lượng thông tin) về đại lượng ngẫu nhiên X chứa

trong đại lượng ngẫu nhiên Y

1.5.2 Tính chất

1.5.2.1