Các khái niệm căn bản về mạng máy tính - Phần 2 pot

ðo thông tinmặt đều xấp.

Chương 1:

Các khái niệm căn bản

1.2 Đo thông tin

7/2/2010

Huỳnh Văn Kha

2

và là hai biến ngẫu nhiên

• ðộ không chắc chắn của với ñiều kiện

• ðộ không chắc chắn của với ñiều kiện là trung bình

theo trọng lượng của , nghĩa là:

Chứng minh:

Do nên ta có ñiều cần chứng minh

7/2/2010

Huỳnh Văn Kha

4

ðị nh lý 1.5

Dấu bằng xảy ra khi và chỉ khi và ñộc lập

Chứng minh:

Theo ñịnh lý 1.4 thì:

Theo ñịnh lý 1.3 thì:

Dấu bằng xảy ra khi và chỉ khi , ñộc lập

Từ hai ñiều này ta suy ra ñiều cần chứng minh

ðo thông tin

mặt đều xấp

biết gì về đồng xu được chọn?

đồng xu cân bằng ngược lại thì không chắc chắn

thông tin về các sự kiện khác

ðo thông tin

nào sẽ đo lượng thông tin có thể biết được của

biến ngẫu nhiên X?

xu cân bằng được chọn, nhận giá 1 nếu đồng xu

còn lại được chọn, Y là tổng số mặt xấp

7/2/2010

Huỳnh Văn Kha

6

0

1

0 1 2

1/4

1/4 1/2 1

ðo thông tin

chắn cần xác định là H(X)

chắc chắn cần xác định chỉ còn là H(X|Y)

được về biến X khi biết Y là:

I(X|Y) = H(X) – H(X|Y)

thông tin qua kênh bị nhiễu, mà ta sẽ xét kỹ

trong chương 3

7/2/2010

Huỳnh Văn Kha

8

Một số tính chất của

chỉ khi , ñộc lập

•Theo ñịnh lý 1.4:

Do ñó:

Nhưng:

Vậy:

• Tính I(X|Y) trong ví dụ trên?