Chương 1.1 của bài giảng Lý thuyết thông tin giúp người học hiểu được một số khái niệm căn bản. Các nội dung được trình bày trong chương này gồm: Mô hình truyền thông, mục đích của lý thuyết thông tin, ý nghĩa của định lý căn bản, hàm đo độ không chắc chắn,...và các nội dung liên quan khác. Mời các bạn cùng tham khảo.
Trang 1Chương 1:
Các khái niệm căn bản
1.1 Độ không chắc chắn
Trang 2Mô hình truyền thông
thông Sơ đồ như sau
Nguồn Mã Kênh Giải mã Đích
Nhiễu
Trang 3Mô hình truyền thông
thích hợp để truyền qua kênh
9/30/2010
Huỳnh Văn Kha
thích hợp để truyền qua kênh
trình này chịu sự tác động của Nhiễu
mẫu tin ban đầu
Trang 4Mục ñích của LTTT
khối trong sơ đồ truyền thông
sát chủ yếu về lý thuyết mã hóa và giải mã
truyền thông tin qua một kênh bị nhiễu theo một định lượng truyền bất kỳ nhỏ hơn dung lượng
kênh theo một xác suất sai nhỏ tùy ý
Trang 5Ý nghĩa của ðịnh lý căn bản
suất như nhau với định lượng sinh 1 bit/giây Giả
sử các bit được sinh ra độc lập nhau
9/30/2010
Huỳnh Văn Kha
sử các bit được sinh ra độc lập nhau
truyền sai 1 bit bất kỳ là ¼ Giả sử tốc độ truyền
qua kênh là 1 bit/giây
Nguồn
0
1
0
1
¾
¼
¾
¼
Trang 6Ý nghĩa của ðịnh lý căn bản
giảm xác suất này xuống
kênh 3 lần và giải mã theo nguyên tắc đa số
Trang 7Ý nghĩa của ðịnh lý căn bản
nguồn xuống còn 1/3 bit/giây
9/30/2010
Huỳnh Văn Kha
nguồn xuống còn 1/3 bit/giây
bit nguồn được truyền 2n+1 lần và giải mã theo
đa số.Thì:
Trang 8Ý nghĩa của ðịnh lý căn bản
nếu giảm định lượng sinh xuống nhỏ gần bằng 0
nếu giảm định lượng sinh xuống nhỏ gần bằng 0
Không cần phải giảm định lượng sinh về 0 mà
chỉ cần giảm về một đại lượng gọi là dung lượng kênh
mã
Trang 9Hàm ño ñộ không chắc chắn
xác suất tương ứng
9/30/2010
Huỳnh Văn Kha
định nghĩa (log được lấy theo cơ số 2):
cho
Trang 10Hàm ño ñộ không chắc chắn
Trang 11Hàm ño ñộ không chắc chắn
của một biến ngẫu nhiên
9/30/2010
Huỳnh Văn Kha
của một biến ngẫu nhiên
trong đó
xác định kết quả của X
Trang 12Bổ ñề 1.1
Dấu bằng xảy ra khi và chỉ khi
Trang 13Chứng minh bổ ñề 1.1
9/30/2010
Huỳnh Văn Kha
Áp dụng bất ñẳng thức (dấu
bằng xảy ra khi và chỉ khi ), với
, nhân 2 vế cho rồi lấy tổng theo :
Từ ñây ta suy ra ñiều cần chứng minh
Trang 14ðịnh lý 1.2
, dấu bằng xảy ra
ðây là hệ quả của Bổ ñề phía trên, với tất cả
Trang 15Huỳnh Văn Kha
Hàm ño ñộ không chắc chắn của ñồng
thời hai biến ngẫu nhiên
Xét hai biến ngẫu nhiên:
• Biến Y lấy giá trị với xác suất lần lượt là:
ñồng thời của X và Y ñược ñịnh nghĩa là:
Trang 16Dấu bằng xảy ra khi và chỉ khi ñộc lập
Chứng minh:
Trang 17Huỳnh Văn Kha
Thì:
Áp dụng Bổ ñề 1.1, ta ñược: