Dung năng kênh và định lý mã kênh

Thông tin tương hỗ kênh rời rạc hữu hạn • Y là lối ra kênh và là phiên bản noise của lối vào X.. Capacity kênh rời rạc• Xét kênh không nhớ rời rạc lối vào X lối ra Y • Thông tin tương hỗ

Dung năng kênh và định lý

mã kênh

Thông tin tương hỗ (kênh rời rạc

hữu hạn)

• Y là lối ra kênh và là phiên bản noise của lối vào X H(X) là Entropi đo độ bất định của X Để đo bất định về X sau khi quan sát Y ta dùng Entropi điều kiện

• Lấy trung bình trên toàn bộ Y:

• Hiệu diễn tả lượng bất định ở lối vào được phân giải bởi quan sát lối ra.

• Lượng này gọi là thông tin tương hỗ

• Tính chất:

Capacity kênh rời rạc

• Xét kênh không nhớ rời rạc lối vào X lối ra Y

• Thông tin tương hỗ không những phụ

thuộc kênh mà còn phụ thuộc p(xj), tức là phụ thuộc cách dùng kênh

• Đn: Dung năng là thông tin tương hỗ cực đại trên một lần dùng kênh (đo bằng bit)

Ví dụ

• Kênh đối xứng nhị phân: H(X) cực đại khi

p(0)=p(1)=1/2 Thông tin tương hỗ I(X,Y) cũng

Lý thuyết mã kênh

• Để giảm lỗi cần thêm các bit dư Tỷ số

r=k/n goi là tỷ lệ mã

• Nguồn phát ra H(X)/Ts bít/s thông tin Kênh

có dung năng C trong một lần dùng kênh thời gian Tc hay tốc độ cực đại qua kênh là: C/Tc

• Đ/lý : nếu (*) thì tồn tại sơ đồ mã

truyền nguồn qua kênh lỗi nhỏ tùy ý

• Nếu không thể truyền qua kênh

Nhận xét:

• Đ/lý không chỉ rõ cấu trúc mã tốt thế nào

mà chỉ khẳng định tồn tại mã tốt khi điều

kiện thỏa mãn

• Đ/lý không cho kết quả lỗi chính xác mà chỉ khẳng định lỗi tiến đến zero khi độ dài mã tăng khi thỏa mãn điều kiện (*)

• Công suất và băng tần ẩn trong phát biểu trên song có thể liên hệ khi dùng công thức

Áp dụng kênh nhị phân đối xứng

• Xét nguồn bức xạ 1 bit/s (bằng nhau giữa

Entropi vi phân hay thông tin tương

hỗ của tín hiệu liên tục.

• Xét biến liên tục X với hàm mật độ xác

suất fX(x) Đại lượng sau gọi là entropi vi

phân của biến X:

• Đại lượng này không có ý nghĩa vật lý mà tương tự một cách hình thức nhưng hiệu của nó lại có ý nghĩa

• Phân bố Gaus: xét một cặp biến X,Y có các hàm

Thông tin tương hỗ (kênh liên tục)

• Xét cặp biến liên tục X,Y, đại lượng

• Gọi là thông tin tương hỗ giữa chúng

• Tương tự ta có:

• Ở đó

Định lý dung năng thông tin

• Xét quá trình dừng, tb zero X(t) băng giới hạn B (Hz) Lấy mẫu theo Nyquist (2B mẫu/s)

• Các mẫu được truyền trong T giây nên K=2BT

• Theo lý thuyết:

• Theo định nghĩa

• Vì Xk và Nk là các biến độc lập

• Nên có thể viết

• Mặt khác lại độc lập với phân bố của

X nên cực đại thông tin tương hỗ phải

• Để cực đại h(Yk), Yk phải là biến Gaus hay các mẫu nhận được sau kênh có dạng

noise Do Nk có dạng Gaus nên Xk cũng

• Dung năng thông tin/giây

• Đây là định lý thứ 3 của Shannon và cũng

Những công thức liên quan

• Khi băng tần rộng vô hạn (tỷ lệ mã zero)

Bài tập

Giải

Mô hình kênh

• 1

• Đối với kênh nhị phân

Lối vào rời rạc, ra liên tục

• Với kênh Gaus

• Kênh AWGN thời gian rời rạc

• Kênh dạng sóng AWGN: Lối vào là dạng sóng, lối ra cũng là dạng sóng

• Lối vào ràng buộc công suất

• Khai triển theo hàm cơ sở

• Ở đó

• Do tính độc lập

• Kênh dang sóng rút về kênh thời gian rời rạc với ràng buộc

Dung năng kênh

• Trong kênh nhị phân xác suất truyền đúng dãy n bit là: xác suất này tiến đến 0

khi n đến 0

• Để cải tiến chỉ dùng một tập con của tổ

hợp n bit và các tổ hợp này càng xa nhau càng tốt

• Số dãy n bit khác nhau tại np vị trí là

• Dùng xấp xỉ Stirling

• Điều này có nghĩa: khi một dãy n bit được phát, dãy nhận được sai khác np vị trí có khả năng là một trong

• Nếu dùng tất cả các dãy n bit có thể, lỗi chắc

chắn có vì có sự chồng lấp các dãy nhậ được Tuy nhiên nếu dùng tập con của tất cả dãy có thể, các dãy nhận được sẽ không chồng lấp

nhau khi đó có thể truyền tin cậy

• Vì số dãy có thẻ là 2n nên ta có nhiều nhất

• Dãy phát mà không làm dãy thu chồng lấn nhau Vì vậy trong n lần dùng kênh ta có thể phat M bản tin, thông tin dùng trên mối lần truyền sẽ là:

• Đây là tốc độ tối đa có thể truyền tin cậy qua kênh nhị phân

• Trong kênh DMC

• Cực đại lấy trên tất cả PMF của

• Trên bảng chữ cái của X

• C sẽ tính bằng bit/lần dùng kênh nếu I(X,Y) tính bằng logarit cơ số 2, nếu ký hiệu vào kênh trong t giây thì dung năng là C/t

• Đ/l Shannon 2(đly mã kênh noise): Tuyền tin cậy

là có thể nếu tốc độ truyền R thỏa mãn: R<C, nếu ngược lại, truyền tin cậy là không thể