Bài toán mã trường hợp kênh không bị nhiễu - Phần 3 pps

ðịnh lý 2.4 ðịnh lý cho bài toán mã trong trường hợp kênh không bị nhiễu Gọi là chiều dài từ mã trung bình của một bộ mã giải được bất kỳ cho biến ngẫu nhiên X... Bộ mã tối ưu tuyệt ñối•

Chương 2:

Bài toán mã trường hợp

kênh không bị nhiễu

2.3 Định lý cho bài toán mã trong

trường hợp kênh không bị nhiễu

Mở ñầu

• Biến ngẫu nhiên X có các trạng thái x1, x2, …, xM

với xác xuất tương ứng p1, p2, …, pM

• Các từ mã cho x1, x2, …, xMlà W1, W2, …, WMcó

độ dài lần lượt là n1, n2, …, nM

7/2/2010

2

Huỳnh Văn Kha

ðịnh lý 2.4 (ðịnh lý cho bài toán mã trong

trường hợp kênh không bị nhiễu)

Gọi

là chiều dài từ mã trung bình của một bộ mã

giải được bất kỳ cho biến ngẫu nhiên X Khi

đó:

Dấu bằng xảy ra khi và chỉ khi:

7/2/2010

Huỳnh Văn Kha

Chứng minh ñịnh lý 2.4

Thì các qicó tổng bằng 1 Áp dụng mệnh đề 1.1

7/2/2010

4

Huỳnh Văn Kha

Chứng minh ñịnh lý 2.4

• Dấu bằng trong bất đẳng thức (*) xảy ra khi và chỉ

khi:

• Do bộ mã là giải được nên

Và ta được

• Tiếp theo, nếu , thì

Chứng minh ñịnh lý 2.4

• Ngược lại, nếu thì từ (*) ta được

Nhưng

7/2/2010

6

Huỳnh Văn Kha

Bộ mã tối ưu tuyệt ñối

• Bộ mã làm cho dấu bằng trong định lý 2.4 xảy ra

được gọi là bộ mã tối ưu tuyệt đối

• Ví dụ

7/2/2010

Huỳnh Văn Kha

Bộ mã tối ưu tuyệt ñối

• Bộ mã tối ưu tuyệt đối phải thỏa mãn

• Trong trường hợp tổng quát chưa chắc xây dựng

được bộ mã tối ưu tuyệt đối, do các ninhư trên

chưa chắc là số nguyên

• Tuy nhiên, ta hoàn toàn có thể xây dựng được bộ

mã tiền tố có chiều dài từ mã trung bình gần

bằng chận dưới H(X)/log D như khẳng định của

định lý sau

7/2/2010

8

Huỳnh Văn Kha

ðịnh lý 2.5

Cho trước biến ngẫu nhiên X, với độ không

chắc chắn là H(X) Khi đó tồn tại bộ mã

tiền tố cho X, sao cho chiều dài từ mã

trung bình thỏa mãn

Chứng minh ñịnh lý 2.5

• Chọn nilà số nguyên thỏa mãn

• Khi đó log p ≥ -n log D, suy ra

7/2/2010

Huỳnh Văn Kha

10

Chứng minh ñịnh lý 2.5

• Tiếp theo, ta ước lượng chiều dài từ mã trung

bình Nhân hai vế cho pirồi lấy tổng theo i ta

được

• Và ta có kết luận của định lý

7/2/2010

Huỳnh Văn Kha

Mã hóa theo block

• Theo định lý 2.5, ta luôn xây dựng được bộ mã

tiền tố có chiều dài trung bình nhỏ hơn chận dưới

H(X)/log D cộng thêm 1 ký tự mã

• Tuy nhiên ta có thể làm tốt hơn thế nếu dùng

phương pháp mã hóa theo block

• Nghĩa là ta không mã hóa từng trạng thái xicủa

X, mà sẽ mã hóa từng nhóm s các trạng thái

• Nói cách khác, ta sẽ xây dựng bộ mã cho vector

ngẫu nhiên Y = (X1, X2, …, Xs) Trong đó các Xilà

độc lập và có cùng phân phối xác suất như X

7/2/2010

Huỳnh Văn Kha

12

Mã hóa theo block

x1 3/4 0

x2 1/4 1

Y=(X1, X2) p Từ mã

Mã hóa theo block

• Ta sẽ kiểm chứng rằng việc mã hóa theo block sẽ

làm giảm chiều dài từ mã trung bình cho một

trạng thái của X

• Theo định lý 2.5, ta sẽ xây dựng được bộ mã tiền

tố cho Y với chiều dài từ mã trung bình thỏa

7/2/2010

Huỳnh Văn Kha

14

Mã hóa theo block

• Như vậy

• chính là số ký tự mã trung bình để mã hóa

một trạng thái của X

• Từ trên ta thấy có thể gần H(X)/log D tùy ý

• Vậy H(X)/log D chính là số ký tự mã trung bình

(lấy trong bộ D ký tự mã) cực tiểu dùng để mã

hóa một trạng thái của X

7/2/2010

Huỳnh Văn Kha

Một ý nghĩa của H(X)

• Trong trường hợp D=2 , ta thấy H(X) chính là số

ký tự mã trung bình cực tiểu dùng để mã hóa 1

trạng thái của X

• Một bộ mã nhị phân tiền tố sẽ tương ứng với một

dãy các câu hỏi “yes no” dùng để xác định trạng

thái của X

• Trong đó số câu hỏi để xác định xichính bằng

chiều dài nicủa từ mã tương ứng

• Vậy H(X) có thể xem là số câu hỏi trung bình cực

tiểu dùng để xác định trạng thái của X

7/2/2010

Huỳnh Văn Kha

16

Ví dụ

X Từ mã

x1 00

x2 01

x3 11

x4 100

x5 101

x1

or

x2?

x1?

x4

or

x5?

x4?

x1

x2

x5

x4

x3

yes

yes

yes

yes

no

no no no