Bài toán mã trường hợp kênh không bị nhiễu - Phần 4 pps

Chứng minh bổ ñề 2.6• Giả sử tồn tại bộ mã giải được C’ có chiều dài từ mã trung bình nhỏ hơn của C... Chứng minh bổ ñề 2.7• Chứng minh a: Nếu pj> pknhưng nj> nk thì chỉ cần đổi các từ m

Bài toán mã trường hợp

kênh không bị nhiễu

2.4 Xây dựng bộ mã tối ưu

Bổ ñề 2.6

Giả sử bộ mã C là tối ưu trong họ các các bộ mã

tiền tố cho phân bố xác suất p1, p2, …, pM; nói

cách khác, giả sử không bộ mã tiền tố nào có

chiều dài từ mã trung bình nhỏ hơn của C Khi

đó C là tối ưu trong họ các bộ mã giải được

7/2/2010

Huỳnh Văn Kha

2

Bổ đề 2.6 cho phép ta thay vì tìm bộ mã tối ưu

trong tập các bộ mã giải được, ta chỉ cần tìm bộ

mã tối ưu trong tập nhỏ hơn, tập các bộ mã tiền tố

Chứng minh bổ ñề 2.6

• Giả sử tồn tại bộ mã giải được C’ có chiều dài từ

mã trung bình nhỏ hơn của C Gọi n’1, n’2, …, n’M

là các độ dài từ mã của C’

• Theo định lý 2.3

• Theo định lý 2.2 thì tồn tại bộ mã tiền tố C’’ với

chiều dài từ mã lần lượt là: n’1, n’2, …, n’M

• Như vậy có bộ mã tiền tố C’’ có chiều dài từ mã

trung bình nhỏ hơn của C (vô lý)

Bổ ñề 2.7

• Cho C là bộ mã tiền tố nhị phân với chiều dài các

từ mã là n1, n2, …, nM

• Giả sử các trạng thái được sắp xếp theo thứ tự

giảm dần theo xác suất (nghĩa là p1≥ p2≥ … ≥

pM) và trong mỗi nhóm có cùng xác suất, các

trạng thái được xếp thứ tự tăng dần theo chiều

dài từ mã, nghĩa là nếu pi = pi+1= … = pi+rthì ni ≤

ni+1≤ … ≤ ni+r

• Nếu C là tối ưu trong họ các bộ mã tiền tố thì C có

các tính chất sau:

7/2/2010

4

Huỳnh Văn Kha

a) Trạng thái có xác suất cao thì từ mã tương ứng

có độ dài ngắn hơn, nghĩa là pj> pkkéo theo nj

≤ nk

b) Hai từ mã của hai trạng thái cuối có độ dài bằng

nhau, nghĩa là nM-1= nM

c) Trong số các từ mã có chiều dài nM, có ít nhất

hai từ mã giống nhau hoàn toàn, ngoại trừ ký tự

cuối cùng của chúng

Ví dụ

• Xét bộ mã nhị phân sau

• Bộ mã này không tối ưu

x1 0

x2 100

x3 101

x4 1101

x5 1110

7/2/2010

6

Huỳnh Văn Kha

Chứng minh bổ ñề 2.7

• Chứng minh a): Nếu pj> pknhưng nj> nk thì

chỉ cần đổi các từ mã ở vị trí thứ j và k cho nhau

ta sẽ được bộ mã C’ có chiều dài từ mã trung bình

nhỏ hơn Thật vậy:

• Chứng minh b): Chú ý rằng nM-1≤ nM Nếu nM

> nM-1, chỉ cần bỏ đi ký tự cuối của từ mã thứ M

thì ta được bộ mã tiền tố tốt hơn

Chứng minh bổ ñề 2.7

• Chứng minh c): Giả sử ngược lại, mọi cặp từ

mã độ dài nMđều có ít nhất một ký tự mã (không

là ký tự cuối) khác nhau Khi đó chỉ cần bỏ đi ký

tự mã cuối cùng của một trong các từ mã đó, ta sẽ

được bộ mã (vẫn là tiền tố) tốt hơn

Chú ý: Để đơn giản ta chỉ nói về cách xây dựng bộ

mã tiền tố nhị phân tối ưu Cách xây dựng bộ mã

với nhiều ký tự mã hơn có thể xem trong tài liệu

tham khảo

7/2/2010

8

Huỳnh Văn Kha

• Sắp xếp các xitheo thứ tự xác suất tăng dần

• Ghép hai trạng thái xM-1và xMthành một trạng

thái, gọi là xM,M-1, với xác suất pM+ pM-1

• Giả sử ta xây dựng được bộ mã tiền tố tối ưu C2

cho tập trạng thái mới

• Xây dựng C1cho tập trạng thái ban đầu như sau:

▫ Các từ mã cho x1, x2, …, xM-2vẫn như trong C2

▫ Từ mã cho xM-1và xMđược tạo thành bằng cách

thêm lần lượt 0, 1 vào từ mã của xM,M-1trong C2

Xây dựng bộ mã tối ưu (Huffman)

X p C1 n X p C2 n

x1 p1 W1 n1 x1 p1 W1 n1

x2 p2 W2 n2 x2 p2 W2 n2

xM,M-1 pM+pM-1 WM,M-1 nM,M-1

xM-2 pM-2 WM-2 nM-2

xM-1 pM-1 [WM,M-10] nM-1 xM-2 pM-2 WM-2 nM-2

xM pM [WM,M-11] nM

7/2/2010

10

Huỳnh Văn Kha

Chứng minh

• Ta sẽ chứng tỏ C1là bộ mã tối ưu

• Giả sử C1không tối ưu Gọi C1’ là bộ mã tiền tố tối

ưu với các từ mã W’1, W’2, …, W’Mcó độ dài n’1,

n’2, …, n’M

• Theo bổ đề 2.7 b) n’M-1= n’M

• Theo bổ đề 2.7 c), có ít nhất một cặp từ mã độ dài

nMchỉ khác nhau ở ký tự cuối cùng

• Không mất tính tổng quát, giả sử W’M-1, W’Mlà

một cặp từ mã như vậy (nếu cần thiết, đổi vị trí)

Chứng minh

• Ghép xM, xM-1thành xM,M-1và xây dựng bộ mã C’2

như sau

• Các từ mã cho x1, …, xM-2vẫn như trong C’1

• Từ mã cho xM,M-1chính là W’M(hay W’M-1) bỏ đi

ký tự cuối (gọi là U’)

• Ta sẽ chứng minh C’2có chiều dài từ mã trung

bình nhỏ hơn chiều dài từ mã trung bình của C2

• Và do đó trái với giả thiết tối ưu của C2

7/2/2010

12

Huỳnh Văn Kha

X p C’1 n X p C’2 n

x1 p1 W’1 n’1 x1 p1 W’1 n1

x2 p2 W'2 n’2 x2 p2 W’2 n2

xM,M-1 pM+pM-1 U’ n’M-1

= n’M-1-1

xM-2 pM-2 W’M-2 n’M-2

xM-1 pM-1 W’M-1 n’M-1 xM-2 pM-2 W’M-2 n’M-2

xM pM W’M n’M=n’M-1

Chứng minh

• C’1có chiều dài từ mã trung bình nhỏ hơn C1

• Theo cách xây dựng C1thì nM= nM-1do đó

7/2/2010

14

Huỳnh Văn Kha

Chứng minh

• Vậy

• Do nM-1-1 = nM,M-1, nên vế phải chính là độ dài từ

mã trung bình của C2và ta có điều cần chứng

minh

Ví dụ

x1 0.3

x2 0.25

x3 0.2

x4 0.1

x5 0.1

x6 0.05

7/2/2010

Huỳnh Văn Kha

16

x1 0.3

x2 0.25

x3 0.2

x5,6 0.15

x4 0.1

x1 0.3

x2 0.25

x4,56 0.25

x3 0.2

x3,456 0.45

x2 0.25

x1,2 0.55

x3,456 0.45

x1,2 0

x3,456 1

x3,456 1

x1 00

x2 01

x4,56 10

x3 11

x1 00

x2 01

x3 11

x5,6 100

x4 101

x1 00

x2 01

x3 11

x4 101

x5 1000

x6 1001

Bài tập

7/2/2010

Huỳnh Văn Kha

18