Kênh rời rạc không phụ thuộc thời gian - Phần 2 ppt

Chương 3:Kênh rời rạc không phụ thuộc thời gian 3.2 Phương án giải mã tối ưu.. • Một phương án giải mã là một phép tương ứng mỗi ký tự output yj với một ký tự input xj*... • Giả sử nguồn

Trang 1

Chương 3:

Kênh rời rạc không phụ

thuộc thời gian

3.2 Phương án giải mã tối ưu Định

lý căn bản của LTTT

Giải mã

• Gọi x1, x2, …, xMvà y1, y2, …, yL lần lượt là các ký

tự input và output

• Một phương án giải mã là một phép tương ứng

mỗi ký tự output yj với một ký tự input xj* Khi

nhận được yjta sẽ giải mã thành xj*

• Giải mã là phân hoạch tập ký tự output thành các

tập B1, …, BMsao cho mỗi y trong Bisẽ giải mã

thành xi

• Một phương án giải mã có thể xem như một kênh

deterministic với tập ký tự input là y1, y2, …, yL

và tập ký tự output là x1, x2, …, xM

7/2/2010

2

Huỳnh Văn Kha

Trang 2

Ví dụ

Xác

suất

X

Y

y1

y2

y3

Z

x1

x2

x3

1 1 1/2 1/2

Bài toán giải mã

• Cho trước input, xây dựng phương án giải mã sao

cho xác suất sai là nhỏ nhất

• Giả sử yjtương ứng với xj*

• Gọi xác suất đúng là p(e’), ta có:

• Kênh và input cho trước nên các p(yj) không đổi

• Với mỗi yj cho trước chỉ cần chọn xj* sao cho

7/2/2010

Huỳnh Văn Kha

4

Trang 3

Trường hợp input ñồng xác suất

• Nếu input là đồng xác suất thì

• Với y cố định thì việc cực đại p(xi|y) tương đương

với việc cực đại p(y|xi)

• Như vậy với phân phối đều của input thì phương

án giải mã tối ưu là với mỗi y cho trước chọn xi

sao cho p(y|xi) là cực đại

• Ta sẽ xét kỹ hơn vấn đề này trong chương 4

Ví dụ

• Xét ma trận kênh

• Gải sử p(x1) = ½, p(x2) = p(x3) = ¼

• Tìm phương án giải mã tối ưu và tính xác suất sai

7/2/2010

Huỳnh Văn Kha

6

1/2 1/3 1/6 1/6 1/2 1/3 1/3 1/6 1/2

y1 y2 y3

x1

x2

x3

Trang 4

• Giả sử nguồn sinh ra dãy các ký tự nhị phân với

định lượng không đổi R bit/giây, và định lượng

truyền của nguồn không quá 1 bit/giây

• Trong n giây, nguồn sinh nR ký tự

• Tổng số mẫu tin có thể có trong n giây là 2nR

• Chú ý 2nRcó thể không nguyên, trong trường hợp

đó, ta lấy [2nR] (phần nguyên của 2nR)

• Ta cũng không quan tâm trường hợp số ký tự của

nguồn không phải là 2 Vì nếu số ký tự mã là D và

nguồn sinh S ký tự/giây, thì trong n giây, nguồn

sinh DnS= 2nSlog D Và có thể xem nó như nguồn

nhị phân với định lượng R = S log D

ðịnh lý căn bản của LTTT

• Thay vì truyền từng ký tự qua kênh, ta sẽ mã hóa

mỗi block n ký tự

• Do định lượng truyền không quá 1 bit/giây nên

số ký tự mã mã hóa mỗi block không quá n ký tự

• Để giữ định lượng sinh của nguồn là R, ta cần 2nR

từ mã chiều dài ≤ n

• Ý tưởng cơ bản của định lý là cho trước ε > 0, nếu

chọn n đủ lớn, ta có thể tìm được 2nR từ mã và

một cách giải mã sao cho sai số đều < ε, nghĩa là

7/2/2010

Huỳnh Văn Kha

8

Trang 5

• Cái giá phải trả là ta cần phải chờ n giây trước khi

mã hóa nguồn tin, cũng có thể phải tốn thêm thời

gian chờ do việc mã hóa và giải mã

• Thêm vào đó, phương án mã hóa và giải mã

trong định lý này rất phức tạp và khó thực hiện

trong thực tế

• Ví dụ, xét R = 2/5 và n = 5 Trong 5 giây, số mẫu

tin có thể có do nguồn sinh ra là 2nR= 4 Gọi

chúng là m1, m2, m3, m4

• Ta gán cho mỗi mimột dãy nhị phân độ dài ≤ 5

7/2/2010

Huỳnh Văn Kha

10

m1 00000

m2 01101

m3 11010

m4 10111

m1 00

m2 01

m3 10

m4 11

Trang 6

• Với cách mã hóa thứ hai, chỉ cần một ký tự bị

truyền sai cũng không thể nào phát hiện được

• Với cách mã hóa thứ hai, mọi việc truyền sai một

ký tự đều có thể phát hiện và tự động sửa lỗi được

• Nếu nhận được chuỗi v, ta chỉ cần chọn từ mã w

sao cho số vị trí khác nhau của w và v là ít nhất

• Chú ý rằng hai từ mã khác nhau sẽ khác nhau ở ít

nhất 3 vị trí Do đó mọi việc truyền sai một ký tự

sẽ phát hiện và sửa lỗi được

• Một n-chuỗi là một dãy n ký tự input hoặc output

• Một bộ mã (s,n) là một tập gồm s các n-chuỗi input

x(1), …, x(s)cùng với một phương án giải mã, nghĩa

là một hàm cho tương ứng mỗi n-chuỗi output với

một trong các x(i) Các x(i)gọi là các từ mã

• Một phương án giải mã là một phân hoạch tập các

n-output thành các tập con rời nhau B1, …, Bs, mà

mỗi Bigọi là một tập giải mã Khi nhận được

output trong B ta sẽ giải mã thành x(i)

7/2/2010

Huỳnh Văn Kha

12

Trang 7

• Mỗi n-chuỗi input là một trạng thái của vector

ngẫu nhiên X = (X1, X2, …, Xn)

• Mỗi n-chuỗi output là một trạng thái của vector

ngẫu nhiên Y = (Y1, Y2, …, Yn)

• Giả sử x(i)được truyền qua kênh, xác suất sai là

• Xác suất sai của bộ mã là

• Xác suất sai cực đại được định nghĩa là

• Do đó nếu pm(e) ≤ ε thì từ mã nào cũng được

truyền với sai số ≤ ε

7/2/2010

Huỳnh Văn Kha

14

Trang 8

• Một bộ mã (s,n,λ) là một bộ mã (s,n) sao cho xác

suất sai cực đại là ≤ λ

Định lý căn bản của LTTT:

Cho trước một kênh rời rạc không phụ thuộc thời

gian với dung lượng kênh C > 0 và một số dương

R < C Khi đó tồn tại một dãy các bộ mã a

1, a

2,

…, A

n, … sao cho a

n là một bộ mã ([2nR],n,λn) và

λn0 khi n ∞

Định dạng
Số trang	8
Dung lượng	238,37 KB