Bài 9 Kênh rời rạc không nhớ Lượng tin tương hỗ ppt

Ch ng minḧ Ph n th hai ch ng minh hoàn toàn t ng t... Bây gi chúng ta s ch ng minh r ng... ̈ Ng ng đó chính là dung l ng kênh.

Bài 9 Kênh r i r c không nh

9.1 Kênh r i r c không nh và ma tr n kênh

9.2 Entropy đi u ki n và l ng tin t ng h

9.3 M t s lo i kênh

9.4 S nh p nh ng (equivocation) và t c đ truy n tin 9.5 Dung l ng kênh

Kênh r i r c không nh và ma tr n kênh

kN k

p(y2 | x2)

p(y1 | x2)

x2

p(y J | x1)

Nh n xét (tt)

̈ Chúng ta th y, ma tr n kênh chính là cái mà bi u di n tính ch t

t p nhi u c a kênh truy n

̈ Chú ý, n u chúng ta bi t s phân b xác su t trên X thì s phân

k

y p

1

)

| (

) (

) (

Entropy đi u ki n và l ng tin t ng h

̈ Xét bài toán truy n tin sau

Cho bi t c u trúc th ng kê c a ngu n X và ma tr n kênh Hãy

xác đ nh kí hi u x k nào đã đ c phát phát đi khi nh n đ c

x2

1/54/5

x1

y2

y1

i j

i

k j

k K

i

j i

k j

k j

j

k j

k

x y

p x

p

x y

p x

p

y x p

x y

p x

p y

p

y x

p y

x

p

1 1

)

|(

)(

)

|(

)(

),

(

)

|(

)(

)(

),

()

|

(

5

2)

5/2()4/3()5/4()4/1(

)5/4()4/1(

)

|()(

)

|()(

)

|()

()

|

(

2 1

2 1

1 1

1 1

1 1

1

=

×+

p x

p x

y p x

p

x y

p x

p y

x

p

5

3 )

| ( x2 y1 =

p

Ví d (tt)

̈ ý, trong công th c c a p(x i | y j) có ch a th a s p(x i), nên

p(x i | y j) đã b nh h ng b i xác su t l p(x i)

̈ Vì v y đ công b ng trong vi c so sánh chúng ta ph i d a trên

t s p(x i | y j )/p(x i) cái mà không b nh h ng nhi u b i p(x i)

/3

5/3)

(

)

|(

5

84

/1

5/2)

(

)

|(

2

1 2

1

1 1

y x

p

x p

y x

p

L ng tin có đi u ki n I(xk | yj)

̈ N u p(y j | x k) = 1/2 (I(y j | x k) = 1 bit) thì khi phát đi x k bên nh n

s có hai kh n ng và y j ch là m t trong hai kh n ng đó, cóngh a là bên nh n c n thêm thông tin (c n thêm 1 bit) đ bi t chính xác đó là kh n ng nào

L ng tin có đi u ki n I(xk | yj)

̈ Vì v y l ng tin có đi u ki n còn đ c g i là l ng tin b m t

L ng tin t ng h

̈ nh ngh a

̈ L ng tin t ng h gi a hai tin là l ng tin c a c a tin này

đ c ch a trong tin kia và ng c l i B ng công th c

L ng tin t ng h = L ng tin riêng – L ng tin b m t đi

I(x k , y j ) = I(x k ) – I(x k | y j ) = I(y j ) – I(x k | y j)

̈ N u p(x k | y j) = 1 có ngh a là n u y j đã nh n đ c thì ch c ch n

x k đã đ c phát đi, đi u này có ngh a là l ng tin c a x k đã

đ c truy n nguyên v n thông qua kênh, do đó I(x k , y j ) = I(x k)

)(

)

()

(

)(

j

k j k

j k

y p

|x y p x

p

|y x

p

log

=

L ng tin có đi u ki n trung bình

j k

K k

j k

j k

)

|(log)

|()

|()

|()

k j

J j

k j

k j

)

|(

log)

|(

)

|(

)

|(

j k

j k

j

J j

j

j I X y p y p x y p x y y

p Y

|()

()

|()()

j k

j

k y p x y x

p

)

|(

log),

k j

j

k y p y x x

p X

()

|

(

j k

j

k y p x y x

p H

)

|(

log),

()

|(x y

K k

k k

j k

j

x p H

H

)(ln)()

|(ln),

()

()

k

y x

p

x

p y

x p

)

(ln

),

k

y x

p

x

p y

x p H

)

|(

)

()

,()

()

j

k p y p x y x

p

Ch ng minh (tt)

̈ D u “=” x y ra ⇔ p(x k ) = p(x k | y j) đ i v i t t c các c p (k, j)

mà p(x k , y j) ≠ 0 đ ng th i t ng p(x k )p(y j) trên t t c nh ng c p này b ng 1

̈ i u ki n th hai t ng đ ng v i đi u ki n p(x k )p(y j) = 0 b t

Ch ng minh

̈ Ph n th hai ch ng minh hoàn toàn t ng t

̈ K t h p hai đ nh lý trên chúng ta suy ra r ng

j

k y p x y x

k j

k y p x p y x x

k

j k

=

k y I x y x

p Y

k

x p

y x

p y

x

p

) (

)

|

( log ) ,

k

y p

x y

p y

x

p

) (

)

|

( log ) ,

k

y p x

p

y x

p y

x

p

) (

) (

) ,

( log

) ,

(

0,2 0,5

0,3

0,5 0,3

0,2

[p(y j | x k)] =

k = 2

0,2 0,2

0,3 0,3

k = 1

0,3 0,3

0,2

0,2

[p(y j | x k)] =

4 3

Nh n xét

̈ Kênh đ i x ng thì H(y | x) đ c l p v i s phân b xác su t c a

ngu n phát và đ c xác đ nh duy nh t b ng ma tr n kênh

k j

j

x p H

1 1

)

|(

log)

,()

|(y x

−

k

J j

k j

k j

x p

)

|(

log)

|(

)(

−

k

J j

j j

x p

' '

log)

(

Kênh không m t (Lossless channel)

̈ C nh n i gi a x k và y j ngh a là p(y j | x k) ≠ 0 Trong kênh không

m t đ u ra xác đ nh duy nh t đ u vào, vì v y H(x | y) = 0

̈ Kênh đ n đ nh (Deterministic channel)

̈ Trong kênh này đ u vào xác đ nh duy nh t đ u ra, vì v y

Kênh vô d ng (Useless channel)

l đ u ra hoàn toàn Bây gi chúng ta s ch ng minh r ng

̈ M t kênh r i r c không nh là vô d ng n u và ch n u ma tr n kênh c a nó có các dòng gi ng nhau

̈ Ch ng minh

̈ i u ki n đ

Gi s ma tr n có các dòng gi ng nhau p1’, , p J’ Thì đ i v i

đ u ra y

K k

j k

j k

j k

j k

j p x y p x p y x p p x p y

)(

),

()

(

Kênh vô d ng (tt)

̈ T c là p(y j0) ≠ p(yj0 | x k0) Vì v y p(x k0 , y j0 ) = p(x k0 ) p(y j0 | x k0) ≠

p(x k0 ) p(y j0) Mâu thu n v i gi thi t là x, y đ c l p v i m i sphân b xác su t c a đ u vào

k j

k j

k j

k

K

x y

p x

p y

p

0 0

0 0

(

S nh p nh ng (equivocation)

và t c đ truy n tin

̈ Xét m t kênh nh phân đ i x ng v i xác su t chéo ε Gi s

r ng t i đ u vào P(0) = P(1) = 1/2, t c đ sinh thông tin đ u phát là H(x) = 1 bit/kí hi u

̈ T c đ sinh thông tin b i b quan sát vì v y b ng

H(z) = –ε log ε – (1 – ε) log(1 – ε) bits/kí hi u

̈ i v i m t dãy đ u ra đã cho y(1)y(2) , n i nh n (receiver) có

th xây d ng l i chính xác dãy đ u vào x(1)x(2) ch khi đ u ra

c a b quan sát z(1)z(2) đã đ c t o s n

̈ T c đ truy n thông tin trên kênh, th ng kí hi u là R, là b ng

t c đ sinh thông tin H(x) tr t c đ sinh thông tin b sung

̈ M t ng i có th lý lu n r ng trong m t dãy dài, vì ε = 0,01, ngh a là ch 1% s bit đ c truy n b l i, và vì v y t c đ

truy n thông tin ph i là 990 bits/giây

̈ Câu tr l i là r ng ki n th c v s bit b l i không đ đ xây

d ng l i d li u, mà chúng ta c n ph i bi t thêm v v trí l i

n a, và vì lý do này nên t c đ truy n thông tin là th c s b ng

m t giá tr th p h n là 919 bits/giây

̈ C hai k t lu n là nh t quán v i s mong đ i c a chúng ta.

̈ i v i kênh nh phân đ i x ng v i đ u vào đ ng xác su t,

chúng ta ch ng minh đ c r ng H(z) = H(x | y)

̈ T ng quát chúng ta ch ng minh đ c r ng

̈ S tái xây d ng chính xác dãy đ u vào t dãy đ u ra là có th

n u b quan sát có th sinh ra thông tin b sung t c đ l n

h n hay b ng H(x | y)

C = C c đ i (trên các s phân b xác su t đ u vào) c a I(x, y).

̈ T ng quát, vi c tính dung l ng kênh là m t bài toán khó và là

m t bài toán ch a đ c gi i m t cách tri t đ

̈ Tuy nhiên đ i v i các kênh đã đ c gi i thi u trên C có th

tính toán đ c nh ph n sau đây trình bày

C = Max {H(x) – H(x | y)} = Max{H(x)} = log K

trong đó K là kích th c c a b ng kí hi u đ u vào Dung l ng

đ t đ c trong tr ng h p đ u vào có s phân b đ ng xác

J C

1

'

log

C = Max {H(x) – H(x | y)} = Max{H(x) – H(x)} = 0

̈ M t kênh vô d ng thì có dung l ng kênh b ng 0

Bài 10 Mã hóa ch ng nhi u,

đ nh lý kênh

10.1 Gi i thi u bài toán ch ng nhi u

10.2 nh lý kênh có nhi u cho kênh nh phân đ i x ng r i

r c (BSC)

10.3 nh lý ng c c a kênh truy n có nhi u

Gi i thi u bài toán ch ng nhi u

̈ M c tiêu ch ng nhi u là bên nh n có th đoán (gi i mã) đ c càng chính xác càng t t dãy kí hi u đã đ c phát

̈ Ch ng h n xét ngu n nh phân đ i x ng v i xác su t chéo ε,

đ ng th i gi s ngu n phát đ ng xác su t, t c P(0) = P(1) = 1/2

Gi i thi u bài toán ch ng nhi u (tt)

̈ M t h ng gi i quy t nh sau: đ g i 0 chúng ta g i chu i 3 kí

hi u 1, nh ng t ng ng lúc này hi u su t truy n thông tin

gi m xu ng 2n + 1 l n so v i ban đ u

Gi i thi u bài toán ch ng nhi u (tt)

̈ Có m t cách có th gi m xác su t gi i mã l i xu ng g n b ng 0

nh ng không gi m hi u su t truy n thông tin xu ng g n b ng 0

mà ch c n nh h n m t ng ng nào đó là đ

̈ Ng ng đó chính là dung l ng kênh

̈ Cách này c ng khai thác ý t ng trên ch thay vì đ g i đi 0

và 1, cái mà có “kho ng cách Hamming” gi a chúng là 1 thì

chúng ta s mã hoá l n l t thành 000 và 111, cái mà có

“kho ng cách Hamming” gi a chúng là 3 và vì v y gi m xác

su t gi i mã b l i

nh lý kênh có nhi u cho kênh

nh phân đ i x ng r i r c (BSC)

̈ Xét kênh nh phân đ i x ng v i xác su t chéo p

̈ Dung l ng kênh trong đ n v bits/kí hi u là

C = 1 – H(p) v i H(p) = –plogp – (1–p)log(1–p)

̈ Gi s th i gian truy n 1 kí hi u là T, s kí hi u đ c truy n trong 1 giây là 1/T, thì dung l ng theo đ n v bits/giây là

C = [1 – H(p)]/T

̈ Xét ngu n X có entropy H(X) bits/ký hi u, t c là ngu n này t o

ra thông tin t c đ theo đ n v bits/giây

̈ Kho ng cách Hamming c a hai dãy kí hi u v1, v2 v i chi u dài

b ng nhau là s v trí khác nhau c a hai dãy, và th ng đ c kí

̈ nh lý 10.1 đúng cho kênh r i r c không nh b t k Tuy

nhiên đây chúng ta ch ch ng minh cho kênh nh phân đ i

x ng r i r c

(1) ch n chi u dài N c a dãy d li u đ dài

(2) mã hoá các dãy này thành các t mã có kho ng cách

̈ V i m i dãy v j nh n đ c, đ nh ngh a m t t p ki m tra A j bao

g m t t c nh ng dãy có chi u dài N và có kho ng cách

Hamming so v i v j nh h n hay b ng N(p + ε)

̈ N u t mã đ c truy n w i là t mã duy nh t thu c t p A j thì gi i

mã v j thành w i Ng c l i thông báo m t l i đã x y ra

Ch ng minh đ nh lý (tt)

̈ M t l i x y ra thu c vào m t trong hai tr ng h p sau đây

(1) T mã đ c truy n w i không thu c A j, t c là

d(w i , v j ) > N(p + ε)

L i này x y ra v i xác su t nh h n δ

(2) T n t i m t t mã w k khác c ng thu c A j Lúc này chúng ta

không bi t nên gi i mã v j thành w i hay w k

̈ Chúng ta ch ng minh r ng theo cách này xác su t gi i mã l i trung bình s nh h n θ v i θ nh tu ý cho tr c

≤ M

i

j i

P

1

) (

k j

i

k

N

A W

P

2

) (

) (

k e

)(

<

dãy có chi u dài 1000 chúng ta có th ch n đ c 2K dãy v i K

= 21

̈ Kho ng cách Hamming c a b mã

̈ Kho ng cách Hamming c a m t b mã A, v i đi u ki n A là mã

đ u, kí hi u là d(A), là kho ng cách Hamming nh nh t trong

t t c các kho ng cách gi a hai t mã b t k c a A.

nh lý ng c c a kênh truy n có nhi u

̈ nh lý 10.2

̈ N u t c đ truy n tin R (bits/giây) l n h n dung l ng kênh C

(bits/giây), thì s truy n thông trên kênh v i t l l i nh tu ý

là không th th c hi n đ c Hay nói cách khác xác su t gi i

mã l i ti n đ n 1 khi chi u dài c a dãy c n truy n gia t ng

̈ nh lý này nói cách khác n u t c đ truy n tin l n h n dung

l ng kênh thì vi c truy n không đ c đ m b o có ngh a là

chúng ta không th gi i mã đúng đ c