Xử lý ảnh số - Nén dữ liệu ảnh part 3 potx

IE thu .`o.ng go.i l`a thˆong tin riˆeng self-information hay lu.o.. kiˆe.n nˆen khˆong c´o thˆong tin g`ı d¯u.o... ng thˆong tin ch´u.a trong mˆo.t su.. Kˆenh thˆong tin l`a thiˆe´t bi.

6.3 Co so ˙’ cu˙’a l´ y thuyˆ e´t thˆ ong tin

Trong Phˆ` n 6.1 ch´a ung ta d¯˜a gi´o.i thiˆe.u mˆo.t sˆo´ c´ach d¯ˆe˙’ gia˙’m sˆo´ lu.o ng d˜u liˆe.u biˆe˙’u diˆe˜n

mˆo.t a˙’nh Mˆo.t vˆa´n d¯ˆe` d¯u.o. c d¯ˇa.t ra l`a: cˆa` n bao nhiˆeu d˜u liˆe.u thu c su. d.¯ˆe˙’ biˆe˙’u diˆ˜n mˆo.te a˙’nh? T´u.c l`a, sˆo´ lu.o. ng d˜u liˆe.u ´ıt nhˆa´t l`a bao nhiˆeu d¯u˙’ mˆo ta˙’ d¯ˆa` y d¯u˙’ a˙’nh m`a khˆong

mˆa´t thˆong tin? L´y thuyˆe´t thˆong tin cung cˆa´p co so.˙’ to´an ho.c tra˙’ l`o.i cˆau ho˙’i n`ay v`a nh˜u.ng vˆa´n d¯ˆ` liˆen quan.e

Tiˆ` n d¯ˆee ` co ba˙’n cu˙’a l´y thuyˆe´t thˆong tin l`a c´o thˆe˙’ mˆo h`ınh ho´a thˆong tin bo.˙’ i mˆo.t qu´a tr`ınh x´ac suˆa´t v`a c´o thˆe˙’ d¯o thˆong tin theo mˆo.t ngh˜ıa tr`ung v´o.i ca˙’m nhˆa.n tru c quan cu˙’a con ngu.`o.i V´o.i gia˙’ thiˆe´t n`ay, mˆo.t su kiˆ. e.n ngˆa˜u nhiˆen E v´o.i x´ac suˆa´t xuˆa´t hiˆe.n

P (E) go.i l`a ch´u.a

I(E) = log 1

P (E) = − log P (E)

d¯o.n vi thˆong tin Gi´a tri I(E) thu `o.ng go.i l`a thˆong tin riˆeng (self-information) hay

lu.o ng thˆ ong tin d ¯u.o c ch´ u.a trong E N´oi chung, sˆo´ lu.o. ng thˆong tin d¯´ong g´op v`ao su.. kiˆe.n E tı˙’ lˆe nghi.ch v´o i x´ac suˆa´t xuˆa´t hiˆe.n E Nˆe´u P(E) = 1 (t´u.c l`a, su kiˆe.n luˆon luˆon xa˙’y ra) th`ı I(E) = 0 v`a khˆong c´o thˆong tin g`ı d¯´ong g´op khi xa˙’y ra su. kiˆe.n n`ay T´u.c l`a, do khˆong c´o t`ınh tra.ng khˆong r˜o r`ang gˇa´n v´o.i su kiˆe.n nˆen khˆong c´o thˆong tin g`ı

d¯u.o. c trao d¯ˆo˙’i khi su. kiˆe.n n`ay xuˆa´t hiˆe.n Tuy nhiˆen, nˆe´u P (E) = 0.99 th`ı viˆe.c truyˆe` n

d¯i thˆong b´ao su. kiˆe.n E xuˆa´t hiˆe.n s˜e c´o mˆo.t ch´ut thˆong tin Thˆong b´ao E khˆong xuˆa´t

hiˆe.n mang thˆong tin nhiˆe` u ho.n v`ı kˆe´t qua˙’ n`ay gˆay bˆa´t ng`o

Co sˆo´ trong ph´ep lˆa´y logarithm x´ac d¯i.nh d¯o.n vi d¯u.o c su.˙’ du.ng d¯ˆe˙’ d¯o thˆong tin.3

Nˆe´u su.˙’ du.ng co sˆo´ e th`ı d¯o.n vi d¯o l`a nat v`a nˆe´u cho.n co sˆo´ 2, d¯o.n vi d¯o go.i l`a bit.

Ch´u ´y rˇa`ng nˆe´u P (E) = 1/2 th`ı I(E) = − log21/2 hay 1 bit T´u.c l`a lu.o. ng thˆong tin

d¯u.o. c truyˆ` n d¯a.t khi su kiˆe.n E c´o x´ac suˆa´t xuˆa´t hiˆe.n bˇa`ng x´ac suˆa´t khˆong xuˆa´t hiˆe.ne

bˇa`ng 1 bit V´ı du d¯o.n gia˙’n l`a tung xˆa´p ngu.˙’a mˆo.t d¯ˆo`ng xu v`a thˆong b´ao kˆe´t qua˙’

3 Khi khˆ ong viˆ e´t tu.` o.ng minh gi´ a tri co sˆo´ cu˙’a log trong mˆo.t biˆe˙’u th´u.c th`ı kˆe´t qua˙’ c´o thˆe˙’ hiˆe˙’u o.˙’

co sˆ o´ bˆ a´t k` y v` a d ¯o.n vi d¯o thˆong tin tu o.ng ´u.ng v´o.i co sˆo´ d¯´o.

6.3.2 Kˆ enh truyˆ ` n tin e

Khi lu.o. ng thˆong tin ch´u.a trong mˆo.t su kiˆ. e.n d¯u.o c truyˆe`n t`u mˆo.t nguˆo`n thˆong tin d¯ˆe´n

mˆo.t ngu.`o.i su.˙’ du.ng thˆong tin ta n´oi nguˆo`n thˆong tin d¯u.o c nˆo´i v´o.i ngu.`o.i su.˙’ du.ng thˆong tin bo.˙’ i mˆo.t kˆenh thˆong tin Kˆenh thˆong tin l`a thiˆe´t bi vˆa.t l´y c´o ch´u.c nˇang liˆen kˆe´t nguˆ`n v´o o.i ngu.`o.i su.˙’ du.ng N´o c´o thˆe˙’ l`a mˆo.t d¯u.`o.ng dˆay d¯iˆe.n thoa.i, d¯u.`o.ng truyˆe` n nˇang lu.o. ng d¯iˆe.n t`u tru.`o.ng, hoˇa.c mˆo.t dˆay dˆa˜n trong m´ay t´ınh H`ınh 6.4 l`a mˆo h`ınh to´an ho.c d¯o.n gia˙’n d¯ˆo´i v´o.i hˆe thˆo´ng thˆong tin r`o.i ra.c Trong mˆo h`ınh n`ay, tham sˆo´ quan

tro.ng nhˆa´t l`a thˆong lu o ng cu˙’a hˆe thˆo´ng x´ac d¯i.nh bo.˙’i kha˙’ nˇang truyˆe`n thˆong tin.

Gia˙’ su.˙’ rˇa`ng nguˆo`n thˆong tin trong H`ınh 6.4 ta.o ra mˆo.t d˜ay ngˆa˜u nhiˆen c´ac k´y hiˆe.u t`u mˆo.t tˆa.p h˜u.u ha.n hay d¯ˆe´m d¯u.o c c´ac k´y hiˆe.u T´u.c l`a d¯ˆa`u ra cu˙’a nguˆo`n l`a mˆo.t biˆe´n ngˆa˜u nhiˆen r`o.i ra.c Tˆa.p c´ac k´y hiˆe.u nguˆo`n A = {a1, a2, , a J } go.i l`a ba˙’ng k´y

hiˆ e.u nguˆo `n v`a c´ac phˆ` n tu.a ˙’ a j ∈ A go.i l`a k´y hiˆe.u, hay k´y tu Gia˙’ su . ˙’ x´. ac suˆa´t d¯ˆe˙’ nguˆ`no sinh ra k´y hiˆe.u a j l`a P (a j) v`a

J

X

j=1

P (a j ) = 1.

D- ˇa.t z = [P (a1), P (a2), , P (a J)]t Khi d¯´o cˇa.p (A, z), go.i l`a khˆong gian x´ac suˆa´t h˜u u ha.n cu˙’a nguˆo `n, mˆo ta˙’ d¯ˆ` y d¯u˙’ nguˆa `n thˆo ong tin

Do x´ac suˆa´t xuˆa´t hiˆe.n k´y hiˆe.u a j l`a P (a j) nˆen lu.o. ng thˆong tin ch´u.a trong su.. kiˆe.n n`ay l`a I(a j ) = − log P (a j ) Nˆ e´u k k´y hiˆe.u nguˆo`n d¯u.o. c ta.o ra th`ı theo luˆa.t sˆo´ l´o.n, v´o.i k d¯u˙’ l´o.n k´y hiˆe.u a j (vˆ` trung b`ınh) s˜e xuˆe a´t hiˆe.n kP (a j) lˆ` n Suy ra lu.o.a ng thˆong tin trung b`ınh nhˆa.n d¯u.o c khi k t´ın hiˆe.u d¯u.o c nguˆo`n sinh ra l`a

−k

J

X

j=1

P (a j ) log P (a j ).

V`a thˆong tin trung b`ınh khi nguˆ`n sinh ra mˆo o.t t´ın hiˆe.u l`a

H(z) = −

J

X

j=1

Gi´a tri H(z) go.i l`a d¯ˆo bˆa´t ng`o hay entropy cu˙’a nguˆo`n thˆong tin; d¯´o l`a mˆo.t thˆong sˆo´

thˆo´ng kˆe co ba˙’n cu˙’a nguˆ`n N´o o x´ac d¯i.nh sˆo´ lu.o ng thˆong tin trung b`ınh nhˆa.n d¯u.o c khi quan s´at mˆo.t nguˆo`n Khi gi´a tri n`ay tˇang th`ı t`ınh tra.ng khˆong chˇa´c chˇa´n xa˙’y ra s˜e nhiˆ` u ho.n v`e a do d¯´o thˆong tin tu.o.ng ´u.ng v´o.i nguˆ`n c˜o ung l´o.n ho.n Nˆe´u x´ac suˆa´t xuˆa´t hiˆe.n cu˙’a c´ac k´y hiˆe.u bˇa`ng nhau th`ı entropy cu c d. ¯a.i v`a nguˆo`n c´o thˆe˙’ cung cˆa´p thˆong tin trung b`ınh trˆen mˆo.t k´y hiˆe.u nguˆo`n l´o.n nhˆa´t

.

Nguˆ`no

Ngu.`o.i su.˙’ du.ng thˆong tin

Cˇa.p (A, z)

A = {a j}

z = [P (a1), P (a2), , P (a J)]t

Q = [q kj]

Cˇa.p (B, v)

B = {b k}

v = [P (b1), P (b2), , P (b K)]t

H`ınh 6.4: Mˆo.t hˆe thˆo´ng thˆong tin d¯o.n gia˙’n

Kh´ai niˆe.m entropy d¯u.o c d`ung o.˙’ d¯ˆay tu.o.ng tu kh´ai niˆe.m entropy trong nhiˆe.t

d¯ˆo.ng ho.c Trong c´ac ´u.ng du.ng m˜a ho´a a˙’nh cu˙’a ch´ung ta, entropy biˆe˙’u diˆe˜n sˆo´ lu.o ng thˆong tin tu.o.ng ´u.ng v´o.i tˆa.p c´ac gi´a tri nguˆo`n v`a cho biˆe´t sˆo´ bit trung b`ınh tˆo´i thiˆe˙’u

cˆ` n m˜a a ho´a ch´ung

V´o.i mˆo h`ınh nguˆ`n trˆen ch´o ung ta c´o thˆe˙’ dˆe˜ d`ang tr`ınh b`ay ch´u.c nˇang trao d¯ˆo˙’i thˆong tin cu˙’a kˆenh thˆong tin V`ı trong mˆo h`ınh cu˙’a H`ınh 6.4 t´ın hiˆe.u d¯u.a v`ao kˆenh l`a mˆo.t biˆe´n ngˆa˜u nhiˆen r`o.i ra.c nˆen thˆong tin d¯u.o c truyˆe`n d¯ˆe´n d¯ˆa`u ra cu˙’a kˆenh c˜ung l`a biˆe´n ngˆa˜u nhiˆen r`o.i ra.c Tu.o.ng tu nhu o.˙’ nguˆo`n thˆong tin, c´ac t´ın hiˆe.u ra nhˆa.n c´ac gi´a tri t`u mˆo.t tˆa.p h˜u.u ha.n hay d¯ˆe´m d¯u.o c c´ac k´y hiˆe.u B = {b1, b2, , b K} m`a ta go.i l`a l`a ba˙’ng kˆ enh X´ac suˆa´t cu˙’a su. kiˆe.n xuˆa´t hiˆe.n k´y hiˆe.u b k nhˆa.n d¯u.o c bo.˙’i ngu.`o.i su.˙’

du ng thˆ ong tin l` a P (b k ) Cˇ a.p (B, v), trong d¯´o vector v = [P (b1), P (b2), , P (b K)]t ,

miˆeu ta˙’ d¯ˆ` y d¯u˙’ kˆenh ra v`a a do d¯´o thˆong tin nhˆa.n d¯u.o c bo.˙’i ngu.`o.i su.˙’ du.ng

Theo cˆong th´u.c x´ac suˆa´t ta c´o

P (b k) =

J

X

j=1

P (b k |a j )P (a j ),

trong d¯´o P (b k |a j) l`a x´ac suˆa´t nhˆa.n d¯u.o c t´ın hiˆe.u b k v´o.i d¯iˆ` u kiˆe.n nguˆoe `n thˆong tin gu.˙’ i t´ın hiˆe.u a j D- ˇa.t

Q =













P (b1|a1) P (b1|a2) · · · P (b1|a J)

P (b2|a1) P (b2|a2) · · · P (b2|a J)

P (b K |a1) P (b K |a2) · · · P (b K |a J)











.

Khi d¯´o

Ma trˆa.n Q v´o.i c´ac phˆa`n tu.˙’ q kj = P (b k |a j ) go.i l`a ma trˆa.n biˆe´n d¯ˆo˙’i kˆenh thuˆa.n.

D- ˆe˙’ x´ac d¯i.nh kha˙’ nˇang cu˙’a mˆo.t kˆenh v´o.i ma trˆa.n biˆe´n d¯ˆo˙’i kˆenh thuˆa.n Q tru.´o.c

hˆe´t ch´ung ta cˆ` n t´ınh entropy cu˙’a nguˆa `n thˆo ong tin v´o.i gia˙’ thiˆe´t ngu.`o.i su.˙’ du.ng thˆong tin quan s´at mˆo.t t´ın hiˆe.u ra b k Phu.o.ng tr`ınh (6.4) x´ac d¯i.nh h`am phˆan bˆo´ cu˙’a c´ac k´y hiˆe.u nguˆo`n khi b k d¯u.o. c quan s´at, nˆen mˆo˜i b k cho mˆo.t h`am entropy c´o d¯iˆe ` u kiˆe.n.

Du. a trˆen c´ac bu.´o.c dˆa˜n d¯ˆe´n Phu.o.ng tr`ınh (6.3), h`am entropy c´o d¯iˆe` u kiˆe.n, k´y hiˆe.u

H(z, b k ), c´o da.ng

H(z, b k) = −

J

X

j=1

P (a j |b k ) log P (a j |b k ),

trong d¯´o P (a j |b k) l`a x´ac suˆa´t truyˆ` n k´e y hiˆe.u a j v´o.i d¯iˆ` u kiˆe.n ngu.`o.i su.˙’ du.ng nhˆa.ne

d¯u.o. c k´y hiˆe.u b k K`y vo.ng hay gi´a tri trung b`ınh cu˙’a biˆe˙’u th´u.c n`ay theo tˆa´t ca˙’ c´ac b k

l`a

H(z, v) =

K

X

k=1

H(z, b k )P (b k ).

hay tu.o.ng d¯u.o.ng

H(z, v) = −

J

X

j=1

K

X

k=1

P (a j , b k ) log P (a j |b k ). (6.5)

Trong biˆe˙’u th´u.c trˆen, P (a j , b k) l`a x´ac suˆa´t liˆen kˆe´t c´ac su. kiˆe.n a j v`a b k T´u.c l`a

P (a j , b k) l`a x´ac suˆa´t khi nguˆ`n truyˆeo ` n a j v` a ngu.`o.i su.˙’ du.ng nhˆa.n d¯u.o c b k

Sˆo´ ha.ng H(z, v) go.i l`a m´u c d¯ˆo mˆa.p m`o cu˙’a z tu.o.ng ´u.ng v´o.i v N´o biˆe˙’u thi thˆong

tin trung b`ınh cu˙’a k´y hiˆe.u nguˆo`n khi d¯˜a biˆe´t c´ac kˆe´t qua˙’ qua quan s´at V`ı H(z) l`a thˆong tin trung b`ınh cu˙’a mˆo.t k´y hiˆe.u nguˆo`n, gia˙’ thiˆe´t khˆong biˆe´t tru.´o.c vˆ` kˆe´t qua˙’ cu˙’ae t´ın hiˆe.u nhˆa.n d¯u.o c, hiˆe.u sˆo´ gi˜u.a H(z) v`a H(z, v) l`a thˆong tin trung b`ınh nhˆa.n d¯u.o c

trong l´uc quan s´at mˆo.t k´y hiˆe.u o˙’ d¯ˆ. ` u ra Hiˆe.u sˆo´ n`ay, k´y hiˆe.u I(z, v), go.i l`a thˆong tina

tu.o.ng hˆ o ˜ cu˙’a z v`a v, l`a

I(z, v) = H(z) − H(z, v).

Ch´u ´y rˇa`ng P (a j ) = P (a j , b1) + P (a j , b2) + · · · + P (a j , b K ) T`u d¯´o thay H(z) trong

Phu.o.ng tr`ınh (6.3) v`a H(z, v) trong (6.5) ta d¯u.o. c

I(z, v) =

J

X

j=1

K

X

k=1

P (a j , b k) log



P (a j , b k)

P (a j )P (b k)



.

T`u d¯´o

I(z, v) =

J

X

j=1

K

X

k=1

P (a j )q kjlog

"

q kj

PJ i=1 P (a i )q ki

#

Do d¯´o thˆong tin trung b`ınh nhˆa.n d¯u.o c khi quan s´at mˆo.t t´ın hiˆe.u ra t`u kˆenh truyˆe`n phu thuˆo.c v`ao phˆan bˆo´ x´ac suˆa´t cu˙’a c´ac k´y hiˆe.u nguˆo`n z v`a ma trˆa.n biˆe´n d¯ˆo˙’i kˆenh thuˆa.n Q.

T´ ınh chˆ a´t 6.3.1 Ta c´ o

I(z, v) ≥ 0;

dˆ a´u bˇ a `ng xa˙’y ra nˆe´u v` a chı˙’ nˆ e´u c´ ac t´ın hiˆ e.u v`ao v`a t´ın hiˆe.u ra d¯ˆo.c lˆa.p thˆo´ng kˆe.

Ch´ u.ng minh ´Ap du.ng bˆa´t d¯ˇa˙’ng th´u.c Jensen ta c´o

−I(z, v) =

J

X

j=1

K

X

k=1

P (a j , b k) log



P (a j )P (b k)

P (a j , b k)



≤ log

" J X

j=1

K

X

k=1

P (a j )P (b k)

#

= log 1 = 0.

Ho.n n˜u.a, do t´ınh lˆ`i thu.o c su cu˙’a h`. am log x ta c´o dˆa´u d¯ˇa˙’ng th´u.c nˆe´u v`a chı˙’ nˆe´u

P (a j , b k ) = P (a j )P (b k) v´o.i mo.i j, k; t´u.c l`a c´ac t´ın hiˆe.u v`ao v`a t´ın hiˆe.u ra d¯ˆo.c lˆa.p thˆo´ng kˆe 2

Gi´a tri cu c d. ¯a.i

C := max

z I(z, v),

trong d¯´o maximum lˆa´y trˆen tˆa´t ca˙’ c´ac x´ac suˆa´t c´o thˆe˙’ c´o cu˙’a c´ac k´y hiˆe.u nguˆo`n, go.i l`a thˆ ong lu.o ng cu˙’a kˆenh Theo d¯i.nh ngh˜ıa, thˆong lu.o ng cu˙’a kˆenh l`a lu.o ng thˆong tin

tˆo´i d¯a khi kˆenh cho d¯i qua trong mˆo.t d¯o.n vi th`o.i gian Ho.n n˜u.a, thˆong lu.o ng cu˙’a

kˆenh khˆong phu thuˆo.c v`ao c´ac x´ac suˆa´t cu˙’a c´ac k´y hiˆe.u nguˆo`n m`a chı˙’ phu thuˆo.c v`ao c´ac x´ac suˆa´t c´o d¯iˆ` u kiˆe.n x´ac d¯i.nh kˆenh.e

V´ ı du 6.3.2 X´et nguˆ`n thˆo ong tin nhi phˆan v´o.i ba˙’ng ch˜u A = {a1, a2} = {0, 1}

v`a c´ac x´ac suˆa´t nguˆ`n ta.o ra c´ac k´y hiˆe.u ao 1 v`a a2 tu.o.ng ´u.ng l`a P (a1) = p bs v`a

P (a2) = 1 − p bs = ¯p bs Khi d¯´o entropy cu˙’a nguˆ`n l`o a

H(z) = −p bslog2p bs − ¯p bslog2 ¯bs

V`ı z = (P (a1), P (a2)) = (p bs , 1 − p bs) nˆen H(z) chı˙’ phu thuˆo.c v`ao tham sˆo´ p bs v`a vˆe´

bˆen pha˙’i cu˙’a phu.o.ng tr`ınh trˆen go.i l`a h`am entropy nhi phˆan, k´y hiˆe.u l`a H bs (·) Do d¯´o,

trong v´ı du n`ay H bs (t) = −t log2t − ¯ t log2¯t H`ınh 6.5(a) l`a d¯ˆ` thi cu˙’a h`am Ho bs (p bs) v´o.i

0 ≤ p bs ≤ 1 Ch´u ´y rˇa`ng H bs d¯a.t gi´a tri cu c d. ¯a.i (1 bit) khi p bs = 12 V´o.i tˆa´t ca˙’ c´ac gi´a

tri kh´ac cu˙’a p bs nguˆ`n cung cˆo a´p thˆong tin ´ıt ho.n 1 bit

Bˆay gi`o gia˙’ su.˙’ rˇa`ng thˆong tin d¯u.o c truyˆe` n trˆen kˆenh nhi phˆan c´o nhiˆe˜u v`a x´ac suˆa´t lˆo˜i khi truyˆe` n mˆo.t k´y hiˆe.u nguˆo`n bˆa´t k`y l`a p e Kˆenh nhu vˆa.y go.i l`a kˆenh d¯ˆo´i x´u ng nhi phˆan (viˆe´t tˇa´t BSC) v`a x´ac d¯i.nh bo˙’ i ma trˆ. a.n biˆe´n d¯ˆo˙’i kˆenh thuˆa.n

Q = 1 − p e p e

p e 1 − p e

!

= ¯e p e

p e ¯e

!

.

V´o.i mˆo˜i k´y hiˆe.u nguˆo`n, BSC sinh ra mˆo.t t´ın hiˆe.u b j ∈ B = {b1, b2} = {0, 1} X´ac suˆa´t cu˙’a c´ac t´ın hiˆe.u ra b1 v`a b2 cho bo.˙’ i

v = Qz = ¯e p e

p e ¯e

!

p bs

¯bs

!

= ¯e p bs + p e¯bs

p e p bs+ ¯p e¯bs

!

.

Vˆa.y x´ac suˆa´t xuˆa´t hiˆe.n k´y hiˆe.u 0 l`a ¯p e p bs + p e¯bs v`a x´ac suˆa´t xuˆa´t hiˆe.n k´y hiˆe.u 1 l`a

p e p bs+ ¯p e¯bs

Dˆe˜ d`ang kiˆe˙’m tra thˆong tin tu.o.ng hˆo˜ cu˙’a BSC bˇa`ng

I(z, v) = H bs (p ps p e+ ¯p e¯bs ) − H bs (p e ),

trong d¯´o H bs(·) l`a h`am entropy nhi phˆan c´o d¯ˆo` thi trong H`ınh 6.5(a) V´o.i c´ac gi´a tri

p ps = 0 hoˇa.c 1 th`ı I(z, v) = 0 Ho.n n˜u.a n´o d¯a.t gi´a tri l´o.n nhˆa´t khi c´ac k´y hiˆe.u nguˆo`n c´o x´ac suˆa´t xuˆa´t hiˆe.n bˇa`ng nhau H`ınh 6.5(b) l`a d¯ˆo` thi cu˙’a I(z, v) theo p bs khi cˆo´

d¯i.nh lˆo˜i kˆenh p e

Ta biˆe´t rˇa`ng, thˆong lu.o. ng cu˙’a BSC nhˆa.n d¯u.o c bˇa`ng c´ach lˆa´y maximum thˆong tin tu.o.ng hˆo˜ theo tˆa´t ca˙’ c´ac kha˙’ nˇang cu˙’a x´ac suˆa´t nguˆo`n H`ınh 6.5(b) l`a d¯ˆ` thi cu˙’ao

I(z, v) theo tˆa´t ca˙’ c´ac gi´a tri cu˙’a h`am x´ac suˆa´t (t´u.c l`a, v´o.i 0 ≤ p bs ≤ 1 hoˇa.c khi z

thay d¯ˆo˙’i t`u (0, 1) t d¯ˆe´n (1, 0) t ) Ta thˆ a´y I(z, v) d¯a.t cu c d. ¯a.i (v´o.i p e bˆa´t k`y) khi p bs = 1

2.

Gi´a tri p bs n`ay tu.o.ng ´u.ng z = (12,12)t Trong tru.`o.ng ho. p n`ay, I(z, v) = H bs (p e ) Do d¯´o thˆong lu.o. ng C = 1 − H bs (p e) cu˙’a BSC c´o d¯ˆ` thi trong H`ınh 6.5(c).o

Ch´u ´y rˇa`ng khi khˆong c´o lˆo˜i d¯u.`o.ng truyˆe` n (p e = 0) c˜ung nhu khi chˇa´c chˇa´n c´o

lˆo˜i (p e = 1) th`ı thˆong lu.o. ng cu˙’a kˆenh d¯a.t gi´a tri l´o.n nhˆa´t 1bit/k´y hiˆe.u Trong nh˜u.ng tru.`o.ng ho. p n`ay, c´o thˆe˙’ truyˆ` n thˆe ong tin nhiˆ` u nhˆe a´t v`ı t´ın hiˆe.u ra cu˙’a kˆenh c´o thˆe˙’ ho`an to`an d¯o´an tru.´o.c Tuy nhiˆen, khi p e = 12 th`ı t´ın hiˆe.u ra t`u kˆenh ho`an to`an khˆong thˆe˙’ d¯o´an tru.´o.c v`a khˆong c´o thˆong tin n`ao d¯u.o. c truyˆ` n qua n´e o