LUONG TIN TRUNG BINH docx

•ưXétưtậpưtínưhiệuưđầuưvào: [X]ư=ư[x1,x2…xn],ưvớiưxácưsuấtưtươngưứng: ư[Px]ư=ư[px1,px2…pxn].ư Tậpưcácưtínưhiệuưđầuưraưcủaưkênh:ư [Y]ư=ư[y1,y2…ym].ưXácưsuấtưtươngưứng: [Py]ư=ư[py1,ưpy2…py

•ưLượngưtinưtrungưbình:ưlàưlượngưtinưtrungưbìnhư chứaưtrongưmộtưkýưhiệuưbấtưkỳưthuộcưưnguồnư X:ư

víưdụ:ưXư=ư{x1,ưx2,x3}ưcóưxácưsuấtưxuấtưhiệnưtư

ơngưứngưưPư=ư{0,3;ư0,2;ư0,5}

I(X)=-[0,3.log0,3+0,2.logư0,2ư+ư0,5ưlogư0,5]

n i

x p X

1

∑

=

−

=

•ưLượngưtinưtươngưhộưtrungưbình:ưLượngưtinư

trungưbìnhưvềưmộtưtinưbấtưkỳưcủaưnguồnưXư chứaưtrongưmộtưtinưbấtưkỳưthuộcưtậpưY

i

j i

n i

m j

j i

x p

y x

p y

x p Y

X

∑∑

=

•ưLượngưtinưtrungưbìnhưcóưđiềuưkiện:ưlượngưtinư trungưbìnhưcủaưmộtưtinưbấtưkỳưcủaưYưkhiưđãư biếtưmộtưtinưbấtưkỳưcủaưX:

= =

= n

i

m j

i j

j

x p X

Y

I

1 1

| log

,

|

•Mốiưquanưhệưgiữaưcácưlượngưtinưtrungưbình:

I(X,Y)ư=ưưI(X)ư–ưI(X|Y) I(X,Y)ưư=ưI(Y,X)ư>ư=ư0

•ưEntropiưcủaưmộtưtinưbấtưkỳưxiưchínhưlàưđộư bấtưngờưcủaưtinưvàưđượcưxácưđịnh:ư

H(xi)ư=ư-ưlogp(xi)ưưưưưưưưưưưưưưưưưưưưưưưư(1)

•ưEntropiưcuảưnguồnưXưđượcưxácưđịnhưbằngư

độưbấtưngờưtrungưbìnhưvềưmộtưtinưcủaưnguồn:

=

−

i

i

x p X

H

1

• TínhưchấtưcủaưEntropi: -ưT/chấtư1: H ( )X ≥ 0

-ưT/chấtư2:ưH(X)ư=ư0ưkhiưnguồnưXưchỉưcóư

mộtưkýưhiệu

-ưT/chấtư3:ưH(X)ưđạtưcựaưđạiưkhiưxácưsuấtư

xuấtưhiệnưcácưkýưhiệuưcủaưnguồnưbằngưnhau

•ưXétưtậpưtínưhiệuưđầuưvào:

[X]ư=ư[x1,x2…xn],ưvớiưxácưsuấtưtươngưứng:

ư[Px]ư=ư[p(x1),p(x2)…p(xn)].ư

Tậpưcácưtínưhiệuưđầuưraưcủaưkênh:ư

[Y]ư=ư[y1,y2…ym].ưXácưsuấtưtươngưứng:

[Py]ư=ư[p(y1),ưp(y2)…p(ym)

























=

m n n

n

m m

y x y

x y

x

y x y

x y

x

y x y

x y

x Y

X

.

.

,

2 1

2 2

2 1

2

1 2

1 1

1

Matranưxácưsuất:

( )

( ) ( ) ( )























=

m n

n n

m m

y x p y

x p y

x p

y x p y

x p y

x p

y x p y

x p y

x p Y

X P

,

, ,

,

, ,

,

, ,

,

2 1

2 2

2 1

2

1 2

1 1

1

Từưmatranưxácưsuấtưcóưthểưxácưđịnh:

=

j

i

x

p

1

=

= n

i

j i

j p x y y

p

1

,

Và

•Entropiưđồngưthời:ưlượngưtinưtrungưbìnhưvềưxiư trongưXưchứaưtrongưtinưyjưcủaưnguồnưY:

n

i

m

j

j

x p Y

X

1 1

∑∑

= =

−

•ưEntropiưcóưđiềuưkiệnưH(X|Y):

n

i

m

j

j

x p Y

X

∑∑

= =

−

H(X|Y)ưlàưđộưmậpưmờưcủaưtrườngưvàoưcủaư

kênhưkhiưđãưbiếtưtrườngưraưcủaưkênh

•Entropiưcủaưtrườngưraưkhiưđãưbiếtưtrườngưvàoư củaưkênhưH(Y|X):

n i

m j

j

x p Y

X

1 1

∑∑

−

-ưNếuưtrênưkênhưkhôngưcóưnhiễu:ưP(xi|yj)ư=1ư

-Trênưkênhưcóưnhiễuưlớnưđểưtrườngưvàoưvàưraư kênhưđộcưlậpưthốngưkê:ư

P(xi|yj)ư=ưp(xi),ưP(yj|xi)ư=ưP(yj)ưthì:

ưH(X|Y)ư=ưH(X)ưvàưH(Y|X)ư=ưH(Y)

địnhưcácưxácưsuấtưcóưđiềuưkiện:























=

m n

n n

m m

y x

p y

x p y

x p

y x

p y

x p y

x p

y x p y

x p y

x p

Y X P

|

|

|

|

|

|

|

|

|

|

2 1

2 2

2 1

2

1 2

1 1

1

Maưtrânưnhiễuưtrênưkênh:

( )

( ) ( )





















=

n m

n n

m m

x y

p x

y p x

y p

x y

p x

y p x

y p

x y

p x

y p x

y p X

Y P

|

| )

| (

)

| (

)

| (

)

| (

)

| (

)

| (

)

| (

|

2 1

2 2

2 2

1

1 1

2 1

1

•H(X,Y)=H(X)ư+ưH(Y|X)ư=ưH(Y)ư+ưH(X|Y)

-Nếuưkhôngưcóưnhiễuưtrênưkênh:H(X,Y)ư=ư H(X)ư=ưH(Y)

-NếuưnhiễuưđủưlớnưlàmưXưvàưYưđộcưlập:ư

H(X,Y)ư=ưH(X)ư+ưH(Y)ưvàư

H(X)ư≥ H(X|Y), H(Y) ≥ H(Y|X)

•ưI(X,Y)ư=ưH(X)ư–ưH(X|Y)ư=ưH(Y)ư-ưH(Y| X)

=ưH(X)ư+ưH(Y)ư–ưH(X,Y)

-Nếuưtrênưkênhưcóưnhiễuưlớnưthìưtậpưphátưvàư tậpưthuưđộcưlậpưthốngưkêưthì:ư

H(X,Y)ư=ưH(X)ư+ưH(Y)ưvìưI(X,Y)ư=ư0

kênh:

-ưThôngưlượngưkênhưCư(b/s):ưLàưlượngưtinưtốiưđaư màưkênhưchoưđiưquaưtrongưmộtưđơnưvịưthờiư

gianưmàưkhôngưgâyưraưsaiưlầm.ư

[H X H X Y ] (bit s)

n R

Nhưưvậyưlượngưtinưtốiưđaưđiưquaưkênhưmàư

khôngưxảyưraưsaiưlầmưchínhưlàưtốcưđộưlậpưtinư cựcưđạiưtrongưkênhưcóưnhiễu

ưưưưưưưưưưưưưưưưưưưrcư=ư1ư–ưR/C

•ưHiệuưquảưsửưdụngưkênh:làưđộưđoưsựưchênhư lệchưgiữaưtốcưđộưlậpưtinưởưđầuưraưkênhưvàư

thôngưlượngưkênh:

C

R

η

Entropiưcủaưnguồnưrờiưrạc XétưmộtưnguồnưtinưliênưtụcưXưvớiưcácưtinưcóư phânưbốưxácưsuấtưlàưhàmưfx(x).ưEntropiưcủaư củaưnguồnưXưđượcưxácưđịnh:

( )X f ( )x f ( )x dx

∞

−

−

=

-ưNếuưtrênưkênhưcóưnhiễuưtínưhiệuưvàoưx(t)ư quaưkênhưsẽưchuyểnưđổiưthànhưy(t)ưtheoưquyư luậtưphânưbốưfXY(x|y):ư

( X Y ) f ( )x y f ( x y)dxdy

∞

−

∞

∞

−

=

-ưQuyưluậtưphânưbốưfXY(x|y)ưđểưxácưđịnhưđộư bấtưđịnhưtrungưbìnhưvềưmộtưtinưxưkhiưbênư

nhậnưnhậnưđượcưtinưy

-ưTươngưtựưtaưcó:ư

(Y X ) f ( )x y f ( y x)dxdy

∞

−

∞

∞

−

=

-ưQuyưluậtưphânưbốưfXY(x,y)ưđểưxácưđịnhưđộư bấtưđịnhưđồngưthời:

( X Y ) f ( )x y f ( )x y dxdy

∞

−

∞

∞

−

=

•Tínưhiệuưđầuưraưcủaưkênh:ưy(t)ư=ưx(t)ư+ưn(t).ư -ưEntropiưđồngưthờiưcủaưX,Y:

H(X,Y)ư=ưH(X,Xư+ưN)ư=ưH(X,N)

ưưưưưưưưưưưưư=ưH(X)ư+ưH(N)ư=ưH(X)ư+ưH(Y|X)

NênưH(Y|X)ư=ưH(N)ưlàưentropiưcủaưnguồnư

nhiễu

•Thôngưlượngưkênh:ư

Cư=ưRmaxư=ưn0[H(Y)ư-ưH(Y|X)]

ưưư=ưn/Ts[H(Y)ư-ưH(N)

1.ChoưXư=ư{a,b,c,d}ưcóưxácưsuấtưtươngưứngư là:ư0,5;ư0,25;ư0,125;ư0,125.ưtínhưlượngưtinư riêng,ưentropiưcủaưnguồnưX

2.Haiưnguồnưnhịưphânưcóưphânưbốưxácưsuất:ư p(x=y=0)ư=ưp(x=0,y=1)ư=ưp(x=y=1)ư=ư1/3 Hãyưtính:ư

H(X),ưH(Y),ưH(X,Y),ưH(Y|X),ưH(X|Y)

( )





=

0

2 / 2

/ /

1 a a x a x

f X

ưxưcònưlại Xácưđịnhưentropiưcủaưnguồn