thˆo´ng truyˆe` n tin khˆong c´o nhiˆe˜u th`ı ch´u.c nˇang ch´ınh cu˙’a hˆe.. nguˆo`n th`ı t´ın hiˆe.u nguˆo`n l`a mˆo.t vector ngˆa˜u nhiˆen thuˆo.c A n... N´oi c´ach kh´ac, entropy cu˙
Trang 10.0 0.2 0.4 0.6 0.8 1.0 0.0
0.2 0.4 0.6 0.8 1.0
X´ac suˆa´t p bs Entropy H (bits/k´y hiˆe.u) (a) 0.0 0.2 0.4 0.6 0.8 1.0 0 1
.
.
.
.
.
.
.
.
.
.
.
1 − H bs (p e) X´ac suˆa´t p bs Thˆong tin tu.o.ng hˆo˜ I (bits/k´y hiˆe.u) (b) 0.0 0.2 0.4 0.6 0.8 1.0 0.0 0.2 0.4 0.6 0.8 1.0
X´ac suˆa´t p e
Thˆong lu.o. ng C (bits/k´y hiˆe.u)
(c)
H`ınh 6.5: Ba h`am thˆong tin nhi phˆan: (a) h`am entropy; (b) thˆong tin tu.o.ng hˆo˜ cu˙’a
kˆenh d¯ˆo´i x´u.ng nhi phˆan (BSC); (c) thˆong lu.o ng cu˙’a BSC
Trang 2Ngu.`o.i su.˙’ du.ng thˆong tin
Hˆe thˆo´ng
truyˆ` n tine
.
.
.
H`ınh 6.6: Mˆo h`ınh hˆe thˆo´ng truyˆe` n tin
6.3.3 C´ ac d ¯i.nh l´ y m˜ a ho´ a co ba˙’n
Trong Phˆ` n 6.3.2 ch´a ung ta d¯˜a d¯ˆ` cˆe a.p d¯ˆe´n mˆo h`ınh trong H`ınh 6.4 gˆo`m nguˆ`n thˆo ong tin, kˆenh v`a ngu.`o.i su.˙’ du.ng Phˆa` n n`ay ta s˜e thˆem v`ao mˆo.t hˆe thˆo´ng truyˆe` n tin v`a d¯ˆ`e
cˆa.p d¯ˆe´n ba d¯i.nh l´y vˆe` m˜a ho´a v`a biˆe˙’u diˆ˜n thˆong tin Nhu H`ınh 6.6 chı˙’ ra, hˆe thˆo´nge truyˆ` n tin d¯u.o.e c ch`en gi˜u.a nguˆ`n thˆo ong tin v`a ngu.`o.i su.˙’ du.ng; hˆe thˆo´ng n`ay bao gˆo`m
mˆo.t bˆo m˜a ho´a v`a mˆo.t bˆo gia˙’ m˜a
D - i.nh l´y m˜a ho´a khˆong nhiˆe˜u
Khi kˆenh thˆong tin v`a hˆe thˆo´ng truyˆe` n tin khˆong c´o nhiˆe˜u th`ı ch´u.c nˇang ch´ınh cu˙’a hˆe thˆo´ng truyˆ` n tin l`e a biˆe˙’u diˆe˜n nguˆo`n sao cho s´uc t´ıch nhˆa´t V´o.i nh˜u.ng gia˙’ thiˆe´t n`ay,
d ¯i.nh l´y m˜a ho´a khˆong nhiˆe˜u hay c`on go.i l`a d¯i.nh l´y th´u nhˆa´t cu˙’a Shannon cho biˆe´t d¯ˆo.
d`ai trung b`ınh cu˙’a t`u m˜a nho˙’ nhˆa´t
Ta go.i nguˆo `n khˆ ong nh´ o l`a nguˆ`n thˆo ong tin v´o.i khˆong gian x´ac suˆa´t h˜u.u ha.n
(A, z) v`a c´ac k´y hiˆe.u nguˆo`n d¯ˆo.c lˆa.p thˆo´ng kˆe v´o.i nhau Nˆe´u kha˙’o s´at t´ın hiˆe.u ra t`u nguˆ`n khˆo ong nh´o l`a bˆo gˆo`m n k´y hiˆe.u trong ba˙’ng ch˜u nguˆo`n th`ı t´ın hiˆe.u nguˆo`n l`a mˆo.t vector ngˆa˜u nhiˆen thuˆo.c A n Do ba˙’ng ch˜ u A gˆ `m J k´o y hiˆe.u, nˆen sˆo´ phˆa` n tu.˙’ cu˙’a A n
bˇa`ng J n Gia˙’ su ˙’ A n = {α1, α2, , α Jn}, trong d¯´o mˆo˜i α i l`a chuˆo˜i gˆo`m n k´y hiˆe.u thuˆo.c ba˙’ng ch˜u A K´y hiˆe.u P (α i) l`a x´ac suˆa´t xuˆa´t hiˆe.n vector α i = (a i1, a i2, , a in) Khi d¯´o
P (α i ) = P (a i1)P (a i2) · · · P (a in).
D- ˇa.t z0
= (P (α i1), P (α i2), , P (α Jn))t Ta c´o entropy cu˙’a nguˆ`n bˇo a`ng
H(z0) = −
Jn
X
i=1
P (α i ) log P (α i ).
Trang 3Suy ra
H(z0) = nH(z).
N´oi c´ach kh´ac, entropy cu˙’a nguˆ`n thˆo ong tin khˆong nh´o (ta.o ra c´ac vector ngˆa˜u nhiˆen)
gˆa´p n lˆ` n entropy cu˙’a nguˆa `n ta.o ra t`u.ng k´y hiˆe.u mˆo.t M˜a nguˆoo `n nhu vˆa.y thu.`o.ng go.i l`a mo ˙’ rˆ o.ng th´u n cu˙’a nguˆo`n k´y hiˆe.u d¯o.n.
V`ı thˆong tin riˆeng cu˙’a t´ın hiˆe.u ra α i l`a log[1/P (α i)] nˆen s˜e l`a ho. p l´y nˆe´u ch´ung
ta m˜a ho´a α i su.˙’ du.ng t`u m˜a c´o d¯ˆo d`ai nguyˆen l(α i) sao cho
log 1
P (α i) ≤ l(α i ) < log
1
P (α i) + 1.
Mˆo.t c´ach tru c gi´. ac go. i ´y rˇa`ng t´ın hiˆe.u ra α i d¯u.o. c biˆe˙’u diˆe˜n bo.˙’ i mˆo.t t`u m˜a m`a d¯ˆo d`ai cu˙’a t`u m˜a l`a sˆo´ nguyˆen nho˙’ nhˆa´t l´o.n ho.n thˆong tin riˆeng cu˙’a α i 4 Nhˆan kˆe´t qua˙’ n`ay v´o.i P (α i) v`a lˆa´y tˆo˙’ng theo i ta d¯u.o. c
Jn
X
i=1
P (α i) log 1
P (α i) ≤
Jn
X
i=1
P (α i )l(α i ) <
Jn
X
i=1
P (α i) log 1
P (α i) + 1;
hay tu.o.ng d¯u.o.ng
H(z0) ≤ L0avg < H(z0) + 1,
trong d¯´o L0avg l`a d ¯ˆ o d`ai trung b`ınh cu˙’a c´ac t`u m˜a biˆe˙’u diˆe˜n cho c´ac t´ın hiˆe.u ra α i T´u.c l`a
L0avg =
Jn
X
i=1
P (α i )l(α i ).
Ch´u ´y rˇa`ng H(z0)/n = H(z) Suy ra
H(z) ≤ L
0 avg
n < H(z) +
1
n .
Vˆa.y
lim
n→∞
L0 avg
n = H(z).
Phu.o.ng tr`ınh n`ay ch´ınh l`a nˆo.i dung cu˙’a d¯i.nh l´y th´u nhˆa´t cu˙’a Shannon d¯ˆo´i v´o.i nguˆo`n thˆong tin khˆong nh´o Kˆe´t qua˙’ n`ay chı˙’ ra rˇa`ng c´o thˆe˙’ lˆa´y n d¯u˙’ l´o.n d¯ˆe˙’ L0avg
n xˆa´p xı˙’
H(z) Mˇa.c d`u khˇa˙’ng d¯i.nh d¯u.o c suy t`u gia˙’ thiˆe´t c´ac k´y hiˆe.u nguˆo`n d¯ˆo.c lˆa.p thˆo´ng kˆe, nhu.ng ta dˆe˜ d`ang mo.˙’ rˆo.ng d¯ˆo´i v´o.i nh˜u.ng nguˆo`n tˆo˙’ng qu´at ho.n, chˇa˙’ng ha.n v´o.i nguˆo`n Markov bˆa.c m trong d¯´o su xuˆ. a´t hiˆe.n cu˙’a k´y hiˆe.u a j c´o thˆe˙’ phu thuˆo.c v`ao m k´y hiˆe.u
tru.´o.c C´ac nguˆ`n Markov thu.`o o.ng d¯u.o. c su˙’ du.ng d¯ˆo´i v´o.i c´ac mˆo h`ınh c´o mˆo´i tu.o.ng.
4 C´ o thˆ e˙’ xˆ ay du. ng m˜a c´ o thˆ e˙’ gia˙’i m˜ a t´ u.c th` o.i thoa˙’ d ¯iˆ ` u kiˆe.n n`ay e
Trang 4K´y hiˆe.u P (α i) I(α i) l(α i) T`u m˜a D- ˆo d`ai
Mo.˙’ rˆo.ng th´u nhˆa´t
Mo.˙’ rˆo.ng th´u hai
Ba˙’ng 6.2: V´ı du m˜a ho´a nguˆo`n mo.˙’ rˆo.ng
quan gi˜u.a c´ac pixel trong a˙’nh V`ı H(z) l`a mˆo.t cˆa.n du.´o.i cu˙’a L0
avg
n nˆen ta c´o thˆe˙’ d¯i.nh
ngh˜ıa hiˆ e.u suˆa´t cu˙’a qu´a tr`ınh m˜a ho´a l`a d¯a.i lu.o ng
η = n H(z)
L0 avg
.
V´ ı du 6.3.3 X´et nguˆ`n thˆo ong tin khˆong nh´o c´o ba˙’ng ch˜u A = {a1, a2} v´o.i c´ac x´ac suˆa´t P (a1) = 2/3 v` a P (a2) = 1/3 Entropy cu˙’a nguˆ`n n`o ay bˇa`ng 0.918 bits/k´y hiˆe.u
Nˆe´u biˆe˙’u diˆe˜n c´ac k´y hiˆe.u a1 v`a a2 bˇa`ng c´ac t`u m˜a 0 v`a 1 th`ı L0avg = 1 bit/k´y hiˆe.u v`a hiˆe.u suˆa´t cu˙’a m˜a l`a η = (1)(0.918)/1 = 0.918.
Ba˙’ng 6.2 tˆo˙’ng ho. p m˜a nhi phˆan v`a m˜a mo˙’ rˆ. o.ng v´o.i n = 2 (phˆa`n cuˆo´i cu˙’a ba˙’ng)
gˆ`m bˆo o´n vector α1, α2, α3 v`a α4 v´o.i c´ac x´ac suˆa´t tu.o.ng ´u.ng l`a 4/9, 2/9, 2/9 v` a 1/9.
Trong tru.`o.ng ho. p n`ay, d¯ˆo d`ai trung b`ınh cu˙’a c´ac t`u m˜a l`a 17/9 ' 1.89 bit/k´y hiˆe.u.
Entropy cu˙’a nguˆ`n mo.o ˙’ rˆo.ng gˆa´p hai lˆa` n entropy cu˙’a nguˆ`n ban d¯ˆo ` u, t´a u.c l`a bˇa`ng 1.83 bit/k´y hiˆe.u Do d¯´o hiˆe.u suˆa´t cu˙’a m˜a ho´a nguˆo`n mo.˙’ rˆo.ng l`a η = 1.83/1.89 ' 0.97 l´o.n ho.n hiˆe.u suˆa´t cu˙’a m˜a ho´a nguˆo`n ban d¯ˆ` u M˜a a ho´a nguˆ`n mo.o ˙’ rˆo.ng gia˙’m sˆo´ bit trung b`ınh trˆen k´y hiˆe.u t`u 1 bit/k´y hiˆe.u xuˆo´ng c`on 1.89/2 ' 0.92 bit/k´y hiˆe.u.
D - i.nh l´y m˜a ho´a c´o nhiˆe˜u
Nˆe´u kˆenh trong H`ınh 6.6 bi nhiˆe˜u hoˇa.c c´o thˆe˙’ xa˙’y ra lˆo˜i trong d¯u.`o.ng truyˆe` n th`ı vˆa´n
d¯ˆ` quan tˆe am thay d¯ˆo˙’i t`u biˆe˙’u diˆe˜n thˆong tin mˆo.t c´ach s´uc t´ıch sang viˆe.c m˜a ho´a sao cho c´o thˆe˙’ tin cˆa.y d¯u.o c d˜u liˆe.u truyˆe`n Mˆo.t vˆa´n d¯ˆe` tu nhiˆen d¯ˇa.t ra l`a: l`am sao d¯ˆe˙’´ıt
lˆo˜i nhˆa´t khi truyˆe` n thˆong tin?
Trang 5V´ ı du 6.3.4 X´et kˆenh d¯ˆo´i x´u.ng nhi phˆan (BSC) c´o x´ac suˆa´t lˆo˜i p e = 0.01 (t´u.c l`a 99 phˆ` n trˇa am c´ac k´y tu. nguˆ`n khi d¯u.o.o c truyˆ` n qua kˆenh l`e a ch´ınh x´ac) Mˆo.t c´ach d¯o.n gia˙’n d¯ˆe˙’ tˇang d¯ˆo tin cˆa.y khi truyˆe` n thˆong tin l`a lˇa.p la.i mˆo˜i thˆong b´ao hay k´y hiˆe.u nhi phˆan nhiˆ` u lˆe ` n Gia˙’ su.a ˙’ chˇa˙’ng ha.n, thay v`ı truyˆe` n 0 hoˇa.c 1, ch´ung ta m˜a ho´a th`anh c´ac thˆong b´ao 000 v`a 111 v`a truyˆ` n d¯i c´e ac thˆong b´ao n`ay X´ac suˆa´t khˆong xa˙’y ra lˆo˜i khi truyˆ` n thˆe ong b´ao bˇa`ng c´ach lˇa.p ba lˆa` n k´y hiˆe.u ban d¯ˆa` u l`a (1 − p e)3 = ¯p3
e X´ac suˆa´t xa˙’y ra mˆo.t lˆo˜i l`a 3p e¯2
e; hai lˆo˜i l`a 3p2
e¯;
e v`a x´ac suˆa´t xa˙’y ra ba lˆo˜i bˇa`ng p3
e V`ı
x´ac suˆa´t khi truyˆ` n bi mˆo.t lˆo˜i nho˙’ ho.n 50 phˆae ` n trˇam nˆen c´ac thˆong b´ao nhˆa.n d¯u.o c c´o thˆe˙’ gia˙’i m˜a su.˙’ du.ng luˆa.t sˆo´ d¯ˆong Do d¯´o x´ac suˆa´t gia˙’i m˜a sai mˆo.t t`u m˜a (gˆo`m ba k´y hiˆe.u) bˇa`ng tˆo˙’ng x´ac suˆa´t khi xa˙’y ra hai lˆo˜i v´o.i x´ac suˆa´t xa˙’y ra ba lˆo˜i, t´u.c l`a bˇa`ng
p3
e + 3p e¯2
e Khi khˆong xa˙’y ra lˆo˜i hoˇa.c chı˙’ c´o mˆo.t lˆo˜i th`ı gia˙’i m˜a theo luˆa.t sˆo´ d¯ˆong cho l`o.i gia˙’i d¯´ung V´o.i p e = 0.01 th`ı x´ac suˆa´t xa˙’y ra lˆo˜i khi truyˆe` n gia˙’m xuˆo´ng c`on 0.0003
Bˇa`ng c´ach mo.˙’ rˆo.ng phu.o.ng ph´ap m˜a lˇa.p trˆen, ch´ung ta c´o thˆe˙’ l`am cho lˆo˜i to`an
bˆo trong qu´a tr`ınh truyˆe` n thˆong nho˙’ theo mong muˆo´n Trong tru.`o.ng ho. p tˆo˙’ng qu´at, ch´ung ta c´o thˆe˙’ thu. c hiˆe.n d¯iˆe` u n`ay bˇa`ng c´ach m˜a ho´a mo.˙’ rˆo.ng th´u n cu˙’a nguˆo`n su.˙’ du.ng c´ac d˜ay d¯ˆo d`ai r t`u K k´y hiˆe.u, trong d¯´o K r
≥ J n L`o.i gia˙’i o.˙’ d¯ˆay l`a chı˙’ cho.n ϕ
d˜ay trong K r kha˙’ nˇang l`am c´ac t`u m˜a ho. p lˆe v`a ra quyˆe´t d¯i.nh sao cho x´ac suˆa´t gia˙’i m˜a d¯´ung l`a tˆo´i u.u Trong v´ı du tru.´o.c, lˇa.p mˆo˜i k´y hiˆe.u ba lˆa`n l`a tu.o.ng d¯u.o.ng v´o.i m˜a ho´a k´y hiˆe.u nguˆo`n su.˙’ du.ng hai t`u m˜a ho p lˆe 000 v`a 111 trong sˆo´ tˆa´t ca˙’ 23 = 8 kha˙’ nˇang Nˆe´u nhˆa.n d¯u.o c d˜ay ba bit khˆong pha˙’i t`u m˜a ho p lˆe., su.˙’ du.ng luˆa.t sˆo´ d¯ˆong ch´ung ta s˜e x´ac d¯i.nh bit d¯u.o c truyˆe`n Chˇa˙’ng ha.n, nˆe´u nhˆa.n d¯u.o c 101, th`ı kˆe´t luˆa.n chuˆo˜i bit d¯u.o. c truyˆ` n l`e a 111 v`a k´y hiˆe.u muˆo´n gu˙’ i l`. a 1
Nguˆ`n thˆo ong tin khˆong nh´o sinh ra thˆong tin v´o.i tˆo´c d¯ˆo (theo c´ac d¯o.n vi thˆong tin trˆen k´y hiˆe.u) bˇa`ng entropy H(z) cu˙’a n´o Nguˆo`n mo.˙’ rˆo.ng th´u n cung cˆa´p thˆong
tin v´o.i tˆo´c d¯ˆo H(z0)/n d¯o.n vi thˆong tin trˆen mˆo.t k´y hiˆe.u Nˆe´u thˆong tin d¯u.o c m˜a ho´a, nhu trong v´ı du tru.´o.c, tˆo´c d¯ˆo cu c d¯a.i cu˙’a thˆong tin d¯u.o c m˜a ho´a l`a (log ϕ)/r;
dˆa´u bˇa`ng xa˙’y ra khi ϕ t`u m˜a d¯u.o. c su˙’ du.ng d¯ˆe˙’ m˜a ho´a nguˆo. `n c´o x´ac suˆa´t bˇa`ng nhau
Do d¯´o, bˆo m˜a gˆo`m ϕ t`u m˜a, mˆo˜i t`u m˜a c´o d¯ˆo d`ai r, go.i l`a c´o tˆo´c d¯ˆo.
R = log ϕ
r .
D- i.nh l´y th´u hai cu˙’a Shannon, c`on go.i l`a d¯i.nh l´y m˜a ho´a c´o nhiˆe˜u, chı˙’ ra rˇa`ng, v´o.i bˆa´t
k`y R < C, trong d¯´o C l`a thˆong lu.o. ng cu˙’a kˆ enh khˆ ong nh´ o v´o.i ma trˆa.n Q,5 tˆ`n ta.i sˆo´o nguyˆen r v`a bˆo m˜a gˆo`m c´ac t`u m˜a d¯ˆo d`ai r n`ao d¯´o v´o i tˆo´c d¯ˆo R sao cho x´ac suˆa´t khi
5 Kˆ enh khˆ ong nh´ o l` a kˆ enh m` a pha˙’n ´ u.ng cu˙’a n´ o d ¯ˆ o´i v´ o.i k´ y hiˆ e.u v`ao hiˆe.n th`o i khˆong phu thuˆo.c v`ao pha˙’n ´ u.ng cu˙’a kˆ enh d ¯ˆ o´i v´ o.i c´ ac k´ y hiˆ e.u v`ao tru ´o.c d¯´o.
Trang 6gia˙’i m˜a sai mˆo.t d˜ay r k´y hiˆe.u nho˙’ ho n hoˇa.c bˇa`ng v´o.i mo.i > 0 cho tru.´o.c Do d¯´o
v´o.i d¯iˆ` u kiˆe.n tˆo´c d¯ˆo thˆong b´ao d¯u.o c m˜a ho´a nho˙’ ho.n thˆong lu.o ng cu˙’a kˆenh th`ı x´ace suˆa´t xa˙’y ra lˆo˜i c´o thˆe˙’ l`am nho˙’ tu`y ´y
D - i.nh l´y m˜a ho´a nguˆo ` n
C´ac d¯i.nh l´y d¯u.o c mˆo ta˙’ trˆen thiˆe´t lˆa.p gi´o.i ha.n d¯ˆe˙’ truyˆe`n thˆong khˆong xa˙’y ra lˆo˜i d¯ˆo´i v´o.i c´ac kˆenh tin cˆa.y c˜ung nhu c´ac kˆenh khˆong tin cˆa.y Trong phˆa`n n`ay, ch´ung ta x´et
kˆenh khˆong lˆo˜i nhu.ng qu´a tr`ınh truyˆe` n thˆong l`am mˆa´t thˆong tin Trong nh˜u.ng tru.`o.ng
ho. p n`ay, ch´u.c nˇang ch´ınh cu˙’a hˆe thˆo´ng truyˆe` n thˆong l`a “n´en thˆong tin” V´o.i hˆ` u hˆe´ta c´ac tru.`o.ng ho. p, lˆo˜i trung b`ınh trong qu´a tr`ınh n´en khˆong vu.o. t qu´a m´u.c cho ph´ep cu. c
d¯a.i D Ch´ung ta muˆo´n x´ac d¯i.nh tˆo´c d¯ˆo nho˙’ nhˆa´t v´o.i d¯iˆe` u kiˆe.n cho tru.´o.c tiˆeu chuˆa˙’n trung thu. c, nh˜u.ng thˆong tin n`ao vˆ` nguˆe `n c´o o thˆe˙’ truyˆ` n d¯a.t d¯ˆe´n ngu.`o.i su.˙’ du.ng B`aie to´an n`ay thuˆo.c l˜ınh vu c cu˙’a l´. y thuyˆ e´t rate distortion trong l´y thuyˆe´t thˆong tin.
Gia˙’ su.˙’ nguˆ`n thˆo ong tin v`a bˆo phˆa.n gia˙’i m˜a trong H`ınh 6.6 d¯u.o c x´ac d¯i.nh tu.o.ng
´
u.ng bo.˙’ i c´ac khˆong gian x´ac suˆa´t h˜u.u ha.n (A, z) v`a (B, v) Gia˙’ thiˆe´t kˆenh cu˙’a H`ınh
6.6 khˆong bi nhiˆe˜u Khi d¯´o ma trˆa.n biˆe´n d¯ˆo˙’i kˆenh thuˆa.n Q chuyˆe˙’n d¯ˆo˙’i t`u z sang v
c´o thˆe˙’ xem ch´ınh l`a qu´a tr`ınh m˜a ho´a-gia˙’i m˜a Do qu´a tr`ınh m˜a ho´a-gia˙’i m˜a l`a x´ac
d¯i.nh, ma trˆa.n Q mˆo ta˙’ mˆo.t kˆenh khˆong nh´o nhˆan ta.o mˆo h`ınh cho t´ac d¯ˆo.ng cu˙’a n´en v`a gia˙’i n´en thˆong tin Mˆo˜i khi nguˆo`n sinh ra k´y hiˆe.u a j , n´o d¯u.o. c biˆe˙’u diˆ˜n bo.e ˙’ i mˆo.t t`u m˜a v`a sau d¯´o d¯u.o. c gia˙’i m˜a th`anh k´y hiˆe.u ra b k v´o.i x´ac suˆa´t q kj (xem Phˆ` n 6.3.2).a B`ai to´an m˜a ho´a nguˆ`n sao cho distorsion trung b`ınh nho˙’ ho.n D d¯`o oi ho˙’i pha˙’i c´o c´ac nguyˆen tˇa´c xˆay du. ng gi´a tri distortion d¯ˆo´i v´o.i mo.i xˆa´p xı˙’ c´o thˆe˙’ ta.i d¯ˆa`u ra cu˙’a nguˆ`n V´o o.i tru.`o.ng ho. p d¯o.n gia˙’n cu˙’a nguˆ`n ban d¯ˆo ` u (nguˆa `n mo.o ˙’ rˆo.ng th´u nhˆa´t) ta c´o thˆe˙’ su.˙’ du.ng h`am chi ph´ı khˆong ˆam ρ(a j , b k ), go.i l`a d¯ˆo d¯o distorsion, l`a ph´ı tˆo˙’n pha˙’i
tra˙’ d¯ˆe˙’ t´ai ta.o la.i t´ın hiˆe.u nguˆo`n a j khi gia˙’i m˜a ra b k T´ın hiˆe.u ra cu˙’a nguˆo`n l`a ngˆa˜u nhiˆen nˆen distortion c˜ung l`a mˆo.t biˆe´n ngˆa˜u nhiˆen m`a gi´a tri trung b`ınh, k´y hiˆe.u d(Q),
bˇa`ng
d(Q) =
J
X
j=1
K
X
k=1
ρ(a j , b k )P (a j , b k)
=
J
X
j=1
K
X
k=1
ρ(a j , b k )P (a j )q kj
K´y hiˆe.u d(Q) nhˇa`m nhˆa´n ma.nh distortion l`a mˆo.t h`am trung b`ınh cu˙’a qu´a tr`ınh m˜a
ho´a-gia˙’i m˜a d¯u.o. c mˆo h`ınh bo.˙’ i ma trˆa.n Q Thu˙’ tu.c m˜a ho´a-gia˙’i m˜a go.i l`a D−chˆa´p