Bài tập hệ thống truyền thông

Bài tập hệ thống truyền thông

Khái niệm về hệ thống truyền thông

1

Chương 2

Xác suất và quá trình ngẫu nhiên

Bài tập 1.Trong một lớp học có 87 sinh viên, 43 người đi xe ô tô con, 29 người đi xe máy,

10 người đi xe buýt và 5 người đi bộ Giảng viên chỉ định ngẫu nhiên một sinh viên Thực nghiệm: Phương tiện di chuyển của sinh viên là gì?

1 Xác định kết quả, tập kết quả có thể (tập mẫu)

2 Xác suất để sinh viên được chỉ định đi xe đạp

3 Xác suất để sinh viên được chỉ định đi xe buýt? xe máy? đi ô tô con? đi bộ?

Lời giải

• Tập mẫu: {xe buýt, xe máy, ô tô, đi bộ}

• Xác suất để SV đi xe đạp: 0

• 10/87;29/87;43/87;5/87;

Bài tập 1

Bài tập 2. Tung hai xúc xắc và quan sát tổng số điểm thu được

1 Xác định tập mẫu các giá trị có thể

2 Xác định các xác suất của các phần tử thuộc tập mẫu

Lời giải

1 Mỗi con xúc xắc có thể cho giá trị từ 1 đến 6, vậy tổng hai con xúc xắc có thể có giá trị từ 2 đến 12;

2 Chỉ có 1 tổ hợp kết quả (1,1) có thể cho kết quả là 2 Có k-1 tổ hợp cho kết quả là k-1

nếu k ≤ 7 Xác suất để phép gieo con xúc xắc có giá trị k là (k-1)/36 Nếu k ≥ 7, số

tổ hợp sẽ là 12-k-1, xác suất khi đó sẽ là (12-k-1)/36

2

Bài tập 2

Bài tập 3. Một nhà máy thuốc súng có hai mạch điện A, B kiểm soát Nếu cả hai mạch này hỏng, nhà máy sẽ nổ Xác suất hỏng của từng mạch là 0.001 và 0.004 Đồng thời P(B|A)=0.006

1 P(A|B)=?

2 Xác suất nổ của nhà máy

3 2 sự kiện có độc lập thống kê hay không?

Lời giải

1 P (A|B) = P (A, B)/P (B) = P (B|A).P (A)/P (B) = 0.006 × 0.001/0.004 = 0.0015

2 Xác suất nổ của nhà máy: P (A, B) = P (B|A)P (A) = 0.000006

3 2 sự kiện không độc lập thống kê vì P (B|A) 6= P (B)

Bài tập 3

Bài tập 4 Cho 2 thực nghiệm A, B A có 4 kết quả có thể, B có 3 kết quả có thể, Xác suất

đồng thời của các sự kiện được cho trong bảng dưới đây

A1 A2 A3 A4

B1 0.10 0.05 0.05 0.11

B2 0.08 0.03 0.12 0.04

B3 0.13 0.09 0.14 0.06

Xác định xác suất của các sự kiện A i , B j , i = 1 − 4, j = 1 − 3, các xác suất có điều kiện Lời giải

• Kẻ bảng 4x5, thêm hai cột cuối cùng là các xác suất riêng của A i , B j

• Các xác suất riêng được tính theo công thức: P (A i) = P3

j=1

P (A i , B j ), P (B j) = P4

i=1

P (A i , B j)

Xác suất có điều kiện được tính theo định nghĩa P (A i |B j ) = P (A i , B j )/P (B j ), P (B j |A i) =

P (A i , B j )/P (A i)

• Kết quả:

A1 A2 A3 A4 P (B i)

B1 0.10 0.05 0.05 0.11 0.31

B2 0.08 0.03 0.12 0.04 0.27

B3 0.13 0.09 0.14 0.06 0.42

P (A j) 0.31 0.17 0.31 0.21 Xác suất có điều kiện

P (A i |B j) A1 A2 A3 A4

B1 0.322580645 0.161290323 0.161290323 0.35483871

B2 0.296296296 0.111111111 0.444444444 0.148148148

B3 0.30952381 0.214285714 0.333333333 0.142857143

P (B j |A i) A1 A2 A3 A4

B1 0.322580645 0.294117647 0.161290323 0.523809524

B2 0.258064516 0.176470588 0.387096774 0.19047619

B3 0.419354839 0.529411765 0.451612903 0.285714286

Bài tập 4

Bài tập 5. Chứng minh

p(x1, x2 x n) =

p(x n |x n−1 , x n−2 x1)p(x n−1 |x n−2 , x n−3 x1) p(x2|x1)p(x1)

Lời giải

• Có

p(x2, x1) = p(x2|x1)p(x1)

p(x3, x2, x1)p(x3|x2, x1)p(x2, x1)

p(x4, x3, x2, x1)p(x4|x3, x2, x1)p(x3, x2, x1)

p(x1, x2 x n ) = p(x n |x n−1 , x n−2 x1)p(x n−1 , x n−2 x1)

• Nhân tất cả các đẳng thức trên với nhau, được kết quả cần chứng minh

Bài tập 5

Bài tập 6 Điều kiện cần và đủ để 3 sự kiện A1, A2, A3 độc lập thống kê?

Lời giải P (A1)P (A2)P (A3) = P (A1, A2, A3) Bài tập 6

Bài tập 7 Biến ngẫu nhiên rời rạc X có các giá trị có thể là {1, 3, 5, 9, 13}, với các xác suất tương ứng là {0.05, 0.15, 0.25, 0.40, 0.15}

1 Xác định hàm mật độ xác suất của X

2 Xác định xác suất P (X ≤ 7.0)

Lời giải Hàm mật độ xác suất của X

p(x) =

n

X

i=1

p(x i )δ(x − x i)

p(x) = 0.05δ(x − 1) + 0.15δ(x − 3) + 0.25δ(x − 5) + 0.40δ(x − 9) + 0.15δ(x − 13)

P (X ≤ 7.0) = 0.45 Bài tập 7

Bài tập 8 Biến ngẫu nhiên Y là hàm của biến ngẫu nhiên X; Y = 2X − 6.

1 Xác định hàm mật độ xác suất của Y

Lời giải Y là biến ngẫu nhiên nhận các giá trị rời rạc y i = 2x i − 6, với p(y i ) = p(x i =

(y i + 6)/2) Hàm mật độ xác suất của Y là

p(y) = 0.05δ((y + 6)/2 − 1) + 0.15δ((y + 6)/2 − 3) + 0.25δ((y + 6)/2 − 5)+

+0.40δ((y + 6)/2 − 9) + 0.15δ((y + 6)/2 − 13)

p(y) = 0.05δ(y + 4) + 0.15δ(y) + 0.25δ(y − 4) + 0.40δ(y − 12) + 0.15δ(y − 20)

Bài tập 8

Bài tập 9 Cho một phép thử với tập hợp mẫu {1, 2, 3, 4, 5, 6} đẳng xác suất Xác định

hàm mật độ phân bố xác suất của các biến ngẫu nhiên X sau (s là giá trị của phép thử)

a X = 6s d 3 exp(− s

2)

b X = 12s2− 2s e X = cos( πs

2 )

c X = s3 +3

h

1 + (s2

6)

i−1

Lời giải

a X là biến ngẫu nhiên rời rạc có các giá trị {6, 12, 18, 24, 30, 36} với các xác suất lần lượt

là {1/6, 2/6, 3/6, 4/6, 5/6, 6/6} Vậy hàm mật độ phân bố xác suất của X là

p(x) =

6

X

i=1

i

6δ(x − 6i)

a X là biến ngẫu nhiên rời rạc có các giá trị {10, 44, 90, 160, 250, 840} với các xác suất lần lượt là {1/6, 2/6, 3/6, 4/6, 5/6, 6/6} Vậy hàm mật độ phân bố xác suất của X là

p(x) =

6

X

i=1

i

6δ(x − 12i

2+ 2i)

Tổng quát, nếu

X = F (s)

thì

p(x) =

6

X

i=1

i

6δ(x − F (i))

Bài tập 9

Bài tập 10.Yêu cầu giống bài tập trên, với tập hợp mẫu là các số thực phân bố đều trong

khoảng 2 ≤ s ≤ 5

Lời giải Điểm khác biệt so với bài tập trước là biến ngẫu nhiên X có tính chất liên tục, do

đó cần áp dụng công thức tổng quát Y = G(X) thì p Y (y) =Pk

1

pX (x i)

|g 0 (x i )| , trong đó s1, s2, s k

là nghiệm của phương trình G(s) = x và là hàm số của y Trong bài này, biến ngẫu nhiên

S với hàm mật độ phân bố xác suất đều p(s) = 1/3 với 2 ≤ s ≤ 5 đóng vai trò biến ngẫu nhiên gốc, còn X = G(S) đóng vai trò biến ngẫu nhiên hàm Vậy có các kết quả

a X = 2S − 6; S = (X + 6)/2.

p X (x) = p S ((x + 6)/2)

½

0, nếux < −2 hoặc x > 4

−1/6, nếu − 2 ≤ x ≤ 6;

b X = 12S2 − 2S; s1 = 1+√121+12x , s2 = 1− √121+12x

p X (x) = p S(

1+√ 1+12x

12 )

2√ 1 + 12x −

p S(1− √ 1+12x

12 )

2√ 1 + 12x

p X (x) =

6√ 1+12x , nếu 52 ≤ x ≤ 310

c Phương trình có một nghiệm duy nhất s = √3

5x − 3 Vậy

p X (x) = 5p S(

3

√

5x − 3)

(3√3

5x − 3)2 = 5

9√3

5x − 3)2

Bài tập 11 Biến ngẫu nhiên Y là hàm của biến ngẫu nhiên X;Y = T (X) trong đó T là hàm đơn điệu tăng hoặc giảm, T −1 là hàm ngược của T Chứng tỏ rằng

p Y (y) = p X (x)

¯

¯

¯

¯dx dy

¯

¯

¯

¯

trong đó x = T −1 (y)

Lời giải

F Y ()y = P (Y ≤ y) = P (T (X) ≤ y) = P (X ≤ T −1 (y)) = F X (T −1 (y))

Vậy

p Y (y) = dF Y (y)

dy = p X (T

−1 (y)) dT −1 (y)

dy = p X (x)

dx dy

Bài tập 11

Bài tập 12 Cho hai biến ngẫu nhiên X, Y độc lập thống kê với 2 hàm mật độ xác suất

p X (x) và p Y (y) Biến ngẫu nhiên W = X + Y Xác định hàm mật độ phân bố xác suất của

W

Lời giải

Theo định nghĩa

F W (w) = P (W ≤ w) = P (X + Y ≤ w) = P (X ≤ w − Y ) = F X (w − y)F Y (y)

Lấy đạo hàm theo w, đặt t = w − y có F T (t) = F X (t), F T Y (t) = F X Y (t)

F W (w)

dw =

F T Y (t, y)

dt =

Z +∞

y=−∞

p T Y (t, y)dy =

Z +∞

y=−∞

p X (w − y)p Y (y)dy

Bài tập 12

Bài tập 13 Cho hàm phân bố xác suất đồng thời của hai biến ngẫu nhiên p(x, y) =

½ 1

12, nếu 0 ≤ x ≤ 3và 0 ≤ y ≤ 4

1 Xác định hàm mật độ xác suất riêng của từng biến ngẫu nhiên

2 Xác định các xác suất P (Y ≤ X

2), P (Y ≤ 2X)

Lời giải p(x) = 1/3 nếu 0 ≤ x ≤ 3, p(y) = 1/4 nếu 0 ≤ y ≤ 4 áp dụng kết quả của

bài trên, đặt X1 = −X/2, p(X1) = 2/3 với −3/2 ≤ X1 ≤ 0.Đặt W = X1 + Y , p(w) =

R4

0 p X1 (w − y)p Y dy = p(w) = 1

4

Rw

w−4 p X1 (y)dy

p(w) =











0, nếu w > 4 hoặc w < −1.5

1

6w +1

4, nếu − 1.5 < w < 0 1/4, nếu 0 < w < 2.5 1/6(4 − w), nếu 2.5 < x < 4

Bài tập 13

Bài tập 14. Một sinh viên (chưa học bài) vào phòng thi CSLTTT Bài thi trắc nghiệm có

10 câu hỏi, mỗi câu có 4 phương án trả lời, trong đó 1 câu đúng Trả lời đúng 1 câu được 1 điểm, không đúng được 0 điểm Sinh viên này chọn câu trả lời một cách ngẫu nhiên, 1 câu trả lời cho một câu hỏi Hỏi xác suất để bạn sinh viên này được 0 điểm? 10 điểm? 2 điểm?

k điểm?

Lời giải áp dụng công thức tính cho phân bố nhị thức, xác suất được k điểm là

C n k p k (1 − p) n−k = C10k 0.25 k 0.75 10−k k=0 xác suất này là 0.7510 = 0.056313515

k=10 xác suất này là 0.2510 = 9.53674E − 07

k=2 xác suất này là

0.758.0.252.C2

10= 0.281567574

Bài tập 14

Bài tập 15.Tính các hàm phân bố xác suất và các mô men của các phân bố xác suất đều

Bài tập 16. Tính các hàm phân bố xác suất và các mô men của các phân bố xác suất nhị thức

Chương 3

Thông tin và định lượng thông tin

Bài tập 17.Một trò chơi sử dụng 52 quân bài Lấy 4 quân bài bất kỳ Định nghĩa 4 sự kiện

• E1: Tất cả các quân bài đều lớn hơn 9

• E2: Tất cả các quân bài đều không có hình người (át được coi là có hình người)

• E3: 4 quân bài có màu giống nhau

• E4: 4 quân bài đều là át

1 Tính lượng tin riêng của từng sự kiện

2 Tính lượng tin tương hỗ I(E1;E3)

3 Cần khoảng bao nhiêu bít để biểu diễn thông tin của một bộ 4 con bài như trên

Lời giải Cả 52 quân bài đều khác nhau Vậy có C524 = 270725 bộ 4 con bài E1 xuất hiện

trong C164 = 1820 tổ hợp (có 16 quân bài lớn hơn J) E2 xuất hiện trong C4

9 = 126 tổ hợp

E3 xuất hiện trong 4C134 = 715 tổ hợp E4 xuất hiện trong duy nhất 1 trường hợp

Lượng tin riêng của 4 sự kiện lần lượt là 7.216745858, 11.06918867,8.564669162, 18.04646859

Để biểu diễn một bộ 4 con bài, cần tối thiểu là 19 bít

Trong tất cả 715 các tổ hợp mà E3 xuất hiện, có 4 tổ hợp mà E1 xuất hiện Vậy

P (E1|E3) = 4/715, I(E1|E3)=7.481799432 bit, I(E1;E3)=I(E1)- I(E1|E3)=-0.265053573 bít

Bài tập 17

Bài tập 18 Một nguồn không nhớ X gồm 3 ký hiệu x1, x2, x3, với các phân bố xác suất

0.45, 0.35, 0.20 được biến đổi thành nguồn tin Y = aX + b Tính Entropy của nguồn Y

Lời giải Nếu a 6= 0, có

E(Y ) = 0.45log20.45 − 0.35log20.35 − 0.20log20.20 = 1.512887622

Bài tập 18

Bài tập 19. Truyền 8 ký hiệu đẳng xác suất bằng các ký hiệu nhị phân

x1 x2 x3 x4 x5 x6 x7 x8

0000 0011 0101 0110 1001 1010 1100 1111

Xét chuỗi ký hiệu nhận được là 0000

8

1 Tính lượng tin tương hỗ giữa hai sự kiện: Nhận được bít đầu tiên =0 và sự kiện: đã

gửi ký hiệu x1 đi

2 Tính lượng tin nhận được khi nhận bít thứ 2 bằng 0 tương hỗ với sự kiện: đã gửi ký

hiệu x1 đi

3 Tính lượng tin nhận được khi nhận bít thứ 3 bằng 0 tương hỗ với sự kiện: đã gửi ký

hiệu x1 đi Tính lượng tin nhận được khi nhận bít thứ 4 bằng 0 tương hỗ với sự kiện:

đã gửi ký hiệu x1 đi

Lời giải

Lượng tin ban đầu của sự kiện X = x1 là

I(x1) = − log21/8 = 3(bt) Sau khi nhận được ký hiệu 0, xác suất có điều kiện của x1 lúc này là:

P (x1|y1 = 0) = P (x1)

P (x1) + P (x2) + P (x3) = 1/3

Lượng tin của x1 lúc này là

I(x1|y1 = 0) = − log23 = 1.584962501 Vậy lượng tin tương hỗ của sự kiện y1 = 0 và X = x1 là 3 + log23 = 1.415037499

Sau khi nhận được ký hiệu 0 thứ hai, xác suất có điều kiện của X = x1 là

P (x1|y1 = 0) = P (x1)

P (x1) + P (x2) = 1/2

Lượng tin có điều kiện lúc này là 1 bít, vậy lượng tin tương hỗ I(y2 = 0; X = x1) =

0.415037499 bít

Nhận được ký hiệu 0 thứ 3

P (x1|y1 = 0) = P (x1)

P (x1) = 1

, lượng tin có điều kiện I(y3 = 0|X = x1) = 0 Vậy lượng tin tương hỗ I(y3 = 0; X = x1) = 1 Cuối cùng, nhận được ký hiệu 0 thứ 4, lượng tin có điều kiện =1, không thay đổi, vậy

Bài tập 20. Cho n quả cân, trong đó có một quả cân nhẹ hơn Mỗi lần cân cân được hai

tập con a,b bất kỳ các quả cân Kết quả thu được có thể là a < b, a = b, a > b Xác định số

lần cân cần thiết để có thể tìm ra quả cân nhẹ

Lời giải Đánh số các quả cân từ 1 đến n, và định nghĩa biến ngẫu nhiên X=i, i là số thứ tự

của quả cân nhẹ Độ bất định trung bình của X có giá trị lớn nhất là log2n khi xác suất để

các quả cân là quả cân nhẹ bằng nhau Vậy lượng tin cần thiết để tìm ra quả cân là log2n

Đánh số các lần cân Mỗi lần cân cho kết quả là một biến ngẫu nhiên X j có 3 giá trị Rõ

ràng là độ bất định trung bình của mỗi lần cân nhỏ hơn log23, và đạt giá trị lớn nhất khi 3 kết quả đẳng xác suất, có nghĩa là chia thành 3 khối có xác suất như nhau

Lượng tin tương hỗ giữa X j và X: I(X j ; X) = H(X j )−H(X j |X) = H(X j) Điều này cũng

đúng cho nhiều lần cân I(X1, X m ; X) = H(X1, X2 X m ) − H(X j |X) = H(X1, , X m)

Do đó

H(X1, , X m ) = log2n

hay

mlog23 ≥ log2n; m ≥ log3n

Dấu bằng đạt được khi và chỉ khi

• Tất cả các lần cân không phụ thuộc lẫn nhau (không bao giờ hai quả cân được cân 2 lần)

• Mỗi lần cân chia đều các quả cân thành 3 khối như nhau

Bài tập 20

Bài tập 21. Cho một nguồn tin 8 ký hiệu với các xác suất lần lượt là 1/2, 1/4, 1/8, 1/16, 1/32, 1/64, 1/128, 1/128 Nguồn có thể truyền 100 ký hiệu /s Xác định tốc độ lập tin của nguồn Chỉ ra cách mã hóa để tốc độ lập tin của nguồn có thể đạt giá trị tối đa?

Lời giải 1,01,001,0001,00001,000001,0000001,0000000 Bài tập 21

Bài tập 22. Xét một kênh truyền tin với đầu vào A và đầu ra B Xác suất đồng thời của các đầu vào và đầu ra là

A1 A2 A3 A4

B1 0.10 0.05 0.05 0.11

B2 0.08 0.03 0.12 0.04

B3 0.13 0.09 0.14 0.06 Tính H(A), H(B), H(A,B), H(A|B), H(B|A) Nguồn A có tốc độ truyền 100 ký hiệu/S Xác định tốc độ lập tin của nguồn và độ dư Kênh này là kênh có nhiễu? Độ dư của nguồn?

Lời giải H(B)=1.55946239

H(A)=1.954999136

H(A,B)=3.446710865

H(A|B) = 1.887248475

H(B|A) = 1.491711729

Tốc độ lập tin của nguồn 100.1.954999136 = 195.4999136bit/s

độ dư của nguồn 2.25%

Bài tập 23. Cho một kênh truyền tin, đầu vào có 4 ký hiệu, đầu ra có 4 ký hiệu, với các xác suất chuyển đổi cho trong bảng dưới đây

B1 B2 B3 B4

A1 0.97 0.01 0.01 0.01

A2 0.01 0.97 0.01 0.01

A3 0.01 0.01 0.97 0.01

A4 0.01 0.01 0.01 0.97

1 Xác định thông lượng của kênh

2 Cho phân bố xác suất của nguồn là 1/2, 1/4, 1/8, 1/8 Xác định entropy của đầu vào, đầu ra Xác định phương pháp mã hóa để có tốc độ lập tin đầu ra lớn nhất

3 Tính xác suất lỗi ký hiệu

Bài tập 24. Cho kênh truyền tin nhị phân, đầu vào biểu diễn bằng biến ngẫu nhiên X, có hai giá trị 1, 0 phân bố xác suất là 1/3 và 2/3 đầu ra là biến ngẫu nhiên Y với 2 giá trị 0,1 Các xác suất chuyển đổi được cho như sau:

h

P Y/X

i

=

·

1/5 4/5

4/5 1/5

¸

Khi nhận được ký hiệu 1 ở đầu ra, có thể xác định ký hiệu đầu vào là 0,1 hay không?

Bài tập 25. Cho kênh truyền tin trong hình vẽ 25

p p p

p

1-p

1-p

1-p

1-p

A

B

C

D

A B C D E

Hình 3.1: Kênh 4 ký hiệu có xóa Tính thông lượng kênh

Bài tập 26. Tính thông lượng của kênh nhị phân báo 1 lỗi cho trong hình vẽ 26

Bài tập 27. Cho 2 kênh truyền tin trong hình 27

Tính thông lượng 2 kênh nói trên và thông lượng kênh tạo thành bởi việc đấu đối tiếp hai kênh này

A

A E p

p

1-p

1-p

Hình 3.2: Kênh nhị phân có xóa

e

B

B

1

1

p

1-p

A

B

A

B

e

1

q 1-q

Hình 3.3: 2 kênh nhị phân

Mã hiệu

Bài tập 28. Cho mã hiệu 10,011, 0111, 01111

1 Các thông số cơ bản của mã

2 Biểu diễn mã hiệu bằng đồ hình kết cấu, bằng cây mã

3 Xác định hàm kết cấu của mã hiệu

4 Xác định tính giải mã được và độ trễ giải mã của mã hiệu

13

Chương 5

Mã hóa nguồn-Nén dữ liệu

Bài tập 29. Một nguồn không nhớ 4 ký hiệu xác suất là 0.3365,0.3365 , 0.1635 và 0.1635

• Mã hóa mỗi ký hiệu bằng 2 ký hiệu nhị phân Tính tốc độ lập tin trung bình

• Lập mã Huffman, Fano-Shannon và tính tốc độ lập tin trung bình

• Mã hóa từng khối J ký hiệu sử dụng mã Huffman Tốc độ lập tin trung bình tối thiểu đầu ra là bao nhiêu

Bài tập 30. Xét nguồn tin là tổng của hai con xúc xắc Xây dựng mã Huffman cho nguồn tin

Giả sử có một người chơi A gieo hai con xúc xắc Người chơi B dự đoán kết quả bằng các câu hỏi có/không Cần bao nhiêu câu hỏi để có thể đoán được tổng hai con xúc xắc Câu hỏi đầu tiên là gì

Bài tập 31. Cho chuỗi ký hiệu nhị phân sau:

1101100001010101 0000011001000100 1101001001001011 0111100101010001

Lập bảng từ điển cho mã Lempel-Zip Tính hệ số nén

14