Báo cáo đề tài nghiên cứu khoa học sinh viên-Ứng dụng Matlab vào giải các bài toán Lý thuyết thông tin

Báocáo đề tài nghiên cứu khoa giảicác bàitoán Lý thuyết thông tin

MỤC LỤC

MỞ ĐẦU 1

PHẦN I TỔNG QUAN CHUNG VỀ ĐỀ TÀI 2

1 Trong nước 2

2 Quốc tế 2

3 Phần mềm Matlab 2

3.1 Khởi động, thoát chương trình Matlab 2

a Khởi động 2

b Thoát 3

c Thực thi lệnh 3

3.2 Biểu thức trong Matlab 3

a Biểu thức 3

b Biến trong Matlab 3

c Hàm trong Matlab 4

3.3 Ma trận trong Matlab 4

a Nhập ma trận 4

b Tổng các cột và chuyển vị 6

c Đường chéo của ma trận 6

d Trích phần tử 6

e Dùng dấu hai chấm trong chỉ số 7

f Các phép toán trên ma trận 7

3.4 Function 8

3.5 Hàm phụ 9

3.6 Vẽ đồ thị bằng hàm plot, subplot 10

a Cú pháp 10

b Khai báo màu, kiểu nét và đánh dấu điểm dữ liệu 11

Vẽ nhiều đồ thị trên cùng figure 13

PHẦN II TÓM TẮT LÍ THUYẾT MÔN HỌC LÝ THUYẾT THÔNG TIN 14

1 Cơ sở lý thuyết thông tin thống kê 14

Đo lường thông tin 14

a Định nghĩa 14

b Đơn vị đo lường thông tin 14

c Lượng thông tin hậu nghiệm 14

d Lượng thôn tin chéo 14

e Lương thông tin tổn hao 14

f Kênh không nhiễu 14

g Kênh đứt (nhiễu tuyệt đối) 14

1.2 Entropy nguồn rời rạc 14

a Định nghĩa 14

b Tính chất: 15

c Phân loại 15

d Tính chất của entropy hợp và entropy có điều kiện 15

e Lượng thông tin tương hỗ: 16

1.3 Entropy vi phân của nguồn liên tục 16

a Một số tính chất cơ bản: 16

b Đinh lý: 16

c Entropy vi phân hợp: 16

d Entropy vi phân có điều kiện: 16

e Lượng thông tin tương hỗ 16

1.4 Dung lượng kênh rời rạc 17

a Tốc độ phát của nguồn rời rạc 17

b Lượng thông tin trung bình do nguồn phát trong 1 đơn vị thời gian Đơn vị bit/s 17

c Độ thừa của nguồn rời rạc 17

d Lượng thông tin truyền qua kênh trong 1 đơn vị thời gian là 17

e Khả năng phát của nguồn rời rạc 17

f Khả năng thông qua của kênh 17

g Tính chất: 17

2 Mã hóa nguồn 18

Định nghĩa 18

Mã hoá 18

2.2 Bộ mã 18

a Độ dài trung bình 18

b Cơ số mã 18

c Bộ mã đầy, bộ mã vơi 18

d Đánh giá hiệu quả của phép mã hoá 18

e Phương sai độ dài trung bình của bộ mã 18

2.3 Mã suy biến: 18

2.4 Mã prefix 19

2.5 Mã Huffman 19

3 Mã hóa kênh 20

PHẦN III MỘT SỐ DẠNG BÀI TẬP LÝ THUYẾT THÔNG TIN 21

1 Dạng bài liên quan đến entropy 21

2 Dạng bài tìm ma trận sinh G, ma trận kiểm tra H ở dạng hệ thống của mã vòng tuyến tính C(l,k) với đa thức sinh g(x) cho trước 22

3 Dạng bài liệt kê từ mã, đánh giá khả năng phát hiện và sửa lỗi của bộ mã 23

4 Dạng bài sử dụng thuật toán chia dịch vòng bẫy lỗi để tìm lại từ mã đã phát C(l,k) khi biết đa thức sinh g(x), đa thức từ mã nhận được v(x) 23

5 Ứng thuật toán 4 bước tìm từ mã đầu ra của thiết bị mã hoá hệ thống theo phương pháp chia 24 6 Dạng bài Huffman, đánh giá hiệu quả mã hoá, giải mã một từ mã theo từ bộ mã vừa xây dựng 26

7 Dạng bài xây dựng tổng kiểm tra cho một dấu mã, xây dựng sơ đồ chức năng bộ giải mã đa số, thực hiện giải mã cho 1 từ mã nhận được 27

PHẦN IV XÂY DỰNG HÀM 28

1 Hàm tính entropy 28

2 Hàm tìm ma trận sinh ma trận kiểm tra dạng hệ thống Bài tập 2.11 đến 2.18 29

3 Hàm liệt kê từ mã, đánh giá khả năng phát hiện và sửa lỗi của bộ mã 30

4 Hàm chia hai đa thức trong trường nhị phân 31

5 Thuật toán chia dịch vòng bẫy lỗi Bài tập 2.22-2.25 32

6 Thuật toán 4 bước Bài tập 3.14-3.17 33

7 Hàm thực hiện mã hoá Huffman Bài tập 3.19-3.23 35

8 Hàm thực hiện thiết lập hệ tổng kiểm tra Bài tập 4.1-4.3 36

9 Hàm tìm lại từ mã đã phát bằng phương pháp giải mã ngưỡng 37

PHẦN V KẾT QUẢ CHẠY MÔ PHỎNG MỘT SỐ HÀM 40

1 Ví dụ 1 40

2 Ví dụ 2 41

KẾT LUẬN 43

TÀI LIỆU THAM KHẢO 44

MỞ ĐẦUMục tiêu

- Giúp sinh viên làm quen với hoạt động nghiên cứu khoa học, rèn luyện kỹ năng làm việcnhóm

- Xây dựng một bộ thư viện Matlab giúp củng cố và hỗ trợ giải các bài toán môn học Lý thuyếtthông tin

Nội dung

- Tìm hiểu, sử dụng ngôn ngữ lập trình Matlab

- Tóm tắt kiến thức cơ bản môn học Lý thuyết thông tin, phân loại các loại bài tập cơ bản

- Áp dụng ngôn ngữ lập trình Matlab xây dựng bộ thu viện hỗ trợ giải các bài toán điển hìnhtrong môn học Lý thuyết thông tin

Báo cáo của chúng em sẽ trình bày về các vấn đề sau:

Đề tài: Ứng dụng Matlab vào giải các bài toán Lý thuyết thông tin

Phần 1 Tổng quan chung về đề tài và hướng dẫn sử dụng phần mềm Matlab

Phần 2 Tóm tắt lý môn học lý thuyết thông tin

Phần 3 Một số dạng bài lý thuyết thông tin tiêu biểu

Phần 4 Kết quả một số hàm

PHẦN I TỔNG QUAN CHUNG VỀ ĐỀ TÀI.

1 Trong nước

Ngày nay, các thành tựu của cuộc cách mạng khoa học kĩ thuật đang từng ngày, từng giờlàm thay đổi cuộc sống của con người Cùng với sự bùng phát của khoa học công nghệ, nhu cầutính toán và xử lí các phép toán một cách nhanh chóng là khá cần thiết MATLAB ra đời và giúpchúng ta giải quyết những vấn đề đó MATLAB cho phép tính toán số với ma trận, vẽ đồ thị hàm sốhay biểu đồ thông tin, thực hiện thuật toán, tạo các giao diện người dùng và liên kết với nhữngchương trình máy tính viết trên nhiều ngôn ngữ lập trình khác MATLAB giúp đơn giản hóa việcgiải quyết các bài toán tính toán kĩ thuật so với các ngôn ngữ lập trình truyền thống như C, C++ Không chỉ được sử dụng như một môi trường tính toán số mà với nó người dùng còn có thể tự lậptrình ra những hàm, những chương trình phục vụ cho từng mục đích sử dụng của mình Chính vì thếMATLAB được sử dụng khá rộng rãi trong hoc tập, giảng dạy cũng như trong các ngành khoa học

kĩ thuật

Ở Việt Nam, MATLAB đã và đang được sử dụng rộng rãi trong các nghành công nghệ kĩthuật như : Công nghệ kĩ thuật điện - điện tử, Kĩ thuật điều khiển tự động hoá, Kĩ thuật xây dựng,Công nghệ hoá học, Công nghệ sinh học… Matlab còn là một công cụ hữu hiệu hỗ trợ đắc lực chothầy trò trong việc học tập, giảng dạy và nghiên cứu

Không ngoại lệ đối với Lý thuyết thông tin, MATLAB tỏ ra là một công cụ tính toán, xử lý

vô cùng hiệu quả Đề tài này, chúng em sẽ thực hiện giải các bài toán Lý thuyết thông tin bằng công

cụ MATLAB Chúng em hy vọng rằng việc thực hiện các bài toán Lý thuyết thông tin trên công cụnày sẽ giúp việc dạy và học của thầy trò thêm trực quan, dễ tiếp cận và gây nhiều hứng thú cho họctrò Từ đó giúp công việc dạy và học được trở nên hiệu quả nhất, khắc sâu kiến thức cho sinh viên.Với kiến thức vững chắc thì chúng em thiết nghĩ sinh viên sẽ trở thành những kĩ sư Điện tử, Viễnthông giỏi, không chỉ vững vàng khi bắt tay vào công việc mà còn có thể có nhiều công trìnhnghiên cứu, đóng góp cho nền khoa học công nghệ nước nhà

2 Quốc tế

Các nhà nghiên cứu trên thế giới đã tập trung tìm hiểu, triển khai các ứng dụng Matlab nhiều

năm qua MATLAB là một công cụ được sử dụng trong nhiều lĩnh vực, bao gồm xử lý tín hiệu và

ảnh, truyền thông, thiết kế điều khiển tự động, đo lường kiểm tra, phân tích mô hình tài chính, haytính toán sinh học Với hàng triệu kĩ sư và nhà khoa học làm việc trong môi trường công nghiệpcũng như ở môi trường hàn lâm, MATLAB là ngôn ngữ của tính toán khoa học

3 Phần mềm Matlab

MATLAB là sản phẩm phần mềm của công ty MathWorks Inc Ưu điểm nổi bật củaMATLAB là khả năng tính toán và biểu diễn đồ hoạ kỹ thuật nhanh chóng, đa dạng và chính xáccao Thư viện hàm của MATLAB bao gồm rất nhiều chương trình tính toán con; Các chương trìnhcon này giúp người sử dụng giải quyết nhiều loại bài toán khác nhau, đặc biệt là các bài toán về matrận, số phức, hệ phương trình tuyến tính cũng như phi tuyến MATLAB cũng cho phép xử lý dữliệu và biểu diễn đồ hoạ trong không gian 2D và 3D với nhiều dạng đồ thị thích hợp, giúp người sửdụng có thể trình bày kết quả tính toán một cách trực quan và thuyết phục hơn Thêm vào đó, cácphiên bản MATLAB ngày càng phát triển nhiều module phần mềm bổ sung, gọi là các Toolbox (bộcông cụ) với phạm vi chức năng chuyên dụng cho từng chuyên ngành cụ thể

3.1 Khởi động, thoát chương trình Matlab

a Khởi động

Cách 1 Nhấp đúp trái chuột vào biểu tượng Matlab trên desktop

Cách 2 Start \ Programs \ Matlab …

b Biến trong Matlab

 Không cần khai báo kiểu, số chiều, độ dài biến

 Mỗi khi một cái tên mới xuất hiện với phép gán, Matlab tạo biến và cấp phát bộ nhớ cho nó

 Nếu đó là biến cũ, nó sẽ thay đổi nội dung mới nếu thực hiện phép gán

 Biến đặc biệt “ans”: lưu giá trị phép toán vừa tính

 Lệnh “who” và “whos”: cho biết thông tin về các biến đang hiện hữu

ans =

8

Quy tắc đặt tên biến:

 Bắt đầu bằng 1 chữ cái, tiếp theo là chữ cái, chữ số hoặc dấu gạch dưới “_”

 Các chữ cái phân biệt chữ hoa, chữ thường

Ví dụ:

Hợp lệ: “x”, “a_b1”, “v1”

Không hợp lệ: “_a”, “1x”, “abc*”

c Hàm trong Matlab

Matlab cung cấp rất phong phú và đa dạng cáchàm toán học, từ sơ cấp đến cao cấp

Có 2 loại hàm trong Matlab

Built-in fuction: hàm sẵn có.

Ví dụ: sin(), sqrt(), exp(), …

M-file function: hàm viết trong các tập tin m của Matlab.

Ví dụ: gamma(), sinh(), …

Chú ý: Không thể thấy source code của các hàm built-in.

Ngược lại, có thể xem và chỉnh sửa source code của các hàm lưu trong các file m.

Để biết thêm thông tin về một số hàm có sẵn trong Matlab ta sử dụng “>>help”:

Tìm tên hàm >>help \ Functions –

Alphabetical List hoặc tìmtrong Index

Tìm hiểu về một vấn đề gì đó Chẳng hạn lĩnh vực toán >>help \

>>load matrix.txt sẽ đọc file “matrix.txt”, tạo biến có tên là magik, là ma trận các phần tử có trong file matrĩ.txt

 Tạo ma trận bằng các file m

File m là một file văn bản ghi các dòng lệnhMatlab

Có thể soạn thảo bằng MATLAB Editor hoặc bất kỳ trình soạn thảo văn bản nào

Lưu file có đuôi m

Gõ tên file để thực thi nội dung các dòng lệnh trong file

Ví dụ: tạo một file có nội dung như

sau:

A=[

16.0 3.0 2.0 13.05.0 10.0 11.0 8.09.0 6.0 7.0 12.04.0 15.0 14.0 1.0];

Lưu với tên matrix.m Dòng lệnh >>matrix sẽ đọc file và tạo biến A là ma trận như trên

e Dùng dấu hai chấm trong chỉ số

Ví dụ: A(1:k,j) gồm k số đầu tiên ở cột thứ j của ma trận A

>>sum(A(1:4,4)) //tính tổng 4 số đầu tiên ở cột thứ 4 của ma trận A

Dấu hai chấm đứng một mình sẽ chỉ toàn bộ phần tử của dòng hoặc cột

Từ khoá “end” chỉ chỉ số cuối cùng của dòng hoặc cột

17 10 5

29 23 23

33 17 23

Hàm trong Matlab là một file.m có thể nhận tham số và trả về các giá trị.

Tên hàm phải trùng với tên file.m Gọi lệnh bằng cáchgõ tên hàm (tên file.m)

-0.6000

3.6 Vẽ đồ thị bằng hàm plot, subplot

Hàm plot vẽ đồ thị 2D dựa trên hai mảng dữ liệu số do người dùng tạo trước Nếu dùng hàm plot để

vẽ đồ thị hàm số thì số điểm dữ liệu càng nhiều, hình vẽ càng đúng với đồ thị hàm số liên tục(đường cong trơn và liên tục)

a Cú pháp

plot(x,y) //vẽ đồ thị y theo x

Ví dụ: Vẽ đồ thị các hàm sau:

y1= x^2+3*x + 5 trong khoảng [0,10]

y2= sin(x) trong khoảng [0,3π]]

Thực hiện trong MATLAB:

>> x=[0: 0.01: 10]; % tạo mảng x có giá trị từ 0 đến 10 với bước nhảy 0,01

>> y1=x.^2+3*x+5; % tạo mảng y (= tính các giá trị tương ứng của y)

b Khai báo màu, kiểu nét và đánh dấu điểm dữ liệu

Cú pháp lệnh: plot(x,y,S)

Trong đó tham số S là chuỗi ký tự tuỳ chọn để khai báo màu vẽ, kiểu nét hoặc ký hiệu đánh dấu tại các điểm dữ liệu Nếu không dùng tham số S thì mặc định là màu xanh dương (blue), nét liền (solid), không có ký hiệu đánh dấu

1 title('tên đồ thị') % tạo tiêu đề đồ thị

2 xlabel('nhãn trục x') % tạo nhãn cho trục x

3 ylabel('nhãn trục y') % tạo nhãn cho trục y

4 text(x,y,'nhãn') % tạo nhãn tại vị trí có toạ độ (x,y)

5 grid hoặc grid on % hiện các ô lưới toạ độ

6 hold hoặc hold on % giữ nguyên đồ thị để vẽ tiếp trên cùng hệ trục toạ độ

7 legend('chúthích1', 'chúthích2', ) % tạo ô chú thích khi vẽ nhiều đồ thị

Vẽ nhiều đồ thị trên cùng figure

Sử dụng hàm subplot( )

Ví dụ: Vẽ đồ thị các hàm y= sin(x); z= cos(x); u= 2*sin(x).*cos(x); v= tan(x); trên cùng một figure

>>x= linspace(0,2*pi,30); % tạo mảng x từ 0 đến 2*pi có 30 phần tử

>>y= sin(x); z= cos(x);

>>u= 2*sin(x).*cos(x); v= tan(x);

>>figure % mở mới một cửa sổ figure trống

>>subplot(2,2,1) % tạo 4 subplot và chọn subplot 1 ở góc trên trái

>>plot(x,y), axis([0 2*pi -1 1]), title('sin(x)')

>>subplot(2,2,2) % chọn subplot 2 ở góc trên phải

>>plot(x,z), axis([0 2*pi -1 1]), title('cos(x)')

>>subplot(2,2,3) % chọn subplot 3 ở góc duới trái

>>plot(x,u), axis([0 2*pi -1 1]), title('2sin(x)cox(x)')

>>subplot(2,2,4) % chọn subplot 4 ở góc dưới phải

>>plot(x,v), axis([0 2*pi -1 1]), title('tan(x)')

Kết quả:

Vẽ 4 đồ thị trên cùng figure

PHẦN II TÓM TẮT LÍ THUYẾT MÔN HỌC LÝ THUYẾT THÔNG TIN

1 Cơ sở lý thuyết thông tin thống kê

Đo lường thông tin

a Định nghĩa

Độ bất định là đặc trưng quan trọng trong đo lường thông tin

Độ bất định tỉ lệ thuận với lượng thông tin

Một tin (sự kiện) x với xác suất xuất hiện p(x) thì việc n xuất hiện sẽ mang lại lượng thông

tin, hay còn gọi là lượng tin riêng/ lượng thông tin tiên nghiệm được xác đinh bởi công thức:

Cơ số e: đơn vị [nat]

Cơ số 10: đơn vị [hartley]

c Lượng thông tin hậu nghiệm

p(x k)log(p(x k))

H(X) còn được gọi là entropy 1 chiều của nguồn rời rạc

H(X) có đơn vị giống đơn vị của lượng thông tin

b Tính chất:

 H ( X ) ≥0, H ( X )=0 khi và chỉ khi p(x k)=1 và p(x r)=0(∀ r ≠ k)

 H ( X)≤ log|X|=log N , H ( X )=log N khi và chỉ khi các x k có phân bố xác suất đồng đều

 H(X) là 1 hàm chỉ phụ thuộc vào đặc tình thông kế của nguồn

 H b ( X )=¿ ¿,H a ( X )là Entropy đươc được tính bởi cơ số a (Quy ước H(X) cơ số 2)

o Đạt đẳng thức bên trái khi và chỉ khi X, Y độc lập (Kênh đứt)

o Đạt đẳng thức bên phải khi và chỉ khi kênh lý tưởng

Đẳng thức khi và chỉ khi X, Y độc lập (Kênh đứt)

e Lượng thông tin tương hỗ:

Cho 2 nguồn rời rạc X, Y lượng thông tin tương hỗ hay còn gọi là lượng thôn tin chéo trung bình được xác định bởi công thức

I ( X ;Y ) ≜ E¿

 I ( X ;Y ) ≥ 0(Xảy ra đẳng thức khi và chỉ khi X, Y độc lập)

1.4. Dung lượng kênh rời rạc.

a Tốc độ phát của nguồn rời rạc

v n= 1

T n

T n là tốc độ trung bình của mỗi xung phát

v n số xung phát trong 1 đơn vị thời gian, đơn vị là [baud]

b Lượng thông tin trung bình do nguồn phát trong 1 đơn vị thời gian Đơn vị bit/s

Tk > Tn: Kênh giãn tin

Tk = Tn: Kênh thông thường

+ C’≥ 0, C’ = 0 khi và chỉ khi kênh bị đứt.

+ C’≤ v k log N (N là độ lớn của nguồn X).

+ C’≤ v k log M (M là độ lớn của nguồn Y).

Các định lý:

Đinh lý 1: Nếu khả năng phát H’(X) của nguồn rời rạc X nhỏ hơn khả năng thông qua của kênh (

H '( X)≤C ') thì tồn tại phép mã hóa và giải mã sao cho việc truyền tin qua kênh có xác suất lỗi nhỏ tùy ý khi độ dài từ mã đủ lớn Ngược lại không tồn tại một phép mã hóa nào như vậy.

Đinh lý 2: Nếu tốc độ dữ liệu truyền qua kênh (R) có dung lượng C’ thỏa mãnR ≤C ' thì tồn tại

phép mã hóa và giải mã sao cho việc truyền tin qua kênh có xác suất lỗi nhỏ tùy ý khi độ dài từ mã

đủ lớn Ngược lại không có phép mã hóa nào như vậy.

Kênh Gausse : Kênh Gausse không đổi là một kênh liên lục có tập tin lối vào và tập tin lối ra liên

hệ theo công thức

+ m k l k là thường các phần tử của 1 cấu trúc đại số.

+ Các dấu mã thường được chọn từ 1 trường nào đó

2.2 Bộ mã

Bộ mã là tập hợp các từ mã, là sản phẩm của phép mã hóa

a Độ dài trung bình

Độ dài trung bình là trung bình thống kê độ dài các từ mã:

Số dấu mã khác nhau được sử dụng trong bộ mã

c Bộ mã đầy, bộ mã vơi

Bộ mã mà tất cả tổ hợp các dấu mã là từ mã gọi là bộ mã đầy, ngược lại gọi là mã vơi

d Đánh giá hiệu quả của phép mã hoá

Tính hiệu quả của phép mã hóa η= H ( X )

2.5 Mã Huffman

Thuộc lớp mã hóa Entropy, mã hóa nén dữ liệu không tổn hao

Lớp mã với độ dài từ mã thay đổi

Bộ mã thu được có tính prefix

Yêu cầu biết trước phân bố xác suất của nguồn,

Là thuật toán mã hóa tối ưu

Đinh lý: Mã hóa Huffman là mã hóa tối ưu Gọi ´l H là độ dài mã trung bình từ mã của bộ mã sau khi

mã hóa Huffman, ´l là độ dài trung bình từ mã của bộ mã sau khi mã hóa bằng 1 phương pháp nào

đó thì ta có:

´

l H ≤´l

Bài toán mã hóa:

Nhập vào: X ={x k} với các xác suất phân bố p(x k) tương ứng,

In ra: Các từ mã nhị phân m k l k tương ứng với tin x k

B1: Khởi động cây nhị phân có các nút là các xác suất phân bố tương ứng với các

tin x k, sắp xếp theo thứ tự tang dần từ trái qua phải

B2: Thực hiện các bước sau cho đến khi thu được 1 nút duy nhất:

+Tìm 2 cây T’ và T” trong danh sách các nút gốc có trọng lượng tối thiểu

là p’ và p” Thay thế chúng bằng 1 cây có nút gốc có trọng bằng p’ + p” và các cây con là T’ và T”

+ Đánh nhãn 0 và 1 lên các nhánh từ gốc mới đến các cây T’ và T”

+ Sắp xếp các nút theo thứ tự tang dần của xác suất

B3: Duyệt từ gốc cuối cùng đến các nút lá với các bit là các nhãn t đươc từ mã tương ứng với các tin

Bài toán giải mã:

Nhập vào: Chuỗi bit thông tin.

In ra: Dãy tin tương ứng.

B1: Khởi động đặt con trỏ P đến nút gốc (root) của cây Gán con trỏ bit b rỗng

B2: Lặp lại các bước sau đến khi giải mã xong chuối thông tin:

+ Gán b bằng bit tiếp theo của chuỗi Nếu b = 0, dịch con trỏ P theo nhánh

có nhãn 0, và ngược lại dịch con trỏ P theo nhãn 1

+ Nếu P chỉ đến nút lá thì in ra tin tương ứng với mã, sau đó khởi động lại

con trỏ trở lại gốc

3 Mã hóa kênh.

PHẦN III MỘT SỐ DẠNG BÀI TẬP LÝ THUYẾT THÔNG TIN.

1. Dạng bài liên quan đến entropy

Ví dụ:

Câu hỏi 2.1 (NHCH) Một thành phố nọ có 1% dân số là sinh viên Trong số sinh viên có 50% là

nam thanh niên Số nam thanh niên trong thành phố là 32% dân số Giả sử ta gặp một nam thanh niên Hãy tính lượng thông tin chứa trong tin khi biết đó là một nam thanh niên

P(x2/x1) = (nam thanh niên/sinh viên) = 50% =0,5

P(A)=P{sinh viên / nam thanh niên} = p(x1/x2)

Theo ct nhân xác suất:

P(x1/x2) = p(x1).p(x2/x1) = p(x2).p(x1/x2)

P(x1/x2) = p(A) = ( p(x1).p(x2/x1))/(p(x2)) = 0,01.0,5/0,32 = 1/64

Lượng thông tin chứa trong tin là:

I(A) = -logp(A) = -log(1/64) = 6 [bit].

Câu hỏi 2.2 (NHCH) Một bình đựng gồm 2 viên bi đen và 3 viên bi trắng Thực hiện lấy hai lần

liên tiếp một cách ngẫu nhiên ra mỗi lần một viên bi, bi được lấy ra thì không bỏ lại vào bình Quan sát thứ tự màu các viên bi lấy được Gọi A là thông điệp (tin) cho chúng ta biết đã lấy được viên bi thứ hai là viên bi đen Hãy tính lượng tin mang lại của thông điệp A

Giải

Xác suất lấy được viên bi thứ nhất màu đen là: p(b1)

Xác suất lấy được viên bi thứ hai màu đen là: p(b2)

Xác suất lấy được viên bi thứ nhất màu trắng là : p(w1)

Xác suất lấy được viên bi thứ hai màu trắng là: p(w2)

Xác suất lấy được viên bi thứ hai là viên bi đen :

P(A) = p(b1).p(b2/b1) + p(w1).p(b2/w1)

= 2/5.1/4 + 3/5.2/4 = 2/5

Lượng thông tin mang lại của thông điệp A

I(A) = -logp(A) = -log2/5 =1,32 [bit].

Câu hỏi 2.3 (NHCH) Một bình đựng gồm 2 viên bi đen và 3 viên bi trắng Thực hiện lấy hai lần

liên tiếp một cách ngẫu nhiên ra mỗi lần một viên bi, bi được lấy ra thì không bỏ lại vào bình Quan sát thứ tự màu các viên bi lấy được Gọi A là thông điệp (tin) cho chúng ta biết đã lấy được hai viên

bi trắng Hãy tính lượng tin mang lại của thông điệp A

Giải