Bài giảng Lý thuyết thông tin: Chương 0 - Bùi Văn Thành

Mời các bạn cùng tìm hiểu thí nghiệm ngẫu nhiên, không gian mẫu, biến cố; xác suất;... được trình bày cụ thể trong Bài giảng Lý thuyết thông tin: Chương 0 do Bùi Văn Thành biên soạn. Hy vọng tài liệu là nguồn thông tin hữu ích cho quá trình học tập và nghiên cứu của các bạn.

Tr ườ ng Đ i H c Công Ngh  Thông Tin ạ ọ ệ

KHOA M NG & TRUY N THÔNG Ạ Ề

Ch ươ ng 0

XÁC SuẤT

MA TRẬN

2

XÁC SU T (Probability)  Ấ

1.1. THÍ NGHI M NG U NHIÊN, KHÔNG GIAN M U, BI N Ệ Ẫ Ẫ Ế

C : Ố

1.1.1. Thí nghi m ng u nhiên (Random Experiment) ệ ẫ

Thí nghi m ng u nhiên là m t thí nghi m có hai đ c tính : ­Không  ệ ẫ ộ ệ ặ

bi t ch c h u qu  nào s  x y ra. ­Nh ng bi t đ ế ắ ậ ả ẽ ả ư ế ượ c các h u qu  có  ậ ả

th  x y ra  ể ả

Ví d :  ụ

Tung m t con xúc s c là m t thí nghi m ng u nhiên vì : ộ ắ ộ ệ ẫ

­Ta không bi t ch c m t nào s  xu t hi n  ế ắ ặ ẽ ấ ệ

­Nh ng bi t đ ư ế ượ c có 6 tr ườ ng h p x y ra (xúc s c có 6 m t 1, 2, 3,  ợ ả ắ ặ

4, 5, 6) 

Ràng bu c: ộ

­Con xúc s c đ ng ch t đ  6 m t đ u có th  xu t hi n nh  nhau ắ ồ ấ ể ặ ề ể ấ ệ ư

­Cách tung xúc s c không c  ý thiên v  cho m t nào hi n ra.  ắ ố ị ặ ệ

3

Không gian m u c a thí nghi m th y cùng m t lúc hai đ ng xu là:  ẫ ủ ệ ả ộ ồ

E = {SS, SN, NS, NN} v i S: S p, N: Ng a  ớ ấ ử

 1.1.3. Bi n c  (Event) ế ố

a) Bi n c ế ố  

­M i t p h p con c a không gian m u là m t bi n c ỗ ậ ợ ủ ẫ ộ ế ố

­Bi n c  ch a m t ph n t  g i là bi n c  s  đ ng  ế ố ứ ộ ầ ử ọ ế ố ơ ẳ

 Ví d :  ụ

Trong thí nghi m th y 1 con xúc s c : ệ ả ắ

­Bi n c  các m t ch n là : {2, 4, 6}. Bi n c  các m t l : {1, 3, 5} ế ố ặ ẵ ế ố ặ ẻ

­Các bi n c  s  đ ng là : {1}, {2}, {3}, {4}, {5}, {6} ế ố ơ ẳ 4

b) Bi n c  x y ra (hay th c hi n)  ế ố ả ự ệ

G i r là m t h u qu  x y ra và A là m t bi n c : ọ ộ ậ ả ả ộ ế ố

­n u r   A ta nói bi n c  A x y ra  ế ∈ ế ố ả

­n u r   A ta nói bi n c  A không x y ra ế ∉ ế ố ả

∀ r, r  ∉φ  =>   là m t bi n c  vô ph φ ộ ế ố ươ ng (bi n c  không) ­E   E  ế ố ⊂

=> E là m t bi n c    r, r   E => E là m t bi n c  ch c ch n  ộ ế ố ∀ ∈ ộ ế ố ắ ắ

5

1.1.4. Các phép tính v  bi n cề ế ố  

Cho 2 bi n c  A, B v i A  E và B   E  ế ố ớ ⊂ ⊂

a) Bi n c  h i A  ế ố ộ ∪ B (Union): Bi n c  h i c a 2 bi n ế ố ộ ủ ế

c  A và B đ ố ượ c ký hi u là A   B: A   B x y ra  ệ ∪ ∪ ả   (A 

x y ra HAY B x y ra)  ả ả

b) Bi n c  giao A  ế ố ∩ B (Intersection): A   B x y ra  ∩ ả  (A 

x y ra VÀ B x y ra)  ả ả

6

c) Bi n c  ph ế ố ụ  A (Bi n c ế ố  đ i l p, Component of A): ố ậ A x y ra  ả

  A không x y ra  ả

d) Bi n c  cách bi t ( bi n c  xung kh c, mutually exclusive  ế ố ệ ế ố ắ

event) 

A cách bi t v i B  ệ ớ   A   B =    ∩ φ

A cách bi t v i B  ệ ớ   A v i B không cùng x y ra  ớ ả

7

Ví d :  ụ

Trong thí nghi m th y m t con xúc s c, ta có không gian ệ ả ộ ắ

m u: E = {1, 2, 3, 4, 5, 6} ­G i A là bi n c  m t l  xu t ẫ ọ ế ố ặ ẻ ấ

hi n => A = {1, 3, 5} ­G i B là bi n c  khi b i s  c a 3 ệ ọ ế ố ộ ố ủ

xu t hi n => B = {3, 6} ­G i C là bi n c  khi m t 4 xu t ấ ệ ọ ế ố ặ ấ

hi n => C = {4}, bi n c  s  đ ng. ệ ế ố ơ ẳ

Ta có: A   B = {1, 3, 5, 6} A   B = {3} A = {2,4,6} : ∪ ∩

bi n c  khi m t ch n xu t hi n. A   C =   => A và C là ế ố ặ ẵ ấ ệ ∩ φ

2 bi n c  cách bi t. ế ố ệ

e) H  ệ đ y đ  (Collectively Exhaustive)  ầ ủ

G i A1, A2…, Ak là k bi n c  trong không gian m u E ọ ế ố ẫ

N u A1  A2 …  Ak  = E thì K bi n c  trên đế ∪ ∪ ∪ ế ố ược g i ọ

là m t h  đ y đ  ộ ệ ầ ủ 8

1.2. XÁC SU T (Probability). Ấ

1.2.1. Đ nh nghĩa: ị

N u thông gian m u E có N bi n c  s  đ ng và bi n c  A có n bi n  ế ẫ ế ố ơ ẳ ế ố ế

c  s  đ ng thì xác su t c a bi n c  A là : ố ơ ẳ ấ ủ ế ố

a. G i A là m t bi n c  b t k  trong không gian m u E : 0 ≤ P(A) ≤ 1  ọ ộ ế ố ấ ỳ ẫ

b. P ( ) = 0 =>   là Bi n c  vô ph φ φ ế ố ươ ng P (E) = 1 => E là Bi n c  ch c  ế ố ắ

ch n  ắ

9

b) Xác su t c a bi n c  ph  (bi n c ấ ủ ế ố ụ ế ố đ i l p)  ố ậ

Bi n c  ph  c a bi n c  A trong không gian m u E là ế ố ụ ủ ế ố ẫ

1.2.4 Công th c nhân v  xác su t :ứ ề ấ

a) Xác xu t có đi u ki n : ấ ề ệ

G i P (B / A) là xác su t có đi u ki n c a bi n c  B sau ọ ấ ề ệ ủ ế ốkhi bi n c  A đã th c hi n.ế ố ự ệ

V i P(A) > 0 ; P(B) > 0 ớ

12

Ch ng minhứ  :

G i E là không gian m u ch a hai bi n c  A,B ọ ẫ ứ ế ố

Gi  s  A th c hi n r i thì A là bi n c  ch c ch n, ta có ả ử ự ệ ồ ế ố ắ ắ

b) Công th c nhân v  xác su t:  ứ ề ấ

Cho hai bi n c  A và B trong không gian m u E, xác ế ố ẫ

su t c a bi n c  giao đấ ủ ế ố ược tính: 

P(A B) = P(B/A) * P(A) hay P(A B) = P(A/B) * P(B) ∩ ∩

c) Bi n c ế ố đ c l p : ộ ậ

Bi n c  g i là đ c l p v i bi n c  A v  phế ố ọ ộ ậ ớ ế ố ề ương di n ệxác su t n u xác su t c a bi n c  B không thay đ i cho ấ ế ấ ủ ế ố ổ

dù bi n c  A đã x y ra, nghĩa là: P(B/A) = P(B) ngế ố ả ược 

l i: P(A/B) = P(A) Trong trạ ường h p hai bi n c  đ c ợ ế ố ộ

l p, công th c nhân tr  thành: ậ ứ ở

P(A B) = P(A) * P(B) ∩

14

1.2.5. Công th c xác su t đ y đ  ­ Công th c Bayes ứ ấ ầ ủ ứ

a) Công th c xác su t đ y đ  : ứ ấ ầ ủ

Gi  s  bi n c  B x y ra khi và ch  khi m t trong các bi n ả ử ế ố ả ỉ ộ ế

c  c a h  đ y đ  cách bi t nhau t ng đôi m t A1, A2…, ố ủ ệ ầ ủ ệ ừ ộ

Theo gi  thi t bài toán thì ả ế

B = (B   A1)   (B   A2)   …   (B Ak) ∩ ∪ ∩ ∪ ∪ ∩

P(B)= P[(B A1)   (B A2)  …  (B Ak)] = ∩ ∪ ∩ ∪ ∪ ∩

P(B A1) + P(B A2) + … + P(B Ak) ∩ ∩ ∩

  Vì: P(B Ai) = P(B/Ai) * P(Ai)       ∩      

       k

P(B) = ∑ P(B/ Ai)*P(Ai)      i=1 

Công th c này đứ ược g i là công th c xác xu t đ y đ ọ ứ ấ ầ ủ

16

Ví d :  ụ

Trong nhà máy có 4 phân x ưở ng.Phân x ưở ng I s n xu t chi m 1/3  ả ấ ế

t ng s n l ổ ả ượ ng c a nhà máy; Phân x ủ ưở ng II chi m 1/4; Phân  ế

x ưở ng III chi m 1/4; Phân x ế ưở ng IV chi m 1/6. T  l  ph  ph m  ế ỷ ệ ế ẩ

t ươ ng  ng v i các phân x ứ ớ ưở ng là 0,15; 0,08; 0,05; 0,01. 

Tìm xác su t đ  l y ng u nhiên m t s n ph m trong kho s n  ấ ể ấ ẫ ộ ả ẩ ả

P(Ai/B)= P(B/Ai )* P(Ai ) /(∑ P(B/Ai ) * P(Ai ))       

       i=1 

18

Công th c này đứ ược g i là công th c Bayes, hay công ọ ứ

th c xác su t các gi  thi t v  các bi n c  Ai có th  xem ứ ấ ả ế ề ế ố ể

nh  gi  thi t theo đó bi n c  B xu t hi n. Ta ph i tính ư ả ế ế ố ấ ệ ảxác su t c a các gi  thi t v i đi u ki n bi n c  B xu t ấ ủ ả ế ớ ề ệ ế ố ấ

hi n. ệ

Ví d :  ụ

Xét l i thí d  2.2, cũng v i gi  thi t đó bây gi  ta yêu ạ ụ ớ ả ế ờ

c u xác su t đ  l y m t s n ph m c a phân xầ ấ ể ấ ộ ả ẩ ủ ưởng th  ứ

nh t bi t nó là m t ph  ph m.ấ ế ộ ế ẩ

Ta ph i tìm P(A1/B) ả

P(A1/B) = [P(B/A1) * P(A)]/P(B) = [0,15 * 1/3]/0,0816 = 0,61 

19

1.2.6. Công th c Bernoulli :ứ

a) Công th c Bernoulli : ứ

N u ti n hành nh ng phép th  đ c l p, trong m i phép th  xác  ế ế ữ ử ộ ậ ỗ ử

su t hi n c a bi n c  A nh  nhau và b ng p thì xác su t đ  bi n  ấ ệ ủ ế ố ư ằ ấ ể ế

c  A xu t hi n k l n trong n phép th đó đ ố ấ ệ ầ ử ượ c bi u di n b ng  ể ễ ằ

G i Aki là bi n c  A xu t hi n ki l n  ọ ế ố ấ ệ ầ

A = Aki   Ak1+1  …  Ak2       ∪ ∪ ∪        

       k2 

Pn(k1,k2)=P(A)= ∑Cni piqn­i

       i=k1

20

b.Khi n và k khá l n vi c tính toán Pn(k) và Pn(k1, k2) ớ ệ

s  ph c t p. Đ  kh c ph c đi u đó ngẽ ứ ạ ể ắ ụ ề ười ta ph i tìm ảcách tính g n đúng các xác su t đó b ng cách áp d ng ầ ấ ằ ụcác đ nh lý gi i h n.ị ớ ạ

Ví d :  ụ

Trong thùng có 30 bi: 20 tr ng và 10 đen. L y liên ti p ắ ấ ế

4 bi, trong đó m i bi l y ra đ u hoàn l i thùng trỗ ấ ề ạ ước khi 

l y bi ti p theo và các bi đ u đấ ế ề ược tr n l i. H i xác ộ ạ ỏ

Xác su t đ  bi n c  A xu t hi n 0 l n : P10(0) = q10 ấ ể ế ố ấ ệ ầ

Xác su t đ  bi n c  A xu t hi n 1 l n : P10(1) = 10pq9 ấ ể ế ố ấ ệ ầXác su t đ  bi n c  A xu t hi n 2 l n : P10(2) = 45p2q8 ấ ể ế ố ấ ệ ầXác su t đ  bi n c  A xu t hi n 3 l n : P10(3) = ấ ể ế ố ấ ệ ầ

120p3q7 

Xác su t đ  bi n c  A xu t hi n không quá 3 l n ấ ể ế ố ấ ệ ầ

P10(0,3) = P10(0) + P10(1) + P10(2) + P10(3)   0.38  22

Ví d :  ụ

Xác su t đ  s n xu t ra m t chi ti t lo i t t là 0.4.Tìm xác su t  ấ ể ả ấ ộ ế ạ ố ấ

đ  trong 26 chi ti t s n xu t ra thì có 13 chi ti t lo i t t ể ế ả ấ ế ạ ố

Ví d :  ụ

M t phân xộ ưởng s n xu t bóng đèn đ t trung bình là ả ấ ạ

70% s n ph m lo i t t. Tìm xác su t đ  trong 1000 bóng ả ẩ ạ ố ấ ểđèn có t  652 đèn 760 bóng đèn lo i t t. Xác su t ph i ừ ạ ố ấ ảtìm là P1000 (652, 760) n = 1000, p = 0,7 q = 0,3 k1 = 652 k2 = 700 

Công th c Poisson  ứ

• N u n → ế ∞ và p   0 sao cho np =   (const) thì  → λ

P n  (k)   (e ≈ ­λ λ k ) / k!

Đ nh lý Poisson cũng có th  dùng đ  tính g n đúng P ị ể ể ầ n   (k 1 ,k 2 ) 

28

MA TR N Ậ

Mô t :ả

 Các dòng ngang c a ma tr n g i là ủ ậ ọ hàng và các c t ộ

th ng đ ng là ẳ ứ c t ộ  Hình d ng ma tr n đạ ậ ược đ c tr ng ặ ư

b i s  hàng và s  c t (kích thở ố ố ộ ước ma tr n). k ậ ph n t   ầ ử

Ma tr n th ậ ườ ng đ ượ c vi t thành b ng k p gi a 2 d u  ế ả ẹ ữ ấ

ngo c vuông "[" và "]" (ho c, hi m h n, d u ngo c  ặ ặ ế ơ ấ ặ

Các lo i ma tr n đ c bi t ạ ậ ặ ệ

 Ma tr n tam giácậ  là ma tr n vuông đ ậ ượ c chia thành hai lo i là  ạ

ma tr n tam giác trên và ma tr n tam giác d ậ ậ ướ i.

 Ma tr n tam giác trên khi các ph n t  n m phía d ậ ầ ử ằ ướ ạ i h ng t  có giá tr   ử ị

= 0, aij=0 v i m i i>j ớ ọ

 Ma tr n tam giác d ậ ướ i khi các ph n t  n m phía trên h ng t  có giá tr   ầ ử ằ ạ ử ị

b ng không, aij=0 v i m i i<j ằ ớ ọ

 Ma  tr n  chéoậ  là  ma  tr n  vuông  trong  đó  t t  c   các  ph n  t   ậ ấ ả ầ ử không n m trên đ ằ ườ ng chéo chính thì đ u b ng 0, nghĩa là =0 v i  ề ằ ớ

m i i ≠ j ọ

31

Ma tr n đ n v   ậ ơ ị

 Ma  tr n  đ n  vậ ơ ị  trên  m t ộ vành  nào  đó,  là  ma  tr n ậvuông, có các ph n t  n m trên m t đầ ử ằ ộ ường chéo mang giá  tr   là  đ n  v   nhân  c a  vành  đó  (n u  là  vành  s  ị ơ ị ủ ế ốthông thường thì là s  1), t t c  các ph n t  còn l i ố ấ ả ầ ử ạmang giá tr  trung hòa (n u là vành s  thông thị ế ố ường thì là s  0).ố

32

 Ma  tr n  ba  đậ ường  chéo:  Là  ma  tr n  mà  các  ph n  t   n m  ậ ầ ử ằ ngoài ba đ ườ ng chéo đ u b ng 0 ề ằ

 Ma tr n s  c p:ậ ơ ấ

 M t  ma  tr n  s   c p  hàng  nh n  đ ộ ậ ơ ấ ậ ượ c  khi  ta  th c  hi n  m t  phép  ự ệ ộ

bi n  đ i  s  c p  đ i  v i hàng  (c t) c a m t ma tr n  đ n v  I. Kí  ế ổ ơ ấ ố ớ ộ ủ ộ ậ ơ ị

hi u là:  ệ E

 Ma tr n s  c p  ậ ơ ấ E1 nh n đ c khi ta nhân m t s   ậ ượ ộ ố α khác 

0 vào m t hàng c a ma tr n đ n v   ộ ủ ậ ơ ị I.

34

 Ma tr n s  c p ậ ơ ấ E2 nh n đ c khi ta nhân c ng vào ậ ượ ộhàng j v i hàng i đã đớ ược nhân v i m t s  ớ ộ ố β  khác 0 

đ i v i ma tr n đ n v  ố ớ ậ ơ ị I

 Ma tr n s  c p ậ ơ ấ E3 nh n đ c khi ta đ i v  trí ậ ượ ổ ịhàng j v i hàng i c a ma tr n đ n v  cho nhau.ớ ủ ậ ơ ị

35

Các phép toán đ i s  trên ma tr n ạ ố ậ

 Phép c ng ma tr nộ ậ

Có th  c ng hai ho c nhi u ma tr n có cùng kích ể ộ ặ ề ậ

thước x . Cho các ma tr n c p x và , ậ ấ t ngổ  là ma tr n ậ

cùng c p x nh n đấ ậ ược do c ng các ph n t  tộ ầ ử ương  ng ứ(nghĩa là :

36

Phép nhân ma tr n  ậ

 Phép nhân ma tr n v i m t sậ ớ ộ ố

 Cho ma tr n và s ,  ậ ố tích đ c tính b ng cách nhân t t c  các ph n t   ượ ằ ấ ả ầ ử

c a v i s  (nghĩa là ). Ch ng h n: ủ ớ ố ẳ ạ

 Ch ng h n:ẳ ạ

 Phép nhân ma tr n có các tính ch t sau:ậ ấ

  (AB)C=A(BC) v i m i ma tr n c p Akxm , ma tr n Bmxn  ớ ọ ậ ấ ậ

và ma tr n Cnxp ("k t h p“) ậ ế ợ

 (A+B)C= AC+BC v i m i ma tr n c p Amxn và các ma  ớ ọ ậ ấ

tr n B và ma tr n C c p nxk  ("phân ph i bên ph i") ậ ậ ấ ố ả

 C(A+B)=CA+CB ("phân ph i bên trái") ố

 C n chú ý r ng phép nhân ma tr n không giao hoán ầ ằ ậ

38