BÀI GIẢNG LÝ THUYẾT THÔNG TIN

Công thức nhân về xác suất :a Xác xuất có điều kiện : Gọi P B / A là xác suất có điều kiện của biến cố B sau khi biến cố A đã thực hiện... Chứng minh :Gọi E là không gian mẫu chứa hai bi

LÝ THUYẾT THÔNG TIN

Bùi Văn Thành

thanhbv@uit.edu.vn

Tháng 7 năm 2013

1

Trường Đại Học Công Nghệ Thông Tin

KHOA MẠNG & TRUYỀN THÔNG

C HƯƠNG 0

2

XÁC SUẤT (P ROBABILITY )

1.1 THÍ NGHIỆM NGẪU NHIÊN, KHÔNG GIAN MẪU, BIẾN CỐ:

1.1.1 Thí nghiệm ngẫu nhiên (Random Experiment)

Thí nghiệm ngẫu nhiên là một thí nghiệm có hai đặc tính : -Không biết chắc hậu quả nào sẽ xảy ra -Nhưng biết được các hậu quả có thể xảy

ra

Ví dụ:

Tung một con xúc sắc là một thí nghiệm ngẫu nhiên vì :

-Ta không biết chắc mặt nào sẽ xuất hiện

-Nhưng biết được có 6 trường hợp xảy ra (xúc sắc có 6 mặt 1, 2, 3, 4,

5, 6)

Ràng buộc:

-Con xúc sắc đồng chất để 6 mặt đều có thể xuất hiện như nhau. 3

1.1.2 Không gian mẫu (Sample Space)

Tập hợp các hậu quả có thể xảy ra trong thí nghiệm ngẫu nhiên gọi là

không gian mẫu của thí nghiệm đó.

Ví dụ: Không gian mẫu của thí nghiệm thảy một con xúc xắc là: E = {1, 2,

-Mỗi tập hợp con của không gian mẫu là một biến cố

-Biến cố chứa một phần tử gọi là biến cố sơ đẳng

b) Biến cố xảy ra (hay thực hiện)

Gọi r là một hậu quả xảy ra và A là một biến cố:

-nếu r ∈ A ta nói biến cố A xảy ra

-nếu r ∉ A ta nói biến cố A không xảy ra

1.1.4 Các phép tính về biến cố

Cho 2 biến cố A, B với A⊂ E và B ⊂ E

a) Biến cố hội A ∪ B (Union): Biến cố hội của 2 biến cố A

và B được ký hiệu là A ∪ B: A ∪ B xảy ra  (A xảy ra

HAY B xảy ra)

b) Biến cố giao A ∩ B (Intersection): A ∩ B xảy ra (A

xảy ra VÀ B xảy ra)

6

c) Biến cố phụ A (Biến cố đối lập, Component of A):A xảy ra  A

Ví dụ:

Trong thí nghiệm thảy một con xúc sắc, ta có không gian mẫu: E = {1, 2, 3, 4, 5, 6} -Gọi A là biến cố mặt lẻ xuất hiện => A = {1, 3, 5} -Gọi B là biến cố khi bội số của 3 xuất hiện => B = {3, 6} -Gọi C là biến cố khi mặt 4 xuất hiện => C = {4}, biến cố sơ đẳng

Ta có: A ∪ B = {1, 3, 5, 6} A ∩ B = {3} A = {2,4,6} : biến

cố khi mặt chẵn xuất hiện A ∩ C = φ => A và C là 2

biến cố cách biệt

e) Hệ đầy đủ (Collectively Exhaustive)

Gọi A1, A2…, Ak là k biến cố trong không gian mẫu E

Nếu A1∪ A2∪… ∪Ak = E thì K biến cố trên được gọi là

P(A) = Số trường hợp A xảy ra/Số trường hợp cóthể xảy ra

a Gọi A là một biến cố bất kỳ trong khơng gian mẫu E : 0 ≤ P(A) ≤ 1

b P (φ) = 0 => φ là Biến cố vơ phương P (E) = 1 => E là Biến cố chắc chắn

9

Ghi chú :

Nếu A và B là 2 biến cố cách biệt, ta có:

A ∩ B = φ =>P(A ∩ B) = P(φ) = 0

==> P (A ∪ B) = P(A) + P(B)

b) Xác suất của biến cố phụ (biến cố đối lập)

Biến cố phụ của biến cố A trong không gian mẫu E là A :

1.2.4 Công thức nhân về xác suất :

a) Xác xuất có điều kiện :

Gọi P (B / A) là xác suất có điều kiện của biến cố B sau khi biến cố A đã thực hiện

Với P(A) > 0 ; P(B) > 0

12

Chứng minh :

Gọi E là không gian mẫu chứa hai biến cố A,B

Giả sử A thực hiện rồi thì A là biến cố chắc chắn, ta có thểchọn A làm không gian mẫu thu gọn

Biến cố B thực hiện sau khi biến cố A xảy ra trở thành biến

b) Công thức nhân về xác suất:

Cho hai biến cố A và B trong không gian mẫu E, xác suất của biến cố giao được tính:

P(A∩B) = P(B/A) * P(A) hay P(A∩B) = P(A/B) * P(B)

c) Biến cố độc lập :

Biến cố gọi là độc lập với biến cố A về phương diện xác suất nếu xác suất của biến cố B không thay đổi cho dù biến cố A đã xảy ra, nghĩa là: P(B/A) = P(B) ngược lại: P(A/B) = P(A) Trong trường hợp hai biến cố độc lập, công thức nhân trở thành:

P(A∩B) = P(A) * P(B)

14

1.2.5 Công thức xác suất đầy đủ - Công thức Bayes

a) Công thức xác suất đầy đủ :

Giả sử biến cố B xảy ra khi và chỉ khi một trong các biến cố của hệ đầy đủ cách biệt nhau từng đôi một A1, A2…, Ak xảy ra

Biết xác suất P(Ai) và P(B/Ai) hãy tìm P(B)

B ∩A1 B∩A2 B∩Ak 15

A1

A 2

A k

B

Theo giả thiết bài toán thì

B = (B ∩ A1) ∪ (B ∩ A2) ∪ … ∪ (B∩Ak)

P(B)= P[(B∩A1) ∪ (B∩A2) ∪…∪ (B∩Ak)] = P(B∩A1)

+ P(B∩A2) + … + P(B∩Ak)

Vì: P(B∩Ai) = P(B/Ai) * P(Ai)

kP(B) = ∑ P(B/ Ai)*P(Ai)

i=1Công thức này được gọi là công thức xác xuất đầy đủ

16

Giải : Gọi A1, A2, A3, A4 là biến cố lấy đúng một sản phẩm của

phân xưởng I,II,III,IV Gọi B là biến cố lấy được một phế phẩm

B = (B∩A1) ∪ (B∩A2) ∪ (B∩A3) ∪ (B∩A4) 4 ==>P(B) = ∑P(B/

Ai)*P(Ai) i=1

Theo đề bài:

P(A1) = 1/3, P(A2) = 1/4, P(A3)= 1/4, P(A4) = 1/6, ∑P(Ai) = 1

P(B/A1) = 0,15, P(B/A2) = 0,08, P(B/A3) = 0,05, P(B/A4) = 0,01

Vậy P(B) =1/3 * 0,15 + 1/4 * 0,08 + 1/4 * 0,05 + 1/6 * 0,01 = 0,0816 17

b) Công thức Bayes:

Giải bài toán ngược của bài toán trên, tức là biết các P(Ai),

P(B/Ai) và biến cố B đã xảy ra, tìm P(Ai/B)

Ta có : B = (B∩A1) ∪ (B∩A2) ∪ (B∩A3) ∪ (B∩A4)

và P(Ai∩B) = P(Ai/B) * P(B)

= P(B/Ai) * P(Ai)P(B/Ai )* P(Ai ) P(Ai/B)= P(B/Ai )* P(Ai )/P(B)

kP(Ai/B)= P(B/Ai )* P(Ai ) /(∑ P(B/Ai ) * P(Ai ))

i=1

18

Công thức này được gọi là công thức Bayes, hay công thức xác suất các giả thiết về các biến cố Ai có thể xem như giả thiết theo đó biến cố B xuất hiện Ta phải tính xác

suất của các giả thiết với điều kiện biến cố B xuất hiện

Ví dụ:

Xét lại thí dụ 2.2, cũng với giả thiết đó bây giờ ta yêu cầu xác suất để lấy một sản phẩm của phân xưởng thứ nhất biết nó là một phế phẩm

Ta phải tìm P(A1/B)

P(A1/B) = [P(B/A1) * P(A)]/P(B) = [0,15 * 1/3]/0,0816 = 0,61

19

1.2.6 Công thức Bernoulli :

a)Công thức Bernoulli :

Nếu tiến hành những phép thử độc lập, trong mỗi phép thử xác suất

hiện của biến cố A như nhau và bằng p thì xác suất để biến cố A

xuất hiện k lần trong n phép thửđó được biểu diễn bằng công thức

Gọi Aki là biến cố A xuất hiện ki lần

A = Aki ∪ Ak1+1 ∪…∪ Ak2

k2

P (k ,k )=P(A)= ∑C i piqn-i 20

b.Khi n và k khá lớn việc tính toán Pn(k) và Pn(k1, k2) sẽ phức tạp Để khắc phục điều đó người ta phải tìm cách

tính gần đúng các xác suất đó bằng cách áp dụng các định

lý giới hạn

Ví dụ:

Trong thùng có 30 bi: 20 trắng và 10 đen Lấy liên tiếp 4

bi, trong đó mỗi bi lấy ra đều hoàn lại thùng trước khi lấy

bi tiếp theo và các bi đều được trộn lại Hỏi xác suất để

trong 4 bi lấy ra có 2 bi trắng

Giải: Xác suất lấy được bi trắng p = 20/30 =2/3 có thể

xem như nhau trong 4 phép thử: q = 1 - p = 1/3

áp dụng công thức Bernoulli

21

Xác suất để biến cố A xuất hiện 0 lần : P10(0) = q10

Xác suất để biến cố A xuất hiện 1 lần : P10(1) = 10pq9

Xác suất để biến cố A xuất hiện 2 lần : P10(2) = 45p2q8 Xác suất để biến cố A xuất hiện 3 lần : P10(3) = 120p3q7 Xác suất để biến cố A xuất hiện không quá 3 lần

P10(0,3) = P10(0) + P10(1) + P10(2) + P10(3) ≈ 0.38

22

Ghi chú:

b) Số lần xuất hiện chắc chắn nhất:

Trị số của Pn(k) nói chung phụ thuộc vào k Ta tìm một số k0 sao cho Pn(k0) đạt giá trị lớn nhất Số k0 gọi là số lần xuất hiện chắc chắn nhất của biến

cố A trong n phép thử Ta có:

np-q ≤ k ≤ np + p p ≠ 0 và p ≠ 1

23

c) Các công thức gần đúng để tính Pn (k) và Pn (k1,k2)

Các công thức được rút ra từ các định lý giới hạn

Công thức Moixre - Laplace :

Pn(k) ≈ϕ(xk)/ npq

• Công thức Moixre - Laplace được sử dụng khi n khá lớn

• p là xác suất của biến cố A trong phép thử Bernoulli, p không quá gần 0 và 1

xk = (k-np) / npq

ϕ(x) = 1 / 2π * e-x²/2 : hàm số Gauss

25

Công thức Poisson

• Nếu n →∞ và p → 0 sao cho np = λ (const) thì

Pn (k) ≈ (e-λλk) / k!

Định lý Poisson cũng có thể dùng để tính gần đúng Pn (k1,k2)

28

Ví dụ:

Tổng sản phẩm của xí nghiệp A trong 1 quí là 800 Xác xuất để sản xuất ra một phế phẩm là 0.005 Tìm xác suất để cho :

Ma trận thường được viết thành bảng kẹp giữa 2 dấu

ngoặc vuông "[" và "]" (hoặc, hiếm hơn, dấu ngoặc "("

C ÁC LOẠI MA TRẬN ĐẶC BIỆT

Ma trận tam giác là ma trận vuông được chia

thành hai loại là ma trận tam giác trên và ma trận tam giác dưới.

 Ma trận tam giác trên khi các phần tử nằm phía dướihạng tử có giá trị = 0, aij=0 với mọi i>j

 Ma trận tam giác dưới khi các phần tử nằm phía trênhạng tử có giá trị bằng không, aij=0 với mọi i<j

Ma trận chéo là ma trận vuông trong đó tất cả các

phần tử không nằm trên đường chéo chính thì đều bằng 0, nghĩa là =0 với mọi i ≠ j.

31

M A TRẬN ĐƠN VỊ

 Ma trận đơn vị trên một vành nào đó, là ma trậnvuông, có các phần tử nằm trên một đường chéo manggiá trị là đơn vị nhân của vành đó (nếu là vành số thôngthường thì là số 1), tất cả các phần tử còn lại mang giátrị trung hòa (nếu là vành số thông thường thì là số 0)

32

M A TRẬN ĐỐI XỨNG

A=[aij]mxn

A được gọi là đối xứng khi và chỉ khi

aij=aji với mọi i,j

Tức là:

33

 Ma trận sơ cấp E 2 nhận được khi ta nhân cộng vào hàng

j với hàng i đã được nhân với một số β khác 0 đối với

ma trận đơn vị I.

 Ma trận sơ cấp E 3 nhận được khi ta đổi vị trí hàng

j với hàng i của ma trận đơn vị cho nhau

35

C ÁC PHÉP TOÁN ĐẠI SỐ TRÊN MA TRẬN

P HÉP NHÂN MA TRẬN

 Phép nhân ma trận với một số

 Cho ma trận và số, tích được tính bằng cách nhân tất

cả các phần tử của với số (nghĩa là ) Chẳng hạn:

 Phép nhân ma trận

 Phép nhân hai ma trận chỉ thực hiện được khi số cột

của ma trận bên trái bằng số dòng của ma trận bên phải Nếu ma trận có kích thước x và ma trận có kích

thước x , thì ma trận tích có kích thước x có phần tử

đứng ở hàng thứ i, cột thứ j xác định bởi:

37

 Chẳng hạn:

 Phép nhân ma trận có các tính chất sau:

 (AB)C=A(BC) với mọi ma trận cấp Akxm , ma trận Bmxn và

ma trận Cnxp ("kết hợp“)

 (A+B)C= AC+BC với mọi ma trận cấp Amxn và các ma trận

B và ma trận C cấp nxk ("phân phối bên phải").

 C(A+B)=CA+CB ("phân phối bên trái").

 Cần chú ý rằng phép nhân ma trận không giao hoán.

38