tổng quan về bài giảng lý thuyết thông tin bài giảng lý thuyết thông tin

Công thức nhân về xác suất :a Xác xuất có điều kiện : Gọi P B / A là xác suất có điều kiện của biến cố B sau khi biến cố A đã thực hiện... Chứng minh :Gọi E là không gian mẫu chứa hai bi

LÝ THUYẾT THÔNG TIN

Bùi Văn Thành

thanhbv@uit.edu.vn

Tháng 7 năm 2013

1

Trường Đại Học Công Nghệ Thông Tin

KHOA MẠNG & TRUYỀN THÔNG

CHƯƠNG 0

XÁC SuẤT

MA TRẬN

2

XÁC SUẤT (PROBABILITY)

1.1 THÍ NGHIỆM NGẪU NHIÊN, KHÔNG GIAN MẪU, BIẾN CỐ:

1.1.1 Thí nghiệm ngẫu nhiên (Random Experiment)

Thí nghiệm ngẫu nhiên là một thí nghiệm có hai đặc tính : -Không biết chắc hậu quả nào sẽ xảy ra -Nhưng biết được các hậu quả có thể xảy

ra

Ví dụ:

Tung một con xúc sắc là một thí nghiệm ngẫu nhiên vì :

-Ta không biết chắc mặt nào sẽ xuất hiện

-Nhưng biết được có 6 trường hợp xảy ra (xúc sắc có 6 mặt 1, 2, 3, 4,

5, 6)

Ràng buộc:

-Con xúc sắc đồng chất để 6 mặt đều có thể xuất hiện như nhau.

-Cách tung xúc sắc không cố ý thiên vị cho mặt nào hiện ra

3

1.1.2 Không gian mẫu (Sample Space)

Tập hợp các hậu quả có thể xảy ra trong thí nghiệm ngẫu nhiên gọi là

không gian mẫu của thí nghiệm đó.

Ví dụ: Không gian mẫu của thí nghiệm thảy một con xúc xắc là: E = {1, 2,

-Mỗi tập hợp con của không gian mẫu là một biến cố

-Biến cố chứa một phần tử gọi là biến cố sơ đẳng

Ví dụ:

Trong thí nghiệm thảy 1 con xúc sắc :

-Biến cố các mặt chẵn là : {2, 4, 6} Biến cố các mặt lẻ: {1, 3, 5}

b) Biến cố xảy ra (hay thực hiện)

Gọi r là một hậu quả xảy ra và A là một biến cố:

-nếu r A ta nói biến cố A xảy ra ∈ A ta nói biến cố A xảy ra

-nếu r A ta nói biến cố A không xảy ra ∉ A ta nói biến cố A không xảy ra

Ví dụ:

Trong thí nghiệm thảy một con xúc sắc nếu mặt 4 xuất hiện thì:

-Biến cố {2,4,6} xảy ra vì 4 {2, 4, 6} ∈ A ta nói biến cố A xảy ra

-Biến cố {1,3,5} không xảy ra vì 4 {1, 3, 5} ∉ A ta nói biến cố A không xảy ra

Ghi chú:

-φ E => φ là một biến cố ⊂ E => φ là một biến cố

∀r, r φ => φ là một biến cố vô phương (biến cố không) -E E => ∉ A ta nói biến cố A không xảy ra ⊂ E => φ là một biến cố

E là một biến cố r, r E => E là một biến cố chắc chắn ∀ ∈ A ta nói biến cố A xảy ra

5

1.1.4 Các phép tính về biến cố

Cho 2 biến cố A, B với A E và B E ⊂ E => φ là một biến cố ⊂ E => φ là một biến cố

a) Biến cố hội A ∪ B (Union): Biến cố hội của 2 biến cố A

và B được ký hiệu là A B: A B xảy ra ∪ ∪  (A xảy ra

HAY B xảy ra)

b) Biến cố giao A ∩ B (Intersection): A ∩ B xảy ra (A xảy

ra VÀ B xảy ra)

A∩B

6

c) Biến cố phụ A (Biến cố đối lập, Component of A):A xảy ra  A

Ví dụ:

Trong thí nghiệm thảy một con xúc sắc, ta có không gian mẫu: E = {1, 2, 3, 4, 5, 6} -Gọi A là biến cố mặt lẻ xuất hiện => A = {1, 3, 5} -Gọi B là biến cố khi bội số của 3 xuất hiện => B = {3, 6} -Gọi C là biến cố khi mặt 4 xuất hiện => C = {4}, biến cố sơ đẳng

biến cố khi mặt chẵn xuất hiện A ∩ C = φ => A và C là

2 biến cố cách biệt

e) Hệ đầy đủ (Collectively Exhaustive)

Gọi A1, A2…, Ak là k biến cố trong không gian mẫu E

P(A) = Số trường hợp A xảy ra/Số trường hợp cóthể xảy ra

a Gọi A là một biến cố bất kỳ trong khơng gian mẫu E : 0 ≤ P(A) ≤ 1

b P (φ) = 0 => φ là Biến cố vơ phương P (E) = 1 => E là Biến cố chắc chắn

9

Ghi chú :

Nếu A và B là 2 biến cố cách biệt, ta có:

A ∩ B = φ =>P(A ∩ B) = P(φ) = 0

b) Xác suất của biến cố phụ (biến cố đối lập)

Biến cố phụ của biến cố A trong không gian mẫu E là A :

1.2.4 Công thức nhân về xác suất :

a) Xác xuất có điều kiện :

Gọi P (B / A) là xác suất có điều kiện của biến cố B sau khi biến cố A đã thực hiện

Với P(A) > 0 ; P(B) > 0

12

Chứng minh :

Gọi E là không gian mẫu chứa hai biến cố A,B

Giả sử A thực hiện rồi thì A là biến cố chắc chắn, ta có thể chọn A làm không gian mẫu thu gọn

Biến cố B thực hiện sau khi biến cố A xảy ra trở thành biến

b) Công thức nhân về xác suất:

Cho hai biến cố A và B trong không gian mẫu E, xác suất của biến cố giao được tính:

P(A∩B) = P(B/A) * P(A) hay P(A∩B) = P(A/B) * P(B)

c) Biến cố độc lập :

Biến cố gọi là độc lập với biến cố A về phương diện xác suất nếu xác suất của biến cố B không thay đổi cho dù biến cố A đã xảy ra, nghĩa là: P(B/A) = P(B) ngược lại: P(A/B) = P(A) Trong trường hợp hai biến cố độc lập, công thức nhân trở thành:

P(A∩B) = P(A) * P(B)

14

1.2.5 Công thức xác suất đầy đủ - Công thức Bayes

a) Công thức xác suất đầy đủ :

Giả sử biến cố B xảy ra khi và chỉ khi một trong các biến cố của hệ đầy đủ cách biệt nhau từng đôi một A1, A2…, Ak xảy ra

Biết xác suất P(Ai) và P(B/Ai) hãy tìm P(B)

Theo giả thiết bài toán thì

Giải : Gọi A1, A2, A3, A4 là biến cố lấy đúng một sản phẩm của

phân xưởng I,II,III,IV Gọi B là biến cố lấy được một phế phẩm

B = (B∩A1) (B∩A2) (B∩A3) (B∩A4) 4 ==>P(B) = ∪ ∪ ∪ ∑P(B/

Ai)*P(Ai) i=1

Theo đề bài:

P(A1) = 1/3, P(A2) = 1/4, P(A3)= 1/4, P(A4) = 1/6, ∑P(Ai) = 1

P(B/A1) = 0,15, P(B/A2) = 0,08, P(B/A3) = 0,05, P(B/A4) = 0,01

Vậy P(B) =1/3 * 0,15 + 1/4 * 0,08 + 1/4 * 0,05 + 1/6 * 0,01 = 0,0816 17

= P(B/Ai) * P(Ai)P(B/Ai )* P(Ai )

P(Ai/B)= P(B/Ai )* P(Ai )/P(B)

k

P(Ai/B)= P(B/Ai )* P(Ai ) /(∑ P(B/Ai ) * P(Ai ))

i=1

18

Công thức này được gọi là công thức Bayes, hay công thức xác suất các giả thiết về các biến cố Ai có thể xem như giả thiết theo đó biến cố B xuất hiện Ta phải tính xác

suất của các giả thiết với điều kiện biến cố B xuất hiện

Ví dụ:

Xét lại thí dụ 2.2, cũng với giả thiết đó bây giờ ta yêu cầu xác suất để lấy một sản phẩm của phân xưởng thứ nhất biết nó là một phế phẩm

Ta phải tìm P(A1/B)

P(A1/B) = [P(B/A1) * P(A)]/P(B) = [0,15 * 1/3]/0,0816 = 0,61

19

1.2.6 Công thức Bernoulli :

a)Công thức Bernoulli :

Nếu tiến hành những phép thử độc lập, trong mỗi phép thử xác suất hiện của biến cố A như nhau và bằng p thì xác suất để biến cố A xuất hiện k lần trong n phép thửđó được biểu diễn bằng công thức Bernoulli

Pn(k) = C n k pk qn-k Với q = 1-p

Ghi chú :

a.Trong trường hợp biến cố A xuất hiện từ k1 đến k2 lần trong n phép thử thì ta ký hiệu xác xuất đó là Pn(k1,k2)

Gọi Aki là biến cố A xuất hiện ki lần

A = Aki Ak1+1 … Ak2 ∪ ∪ ∪

k2

Pn(k1,k2)=P(A)= ∑Cni piqn-i

i=k1

20

b.Khi n và k khá lớn việc tính toán Pn(k) và Pn(k1, k2) sẽ phức tạp Để khắc phục điều đó người ta phải tìm cách

tính gần đúng các xác suất đó bằng cách áp dụng các định

lý giới hạn

Ví dụ:

Trong thùng có 30 bi: 20 trắng và 10 đen Lấy liên tiếp 4

bi, trong đó mỗi bi lấy ra đều hoàn lại thùng trước khi lấy

bi tiếp theo và các bi đều được trộn lại Hỏi xác suất để

trong 4 bi lấy ra có 2 bi trắng

Giải: Xác suất lấy được bi trắng p = 20/30 =2/3 có thể

xem như nhau trong 4 phép thử: q = 1 - p = 1/3

áp dụng công thức Bernoulli

21

Xác suất để biến cố A xuất hiện không quá 3 lần

Ghi chú:

b) Số lần xuất hiện chắc chắn nhất:

Trị số của Pn(k) nói chung phụ thuộc vào k Ta

tìm một số k0 sao cho Pn(k0) đạt giá trị lớn nhất

Số k0 gọi là số lần xuất hiện chắc chắn nhất của biến cố A trong n phép thử Ta có:

np-q ≤ k0 ≤ np + p p ≠ 0 và p ≠ 1

23

c) Các công thức gần đúng để tính Pn (k) và Pn (k1,k2)

Các công thức được rút ra từ các định lý giới hạn

Công thức Moixre - Laplace :

Pn(k) ≈ϕ(xk)/ npq

• Công thức Moixre - Laplace được sử dụng khi n khá lớn

• p là xác suất của biến cố A trong phép thử Bernoulli, p không quá gần 0 và 1

xk = (k-np) / npq

25

Ví dụ:

Tổng sản phẩm của xí nghiệp A trong 1 quí là

800 Xác xuất để sản xuất ra một phế phẩm là 0.005 Tìm xác suất để cho :

Ma trận thường được viết thành bảng kẹp giữa 2 dấu

ngoặc vuông "[" và "]" (hoặc, hiếm hơn, dấu ngoặc "(" và ")")

 Thí dụ:

30

Ma trận thường được dùng để mô ta không gian trạng thái trong điều khiển tự động

CÁC LOẠI MA TRẬN ĐẶC

BIỆT

thành hai loại là ma trận tam giác trên và ma trận tam giác dưới.

hạng tử có giá trị = 0, aij=0 với mọi i>j

hạng tử có giá trị bằng không, aij=0 với mọi i<j

phần tử không nằm trên đường chéo chính thì đều bằng 0, nghĩa là =0 với mọi i ≠ j.

31

MA TRẬN ĐƠN VỊ

 Ma trận đơn vị trên một vành nào đó, là ma trận vuông, có các phần tử nằm trên một đường chéo mang giá trị là đơn vị nhân của vành đó (nếu là vành số thông thường thì là số 1), tất cả các phần tử còn lại mang giá trị trung hòa (nếu là vành số thông thường thì là số 0)

32

MA TRẬN ĐỐI XỨNG

A=[aij]mxn

A được gọi là đối xứng khi và chỉ khi

aij=aji với mọi i,j

Tức là: 

33

Ma trận ba đường chéo: Là ma trận mà các

phần tử nằm ngoài ba đường chéo đều bằng 0.

một phép biến đổi sơ cấp đối với hàng (cột) của một

ma trận đơn vị I Kí hiệu là: E

Ma trận sơ cấp E 1 nhận được khi ta nhân một số α khác 0 vào một hàng của ma trận đơn vị I.

34

 Ma trận sơ cấp E 2 nhận được khi ta nhân cộng vào hàng

j với hàng i đã được nhân với một số β khác 0 đối với

ma trận đơn vị I.

 Ma t) thì rận sơ cấp)/ npq E 3 nhận được khi t) thì a đổi vị t) thì rí hàng j với hàng i của ma t) thì rận đơn vị cho nhau

35

CÁC PHÉP TOÁN ĐẠI SỐ TRÊN

PHÉP NHÂN MA TRẬN

 Phép nhân ma trận với một số

cả các phần tử của với số (nghĩa là ) Chẳng hạn:

 Phép nhân ma trận

Phép nhân hai ma trận chỉ thực hiện được khi số cột

của ma trận bên trái bằng số dòng của ma trận bên phải Nếu ma trận có kích thước x và ma trận có kích

thước x , thì ma trận tích có kích thước x có phần tử

đứng ở hàng thứ i, cột thứ j xác định bởi:

với mọi cặp =1 m; j =1 p.

37

 Chẳng hạn:

 (AB)C=A(BC) với mọi ma trận cấp Akxm , ma trận Bmxn và

ma trận Cnxp ("kết hợp“)

B và ma trận C cấp nxk ("phân phối bên phải").

 C(A+B)=CA+CB ("phân phối bên trái").

38