Một số bất đẳng thức xác suất và ứng dụng

- Hệ thống lại các khái niệm cơ bản của lý thuyết xác suất rời rạc.- Nghiên cứu, tìm hiểu thêm về một số bất đẳng thức trong xácsuất và các ứng dụng của chúng.. Cấu trúc khóa luận Khóa l

TRƯỜNG ĐẠI HỌC SƯ PHẠM HÀ NỘI 2

TRƯỜNG ĐẠI HỌC SƯ PHẠM HÀ NỘI 2

Trong quá trình nghiên cứu và thực hiện khóa luận, với sự cố gắngcủa bản thân cũng như sự hướng dẫn và giúp đỡ nhiệt tình của cácthầy cô giáo và các bạn sinh viên, em đã hoàn thành khóa luận này.

Em xin bày tỏ lòng biết ơn đến các thầy cô công tác tại KhoaToán, Trường Đại học Sư phạm Hà Nội 2 và các thầy cô đã trực tiếpgiảng dạy, truyền đạt cho em những kiến thức quý báu về chuyên môncũng như kinh nghiệm nghiên cứu trong thời gian vừa qua

Đặc biệt em xin bày tỏ lòng biết ơn sâu sắc đến TS Trần VĩnhĐức, người đã tận tình giúp đỡ, chỉ bảo cũng như cung cấp cho emnhững kiến thức nền tảng để em hoàn thành khóa luận này

Em xin chân thành cám ơn!

Hà Nội, ngày 04 tháng 05 năm 2018

Sinh viên

Nguyễn Thị Thanh Hà

Em xin cam đoan dưới sự hướng dẫn của thầy giáo Trần VĩnhĐức khóa luận của em được hoàn thành không trùng với bất kì đềtài nào khác.

Trong khi thực hiện đề tài em đã sử dụng và tham khảo các thànhtựu của các nhà khoa học với lòng biết ơn trân trọng

Hà Nội, ngày 04 tháng 05 năm 2018

Sinh Viên

Nguyễn Thị Thanh Hà

LỜI MỞ ĐẦU 1

1 Một số khái niệm cơ bản về xác suất rời rạc 3

1.1 Biến cố và xác suất của biến cố 3

1.2 Các tham số đặc trưng của biến ngẫu nhiên rời rạc 6

1.2.1 Kỳ vọng 6

1.2.2 Phương sai 8

2 Moment và độ lệch 10 2.1 Momen 10

2.2 Bất đẳng thức Markov 10

2.3 Bất đẳng thức Chebyshev 12

2.4 Một số ứng dụng của bất đẳng thức Markov 14

2.4.1 Xác định một giới hạn cho xác suất 14

2.4.2 Bất đẳng thức Chebyshev 15

2.5 Một số ứng dụng của bất đẳng thức Chebyshev 16

2.5.1 Ước lượng một ràng buộc cho xác suất 16

2.5.2 Luật số lớn Chebyshev 17

3.1 Hàm sinh mô-men 19

3.2 Chặn Chernoff 21

3.3 Ứng dụng của chặn Chernoff 25

3.3.1 Xác định giới hạn cho một xác suất 25

3.3.2 Ước lượng một tham số 27

3.3.3 Thiết lập sự cân bằng 28

3.4 Chặn Hoeffding 32

3.5 Ứng dụng của chặn Hoeffding 33

3.5.1 Xác định độ tin cậy trong một phép thử 33

3.5.2 Tìm vị trí của con kiến ngẫu nhiên trên một đường thẳng 34

- Hệ thống lại các khái niệm cơ bản của lý thuyết xác suất rời rạc.

- Nghiên cứu, tìm hiểu thêm về một số bất đẳng thức trong xácsuất và các ứng dụng của chúng

3 Đối tượng và phạm vi nghiên cứu

- Đối tượng nghiên cứu: đề tài nghiên cứu về bất đẳng thức xácsuất và ứng dụng của nó

- Phạm vi nghiên cứu: nghiên cứu các tài liệu xác suất trong vàngoài nước

4 Phương pháp nghiên cứu

- Tìm hiểu, thu thập các tài liệu của các tác giả nghiên cứu đến

- Tham khảo thêm các tài liệu trên mạng Internet.

5 Cấu trúc khóa luận

Khóa luận được trình bày thành ba chương:

Chương 1: Nhắc lại các tiên đề về xác suất rời rạc, về biến ngẫunhiên cũng như các tham số đặc trưng của biến ngẫu nhiên rời rạc.Chương 2: Giới thiệu về bất đẳng thức Markov, bất đẳng thức Cheby-shev và ứng dụng của chúng

Chương 3: Giới thiệu về chặn Chernoff và Chặn Hoeffding, áp dụngchương 2 để giới thiệu cách chứng minh các chặn này, đồng thời giớithiệu một số ứng dụng của các chặn

Một số khái niệm cơ bản về xác

suất rời rạc

Chương này sẽ nhắc lại một số khái niệm cơ bản của xác suất rờirạc để làm tiền đề cho sự hình thành kiến thức trong các phần sau

1.1 Biến cố và xác suất của biến cố

Định nghĩa 1.1 Phép thử ngẫu nhiên là một thí nghiệm hay một sựquan sát mà các kết quả của nó không thể dự báo trước được

Định nghĩa 1.2 Biến cố là các kết quả có thể có khi xét một phépthử

Định nghĩa 1.3 Không gian mẫu là tập hợp các kết quả có thể cócủa phép thử và thường được kí hiệu là Ω

Định nghĩa 1.4 Xác suất của một biến cố: Xét một phép thử bất

kỳ có một số hữu hạn các kết quả có thể và giả thiết rằng các kết quảnày đồng khả năng xuất hiện Khi đó xác suất của biến cố X là tỉ số

Khi đó ta kí hiệu như sau: Pr (X) = |X|

|Ω|, với |X| là kí hiệu sốphần tử của tập hợp X

Định nghĩa 1.5 Hai biến ngẫu nhiên X và Y được gọi là độc lậpnếu và chỉ nếu

Ví dụ 1.1.1 Xét phép thử “Gieo một đồng xu cân đối và đồng chất

1 lần” thì các biến cố có thể có bao gồm xuất hiện mặt sấp hoặc xuấthiện mặt ngửa, nên biểu diễn không gian mẫu của phép thử này sẽ là

Ω = {S, N } với S - mặt sấp, N - mặt ngửa

Khi đó Pr (S) = Pr (N ) = 1

2.Định nghĩa 1.6 Một hàm xác suất là một hàm P r : F −→ R thỏamãn các điều kiện sau:

- Với mọi biến cố X, 0 ≤ Pr(X) ≤ 1

Chứng minh Thật vậy, từ định nghĩa có:

1.2 Các tham số đặc trưng của biến ngẫu nhiên

rời rạc

1.2.1 Kỳ vọng

Định nghĩa 1.7 Giả sử biến ngẫu nhiên rời rạc X nhận một trongcác giá trị x1, x2, xn với xác suất tương ứng p1, p2, , pn Kỳ vọng(giá trị trung bình) của biến ngẫu nhiên rời rạc X, kí hiệu là E(X)

là tổng các tích giữa các giá trị có thể có của biến ngẫu nhiên với cácxác suất tương ứng, có nghĩa E(X) =

n

P

i=1

xipi.Tính chất 1.2.1 E(C) = C, với C là hằng số

Tính chất 1.2.2 E(CX) = CE(X), với C là hằng số

Tính chất 1.2.3 Với X và Y là 2 biến ngẫu nhiên bất kỳ thì

E(X + Y ) = E(X) + E(Y )

Tính chất 1.2.4 Với X và Y là 2 biến ngẫu nhiên độc lập thì

Pr (X = xi/Y = yi) = Pr (X = xi, Y = yi)

P (Y = yi) ,

Trong đó xác suất biên Pr (X = xi) , P r (Y = yi) được tính bằng:

- Nếu X, Y độc lập thì: E (X/Y ) = EX

Mệnh đề 1.1 Với mọi biến ngẫu nhiên X và Y :

E [X] =X

y

Pr(Y = y).E(X/Y = y)với tổng các giá trị nằm trong Y và các kỳ vọng đều tồn tại

Mệnh đề 1.2 Cho một tập các biến ngẫu nhiên rời rạc X1, X2, , Xn

với kỳ vọng hữu hạn và với mọi biến ngẫu nhiên Y :

Định nghĩa 1.11 Độ lệch chuẩn của biến ngẫu nhiên X là:

σ [X] = pV ar [X]

Định nghĩa 1.12 Covarian của hai biến ngẫu nhiên X và Y là:

Cov(X, Y ) = E [(X − E [X])(Y − E [Y ])] Định lý 1.2 Cho hai biến ngẫu nhiên X và Y Khi đó

V ar [X + Y ] = V ar [X] + V ar [Y ] + 2Cov (X, Y )

Thật vậy theo định nghĩa ta có:

V ar [X + Y ] = E

h(X + Y − E [X + Y ])2

i

= E

h(X + Y − E [X] − E [Y ])2

Mở rộng hệ quả trên cho một tổng hữu hạn các biến ngẫu nhiên

độc lập lẫn nhau ta được định lý sau:

Định lý 1.3 Cho X1, X2, , Xn là các biến ngẫu nhiên độc lập lẫn

Moment và độ lệch

Trong chương này chúng ta sẽ nghiên cứu về bất đẳng thức Markov

cũng như bất đẳng thức Chebyshev và các ứng dụng của chúng

- Phương sai của biến ngẫu nhiên X chính là mô-men trung tâm

cấp hai và có thể được biểu diễn theo mô-men thứ nhất và mô-men

thứ hai theo công thức σ2 = µ2 − µ2

1

2.2 Bất đẳng thức Markov

Thông thường khi cho một biến ngẫu nhiênX, chúng ta thường

quan tâm đến xác suất mà biến ngẫu nhiên đó đạt được như thế nào

với chính kỳ vọng của nó Vì vậy, bất đẳng thức Markov ra đời nhằmgiải quyết thắc mắc trên.

Bất đẳng thức Markov đưa ra một chặn trên cho xác suất một hàm

số không âm của một biến ngẫu nhiên nhận giá trị lớn hơn một hằng

số dương Nó liên hệ giữa xác suất và giá trị kỳ vọng, và cho một giớihạn (thường không chặt) cho giá trị của hàm phân phối tích lũy củamột biến ngẫu nhiên

Định lý 2.1 Cho X là một biến ngẫu nhiên nhận giá trị không âm.Khi đó với mọi a > 0 ta có:

Pr(X ≥ a) ≤ E [X]

a .Chứng minh Thật vậy, xét tập A = {s ∈ Ω/X(s) ≥ a}

Ta phải chứng minh rằng P r(A) ≤ E [X]

Sau khi đã nhắc lại về kỳ vọng và phương sai của biến ngẫu nhiên,ta

sử dụng chúng để suy ra bất đẳng thức Chebyshev như sau:

Định lý 2.2 Với mọi a > 0 có

Pr(|X − E [X]| ≥ a) ≤ V ar [X]

a2 Chứng minh Cách chứng minh bất đẳng thức Chebyshev tương tựnhư chứng minh bất đẳng thức Markov Xét tập

A = {s ∈ Ω/ |X(s) − E(X)| ≥ a}

Ta sẽ chứng minh rằng P r(A) ≤ V ar(X)

(do với mọi s:(X(s) − E(s))2 ≥ 0,|X(s) − E(X)| ≥ a với mọi s ∈ A)

Vì vậy V ar(X) ≥ a2.P r(A) hay P r(A) ≤ V ar(X)

a2 ,Vậy Pr(|X − E [X]| ≥ a) ≤ V ar [X]

a2 Nhận xét 2.2 Cả hai bất đẳng thức Markov và Chebyshev đều xácđịnh giới hạn xác suất khi biết kỳ vọng và phương sai của biến ngẫunhiên chưa biết phân phối xác suất

Ví dụ 2.3.1 Giả sử coi số phế phẩm làm ra của một nhà máy tínhtrong một tháng là một biến ngẫu nhiên với kỳ vọng µ = 30

i, Nhận xét gì về xác suất của phế phẩm tháng này vượt quá 120sản phẩm

ii, Với phương sai bằng 25, hãy tính xác suất phế phẩm của thángnếu số phế phẩm này làm ra nằm trong khoảng (40, 60)

Giải:

Vậy xác suất của phế phẩm tháng này vượt quá 120 sẽ lớn hơn 1

Suy ra: Pr (40 < X < 60) = Pr (|X = 50| < 10) > 1 − 1

4 =

34Vậy nếu phương sai của phế phẩm tháng này là 25 thì xác suất phếphẩm của tháng trong khoảng (40,60) sẽ lớn hơn 3

4 .

2.4 Một số ứng dụng của bất đẳng thức Markov

2.4.1 Xác định một giới hạn cho xác suất

Ví dụ 2.4.1 A và B chơi trò rút lá bài với luật chơi như sau: Đưacho A và B mỗi bạn một bộ bài như nhau, lần lượt mỗi người sẽ rút

1 quân bài và so sánh màu sắc quân bài với người kia sau đó lại choquân bài đã rút vào bộ bài Kết quả sau n lần rút ai nhận được nhiều

lá bài màu đỏ hơn sẽ thắng Xác định giới hạn cho xác suất A rútđược quân bài màu đỏ ít nhất 120 lần

Giải:

Giả sử Xi là biến ngẫu nhiên nhận giá trị 1 nếu A rút được lá bài

đỏ và nhận giá trị 0 nếu A rút được lá bài màu đen Đặt X =

lá bài màu đỏ và đen là như nhau và bằng 1

2 nên E [Xi] = Pr(Xi =1) = 1

Pr(X ≥ 3n

4 ) ≤

E [X]

3n4

=

n23n4

= n2

43n =

Để giải quyết bài toán ta coi số lần xuất hiện mặt ngửa là mộtbiến ngẫu nhiên thỏa mãn phân phối nhị thức với xác suất p = 1

Đối với biến ngẫu nhiên Y = (X − EX) , nếu ta đặt a = (kα) thìbất đẳng thức Chebyshev sẽ được biểu diễn như sau:

Pr (|Y | ≥ kα) ≤ 1

Các bước chứng minh được thực hiện như sau:

2.5.1 Ước lượng một ràng buộc cho xác suất

Ví dụ 2.5.1 Cho X ∼ P oi(16) Yêu cầu đưa ra một ràng buộc choxác suất P r (|X − µ| ≤ 5)

Vì X ∼ P oi(16) nên µ = 16 = σ2 Suy ra σ = 4 Khi đó:

Ví dụ 2.5.3 Giả sử X là biến ngẫu nhiên độc lập có kỳ vọng vàphương sai đều bằng 16 Hãy đưa ra một ước lượng cho xác suất

Luật số lớn phát biểu như sau: Nếu X1, X2, , Xn là một dãy cácbiến ngẫu nhiên độc lập có các kỳ vọng hữu hạn và phương sai bị chặn

DSn = DX1 + DX2 + + DXn

n2 ≤ nC

n2 = C

n.Bây giờ ta áp dụng bất đẳng thức Chebyshev đối với biến ngẫu nhiên

> ε



= P r (|Sn−ESn| > ε) ≤ C

nε2

tiến đến 0 khi n → ∞ Như vậy dựa vào bất đẳng thức Chebyshev ta

đã chứng minh được luật số lớn Chebyshev

Chặn Chernoff và chặn Hoeffding

3.1 Hàm sinh mô-men

Cho X là một biến ngẫu nhiên bất kỳ, và a ∈ R Bây giờ cũng

từ ý tưởng dùng bất đẳng thức Markov để chứng minh bất đẳng thứcChebyshev, ta có với mọi t > 0:

Pr(X ≥ a) = Pr(etX ≥ eta) ≤ E(e

tX)

eta

( theo bất đẳng thức Markov)

Tương tự vậy, với mọi t < 0 ta có:

Pr(X ≤ a) = Pr(e−tX ≥ e−ta) ≤ E(e

thường giá trị EetX có thể không xác định Tuy nhiên nếu E etXxác định với t0 > 0 thì:

- EetX xác định với mọi |t| < to

- Tất cả các mô-men của X hữu hạn và EetX có đạo hàm tại t = 0

- EetX với |t| < to xác định duy nhất phân phối của X

Chứng minh Thật vậy: Vì X và Y là 2 biến ngẫu nhiên độc lập nên

etX, etY cũng là các biến ngẫu nhiên độc lập Nên:

MX+Y(t) = Ehet(X+Y )i = EetXetY = E etX E etY = MX(t).MY(t)

3.2 Chặn Chernoff

Đối với các biến ngẫu nhiên đặc trưng, đặc biệt là đối với tổng củanhiều biến ngẫu nhiên độc lập, ta cần một chặn tốt hơn cho xác suấtcủa độ lệch từ kỳ vọng Chặn Chernoff cho một biến ngẫu nhiên Xnhận được bằng cách áp dụng bất đẳng thức Markov đối với etX chomột số giá trị của t

Với mọi t > 0 , từ bất đẳng thức Markov ta suy ra:

Với các giả thiết phù hợp khác nhau, chúng ta có các dạng củachặn Chernoff tương ứng Trước tiên chúng ta sẽ tìm dạng của hàmsinh mô-men với phân phối Bernoulli, trong đó mỗi biến ngẫu nhiên

chỉ nhận giá trị 0 hoặc 1 Cho X là biến ngẫu nhiên nhận giá trị 1 vớixác suất p và giá trị 0 với xác suất 1 − p Khi đó với mọi t ∈ R

Định lý 3.3 Cho X1, X2, , Xn là các phân phối Poisson độc lập vớiPr(Xi = 1) = pi Đặt X =

n

P

i=1

Xi, µ = E [X] , khi đó chặn Chernoffphát biểu như sau:

Với mọi δ > 0 , chọn t = ln (1 + δ) > 0 được:

Với mọi 0 < δ ≤ 1 chọn t = − ln(1 − δ) ta được

[P r(X ≥ (1 − δ)µ) ≤ e((µe(ln(1−δ)−1+(1−δ)(− ln(1−δ))

Hay Pr(X ≥ (1 + δ)µ) ≤



e−δ(1−δ)(1−δ)

µ

Định lý 3.4 Cho X1, X2, , Xn là các phân phối Poisson độc lập

f0(δ) = ln (1 − δ) + δ

f00(δ) = − 1

1 − δ + 1

Nhận thấy f00(δ) < 0 trong đoạn (0, 1) và vì f0(0) = 0 , ta có

f0(δ) ≤ 0 trong nửa đoạn [0, 1)

Do đó f (δ) không tăng trên đoạn này

3.3 Ứng dụng của chặn Chernoff

3.3.1 Xác định giới hạn cho một xác suất

Giả sử ta có một đồng xu cân đối và đồng chất Thực hiện gieođồng xu n lần, kí hiệu Xn là tập chỉ số các lần xuất hiện mặt ngửatrong n lần gieo Vì trong một lần gieo khả năng xuất hiện mặt sấp

và ngửa là như nhau nên xác suất xuất hiện mặt sấp và ngửa là bằngnhau và bằng 1



Xn

n − 12

≥ ε



≤ 14nε2

Với trường hợp cụ thể ε = 1

4 ta được: Pr



Ví dụ 3.3.1 Gieo một đồng xu không cân đối và đồng chất 200 lần

và nhận thấy xác suất mặt ngửa xuất hiện trong mỗi lần gieo là 1

10.Yêu cầu xác định một giới hạn cho xác suất thỏa mãn số mặt ngửaxuất hiện ít nhất 120 lần

3.3.2 Ước lượng một tham số

Giả sử chúng ta muốn đánh giá xác suất xảy ra với một số lượngbiến cố lớn với mong muốn tiết kiệm chi phí mà kết quả thu được làđáng tin cậy Nếu p là một giá trị mà chúng ta cần ước lượng và n là

số lượng mẫu sao cho X = eX , yêu cầu ước lượng p gần đúng với giátrị mẫu p Thay vì dự đoán một giá trị cụ thể cho tham số p thì ta sẽeđánh giá một mẫu n và ước tính một giá trị p và khoảng [˜e p − δ, ˜p + δ]trong đó giá trị của p sẽ được bao gồm với xác suất 1 − γ Xem xétđịnh nghĩa sau:

Định nghĩa 3.2 1 − γ là một khoảng tin cậy cho tham số p là mộtkhoảng [˜p − δ, ˜p + δ] sao cho:

Pr [p ∈ [˜p − δ, ˜p + δ]] ≥ 1 − γ

Trong số n mẫu đã cho, chúng ta tìm thấy giá trị cụ thể mà chúng taquan tâm chính xác trong các mẫu X = np Do đó, chúng ta muốnetìm một sự cân bằng giữa các giá trị của δ và γ và kích thước củamẫu n

Vì Pr (p ∈ [˜p − δ, ˜p + δ]) = Pr (np ∈ [n(˜p − δ), n (˜p + δ)]) , nên:

- Nếu X = np là một phân phối nhị thức thì E [X] = np.e

- Nếu p /∈ [˜p − δ, ˜p + δ] thì ta có các trường hợp sau:

+ Nếu p < ˜p − δ thì X = n˜p > n(p + δ) = E [X]



1 + δp



+ Nếu p > ˜p + δ thì X = n˜p < n(p − δ) = E [X]



1 − δp



3.3.3 Thiết lập sự cân bằng

Để tìm hiểu ứng dụng này, ta cần xem xét một số trường hợp đặcbiệt Thực tế có thể thu được các chặn mạnh hơn bằng cách sử dụngnhững phương pháp chứng minh cho một số trường hợp đặc biệt củabiến ngẫu nhiên đối xứng Trước tiên xem xét tổng của các biến ngẫunhiên độc lập khi từng biến giả sử nhận giá trị xác suất bằng nhau vàbằng 1 hoặc −1

Định lý 3.5 Cho X1, X2, , Xn là các biến ngẫu nhiên độc lập với

Pr (Xi = 1) = Pr (Xi = −1) = 1

2,Đặt X =

Chứng minh Với mọi t > 0, ta xét:EetXi = 1

i≥0

t2/2
ii! = e

Vì các biến ngẫu nhiên là đối xứng nên ta có Pr (X ≥ a) ≤ e−a2/2n

Hệ quả 3.2 Cho X1, X2, , Xn là các biến ngẫu nhiên độc lập với

ii Với mọi δ > 0 : Pr (X ≥ (1 + δ) µ) ≤ e−δ2µ.

Hệ quả 3.4 Cho X1, X2, , Xn là các biến ngẫu nhiên độc lập với

i Với mọi 0 < a < µ : Pr (Y ≤ µ − a) ≤ e−2a2/n

ii Với mọi 0 < δ < 1 :Pr (Y ≤ (1 − δ) µ) ≤ e−δ2µ

Ta xét ứng dụng của chặn Chernoff trong việc thiết lập sự cânbằng như sau: Cho một ma trận (A)nxm = (aij)nxm với đầu vào thuộctập {0, 1} với các aij,i ∈ 1, , n; j ∈ 1, , m, tương ứng với hàng thứ

i và cột thứ j Một ma trận véc tơ ~b với đầu vào thuộc tập {−1, 1} ,với bj, j ∈ 1, , m, tương ứng với thành phần thứ j của ma trận Một

ma trận véc tơ ~c với ci, i ∈ 1, , n, tương ứng thành phần thứ i của

Cần tìm một véc tơ ~b với đầu vào thuộc tập {−1, 1} mà

A~b

∞ = max

i=1, ,n|ci|Mỗi cột của ma trận A thể hiện một đối tượng và mỗi hàng là đại diệncho một đặc điểm, tính chất Véc tơ ~b phân chia các đối tượng thành

2 nhóm không liên kết, do đó mỗi tính năng sẽ xấp xỉ cân bằng nhất

có thể giữa 2 nhóm Một trong các nhóm hoạt động như một nhómkiểm soát trên một nhóm khác Thuật toán ngẫu nhiên cho việc tínhtoán véc tơ ~b được thực hiện như sau: Chọn ngẫu nhiên các giá trị của

và nhận thấy xác suất mặt ngửa xuất lần gieo 1

10.Yêu cầu xác định giới hạn cho xác suất thỏa mãn số mặt ngửaxuất 120 lần

Giả sử muốn đánh giá xác suất xảy với số lượngbiến cố lớn với mong muốn tiết kiệm chi phí mà kết thu làđáng tin cậy Nếu p giá trị mà cần ước lượng n

số lượng mẫu