Giới thiệu về tập ngẫu nhiên

Mô hình toán học cho các hiện tượng ngẫu nhiên Mô hình toán học cho một phép thử ngẫu nhiên là không gian xác suất Ω, A, P , trong đó: α Ω là một tập, biểu diễn không gian mẫu của phép t

đại học quốc gia hà nội trường đại học khoa học tự nhiên

Trần Thị Hải Lý

Giới thiệu về tập ngẫu nhiên

luận văn thạc sĩ khoa học

Hà Nội - 2014

đại học quốc gia hà nội trường đại học khoa học tự nhiên

Trần Thị Hải Lý

Giới thiệu về tập ngẫu nhiên

Chuyên ngành: Lý thuyết xác suất và thống kê toán học

Mục lục

1.1 Kiến thức cơ bản về xác suất 3

1.2 Một vài tập ngẫu nhiên trong thống kê 5

1.2.1 Miền tin cậy 5

1.2.2 Thống kê Bayes mạnh 6

1.2.3 Phân tích dữ liệu thô 8

1.2.4 Thông tin dựa trên nhận thức 10

1.2.5 Lấy mẫu xác suất 11

2 Các tập ngẫu nhiên hữu hạn 14 2.1 Tập ngẫu nhiên và phân bố của tập ngẫu nhiên 14

2.2 Các quan sát có giá trị tập 23

2.3 Xác suất không chính xác 32

2.4 Phân bố entropy cực đại 36

2.5 Tập đóng ngẫu nhiên và tôpô liên quan 44

3.1 Mối quan hệ 1-1 giữa hàm phân bố và hàm mật độ 47

Mở đầu

Lý thuyết tập ngẫu nhiên là tương đối mới Choquet đã giới thiệu mộtvài ý tưởng then chốt về tập ngẫu nhiên vào năm 1953, Kendall năm 1974

và Matheron đã cung cấp những cơ sở nền móng cho lý thuyết này vào năm

1975 Tài liệu về lý thuyết tập ngẫu nhiên và các ứng dụng dần dần trở nên

có ý nghĩa kể từ đó Mặc dù có những khó khăn trước mắt, không chỉ bởi vìtính phức tạp của phân tích được định giá trị tập, mà còn vì sự thiếu thốn cácmô hình tập ngẫu nhiên dễ xử lý, tuy nhiên không phải vì thế mà lý thuyết

về tập ngẫu nhiên không được nhiều tác giả quan tâm

Trong luận văn này, chúng tôi muốn giới thiệu tổng quát về tập ngẫunhiên và nghiên cứu tập ngẫu nhiên trên các không gian hữu hạn

Dưới sự hướng dẫn của TS Nguyễn Thịnh, luận văn của tôi gồm 3chương:

Chương 1: Trình bày các khái niệm cơ bản về lý thuyết xác suất

mà ta cần đến để thảo luận về tập ngẫu nhiên trong các chương sau Chỉ ra

sự tồn tại của các tập ngẫu nhiên, đặc biệt là trong lý thuyết thống kê toánhọc

Chương 2: Nghiên cứu trường hợp của các tập ngẫu nhiên trêncác không gian hữu hạn Đưa ra mô hình CAR cho một biến ngẫu nhiên dựavào lý thuyết về tập ngẫu nhiên Đề cập đến bài toán entropy cực đại liênquan cho các tập ngẫu nhiên Trình bày về tập đóng ngẫu nhiên và tôpô thíchhợp cho lớp các tập con đóng của Rd

Chương 3: Chỉ ra mối quan hệ 1-1 giữa hàm phân bố và hàm mật

độ của các tập ngẫu nhiên Trình bày tích phân Choquet và đạo hàm Radon

- Nikodym của các hàm tập không cộng tính

Luận văn được hoàn thành dưới sự hướng dẫn của TS NguyễnThịnh Tôi xin bày tỏ lòng biết ơn sâu sắc và chân thành tới thầy, thầy đã

giao đề tài và có những định hướng đúng đắn cho tôi trong quá trình làmluận văn Cảm ơn các thầy, cô trong Khoa Toán - Cơ - Tin học, trường Đạihọc Khoa học Tự nhiên - Đại học Quốc gia Hà Nội đã động viên, quan tâm

và giúp đỡ tôi trong suốt quá trình học tập và nghiên cứu tại trường

Cuối cùng, tôi rất mong nhận được những ý kiến đóng góp quýbáu của các thầy, cô giáo và các bạn học viên để luận văn được hoàn thiệnhơn

Tôi xin chân thành cảm ơn!

Hà Nội, ngày 01 tháng 01 năm 2014

Tác giả

Trần Thị Hải Lý

Chương 1.

Biến ngẫu nhiên và tập ngẫu nhiên

1.1 Kiến thức cơ bản về xác suất

Phần này trình bày các khái niệm cơ bản về lý thuyết xác suất mà ta cần đến

để thảo luận về các tập ngẫu nhiên trong các chương sau.

Định nghĩa 1.1.1 (Mô hình toán học cho các hiện tượng ngẫu nhiên)

Mô hình toán học cho một phép thử ngẫu nhiên là không gian xác suất (Ω,

A, P ), trong đó:

α) Ω là một tập, biểu diễn không gian mẫu của phép thử

β) A là một σ-đại số (biểu diễn các biến cố), tức là :

γ) P : A → [0, 1] được gọi là độ đo xác suất, tức là :

i) P (Ω) = 1

ii) Nếu {An, n ≥ 1} là một dãy (hữu hạn hoặc vô hạn đếm được) củacác phần tử rời nhau từng đôi một (Ai∩Aj = ∅ với i6=j) thì

Định nghĩa 1.1.2 (Phần tử ngẫu nhiên)

Cho (Ω, A, P ) là một không gian xác suất Một biến ngẫu nhiên X là một ánhxạ từ Ω tới R sao cho X−1

(B(R)) ⊆ A, tức là, ∀B ∈ B(R), X−1(B) ∈ A,nói cách khác, X là một ánh xạ A - B(R) - đo được

Trong đó B(R) là σ - trường Borel được sinh ra bởi các tập mở của R,

X−1(B) = {ω : X(ω) ∈ B}.

Định nghĩa 1.1.3 (Luật xác suất của các phần tử ngẫu nhiên)

Cho (Ω, A, P ) là một không gian xác suất và (U, U) là một không gian đo

được Ánh xạ X : Ω → U là A - U - đo được Luật xác suất của X là độ đoxác suất trên U được định nghĩa bởi PX = P X−1

Định nghĩa 1.1.4 (Hàm phân bố của các biến ngẫu nhiên)

Cho một biến ngẫu nhiên X : (Ω, A, P ) → (R, B(R)) và luật xác suất củanó: PX = P X−1 trên B(R) Hàm phân bố của biến ngẫu nhiên X là hàm

F : R → [0, 1] được định nghĩa bởi:

F (x) = PX((−∞, x])Tính chất 1 Hàm F này thỏa mãn các tính chất cơ bản sau:

(i) F là đơn điệu không giảm, tức là, nếu x ≤ y thì F (x) ≤ F (y),

(ii) lim

x%+∞F (x) = 1 ; lim

x&−∞F (x) = 0(iii) F là liên tục phải trên R, tức là, với mỗi x ∈ R, F (x) = lim

y&xF (y) =

F (x+), và có giới hạn trái tại mọi x ∈ R

Tất cả các hàm trên Rthỏa mãn các tính chất (i), (ii), (iii) ở trên là các hàm phân bố của các độ đo xác suất trênB(R) Nói cách khác, có một song ánh giữa các hàm thỏa mãn các tính chất (i), (ii), (iii) ở trên với các độ đo xác suất trênB(R).

Định nghĩa 1.1.5 (Hàm phân bố của véc tơ ngẫu nhiên)

Cho X : (Ω, A, P ) → (Rd

, B(Rd))(X = (X1, ã ã ã , Xd)là véc tơ ngẫu nhiên

d chiều) Hàm phân bố F của X là hàm: F : Rd → [0, 1]

F (x) = P (X ≤ x) = P (X1 ≤ x1, ã ã ã , Xd ≤ xd) = P X−1((−∞, x]), ∀x =(x1, ã ã ã , xd) ∈ Rd

Tính chất 2 Từ các tính chất cơ bản của P, F thỏa mãn các tính chất sau:(i) 0 ≤ F (x) ≤ 1,

Phần này chỉ ra sự tồn tại của các tập ngẫu nhiên, đặc biệt là trong lý thuyết thống kê toán học.

1.2.1 Miền tin cậy

Xét một mô hình thống kê tham số hóa.

{f (x, θ) : x ∈ X ⊆ Rm

, θ ∈  ⊆ Rd}, và một tham số mà ta quan tâm

ϕ(θ). X là biến ngẫu nhiên có hàm mật độ f (x, θ), cho trước một mẫu ngẫu nhiên

X1, X2, ã ã ã , Xn của X, bản chất của sự ước lượng miền tin cậy đó là tìm một tập ngẫu nhiên C(X1, X2, ã ã ã , Xn) mà chứa ϕ(θ0), θ0 là tham số thực, với xác suất lớn Cụ thể, tập ngẫu nhiênC(X , X , ã ã ã , X )là một tập tin cậy choϕ(θ)với mức

tin cậy1 − α ∈ (0, 1)nếu∀θ ∈  : Pθ(ϕ(θ) ∈ C(X1, X2, ã ã ã , Xn)) ≥ 1 − α Trong đódPθ = f (x, θ)dx.

Trong các trường hợp đơn giản, việc xây dựng miền tin cậy tốt nhất choϕ(θ)có thể

được thực hiện mà không cần sử dụng khái niệm hình thức về các tập ngẫu nhiên và các phân bố của tập ngẫu nhiên.

Ví dụ: Cho biến ngẫu nhiên X có phân bố chuẩn N (à, σ2), ở đây θ = (à, σ2) Xét ϕ(θ) = à Khi đó √n(Xn − à)/V có phân phối Student với n − 1 bậc tự

điều này, ta cần định nghĩa khái niệm của một tập ngẫu nhiên trên Rd, theo đó thì

∧(S)là một biến ngẫu nhiên (không âm).

ĐặtP biểu thị lớp tất cả các độ đo xác suấtPf trênmàf thỏa mãn (1.1) Khi đó,

ta chỉ biết rằng Pf0 ∈ P, và do đó F ≤ Pf0 ≤ G với F = inf

P P, G = sup

P

P Chú ý rằngF và Glà liên hợp với nhau theo nghĩa:F (A) + G(Ac) = 1, A ⊆  Vì vậy, chúng ta chỉ cần xét một trong hai hàm hoặc F hoặcG, hàm còn lại có thể

Quan điểm của kết luận Bayes mạnh: Xét một mô hình thống kê có dạng{F (x|θ), θ ∈

} cho véctơ ngẫu nhiên X nào đó, trong đó F (x|θ) biểu thị hàm phân bố theo θ,

và là một không gian tham Phương pháp Bayes bắt đầu bằng việc giả sử rằng có một độ đo xác suất tiên nghiệmπ trên không gian đo được (, σ()) Tuy nhiên, trên thực tế thì cả mô hình và tiên nghiệm đều được cho xấp xỉ Do đó, kết luận Bayes mạnh liên quan đến sự phân tích mà tiên nghiệm được thay thế bởi tập của các tiên nghiệm Cụ thể, sự không chính xác trong việc định rõ các tiên nghiệm sẽ được làm

rõ thông qua việc xét một lớp độ đo xác suất P trên (, σ()) chứa tiên nghiệm

"đúng"π0 Tập của các tiên nghiệm P cảm sinh các bao hình trên và dưới trênπ0:

L(A) = inf

P π(A); U (A) = sup

P

π(A) ; ∀A ∈ σ() Khi đó, kết luận sẽ dựa trên L Chú ý rằng L(ã) không phải là một độ đo xác suất trên(, σ()), bởi vì nó không cộng tính.

đưa ra các kết quả của phép thử ngẫu nhiên chính là các tập con mà chứa các giá trị quan sát "đúng" Schreiber đã đưa ra hệ dàn tổng quát cho các quan sát có giá trị tập

mà sử dụng các tập ngẫu nhiên.

Cụ thể, choX là biến ngẫu nhiên có các kết quả không quan sát đượcX1, X2, ã ã ã , Xn Với mỗi Xj, tồn tại tập Sj sao cho Xj ∈ Sj, j = 1, 2, ã ã ã , n Trong đó Sj, j =

1, 2, ã ã ã , n là các kết quả có thể quan sát được của một tập ngẫu nhiên S Khi đó

ta nóiX là một bộ chọn hầu chắc chắn của S.

Ta xét bài toán suy luận thống kê vềX: Ước lượng các hàm mật độ xác suất củaX, bài toán này sẽ dựa trên dữ liệu của tập ngẫu nhiênSj, j = 1, 2, ã ã ã , n.

Để nghiên cứu bài toán ước lượng trên, ta cần một lý thuyết chặt chẽ về các tập ngẫu nhiên, đặc biệt là các phân bố của chúng.

Trong trường hợp thực tế khi phân tích dữ liệu thô ta không thể quan sát được chính xác các giá trị của một mẫu ngẫu nhiênX1, ã ã ã , Xn của X, ta cố gắng định vị các quan sát này trong các tập ngẫu nhiên Sj, j = 1, ã ã ã , n mà có thể quan sát được.

Có rất nhiều cách để làm điều này, mỗi cách đưa ra một sự làm thô dữ liệu khác nhau Các tập ngẫu nhiênSj được xem như là một mẫu ngẫu nhiên rút ra từ một sự làm thô S củaX với S là một tập ngẫu nhiên Khi đó, ta có định nghĩa sự làm thô như sau:

Định nghĩa 1.2.6 Một tập ngẫu nhiên S được gọi là một sự làm thô của Xnếu S chứa X hầu chắc chắn, có nghĩa là X là một bộ chọn hầu chắc chắncủa S

Chú ý rằngX đã được cho trước, vàS là một mô hình tập ngẫu nhiên choX Một mô hình hữu ích cho sự làm thô là mô hình CAR, trong đó CAR là viết tắt của

"coarsenning at radom", có nghĩa là sự làm thô ngẫu nhiên Ta sẽ nghiên cứu mô hình này trong chương sau.

Ví dụ: ChoU ⊆ Rlà miền giá trị củaX, và{A1, ã ã ã , Ak}là một phân hoạch (đo

được) củaU Xét sơ đồ làm thô.

S : (Ω, A, P ) → {A1, ã ã ã , Ak}.

Giả sử rằng hàm mật độ xác suất chưa biết của X có dạng tham số hóa, tức là

f (x|θ), θ ∈ . Sj, j = 1, 2, ã ã ã , nlà một mẫu độc lập và có cùng phân phối với

S Khi đó, hàm hợp lý dựa trên một mẫu của tập ngẫu nhiênS là:

ước lượng cũng yêu cầu các khía cạnh phân bố của mô hình tập ngẫu nhiênS.

nào đó sao choP (X ∈ S) = 1 để rút ra thông tin vềX.

Ví dụ 2: Một thông tin dựa trên nhận thức có dạng "Hải trẻ" có cấu trúc theo sau: Biến cơ bản mà ta quan tâm là X =tuổi (của Hải) với miền giá trị U = [0, 100].

Ký hiệu ngôn ngữ "trẻ" không có định nghĩa rõ ràng về biên, và do đó có thể được mô hình hóa như một tập con mờ của U, tức là như một hàm A : U → [0, 1] Vì giá trị của X không thể quan sát được chính xác, A ="trẻ" được lấy như một giá trị quan sát thay thế Giá trị mờAnày trên thực tế là một trong những giá trị mờ có thể, không phải củaX mà của sự làm thôS nào đó củaX Ví dụ: Một "phân hoạch mờ" của U có thể là "rất trẻ", "trẻ", "trung tuổi", "già", nên S là một tập mờ (ngẫu nhiên), có nghĩa là một phần tử ngẫu nhiên nhận các tập con mờ củaU là các giá trị.

Ta xét trường hợp đặc biệt của tập ngẫu nhiên, đó là các sơ đồ làm thô trong quá trình

thu thập thông tin dựa trên nhận thức Để tránh các chi tiết tôpô trong phần này, giả

sử rằng miền giá trị U là một tập hữu hạn Cho S là một tập ngẫu nhiên mà là một làm thô của một biến ngẫu nhiên X, có nghĩa là P (X ∈ S) = 1, X nhận giá trị trongU ChoA ⊆ U là một biến cố,Ađược gọi là xảy ra nếuX(ω) ∈ A Nhưng, nếu ta không thể quan sát đượcX(ω)mà chỉ có thể quan sát đượcS(ω), thì rõ ràng

ta không chắc chắn về sự xảy ra củaA NếuS(ω) ⊆ AthìAxảy ra Do đó, ta định lượng mức độ tin cậy rằng Axảy ra bằng P (S ⊆ A)mà xác suất này nhỏ hơn xác suất thật sự Axảy ra làP (X ∈ A), vì X là một bộ chọn hầu chắc chắn của S Mặt khác, nếu S(ω) ∩ A 6= ∅, thì có khả năng là A xảy ra, ta định lượng xác suất này là P (S ∩ A 6= ∅) Do X là một bộ chọn hầu chắc chắn của S nên

{X ∈ A} ⊆ {S ∩ A 6= ∅}, suy ra P (X ∈ A) ≤ P (S ∩ A 6= ∅).

Khi đó, ta có câu hỏi là: Có tồn tại một tập ngẫu nhiênS, mà là một làm thô củaX, sao cho hàm tập Π : 2U → [0, 1] được định nghĩa bởi Π(A) = P (S ∩ A 6= ∅),

là phiếm hàm nửa thực, có nghĩa là, nếu biết Π(A) và Π(B) thì có xác định được

Π(A ∪ B)hay không? Chúng ta sẽ nghiên cứu trong chương sau để có được câu trả lời là khẳng định.

1.2.5 Lấy mẫu xác suất

Trước hết, để có thể hiểu được vì sao việc lấy mẫu xác suất có liên hệ với tập ngẫu nhiên, ta xét ví dụ sau:

Ví dụ: Cho tậpU có |U | = N, để chọn ngẫu nhiên một tập con củaU với kích cỡ

làncho trước, ta có thể tạo ra một mô hình ngẫu nhiên đều với xác suất 1

N n

.

Từ đó ta có định nghĩa:

Định nghĩa 1.2.7 Cho (Ω, A, P ) là một không gian xác suất và U là mộttập hữu hạn Lấy mẫu xác suất sinh ra một tập ngẫu nhiên S được định nghĩatrên không gian (Ω, A, P ) nhận các giá trị là các tập con của U

S : Ω → 2U với S(w) = A, w ∈ Ω, A ⊆ U

Một tập ngẫu nhiên như vậy được gọi là một tập ngẫu nhiên hữu hạn, độ đo xác suất của nó được định rõ trên tập lũy thừa của2U Các độ đo xác suất khác nhau dẫn đến các phương án lấy mẫu khác nhau, do đó ta cần phải xem xét hàm phân bố của các tập ngẫu nhiên.

Cho hàm f : 2U → [0, 1] có P

A⊆U

f (A) = 1, với f (A) là xác suất của việc chọn tập con A của U Một hàm f như vậy được coi như là một phương án lấy mẫu xác suất Mẫu Ađược chọn chính là kết quả của phép thử ngẫu nhiên mà thực hiện theo phương án lấy mẫu xác suấtf.

Phương án lấy mẫu xác suất f là hàm "mật độ" xác suất của tập ngẫu nhiên S, tức là,

f (A) = P (S = A), ∀A ⊆ U

Ta có định nghĩa hàm phủ của một tập ngẫu nhiên như sau:

Định nghĩa 1.2.8 Cho S là tập ngẫu nhiên có mật độ xác suất là f Hàm

nếu |A| = n

0 nếu |A| 6= n

Khi đó, ta có tập ngẫu nhiênS nhận giá trị là các mẫu, vàPS được định nghĩa ở trên

là độ đo xác suất của tập ngẫu nhiênS.

Một phép tính quan trọng về hàm phủ π đó là kỳ vọng của lực lượng của tập ngẫu nhiên S.

Cho|A|là lực lượng của tập A, khi đó, về mặt hình thức

Chương 2.

Các tập ngẫu nhiên hữu hạn

Trong lý thuyết xác suất cổ điển, ban đầu ta xét biến ngẫu nhiên nhận giá trị trên các không gian hữu hạn, từ đó đi mở rộng xét biến ngẫu nhiên trên các không gian xác suất tổng quát dựa vào hệ tiên đề Kolmogorov Tương tự như vậy, ta cũng sẽ xét tập ngẫu nhiên trên các không gian hữu hạn trước và từ các kết quả thu được của tập ngẫu nhiên trên các không gian hữu hạn, ta có thể mong đợi sẽ thu được trong các không gian trừu tượng hơn.

2.1 Tập ngẫu nhiên và phân bố của tập ngẫu nhiên

Trong suốt chương này, U là một tập hữu hạn Lực lượng của một tập con A

củaU được ký hiệu bởi|A|hoặc#(A). (Ω, A, P ) là một không gian xác suất.

Ta có định nghĩa của tập ngẫu nhiên hữu hạn như sau:

Định nghĩa 2.1.9 Một tập ngẫu nhiên hữu hạn nhận giá trị trong 2U là một

ánh xạ X : Ω → 2U sao cho:

X−1({A}) = {ω ∈ Ω : X(ω) = A} ∈ A, ∀A ⊆ UChú ý:

i) Rõ ràng, một tập ngẫu nhiên X là một phần tử ngẫu nhiên nếu (2U, E ) là

không gian đo được, vớiE là tập lũy thừa của 2U, có nghĩa là X−1(E ) ⊆ A

(do∀A ∈ E, X−1

(A) = S

A∈A

X−1({A})).

ii) Như trong trường hợp của các biến ngẫu nhiên hữu hạn, điều kiện về tính

đo được trên X là cần thiết để định nghĩa chặt chẽ luật xác suất PX của X

trên E qua các giá trị xác suất trên "các tập đơn" - các tập nhận một giá trị.

Cụ thể, cho f : 2U → [0, 1] được xác định bởi f (A) = P (X = A), khi đó f là một hàm mật độ xác suất thật sự trên 2U, nghĩa là f ≥ 0 và

Định lý 2.1.1 Cho X là một tập ngẫu nhiên (khác rỗng) trên U Giả sử

F : 2U → [0, 1] được xác định bởi: F (A) = P (X ⊆ A) Khi đó F thỏa mãncác tính chất sau:

Vì với bất kỳ tập hữu hạn khác rỗng A, P

Từ (1) và (2) ⇒ điều phải chứng minh

Tính chất (i) và (ii) của hàm F trong Định lý 2.1.1 ở trên miêu tả hàmphân bố của các tập ngẫu nhiên khác rỗng Chính xác hơn, bất kỳ hàm tập

F : 2U → [0, 1] thỏa mãn (i), (ii) chính là một hàm phân bố của một tậpngẫu nhiên (khác rỗng) với các giá trị trong 2U

Định nghĩa 2.1.10 Một hàm F : 2U → [0, 1] thỏa mãn các tính chất (i) và(ii) của Định lý 2.1.1 được gọi là hàm phân bố trên 2U

Ta thấy rằng hàm phân bố F của một tập ngẫu nhiên X, nghĩa là

F (A) = P (X ⊆ A) là đơn điệu (A ⊆ B ⇒ F (A) ≤ F (B)), và hơn nữa F

là 2-đơn điệu, có nghĩa là ∀A, B ⊆ U: F (A∪B) ≥ F (A)+F (B)−F (A∩B)

Nhưng, ngược lại một hàm bất kỳ F : 2U → [0, 1] mà là 2-đơn điệu

có thể không cần thiết là đơn điệu, vì cho A ⊆ B, ta có:

F (B) = F (A ∪ (B\A)) ≥ F (A) + F (B\A) − F (∅)

Do đó, nếu F (∅) = 0, nghĩa là F (∅) là một giá trị nhỏ nhất của F thì F là

đơn điệu, nếu không thì F có thể không đơn điệu (và do đó nó không phải

là một hàm phân bố của tập ngẫu nhiên nào đó)

Nếu F là hàm phân bố của một tập ngẫu nhiên X với mật độ f, thì rõ ràng

F (∅) = f (∅) = P (X = ∅) Từ nay trở đi ta sẽ giới hạn chỉ xét các tập ngẫunhiên khác rỗng, nghĩa là, các tập ngẫu nhiên X mà có F (∅) = f(∅) = 0

Điều này sẽ cho phép chúng ta có một định nghĩa rõ ràng về các hàm phân

ra rằng F có dạng:

F (A) = P

B⊆A

f (B)trong đó f : 2U → [0, 1] là một hàm mật độ xác suất trên 2U

b) P

B⊆U

f (B) = 1

Chứng minh a) Cho f : 2U → [0, 1] được định nghĩa bởi:

f (A) = P

B⊆A

(−1)|A\B|F (B),Khi đó f là không âm

Thật vậy, theo (i) : f(∅) = F (∅) = 0, và theo cách xây dựng thì f({u}) =

Nếu C = A thì biểu thức cuối bằng F (A)

Nếu C 6= A thì A\C có 2|A\C| tập con, do đó có một số chẵn các tập con

B mà C ⊆ B ⊆ A (vì B bằng hợp của C với một trong các tập con củaA\C, mà số tập con của A\C là 2|A\C| là một số chẵn nên số tập B thỏamãn C ⊆ B ⊆ A là chẵn), chính xác thì một nửa số tập B có một số chẵncác phần tử Khi đó một nửa của các số (−1)|B\C|, với C ⊆ B ⊆ A, bằng 1

và một nửa là bằng −1 Vì vậy, cho mỗi C 6= A, P

C⊆B⊆A

(−1)|B\C|F (C) = 0

với tổng được lấy trên B Suy ra

b) Điều kiện (ii) trong Định lý 2.1.2 ( hoặc Định lý 2.1.1) được gọi là tính

đơn điệu của bậc vô hạn hoặc đơn điệu vô hạn Nếu F là một độ đo xác suấttrên U, thì F là đơn điệu vô hạn theo đẳng thức Poincare'

Chú ý rằng các hàm phân bố, như các hàm tập, nhìn chung là không cộngtính Trên thực tế, ∀A ⊆ U, P (X ⊆ A) + P (X ∩ Ac 6= ∅) = 1

Một hàm F mà thỏa mãn (ii) trong Định lý 2.1.2 chỉ với một số k ≥ 2 chotrước nào đó thì được gọi là k - đơn điệu

Một hàm tập F mà là 2- đơn điệu, nghĩa là với bất kỳ A, B ⊆ U, F (A) +

F (B) ≤ F (A ∩ B) + F (A ∪ B), cũng được gọi là hàm lồi bởi sự giống nhauvới các hàm lồi trong phân tích thực

Như đã được chú ý trước, hàm F 2- đơn điệu là đơn điệu nếu F (∅) là giá trịnhỏ nhất của F trên 2U, ở đây F (∅) = 0 Do đó, các hàm phân bố là cáchàm tập đơn điệu

Trong trường hợp hữu hạn, ta cũng có thể mô tả được luật xác suất củacác tập ngẫu nhiên (khác rỗng) theo một khái niệm đối ngẫu thông qua cáchàm khả năng

Định nghĩa 2.1.11 Cho X là một tập ngẫu nhiên trên U, ta định nghĩaphiếm hàm khả năng của X là hàm tập:

Cụ thể, ta có định nghĩa rõ ràng phiếm hàm khả năng của các tập ngẫunhiên như sau:

Định nghĩa 2.1.12 Một hàm tập T : 2U → [0, 1]là một phiếm khả năng củamột tập ngẫu nhiên nào đó nếu nó thỏa mãn:

Ví dụ 1: (Tập mức ngẫu nhiên)

Cho α : Ω → [0, 1] là một biến ngẫu nhiên có phân bố đều và hàm ϕ : U →[0, 1] Xét X : Ω → 2U với X(ω) = {u ∈ U : ϕ(u) ≥ α(ω)} Khi đó, X

là đo được (ta chứng minh điều này bằng cách đặt lại tên cho các phần tửcủa U để ui ≤ uj ⇒ ϕ(ui) ≤ ϕ(uj)), miền giá trị của X được sắp thứ tựhoàn toàn bởi bao hàm tập Để định rõ mật độ xác suất f của X trên 2U, chothuận tiện ta sử dụng khái niệm của các hàm phân bố

Đặt F : 2U → [0, 1]với F (A) = P (X ⊆ A) = P (X ∩ Ac = ∅), ⇒ F (A) =

f (B), do đó ta cần biểu diễn f theo F

Ví dụ 2: Tiếp tục Ví dụ 1 với F (A) = 1 − max

u∈A c ϕ(u) đ/n= 1 − T (Ac)

Ta thấy rằng hàm mật độ xác suất f của tập ngẫu nhiên X được cho bởi

f (A) = X(−1)|A\B|F (B) = X(−1)|A\B|[1 − max

u∈B c ϕ(u)]

Ví dụ 3: (tiếp tục Ví dụ 1) Ví dụ 1 là điển hình trong phương pháp lấy mẫukhảo sát từ một tập hữu hạn U Hàm được cho ϕ : U → [0, 1] đóng vai tròhàm phủ được xác định trước Bài toán tổng quát về lấy mẫu khảo sát là tìmmột phương án lấy mẫu xác suất f nhận π (ở đây π = ϕ) là hàm phủ của

Chú ý rằng trong tập mức ngẫu nhiên, hàm mật độ xác suất f của nó là hoàntoàn được xác định bởi π Nhìn chung, sự hiểu biết về hàm phủ của một tậpngẫu nhiên là không đủ để xác định hàm mật độ xác suất

Cho trước một hàm phủ π, ta sẽ tìm tất cả các phương án lấy mẫu xác suất

mà nhận π là hàm phủ (chung)

Không mất tính tổng quát, giả sử U = {1, 2, ã ã ã , n} và π : U → [0, 1] Nếu

f là mật độ xác suất trên 2U, thì ta viết Pf là độ đo xác suất được kết hợpvới f trên tập lũy thừa của 2U, nghĩa là cho A ⊆ 2U, Pf(A) = P

A∈A

f (A).Với mỗi j ∈ U, xét biến ngẫu nhiên Bernoulli, được định nghĩa trên khônggian xác suất (2U, Pf)

nhận π là hàm phủ của nó Một hàm f như vậy được xác định hoàn toàn từphân bố chung của véctơ ngẫu nhiên Bernoulli (I1, ã ã ã , In)

Thật vậy, ta có biểu diễn song ánh giữa 2U và {0, 1}n như sau: Với mỗi tập

Và ngược lại, với mỗi ε = (ε1, ã ã ã , εn) ∈ {0, 1}n được kết hợp với tập

Aε = {j : ej = 1} Khi đó, rõ ràng: f(Aε) = Pf(I1 = ε1, ã ã ã , In =

rút ra từ một tập ngẫu nhiên S, thay vì một mẫu độc lập và có cùng phânphối với X Quan hệ giữa X và S là X ∈ S hầu chắc chắn, nghĩa là, X làmột bộ chọn đo được hầu chắc chắn của S.

Theo luật mạnh số lớn, hàm phân bố F của S được ước lượng vững bởi hàmphân bố thực nghiệm

Fn(A) = 1n|{i : Si ⊆ A}|

Từ đó, ta sẽ miêu tả mô hình thống kê theo F Đặt P biểu thị tập tất cả các

độ đo xác suất trên U (hữu hạn) Không gian tham là tập con P nào đó của

P chứa π0, trước khi có thông tin thêm vào để thu hẹp P thì P đơn giản làtập các luật xác suất có thể của biến ngẫu nhiên X Ta muốn định rõ thêmtập P Quan sát rằng vì X là một bộ chọn của S nên F ≤ π0

Thật vậy, giả sử S và X được định nghĩa trên không gian xác suất (Ω, A, P ).Cho D ∈ A sao cho P (Dc) = 0 và X(ω) ∈ S(ω), ∀ω ∈ D Khi đó,

F (A) = P (S ⊆ A) = P ((S ⊆ A) ∩ D) ≤ P (X ∈ A) = π0(A)

Do đó π0 ∈ C(F ) = {π ∈ P : F ≤ π} Ta gọi C(F ) là lõi của F hoặc của

S Ta có thể chỉ ra rằng C(F ) 6= ∅ bằng cách đơn giản là xây dựng một hàm

π ∈ P sao cho π ≥ F như sau:

Giả sử f là hàm mật độ kết hợp với F , nghĩa là:

f (A) = X

B⊆A

(−1)|A\B|F (B)Cho một tập ∅ 6= A ⊆ U cố định, định nghĩa gA : U → R bởi:

X

gA(u) = XgA(u) +XgA(u)

Cho (Ω, A, P ) là một không gian xác suất, và U là một tập hữu hạn Đặt

X : Ω → U, và S : Ω → 2U Vì X(ω) ∈ S(ω) hàm ý rằng S(ω) 6= ∅

Thật vậy: {ω : X(ω) ∈ S(ω)} ⊆ Ω\Ω0, với Ω0 = {ω : S(ω) = ∅}

Do đó, P (X ∈ S) ≤ P (Ω\Ω ) Mà 1 = P (Ω\Ω ) + P (Ω )

⇒ P (X ∈ S) < 1 nếu P (Ω0) > 0 (P (S = ∅) 6= 0)

⇒ P (S 6= ∅) = 0

Theo định nghĩa về sự làm thô trong chương 1, một làm thô của X là mộttập ngẫu nhiên khác rỗng S trên U sao cho P (X ∈ S) = 1 Cho một cặp(X, S), ta quan sát rằng

Do đó, để kiểm tra sự làm thô, ta cần thông tin về phân bố chung của (X, S)

Cụ thể, S là một làm thô của X nếu và chỉ nếu

định nghĩa theo sau:

Định nghĩa 2.2.13 Một làm thô S được gọi là một làm thô ngẫu nhiên (CAR)nếu:

P (S = A|X = x)= hằng số (2.2)với bất kỳ tập A ∈ 2U\{∅}, và x ∈ A

Điều kiện (2.2) được gọi là giả thiết CAR Hằng số trong biểu thức(2.2) được ký hiệu là π(A) và được gọi là xác suất CAR

ý nghĩa thống kê của giả thiết CAR được thể hiện qua các định lý sau

Định lý 2.2.3 Điều kiện (2.2) là tương đương với:

Cho bÊt kú tËp A ∈ 2U\{∅}, vµ x ∈ A,

P (S = A|X = x) = P (S = A|X ∈ A) (2.3)Chøng minh V× S lµ mét lµm th« cña X, ta cã (S = A) ⊂ (X ∈ A) nªn

π(A) = P (S = A)

P (X ∈ A) = P (S = A|X ∈ A)MÆt kh¸c

Chú ý: Điều kiện (2.4) là một độc lập có điều kiện của các biến cố(S = A) và (X ∈ A) với (X = x) đã cho Đặt a = (S = A), b = (X ∈ A)

và c = (X = x), khi đó a và b là độc lập có điều kiện với c đã cho nếu:

P (X = x|S = A, X ∈ A) = P (X = x|S = A)

Từ đó suy ra: P (X = x|X ∈ A) = P (X = x|S = A) ⇒ (2.5)

Giải thích: ý nghĩa của giả thiết CAR là (2.5): Việc quan sát giá trị Acủa tập ngẫu nhiên S cho sự hiểu biết tương tự mà biến ngẫu nhiên X không

quan sát được thuộc vào tập A.

Trong phân tích ở trên, ta thấy rằng, khi giả thiết CAR đúng, ta có:

π(A) = P (S = A)

P (X ∈ A) =

f (A)

PX(A) (2.6)Giả sử PX được sinh ra bởi một mật độ trên U, kí hiệu là g, thì

P (X ∈ A) = P

x∈A

g(x) = Pg(A).π(A) = P (S = A|X = x) = 0 nếu x /∈ A

Xét mật độ có điều kiện của S với điều kiện X = x đã cho Với bất kỳ

đã cho)

Khi S là một mô hình CAR cho X, thì P (S = A|X = x) = π(A) Do đó,

điều kiện trên các họ của các xác suất CAR là:

Chứng minh : Giả sử có (2.6), với PX = Pg Cho trước hai mật độ biênduyên f và g, sao cho (2.6) đúng với π thỏa mãn (2.7) Ta có thể xây dựngmột phân bố chung cho (S, X) để

(i) S và X có f và g là các biên duyên tương ứng,

(ii) S là một làm thô của X, và

(iii) S là một mô hình CAR cho X.

Sự xây dựng sau làm được tất cả điều đó:

Chú ý rằng, theo (2.6), khi f(A) > 0, ta cũng có Pg(A) > 0 nên mật độ có

điều kiện của X với S = A đã cho được định nghĩa tốt Mật độ chung của(S, X) là:

nghĩa là giả thiết CAR là đúng.

Chú ý: Khi mô hình thống kê cho X được cho là C(F ), thì bài toán là tìmphần tử thích hợp nhất của C(F ) để biểu diễn các quan sát của X; điều đó cóthể được thực hiện bằng cách sử dụng nguyên lý entropy cực đại Tuy nhiên,với những phân tích ở trên, ta có thể đưa bài toán về bài toán mới như sau:

Cho S là một sự làm thô của X, tìm một phần tử của C(F ) mà làmcho S là một mô hình CAR cho X

Cho Q ∈ C(F ) thì F ≤ Q để π(A) = Q(A)f (A) ∈ [0, 1] Sự tồn tại của một môhình CAR là sự tồn tại của một độ đo Q ∈ C(F ) sao cho:

X

A3x

f (A)Q(A) = 1 ∀x ∈ U (2.8)

Ví dụ: Cho (Ω, A, P ) là một không gian xác suất và U = {x1, x2, x3, x4}.Giả sử X : Ω → U là một biến ngẫu nhiên với độ đo xác suất PX và

S : Ω → 2U\{∅} là một tập ngẫu nhiên với mật độ f(A) = P (S = A) đượccho bởi:

2.3 Xác suất không chính xác

Cho biến ngẫu nhiên X, để biết được mọi thông tin về X ta cần biết

được luật phân phối xác suất của X Trong trường hợp biến ngẫu nhiên X

mà ta quan tâm có xác suất không chính xác, ví dụ như luật xác suất của Xchỉ được biết là nằm trong lớp đã biết nào đó của các độ đo xác suất thì khi

đó, ta cần đến lý thuyết về tập ngẫu nhiên để đưa ra kết luận với các dữ liệukhông chính xác

Ví dụ 1: Giả sử ta có một hộp chứa 30 quả cầu đỏ và 60 quả cầu trắng và

đen Ta sẽ rút một quả từ hộp Giá phải trả cho việc rút được các quả cầu

đỏ, đen và trắng lần lượt là 5, 10, và 20 Khi đó giá phải trả trung bình bằngbao nhiêu?

Ta không có đủ thông tin để trả lời câu hỏi này theo cách cổ điển vì ta khôngbiết chính xác phân bố xác suất của các quả cầu đỏ, đen và trắng Tuy nhiên,

ta có một tập các mật độ xác suất mà mật độ xác suất đúng phải thuộc vàotập này Tập đó được cho theo bảng

fk 3090 90k 60−k90Hàm mật độ xác suất đúng là một trong 61 mật độ này

Trường hợp tổng quát: Cho P biểu thị lớp tất cả các độ đo xác suất trên

U Độ đo xác suất đúng P0 chỉ được biết là thuộc vào một lớp con đã cho

P ⊆ P Từ sự hiểu biết về P, ta có thể thu được các chặn của P0, cụ thể

F ≤ P0 ≤ T, với F = inf P và T = sup P Vì T (A) = 1 − F (Ac) (T và F

là liên hợp với nhau) nên ta chỉ cần xét một trong hai chặn, ở đây ta xét F ,với F là hàm phân bố của tập ngẫu nhiên nào đó trên U

Vì thông tin về một độ đo xác suất trên tập các trạng thái tự nhiên là không

đầy đủ, nên ta cần phải xử lý thông tin trên các phần tử ngẫu nhiên được

định giá đa trị, đó là, các tập ngẫu nhiên

Ví dụ dưới đây minh họa trường hợp khi P không được biết đầy đủ.

Ví dụ 2: Cho  = {θ1, θ2, θ3} Độ đo xác suất "đúng" P0 chỉ được biết

P0({θ1}) = 1/3, khi đó P0({θ2, θ3}) = 2/3 Đặt P biểu thị lớp các độ đoxác suất P có tính chất này Khi đó P = {P : F ≤ P }, với F được địnhnghĩa trên : F (A) = inf{P (A) : P ∈ P} Hơn nữa, F (A) = P

B⊆A

m(B)(F là hàm phân bố của tập ngẫu nhiên nào đó trên ) với m({θ1}) =1/3; m({θ2, θ3}) = 2/3; m(A) = 0 cho tất cả các tập con khác của  Chú

Xét lại ví dụ 1: Một hộp chứa 30 quả cầu đỏ và 60 quả cầu đen và trắng theo

tỷ lệ chưa biết Rút từ hộp ra một quả cầu Giá phải trả cho việc nhận đượcmột quả cầu đỏ, đen, và trắng lần lượt là 5, 10, và 20 Vậy giá phải trả trungbình bằng bao nhiêu?

Đặt  = {θ1, θ2, θ3}, với θ1, θ2, θ3 lần lượt biểu thị các quả cầu đỏ, đen, vàtrắng Mật độ trên  là chưa biết, nhưng ta biết nó là một trong số các mật

độ

 θ1 θ2 θ3

f 13 90k 60−k90với k ∈ {0, 1, ã ã ã , 60} Mô hình này là thật sự nhỏ hơn Fm ở trên vì khốim{θ2, θ3} chỉ có thể được phân bố tới θ2 và θ3 theo các tỉ lệ có dạng k90 và

60 − k

90 , thay vì theo các tỉ lệ bất kì

Để giải quyết bài toán trên, trước tiên ta xét giá trị kỳ vọng của một hàmphân bố

Giả sử u là một biến ngẫu nhiên khả tích được định nghĩa trên không gian

xác suất (U, A, P ), khi đó giá trị kì vọng của u được viết như sau:

với u = u+− u− ; u+ = sup(u, 0) ; u− = sup(−u, 0)

Thay P bằng một hàm phân bố của một tập ngẫu nhiên F , thì ta có:

Khi U hữu hạn thì việc tính toán EF(u)là đơn giản Giả sử U = {θ1, θ2, ã ã ã , θn}

Ta có thể sắp xếp lại các phần tử trong U để u(θ1) ≤ u(θ2) ≤ ã ã ã ≤ u(θn).Khi đó:

được sử dụng cho kì vọng thông thường này chỉ phụ thuộc vào F mà khôngphụ thuộc vào việc sắp thứ tự của các phần tử trong U

Giả sử g là một mật độ xác suất trên U, Pg biểu thị độ đo xác suất được sinh

ra từ g trên 2U, FF là lớp các mật độ g trên U sao cho Pg ≥ F Khi đó, ta

có định lý về giá trị kỳ vọng của một hàm phân bố như sau:

Định lý 2.3.7 Cho U là một tập hữu hạn, u : U → R, và F là hàm phân bốtrên một tập ngẫu nhiên S Khi đó, tồn tại một mật độ g ∈ FF sao cho:

EF(u) = EPg(u) = inf{EPf(u) : f ∈ FF}