MACHINE LEARNING ASSIGNMENT : SAMPLING METHOD (PHƯƠNG PHÁP LẤY MẪU)

MACHINE LEARNING ASSIGNMENT SAMPLING MEHOD (PHƯƠNG PHÁP LẤY MẪU)  Các phương pháp cơ bản  Makov Chain Monte Carlo (MCMC)  Ước lượng Monte Carlo  Các phương pháp cơ bản  Makov Chain Monte Carlo (MCMC)  Ước lượng Monte Carlo

MACHINE LEARNING

ASSIGNMENT

SAMPLING MEHOD (PHƯƠNG PHÁP LẤY MẪU)

Minh City, May 2016

tài: Sampling Methods

M C TIÊU C A S AMPLING METHODS

 V n c b n: Tìm giá tr kì v ng c a hàm f(z) tùy ý c a z v i hàm m t xác su t p(z):

 T t n g: N u chúng ta có m t t p h p các m u z(l) , l = 1 L rút c l p

t p(z), k v ng có th c tính x p x b ng công th c:

 V n t ra: Làm th nào chúng ta l y m u c l p t hàm m t xác

su t p(z), chúng ta không bi t c là m u c l y t â u?

.N i dung chính

 Các ph n g pháp c b n

 Makov Chain Monte Carlo (MCMC)

 c l n g Monte Carlo

I Các ph n g pháp c b n

là ph n g pháp bi n i ng c Ph n g pháp này c áp d ng trong nh ng

tr n g h p hàm phân b f(x) cpos d ng n gi n, ta có th th c hi n m t phép bi n

i x(t) v m t phân b n g nh t, ta có công th c b o toàn xác su t:

P(x)dx = P(t)dt

v i P(x) = f(x) và P(t) = 1 (phân b n g nh t) ta thu c :

t p, không d dàng l y m u b ng ph n g pháp bi n i :

- Tìm m t hàm phân b công c g(x) có th d dàng l y m u b ng

ph n g pháp khác

- G i c là ch n trên c a giá tr c c i t s f(x)/g(x)

C >= max(f(x)/g(x))

Hàm f(x) s c l y m u b ng cách l y m u hàm g(x) và gi l i s i m l y m u

v i xác su t:

P = f(x)/Cg(x)

1.3 L y m u theo tr n g s (Importance samplings):

l y m u t m t phân b khác thay vì l y m u tr c ti p t phân b c n quan tâm

Th n g c g i là k thu t gi m ph n g sai trong l y m u Monte Carlo

Kì v ng:

Thay vì l y m u bi n x t phân b f(x) thì ta s l y m u t m t phân b g(x) n

gi n h n, khi ó kì v ng c tính theo công th c

II Makov Chain Monte Carlo (MCMC)

 MCMC: Chi n l c chung cho phép l y m u t m t l p l n các hàm m t xác su t

 S d ng c ch c a Markov Chains

 M c tiêu: sinh ra m t t p các m u t p(z)

Gi n h:

phát sinh ra các m u t m t Makov Chain có phân ph i b t bi n là p(z)

1. Bi t các m u hi n t i là z(T), t o m t m u n g c z* t m t phân ph i c

xu t q(z|z(T)) mà chúng ta bi t làm th nào l y m u t ó

2. Ch p nh n m u theo m t tiêu chí thích h p

3. N u các m u n g c c ch p nh n thì z(T+1) = z* n u không z(T+1) = z(T)

Th n g c dáp d ng cho vi c l y m u t phân b nhi u chi u, t o ra t p h p các tr ng thái d a trên m t m t xác su t ã cho tr c ó

làm i u này chúng ta ph i t o ra m t quá trình Markov mà quá trình này s ti n d n v m t phân b cân b ng

M t chu i Markov là m t chu i ng u nhiên các giá tr x1, x2, , xN v i c

i m là xác su t c a giá tr sau (x’) ch ph thu c vào giá tr tr c nó (x) và

c c tr ng b i xác su t d ch chuy n P(x  x’)

Các m u xu t c ch p nh n v i xác su t:

III c l n g Monte Carlo

3.1.1 Trung bình m u (sample mean): là giá tr c l n g c a trung bình

qu n th d a trên m t m u c l a ch n ng u nhiên trên qu n th này Công th c:

V i xi là giá tr trong m u và N là kích th c m u

3.1.2 Ph n g sai m u (sample variance): Th n g c kí hi u là S2

ho c S2

N Công th c:

3.2 chính xác c a c l n g (Accurary): dùng á nh giá

g n hay l ch c a giá tr trung bình c l n g so v i giá tr th c c a i l n g

v t lý, ô i khi c miêu t b ng sai s h th ng Trong monte carlo ta không th

c tính chính xác này m t cách tr c ti p c

Các nhân t n h h n g n chính xác:

• chính xác c a code (mô hình v t lý )

• Mô hình bài toán (hình h c, ngu n )

• L i do ng i s d ng

3.3 Kho n g tin c y (Confidence Inter val): là m t kho ng gái tr

mà có th ch a trong nó giá tr c a tham s c n c l n g (unknown parameter) r ng kho ng tin c y cho chúng ta thông tin v b t

n h c a phép tính c l n g tham s

Các kho ng tin c y thông d ng c a phân b Gauss nh sau:

Kho n g tin c y (Confidence Inter val):

:: Minh h a kho ng tin c y c a phân b Gauss.