Tuần 7 cây quyết định (decision tree) và các ứng dụng

a a

!o

# $ ! % & 'o & $

( $ & $ & $

() & $* + $ o , $ +

o! $!$ -!$ $*

/ $ a $!$ o! $ , + o!

' , $ 0 / o , & !

$ '1$ / $ / $ a

$!$ 1 , $!$ !

2 o 1 '3 $ 4

51 & $

51 4 a & 3 $ + $ a 67

51 !4 a & 3 / i

5 ! 4 a & & ! ' $* $ a $ +

( $ & 'o & / /

& $!$ 1 & $ $ a $ $ o

& 1 !

6a, 8 $ a $ $ ! &o 9 & :

C

!

$

!

!

# 'a o $ ) &o 90 o & $ )

D

Fe

5o

Fe

E,e'$a Ga

Fe

5o

Fe

5o

E,e'$a Ga

& 5o' a

< 1 a & $ +

$ /

< ! () &! & ,

& ! ' $ a $ +

< 1 ! /

D

Fe

5o

Fe

E,e'$a Ga

Fe

5o

5o

E,e'$a

Fe

5o

'o & Dea

5o

Ga

∧H :56 H ,

∨H EG H o $

D

E,e'$a Ga

Fe

5o

'o & Dea Fe

D

Fe

5o

'o & Dea

∨E oo HE,e'$a

∨E oo HGa ∧D HDea

D

Fe

5o

Fe

E,e'$a Ga

Fe

5o

( $ / '3 - & (

G ' $ *a $!$ $ + & /

!$ " # & $ $ a $

& 3 o $ o e ' $

/ $ / , $ - & $

$ o $!$ !

$ $!$ " ') , o 1 $ , $% &

/ 1 !

# & $B $ + o $* % & / $ a

" a

# & $B " o 1

C

> o a $ $ + 4 $ + ( $

/ o 'a $ $

* I o ( & % &

> & J 9o' a o &a

s

s s

s , ,s

,s

m

i

i

1 2

I(

=

−

=

$ + : $* $!$ & ! ' La 0 aI0 M0a N

6% & $ + : / $ a / n / $o L 0

I0 M0 nN

ij4 " $ a / i $ / $o j:Haj

O 'o/ $ a $ + :4

> & a '3 / ! & $ + :4

$ /0 $ 1 & a $ $ + $* /

! $

) , , (

1

1

mj j n

j

mj j

s s s

s s

=

+ +

=

E(A) ) s , , s , I(s

$

!

!

a $*

H A

H I

H PFe.Q0 IH P5oQ

H R0 IH C

940 0 14

5 log 14

5 14

9 log 14

9 )

5

,

9

I(

)

S

,

985 0 7

4 log 7

4 7

3 log 7

3

2

−

S

5o' a

T2U0 AVW

&

7

1 log 7

1 7

6 log 7

6

2

−

811 0 8

2 log 8

2 8

6 log 8

6

2

−

S

D

'o &

TXU0 IVW

Dea

T2U0 2VW

000 1 6

3 log 6

3 6

3 log 6

3

2

−

!""#

S S

E,e'$a

TIU0 2VW TAU0 ZVW T2U0 IVW

Ga

$!$ /

2 ) ( 1 ) (

j

t p t

)

p

2 ) ( 1 )

(

j

t p t

&

"

# / $ a 1 p k ! 0 $ ( &

$ a / \/ $ a ( $ + &4

'o & *

n i " 'o & 1 i

n " 'o & 1 p

$ + $* KJ5Jchia $ /

!

=

=

k

i

i

n

n

1

) GINI GINI

5I 5

p

"

"

' (&) &&

K 5 H V CYXIV IYXI

HZ RA

K 5I H V YXIV AYXI

HZ CI[

K chia H Y I]Z RA UCY I]Z CI[

HZ 222

6 a '3 & ! '

& :^v , :_v

\

*

&&*

#&*

&*

" "&*

# + &*

& %&*

a-_ [Z# ^ [Z#

!$ $ & ! ' v 4

/ - / $!$ & ! ' ` &

!

Fe

5o

Fe

E,e'$a Ga

Fe

5o

$ % &' !""# ∧ () *)+ ,! -"

$ % &' !""# ∧ -" ! *)+ ,! /+0

$1% &' !""# 2+.3 0 *)+ ,! /+0

$ % &' !""# $ ∧ " ( *)+ ,! -"

$ % &' !""# $ ∧ + # *)+ ,! /+0

&

$) o $ & $

$* - 8 $ $* & ! '

& , $* & ! ' 3 o

/ ' &

& 3

$* - 8 ( &

'o & & a &

22

2C

2X

2[

/4YY@@@ o e9 o'e & a$ eYa&e ' Y a

// e Y e-/ $a o

/4YY@e o$ $ a e' a $aYaa -/ o'eY ea'

&Y6e$ o 'ee.Y:// e Y6e$ o 'ee://

e

2R