Khám phá luật kết hợp mờ và ứng dụng

PBAN MO f.Au i'-$:a@ Tu nhung nam d~u cua th~p nien truac cho d€n nay, lInt V\fCkham pha du li~u hay con duQ'cgQila kham pha tri thuc tu du li~u tra thanh m... L\fa chQn nhung phuang pha

£)~I HQC QUOC GIA THANH PHO HO CHi MINHTRU'CrNG gAl HOC KHOA HOC TU' NHIEN

MVC LVC

ro, *<>G\

1.2 Cac giai dol,lnchinh trong ti€n trinh kham pha du li~u , 13

1.4 Phuang phap kham pha du li~u""""""""""""""""""""""""""""""""""" 161.5 Cac lol,lidu li~u duQ'ckham pha 181.6 Nhung ung d\,lngcua kham pha du li~u 181.7 Nhung v~n d~ quail Himtrong kham pha du li~u 201.8 T6ng quail cac lu~n van kham pha du li~u 211.9 Hu6ng nghien cuu chinh cua lu~n van 22

2.1.2 Thu~t toan kham pha lu~t k€t hQ'p """""", 27

2.2.1 S" cai ti€n v6i lu~t k~t hQ'Pthong thuOng 29

2.3.1 Phuang phap xu Iy thuQc tinh s61uQ'ng 362.3.2 Bjnh nghla hinh thuc va thu~t toan kham pha 39

2.4.1 VAnd~ cua cach xu ly phan gia tri s6 hrQ11gVaGcac khoi'mg 432.4.2 Su d\lng t~p ma d~ fai f~Choa gia tri s6 luQ'ng 472.4.3 Ap d\lng ly thuy~t t~p ma trong vi~c Imam pha lu~t k~t hqp 492.4.4 Dinh nghia lu~t k~t hqp t6ng quat ma va cac de>do 562.4.5 M6 hinh giai quy~t vAnd~ 61Chuang 3: THUAT ToAN KHAM PHA LuAT KET HOP TONG QuAT MO 66

3.3 K~t qua th\l'Cnghi~m chuang trinh cai d~t 773.3.1 Th\l'c nghi~m so sanh t6c de> 783.3.2 Th\l'c nghi~m v~ k~t qua Imam pha 82Chuang 4: KHAM PHA LuAT KET HOP MO TANG CVONG 854.1 Kham pha diI li~u tang cuang 854.2 Kham pha lu~t k~t hqp tang cuang 864.3 Xay d\l'ngthu~t roan kham pha lu~t k~t hQ'pma tang cuang 894.3.1 Cac tinh hu6ng c~p nh~t itemset 904.3.2 Ap d\lng cay ti~n t6 cac itemset d~ Imam pha tang cuang 924.3.3 Thu~t toan kham pha lu~t k~t hqp ma tang cuang 96

3

Bang 2.4: Th6ng ke t~n suit cua man hfmg 29

Bang 2.6: Th6ng ke t~n suit giao tac ma rQng 29Bang 2.7: Dfr li~u thong tin ca nhan 36Bang 2.8: Anh Xc;tsang thuQcHnhnhi phan 37Bang 2.9: CO'sa dfr li~u giao tac 46Bang 2.10: ThuQcHnh S6-luQ'ngduQ'cphan lap ma 47Bang 2.11: Giao tac minh hQa 48Bang 2.12: Giao tac ma rQngtheo cay phan lap 49Bang 2.13: Bang sau khi phan lap ma cho dfr li~u 50Bang 2.14: Th6ng ke s6 d~m cua cac vung ma 51Bang 2.15: Cac vung ma duQ'cchQnkhi IQcqua nguang minsupp 52Bang 2.16: Giao tac vai cac vung ma da:duQ'crut gQn 52Bang 2.17: S6 d~m ma cua (Th\Jc ph~m.Cao, Qu~n ao.Trung binh) 53Bang 2.18: Cac itemset co hai ph~n tu 53Bang 2.19: Cac bQitemset con lc;tisau khi lQcqua nguang 54Bang 2.20: BQtin c~y cua cac lu~t k~t hqp 55Bang 2.21: Minh hQath~ hi~n dQccua giao tac trong bang 2.11 57Bang 3.1: Binh nghla cac ky hi~u duQ'csu d\lng trong AFAR 66Bang 3.2: Chll'agiao tac da:rut gQnchi g6m cac item ma ph6 bi~n 71Bang 3.3: Danh sach cac item ma ph6 bi~n 71Bang 3.4: Danh sach cac itemset ph6 bi~n kham pha tir cay FIP 73Bang 3.5: Nhfrng ky hi~u duQ'cdung trong thu~t toan EFAR 75

Bang 4.1: Cac ky hi~u dung trong thu~t toan tang cucmg 89Bang 4.2: Giao tac minh hQa kham pha tang cucmg 92Bang 4.3: Cac ky hi~u du<;ycdung trong thu~t tmin IFAR 96Bang 5.1: MQts6 m~u tin trong giao tac dl1li~u 102Bang 5.2: Danh m\lCmQts6 man hang minh hQa 102Bang 5.3: MQt s6lu~t di~n hinh du<;yckham pha l06Bang 5.4: Mo ta thuQc tinh trong bang dl1li~u kham pha 108Bang 5.5: Danh m\lC cac item t6ng quat trong nhl1ng cfiy phan lap 111Bang 5.6: Minh ho~ mQt s6 lu~t di~n hinh du<;yckham pha 112Bang 5.7: Bang thuQc tinh cO'sa dl1li~u b~nh nhan Hemophilia A 116Bang 5.8: Nhl1ng lu~t di~n hinh du<;yckham pha 118Bang 5.9: Minh ho~ mQts6 m~u tin trong bang dl1li~u ti~u duang 120Bang 5.10: MQts6 lu~t du<;yckham pha tir dl1li~u ti~u duang v~t nuoi 120Bang 6.1: Thong tin chuang trinh cai d~t 122

~*~

Hinh 3.3: Cay FIP a c.1pth(r nh.1t 71

Hinh 3.4: Cay FIP vai cac itemset (rng vien a C.1pth(r 2 72

Hinh 3.5: Cay FIP sail khi b6 cac itemset kh6ng du minsupp 72

Hinh 3.6: Cay FIP vai (rng vien a c.1pth(r ba 73Hinh 3.7: Cay FIP cu6i cling " 73Hinh 3.8: M6 hinh thu~t toan kham pha du li~u EFAR 74Hinh 3.9: Bi€u d6 so sanh thai gian th\fc hi~n cua hai thu~t toan 78

Hinh 3.10: So sanh thai gian theo nguang minconf 79Bang 3.11: Th6ng ke thai gian th\fc hi~n theo s6 luQ'ng glaD tac 80Hinh 3.12: Th6ng ke thai gian th\fc hi~n theo s6 vling ma 80Hinh 3.13: Th6ng ke thai gian th\fc hi~n theo s6 c.1pphan lap 81

Hinh 3.14: Th6ng ke s6 1u~tkham pha theo cac ngu5'ng minsupp 82Hinh 3.15: Th6ng ke s6 1u~tduQ'ckham pha theo dQtin c~y 82Hinh 3.16: Th6ng ke s6 1u~tkham pha theo s6 vung ma 83Hinh 3.17: Quan h~ giua s6lu~t va s6 c~p phan lap 83Hinh 4.1: Minh hQakham pha du li~u va kham pha du li~u tang cuang 85Hinh 4.2: M6 hinh kham pha lu~t k~t hQ'Ptang cuang 87Hinh 4.3: Tinh hu6ng 1 cho vi~c c~p nh~t itemset ph6 bi~n " 90Hinh 4.4: Tinh hu6ng 2 c~p nh~t item set ph6 bi~n 90Hinh 4.5: Tinh hu6ng 3 c~p nh~t itemset ph6 bi~n 91Hinh 4.6: Cay ti~n t6 itemset ma cho du li~u ban dftuDB " 92Hinh 4.7: Cay ti~n t6 duQ'Cxay dlJng cho du li~u c~p nh~t db+ 93Hinh 4.8: Cay ti~n t6 cac itemset (rut gQn)cho du li~u c~p nh~t db+ 93Hinh 4.9: Cay ti~n t6 cho du li~u sail khi c~p nh~t 93Hinh 4.10: M6 hinh h6a thu~t toaD " 96Hinh 4.11: So sanh thai glaD thlJc hi~n cua thu~t toaD " 100

Hinh 5.2: C~p thu hai cua nhanh Food 104Hinh 5.3: C~p thu hai cua nhanh Confection 104Hinh 5.4: C~p thu hai cua nhanh Beverage 104Hinh 5.5: C~p thu hai cua nhanh Others 104Hinh 5.6: Vung ma va ham thanh VieDtuong ling cho cac item 105Hinh 5.7: Phan lap cho nh6m ki~u nha 110Hinh 5.8: Phan lap cho nh6m g6c dan 110Hinh 5.9: Phan lap cho nh6m nghanh ngh~ 110Hinh 5.10: Phan lap cho nh6m thu nh~p IIIHinh 5.11: Phan nh6m cho nh6m phuong ti~n di lam IIIHinh 5.12: T~p ma va ham thanh VieDd~ phan lap 112Hinh 5.13: C~u truc phan lap cho bang du li~u kham pha 117Hinh 5.14: T~p ma va ham thanh vien cho thuQctinh Age va Height 117

Hinh 5.15: Ham thanh vien cho PVIII, Weight va s61~n chay mall 117Hinh 5.16: Ham thanh vien cho tu6i, tn;mg luQ'ng, li~u luQ'llg 120Hinh 6.1: Man hinh chinh chuang trinh PARMiner " 123

Hinh 6.2: Man hinh k~t n6i dfi'li~u va chQnbang kham pha 124Hinh 6.3: Man hinh khai baa c~v truc phan lap va vung mO' " 124Hinh 6.4: Man hinh chQnthu~t toan kham pha 125Hinh 6.5: Man hinh xu~t lu~t duQ'ckham pha 125Hinh 6.6: Man hinh so sach thai gian thvc hi~n cua hai thu~t toan 126Hinh 6.7: Man hinh chinh cua chuang trinh IncPARMiner 127Hinh 6.8: Man hinh xem bang giao tac kham pha 128Hinh 6.9: Man hinh xem c~u truc phan lap 128Hinh 6.10: Man hinh xem cac lu~t duQ'ckham pha " 129Hinh 6.11: Man hinh xem t~p itemset ph6 bi~n 129Hinh 6.12: Man hinh xem itemset thuQcNBd(pDB+) 130

~.o@

LOI CAM ON

~.~

2:Jdu tiin toi xin ba!) to [onE} bid o'n j.au j.dc ciin nE}uo'i~hd!) cia tqin tLnh hudnE}

ddn toi honE} j.udt qua hi.nh [am [uqin uan, dViu khonE} co j.(i quan tam cUa ~hd!) thi toi

khonE} thi hoan thank [uqin uan na!) ciuC/c,~oi xin ba!) to [onE} bid dn ua j.(i kink h(;mE} citn ~itn ~( Li dtodi :Bdc,

~oi cunEI xin chan thank cdm o'n ciin nhl1nE} E}Lao j.U cia cunEI cdp nhl1nE} kiln thl1c

minE} caD ua ci?nh huo'nE} nE}hiin cI1u khoa h9C cho tot: §~,~~!J(dt dtoanE} !J(r.im,

(Pg~,~~ 2:J6n!)~h? :Bich ~hu!), ~~, :Duo'nE}clfnh 2:Jl1c ,

9(in cdm o'n toan thi qu9 thd!) co honE} khoa {lc:IVJJ ua ~honE} Qudn [9 ~au

{luo'i cunE}' con xin cam dn conE} [aD :Ba-cfli!? cia nuoi ndnE} ua cham j.oc cho con ho'n hat muo'i nam qua Em xin cdm o'n clfnh dtai cia [0 cho E.m tl2 nho ciin [dn, 9(in cdm

o'n dVE}9C ~hdo nE}uo'i U9' !)iu thuo'nE} nhdt cia thanE} cdm ua chLa xl nhl1nE} bu6n uuL cua toi honE} j.uo't nhl1nE}nam than!) qua!

~~, dt6 Chi cfli!inhnE}a!) 22 thanE} 11 nam 2°°4

dVE}u!)ln cHa §ianE}

PBAN MO f).Au

i'<Y>-$:a@

Tu nhung nam d~u cua th~p nien truac cho d€n nay, lInt V\fCkham pha du

li~u hay con duQ'cgQila kham pha tri thuc tu du li~u tra thanh m<)ttrong nhung lInt

V\l'Cthu hUtnhi~u S\l'quail Himtrong giai khoa hQc may tint va cong ngh~ tri thuc,Dil c6 nhi~u nhung k€t qua nghien cuu duQ'cap d\mg hi~u qua VaGth\fc t€ cho thelyday la mQtlInt V\fCthi€t th\fc chu khong dO'nthu~n la ly thuy€t C6 th€ n6i S\fthanhcong cua kham pha du li~u chinh la S\fk€t hQ'pcac ky thu~t tu nhung lInt V\fCkhacnhu tri tu~ nhan t~o, hQc may, xac sueltthfmg ke, ly thuy€t thong tin, cO'sa du li~u

va tint toan hi~u suelt cao Nhi~m V\1cua kham pha du li~u reltr<)ngIan baa g6mvi~c phan lap, d\f baa, gom nh6m, kham pha nhung quy lu~t k€t hQ'P,kham pham~u tu~n t\1',Nhung lInh V\fCduQ'c ap d\1ng kham pha du li~u thi relt nhi~u baa g6mcac (rng d~ng trong thuO'ng m~i, tal chinh, ngan hang, sinh hQc, y khoa, giao d\1c,truy~n thong va ca qUail S\l'

Nh~n bi€t duQ'ct~m quail trQng cua lInt V\fCnay nen m<)ts6 cac h~ th6ngqUailtri cO'sa du li~u dil tich hQ'pcong C\1kham pha du li~u, Day la m<)tS\fcachm~ngso vai h~ th6ng cu, vi truac day cac h~ qUailtri cO'sa du li~u chi c6 chuc nangchinh la quail ly du li~u mQtcach hi~u qua S\f c6 mi;itcua cong C\1kham pha du li~uVaGtrong h~ qUail tri cO' sa du li~u ph~n naG dil n6i len y nghla th\fc ti€n cua lInt

h~ c6 tinh s6 luQ'ng giu'a cac m~u, Lu~t nay duQ'c gQi la lu~t k€t hQ'p s6 luQ'ng, M<)t

s6 cac khai ni~m duQ'c b6 sung VaGdu li~u d€ kham pha lu~t k€t hQ'Pa muc t6ng

quat

Trong thai gian gftn day, ly thuy€t t~p ma duQ'cap d\lng d~ xu ly cac dl1li~us6 luQ'ngtrong kham pha dl1li~u, Nguyen nhan cua vi~c ap d\lng ly thuy€t t~p ma la

do nhl1ngh~n ch€ cua t~p c6 di~n (t~p r5) trong vi~c rai r~c gia tri s6luQ'ng

Khai ni~m khcimphci luqt kit h9'PmiY(Fuzzy Association Rule Mining) cling

xu~t hi~n tlI' d6 va la 111<)tHnh V\fCkha m6i me va dfty ti~m nrmg, Day cling chinh la

v~n d~ 111alu~n van d~ c~p: "Khcim phci luqt kit h9'P miY va ung d1;lng".Lu~n van

trinh bay khai ni~m v~ lu~t k€t hQ'Pma, xay d\fng mo hinh va thu~t toan d~ khampha lu~t k€t hQ'pma, Ngoai ra lu~n van cling nghien elm den vi~c kham pha lu~t k€t

hQ'p 1110'tang cuang.

C~u truc chinh cua lu~n van baa g6m 6 chuang duQ'c t6m t~t nhu sail:

1 ChU'O'n~: T6ng quail kham pha dl1 li~u

Gi6i thi~u t6ng quail v~ kham pha dl1li~u baa g6m: ky thu~t ap d\lng, nhi~mV\lth\fc hi~n, HnhV\fCap d\lng, xu hu6ng quail trQngcua llnh V\fCnay

2 ChU'o'n2 2: Lu~t k€t hQ'pt6ng quat ma

Gi6i thi~u khai ni~m lu~t k€t hQ'p t6ng quat ma, cac mo hinh va thu~t toant6ng quat d~ kha111pha

3 ChU'o'n2 3: Thu~t toan kham pha lu~t k€t hQ'Pt6ng quat ma

Trinh bay hai thu~t toan chinh d~ kham pha lu~t k€t hQ'P t6ng quat ma:

AF AR va EF AR

4 ChU'o'n2 4: Kham pha lu~t k€t hQ'pma tang cuang

Xay d\1'ng mo hinh va thu~t toan kham pha lu~t k€t hQ'p ma trong cO' So'dl1li~u c6 tinh tang cuang

5 ChU'o'n2 5: Ung d\lng kham pha lu~t k€t hQ'p ma

Ap d\lng cac thu~t toan d~ kham pha lu~t k€t hQ'P ma tir cac dl1 li~u khacnhau nhu: dl1 li~u sieu thL dl1 li~u y khoa, dl1 li~u daTIcu KDD-CUP-98

6 ChU'o'n2 6: Chuang trinh cai d~t

Trinh bay hai chuang trinh cai d~t minh ho~ cho cac thu~t toan d~ light trong

lu~n van

~*eoG\

ChvO1Ig 1

ro, ~

1.1 Khtim phti dft Ii'"

Ngay nay cling vai S\fphat tri~n nhanh chong v~ kich thuac va s6 luQ'ngcua

nhung ca sa du li~u trong thuang m<;li,cong nghi~p, qmin ly, y khoa, qUailS\fva

nhung llnh V\fCling dl,lng khac Con ngmYi mong mu6n co duQ'c nhung cong Cl,lm<;lnhme, thong minh, 1l! d<)ngnh~m tac d<)ng len kh6i luQ'ng du li~u kh6ng 16 nayd~ rut trich nhung thong tin coynghla va nguai ta g<;>ithong tin nhu tren la nhungtri thlic Dap ling nhu c~u tren m<)tllnh V\fCmai xu~t hi~n va nh~n duQ'Cnhi~u S\f

quail tam hall m<)tth~p ky qua Do la llnh V\fCkhilm phil tri thire tir dif li?u (KDD:

Knowledge Discovery in Databases) hay con duQ'c g<;>ila kham pha du li~u

Hinh 1.1: Minh h<;>acac llnh V\fCduQ'c ling dl,lng kham phaTheo tac gia Piatetsky-Shapiro co th~ dinh nghla kham pha tri thlic tir du li~u

nhu sau: "Khilm phil tri thirc tir dif li?u fa m(>tS1j:rut trich quan tr9ng nhifng thong

tin ngdm atnh, thong tin khong au9'c bitt truac, va nhii:ng thong tin hii:u d1,lng,co tiJm nang trang dif fi?u" [19] Thong qua vi~c rut trich tri thlic trong du li~u, nhung

ca sa du li~u Ian cling c~p m<)tngu6n thong tin d6i daD, tin c~y dap ling cho vi~c

tim ki~m va xac nh~n tri thlic Nhung tri thlic kham pha co th~ duQ'cap dl,lngchoc6ngvi~c qUailly thong tin, ra quy~t dinh, di~u khi~n xu ly va nhi~u ling dl,lngkhac

Do d6 kham pha du li~u duQ'c xem nhu la m<)t lInh V\fCnghien clm quail tn;mg vacling dfiy thach thuG Nhi~u nha nghien CUutrong nhi~u lInh V\fCkhac nhu h~ ca s6diI li~u, h~ ca s6 tri thuG, tri tu~ nhan t1;1o,hQc may, tim ki~m tri thuG, th6ng ke, .dac6 nhi~u SlJ quail tam d~n lInh V\fCkhai pha tri thuG SlJ n~m b~t thong tin la chi akh6a thanh Gong trong lInh VlJCthuang m1;1i,cac nha kinh doanh da cam nh~n raduQ'c tfim quail trQng cila lInh VlJCnay va hQ da c6 nhi~u ung d\lng hi~u qua tir k~tqua kham pha diI li~u d~ gia tang lQ'inhu~n trong vi~c kinh doanh

Qua trinh kham pha tri thuG trong diI li~u c6 th~ duQ'ct6m t~t qua cac giaido1;1nchinh nhu: chQn lQc diI li~u tir m<)tngu6n diI li~u, cac giai do1;1nchuftn bithong tin, giai do1;1nap d\,mgcac thu~t toan kham pha diI li~u va giai do1;1ncu6i lachuy~n k~t qua thanh tri thUGma con nguoi hi~u duQ'c.C6 th~ xem qua trinh apd\mg cac thu~t toan kham pha diI li~u la quail trQng nhAt, qua trinh nay se quy~tdinh d~n ki~u k~t qua duQ'c kham pha

M9t trong s6 nhiIng k~t qua thu duQ'c tir ti~n trinh kham pha tri thUGtrong diIli~u la nhiIng thong tin d1;1nglu~t, day la m<)t d1;1ngth~ hi~n tri thUG ph6 bi~n nhAt.N6i b~t han ca do nh~n duQ'c nhi~u SlJ quail tam va c6 nhi~u Gong trinh nghien CUu

la !wjt kit h9P (Association Rule) D1;1nglu~t nay th~ hi~n m6i quail h~ cung xuAt

hi~n nhung d6i tUQ'llgtrong m<)tca s6 diI li~u nao d6 Cho phep xac dinh duQ'c SlJxuAthi~n cila m<)td6i tuQ'ng nay thong qua S\f hi~n di~n cila m<)td6i tUQ'llgkhac

1.2 Cac giai ao{ln chink trong ti~n trinh kham pha diJo liill

Chinh vi m\lc tieu kham pha tri thuG ngfim dinh trong ca s6 diI li~u nen quatrinh kham pha thuong phai qua m<)ts6 cac giai do1;1ncfin thi~t Bao g6m nhUng giaido1;1nchuftn bi diI li~u kham pha, giai do1;1nkham pha diI li~u va cu6i cung la giaido1;1nchuy~n k~t qua kham pha sang nhUng tri thuG cho con nguoi hi~u duQ'c Chiti€t cae bUGCth\fc hi~n duQ'c mo ta t6m t~t nhu sail:

* Giai dean 1: dfiu tien la phM tri~n m<)t slJ hi~u bi~t v~ lInh V\fc ung d\lng vanhiIng tri thUGtuang ung Xac dinh m\lc dich cila ti~n trinh kham pha diI li~u tirquail di~m eila nguoi dung

* Giai doan 2: chu~n bi du li~u de kham pha, thu th~p du li~u va du li~u mau

* Giai doan 3: ti~n xu ly du li~u, x6a cac thong tin bi nhi€u trong du li~u, lo?i baS\ftrung lip du li~u va xac dinh chi~n luQ'Cde xu ly nhung du li~u bi m~t

* Giai doan 4: chi~u du li~u, thu nha du li~u va tlm nhung d~e trung de kham pha

* Giai doan 5: chQn m9t phuang phap kham pha du li~u thieh hQ'pnh~t trong s6 cac phuang phap ph6 bi~n nhu: t6m tit, phan lap, h6i qui, phan nh6m, k~t hqp

* Giai doan 6: tu thu~t toaD dff chQn, mo hlnh h6a thu~t toaD de giai quy~t trong

truang hQ'pC\l the dang xet L\fa chQn nhung phuang phap tlm ki~m mau du

li~u, quy~t dinh cac tham s6

* Giai doan 7: day 1agiai do?n kham pha du li~u, su d\lng thu~t toaD de tlm ki~mnhung mau thil vi trong m9t hlnh thue the hi~n d~e thu ho~e m9t t~p nhung thehi~n baa g6m nhung lu~t phan lap, cay, S\fh6i qui va phan nh6m

* Giai doan 8: thong dich l?i nhung mau dffduQ'ekham pha duai cae hlnh thue thehi~n tri thUGcua du li~u nhu ngon ngu, bieu d6, hlnh cay, bang

Trithuc

-GOngvi~e truae day d~u t~p trung 6 buae 7 la giai do?n kham pha du li~u Tuy

nhien, cac bu6'c con l<;liquail trQng khong kern va nhung bu6'c do dong gap r~tnhi~u Sl}'thanh Gongcila toan bQti€n trinh kharn phil du li~u

1.3 Cae nh/im VIIkhdm phil du Iii"

Cho d€n nay da:co r~t nhi~u Gongtrinh nghien Clm va phat tri~n trong lInh

V\fCkharn phil du li~u, co nhi~u kg thu~t va nhung h~ th6ng kharn phil da:duQ'Cphattri~n D\fa tren nhung lo<;litri thUG duQ'c kharn phil, chung ta co th~ rhein lo<;linhutheo cac nhi~rn V\l nhu sail:

* Kharn phil luat thuoc Hnh: tom t~t nhung thuQcHnh chung cila t~p du li~u naGdo

trong ca sa du li~u Vi d\l nhu nhung tri~u chung cila rnQtdin b~nh S thi thucmg c6 th~ duQ'cth~ hi~n qua mQtt~p lu~t thuQcHnhA.

* Kharn phil nhung luat rhein biet: kharn phil nhung d~c tIling, nhung thuQctinh d~rhein bi~t gil1'at~p du li~u nay v6'i t~p du li~u khac Vi d\l nhu nh~rn rhein bi~tgiua cac chung b~nh, thi rnQt lu~t rhein bi~t duQ'cdung d~ tom t~t nhung tri~uchung nh~rn rhein bi~t chung b~nh xac dinh v6'i nhung chung b~nh khac

* Kharn phil luat k€t hap: kharn pha S\fk€t hQ'pgiua nhung d6i tuQ'ngtrong rnQt

t~p du li~u Gia Slrhai t~p d6i tuQ'ng{Al, A2, , Am} va {Bl, B2, , Bn} thi lu~t k€t

hQ'p c6 d<;lng(AI /I /\ Am) ~ (Bl /I /\ Bn).

* Kharn pha luat rhein lap: rhein lo<;lidu li~u VaGtrong t~p nhung lap da:bi€t Vid\l nhu rnQts6 chi€c xe co nhung d~c tinh chung d~ rhein VaGcac lap d\fa trencach tieu th\l nhien li~u ho~c co th~ rhein VaGcac lap d\fa tren tai trQng

* rhein nh6rn: xac dinh rnQt nhorn cho rnQt t~p nhung d6i tUQllg d\fa tren thuQctinh cila chung MQt s6 cac tieu chu~n duQ'csu d\lng d~ xac dinh d6i tuQ'ngc6thuQcv~ nh6rn hay khong

* Du baa: d\f baa gia tri c6 th~ dung cila nhung du li~u bi thi€u ho~c S\frhein b6thuQctinh naGd6 trong t~p du li~u

* Kharn pha quy luat bi€n d6i: tirn nhung t~p lu~t phan anh nhung hanh vi ti€nh6a, bi€n d6i chung cila rnQtt~p du li~u Vi d\l nhu lu~t kharn pha nhung y€u t6chinh taG dQng leu S\f thay d6i cila nhung gia c6 phi€u naG do

1.4 PhtfO'ngphap kham pha dit li~u

Tu nhung nhi~m V\ltren chung ta th~y r~ng vi~c kham pha du li~u khong chidan gian la st'l'd\lng duy nh~t m<)tky thu?t nao do B~t cu phuang phap nao h6 trQ'cho vi~c tim ki~m thong tin t6t thi se duQ'csu d\lng Tuy thu<)cvao cac nhi~m V\lkhac nhau ma cac phuang phap co th€ duQ'cchQn,m6i phuang phap co di€m m:;1nh

va nhung m~ith:;1nch~ rieng Chung ta co th€ phan 10:;1inhung phuang phap khampha du li~u theo cac nhom sail:

.: Phuang phap th6ng ke: huang ti~p c?n th6ng ke d\1'atren n~n tang mo hinh xac

su~t Cach thl,l'chi~n dl,l'atren vi~c ki€m chung nhung ly thuy~t da xac dinh truac

va dl,l'atren vi~c lam thich hgp nhung mo hinh cho du li~u Thong thm'mg nhung

mo hinh nay da duQ'csu d\lng b6i nhung nha th6ng ke Do V?y con ngmJi phaicling c~p nhung Iy thuy~t ung vien va cac mo hinh th\1'chi~n

.: Suy di~n dua tren tinh hu6ng: giai quy~t v~n d~ dua ra b~ng cach dung tf\l'Cti~p

cac kinh nghi~m va nhung giai phap trong qua khu M<)ttinh hu6ng thuimg lav~n d~ d~c bi~t da d6i m~t truac day va cling da duQ'cgiai quy~t Dua ra m<)tv~nd~ mai d~c thu, suy di~n d\1'atren tinh hu6ng se ki€m tra m<)tt?P nhung tinhhu6ng duQ'cluu tru va tim nhung tinh hu6ng tuang t\1'.N~u tinh hu6ng t6n t:;1ithinhung giai phap tuang ung se duQ'cap d\lng cho mo hinh mai va tinh hu6ng giaiquy~t mai se duQ'c C?P nh?t vao h~ th6ng nh~m ph\lc V\l cho l~n th\1'chi~n sail

.: Mang Neural: la lap nhung mo hinh mo phong theo b<) nao con ngmJi Nhu

chung ta da bi~t thi b<)nao cua con ngmJi baa g6m hang tri~u t~ baa th~n kinhduQ'ck~t n6i qua kh6p th~n kinh Nhung m:;1ngth~n kinh duQ'chinh thanh tu s6luQ'ngIan nhung neural mo phong, cac nut nay duQ'ck~t n6i vai nhau trong cachgi6ng nhu t~ baa th~n kinh Tuang t\1'nhu trong b<)nao th?t, cuimg d<)k~t n6i coth€ thay d6i d€ dap l<;1iS\1'kich thich, di~u nay cho phep m:;1ngco kha n[mghQc

.: Cay quy~t dinh: trong diy nay m6i nut trung gian th€ hi~n m<)t S\1'ki€m chung

ho~c lTI<)tquy~t dinh d\1'a tren item du li~u dang xet D\1'a tren k~t qua cua thunghi~lTIse xac dinh nhanh ti~p theo D€ phan lap m<)titem du li~u, chung ta b~td~utu nut g6c sail do di xu6ng theo cac nut phu hgp vai ki€m chung cho d~n khi

lu~t Ii X/ /1 /\ XN ~ Y [8, C], nghla Ii khi co S\f xuftt hi~n cac thuQc tinh Xj XN

se dftn d~n thuQc Hnh Y v6'i dQ h6 tr<JIi 8 vi dQ tin c~y Ii C.

.: Mang Bayer: m(;tngBayer Ii th~ hi~n d6 hQa cua S\fphan b6 cac xac suftt, du<Jcdftn ra tu vi~c th6ng ke S\fxuftt hi~n cua cac d6i tuqng f)~c bi~t m(;tngBayer IimQt dO'nd6 thi co hu6'ng, trong do m6i nut th~ hi~n bi~n thuQc Hnh vi nhungc(;tnhth~ hi~n xac sufttphl,1thuQcgiua nhUngthuQctinh do

.: Thuat giai di truy~n: hay I~ptrinh ti~n hoa Ii cach giai quy~t theo chi~n Iu<Jct6i

uu d\fa theo nguyen Iy ti~n hoa du<Jckhao sat trong t\f nhien NhUng giai phapvftn d~ t6t nhftt se di qua giai do(;tnchQn IQcvi chung se du<Jck~t hQ'Pv6'i nhaud~ cho nhung giai phap khac t6t han Qua trinh Cll'I~p I(;tinhu v~y cho d~n khivftn d~ du<Jcgiai quy~t ho~c ti~n d~n mQt nguang dUng

.: Tap ma: day Ii kg thu~t chinh cua vi~c th~ hi~n vi xu Iy tinh khong chinh xac.SI! khong chinh xac du<Jcnay sinh tu nhung cO'sa du Ii~u ngiy nay: S\fkhongchinh xac, khong th~ xac djnh, khong nhftt quail vi mO'h6 NhUng t~p ma khai

thac tinh khong ch~c ch~n d~ Iim cho h~ th6ng phuc t(;tpITanen d€ quail Iy Do

v~y nhung t~p ma t(;tothinh cach ti~p c~n m(;tnhkhong chi d~ giai quy~t tinhkhong tn,m vtfn, nhi€u hay du li~u khong chinh xac mi con giup phat tri~n cac1110hinh khong ch~c ch~n cua du Ii~u nh~m t(;tora S\f th\fc thi thong minh, m~mcleohan so v6'i h~ th6ng truy~n th6ng

.: Tap tho: t~p tho du<JCdinh nghla bai t~p xftp xi tren vi t~p xftp xi du6'L Cac d6ituqng thuQct~p xftp xi du6'i Ii xac djnh hoin toin Cac d6i tuqng thuQct~p xftp

xi tren Ii ph~n khong xac dinh T~p xftpxi trencua t~p tho Ii hQi cua t~p xftp xidu6'i vi t~p bien MQt d6i tuqng thuQc t~p bien Ii xac dinh nhung khong xacdinh hoin toin Vi v~y, t~p tho co th~ du<Jcxem nhu Ii t~p ma co him thinh

vien ba gia tri: "dung", "saC' vi "co thi" Gi6ng nhu t~p ma, t~p tho Ii mQtkhai

ni~m tmln hQc d~ phan lap du li~u T?p tho cling nhu t?P ma it duqc S11d\mgnhu la mOtgiai phap dO"nIe Chung thuang duqc k€t hqp vai cac phuang phapkhac nhu suy di~n lu?t, phan lap va phan nh6m

1 5 Ctie lop; dfl' /ifu dU'{1eklttim pita

Kham pha du li~u thuang lam vi~c vai nhi€u ki~u du li~u khac nhau Hftuh€tcac ki~u du li~u duqc kham pha la nhung ki~u nhu sail:

ff CO"sa du lieu quail he: nhung cO"sa du li~u duqc t6 chuc theo mo hint quail h~ Hftu h€t nhung h~ qUailtri cO"sa du li~u hi~n nay d€u h6 trq mo hint nay nhu:

Oracle, IBM DB2, MS SQL Server, MS Access

ff CO"sa du lieu da chi€u: cO"sa du li~u nay thuang duqc gQi la nha kho du li~u,

trong d6 du li~u duqc chQntiTnhi€u ngu6n khac nhau va chua nhung d~c tinhItch Slrthong qua thuQctinh thai gian tucmg minh ho~c ngftm dinh

ff CO"sa du lieu giao tac: day la lo~i du li~u duqc S11d\mg nhi€u trong sieu thi,

thuO"ngm~i, tai chinh, ligan hang

ff CO"sa du lieu quail he - huang d6i tuO"ng:mo hinh cO"sa du li~u nay la lai giua

mo hint huang d6i tuqng va mo hinh cO"sa du li~u quail h~.

ff CO"sa du lieu thai gian, khong gian: chua nhung thong tin v€ khong gian dia ly

ho~cthong tin theo thai gian

ff CO"sa du lieu da phuO"ngtien: lo~i du li~u nay baa g6m: am thanh, anh, video,

van ban va nhi€u ki~u du li~u dint d~ng khac Ngay nay lo~i du li~u nay duqcSl1'd\mg nhi€u tren m~ng Internet

1.6 Nltfl'ng wng dflng eua klttim pita diJ:lifu

Tuy kham pha du li~u la mOthuang nghien cuu mai nhung dffthu hut duqcnhi€uS\1'quail tam cua nhung nha nghien cuu do kha nang ling d\mg th\1'ct€ trongnhi€u llnh V\1'C.MQt s6 ling d\lng di~n hint nhu sail:

ff Phan tich du lieu va h6 trQ'quy€t dinh: ling d\lng lo~i nay ph6 bi€n trong thuO"ngm~i,tai chinh va thi truang chung khoan