phá dữ liệu sử dụng web

... nhật ký truy cập (web server logs) p dụng kỹ thuật khai phá liệu, ta phát mẫu (tri thức) tiềm hữu ích từ liệu sử dụng web Được xem ba loại hình khai phá web, khai phá sử dụng web trở thành lĩnh ... ĐẦU Dữ liệu sử dụng web (còn gọi liệu truy cập web hay liệu web logs) chứa đựng nhiều thông tin hữu ích phản ánh trình tương tác người dùng với World Wide Web Dữ liệu thường phần mềm máy chủ web ... phá web (Web Mining) có bước phát triển mạnh mẽ, thu hút quan tâm nhiều nhà nghiên cứu nhóm phát triển ứng dụng Khai phá liệu sử dụng web (Web Usage Mining) hướng nghiên cứu quan trọng khai phá...

Ngày tải lên: 25/03/2015, 10:24

... với mẫu liệu Tic Tac Toe.arff Test set  Dữ liệu xây dựng mô hình  Dữ liệu để xây dựng mơ hình: liệu gốc (original dataset), liệu phải có thuộc tính phân lớp (categorical attribute) Dữ liệu gốc ... thuộc tính tập liệu có kiểu liệu rời rạc Bài tốn phân lớp - Phân lớp theo tình trạng nước cờ, có trạng thái Positive (thuận lợi) Negative( bất lợi) Giải toán sử dụng phân lớp Xử lý liệu đầu vào: ... Model)  Chia nhỏ tập liệu theo phương pháp CV (Cross-Validation) trình huấn luyện kiểm lỗi mơ hình phân lớp Đây kỹ thuật chủ yếu sử dụng xây dựng predictive Model Trong liệu gốc chia thành n...

Ngày tải lên: 03/12/2013, 16:03

... chơi , nhà phát hành game kết luận họ có chơi game hay khơng Thuật toán phân lớp lựa chọn áp dụng liệu II Thực nghiệm WEKA Tiền xử lý liệu: Trong qui trình khai phá liệu, công việc xử lý liệu trước ... bước làm cho liệu có ban đầu qua thu thập liệu (gọi liệu gốc original data) áp dụng (thích hợp) với mơ hình khai phá liệu (data mining model) cụ thể Các công việc cụ thể tiền xử lý liệu bao gồm ... Discretization (rời rạc hóa liệu) : Nếu bạn có liệu liên tục vài mơ hình áp dụng cho liệu rời rạc (như luật kết hợp ) bạn phải thực việc rời rạc hóa liệu Trong tốn , bước tiền xử lý liệu cụ thể sau: -...

Ngày tải lên: 03/12/2013, 16:07

... cần sử dụng khai phá liệu cần 4/17 thuộc tính, ta sử dụng thuộc tính này: adoption-of-the-budget-resolution anti-satellite-test-ban aid-to-nicaraguan-contras immigration III1- Tiền xử lý liệu ... thiệu tiền xử lý liệu (Data Preprocessing) - Trong qui trình khai phá liệu, cơng việc xử lý liệu trước đưa vào mơ hình cần thiết, bước làm cho liệu có ban đầu qua thu thập liệu (gọi liệu gốc original ... Discretization (rời rạc hóa liệu) : Nếu bạn có liệu liên tục vài mơ hình áp dụng cho liệu rời rạc (như luật kết hợp chẳn hạn) bạn phải thực việc rời rạc hóa liệu 2- Tiền xử lí liệu với tốn chọn - Trong...

Ngày tải lên: 03/12/2013, 16:07

... -Cây định -95% liệu để xây dựng, 5% liệu test 2011 Meta Data -90% d liệu ểxâydựng, 10% d liệu test -85% d liệu ểxâydựng, 15% liệu test 2011 Meta Data -70% d liệu ểxâydựng, 30% d liệu test 2011 ... iscrim,ITrule,IndCART,KNN,Kohonen,LVQ,LogDisc,NewId,QuaDisc,RBF,Smart} Norm_error real -Training data 3.TIến hành Weka -Đưa liệu vào Weka 2011 Meta Data -Sử dụng toàn liệu để training 2011 Meta Data -Nội dung kếtquả === Classifier model (full ... 15% liệu test 2011 Meta Data -70% d liệu ểxâydựng, 30% d liệu test 2011 Meta Data -50% d liệu ểxâydựng, 50% d liệu test 2011 Meta Data ...

Ngày tải lên: 03/12/2013, 16:08

... tín dụng cho ứng dụng thẻ tín dụng II XÂY DỰNG CƠ SỞ DỮ LIỆU Trong đề tài này, tập tin chứa ứng dụng thẻ tín dụng Tất tên thuộc tính giá trị thay biểu tượng vơ nghĩa để bảo vệ bí mật liệu, số liệu ... tín dụng Phê duyệt Dữ liệu thuộc tính liên quan Weka decision tree Không phê duyệt Đọc liệu đầu vào sau áp dụng tốn phân lớp dựa vào thuộc tính để phân lớp khả phê duyệt tín dụng cho ứng dụng ... dụng cho ứng dụng thẻ tín dụng Tạo định khả phê duyệt ứng dụng thẻ tín dụng để hỗ trợ cho việc quản lý tín dụng hiệu IV TIẾN HÀNH THỰC NGHIỆM TRÊN WEKA Tiền xử lý liệu Dữ liệu ban đầu ta lấy mạng...

Ngày tải lên: 03/12/2013, 16:10

... khai phá liệu, công việc xử lý liệu trước đưa vào mơ hình cần thiết, bước làm cho liệu có ban đầu qua thu thập liệu (gọi liệu gốc original data) áp dụng (thích hợp) với mơ hình khai phá liệu ... Transformation: Chuyển đổi liệu cho phù hợp với mơ chuyển đổi liệu từ numeric qua nomial hay ordinal o Discretization (rời rạc hóa liệu) : Nếu bạn có liệu liên tục vài mơ hình áp dụng cho liệu rời rạc (như ... lý liệu bao gồm công việc như: o Filtering Attributes: Chọn thuộc tính phù hợp với mơ hình o Filtering samples: Lọc mẫu (instances, patterns) liệu cho mơ hình o Clean data: Làm liệu xóa bỏ liệu...

Ngày tải lên: 03/12/2013, 16:20

... mơ hình khai phá luật kết hợp khơng làm việc với kiểu liệu liên tục Quá trình goi rời rạc hóa liệu (Discretization) Nạp liệu (Loading the Data) Thông thường, định dạng chuẩn file liệu Weka la ... “income” ta lưu lại file liệu cuối có tên “bank-data-final.arff” B,Khai phá luật kết hợp(Association rule mining) Bây giờ, với file liệu qua q trình lọc thuộc tính id rời rạc hóa liệu thuộc tính “children”, ... việc liệu nominal (như association rule mining) Sau kết thực thuật toán Apriori để phát luật kết hợp file liệu “bank-data-final.arff” Click vào tab "Associate" để mở giao diện thuật toán khai phá...

Ngày tải lên: 03/12/2013, 16:29

... CNPM – Sử dụng weka để phân lớp cho dataset Computer Hardware Quy trình thực huấn luyện phân lớp với mẫu liệu machine.arff Dữ liệu để xây dựng mơ hình: + Dữ liệu gốc (original dataset) tập liệu ... truyền Giải toán sử dụng phân lớp Giới thiệu tiền xử lý liệu (Data Preprocessing) Trong qui trình khai phá liệu, cơng việc xử lý liệu trước đưa vào mơ hình cần thiết, bước làm cho liệu có ban đầu ... RandomForest Ở ta sử dụng thuật toán để áp dụng toán là: Vũ Trung Kiên – Lớp CNPM – Sử dụng weka để phân lớp cho dataset Computer Hardware o bayes.NaiveBayes o classifiers.trees.J48 Thực nghiệm Dữ liệu chia...

Ngày tải lên: 03/12/2013, 17:09

... Lưu lại liệu SE2.Ta sử dụng dataset để phân lớp Thuật toán phân lớp 1.Thực thuật toán Đối với dataset sử dụng thuật toán phân lớp: định J48 Với liệu chia thành 10 phần Page KHAI PHÁ DỮ LIỆU Kết ... WrapperSubsetEval, mục Classifier chọn NaiveBayes hình sau Page KHAI PHÁ DỮ LIỆU Trong mục Search Method chọn GredySteepWise Thu kết Page KHAI PHÁ DỮ LIỆU === Run information === Evaluator: weka.attributeSelection.WrapperSubsetEval ... T3_measured T3 TT4_measured T4U_measured FTI TBG_measured Page KHAI PHÁ DỮ LIỆU Sau trích chọn thuộc tính nhứng thuộc tính cần để sử dụng là: query_on_thyroxine, on_antithyroid_medication, thyroid_surgery,...

Ngày tải lên: 03/12/2013, 20:40

... Training set : gồm 783 mẫu liệu  Testing set : gồm 178080 mẫu dự liệu 12 thuộc tính III Thuật toán phân cụm K Mean Phân cụm kỹ thuật quan trọng khai phá liệu, thuộc lớp phương pháp Unsupervised Learning ... tượng sử dụng bảo hiểm dịch vụ tài chính, dự đốn xu hướng (trend) khách hàng, phát gian lận tài (identifying frauds); • WWW: Phân loại tài liệu (document classification); phân loại người dùng web ... Kỹ thuật phân cụm áp dụng nhiều lĩnh vực như: • Marketing: Xác định nhóm khách hàng (khách hàng tiềm năng, khách hàng giá trị, phân loại dự đoán hành vi khách hàng,…) sử dụng sản phẩm hay dịch...

Ngày tải lên: 03/12/2013, 20:42

... (P(Bk) P(A/Bk) )/(ΣP(Bi) P(A/Bi)) Phương pháp phân loại Naïve-Bayesian Phân loại Bayesian phương pháp phân loại sử dụng tri thức xác suất qua huấn luyện Phương pháp thích hợp với lớp tốn đòi hỏi phải ... Vì sử dụng cách thứ ba tổng hợp hai cách : P(X=w | C=spam) = ((s*ns)/Ns)/((ns*s)/Ns+(nn*n)/Nn)) Còn token xuất kho ngữ liệu mà không xuất kho ngữ liệu khơng thể kết luận token xuât kho ngữ liệu ... gọi thư rác, email phát tán cách rộng rãi không theo yêu cầu người nhận với số lượng lớn Hiện với bùng nổ số người sử dụng internet tất nhiên với hội quảng cáo Và từ Spam mail phát triển nhanh...

Ngày tải lên: 03/12/2013, 20:56

... • Bước ta sử dụng tất liệu để training cho cây: - Nhấn vào tab Classify chọn thuật toán sử dụng cách nhấn vào nút Choose; thư mục thư mục Trees/J48:  - Để tiến hành trainning toàn liệu ta chọn ... xử lý xong liệu click vào button để lưu lại bảng liệu Ta nhận thấy thuộc tính area population sau xử lý xong có số giá trị khơng sử dụng đến 1, 2, 3, để loại bỏ giá trị ta lưu bảng liệu lại với ... nghiệm Weka Tiền xử lý liệu  Khởi động Weka Explorer  Chọn CSDL Flags cách chọn OpenFile chọn kiểu liệu (*.arff) chọn đường dẫn tới file sở liệu Acute Inflammations.csv  Xuất liệu cửa sổ PreProcess...

Ngày tải lên: 03/12/2013, 21:01

... lớp xác tồn case tập liệu đào tạo Đôi liệu đào tạo lại chứa đặc tính cụ thể, nên áp dụng định cho tập liệu khác độ xác khơng cao trước số phương pháp tránh vừa liệu: - Dừng phát triển sớm bình ... biến liệu, lỗi nhập ghi vào sở liệu, giá trị thuộc tính đánh giá không cần thiết trường hợp cụ thể • Tránh “quá vừa” liệu “Quá vừa” liệu khó khăn đáng kể học định phương pháp học khác Q vừa liệu ... khai phá sở liệu có kích thước nhỏ C4.5 sử dụng chế lưu trữ liệu thường trú nhớ, đặc điểm làm C4.5 thích hợp với sở liệu nhỏ, chế xếp lại liệu node trình phát triển định C4.5 chứa kỹ thuật cho...

Ngày tải lên: 03/12/2013, 21:12

... thiết, bước làm cho liệu có ban đầu qua thu thập liệu (gọi liệu gốc ordinal data) áp dụng (thích hợp) với mơ hình khai phá liệu (data SVTH: Nguyễn Thị Hoa Trang Khai phá liệu GVHD: Hồ Nhật Quang ... nominal).Sau chuẩn hóa liệu bảng liệu tồn kiểu Nominal, ta sử dụng thuật toán J48 để đạt hiệu phân lớp cao  Sử dụng thuật toán với phần mềm Weka Nhấn vào tab Classify chọn thuật toán sử dụng cách nhấn ... score: Được sử dụng để xếp hạng (rank) thuộc tính thuộc tính có kiểu liệu liên tục (continuous) - Shannon's Entropy: Được sử dụng liệu kiểu rời rạc (discretized data) - Ngồi có số phương pháp khác...

Ngày tải lên: 03/12/2013, 21:18

... kết phát triển thành C4.5 với 9000 dòng lệnh C chứa đĩa mềm 4.2.1 Thuật toán C4.5: C4.5 thuật toán phân lớp liệu dựa định hiệu phổ biến ứng dụng khai phá sở liệu có kích thước nhỏ C4.5 sử dụng ... lớp xác tồn case tập liệu đào tạo Đôi liệu đào tạo lại chứa đặc tính cụ thể, nên áp dụng định cho tập liệu khác độ xác khơng cao trước số phương pháp tránh vừa liệu: • Dừng phát triển sớm bình ... biến liệu, lỗi nhập ghi vào sở liệu, giá trị thuộc tính đánh giá khơng cần thiết trường hợp cụ thể • Tránh “quá vừa” liệu “Quá vừa” liệu khó khăn đáng kể học định phương pháp học khác Quá vừa liệu...

Ngày tải lên: 03/12/2013, 21:31

... chỉnh sửa liệu cách click vào liệu xuất để bạn chỉnh sửa Khai phá liệu , lúc bảng Xây dựng định: - Bước ta sử dụng tất liệu để trainning cho cây: + Nhấn vào tab Classify chọn thuật toán sử dụng ... danh nghĩa theo dấu chấm phẩy Khai phá liệu II XÂY DỰNG CƠ SỞ DỮ LIỆU Đề tài sử dụng dataset Pittsburgh Bridges cung cấp giá trị 13 thuộc tính phân loại cho 124 liệu Thông tin chung dataset Pittsburgh ... Lấy 50% liệu để xây dựng cây, 50% để test: Khai phá liệu 15  Lần thứ sáu: Lấy 30% liệu để xây dựng cây, 70% để test:  Lần thứ bảy: Lấy 91% liệu để xây dựng cây, 9% để test: Khai phá liệu 16...

Ngày tải lên: 13/12/2013, 11:00