CSDL phân tán

Lý thuyết về CSDL phân tán. Xây dựng thuật toán Apriori tìm tập phổ biến và luật kết hợp trên CSDL

MỤC LỤC

1.2 Những thách thức trong Khai phá dữ liệu 8 1.3 Những vấn đề được chú trọng trong Khai phá dữ liệu 9

LỜI NÓI ĐẦU

Trong thời đại ngày nay, Internet phát triển rộng lớn khắp toàn cầu, cùng với

sự bùng nổ của ngành Công nghệ thông tin và những điều kiện phát triển của nó, các công nghệ lưu trữ dữ liệu và phục hồi dữ liệu ngày càng phát triển nhanh chóng tạo điều kiện cho các đơn vị thu thập dữ liệu nhiều hơn và tốt hơn Chính vì

lý do này mà cơ sở dữ liệu ở các cơ quan, doanh nghiệp, đơn vị, trường ho ̣c ngày càng nhiều thông tin tiềm ẩn, phong phú và đa dạng; đă ̣c biê ̣t trong viê ̣c ho ̣c tâ ̣p các môn ho ̣c của ho ̣c viên, các nhà trường đã nhận thức được tầm quan trọng của việc nắm bắt và xử lý thông tin, sử dụng những tri thức được chiết xuất từ cơ sở dữ liệu để phục vụ cho viê ̣c dự đoán phân loa ̣i ho ̣c viên trong các môn ho ̣c tiếp theo trong quá trình ho ̣c tâ ̣p của ho ̣c viên ta ̣i nhà trường

Trước những điều kiện và yêu cầu đặt ra của nhiê ̣m vu ̣ đào ta ̣o, đòi hỏi phải

có những phương pháp nhanh, phù hợp, tự động, chính xác và có hiệu quả để lấy được thông tin có giá trị Khai phá dữ liệu là một kỹ thuật được áp dụng rất hiệu quả phục vụ cho mục đích này; là một khâu trong quá trình khám phá tri thức, khai phá dữ liệu làm nhiệm vụ trích xuất các thông tin có giá trị tiềm ẩn trong những kho dữ liệu; hiện nay, kỹ thuật này đang được áp dụng một cách rộng rãi trong rất nhiều lĩnh vực kinh doanh và đời sống khác nhau như: y tế, marketing, ngân hàng, viễn thông, Internet,… Không ai có thể phủ nhận những lợi ích to lớn mà nhờ áp dụng kỹ thuật khai phá đem lại

Nhận thấy tầm quan trọng của vấn đề này, trong nô ̣i dung bài tập lớn của nhóm em đã nghiên cứu về kỹ thuật khai phá dữ liệu, trong đó tập trung vào tìm luật kết hợp của khai phá dữ liệu với mục đích đưa ra tập luật để đưa ra quyết định trong 1 việc thực tế nào đó

Nhóm xin chân thành cảm ơn thầy giáo hướng dẫn Đa ̣i tá, PGS.TS Nguyễn

Bá Tường đã tận tình hướng dẫn, chỉ bảo, giúp đỡ cho nhóm trong quá trình làm bài tập lớn, để nhóm có thể hoàn thành tốt bài tập

CHƯƠNG I: TỔNG QUAN VỀ KHAI PHÁ DỮ LIỆU 1.1 Khai phá dữ liệu

Khai phá dữ liệu là quá trình khai thác những thông tin tiềm ẩn có tính dự đoán, những thông tin có nhiều ý nghĩa từ những cơ sở dữ liệu lớn, nó được coi như là một bước trong quá trình khám phá tri thức (Knowledge Discovery in Databases – KDD) Khai phá dữ liệu là giai đoạn quan trọng nhất trong tiến trình khám phá tri thức từ cơ sở dữ liệu, các tri thức này có rất nhiều ý nghĩa, là cơ sở hỗ trợ trong việc ra quyết định trong khoa học và kinh doanh

Các bước trong quá trình khám phá tri thức:

- Làm sạch dữ liệu (Data cleaning): loại bỏ dữ liệu nhiễu hoặc dữ liệu không thích hợp

- Tích hợp dữ liệu (Data Intergration): Tích hợp dữ liệu từ các nguồn khác nhau như CSDL, kho dữ liệu, file text,

- Trích chọn dữ liệu (data selection): trích chọn những tập dữ liệu cần được khai phá từ các tập dữ liệu lớn ban đầu (database, data warehouses,…) theo một số tiêu chí nhất định

- Biến đổi dữ liệu (data transformation): chuẩn hoá và làm mịn dữ liệu, đưa

dữ liệu về dạng thuận lợi nhất, phù hợp cho việc khai phá bằng cách thực hiện các thao tác nhóm hoặc tập hợp

- Khai phá dữ liệu (data mining): là giai đoạn thiết yếu, đây là bước quan trọng và tốn nhiều thời gian nhất của toàn bộ quá trình khám phá tri thức, đây là bước áp dụng những kỹ thuật khai phá để khai thác, trích xuất thông tin có ích, những mẫu điển hình, những mối liên hệ đặc biệt có nhiều giá trị, mang nhiều ý nghĩa từ dữ liệu

- Đánh giá mẫu (Pattern Evaluation): đánh giá sự hữu ích của các mẫu biểu diễn tri thức dựa vào một số phép đo