Tiểu luận môn Điện toán lưới và đám mây CÔNG NGHỆ KHAI MỎ DỮ LIỆU TRONG ĐIỆN TOÁN ĐÁM MÂY

Trong bài này, em xin trình bày những kiến thức cơ bản về Điện toán Đámmây, Khai mỏ dữ liệu và những công nghệ khai thác dữ liệu lớn, được biếtđến với tên gọi Khai mỏ dữ liệu đám mây Clo

ĐẠI HỌC QUỐC GIA THÀNH PHỐ HỒ CHÍ MINH TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN

o0o

-ĐIỆN TOÁN LƯỚI VÀ ĐÁM MÂY

CÔNG NGHỆ KHAI MỎ DỮ LIỆU TRONG ĐIỆN TOÁN ĐÁM MÂY

GVHD : PGS TS NGUYỄN PHI KHỨ

MÃ HV : CH1301038

MỤC LỤC

I GIỚI THIỆU 3

II TỔNG QUAN 3

1 Khai mỏ dữ liệu 3

2 Điện toán đám mây 7

2.1 Định nghĩa 8

2.2 Mô hình cấp phát dịch vụ Điện toán đám mây 9

2.3 Mô hình cài đặt 10

2.4 Thuận lợi và khó khăn của Điện toán đám mây 10

III CLOUD DATA MINING (CDM) 11

1 Giới thiệu Cloud Data Mining 11

2 Big Data và cơ sở lưu trữ NoSQL 12

3 Apache Hadoop 14

4 Apache Hive 15

5 Pig 15

6 MapReduce 16

7 Giải pháp CDM trong xây dựng ứng dụng 17

7.1 Google BigQuery 18

7.2 Amazon Elastic MapReduce (EMR) 21

7.3 SQL Server Data Mining cho Cloud 22

7.4 Một trường hợp nghiên cứu với Facebook 23

IV KẾT LUẬN 24

TÀI LIỆU THAM KHẢO 26

LỜI CẢM ƠN

Em xin chân thành cảm ơn thầy PGS.TS Nguyễn Phi Khứ đã cung cấp cho

em những kiến thức quan trọng, nền tảng của môn Điện toán Lưới và Đámmây, giúp em có them những kiến thức và hướng nghiên cứu trong lĩnh vựcnày

Trong bài này, em xin trình bày những kiến thức cơ bản về Điện toán Đámmây, Khai mỏ dữ liệu và những công nghệ khai thác dữ liệu lớn, được biếtđến với tên gọi Khai mỏ dữ liệu đám mây (Cloud Data Mining - CDM)

Do thời gian có hạn nên bài viết chưa thực sự hoàn chỉnh, còn nhiều hạnchế và hiểu biết chưa sâu rộng, mong thầy thông cảm

Tp Hồ Chí Minh, ngày 08 tháng 06 năm 2014

Học viên thực hiện

Nguyễn Thị Mai

I GIỚI THIỆU

Điện toán đám mây cung cấp một cơ sở hạ tầng linh hoạt, mạnh mẽ và cóthể mở rộng giúp người dùng có thể tích hợp các kỹ thuật, phương pháp củakhai mỏ dữ liệu Kết quả của sự tích hợp đó là một nền tảng dung tính, vữngchắc Nó có thể giải quyết sự xuất hiện gia tăng của dữ liệu hoặc sẽ tạo ranhững điều kiện cho việc khai thác hiệu quả lượng lớn dữ liệu từ các kho dữliệu đa dạng Mục tiêu là tạo ra thông tin (hữu ích) hoặc sản phẩm của tri thứcmới

Như một hệ quả của các hoạt động kinh doanh và đặc biệt trong nhữngngăm gần dây, tầm quan trọng của việc sử dụng các dịch vụ on-line ngày càngnâng cao và phát triển, một lượng dữ liệu khổng lồ đã và đang được tạo ra.Tất cả dữ liệu tích lũy này là khả năng tiềm ẩn trong thông tin (hữu ích), ví dụnhư: sở thích mua sắm, tình huống tài chính, lợi nhuận, quan điểm chính trị,

… của người sử dụng hoặc khách hàng đều có thể cải thiện đáng kể trong việc

ra quyết định Nhưng làm cách nào để có được những thông tin hữu ích, tiềmnăng đang ẩn dấu trong cả “núi dữ liệu” khi việc xử lý và lưu trữ lượng lớn dữliệu đang nhân lên mỗi ngà và thực tế cho thấy những hạn chế nhất định của

kỹ thuật, công cụ thông tin liên lạc truyền thống? Câu trả lời tất yếu là ứngdụng những công nghệ hiện đại Cơ sở hạ tầng đám mây có thể được sử dụnghiệu quả cho các hoạt động đòi hỏi khắt khe và chuyên sâu với dữ liệu điểnhình cho quá trình khai mỏ dữ liệu Thật cần thiết để có kho dữ liệu quy môlớn và tài nguyên máy tính có thể mở rộng, lưu trữ hiệu quả và phân tích sâulượng lớn dữ liệu Điện toán đám mây đưa ra rằng: việc chi ra một khoản đầu

tư khổng lồ là cần thiết nếu một người hoặc một công ty muốn xây xựng một

hệ thống khai thác dữ liệu trong phạm vi một công ty hoặc một tổ chức hệthống thông tin

II TỔNG QUAN

1 Khai mỏ dữ liệu

Trong nhiều năm, những tổ chức và công ty tích lũy lượng lớn dữ liệu vàkhối lượng này tăng đa tạp Một câu hỏi đặt ra là có phải một số thông tin hữuích cho đến nay vẫn chưa được khai phá, đang ẩn trong dữ liệu? Câu trả lời là

có thể cung cấp ứng dụng xử lý khai mỏ dữ liệu

Về cơ bản, khai mỏ dữ liệu là quá trình khám phá hoặc tìm kiếm nhữnghình thức dữ liệu mới, hữu ích, có giá trị, tiềm năng và có thể hiểu được.Những hình thức dữ liệu đề cập đến quy tắc khai phá giữa các biến dữ liệu.Các quy tắc được phát hiện áp dụng cho tất cả dữ liệu, sau đó là mô hình khaiphá Tuy nhiên các quy tắc có thể tương quan với sự mở rộng của dữ liệu làmột mô hình hoặc mẫu

Khai mỏ dữ liệu là tạo ra lượng dữ liệu lớn vượt trội để đưa ra nhữngthông tin mới sẽ là nền tảng cho việc đưa ra những quyết định kinh doanh tốthơn Khai mỏ dữ liệu là lĩnh vực đa ngành mức cao, có nguồn gốc từ thống

kê, toán học, lý thuyết thông tin, trí tuệ nhân tạo, lý thuyết máy học, cơ sở dữliệu và trong hầu hết các chuỗi liên quan đến các lĩnh vực khác Có thể xácđịnh những loại thông tin sau đây: lớp, cụm (hạng), các sự kiện xã hội truyềnthống (ví dụ: khách hàng mua một sản phẩm A, 70% trường hợp họ mua phảisản phẩm A1), là các sự kiện tuần tự được thiết lập với một xác suất nhất địnhtheo sau một sự kiện khác và những dự báo dự đoán tương lai từ những dữliệu sẵn có Khai mỏ dữ liệu là một hoạt động đầy thử thách và phức tạp, màquá trình cài đặt yêu cầu chuyên gia từ các lĩnh vực khác nhau Nhân sự củamột dự án Khai mỏ dữ liệu bao gồm:

- Các nhà khoa học máy tính với vai trò chuẩn bị dữ liệu

- Các nhà phân tích với vai trò lựa chọn phương pháp và trình bàyphương pháp luận kết quả khai thác dữ liệu

- Các chuyên gia chịu trách nhiệm về các vấn đề, định nghĩa một vấn đềnghiệp vụ, chọn lọc dữ liệu liên quan và đề ra các hoạt động dựa trênnền tảng kết quả thu được

Định nghĩa vấn đề

Định nghĩa dữ liệu yêu cầu

Chuyển đổi và dữ liệu mẫu

Định lượng dữ liệu

Lựa chọn kỹ thuật khai thác

Xây dựng và định lượng mô hình

Định lượng dữ liệu

Biên dịch và sử dụng kết quả

Bước 1: Định nghĩa vấn đề nghiệp vụ

Bước 2: Chuẩn bị dữ liệu

Bước 3: Mô hình hóa

Bước 4: Cài đặt

Hình 1: Các bước của quá trình khai thác dữ liệu

Trong những đội dự án, người ta khuyến nghị rằng, nên có thêm mộtngười là quản lý dự án, đóng vai trò sắp xếp, lãnh đạo dự án Khai thác dữ liệu

có tổ chức Không có thủ tục truyền lệnh cho Khai thác dữ liệu mà sẽ luônchắc chắn có kết quả trong việc tìm kiếm các dữ liệu có giá trị Tuy nhiên, cóthể với phương pháp lập kế hoạch theo những bước tiêu chuẩn (phrase) củatiến trình khai thác dữ liệu, sự gia tăng đáng kể xác suất thành công

Xây dựng một mô hình là bước đặc biệt quan trọng trong quá trình khai

mỏ dữ liệu Đó là một quá trình phức tạp liên quan đến nhiều hoạt động:

- Lựa chọn kỹ thuật khai thác dữ liệu

- Xác định trường hợp, chọn lựa các đơn vị dữ liệu cần xem xét

- Xác định dữ liệu cho các nhà phân tích

- Tùy chọn tạo ra các chiều và khối ảo từ mô hình kết quả

- Xử lý quá trình tạo mô hình và thu thập kết quả

Khi tạo ra mô hình Khai thác dữ liệu, vấn đề lớn nhất là làm thế nào đểứng dụng các kỹ thuật khác nhau (và các thuật toán khác nhau) vào các tậphợp dữ liệu khác nhauvới mục tiêu tìm ra mô hình quan trọng và hữu ích Mộtlượng khổng lồ thông tin phức tạp và rời rạc không cho phép ứng dụng cùngmột thuật toán hoặc cùng một kỹ thuật khai thác Vì thế, vai trò của ngườiphân tích – một chuyên gia trong lĩnh vực Khai mỏ dữ liệu là đặc biệt quantrọng bởi năng lực của họ, quyết định dựa trên chọn lựa công cụ, kỹ thuật vàphương pháp sẽ được sử dụng trong những trường hợp đặc biệt

Trong một dự án Khai thác dữ liệu, có thể chọn cách sử dụng nhiềuphương pháp có thủ tục cũng như việc chọn cách sử dụng một phương pháp.Nếu quyết định chọn một hay nhiều phương pháp là không thích hợp, cáctham số của việc chọn phương pháp có thể được thay đổi hoặc lựa chọnphương pháp mới được tạo ra Một số phương pháp và kỹ thuật của Khai thác

dữ liệu là: phân lớp, liên kết, phân tích tuần tự, gom cụm, dự đoán, mạngneural, logic mờ, cây quyết định, phân tích thị trường và bộ nhớ dựa trên lýluận

Trong bối cảnh hiện nay, ứng dụng của kho dữ liệu là rất quan trọng Đặcbiệt, vì mục đích của nhiều công ty hiện đại điều hành thị trường toàn cầu có

hệ thống thông tin, nó đòi hỏi hình thức tổ chức (quản lý) dữ liệu dựa trênkhái niệm kho dữ liệu Kho dữ liệu hợp nhất hoặc tích hợp dữ liệu từ nhiềunguồn khác nhau, dữ liệu lịch sử trong quá trình quản lý của công ty và dữliệu từ môi trường Kho dữ liệu, theo yêu cầu kỹ thuật và nội dung có sự khácbiệt đáng kể với giao dịch chuẩn dựa trên hệ thống và thiết kế để có thể tìmkiếm dữ liệu dễ dàng hơn là quá trình phân tích và báo cáo Kho dữ liệu làmột khái niệm quan trọng của hệ hỗ trợ ra quyết định hiệu quả, phát triển mởtrộng trong vài năm trở lại đây Nó cung cấp các ý tượng kích hoạt tìm kiếm

và đề cập đến các thông tin cần thiết trong quá trình ra quyết định Nó sửdụng thủ tục quá quá trình phân tích, khai mỏ dữ liệu và khai phá tri thức từ

Data Warehouse

Như đã đề cập, dữ liệu đưa vào Kho từ nhiều nguồn đa dạng, bao gồm hệthống giao dịch của các công ty Công việc quan trọng nhất và toàn diện nhấttrong quá trình lưu trữ dữ liệu là tích hợp dữ liệu và tổ chức nội dung dữ liệu.Những hoạt động này là một phần của quá trình dẫn xuất, chuyển đổi và tải

dữ liệu ETL (Extract, Transform, Load) với nhiệm vụ thu thập dữ liệu từ cácnguồn hỗn tạp, chuyển đổi nó trong định dạng thích hợp và đưa vào kho với

dữ liệu được tinh lọc và chuẩn bị Mặc dù Khai mỏ dữ liệu có thể được quản

lý không cần kho dữ liệu, nhưng rõ ràng, sự thiết lập và ứng dụng của Kho dữliệu làm gia tăng đáng kể các cơ hội hành công

Hình2: Mô phỏng đơn giản của Kho dữ liệu như nguồn dữ liệu cho tiến trình Khai thác dữ liệu

2 Điện toán đám mây

Trong nhiều năm gần đây, một trong những chủ đề thú vị và quan trọngnhất của thế giới công nghệ thông tin và truyền thông (ICT) là Điện toán Đámmây Trong phần này sẽ trình bày những thông tin cơ bản và đặc điểm củacông nghệ Điện toán đám mây và mô hình nghiệp vụ

2.1 Định nghĩa

Viện tiêu chuẩn và công nghệ quốc gia NIST (National Institute ofStandards and Technology) định nghĩa Điện toán Đám mây như là một môhình cung cấp mạng phổ biến, đơn giản, theo yêu cầu truy cập của người dùngđến một tập chia sẻ các tài nguyên (ví dụ: tài nguyên mạng, máy chủ, lưu trữ

dữ liệu, ứng dụng và dịch vụ) có thể đọc được và có giá trị sử dụng, hoặc nếucần thiết, nhà cung cấp có thể can thiệp và ngừng lại tất cả các dịch vụ đó.Influential Gartner và Forrester cung cấp định nghĩa sau: “Điện toán đámmây là lĩnh vực điện toán mà các thiết bị công nghệ thông tin có khả năngcung cấp các hình thức linh hoạt của dịch vụ được cấp phát thông qua Internetđến đông đảo khách hàng bên ngoài.”

Một số đông chuyên gia tin rằng: đó là mô hình nghiệp vụ mới và là nềntảng công nghệ cho sự điều tiết, khởi đầu và sử dụng các dịch vụ cũng nhưcác sản phẩm công nghệ thông tin đa dạng Từ quan điểm của người dùng,điện toán đám mây có thể được định nghĩa như một cách thức mới, an toànhơn trong sử dụng các giải pháp phần mềm được thuê theo nhu cầu Mặtkhác, từ khía cạnh nhà cung cấp dịch vụ, Điện toán đám mây có thể đượcđịnh nghĩa như một cách thức mới, công nghệ mới và kênh phân phối khácnhau của sản phẩm công nghệ thông tin và của dịch vụ công nghệ thông tin

dự phòng

Mặc dù có khá nhiều các định nghĩa tập trung vào những khía cạnh khácnhau nhưng các định nghĩa này vẫn được coi là gây tranh cãi Điện toán đámmây đang trở thành một hiện tượng nổi trội trong thế giới công nghệ thông tin

• Tự phục vụ theo yêu cầu,

• Truy cập mạng rộng rãi,

• Hợp nhất nguồn,

• Tính đàn hồi nhanh chóng,

• Dịch vụ được đo lường

2.2 Mô hình cấp phát dịch vụ Điện toán đám mây

Việc cung cấp dịch vụ Điện toán đám mây được phân chia thành ba môhình kiến trúc và sự kết hợp dẫn xuất khác nhau của các mô hình cơ bản.Dưới đây là ba phân lớp cơ bản được biết đến như mô hình SPI (Software,Platform, Infrastructure)

Hình 3: Mô hình SPI

Mô hình cơ bản cung cấp dịch vụ Điện toán đám mây là :

• SaaS (software as a service) – là một nền (platform) công nghệ chophép truy cập các ứng dụng thông qua Internet với dạng dịch vụ được thuêtheo nhu cầu thay vì mua chương trình phần mềm tách biệt và phải cài đặttrên máy tính người dùng (văn phòng và/hoặc tại nhà)

• PaaS (Platform as a Service) – là một mô hình sai khác của cấu trúcSaaS, như một sự phát triển môi trường cấp phát dịch vụ Cho phép ngườidùng xây dựng ứng dụng của riêng mình chạy trên cơ sở hạ tầng của nhà cungcấp Các ứng dụng được cấp phát cho người sử dụng thông qua giao diện máychủ có thể truy cập từ Internet.

• IaaS (Infrastructure as a Service) – cung cấp khả năng sử dụng cơ sở

hạ tầng máy tính (chủ yếu là nền ảo - virtual platforms) Người dùng khôngphải mua máy chủ, phần mềm, thiết bị lưu trữ dữ liệu hoặc thiết bị mạng,nhưng họ phải mua các tài nguyên như một dịch vụ bên ngoài

2.3 Mô hình cài đặt

Không kể đến loại mô hình cấp phát dịch vụ (SaaS, PaaS, hoặc IaaS), cóbốn mô hình cơ bản của dịch vụ điện toán đám mây, bao gồm:

• Public Cloud – platform có sẵn và mở đối với mọi người, không kể là

cá nhân hay tổ chức nào

• Private Cloud – cơ sở hạ tầng Điện toán đám mây có thể truy cập chỉvới một tổ chức Nó được quản lý bởi chính tổ chức đó hoặc một số ngườikhác đang làm việc cho tổ chức đó (out-sourcing)

• Community Cloud – mô hình cài đặt cung cấp khả năng cho nhiều tổchức có thể chia sẻ cùng cấu trúc Điện toán đám mây Cơ sở hạ tầng hỗ trợnhững tổ chức, cộng đồng có cùng sở thích, nhu cầu và yêu cầu bảo mật

• Hybrid Cloud – là mô hình bao gồm hai hoặc nhiều phần của những

mô hình trước, là loại mô hình được thiết lập cấu trúc Điện toán đám mây đểduy trì tính hợp nhất và độc lập giữa các thực thể, nhưng với một loại liên kếtđối ứng, để mà đạt được tính lưu động của dữ liệu giữa chúng

2.4 Thuận lợi và khó khăn của Điện toán đám mây

Giống như bất kỳ công nghệ khác, Điện toán đám mây có nhiều thuận lợi

và một số bất lợi đáng kể Bảng bên dưới cho ta cái nhìn tổng quan sau:

Thuận lợi Khó khăn

 Có khả năng giảm đáng kể chi phí  Các vấn đề thông tin có sẵn (hoặc

 Tiết kiệm năng lượng, đóng góp

vào bảo vệ môi trường

Bảng 1: Thuận lợi và khó khăn của Điện toán đám mây

III CLOUD DATA MINING (CDM)

1 Giới thiệu Cloud Data Mining

CDM (Khai mỏ dữ liệu đám mây) đề cập khả năng to lớn trong phân tích

và trích xuất thông tin (hữu ích) trong các lĩnh vực đa dạng các hoạt động củacon người: tài chính, ngân hàng, y tế, di truyền, sinh học, dược phẩm, chứngkhoán,… Ứng dụng của nhưng công nghệ này có thể chỉ với vài cú clickchuột, người ta có thể tiếp cận được những thông tin mong muốn về kháchhàng, thói quen, sở thích, sức mua, tần số mua một số mặt hàng, địa điểm,…Đám mây cho phép mọi người sử dụng tiềm năng cung cấp trong các hìnhthức dịch vụ mà trước đây chỉ dành riêng cho những công ty lớn (và giàu).Những công ty quy mô nhỏ và trung bình không có đủ tiền để đầu tư cho một

hệ thống quá xa xỉ, hiện tại đã có cơ hội để thuê một dịch vụ Đám mây đểphân tích hiệu quả tất cả dữ liệu trong tổ chức cũng như các dữ liệu bên ngoài

có lợi cho tổ chức Đám mây cung cấp công nghệ có thể quản lý lượng khổng

lồ dữ liệu mà không thể được xử lý hiệu quả bởi các kỹ thuật và công nghệ

tiêu chuẩn có chi phí hợp lý hơn Phân tích dữ liệu hướng mạng xã hội, nhậndạng mẫu, xử lý hình ảnh kích thước lớn, đồng bộ, mô tả, khai thác dữ liệuchỉ là một số ví dụ công việc ý tưởng cài đặt trong Cloud.

Khái niệm khai mỏ dữ liệu Đám mây xuất phát từ quan điểm kỹ thuật, mộtquá trình rất khô khan, yêu cầu một cơ sở hạ tầng đặc biệt dựa trên ứng dụngcủa công nghệ lưu trữ, điều khiển và xử lý Dữ liệu lớn/Hadoop là sự quảngcáo cường điệu mới nhất trong lĩnh vực xử lý dữ liệu Dựa trên thuật toán vàcông nghệ được phát triển bởi các công ty Internet lớn, có một eco-system vớitốc độ lan truyền khá rộng rãi các giải pháp cho quá trình xử lý và phân tíchlượng lớn dữ liệu

2 Big Data và cơ sở lưu trữ NoSQL

Sự sản sinh dữ liệu khổng lồ trong vài năm gần đây như một kết quả tấtyếu của các hoạt động kinh doanh, các hoạt động trong mạng xã hội,… baohàm nhu cầu cho việc lưu trữ và phân tích hiệu quả dữ liệu này Big Data làmột thuật ngữ mới cho tập hợp dữ liệu lớn và phức tạp mà không thể được xử

lý và duy trì bằng cách sử dụng công cụ truyền thống cho việc quản lý cơ sở

dữ liệu Big Data liên quan đến việc sử dụng của cơ sở dữ liệu gọi là NoSQLđược cung cấp ý tưởng cho việc lưu trữ lượng lớn dữ liệu trong hệ thống phântán Các cơ sở dữ liệu liên quan dựa trên các quy tắc nghiêm ngặt, có nghĩa làkiên định, tin cậy và khả năng rủi ro được đảm bảo Tuy nhiên, với Cloud, nơicần thiết để cung cấp cho các cơ sở dữ liệu quan hệ một cách nhanh chóng,linh hoạt và dễ dàng mở rộng đang phải đối mặt với các vấn đề Dĩ nhiên,điều này không có nghĩa mô hình quan hệ (relational model) kém hơn môhình không quan hệ (non-relational model), nhưng tính phức tạp mang lại cho

mô hình quan hệ không thể cung cấp yêu cầu hiệu quả và tốc độ trong quátrình xử lý lượng lớn dữ liệu và thiếu tính linh hoạt của hệ quản trị cơ sở dữliệu quan hệ (RDBMS) là nguyên nhân chính của cơ chế mới hoặc cách quản

lý dữ liệu – cơ sở dữ liệu NoSQL (Not Only SQL) Các công ty Internet lớnnhư Google, Twitter, Facebook, Amazon, làm việc với lượng lớn dữ liệu,được tạo ra từ công nghệ cho việc lưu trữ và xử lý trong đám mây để duy trì

hệ thống phân tán và tính linh hoạt của cơ sở dữ liệu Cơ sở dữ liệu khôngquan hệ (non-relational) không hỗ trợ đầy đủ các thuộc tính ACID(Atomicity, Consistency, Isolation, Durability) Thực tế, chúng thể hiện kho