Ứng dụng cơ sở dữ liệu song song trong xử lý dữ liệu cuộc gọi

Với đặc thù của dữ liệu cuộc gọi là số lượng rất nhiều bản ghi dẫn đến việc thực hiện các câu truy vấn đọc dữ liệu trên một tập dữ liệu lớn sẽ mất nhiều thời gian.. Khi khối lượng dữ liệ

ĐẠI HỌC QUỐC GIA HÀ NỘI

TRƯỜNG ĐẠI HỌC CÔNG NGHỆ

TRẦN XUÂN HIẾU

ỨNG DỤNG SƠ DỞ DỮ LIỆU SONG SONG TRONG XỬ LÝ DỮ LIỆU

CUỘC GỌI

LUẬN VĂN THẠC SĨ CÔNG NGHỆ THÔNG TIN

NGƯỜI HƯỚNG DẪN KHOA HỌC: PGS TS NGUYỄN HẢI CHÂU

NHẬN XÉT CỦA CÁN BỘ HƯỚNG DẪN

Hà Nội – 2016

Lời cám ơn

Trước hết em xin được bày tỏ sự kính trọng, lòng biết ơn sâu sắc đến giảng viên

hướng dẫn PGS TS Nguyễn Hải Châu đã tận tình hướng dẫn, chỉ bảo cho em về

chuyên môn, truyền đạt kinh nghiệm quý báu trong suốt thời gian nghiên cứu luận văn này

Đồng thời em xin chân thành cám ơn sự giúp đỡ nhiệt tình của các Thầy Cô giáo Khoa sau Đại học – Đại học Công nghệ - Đại học Quốc Gia Hà Nội đã tạo điều kiện thuận lợi cho em hoàn thành luận văn này

Cuối cùng em xin dành sự biết ơn đến những người thân trong gia đình, bạn bè, đồng nghiệp đã động viên, khích lệ, giúp đỡ em trong suốt thời gian vừa qua

Hà Nội, ngày 21 tháng 01 năm 2016

Tác giả luận văn

Trần Xuân Hiếu

Cam kết

Tôi xin cam kết rằng nội dung của bản luận văn này chưa được nộp cho bất kỳ một chương trình cập bằng cao học nào cũng như bất kỳ một chương trình đào tạo cấp bằng nào khác

Tôi cũng xin cam kết thêm rằng bản luận văn này là nỗ lực cá nhân tôi Các kết quả, phân tích, kết luận trong luận văn này (ngoài các phần được trích dẫn) đều là kết quả làm việc của cá nhân tôi

Hà Nội, ngày 21 tháng 01 năm 2016

Tác giả luận văn

Trần Xuân Hiếu

Mục lục

Chương 1: Giới thiệu đề tài 6

1.1 Giới thiệu 6

1.2 Ngữ cảnh và lý do thực hiện đề tài 6

1.3 Nội dung luận văn 7

Chương 2: Nền tảng tính toán phân tán kết hợp giữa Oracle và Hadoop 8

2.1 Kiến trúc của Hadoop 8

2.1.1 HDFS 11

2.1.2 Mô hình MapReduce 18

2.2 Oracle big data connector 21

2.2.1 Oracle Loader for Hadoop 24

2.2.2 Oracle SQL Connector for Hadoop Distributed File System 25

2.3 Oracle Table Function 25

Chương 3: Thực nghiệm và kết quả 26

3.1 Giới thiệu 26

3.2 Phương pháp hồi quy tuyến tính 27

3.3 Mẫu dữ liệu 27

3.4 Mô hình triển khai 31

3.5 Phương pháp thực hiện 33

3.6 Đánh giá 33

3.7 Kết luận 37

3.7.1 Các kết quả đạt được 37

3.7.2 Hướng phát triển 37

Chương 1: Giới thiệu đề tài

1.1 Giới thiệu

Tên đề tài luận văn: “Ứng dụng cơ sở dữ liệu song song trong xử lý số liệu cuộc gọi.”

Sơ lược: Trong đề tài này, tôi sẽ thực hiện tìm hiểu về nền tảng phát triển các ứng dụng MapReduce trên framework Hadoop để phát triển các ứng dụng phân tán Sau đó, tiến hành tích hợp với Oracle, là một ứng dụng quản trị cơ sở dữ liệu, để đánh giá được tác dụng của việc ứng dụng MapReduce vào trong các truy vấn thực tế

Với đặc thù của dữ liệu cuộc gọi là số lượng rất nhiều bản ghi dẫn đến việc thực hiện các câu truy vấn đọc dữ liệu trên một tập dữ liệu lớn sẽ mất nhiều thời gian Trong khi đó kết quả của quá trình phân tích đánh giá rất cần thiết trong thời gian thực Trong cơ sở dữ liệu nói chung đã có một số biện pháp cho phép đẩy nhanh quá trình đọc dữ liệu như đánh index, khoa ngoại…Nhưng trên một tập dữ liệu lớn các biện pháp trên không khả thi Các câu truy vấn đọc dữ liệu cần được chia thành nhiều câu truy vấn nhỏ và thực hiện trên nhiều máy khác nhau Do đó cần có sự kết hợp giữa mô hình MapReduce với một hệ quản trị cơ sở dữ liệu, trong trường hợp này tôi sử dụng Oracle

1.2 Ngữ cảnh và lý do thực hiện đề tài

Với sự tiện lợi và đa dạng của loại hình dịch vụ OTT trong thời gian gần đây, đã kích thích được người sử dụng chuyển sang thoại qua sóng 3G hoặc Wifi Đây cũng là một bài toán lớn đặt ra với các nhà mạng ở Việt Nam Người dùng sử dụng dịch vụ nhiều dẫn đến phát sinh nhiều dữ liệu của cuộc gọi phục vụ cho mục đích tính cước và đối soát cước Khi khối lượng dữ liệu của hệ thống gia tăng tới một mức độ nhất định (khoảng hàng ngàn Terabyte chẳng hạn), thì việc hệ thống sẽ phải đối mặt với thách thức làm sao để lưu trữ và phân tích dữ liệu

Chúng ta không thể lưu một khối dữ liệu rất lớn lên chỉ duy nhất một đĩa cứng vì hai lý

do đơn giản Thứ nhất, đó là sự giới hạn về khả năng lưu trữ của ổ cứng Thứ hai, cho dù vượt qua được giới hạn về dung lượng, thì việc truy xuất một khối lượng dữ liệu đồ sộ như vậy một cách tuần tự (vì trên một đĩa đơn) sẽ rất mất thời gian vì giới hạn về tốc độ đọc đĩa Do vậy, bắt buộc chúng ta phải lưu trữ dữ liệu lên trên nhiều đĩa cứng thay vì chỉ một Điều này giúp cái thiện tốc độ truy xuất dữ liệu vì ta có thể tiến hành đọc/ghi một cách song song lên các đĩa

Việc lưu trữ dữ liệu phân tán lên nhiều đĩa cứng mang lại lợi thế về khả năng lưu trữ và tốc độ truy xuất dữ liệu Tuy nhiên, việc duy trì một hệ thống phân tán với nhiều đĩa cứng

đã dẫn đến một số vấn đề cần được giải quyết Đầu tiên, là vấn đề hỏng hóc phần cứng

Do dữ liệu được lưu trên nhiều phần cứng khác nhau, nên khả năng một (hay nhiều) phần cứng xảy ra hỏng hóc cũng tăng lên đáng kể Một cách giải quyết vấn đề này mà ta có thể thấy ngay, đó là lưu trữ trùng lắp các mẫu dữ liệu lên nhiều đĩa cứng khác nhau Vấn đề

thứ hai là việc phân tích dữ liệu đôi khi cần truy đọc dữ liệu từ nhiều đĩa cứng khác nhau Tức là dữ liệu được đọc từ một đĩa có thể cần được kết hợp với dữ liệu từ bất kỳ đĩa nào khác trên hệ thống Các hệ thống phân tán thường cho phép kết hợp dữ liệu từ nhiều nguồn khác nhau, tuy nhiên làm được điều này một cách chính xác là không dễ chút nào

Sự bùng nổ về dữ liệu đã đặt ra cho chúng ta những thách thức, thách thức về việc làm thế nào lưu trữ và xử lý tất cả dữ liệu đó Tuy nhiên, ở một mặt khác nó lại mang đến các

cơ hội, cơ hội chiếm lĩnh một nguồn thông tin khổng lồ nếu chúng ta có đủ khả năng phân tích và xử lý nguồn dữ liệu đó, biến những dữ liệu thô thành những thông tin hữu ích với một mức chi phí hợp lý

1.3 Nội dung luận văn

Luận văn gồm có 4 chương chính:

Chương 1: Giới thiệu Giới thiệu đề tài thực hiện

Chương 2: Giới thiệu nền tảng tính toán phân tán với Hadoop Trong chương này,

sẽ giới thiệu sơ lược về dự án Hadoop của Apache Software Foundation Sau đó đi sâu vào hai phần trọng tâm là HDFS và MapReduce Engine Giới thiệu kiến trúc, sức mạnh,

và cách tích hợp Oracle với Hadoop để xử lý dữ liệu theo mô hình phân tán

Chương 3: Báo cáo kết quả thực nghiệm Trong chương này sẽ trình bày các thực nghiệm và kết quả thực nghiệm Thêm vào đó là các đánh giá và kết luận về kết quả này

Chương 4: Tổng kết Chương này sẽ nêu lên các kết quả đạt được của đề tài và hướng phát triển

Chương 2: Nền tảng tính toán phân tán kết hợp giữa Oracle và

Hadoop

2.1 Kiến trúc của Hadoop

Hadoop có hai thành phần chính sau:

 HDFS (Hadoop Distributed File System): Hệ thống file phân tán, cung cấp khả năng lưu trữ dữ liệu khổng lồ và tính năng tối ưu hóa việc sử dụng băng thông giữa các node HDFS có thể được sử dụng để chạy trên một cluster với hàng chục nghìn node

 MapReduce: một framework giúp phát triển các ứng dụng theo mô hình

MapReduce một cách dễ dàng và mạnh mẽ, ứng dụng phân tán MapReduce có thể chạy trên một cluster với nhiều node

Ngoài hai thành phần cơ bản như trên, một dự án Hadoop có thể có các thành phần khác như trong hình vẽ:

Hình 2.1: Các thành phần của dự án Hadoop

 Apache Hbase: Là một cơ sở dữ liệu dạng cột HBase sử dụng HDFS làm hạ tầng cho việc lưu trữ dữ liệu bên dưới và cung cấp khả năng tính toán song song dữ trên MapReduce

 Apache Pig: Pig là một nền tảng cho việc phân tích dữ liệu lớn bao gồm một ngôn ngữ mức cao để thể hiện các chương trình phân tích dữ liệu, cùng với cơ

sở hạ tầng để đánh giá các chương trình này Đặc tính nổi bật của Pig là thực thi chương trình tính toán song song, cho phép xử lý một lượng dữ liệu lớn

 Apache hive: Hive là một hệ thống data warehouse cho Hadoop để nó có thể

dễ dàng tổng kết dữ liệu, truy vấn ad-hoc, và phân tích các bộ dữ liệu lớn được lưu trữ trong HDFS Hive hỗ trợ các truy vấn được thể hiện theo một ngôn ngữ khai báo giống như SQL, đó là HiveQL (Hive Query Language) Các truy vấn này tự động biên dịch thành các công việc MapReduce được thực hiện bằng cách sử dụng Hadoop

 Chukwa: Một hệ thống tập hợp và phân tích dữ liệu Chukwa chạy các collector (các chương trình tập hợp dữ liệu), các collector này lưu trữ dữ liệu trên HDFS và sử dụng MapReduce để phát sinh các báo cáo

 Apache Zookeeper: Là một dịch vụ tập trung để duy trì thông tin cấu hình, đặt tên,cho phép đồng bộ phân tán và cung cấp các nhóm dịch vụ rất hữu ích cho các hệ thống phân tán Hbase không thể hoạt động mà không có Zookeeper

Kiến trúc của Hadoop là kiến trúc master-slave, cả hai thành phần HDFS và

MapReduce đều tuân theo kiến trúc master-slave này Kiến trúc của một Hadoop cluster được thể hiện như hình vẽ dưới đây:

Hình 2.2: Kiến trúc của một Hadoop cluster Trên một Hadoop cluster có duy nhật một node chạy NameNode, một node chạy JobTracker (NameNode và JobTracker có thể nằm cùng trên một máy vật lý, tuy nhiên trên các cluster thật sự với hàng trăm nghìn node thì thường phải tách riêng NameNode và JobTracker ra các máy vật lý khác nhau) Hadoop cluster có nhiều slave, mỗi slave thường đóng hai vai trò: DataNode và TaskTracker

 NameNode: đóng vai trò là master của hệ thống HDFS, quản lý các metadata của hệ thống HDFS như file system space, danh sách các file hệ thống và các block id tương ứng của từng file, quản lý danh sách slave và tình trạng hoạt động của các DataNode, điều hướng quá trình đọc/ghi dữ liệu từ client lên các DataNode

 DataNode: chứa các block dữ liệu thực sự của các file trên HDFS, chịu trách nhiệm đáp ứng các yêu cầu đọc/ ghi dữ liệu từ client, đáp ứng các yêu cầu tạo/ xóa các block dữ liệu từ NameNode

 SecondaryNameNode: duy trì một bản sao của metadata trên NameNode và bản sao này sẽ được dừng để phục hồi lại NameNode nếu NameNode bị hư hỏng

 JobTracker : tiếp nhận các yêu cầu thựcthi MapReduce job, phân chia job này thành các task và phân công cho các TaskTracker thực hiện, quản lý tình trạng thực hiện các task của TaskTracker và phân công lại nếu cần

 TaskTracker: nhận các task từ JobTracker và thực hiện task TaskTracker có nhiệm vụ là liên tục liên lạc với JobTracker

2.1.1 HDFS

HDFS (The Hadoop Distributed File System) là một hệ thống file phân tán được thiết

kế để chạy trên các phần cứng thông thường Nó có nhiều điểm tương đồng với các hệ thống file phân tán hiện hành Tuy nhiên, HDFS vẫn có sự khác biệt tương đối lớn so với các hệ thống file phân tán khác HDFS có khả năng chịu lỗi cao và được thiết kế

để triển khai trên các phần cứng giá rẻ HDFS cung cấp thông lượng truy cập ứng dụng cao để phù hợp với với các ứng dụng có tập dữ liệu lớn HDFS ban đầu được xây dựng như một cơ sở hạ tầng cho dự án máy tìm kiếm web với Apache Nutch Hiện tại, nó là một dự án con trong Apache Hadoop

2.1.1.1 Kiến trúc HDFS

Hình 2.3: Kiến trúc của HDFS HDFS có kiến trúc master/slave Một HDFS cluster bao gồm một NameNode và nhiều DataNode

NameNode là một master quản lý các metadata và quyền truy cập tới file bởi các client Các metadata mà NameNode lưu trữ gồm có:

 File system namespace: là hình ảnh cây thư mục hệ thống file tại một thời điểm nào đó File system namespace thể hiện tất cả các file, các thư mục có trên hệ thống file và quan hệ giữa chúng

 Thông tin ánh xạ từ tên file thành các block: mỗi file sẽ có một danh sách thứ tự các block của file, mỗi block được đại diện bởi block id

 Nơi lưu trữ các block: mỗi block được đại diện bởi một block id Mỗi block sẽ có một danh sách các DataNode lưu trữ bản sao của các block đó

DataNode là một slave được sử dụng để lưu trữ dữ liệu Cụ thể, một file được chia thành các blocks Mỗi block sẽ được lưu trữ trên nhiều DataNode

NameNode xử lý việc mở đóng, đổi tên file, thư mục, biết được block nào trên DataNode nào để chỉ cho client đọc và lấy dữ liệu đúng chỗ (có nghĩa là truy xuất dữ liệu thực sự không hề thông qua NamNode) Các DataNode cũng phụ trách việc tạo, xóa và sao các block theo lệnh của NameNode NameNode và DataNode được chạy trên các máy GNU/Linux thông thường HDFS được viết bằng java nên chạy được trên nhiều loại máy Thông thường mỗi máy trong một cluster sẽ chạy một DataNode

NameNode dùng Editlog lưu những thay đổi của metadata và lưu toàn bộ File System

Namespace vào file FsImage (các metadata là dạng compact, chiếm ít dung lượng nên

NameNode chỉ cần 4GB là đủ) Khi khởi động, NameNode đọc ra FsImage và Editlog, dựa vào Editlog để sửa FsImage trong bộ nhớ, sau đó lưu FsImage mới lại và xóa Edilog

cũ, quá trình này được gọi là checkpoint HDFS còn có SecondaryNameNode làm nhiệm

vụ copy định kì FsImage và Editlog từ NameNode, kết hợp lại tạo thành FsImage mới trả

về cho NameNode, NameNode sẽ cập nhật lại FsImage và xóa Editlog cũ đi

2.1.1.2 Quá trình tương tác giữa HDFS và client

2 DistributedFileSystem sẽ sử dụng RPC để gọi NameNode nhằm xác định vị trí của các blocks Đối với mỗi block, NameNode sẽ trả lại địa chỉ của các DataNode có chứa bản sao của block đó Hơn nữa, các DataNode được sắp xếp theo độ lân cận của nó so với client Sau đó, DistributedFileSystem sẽ trả về một FSDataInputStream (một input stream hỗ trợ việc tìm kiếm file) cho client để có thể đọc dữ liệu từ đó

3 Client gửi yêu cầu đọc file đến FSDataInputStream, nơi lưu trữ các địa chỉ của DataNode chứa các block trong file

4 FSDataInputStreamkết nối tới DataNode đâu tiên (gần nhất) chứa block đầu trong file, dữ liệu sẽ được gửi cho client

5 Sau khi đọc xong block đầu tiên, FSDataInputStream sẽ đóng kết nối tới DataNode và tìm đến Datanode tốt nhất cho block tiếp theo Quá trình này lặp đi lặp lại cho đến khi block cuối cùng được đọc xong

6 Client đóng kết nối tới FSDataInputStream

Quá trình client đọc dữ liệu từ HDFS là trong suốt (transparent) với người dùng hoặc chương trình ứng dụng client, người dùng sẽ dùng một tập API của Hadoop để tương tác với HDFS, các API này che giấu đi sự liên lạc với NameNode và kết nối các

DataNode để nhận dữ liệu

Quá trình ghi file

Hình 2.5: Quá trình ghi file trong HDFS Các bước đọc file sẽ diễn ra theo trình tự sau:

1 Client tạo file bằng cách gọi hàm tạo trên DistributedFileSystem

2 DistributedFileSystemtạo một RPC để gọi NameNode tạo ra một file mới trong không gian hệ thống file NameNode sẽ thực hiện việc kiểm tra khác nhau để đảm bảo rằng file đó không tồn tại và client có quyền tạo file Nếu kiểm tra thành công, NameNode sẽ tạo một bản ghi cho file mới, ngược lại, việc tạo file là thất bại DistributedFileSystem trả lại FSDataOutputStream cho client để bắt đầu ghi dữ liệu

3 Client gửi yêu cầu viết file tới DFSOutputStream DFSOutputStream chia nhỏ dữ liệu thành các packet và tạo thành một hàng đợi, được gọi là hàng đợi dữ liệu Hàng đợi dữ liệu này sẽ được sử dụng bởi Data Streamer (Data Streamer có trách nhiệm yêu cầu NameNode gửi danh sách các DataNode sẽ lưu trữ các block của file cần ghi)

4 DFSOutputStream gửi packet cho DataNode thứ nhất Sau khi nhận được packet, DataNode này sẽ tiến hành lưu lại bản sao thứ nhất của block Tiếp theo, DataNode thứ nhất này sẽ gửi packet này cho DataNode thứ hai để lưu ra bản sao thứ hai của block Tương tự, DataNode thứ hai gửi cho DataNode thứ 3 Cứ như

vậy, các DataNode cũng lưu các bản sao của một block sẽ hình thành một đường ống dữ liệu data pile

5 Sau khi DataNode cuối cùng nhận được packet, nó sẽ gửi lại cho DataNode thứ hai một gói xác nhận rằng đã lưu thành công Và gói thứ hai lại gửi gói xác nhận tình trạng thành công của hai DataNode về DataNode thứ nhất

6 DFSOutputStream sẽ nhận được báo cáo xác nhận từ DataNode thứ nhất cho tình trạng thành công của tất cả các DataNode trên data pile Nếu có bất kì một DataNode bị lỗi trong quá trình ghi dữ liệu, DFSOutputStream sẽ tiến hành xác nhận lại các DataNode đã lưu thành công bản sao của block và thực hiện việc ghi lại block trên các DataNode bị lỗi

7 Sau khi tất cả các block của file được ghi lên các DataNode, client sẽ đóng kết nối tới DFSOutputStream

8 DistributedFileSystem thông báo cho NameNode cập nhập lại danh sách các block của file vừa tạo Thông tin ánh xạ từ các block id sang sanh sách các DataNode lưu trữ sẽ được NameNode tự động cập nhật bằng cách định kỳ các DataNode gửi báo cáo block cho NameNode danh sách block mà nó quản lý

1.1.1.3 Cơ chế đảm bảo độ tin cậy trong Hadoop

Sao lưu dữ liệu

Các file được lưu trữ thành các block (các block có cùng độ lớn, trừ block cuối) trên các máy khác nhau Việc sao lưu này là để đảm bảo tính chịu lỗi Độ lớn của block và

số bản sao đều có thể thiết lập được.Các DataNode sẽ gửi heartbeat (nhịp tim) và blockreport (báo cáo block chứa danh sách tất cả các block trên DataNode đó) về cho NameNode theo định kì Heartbeat sẽ cho NameNode biết được tình trạng hoạt động của DataNode, Blockreport sẽ giúp cho NameNode ra quyết định truy xuất dữ liệu hoặc sao thêm nếu có block không đủ bản sao

Để tăng độ tin cậy, tính sẵn sàng và tối ưu hóa đường truyền, HDFS lưu các bản sao của các block theo kiểu rack-aware Cụ thể nếu số bản sao là 3 thì có 2 bản sao lưu trên 2 nodes thuộc cùng 1 rack, bản sao còn lại lưu trên node thuộc rack khác NameNode sẽ xác định DataNode nào thuộc rack nào

Chế độ safemode

Khi khởi động NameNode sẽ vào trạng thái safemode, dựa trên Heartbeat và Blockreport mà các DataNode gởi về Block nào được sao đủ số lượng thì xem là an toàn Nếu có đủ một tỉ lệ nhất định (thiết lập được) các block an toàn, NameNode sẽ thoát khỏi safemode sau 30s Sau đó, những block nào chưa được sao ra đủ sẽ được sao thêm

Kiểm tra Heartbeats

Nếu NameNode không nhận được Heartbeat gửi định kì về thì xem như DataNode đó

đã chết, sẽ không cho tham gia các I/O, tất cả dữ liệu trên DataNode đó sẽ vô hiệu Node chết có thể làm một số block không đủ bản sao, NameNode luôn kiểm tra điều này và sao thêm khi cần

Toàn vẹn dữ liệu

Do nhiều nguyên nhân, dữ liệu lấy ra từ DataNode có thể bị hư hỏng, phần mềm client HDFS sẽ tiến hành checksum nội dung của file Khi tạo file, HDFS sẽ tính ra checksum của từng block và lưu thành file ẩn riêng biệt Checksum của dữ liệu lấy từ DataNode sẽ được so sánh với file ẩn này, nếu không giống thì xem như dữ liệu đã

hư, cần phải lấy từ DataNode khác

Xóa dữ liệu

Khi file bị xóa, thực chất sẽ được di chuyển vào thư mục /trash, sau một thời gian nhất định (mặc định 6 tiếng, có thể thiết lập) thì mới bị xóa hoàn toàn /trash chỉ lưu bản sao cuối cùng và có thể khôi phục nhanh chóng khi lệnh xóa bị hủy

Đĩa lưu metadata bị lỗi

FsImage và Editlog là cấu trúc dữ liệu trung tâm, nếu xảy ra lỗi có thể dẫn đến HDFS ngừng hoạt động Có thể thiết lập NameNode để lưu các cấu trúc này thành nhiều bản sao, sửa bản chính phải đảm bảo đồng thời sửa bản sao

Nâng cao tính năng

Chọn bản sao gần chương trình nhất để giảm lưu lượng truyền và thời gian Nếu không gian trống trên 1 DataNode giảm xuống mức độ nhất định, dữ liệu trên DataNode đó sẽ được di chuyển sang các node khác File có nhiều yêu cầu truy xuất

sẽ được sao ra thêm trên các node phù hợp Tạm thời các tính năng này chưa có

Khi client yêu cầu tạo file, HDFS client sẽ lưu tạm đến khi độ lớn vượt qua 1 block thì mới liên lạc với NameNode NameNode thêm tên file vào file system, cấp cho 1 block rồi đem node id với block id thông báo client, client tự đem file lưu vào block

đã chỉ định

Khi viết dữ liệu vào HDFS, client gửi block đã lưu tạm sang DataNode đầu tiên (trong danh sách được NameNode chỉ định) theo từng khối nhỏ 4KB, DataNode này vừa lưu

dữ liệu vừa đem dữ liệu gởi sang DataNode thứ 2, và cứ như thế đến node cuối cùng

2.1.2 Mô hình MapReduce

MapReduce là mô hình lập trình được đưa ra bởi google nhằm phục vụ cho việc tính toán phân tán để giúp các ứng dụng có thể xử lý nhanh một dữ liệu lớn (có thể là dữ liệu có cấu trúc hoặc phi cấu trúc) Các dữ liệu này được đặt trên các máy tính phân tán Các máy tính này sẽ hoạt động song song độc lập với nhau Điều này sẽ làm rút gọn thời gian xử lý toàn bộ dữ liệu

2.1.2.1 Nguyên tắc hoạt động

Hình dưới đây mô tả rõ hơn về nguyên tắc hoạt động của mô hình MapReduce

Hình 2.6: Nguyên tắc hoạt động của MapReduce MapReduce được áp dụng trên một hệ thống các máy tính được kết nối với nhau và cài đặt chương trình MapReduce và thường kèm theo nó là hệ thống chia sẻ file phân tán Với mô hình MapReduce, từ một công việc sẽ được chia nhỏ thành các công việc con giống nhau và dữ liệu đầu vào cũng được chia nhỏ thành các mảnh nhỏ hơn

MapReduce sử dụng hai thao tác chính cho việc thự thi công việc ban đầu từ người

dùng là hàm map và hàm reduce để thực hiện các thao tác xử lý một cách song song

và đồng thời Theo một cách đơn giản, hàm map tiếp nhận mảnh dữ liệu input và

thực hiện xử lý nào đó (đơn giản như là lọc dữ liệu, hoặc trích dữ liệu) để chuẩn bị dữ liệu làm đầu vào cho hàm reduce, hàm reduce thực hiện xử lý riêng của nó và trả ra cho người dùng một phần nhỏ kết quả cuối cùng của công việc, sau khi tất cả hàm reduce thực hiện người dùng sẽ có được toàn bộ kết quả của công việc Tiếp theo phần xử lý, với số lượng công việc con và số lượng mảnh dữ liệu trên, đầu tiên, hệ thống MapReduce sẽ gửi từng công việc và từng mảnh dữ liệu đến các máy tính trong

hệ thống để thực hiện, bản chất là thực hiện hàm map một cách song song Sau khi thực hiện xong hết các công việc con thông qua việc thực hiện hàm map thì hệ thống

sẽ bắt đầu thực hiện các hàm reduce để trả ra các kết quả cuối cùng cho người dùng MapReduce quản lý quá trình thực thi công việc bằng việc định nghĩa một máy trong

hệ thống đóng vai trò là master và các máy còn lại đóng vai trò của một worker (dựa trên kiến trúc master-slave) Master chịu trách nhiệm quản lý toàn bộ quá trình thực thi công việc trên hệ thống như:tiếp nhận công việc, phân rã công việc thành công việc con, và phân công các công việc con cho các worker Còn worker chỉ làm nhiệm

vụ thực hiện công việc con được giao (thực hiện hàm map hoặc hàm reduce)

2.1.2.2 Hàm Map

Dữ liệu được đưa vào hàm Map là dữ liệu đã được phân nhỏ thành các phần Đầu vào của hàm Map là các cặp <k1, v1> Sau khi xử lý toàn bộ dữ liệu đầu vào (gồm nhiều phần sau khi được phân nhỏ) kết quả thu được là tập hợp gồm các cặp <k2, v2> Các

dữ liệu này được gọi là dữ liệu trung gian Các dữ liệu trung gian này có thể được ghép lại với nhau theo danh sách các khóa để thuận tiện cho quá trình reduce sau này

2.1.2.3 Hàm Reduce

Từ dữ liệu đầu ra của hàm Map (gồm danh sách các cặp <k2, v2>) của các máy tính phân tán, hàm Reduce thực hiện việc tổng hợp các giá trị này lại Kết quả đầu ra là các cặp <k3, v3> đã được xử lý