Báo cáo dự đoán lượng mưa sử dụng mạng thần kinh nhân tạ dựa trên mô hình map reduce

Do đó phương pháp đề xuất là: Phương pháp Hadoop, Mạng lưới thần kinh nhân tạo dựa trên mô hình map-reduce bởi tính mở rộng của nó... Cách tiếp cận cũ và cách tiếp cận Hadoop CÁC TIẾP CẬ

Báo cáo d ự

m a s d ng ư ử ụ

kinh nhân

t o d a trên ạ ự

mô hình

map-reduce

NHÓM 1 0

Thành Viên Lê Thiên Lực – 19021324Lê Mạnh Cường – 19021231

Hồ An Huy – 19021306 Nguyễn Thành Duy - 17021221

Gi i thi u ớ ệ

Để có thể giải quyết lượng dữ liệu lớn 1 nhanh chóng hơn

Do đó phương pháp đề xuất là:

Phương pháp Hadoop, Mạng lưới thần kinh nhân tạo dựa trên mô hình map-reduce bởi tính mở rộng của nó

Cách tiếp cận cũ và cách tiếp cận Hadoop

CÁC TIẾP CẬN CŨ

-Mô hình GFNN với hàm kích hoạt hyperbol

- Sử dụng Map-Reduce framework và để song

song cần sử dụng batch gradient descent để cập

nhật trọng số

- sử dụng phương pháp thông kê để dự báo

lượng mưa

CÁCH TIẾP CẬN HADOOP VỚI ƯU ĐIỂM :

- cung cấp môi trường xử lý dữ liệu lớn

- lưu trữ và xử lý dữ liệu phân tán với sự trợ giúp của HDFS và khung thu gọn bản đồ

- Giúp lưu trữ dữ liệu lớn và xử lý nhanh hơn

- Có thể xử lý song song trên một cụm

Xử lý dữ liệu

Xử lý dữ liệu

Mô hình :

Dữ liệu khí hậu ban đầu ở định dạng lưới

Dữ liệu lượng mưa ở kích thước lưới 0,25 × 0,25 degree grid size và dữ liệu nhiệt độ ở kích thước lưới 1 × 1 degree grid size

=> Điều chỉnh độ phân giải lưới và xử lý các giá trị bị thiếu

Dữ liệu cuối cùng được sắp xếp theo định dạng sau <Kinh

độ vĩ độ ngày, Nhiệt độ lượng mưa> (Ngày, Vĩ độ, Kinh độ) tạo thành các khoá (Lượng mưa, Nhiệt độ) tạo thành giá trị của Map-reduce để chuyển đổi dữ liệu dạng lưới sang định dạng cần thiết

D li u th i ti t c a n Đ ữ ệ ờ ế ủ Ấ ộ

trong 63 năm qua, do C c ụ

Khí t ng n Đ (IMD) Pune ượ Ấ ộ

cung c p D li u có kích ấ ữ ệ

th c l i 25 × 25ướ ướ degree

grid size

Hình 1: MapReduce job chuyển đổi các tệp đầu vào thô sang định dạng mong muốn.

Hình 2: M ng n ron ạ ơ nhân t o s d ng ạ ử ụ

Map-reduce

framework.

Mô hình Neural Network dựa trên Map-reduce

Mô hình Neural

Network dựa trên

Map-reduce

Lợi ích: Khả năng mở rộng của giải pháp khi sử dụng

map-reduce

Mô hình:

◦ Chia thành các task con chạy song song mà không có bất kỳ sự

cần được map-reduce để tránh việc dữ liệu bị lặp lại.

◦ Sử dụng chiến lược Backpropagation để sửa lỗi và cập nhật trọng số cho phù hợp và học theo batch để đảm bảo tính song song.

Huấn luyện Neural Network trên map-Reduce:

• Nhúng một mạng nơ-ron trên mỗi nút bản đồ.

• Việc chuyển tiếp tập huấn luyện và Backpropagation tương ứng

sẽ do người lập bản đồ thực hiện

Đánh giá, k t qu và ế ả

Đánh giá, kết quả

và thảo luận

Tiêu chí :

• Sai số bình phương trung bình căn (RMSE)

• Độ chính xác (Precision)

• Thời gian(Time)

Kết quả:

*Map-reduce thành công trong việc giảm thời gian

chạy

* Độ chính xác của hồi quy đã được cải thiện trong học

tập theo batch

*các nhiệm vụ phân loại phải ảnh hưởng đến độ

chính xác của chúng

*Sử dụng phân loại, sự khác biệt về độ chính xác ít hơn

so với dự đoán có mưa / không mưa

Hình 3 : Kết quả của mạng Neural Network

trên map-reduce

Hình 4: K t qu c a m ng Neural Network ế ả ủ ạ

mà không s d ng song song hóa ử ụ

Mở rộng vấn đề

Mở rộng vấn đề

•Th các thu t toán h c máy khác nhau trên ử ậ ọ

map-reduce đ có mô hình d báo l ng m a ể ự ượ ư chính xác h n.ơ

•Th thêm nhi u thông s làm đ u vào đ xem li u ử ề ố ầ ể ệ

nó có c i thi n đ chính xác c a d đoán hay ả ệ ộ ủ ự không

Tham Khảo và từ khóa

Mở rộng vấn đề

Tham khảo

• Rainfall Prediction using Artificial Neural Network on Map-Reduce Framework.K Namitha, A Jayapriya, G Santhosh Kumar.2015.DOI:

10.1145/2791405.2791468

Từ khóa quan trọng:

◦ Map , reducer , ANN , RMSE ,Precision,Hadoop,map-reduce,Backpropagation.

THANK FOR LISTENING

ANY QUESTION ?