Báo cáo môn học hệ thống dự báo luồng giao thông thời gian thực dựa trên phân tích dữ liệu lớn chuỗi thời gian

HỆ THỐNG DỰ BÁO LUỒNG GIAO THÔNG THỜI GIAN THỰC DỰA TRÊN PHÂN TÍCH DỮ LIỆU LỚN CHUỖI THỜI GIAN... NỘI DUNG 1 2 3 GIỚI THIỆU ĐỀ TÀI 4 5 CƠ SỞ LÝ THUYẾT HỆ THỐNG DỰ BÁO LUỒNG GIAO THÔNG T

HỆ THỐNG DỰ BÁO LUỒNG GIAO THÔNG THỜI

GIAN THỰC DỰA TRÊN PHÂN TÍCH DỮ LIỆU

LỚN CHUỖI THỜI GIAN

NỘI

DUNG

1 2 3

GIỚI THIỆU ĐỀ TÀI

4 5

CƠ SỞ LÝ THUYẾT

HỆ THỐNG DỰ BÁO LUỒNG GIAO THÔNG THỜI GIAN THỰC

KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN

DEMO

1 GIỚI THIỆU ĐỀ

TÀI

1.1 Thực trạng

Ô nhiễm môi

trường Thiệt hại kinh tế Mất trật tự xã hội Thiệt hại thời gian

Hệ thống dự báo luồng giao thông 1.2 Ý tưởng

Tối ưu hóa trong các dịch vụ logistics

1.3 Lợi ích của hệ

thống

Giúp người tham gia giao thông tránh kẹt xe

Hỗ trợ điều tiết giao thông kịp thời

Lợi ích của hệ thống dự báo luồng giao

thông:

Phạm vi dự báo rộng

1.4 Yêu cầu hệ thống

1.5 Hướng giải quyết

Phạm vi dự báo

rộng

1.5 Hướng giải quyết

Tốc độ thời gian

thực

Độ chính xác

cao

Deep Learning

Distributed Deep Learning

1.5 Hướng giải quyết

Dữ liệu lớn

Real-time Traffic Flo

w Forecastin

g System

Big Data Analysis

Streaming Traffic

Data

1.6 Hướng giải quyết

2 CƠ SỞ LÝ THUYẾT

Các thành phần của Apache Spark

2.1 Apache Spark

2.1 Apache Spark

Cơ chế phân tán của Apache Spark

2.2 Streaming Data

Processing

Cách thức hoạt động của Spark Streaming

• Phương pháp truyền thống: ARIMA, Regression (Univariate)

• Phương pháp hiện đại: LSTM, TCN, RNN (Multivariate)

Processing

• Data Parallelism • Model Parallelism

Distributed Deep Learning là phương pháp huấn luyện các mô

hình deep learning trên một hệ thống máy gồm nhiều nút làm

việc (worker node).

Learning

Cơ chế cập nhật trọng số của phương pháp Distributed Deep Learning

Learning

HỆ THỐNG DỰ BÁO LUỒNG  GIAO THÔNG THỜI GIAN

THỰC SỬ DỤNG HỌC SÂU PHÂN TÁN

3.1 Kiến trúc tổng quát hệ

thống

3.2 Thu nhận và tiền xử lý

dữ liệu

Drop Columns

Pivot

Group by

Interpolati on

3.4 Mô hình dự báo luồng giao

thông

Prophet (Distributed searching parameters)

Long-Short Term Memory (LSTM) (Distributed

Phương trình dự báo mô hình Prophet

3.4.1 Prophet

Các thành phần của mô hình ARIMA

3.4.2 ARIMA

3.4.3 LSTM

Kiến trúc TCN

3.4.4 TCN

Quy trình huấn

luyện

3.5 Huấn luyện mô hình phân tán

trong BigDL

NYC Real Time

Traffic Speed Data Feed

3.6 Môi trường thực nghiệm

4 KẾT QUẢ THỰC

NGHIỆM

RMSE với các khoảng thời gian dự báo khác

4.1 Kết quả thực nghiệm

RMSE theo các mốc thời gian trong

ngày

4.1 Kết quả thực nghiệm

RMSE theo các ngày trong tuần

4.1 Kết quả thực nghiệm

RMSE theo các khoảng độ trễ đầu

vào

4.1 Kết quả thực nghiệm

Thời gian huấn luyện

4.1 Kết quả thực nghiệm

Kết quả dự báo của mô hình TCN trong vài giờ

4.1 Kết quả thực nghiệm

Kết quả dự báo của mô hình TCN trong một

4.1 Kết quả thực nghiệm

Kết quả dự báo của mô hình TCN trong một

tuần

4.1 Kết quả thực nghiệm

RMSE của mô hình TCN trên những nhóm đường mới

4.1 Kết quả thực nghiệm

4.2 Phát triển hệ thống dự báo thời

gian thực

5 DEMO

6 KẾT LUẬN VÀ HƯỚNG PHÁT

TRIỂN

 lý Time Series Big Data và Streaming Data trên nền tảng Apache S park

6.1 Kết luận

Nghiên cứu, thực nghiệm thành công phương pháp Distributed Deep Learning trên các mô hình Deep Learning đề xuất.

Xây dựng được một hệ thống dự báo luồng giao thông cơ bản.

Trong quá trình thực hiện, luận văn đã có 02 bài báo được chấp nhận đăng tại Hội nghị Quốc tế ICIT 2022.

Dang-Khoa Tran, Dinh-Quang Hoang, Viet-Thang Le, Minh-Duc Nguyen Thai and Trong-Hop Do, "Real-time traffic flow prediction

using Big Data analytics", in International Conference on

Intelligence of things.

Dinh-Quang Hoang, Dang-Khoa Tran and Trong-Hop Do,

"Distributed deep learning for big data time series analysis", in

International Conference on Intelligence of things.

6.1 Kết luận

Nghiên cứu kết hợp các mô hình ngắn hạn và dài hạn.

Nghiên cứu các mô hình theo hướng xử lý đồ thị như Graph Neural Network, Spark GraphX.

Tìm hiểu các công cụ trực quan hóa dữ liệu tốt hơn để hiển thị kết quả hệ thống.

6.2 Hướng phát triển

CẢM ƠN HỘI ĐỒNG, QUÝ

Q & A

• Orca

• RayOnSpark

• Chronos

Cập nhật trọng số trong BigDL

Quá trình cập nhật trọng số trong BigDL sử dụng phương

pháp Parameter Synchronization.