Tối ưu việc lựa chọn số đầu vào khi áp dụng mạng nơron nhân tạo trong bài toán dự đoán điểm đích của một chuyến taxi

ĐẠI HỌC QUỐC GIA HÀ NỘITRƯỜNG ĐẠI HỌC CÔNG NGHỆ NGUYỄN TUẤN ANH TỐI ƯU VIỆC LỰA CHỌN SỐ ĐẦU VÀO KHI ÁP DỤNG MẠNG NƠRON NHÂN TẠO TRONG BÀI TOÁN DỰ ĐOÁN ĐIỂM ĐÍCH CỦA MỘT CHUYẾN TAXI LUẬN

ĐẠI HỌC QUỐC GIA HÀ NỘI

TRƯỜNG ĐẠI HỌC CÔNG NGHỆ

NGUYỄN TUẤN ANH

TỐI ƯU VIỆC LỰA CHỌN SỐ ĐẦU VÀO KHI ÁP DỤNG MẠNG NƠRON NHÂN TẠO TRONG BÀI TOÁN DỰ ĐOÁN ĐIỂM ĐÍCH CỦA MỘT CHUYẾN

TAXI

LUẬN VĂN THẠC SĨ KỸ THUẬT PHẦN MỀM

Hà Nội, 10/2018

ĐẠI HỌC QUỐC GIA HÀ NỘI

TRƯỜNG ĐẠI HỌC CÔNG NGHỆ

NGUYỄN TUẤN ANH

TỐI ƯU VIỆC LỰA CHỌN SỐ ĐẦU VÀO KHI ÁP DỤNG MẠNG NƠRON NHÂN TẠO TRONG BÀI TOÁN DỰ ĐOÁN ĐIỂM ĐÍCH CỦA MỘT CHUYẾN

TAXI

Ngành: Kỹ thuật Phần mềmChuyên ngành: Kỹ thuật Phần mềm

Mã số: 8480103.01

LUẬN VĂN THẠC SĨ KỸ THUẬT PHẦN MỀM

NGƯỜI HƯỚNG DẪN KHOA HỌC: PGS.TS PHẠM NGỌC HÙNG

TS TRẦN TRỌNG HIẾU

Hà Nội, 10/2018

Mục lục

LỜI CẢM ƠN iii

LỜI CAM ĐOAN iv

Danh sách hình ảnh v

Danh sách bảng biểu vi

Danh sách mã nguồn vii

TÓM TẮT 1

CHƯƠNG 1: MỞ ĐẦU 2

1.1 Hoàn cảnh 2

1.2 Đặt vấn đề và đề xuất phương pháp 2

1.3 Tổng quan luận văn 3

CHƯƠNG 2: MẠNG NƠRON NHÂN TẠO TRUYỀN THẲNG NHIỀU TẦNG 4

2.1 Mạng nơron nhân tạo 4

2.2 Mạng nơron truyền thẳng nhiều tầng 7

2.3 Các phương pháp học phổ biến 9

CHƯƠNG 3: BÀI TOÁN TÌM SỐ ĐẦU VÀO TỐI ƯU KHI DỰ ĐOÁN ĐIỂM ĐÍCH CỦA CHUYẾN TAXI 11

3.1 Bài toán dự đoán điểm đích của taxi 11

3.2 Phương pháp của MILA lab 12

3.3 Bài toán tìm số lượng đầu vào tối ưu 18

3.4 Các phương pháp giải quyết hiện nay 20

CHƯƠNG 4: MÔ HÌNH ĐỀ XUẤT VÀ THỰC NGHIỆM 26

4.1 Mô hình đề xuất 26

4.2 Xây dựng thử nghiệm 30

4.3 Kịch bản thực nghiệm 40

4.4 Kết quả thực nghiệm 41

KẾT LUẬN 47

TÀI LIỆU THAM KHẢO 49

PHỤ LỤC 51

LỜI CẢM ƠN

Trước tiên tôi xin dành lời cảm ơn chân thành và sâu sắc đến hai thầy giáoPGS.TS Phạm Ngọc Hùng và TS Trần Trọng Hiếu – những người đã hướngdẫn, khuyến khích, chỉ bảo và tạo cho tôi những điều kiện tốt nhất từ khi bắt đầucho tới khi hoàn thành công việc của mình

Tôi xin dành lời cảm ơn chân thành tới các thầy cô giáo khoa Công nghệthông tin, trường Đại học Công nghệ, Đại học Quốc Gia Hà Nội đã tận tình đàotạo, cung cấp cho tôi những kiến thức vô cùng quý giá và đã tạo điều kiện tốtnhất cho tôi trong suốt quá trình học tập, nghiên cứu tại trường

Đồng thời tôi xin cảm ơn tất cả những người thân yêu trong gia đình tôicùng toàn thể bạn bè những người đã luôn giúp đỡ, động viên tôi những khi vấpphải những khó khăn, bế tắc

Cuối cùng, tôi xin chân thành cảm ơn các bạn trong lớp K22KTPM đãgiúp đỡ, tạo điều kiện thuận lợi cho tôi học tập và nghiên cứu chương trình thạc

sĩ tại Đại học Công nghệ, Đại học Quốc Gia Hà Nội

LỜI CAM ĐOAN

Tôi xin cam đoan rằng luận văn thạc sĩ công nghệ thông tin “Tối ưu việclựa chọn số đầu vào khi áp dụng mạng nơron nhân tạo trong bài toán dự đoánđiểm đích của một chuyến taxi” là công trình nghiên cứu của riêng tôi, khôngsao chép lại của người khác Trong toàn bộ nội dung của luận văn, những điều

đã được trình bày hoặc là của chính cá nhân tôi hoặc là được tổng hợp từ nhiềunguồn tài liệu Tất cả các nguồn tài liệu tham khảo đều có xuất xứ rõ ràng vàhợp pháp

Tôi xin hoàn toàn chịu trách nhiệm và chịu mọi hình thức kỷ luật theo quyđịnh cho lời cam đoan này

Hà Nội, ngày … tháng … năm …

Danh sách hình ảnh

Hình 2.1 Mô hình toán học của một nơron 5

Hình 2.2 Mạng nơron truyền thẳng nhiều tầng……….7

Hình 3.1 Kiến trúc của mạng nơron MILA lab……… 15

Hình 4.1 Mô hình sử dụng tối ưu Bayes đề xuất……….27

Hình 4.2 Cách thức triển khai thử nghiệm……… 31

Danh sách bảng biểu

Bảng 3.1 Thông tin meta chi tiết………14Bảng 4.1 Sai lệch dự đoán của mô hình với từng giá trị k……… 41Bảng 4.2 Dãy giá trị k tối ưu tìm được………43

Danh sách mã nguồn

Mã nguồn 4.1 Gaussian process… ………37

Mã nguồn 4.2 Hàm thu………38

TÓM TẮT

Nền công nghiệp taxi đang thay đổi nhanh chóng Các đối thủ mới cùngnhững công nghệ mới đang thay đổi cách các doanh nghiệp taxi vận hành Mộtthay đổi lớn đang diễn ra là các công ty taxi chuyển từ hệ thống điều phối taxibằng bộ đàm sang hệ thống điều phối điện tử Với hệ thống mới, mỗi taxi sẽđược gắn một thiết bị GPS để xác định vị trí cũng như trao đổi thông tin liên lạcvới trung tâm Hệ thống điều phối điện tử giúp cho việc xác định vị trí taxi đã điqua và hiện tại là dễ dàng nhưng không biết rõ địa điểm chiếc taxi đang đi tới vìthông thường, lái xe sẽ không nhập điểm đến của hành trình Đồng thời phươngthức thông báo về khách gọi xe mới cho các taxi cũng thay đổi, từ việc phátthanh thông tin cho tất cả các xe bằng việc hệ thống sẽ tự động tìm một xe phùhợp nhất để yêu cầu đón khách Do đó nếu biết được gần đúng vị trí mà mỗi taxiđang hướng tới thì hệ thống sẽ có thể tìm được chiếc taxi phù hợp nhất Đặc biệttrong khung giờ cao điểm, việc có một chuyến taxi sắp đến điểm trả khách màngay gần vị trí trả khách này lại có một khách vừa yêu cầu xe là thường xuyênxảy ra

Hướng tiếp cận phổ biến trong việc dự đoán điểm đích của chuyến taxi là sửdụng mạng nơron nhân tạo nhiều tầng truyền thẳng Nhưng một vấn đề gặp phảinằm ngay tại tầng đầu vào là số lượng các điểm GPS mà taxi đã đi qua là không

cố định, điều này thì không phù hợp với điều kiện kích thước tầng đầu vào củamạng nơron nhiều tầng là phải cố định Do đó các nhà nghiên cứu thường chọn

cố định số lượng đầu vào bằng cách chỉ lấy k điểm đầu tiên và k điểm cuối cùngcủa chuyến đi Tuy nhiên, chưa có nghiên cứu nào đề cập đến việc làm thế nào

để xác định giá trị k tối ưu nhất

Trong đề tài này, tôi đề xuất phương pháp lựa chọn số đầu vào tối ưu trongbài toán dự đoán điểm đến của một chuyến taxi khi cho trước tập các điểm banđầu Đề tài hoàn toàn có thể áp dụng cho bài toán tìm siêu tham số tối ưu(hyperparameter) khi có yếu tố số lượng đầu vào thay đổi

Keywords: fixed-length output, variable-length sequence, taxi destination

prediction, multi-layer perceptron, hyperparameter optimization

1.2 Đặt vấn đề và đề xuất phương pháp

Một cuộc thi về dự đoán điểm đến của một hành trình taxi đã được tổ chứcvào năm 2015 với chiến thắng thuộc về đội MILA lab ở Canada bằng việc sửdụng mạng nơron nhân tạo nhiều tầng truyền thẳng Nhưng một vấn đề gặp phảinằm ngay tại tầng đầu vào là số lượng các điểm GPS mà taxi đã đi qua là không

cố định, điều này thì không phù hợp với điều kiện kích thước tầng đầu vào củamạng nơron nhiều tầng là phải cố định Do đó các tác giả đã cố định số lượngđầu vào bằng cách chỉ lấy k điểm đầu tiên và k điểm cuối cùng của chuyến đi.Với mô hình chiến thắng trong cuộc thi, k có giá trị là năm Tuy nhiên, trong bàibáo các tác giả chưa đề cập đến việc làm thế nào để xác định giá trị k tối ưu nhất[1]

Trong đề tài này, tôi đề xuất phương pháp lựa chọn số đầu vào tối ưu trongbài toán dự đoán điểm đến của một chuyến taxi khi cho trước tập các điểm banđầu Đề tài hoàn toàn có thể áp dụng cho bài toán dự đoán số lượng đầu ra cốđịnh (fixed-length output) từ số lượng đầu vào thay đổi (variable-length input)

1.3 Tổng quan luận văn

Phần còn lại của luận văn được trình bày như sau

Chương 1 giới thiệu về hoàn cảnh, đặt vấn đề, mô tả phương pháp đề xuất, vàcách nội dung trong luận văn được trình bày

Chương 2 trình bày về kiến thức nền tảng về mạng nơron nhân tạo truyềnthẳng nhiều tầng

Chương 3 trình bày về bài toán dự đoán điểm đích của chuyến taxi vàphương pháp đội MILA lab giải quyết vấn đề cũng như bài toán tìm số lượngđầu vào tối ưu cho mạng nơron nhân tạo nhiều tầng truyền thẳng để cải tiến môhình của đội MILA lab

Chương 4 trình bày mô hình đề xuất, xây dựng thử nghiệm và kết quả thựcnghiệm của phương pháp

Phần kết luận đưa ra kết quả của luận văn và cũng như triển vọng và hướngnghiên cứu trong tương lai

CHƯƠNG 2: MẠNG NƠRON NHÂN TẠO TRUYỀN

THẲNG NHIỀU TẦNG

2.1 Mạng nơron nhân tạo

Mạng nơron nhân tạo (artificial neural network) là một mô hình tính toán xử

lý thông tin bằng cách mô phỏng theo cách thức hoạt động của hệ nơron sinhhọc trong bộ não con người [2]

Mạng gồm một nhóm các phần tử (nơron nhân tạo) kết nối với nhau thôngqua các liên kết (liên kết được đánh trọng số) Nó làm việc như một thể thốngnhất bằng cách truyền thông tin theo các kết nối và tính giá trị mới tại các nơron.Một mạng nơron nhân tạo sẽ được cấu hình để giải quyết một vấn đề cụ thể nào

đó như nhận dạng mẫu, phân loại dữ liệu, dự đoán, Nó hoạt động thông quamột quá trình học từ tập các mẫu huấn luyện Việc học về bản chất chính là quátrình đưa dữ liệu vào mạng nơron và thực hiện hiệu chỉnh trọng số liên kết giữacác nơron thông qua kết quả có trước trong mẫu

Mạng nơron nhân tạo được coi là một công cụ mạnh để giải quyết các bàitoán có tính phi tuyến, phức tạp và đặc biệt trong các trường hợp mà mối quan

hệ giữa các quá trình không dễ thiết lập một cách tường minh

Mô hình toán học tiêu biểu cho một nơron nhân tạo được minh họa như hình2.1 sau:

5

xN WkN bk

Đầu vào Trọng số liên kết Ngưỡng

Hình 2.1 Mô hình toán học của một nơron

Cấu trúc của một nơron k được mô tả toán học bằng cặp biểu thức sau:

�� = ∑𝑁 ��� �� và

yk = f(uk – bk)

Trong đó, cụ thể các thành phần của một nơron gồm:

1 Tập đầu vào: là các tín hiệu (dữ liệu) vào của nơron, thường được đưadưới dạng một vector N chiều (x1, x2, … xN)

2 Tập liên kết: là các liên kết từ tín hiệu đến nơron Mỗi liên kết sẽ đượcđánh trọng số, ví dụ như nơron thứ k sẽ có trọng số wk1 ở liên kết 1 Do đó vớimỗi nơron ta cũng có một vector trọng số liên kết N chiều (wk1,wk2, … wkN) Cáctrọng số này thông thường sẽ được tạo ngẫu nhiên ở thời điểm tạo mạng, sau đóqua quá trình học sẽ được hiệu chỉnh dần

3 Hàm tổng: là tổng của tích các đầu vào với trọng số liên kết của nó, kíhiệu cho hàm tổng của nơron thứ k là uk

4 Ngưỡng: là một thành phần của hàm truyền, ký hiệu cho ngưỡng củanơron thứ k là bk

5 Hàm truyền: là một hàm số dùng để tính đầu ra của nơron từ hàm tổng

và ngưỡng, ký hiệu là f

6 Đầu ra: là tín hiệu đầu ra của nơron Mỗi nơron chỉ có một tín hiệu đầu

ra Với nơron thứ k đầu ra ký hiệu là yk

Khái quát lại, nơron nhân tạo cho một đầu ra từ tập tín hiệu đầu vào

2.2 Mạng nơron truyền thẳng nhiều tầng

Mạng nơron truyền thẳng nhiều tầng (multi layer perceptron - MLP) là mạng

có n tầng (n >= 2) Trong đó tầng nhận tín hiệu vào của mạng gọi là tầng vào(input layer) Tầng vào chỉ làm chức năng nhận tín hiệu mà không thực hiệnviệc chuyển đổi thông tin nên không được tính vào số lượng tầng của mạng Tínhiệu ra của mạng được đưa ra từ tầng ra (output layer) Các tầng ở giữa tầng vào

và tầng ra gọi là các tầng ẩn (có n–1 tầng ẩn) Các nơron ở một tầng nhất địnhđều liên kết đến tất cả các nơron ở tầng tiếp theo Với mạng nơron truyền thẳng(feedforward network) không có nút nào mà đầu ra của nó là đầu vào của mộtnút khác trên cùng tầng với nó hoặc tầng trước

Tầng ẩn n-1

.

Tầng ra

y1

y2

.

xp yq

Hình 0.2 Mạng nơron truyền thẳng nhiều tầng

Nếu mạng nơron truyền thẳng chỉ có tầng nơron đầu vào và tầng nơron đầu

ra thì được gọi là mạng nơron truyền thẳng 1 tầng

Mạng nơron có phản hồi (feedback network) là mạng mà đầu ra của mộtnơron có thể trở thành đầu vào của nơron trên cùng một tầng hoặc của tầngtrước đó Mạng nơron có phản hồi có chu trình khép khín gọi là mạng nơron hồiquy

Kiến trúc của một mạng nơron truyền thẳng nhiều tầng tổng quát có thể mô

Mạng nơron truyền thẳng nhiều tầng sẽ hoạt động như sau: tại tầng đầu vàocác nơron nhận tín hiệu vào xử lý, thực hiện việc tính tổng trọng số rồi gửi tớihàm truyền, kết quả của hàm truyền sẽ được gửi tới các nơron thuộc tầng ẩn đầutiên Nơi đây các nơron tiếp nhận các kết quả này như là tín hiệu đầu vào và xử

lý rồi gửi kết quả đến tầng ẩn thứ 2 Quá trình cứ tiếp tục như thế cho đến khicác nơron ở tầng ra cho ra kết quả

Về ứng dụng của mạng nơron truyền thẳng nhiều tầng, vài kết quả đã đượcchứng minh cụ thể như sau:

+ Mọi hàm toán học bất kỳ đều có thể được biểu diễn xấp xỉ bằng mộtmạng nơron truyền thẳng ba tầng trong đó các nơron ở tầng ra đều sử dụng hàmtruyền tuyến tính và tất cả các nơron ở tầng ẩn đều dùng hàm truyền sigmoid.+ Tất cả các hàm toán học liên tục đều có thể được biểu diễn xấp xỉ bởimột mạng nơron truyền thẳng hai tầng trong đó các nơron ở tầng ra đều sử dụnghàm truyền tuyến tính với sai số nhỏ tùy ý và tất cả các nơron ở tầng ẩn đềudùng hàm truyền sigmoid

+ Bất kỳ một hàm toán học Boolean nào cũng có thể được mô tả bởi mộtmạng nơron truyền thẳng hai tầng trong đó hàm truyền sigmoid được sử dụngcho tất cả các nơron

Mạng nơron truyền thẳng nhiều tầng đã được sử dụng nhiều trong bài toán dựbáo và cho kết quả khả quan Điều này sẽ giúp hướng tiếp cận này phổ biến hơntrong thời gian tới cho bài toán dự báo

2.3 Các phương pháp học phổ biến

Trong cuộc sống tự nhiên, học được định nghĩa là quá trình tiếp thu cái mớihoặc bổ sung, trau dồi các kiến thức, kỹ năng, kinh nghiệm, giá trị, nhận thứchoặc sở thích và có thể liên quan đến việc tổng hợp các loại thông tin khác nhau.Khả năng học hỏi là sở hữu của loài người, một số động vật Việc học sẽ giúpvật học tiến bộ theo thời gian

Mạng nơron cũng được học thông qua các luật học Luật học là một thủ tụcdùng để xác định việc cập nhật trọng số liên kết và ngưỡng của mạng nơron.Luật học còn được gọi là thuật toán huấn luyện mạng Quá trình học còn gọi làquá trình huấn luyện Một mạng nơron được huấn luyện sao cho với một tập cácvector đầu vào X, mạng sẽ cho ra tập các vector đầu ra Y mong muốn Tập Xdùng để làm đầu vào huấn luyện cho mạng nên được gọi là tập huấn luyện(training set) Các phần tử x thuộc X được gọi là các mẫu huấn luyện (trainingexample) Như đã được đề cập ở phần đầu, việc học bản chất là việc cập nhậtliên tục các trọng số liên kết trong mạng nơron Trong quá trình này, các trọng

số của mạng sẽ hội tụ dần tới các giá trị sao cho với mỗi đầu vào, mạng sẽ chođầu ra như ý muốn

Với mỗi mạng nơron nhân tạo có hai vấn đề cần học đó là học tham số(parameter learning) và học cấu trúc (structure learning) Học tham số là việcđiều chỉnh trọng số của các liên kết giữa các nơron trong mạng, còn học cấu trúc

là việc thay đổi cấu trúc của mạng bao gồm thay đổi số lớp nơron, số nơron củamỗi lớp và cách liên kết giữa chúng Hai vấn đề này có thể được thực hiện đồngthời hoặc tách biệt

Luật học của mạng nơron có thể chia làm 3 loại: học có giám sát (supervisedlearning), học không có giám sát (unsupervised learning), học tăng cường(reinforcement learning)

+ Học có giám sát: là quá trình học giống việc ta dạy cho trẻ, luôn luôn cómột người “thầy giáo”, muốn dạy cho trẻ chữ “a”, ta đưa chữ “a” ra và nói vớitrẻ rằng đây là chữ “a” Và thực hiện tương tự với tất cả các chữ cái khác Cuốicùng để kiểm tra việc học, ta sẽ đưa ra một chữ cái bất kỳ và hỏi đây là chữ gì

Do đó với học có giám sát, số tầng cần phân loại đã được biết trước Nhiệm vụ

của việc huấn luyện là phải xác định được một cách thức phân tầng sao cho vớimỗi vector đầu vào sẽ được phân loại chính xác vào tầng của nó.

+ Học không giám sát: là quá trình học mà không có bất kỳ một người giámsát nào Trong bài toán mà luật học không giám sát được áp dụng, với tập dữliệu huấn luyện D thì nhiệm vụ của thuật toán học là phải phân chia tập dữ liệu

D thành các nhóm con, mỗi nhóm chứa các giá trị đầu vào có đặc trưng giốngnhau Do đó với học không giám sát, số tầng phân loại chưa được biết và tùytheo yêu cầu về độ giống nhau giữa các mẫu mà ta có các tầng phân loại tươngứng

+ Học tăng cường: còn được gọi là học thưởng phạt vì phương pháp này hoạtđộng như sau: với mỗi giá trị đầu vào, thực hiện đánh giá vector đầu ra mà mạngtính được với kết quả mong muốn, nếu được xem là “tốt” thì mạng sẽ đượcthưởng (chính là việc tăng các trọng số liên kết), ngược lại nếu “xấu” mạng sẽ bịphạt (tức là giảm các trọng số liên kết) Vì vậy học tăng cường là học theo nhàphê bình còn học giám sát là học theo thầy giáo

CHƯƠNG 3: BÀI TOÁN TÌM SỐ ĐẦU VÀO TỐI ƯU

KHI DỰ ĐOÁN ĐIỂM ĐÍCH CỦA CHUYẾN TAXI

3.1 Bài toán dự đoán điểm đích của taxi

Bài toán tìm đích đến của một chuyến taxi đang gây được sự chú ý của cộngđồng nghiên cứu trong thời gian gần đây Vì vậy vào năm 2015 tại hội nghịECML/PKDD đã tổ chức một cuộc thi dự đoán đích đến của một chuyến taxinhư là một cuộc thi của Kaggle [15] Dữ liệu đầu vào của bài toán là nhữngđiểm bắt đầu trong hành trình của một chuyến taxi (thường gọi là prefixes) vànhững thông tin meta của chuyến taxi đó Từ đó người tham gia cuộc thi phảitìm ra điểm đích của cuộc hành trình đó (gồm kinh độ và vĩ độ) Ý nghĩa củaviệc giải bài toán trên là sẽ giúp công ty taxi phân chia số lượng taxi tại mỗiđiểm đón, khu vực đón một cách tối ưu nhất

Người tham gia cuộc thi sẽ phải xây dựng một mô hình dự đoán dựa trên tập

dữ liệu gồm tất cả các chuyến đi của 442 taxi hoạt động tại thành phố Porto thủ

đô của Bồ Đào Nha trong suốt một năm hoàn chỉnh (từ ngày 01/07/2013 đếnngày 30/06/2014) [15] Tập dữ liệu huấn luyện trên có hơn 1.7 triệu chuyến đihoàn chỉnh [1] Mỗi chuyến đi sẽ bao gồm các thông tin sau:

+ Một chuỗi các vị trí (gồm kinh độ và vĩ độ) được đo bằng GPS mỗi 15giây Vị trí cuối cùng chính là đích đến của hành trình Do độ dài của mỗichuyến taxi là khác nhau nên số lượng vị trí trong mỗi chuyến đi cũng sẽ khácnhau

+ Thông tin meta tương ứng với mỗi chuyến đi gồm:

1 Nếu khách hàng gọi taxi bằng điện thoại thì chúng ta sẽ có ID của kháchhàng Nếu khách hàng bắt taxi tại điểm đón thì chúng ta sẽ có ID của điểm đón.Ngược lại chúng ta sẽ không có thông tin gì cả

2 ID của taxi

3 Thời gian bắt đầu của chuyến đi dưới định dạng của hệ điều hành unix

Tập dữ liệu đánh giá trong cuộc thi sẽ gồm 320 hành trình mà được lấy từ 5snapshots của mạng lưới taxi tại 5 thời gian khác nhau Tập dữ liệu đánh giá nàythực ra được chia thành 2 tập nhỏ có kích thước bằng nhau: tập dữ liệu mở vàtập dữ liệu kín Tập dữ liệu mở sẽ được sử dụng trong suốt cuộc thi để so sánhcác mô hình dự đoán của các đội thi, trong khi tập dữ liệu kín sẽ chỉ được sửdụng vào lúc kết thúc cuộc thi để đánh giá các đội lần cuối.

3.2 Phương pháp của MILA lab

3.2.1 Giới thiệu chung

MILA lab là đội thi mà có thành phần chính là từ MILA lab thuộc trườngđại học Montreal, Canada Hướng tiếp cận của đội MIA có ưu điểm là các côngviệc phải làm bằng tay là ít hơn so với các đội thi khác Nó gần như là hoàn toàn

tự động và đương nhiên là dựa trên mạng nơron nhân tạo truyền thẳng nhiềutầng Chính mô hình dự trên mạng nơron này đã giúp cho MILA lab chiến thắngtại cuộc thi Nhưng ngoài ra MILA lab cũng thực hiện nghiên cứu và thử một sốkiến trúc thay thế khác, tuy nhiên nó không thực hiện tốt lắm với bài toán này

Do cuộc thi yêu cầu dự đoán điểm đích của một chuyến taxi dựa trên một

số lượng điểm đầu (prefix) của cuộc hành trình, mà tập dữ liệu cho trước lại baogồm tập đầy đủ các điểm của chuyến taxi, nên MILAB phải thực hiện tạo ra tậpđiểm đầu Tập dữ liệu huấn luyện có trên 1.7 triệu hành trình hoàn thiện, cáchành trình này cho ra 83.480.696 điểm có thể là điểm đầu MILA lab cần lấy cácđiểm đầu sao cho phân phối của nó là gần nhất có thể với tập dữ liệu đánh giá đểđảm bảo đưa ra kết quả dự đoán chính xác nhất Tập dữ liệu đánh giá được lấy

từ năm thời điểm khác nhau của mạng lưới các taxi, vì vậy xác suất mà mộtđiểm bất kỳ trong tập dữ liệu huấn luyện sẽ nằm trong tập đánh giá là như nhau

Do đó MILA lab sẽ cho tất cả các điểm trong tất cả các hành trình vào tập huấnluyện làm điểm đầu, như vậy phân phối (distribution) điểm đầu trong tập MILAlab sinh ra để huấn luyện sẽ giống với tập dữ liệu đánh giá [1]

Khi sử dụng mạng nơron nhân tạo truyền thẳng nhiều tầng (MLP) thì tầng

dữ liệu vào là các điểm đầu và thông tin meta của chuyến taxi, tầng ra sẽ dựđoán đích điến (là một tọa độ gồm kinh độ và vĩ độ) của hành trình này Trongcác tầng ẩn của mạng nơron MILA lab sử dụng một phép nhân ma trận sau đó làmột phép điều chỉnh độ lệch (bias) và cuối cùng là một phép phi tuyết tính Hàm

phi tuyến MILA chọn là Rectifier Linear Unit (ReLU), mà đơn giản thực hiệnmax(0,x) Với mô hình chiến thắng cuộc thi, MILA lab đã sử dụng chỉ một tầng

ẩn gồm 500 nơron ReLU [9]

3.2.2 Tầng vào của mạng nơron

Do số lượng điểm trong các chuyến taxi là khác nhau, điều này lại khôngphù hợp với mạng nơron nhân tạo truyền thẳng nhiều tầng, nơi mà tầng vào phải

có kích thước cố định Để giải quyết vấn đề này MILA lab quyết định chỉ lấy kđiểm đầu tiên và k điểm cuối cùng của hành trình Như vậy họ sẽ có 2k điểm(gồm cả kinh độ và vĩ độ), tương ứng với 4k giá trị số Với mô hình chiến thắng,

họ sử dụng k = 5 Tất cả các điểm này đều được chuẩn hóa (zero-mean, variance) Khi số lượng điểm trong một hành trình ít hơn 2k điểm thì k điểm đầu

unit-sẽ bị trùng một phần với k điểm sau Còn khi số lượng điểm nhỏ hơn k thì ta unit-sẽthực hiện lặp lại điểm đầu hoặc điểm cuối [1]

Với thông tin meta là loại thông tin rời rạc gồm: ID của khách hàng, ID củataxi, thời gian, MILA lab thực hiện nhúng vào mô hình Mỗi thông tin rời rạc sẽđược ánh xạ với một vector có kích thước cố định Sẽ có một bảng nhúng chomỗi thông tin meta với một dòng cho tất cả các giá trị có thể có của thông tinmeta Với dữ liệu thời gian, MILA lab chia thành: một phần tư giờ của ngày,ngày thứ mấy trong tuần, tuần thứ mấy trong năm Những thông tin này cuốicùng sẽ được nối vào chuỗi 4k giá trị số để hình thành nên vector đầu vào củamạng nơron Danh sách chi tiết các thông tin được nhúng được thể hiện ở bảng3.1 sau [1]

Thông tin meta Số giá trị có thể Kích thước nhúng

Một phần tư giờ trong này 96 10

Ngày thứ mấy trong tuần 7 10

Tuần thứ mấy trong năm 52 10

Bảng 3.1 Thông tin meta chi tiết 3.2.3 Tầng ra của mạng nơron

Cuộc thi chỉ yêu cầu tìm ra điểm đích của chuyến hành trình, tức chỉ gồmhai giá trị số kinh độ và vĩ độ, nhưng MILA lab thấy rằng việc huấn luyện một

mô hình đơn giản như vậy, mà điểm đích lại không nằm trong bất kỳ một tập dữliệu nào là rất khó Vì vậy MILA lab quyết định tìm thêm thông tin về tập đíchđến: thay vì dự đoán trực tiếp vị trí đích, họ sẽ sinh ra tập ci gồm vài nghìn tâmcủa các mạng lưới các điểm đích (gọi là một cụm, một cluster) Từ đó sẽ có mộttầng ẩn thực hiện liên kết một giá trị vô hướng giống như xác suất pi với mỗicụm Do mạng nơron phải sinh ra một điểm đích y duy nhất nên ta sẽ thực hiệntính giá trị trung bình của tập tâm cụm đã sinh ra [1]:

y = �=1𝐶 �� ���

Về bản chất việc tính giá trị trung bình này giống như một tầng ra tuyếntính mà ma trận trọng số sẽ được khởi tạo như là những tâm cụm và liên lục cậpnhật trong suốt quá trình học Đương nhiên tổng các giá trị ẩn pi phải bằng 1 đểđảm bảo điểm y sẽ là tương ứng với xác suất của các tâm cụm, do đó MILA lab

sử dụng tầng softmax để tính giá trị này:

e xp ( 𝑒 � )

y =

pi = 𝐶

�=1 exp(��� )

trong đó (ej)j là giá trị đầu ra của tầng trước

Các cụm ci được sinh ra bằng thuật toán mean-shift trên tất cả các hànhtrình có trong tập huấn luyện, và cuối cùng cho ra tập C chứa 3392 cụm Tổngquát lại mô hình mạng nơron nhân tạo truyền thẳng nhiều tầng sử dụng trongcuộc thi của MILA lab được mô tả ở hình sau [1]:

Hình 3.1 Kiến trúc của mạng nơron MILA lab

3.2.4 Thuật toán huấn luyện

Để đo độ chính xác giữa các đội thi, công thức tính khoảng cách giữa haiđiểm Haversine sẽ được áp dụng (với lox, lax lần lượi là kinh độ, vĩ độ của điểm

x, R là bán kính của trái đất):

dhaversine(x,y) = 2R arctan (√��(�,�)−1��(�,�) )

Trong đó: a(x,y) = sin2 ( ���� −

����2

) + cos(lax) cos(lay) sin2( ���� −

mô của thành phố Porto như sau [1]:

���� − ����

2 2

deqrec(x,y) = R √(��� − ��� )

)) + (���� − ����)

MILA lab còn sử dụng giải thuật gradient descent ngẫu nhiên (stochasticgradient descent – SGD), với momentum 0.9, tỷ lệ học là 0.01 và một mẻ(batch) có kích thước 200 để tối thiểu độ sai lệch của khoảng cáchequirectanglular với khoảng cách thật

kỳ vọng sau 20 triệu vòng lặp, mạng nơron sẽ hội tụ) nhưng kết quả này cũnggiúp cho MILA lab đạt được vị trí đứng đầu tại cuộc thi Điều này cho thấy môhình thực sự hiệu quả Bên cạnh đó, khi nghiên cứu kỹ phương pháp của MILAlab, chúng ta có thể thấy một số nhược điểm sau đây:

 Dữ liệu mà cuộc thi đưa ra đã không được tiền xử lý trước khi đưa vàomạng nơron nhân tạo Các dữ liệu thu thập thực tế đều chứa những thôngtin sai lệch do những sai sót của con người, sai lệch của máy móc và trongtrường hợp này, dữ liệu của cuộc thi Kaggle cũng không phải là ngoại lệ.Các điểm dữ liệu GPS bị thiếu, thời gian bắt đầu chuyến taxi bị sai (một

số chuyến taxi có thời gian chạy hơn 5 tiếng mà chỉ có vài điểm GPS),quỹ đạo chuyến đi không thực tế khi có một điểm ngược với hành trìnhđang đi [8] Những sai lệch này không những làm khó cho việc dự đoán

và còn làm giảm độ chính xác của kết quả dự đoán Nhưng điều này làkhông thể tránh khỏi khi sử dụng dữ liệu thực tế Với MILA lab họ đãkhông cần tiền xử lý dữ liệu như một số đội thi khác nhưng vẫn cho kếtquả tốt nhất, điều này giúp ta tin tưởng rằng nếu dữ liệu được tiền xử lýkết quả sẽ tốt hơn nữa Đồng thời điều này cũng cho thấy độ thích nghi tốtvới dữ liệu thực tế của mô hình MILA lab sử dụng

 Khi chạy với dữ liệu cuộc thi, mô hình của MILA lab cho độ sai lệch là2.035 km Mặc dù đây là kết quả tốt nhất trong các đội thi nhưng ta có thểthấy độ sai lệch này còn cao Chúng ta kỳ vọng một sự cải tiến với môhình MILA lab để mang đến độ sai lệch dưới 2 km

 Trong mô hình mạng nơron nhân tạo của MILA lab, để thỏa mãn yêu cầucủa mạng nơron nhân tạo nhiều tầng truyền thẳng là số đầu vào phải cốđịnh, họ đã chọn chỉ sử dụng năm điểm đầu và năm điểm cuối để huấnluận mạng Điều này là khá hay và hợp lý khi mà thông thường các điểmbắt đầu và các điểm kết thúc sẽ ảnh hưởng nhiều nhất đến việc dự đoánđiểm đích của chuyến taxi Nhưng MILA lab không giải thích vì sao họlại lựa chọn con số 5 chứ không phải một con số khác Do các điểm GPSđược lấy cách nhau 15 giây, nên với 5 điểm đầu và 5 điểm cuối thì tổngthời gian của chuyến taxi để đưa vào huấn luyện là 150 giây (2.5 phút)

Mà trung bình một chuyến taxi có thời gian từ 15 đến 20 phút, nên ta cóthể nhận xét rằng con số này là nhỏ Liệu một giá trị khác có giúp tăng độchính xác khi dự đoán của mô hình mạng nơron nhân tạo này

3.3 Bài toán tìm số lượng đầu vào tối ưu

3.3.1 Phát biểu bài toán

Để giải quyết nhược điểm của mô hình mạng nơron nhân tạo của MILA labkhi lựa chọn chỉ 5 điểm đầu và 5 điểm cuối của chuyến taxi để đưa vào mạngnơron huấn luyện, để trả lời cho câu hỏi liệu con số 5 đã là tốt, tôi xin đề xuấtbài toán tìm giá trị số lượng này tối ưu (ta gọi tham số này là k) Tôi tin tưởngrằng đây là một tham số quan trọng cần được tinh chỉnh để mang lại kết quả dựđoán tốt hơn Kỳ vọng bài toán này sẽ tìm ra giá trị tối ưu nhất từ đó cho kết quả

dự đoán chính xác hơn 10% so với kết quả hiện tại của MILA lab

Luận văn sẽ tập trung nghiên cứu bài toán tối ưu việc lựa chọn số đầu vàokhi áp dụng mạng nơron nhân tạo trong bài toán dự đoán điểm đích của mộtchuyến taxi Tổng quát hơn, đây chính là bài toán tìm số lượng đầu vào tối ưucho mạng nơron truyền thẳng nhiều tầng Bài toán này thuộc lớp bài toán tìmkiếm siêu tham số tối ưu, được cộng đồng nghiên cứu biết đến với tên gọihyperparameter searching, hyperparameter optimization hay hyperparametertuning Mục tiêu của bài toán là lựa chọn một (hoặc nhiều) siêu tham số tối ưu từtập (hoặc nhiều) siêu tham số để cho kết quả huấn luyện tốt nhất

Đầu vào của bài toán gồm:

+ mô hình mạng nơron nhân tạo truyền thẳng nhiều tầng của MILA lab

+ tập dữ liệu các chuyến taxi dùng để huấn luyện

+ tập dữ liệu các chuyến taxi dùng để đánh giá

+ khoảng giá trị tham số k, trong luận văn này k thuộc khoảng [2, 50] (chú ý

k là số tự nhiên)

Đầu ra của bài toán là giá trị k tối ưu trong khoảng giá trị [2, 50] đã chọn.Bài toán được giải quyết trong phạm vi tập dữ liệu được cho bởi cuộc thiKaggle và khoảng giá trị tham số k cho trước

Kết quả mong muốn của luận văn là tìm được giá trị k cho kết quả dự đoánchính xác nhất trong khoảng giá trị [2, 50]

Chúng ta cần phân biệt giữa tham số mô hình (model parameter) và siêutham số (hyperparameter) Tham số mô hình là các giá trị của mô hình được sinh

ra từ dữ liệu huấn luyện giúp thể hiện mối liên hệ giữa các đại lượng trong dữliệu Tham số mô hình sẽ được cập nhật trong quá trình học Còn siêu tham số làcác tham số được cấu hình khi bắt đầu thực hiện việc huấn luyện Nó hoàn toànnằm ngoài mô hình và không phụ thuộc và tập dữ liệu huấn luyện Siêu tham sốđược sử dụng trong quá trình huấn luyện để giúp mô hình tìm ra được các tham

số mô hình hợp lý nhất Thông thường nó được lựa chọn thủ công bởi ngườithực hiện huấn luyện mô hình và nó có thể được định nghĩa dựa trên một vàichiến lược Siêu tham số có thể là số lượng đầu vào của mạng nơron, chỉ số tốc

độ học khi huấn luyện, số lượng tầng ẩn, …

3.3.2 Bài toán số đầu vào cố định

Nhu cầu của bài toán xuất phát từ yêu cầu mạng nơron nhân tạo truyềnthẳng nhiều tầng cần vector đầu vào có kích thước cố định (fixed-length featurevector) Điều này khác với mạng nơron hồi quy (recurrent neutral network) khicho phép số lượng đầu vào là có thể thay đổi Trong thực tiễn, các bài toán phầnlớn là có số lượng đầu vào không cố định: như bài toán chúng ta đang giải, sốđiểm trong chuyến hành trình taxi, mỗi chuyến taxi lại có số điểm khác nhau haybài toán liên quan đến đoạn văn, mỗi đoạn văn lại có số lượng và số loại từ khácnhau Do đó các nhà nghiên cứu hiện đã đưa ra nhiều phương pháp để chuyểnđổi số lượng đầu vào từ không cố định (variable-length input) sang số lượng đầuvào cố định Một số phương pháp phổ biến như:

+ Túi từ (Bag of word): các từ trong đoạn văn sẽ được tách riêng biệt vàđếm số lần xuất hiện, lúc này thứ tự sắp xếp các từ đã không còn, các cặp từ và

số lần xuất hiện của nó trở nên vô hướng, do đó ngữ nghĩa sẽ không còn đượcgiữ nguyên

+ Sử dụng vector từ (word vector), vector đoạn (paragraph vector): đây

cũng là hai phương pháp được sử dụng trong lĩnh vực xử lý ngôn ngữ tự nhiên.Với vector từ thì mỗi từ sẽ được biểu diễn bằng một vector có kích thước cốđịnh (fixed size vector) Vector này ban đầu có thể được sinh ra ngẫu nhiên Sau

đó các vector tiếp theo sẽ được sinh ra bằng giá trị trung bình của các vectorxung quanh Điều này sẽ giúp giữ được mối liên hệ giữa các từ Cuối cùng các

từ giống nhau sẽ được biểu diễn bởi các vector gần giống nhau Phương phápvector đoạn cũng tương tự như vậy nhưng lúc này mỗi đoạn văn sẽ có thêm mộtvector biểu diễn cho một đoạn văn Khi thực hiện các tác vụ như học hay dựđoán từ bên cạnh, vector đoạn đều tham gia vào để tăng độ chính xác của thuậttoán.

+ Băm không gian đầu vào: toàn bộ không gian đầu vào sẽ được băm để

đưa về tập giá trị hữu hạn và tập này sẽ là đầu vào của mạng nơron

+ Sử dụng pool: với mô hình pool, ta sẽ chia dữ liệu đầu vào ra thành nhiềutập con có kích thước giống nhau và đưa vào pool, sau đó thực hiện lấy dữ liệulần lượt từ pool ra để đưa vào mô hình

+ Lấy giá trị số lượng lớn nhất: với phương pháp này, ta thực hiện tìm giátrị số lượng lớn nhất có thể của đầu vào và cài đặt mạng nơron theo số lượngđầu vào lớn nhất này Với trường hợp các dữ liệu mà có số đầu vào nhỏ hơn giátrị lớn nhất thì ta có thể bổ sung các giá trị còn lại bằng giá trị 0 hoặc bằng giá trịtrung bình hoặc bằng giá trị cuối của dữ liệu

+ Trích xuất các đặc trưng: trong tập dữ liệu đầu vào, ta thực hiện tìm cácđặc trưng quan trọng ảnh hưởng tới kết quả đầu ra Sau đó lựa chọn số lượng cácđặc trưng cần trích xuất và thực hiện trích xuất tập các đặc trưng này cho tất cảcác mẫu đầu vào, như vậy ta sẽ có số lượng đầu vào của mạng nơron là cố định.Như vậy cách giải quyết của MILA lab với bài toán dự đoán điểm đích củachuyến taxi là họ đã sử dụng phương pháp “trích xuất các đặc trưng” MILA labcho rằng chỉ những điểm đầu và những điểm cuối là có ảnh hưởng nhiều nhấtđến việc dự đoán điểm đích của chuyến taxi nên họ chỉ sử dụng các điểm trongmột chuyến taxi (bao gồm 5 điểm đầu tiên và 5 điểm kết thúc) để làm đầu vàocho mạng nơron của họ

3.4 Các phương pháp giải quyết hiện nay

3.4.1 Tìm kiếm Grid

Thuật toán đơn giản nhất có thể áp dụng để tìm siêu tham số tối ưu là tìmkiếm grid Ý tưởng của thuật toán rất cụ thể, ta thực hiện huấn luyện mạngnơron cho tất cả các trường hợp có thể xảy ra Với một siêu tham số, ta thực

hiện huấn luyện cho tất cả các giá trị thuộc tập siêu tham số, với nhiều siêu tham

số, ta thực hiện huấn huyện cho tất cả các tập siêu tham số có thể phối hợp vớinhau Sau đó, ta so sánh các kết quả để tìm kết quả tốt nhất, siêu tham số (hoặctập các siêu tham số) cho kết quả tốt nhất chính là siêu tham số (hoặc tập cácsiêu tham số) tối ưu

Ưu điểm:

+ huấn luyện được tất cả các trường hợp có thể có của các siêu tham số, do

đó đảm bảo kết quả tìm ra sẽ là kết quả tối ưu nhất

+ thực hiện đơn giản

+ phù hợp với bài toán có số lượng siêu tham số nhỏ hoặc mạng nơron cóthể huấn luyện trong thời gian ngắn

+ không phù hợp với các mạng nơron có thời gian huấn luyện lâu và có sốlượng siêu tham số nhiều

Phương pháp tìm kiếm grid mang ý nghĩa lý thuyết nhiều hơn là thực tiễn,

vì trong thực tế các bài toán cần giải quyết mà có sử dụng đến mạng nơron nhântạo thì đều có thời gian huấn luyện mạng tính bằng ngày và số trường hợp siêutham số có thể xảy ra là nhiều

3.4.2 Tìm kiếm ngẫu nhiên

Ý tưởng của phương pháp này giống với tìm kiếm grid, nhưng thay vì thửtất cả các trường hợp có thể, ta chỉ thực hiện trên một tập con ngẫu nhiên Thay