Deep Learning (học sâu) có thể được xem là một lĩnh vực con của Machine Learning (học máy) – ở đó các máy tính sẽ học và cải thiện chính nó thông qua các thuật toán. Deep Learning được xây dựng dựa trên các khái niệm phức tạp hơn rất nhiều, chủ yếu hoạt động với các mạng nơron nhân tạo để bắt chước khả năng tư duy và suy nghĩ của bộ não con người. Thật ra các khái niệm liên quan đến mạng nơron nhân tạo và Deep Learning đã xuất hiện từ khoảng những năm 1960, tuy nhiên nó lại bị giới hạn bởi khả năng tính toán và số lượng dữ liệu lúc bấy giờ. Trong những năm gần đây, những tiến bộ trong phân tích dữ liệu lớn (Big Data) đã cho phép ta tận dụng được tối đa khả năng của mạng nơron nhân tạo. Mạng nơron nhân tạo chính là động lực chính để phát triển Deep Learning. Các mạng nơron sâu (DNN) bao gồm nhiều lớp nơron khác nhau, có khả năng thực hiện các tính toán có độ phức tạp rất cao. Deep Learning hiện đang phát triển rất nhanh và được xem là một trong những bước đột phá lớn nhất trong Machine Learning. Trong phần dưới đây, Vietnix sẽ làm rõ khái niệm Deep Learning là gì thông qua cơ chế hoạt động, ưu và nhược điểm của nó.
Trang 1Language translation with deep learning
Sinh viên: Trần Hữu Phát – 51600062 Người hướng dẫn: Nguyễn Thị Hải Bình
Trang 31 Mô hình Word Embedding
Mã hóa những từ ngữ thành những vector đặc trưng.
Trang 42 Mạng neural truy hồi(RNN)
Bộ mã hóa ( Encoder) : Sinh ra một vector có độ dài cố định.
Bộ giải mã (Decoder) : Sinh ra từng từ trong chuỗi vector.
Trang 5Huấn luyện mạng RNN
Có 2 bước để huấn luyện:
1 Duỗi thẳng mạng neural truy hồi
2 Sử dụng thuật toán đảo ngược để tính đạo hàm
Trang 63 Kỹ thuật Attentiion
Mục đích: Làm văn bản dịch ngắn hơn và đủ ý nghĩa hơn
Cho phép chuỗi mã hóa RNN mã hóa thành một dãy các vector.
Sau đó lấy tổng trọng số các vector được mã hóa.
Trang 7Softmax trong Attention
Giúp mô hình Attention cho ra xác suất cao với mỗi input
Aa(i): là xác suất để input rơi vào class i
Trang 84 Thuật toán Beam Search
1 Search-Base Loss: sử dụng một hàm tính điểm tổng các chuỗi
2 Forward: Xây dựng tập chuỗi
3 Backward: sữ dụng lan truyền ngược để tối ưu hóa hàm lỗi
Trang 94 Thuật toán Beam Search
1 Search-Base Loss: sử dụng một hàm tính điểm tổng các chuỗi
2 Forward: Xây dựng tập chuỗi
3 Backward: sữ dụng lan truyền ngược để tối ưu hóa hàm lỗi
Trang 104 Thuật toán Beam Search
1 Search-Base Loss: sử dụng một hàm tính điểm tổng các chuỗi
2 Forward: Xây dựng tập chuỗi
3 Backward: sữ dụng lan truyền ngược để tối ưu hóa hàm lỗi
Trang 114 Thuật toán Beam Search
1 Search-Base Loss: sử dụng một hàm tính điểm tổng các chuỗi
2 Forward: Xây dựng tập chuỗi
3 Backward: sữ dụng lan truyền ngược để tối ưu hóa hàm lỗi
Trang 124 Thuật toán Beam Search
1 Search-Base Loss: sử dụng một hàm tính điểm tổng các chuỗi
2 Forward: Xây dựng tập chuỗi
3 Backward: sữ dụng lan truyền ngược để tối ưu hóa hàm lỗi
Trang 134 Thuật toán Beam Search
1 Search-Base Loss: sử dụng một hàm tính điểm tổng các chuỗi
2 Forward: Xây dựng tập chuỗi
3 Backward: sữ dụng lan truyền ngược để tối ưu hóa hàm lỗi
Trang 144 Thuật toán Beam Search
1 Search-Base Loss: sử dụng một hàm tính điểm tổng các chuỗi
2 Forward: Xây dựng tập chuỗi
3 Backward: sữ dụng lan truyền ngược để tối ưu hóa hàm lỗi
Trang 154 Thuật toán Beam Search
1 Search-Base Loss: sử dụng một hàm tính điểm tổng các chuỗi
2 Forward: Xây dựng tập chuỗi
3 Backward: sữ dụng lan truyền ngược để tối ưu hóa hàm lỗi
Trang 164 Thuật toán Beam Search
1 Search-Base Loss: sử dụng một hàm tính điểm tổng các chuỗi
2 Forward: Xây dựng tập chuỗi
3 Backward: sữ dụng lan truyền ngược để tối ưu hóa hàm lỗi
Trang 174 Thuật toán Beam Search
1 Search-Base Loss: sử dụng một hàm tính điểm tổng các chuỗi
2 Forward: Xây dựng tập chuỗi
3 Backward: sữ dụng lan truyền ngược để tối ưu hóa hàm lỗi
Trang 184 Thuật toán Beam Search
1 Search-Base Loss: sử dụng một hàm tính điểm tổng các chuỗi
2 Forward: Xây dựng tập chuỗi
3 Backward: sữ dụng lan truyền ngược để tối ưu hóa hàm lỗi
Trang 194 Thuật toán Beam Search
1 Search-Base Loss: sử dụng một hàm tính điểm tổng các chuỗi
2 Forward: Xây dựng tập chuỗi
3 Backward: sữ dụng lan truyền ngược để tối ưu hóa hàm lỗi
Trang 204 Thuật toán Beam Search
1 Search-Base Loss: sử dụng một hàm tính điểm tổng các chuỗi
2 Forward: Xây dựng tập chuỗi
3 Backward: sữ dụng lan truyền ngược để tối ưu hóa hàm lỗi