Ứng dụng mạng nơ ron nhân tạo vào hệ thống gợi ý lựa chọn môn học cho học sinh trung học phổ thông theo chương trình giáo dục phổ thông mới

ỦY BAN NHÂN DÂN TỈNH BÌNH DƯƠNG TRƯỜNG ĐẠI HỌC THỦ DẦU MỘT VÕ VĂN QUYỀN ỨNG DỤNG MẠNG NƠ-RON NHÂN TẠO VÀO HỆ THỐNG GỢI Ý LỰA CHỌN MÔN HỌC CHO HỌC SINH TRUNG HỌC PHỔ THÔNG THEO CHƯƠNG

ỦY BAN NHÂN DÂN TỈNH BÌNH DƯƠNG

TRƯỜNG ĐẠI HỌC THỦ DẦU MỘT

VÕ VĂN QUYỀN

ỨNG DỤNG MẠNG NƠ-RON NHÂN TẠO VÀO

HỆ THỐNG GỢI Ý LỰA CHỌN MÔN HỌC CHO HỌC SINH TRUNG HỌC PHỔ THÔNG THEO CHƯƠNG TRÌNH

GIÁO DỤC PHỔ THÔNG MỚI

CHUYÊN NGÀNH: HỆ THỐNG THÔNG TIN

MÃ SỐ: 8480104

LUẬN VĂN THẠC SỸ

BÌNH DƯƠNG – 2019

ỦY BAN NHÂN DÂN TỈNH BÌNH DƯƠNG

TRƯỜNG ĐẠI HỌC THỦ DẦU MỘT

VÕ VĂN QUYỀN

ỨNG DỤNG MẠNG NƠ-RON NHÂN TẠO VÀO

HỆ THỐNG GỢI Ý LỰA CHỌN MÔN HỌC CHO HỌC SINH TRUNG HỌC PHỔ THÔNG THEO CHƯƠNG TRÌNH

GIÁO DỤC PHỔ THÔNG MỚI

CHUYÊN NGÀNH: HỆ THỐNG THÔNG TIN

LỜI CAM ĐOAN

Tôi xin cam đoan rằng, luận văn “Ứng Dụng Mạng Nơ-ron Nhân Tạo vào

hệ thống gợi ý lựa chọn môn học cho học sinh Trung Học Phổ Thông theo chương trình Giáo Dục Phổ Thông Mới” là công trình nghiên cứu của tôi dưới sự hướng dẫn của Thầy PGS.TS Quản Thành Thơ, xuất phát từ nhu cầu thực tiễn và nguyện vọng tìm hiểu của bản thân

Ngoại trừ kết quả tham khảo từ các công trình khác đã ghi rõ trong luận văn, các nội dung được trình bày trong luận văn này là kết quả nghiên cứu do chính tôi thực hiện và kết quả của luận văn chưa từng công bố trước đây dưới bất

kì hình thức nào

Bình Dương, ngày 15 tháng 10 năm 2019

Tác giả

Võ Văn Quyền

LỜI CẢM ƠN

Qua thời gian học tập và rèn luyện tại trường Đại học Thủ Dầu Một, được

sự hướng dẫn và giảng dạy nhiệt tình của quý Thầy Cô, đặc biệt là quý Thầy Cô khoa Khoa Kỹ thuật - Công nghệ đã truyền đạt cho tôi những kiến thức về lý thuyết và thực hành trong suốt thời gian học tập tại trường Cùng với sự nỗ lực của bản thân, tôi đã hoàn thành luận văn của mình

Từ những kết quả đạt được này, tôi xin chân thành cảm ơn quý Thầy Cô trường Đại học Thủ Dầu Một, đã truyền đạt cho tôi những kiến thức vô cùng bổ ích trong thời gian qua Đặc biệt là: PGS.TS Quản Thành Thơ đã tận tình hướng dẫn tôi hoàn thành tốt báo cáo luận văn này Tôi rất mong nhận được sự đóng góp ý kiến của quý Thầy Cô để báo cáo luận văn đạt được kết quả tốt nhất

Tôi xin kính chúc quý Thầy Cô, các anh chị và các bạn thật nhiều sức khỏe, niềm vui, luôn thành công trong công việc và cuộc sống

Việc phát triển chương trình từ hướng phát triển giáo dục kiến thức sang hướng phát triển kiến thức song song với năng khiếu, định hướng nghề nghiệp từ giai đoạn THCS sang THPT với nhiều môn học được bổ sung mới Điều này dẫn đến, việc lựa chọn môn học của các em học sinh từ lớp 9 khi vào lớp 10 gặp rất nhiều áp lực và khó khăn Bởi lẽ, ngoài những môn bắt buộc các em phải tự lựa chọn thêm những môn học khác của nhóm môn học tự chọn để hoàn thành đầy

đủ danh sách môn học theo quy định của CT GDPT mới, gây khó khăn trong quyết định lựa chọn của học sinh Đòi hỏi các em phải tự suy nghĩ và đưa ra quyết định lựa chọn môn học được cho là phù hợp với năng lực bản thân, ảnh hưởng rất nhiều đến định hướng nghề nghiệp, tương lai của các em sau này

Việc thực hiện đề tài: “Ứng Dụng Mạng Nơ-ron Nhân Tạo vào hệ thống gợi ý lựa chọn môn học cho học sinh Trung Học Phổ Thông theo chương trình Giáo Dục Phổ Thông Mới”, sẽ giúp học sinh có được sự gợi ý lựa chọn môn học phù hợp năng lực, tránh được sự lựa chọn theo cảm tính và số đông, giảm tải được những áp lực khi CT GDPT mới được áp dụng vào năm 2022 Và hơn hết

là vận dụng được sự phát triển nhanh chóng của mô hình mạng nơ-ron nhân tạo trên toàn thế giới so với các hệ thống gợi ý bằng phương pháp khác

Trong báo cáo luận văn này, chúng tôi sẽ đề xuất mô hình để giải quyết bài toán gợi ý lựa chọn môn học cho học sinh THPT theo CT GDPT mới Luận văn trình bày kiến thức nền tảng của mạng nơ-ron và các áp dụng của nó vào bài

toán dự đoán Từ các kiến thức trên, cùng với sự học hỏi, tìm tỏi và tham khảo từ các công trình liên quan trên thế giới Mô hình mà chúng tôi đề xuất cụ thể để giải quyết bài toán đặt ra là mạng nơ-ron nhân tạo (Artificial Neural Networks - ANN) Sau đó, chúng tôi thực hiện một hệ thống cho phép học sinh nhập các thông tin liên quan đến điểm số học tập để đưa vào mô hình đề xuất Cuối cùng, chúng tôi sử dụng kết quả dự đoán thông qua việc huấn luyện mô hình để đưa ra gợi ý lựa chọn môn học và trực quan hóa kết quả lên website

MỤC LỤC

LỜI CAM ĐOAN ii

LỜI CẢM ƠN iii

TÓM TẮT iv

MỤC LỤC vi

DANH MỤC THUẬT NGỮ VÀ CÁC TỪ VIẾT TẮT ix

DANH MỤC CÁC BẢNG x

DANH MỤC HÌNH VẼ, ĐỒ THỊ xi

Chương 1 TỔNG QUAN VỀ LĨNH VỰC NGHIÊN CỨU 1

1.1 Lý do chọn đề tài 1

1.2 Mục tiêu và nhiệm vụ nghiên cứu 1

1.3 Đối tượng và phạm vi nghiên cứu 2

1.4 Phương pháp nghiên cứu 2

1.5 Ý nghĩa khoa học và thực tiễn 2

1.6 Bố cục luận văn 2

Chương 2 CHƯƠNG TRÌNH GIÁO DỤC PHỔ THÔNG MỚI 4

2.1 Những vấn đề chung 4

2.1.1 Nguyên nhân đổi mới CT GDPT 4

2.1.2 Các cơ sở của việc đổi mới CT GDPT 4

2.2 Cách thức tổ chức môn học theo CT GDPT mới 5

2.3 Tính kế thừa, phát triển của CT GDPT mới 6

2.4 Tầm quan trọng trong việc lựa chọn môn học 7

2.5 Kết luận 8

Chương 3 CƠ SỞ LÝ THUYẾT VÀ CÁC NGHIÊN CỨU LIÊN QUAN 9

3.1 Giới thiệu chung 9

3.1.1 Mạng nơ-ron sinh học 9

3.1.2 Nơ-ron nhân tạo 9

3.2 Mạng nơ-ron nhân tạo (ANN - Artificial Neural Networks) 10

3.2.1 Một số chức năng 10

3.2.2 Kiến trúc mạng 10

3.2.3 Các dạng của mạng 11

3.2.4 Hoạt động của mạng 11

3.2.4.1 Cấu trúc và hoạt động của một nơ-ron 11

3.2.4.2 Mạng một tầng (Perceptron) 12

3.2.4.3 Mạng đa tầng truyền thẳng (Multilayer Perceptrons) 13

3.2.4.4 Mạng lan truyền ngược (BackPropagation) 13

3.2.5 Các phương pháp học 16

3.2.5.1 Học có giám sát (Supervised Learning) 16

3.2.5.2 Học không có giám sát (Unsupervised Learning) 17

3.2.5.3 Học tăng cường (Hydrid Learning) 17

3.2.6 Một số hàm kích hoạt thường dùng 17

3.2.7 Hàm biến đổi đầu ra 19

3.2.8 Hàm mất mát 19

3.2.9 Các kĩ thuật tối ưu 20

3.2.9.1 Early Stopping 20

3.2.9.2 Regularization 21

3.2.9.3 Dropout 21

3.2.9.4 Khởi tạo tham số 22

3.2.9.5 Tiền xử lí dữ liệu 22

3.2.9.6 Validation 23

3.3 Hệ thống gợi ý và các hướng tiếp cận 23

3.3.1 Tổng quan 23

3.3.2 Các hướng tiếp cận 23

3.4 Các nghiên cứu liên quan 24

3.4.1 Mô hình của Samy Abu Naser và đồng sự 25

3.4.2 Mô hình của Zahoor Ahmad và Erum Shahzadi 25

3.4.3 Mô hình của Bogdan Oancea và đồng sự 26

3.4.4 Mô hình của Stamos T Karamouzis và Andreas Vrettos 26

3.4.5 Mô hình của Basheer M Al-Maqaleh và đồng sự 26

3.5 Hướng đề xuất nghiên cứu 27

Chương 4 MÔ HÌNH ĐỀ XUẤT VÀ THỰC NGHIỆM 28

4.1 Mô hình đề xuất 28

4.1.1 Tổng quan mô hình đề xuất 28

4.1.2 Các đặc trưng của mô hình đề xuất 28

4.2 Thực nghiệm 29

4.2.1 Phân tích vấn đề 29

4.2.2 Quá trình thực nghiệm 31

4.2.2.1 Chuẩn bị dữ liệu 31

4.2.2.2 Xây dựng mô hình mạng và huấn luyện 34

4.2.2.3 Kết quả 37

4.2.2.4 Đánh giá kết quả thực nghiệm 38

4.2.2.5 Công nghệ sử dụng 38

4.2.2.6 Xây dựng ứng dụng trực quan hóa kết quả 42

Chương 5 KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 45

5.1 Kết quả đạt được 45

5.2 Tồn tại và hạn chế 45

5.3 Hướng phát triển 46

CÔNG TRÌNH CÔNG BỐ 47

TÀI LIỆU THAM KHẢO 48

PHỤ LỤC 1 49

DANH MỤC THUẬT NGỮ VÀ CÁC TỪ VIẾT TẮT

AN Artificial Neural

ANN Artificial Neural Networks

API Application Programming Interface CSS Cascading Style Sheets

PSP Post Synapic Potential Function

RELU Rectified Linear Unit

SGD Stochastic Gradient Descent

SGK Sách Giáo Khoa

SKLEARN Scikit-Learn

THCS Trung Học Cơ Sở

THPT Trung Học Phổ Thông

DANH MỤC CÁC BẢNG

Bảng 4.1 Mô tả cách tổ chức dữ liệu đưa vào mô hình 31

Bảng 4.2 Ví dụ tập dữ liệu điểm trung bình thực tế ở bậc THCS 31

Bảng 4.3 Ví dụ tập dữ liệu mô phỏng ở bậc THPT 32

Bảng 4.4 Thông số huấn luyện với thư viện Keras 36

Bảng 4.5 Kết quả huấn luyện, kiểm tra chéo và kiểm tra mô hình mạng A 36

Bảng 4.6 Kết quả huấn luyện, kiểm tra chéo và kiểm tra mô hình mạng B 36

Bảng 4.7 Kết quả huấn luyện, kiểm tra chéo và kiểm tra mô hình mạng C 37

Bảng 4.8 Kết quả đánh giá độ chính xác mô hình mạng C sau huấn luyện 37

Bảng 4.9 Kết quả thực nghiệm của các mô hình 38

DANH MỤC HÌNH VẼ, ĐỒ THỊ

Hình 3.1 Mô hình nơ-ron sinh học 9

Hình 3.2 Ví dụ mạng ANN với 1 tầng ẩn 10

Hình 3.3 Cấu tạo 1 nơ-ron 11

Hình 3.4 Mô hình hóa mạng nơ-ron 12

Hình 3.5 Perceptron cơ bản 12

Hình 3.6 Mạng 2 tầng ẩn 13

Hình 3.7 Sơ đồ khối mô tả luật học có giám sát 16

Hình 3.8 Đồ thị hàm Sigmoid 17

Hình 3.9 Đồ thị hàm Tanh 18

Hình 3.10 Đồ thị hàm Hard Tanh 18

Hình 3.11 Đồ thị hàm ReLU 19

Hình 3.12 Đồ thị hàm Softmax 19

Hình 3.13 Mô tả kỹ thuật Early Stopping 21

Hình 3.14 Minh họa kỹ thuật Dropout 22

Hình 3.15 Mô hình kiến trúc của Samy Abu Naser và đồng sự 25

Hình 3.16 Mô hình kiến trúc của Zahoor Ahmad và Erum Shahzadi 25

Hình 3.17 Mô hình kiến trúc của Basheer M Al-Maqaleh và đồng sự 26

Hình 4.1 Cấu trúc mô hình đề xuất 28

Hình 4.2 Nơ-ron nhân tạo xác định đầu vào của mạng 34

Hình 4.3 Giao diện trang chủ 42

Hình 4.4 Giao diện nhập điểm của trang hệ thống gợi ý 43

Hình 4.5 Giao diện hiển thị kết quả lựa chọn môn học 43

Hình 4.6 Danh sách môn học với khả năng lựa chọn cao nhất 44

Hình 4.7 Giao diện đánh giá mức độ hài lòng và gửi phản hồi chi tiết 44

Hình 4.8 Giao diện liên hệ và góp ý 44

Chương 1 TỔNG QUAN VỀ LĨNH VỰC NGHIÊN CỨU

1.1 Lý do chọn đề tài

Giáo dục và đào tạo (GD&ĐT) giữ vai trò đặc biệt đối với sự phát triển của con người và xã hội GD&ĐT được xem là quốc sách hàng đầu của Đảng và Nhà nước trong thời kì đổi mới Thật vậy, bước vào thế kỉ XXI, việc học và lựa chọn nghề nghiệp có nhiều chuyển biến so với giai đoạn trước đây, cuộc cách mạng khoa học và công nghệ đang tạo điều kiện để nhân loại tiến từ nền kinh tế công nghiệp sang nền kinh tế tri thức Trong hoàn cảnh đất nước ta đang cần một lực lượng lao động đủ trình độ năng lực, làm chủ được công nghệ kĩ thuật và đủ điều kiện hoàn thành tốt công việc, trong các lĩnh vực của đời sống xã hội

Do đó, việc thay đổi CT GDPT hiện hành sang CT GDPT mới mà Bộ GD&ĐT công bố sẽ áp dụng chính thức vào năm 2022, với mục đích nâng cao trình độ văn hóa, định hướng bậc học và nghề nghiệp cho những chủ nhân tương lai của đất nước là một vấn đề cấp thiết và được quan tâm hơn bao giờ hết Tuy nhiên, CT GDPT mới có khá nhiều sự thay đổi đặc biệt là trong cách thức tổ chức và lựa chọn các môn học ở bậc THPT Điều này dẫn đến, việc lựa chọn môn học của các em học sinh từ lớp 9 bước vào lớp 10 gặp rất nhiều khó khăn và lúng túng do thiếu kênh thông tin tư vấn, hỗ trợ cho việc lựa chọn môn học phù hợp Đòi hỏi các em phải tự đưa ra quyết định, ảnh hưởng đến kết quả học tập cũng như lựa chọn nghề nghiệp của các em sau này

Vì những lý do trên, việc thực hiện đề tài: “Ứng Dụng Mạng Nơ-ron Nhân Tạo vào hệ thống gợi ý lựa chọn môn học cho học sinh Trung Học Phổ Thông theo chương trình Giáo Dục Phổ Thông Mới”, sẽ giúp học sinh có được những gợi ý lựa chọn môn học tin cậy, hoàn toàn phù hợp với sự thay đổi của CT GDPT mới Tránh được sự lựa chọn môn học theo số đông, giảm tải được áp lực đáng

kể về vấn đề lựa chọn môn học khi CT GDPT mới được áp dụng chính thức

1.2 Mục tiêu và nhiệm vụ nghiên cứu

Đề tài tập trung nghiên cứu, khảo sát các mô hình mạng nơ-ron Áp dụng kiến thức về mạng nơ-ron nhân tạo và đưa mô hình đề xuất vào bài toán gợi ý lựa chọn môn học cho học sinh bậc THPT theo CT GDPT mới

- Tiến hành thu thập dữ liệu điểm số của học sinh ở bậc THCS và mô phỏng kết quả lựa chọn môn học ở bậc THPT theo chương trình GDPT mới, tất

cả dữ liệu điểm này được đưa vào cơ sở dữ liệu để lưu trữ

- Tìm hiểu các mô hình mạng nơ-ron, đề xuất mô hình cụ thể giải quyết bài toán gợi ý lựa chọn môn học: mạng nơ-ron nhân tạo (Artificial Neural Networks - ANN)

- Kiểm thử mô hình và đánh giá kết quả thực nghiệm, xây dựng hệ thống trực quan từ mô hình được huấn luyện, trích xuất kết quả lựa chọn môn học đặc trưng

- Đóng góp và nêu hướng phát triển của đề tài

1.3 Đối tượng và phạm vi nghiên cứu

Đề tài nghiên cứu lý thuyết mạng nơ-ron, đề xuất mô hình mạng nơ-ron nhân tạo (Artificial Neural Networks - ANN) để áp dụng vào bài toán dự đoán nói chung và hệ thống gợi ý lựa chọn môn học của học sinh bậc THPT theo CT GDPT mới nói riêng

1.4 Phương pháp nghiên cứu

Nghiên cứu lý thuyết để nắm rõ các mô hình mạng nơ-ron, lý thuyết về mạng nơ-ron nhân tạo và các phương pháp dự đoán Trên cơ sở đó, lựa chọn mô hình phù hợp và thử nghiệm để hiệu chỉnh, tối ưu mô hình đã chọn

1.5 Ý nghĩa khoa học và thực tiễn

Luận văn chỉ ra khả năng ứng dụng của mạng nơ-ron trong việc dự đoán nói chung và ý nghĩa của mạng nơ-ron đối với hệ thống gợi ý lựa chọn môn học trong Ngành giáo dục nói riêng là hoàn toàn khả thi và cho kết quả đáng khích lệ

Chương 2 Chương trình giáo dục phổ thông mới

Nghiên cứu về CT GDPT mới, bài toán gợi ý lựa chọn môn học và xác định tầm quan trọng của hệ thống gợi ý lựa chọn môn học đối với CT GDPT mới

Chương 3 Tổng quan về cơ sở lý thuyết và các nghiên cứu liên quan Trình bày về các lý thuyết nền tảng để giải quyết bài toán: các kiến thức

về ANN, cách thức hoạt động, ưu nhược điểm của nó, tổng quan về các hàm kích hoạt, hàm mất mát và các kỹ thuật tối ưu mạng nơ-ron Một số công trình liên quan nổi tiếng về dự đoán với ANN sẽ được trình bày trong chương này

Chương 4 Mô hình đề xuất và thực nghiệm

Trình bày về mô hình mà chúng tôi đề xuất cùng với quá trình chuẩn bị và

tổ chức dữ liệu Thực nghiệm để đánh giá kết quả đạt được, hiện thực hệ thống, trực quan hóa lên website Ngoài ra, chúng tôi còn giới thiệu sơ lược về các công nghệ được sử dụng để hoàn thành đề tài này

Chương 5 Kết luận và hướng phát triển

Tổng kết và nêu ra những điểm còn tồn tại của đề tài cũng như hướng cải tiến trong tương lai

Chương 2 CHƯƠNG TRÌNH GIÁO DỤC PHỔ THÔNG MỚI

2.1 Những vấn đề chung

2.1.1 Nguyên nhân đổi mới CT GDPT

Sau 30 năm đổi mới, đất nước ta đã vượt qua nhiều khó khăn, thách thức, đạt được những thành tựu to lớn, có ý nghĩa lịch sử Tuy nhiên, những thành tựu

về kinh tế của nước ta chưa vững chắc, chất lượng nguồn nhân lực và sức cạnh tranh của nền kinh tế chưa cao, môi trường văn hoá còn tồn tại nhiều hạn chế, chưa hội đủ các nhân tố để phát triển nhanh và bền vững

Để bảo đảm phát triển bền vững, nhiều quốc gia đã không ngừng đổi mới

CT GDPT nói riêng, giáo dục đào tạo nói chung để nâng cao chất lượng nguồn nhân lực, trang bị cho các thế hệ tương lai nền tảng văn hoá vững chắc và năng

lực thích ứng cao trước mọi biến đô ̣ng của xã hội Đổi mới giáo dục đã trở thành nhu cầu cấp thiết và xu thế mang tính toàn cầu GDPT nước ta cũng cần đổi mới

để đáp ứng những đòi hỏi của thực tế và bắt kịp xu thế của nhân loại

2.1.2 Các cơ sở của việc đổi mới CT GDPT

 Chương trình GDPT hiện hành có những hạn chế sau đây:

- Chú trọng truyền đạt kiến thức, chưa đáp ứng tốt về hình thành và phát triển phẩm chất và năng lực của học sinh, chưa coi trọng hướng nghiệp

- Nhìn chung, nội dung CT chưa thật sự thiết thực, chưa coi trọng kỹ năng thực hành, kỹ năng vận dụng kiến thức vào thực tế

- Hình thức tổ chức chủ yếu là dạy học trên lớp, chưa coi trọng việc tổ chức các hoạt động xã hội, hoạt động trải nghiệm Phương pháp giáo dục và đánh giá chất lượng chưa đáp ứng yêu cầu giai đoạn mới, chưa chú trọng dạy cách học và phát huy tính chủ động, khả năng sáng tạo của học sinh

- Chưa quán triệt rõ mục tiêu, yêu cầu của hai giai đoạn giáo dục (giai đoạn giáo dục cơ bản và giai đoạn giáo dục định hướng nghề nghiệp), chưa bảo đảm tính liên thông trong từng môn học và giữa các môn học, trong từng lớp, từng cấp và giữa các lớp, các cấp học

Nghị quyết 88 của Quốc hội và Quyết định 404 của Thủ tướng Chính phủ quy định mục tiêu đổi mới, các nguyên tắc, yêu cầu, định hướng, nội dung và lộ

trình đổi mới, trách nhiệm của các Bộ, Ngành, cơ quan nhà nước và Mặt trận Tổ quốc Việt Nam, trong đó có những điểm nổi bật sau: GDPT 12 năm, gồm hai giai đoạn giáo dục: giai đoạn giáo dục cơ bản (gồm cấp tiểu học 5 năm và cấp trung học cơ sở 4 năm) và giai đoạn giáo dục định hướng nghề nghiệp (cấp trung học phổ thông 3 năm) Giáo dục cơ bản bảo đảm trang bị cho học sinh tri thức phổ thông nền tảng, đáp ứng yêu cầu phân luồng mạnh sau THCS Giáo dục định hướng nghề nghiệp bảo đảm học sinh tiếp cận nghề nghiệp, chuẩn bị cho giai đoạn học sau phổ thông có chất lượng

2.2 Cách thức tổ chức môn học theo CT GDPT mới

Theo tài liệu dự thảo CT GDPT mới (kèm theo Công văn số

465/BGDĐT-VP ngày 31/01/2018 của Bộ GD&ĐT) thì kế hoạch dạy và học có sự đổi mới rõ rệt, cụ thể như sau:

 Cấp tiểu học

- Các môn học và hoạt động giáo dục (HĐGD) bắt buộc: Tiếng Việt; Toán; Đạo đức; Ngoại ngữ 1 (ở lớp 3, lớp 4, lớp 5); Tự nhiên và xã hội (ở lớp 1, lớp 2, lớp 3); Lịch sử và Địa lí (ở lớp 4, lớp 5); Khoa học (ở lớp 4, lớp 5); Tin học và Công nghệ (ở lớp 3, lớp 4, lớp 5); Giáo dục thể chất, Nghệ

thuật, Hoạt động trải nghiệm

- Các môn học tự chọn: Tiếng dân tộc, Ngoại ngữ 1 (dạy ở lớp 1, lớp 2)

 Cấp trung học cơ sở

- Các môn học và HĐGD bắt buộc: Ngữ văn; Toán; Ngoại ngữ 1; Giáo dục công dân; Lịch sử và Địa lí; Khoa học tự nhiên; Công nghệ; Tin học; Giáo dục thể chất; Nghệ thuật; Hoạt động trải nghiệm; Giáo dục địa phương

- Các môn học tự chọn: Tiếng dân tộc thiểu số, Ngoại ngữ 2

 Cấp trung học phổ thông

- Các môn học và HĐGD bắt buộc: Ngữ văn; Toán; Ngoại ngữ 1; Giáo dục thể chất; Giáo dục quốc phòng và an ninh; Hoạt động trải nghiệm; Giáo dục địa phương

- Các môn học được lựa chọn theo định hướng nghề nghiệp (học sinh chọn

5 môn từ 3 nhóm môn học, mỗi nhóm chọn ít nhất 1 môn):

 Nhóm Khoa học xã hội: Lịch sử, Địa lí, Giáo dục kinh tế pháp luật

 Nhóm Khoa học tự nhiên: Vật lí, Hoá học, Sinh học

 Nhóm Công nghệ và Nghệ thuật: Công nghệ, Tin học, Nghệ thuật

- Các môn học tự chọn: Tiếng dân tộc thiểu số, Ngoại ngữ 2

2.3 Tính kế thừa, phát triển của CT GDPT mới

 Tính kế thừa của CT GDPT mới thể hiện rõ ở những điểm sau:

- Tiếp tục được xây dựng trên quan điểm coi mục tiêu GDPT là giáo dục con người toàn diện, giúp học sinh phát triển về đức, trí, thể, mĩ

- Kế thừa các phương châm giáo dục như “Học đi đôi với hành”, “Lí luận gắn liền với thực tiễn”, “Giáo dục nhà trường gắn liền với giáo dục gia đình và giáo dục xã hội”

- Tiếp tục tập trung vào những giá trị cơ bản của văn hoá dân tộc, bảo đảm phù hợp với đặc điểm con người và văn hoá Việt Nam

- Bên cạnh một số kiến thức được cập nhật để phù hợp với những thành tựu mới của Khoa học - Công nghệ và định hướng mới, kiến thức nền tảng của các môn học trong CT GDPT mới chủ yếu là những kiến thức cốt lõi, tương đối ổn định trong các lĩnh vực tri thức của nhân loại, được kế thừa

từ CT GDPT hiện hành, nhưng được tổ chức lại để giúp học sinh phát triển phẩm chất và năng lực một cách hiệu quả hơn Những kiến thức không thích hợp với học sinh phổ thông sẽ được cắt bỏ

- Hầu hết tên các môn học được giữ nguyên như CT hiện hành, chỉ có môn Tin học và Công nghệ, Hoạt động trải nghiệm ở tiểu học, Lịch sử và Địa

lí, Khoa học tự nhiên ở THCS và Hoạt động trải nghiệm, hướng nghiệp ở THCS, trung học phổ thông (THPT) là những tên gọi mới Ở THCS, môn Khoa học tự nhiên gồm ba phân môn Vật lí, Hoá học, Sinh học và một số chủ đề tích hợp; môn Lịch sử và Địa lí cũng gồm hai phân môn Lịch sử, Địa lí và một số chủ đề tích hợp tương tự

 Những điểm cần khắc phục cũng chính là những khác biệt chủ yếu của CT GDPT mới so với CT GDPT hiện hành, cụ thể như sau:

- CT GDPT hiện hành được xây dựng theo mô hình định hướng nội dung, nặng về truyền thụ kiến thức, chưa chú trọng giúp học sinh vận dụng kiến thức học được vào thực tiễn

- CT GDPT mới được xây dựng theo mô hình phát triển năng lực, thông qua những kiến thức cơ bản, thiết thực, hiện đại và các phương pháp tích cực hoá hoạt động của người học, giúp học sinh hình thành và phát triển những phẩm chất và năng lực mà nhà trường và xã hội kỳ vọng

- CT GDPT hiện hành có nội dung giáo dục gần như đồng nhất cho tất cả học sinh; việc định hướng nghề nghiệp cho học sinh, ngay cả ở cấp THPT chưa được xác định rõ ràng CT GDPT mới phân biệt rõ hai giai đoạn: giai đoạn giáo dục cơ bản (từ lớp 1 đến lớp 9) và giai đoạn giáo dục định hướng nghề nghiệp (từ lớp 10 đến lớp 12)

- Trong CT GDPT hiện hành, sự kết nối giữa CT các cấp học trong một môn học và giữa CT các môn học chưa chặt chẽ; một số nội dung giáo dục

bị trùng lặp, chồng chéo, chưa thật sự cần thiết đối với học sinh phổ thông

2.4 Tầm quan trọng trong việc lựa chọn môn học

Việc thay đổi tổng thể CT GDPT được coi là tất yếu, góp phần đẩy mạnh việc đổi mới giáo dục theo hướng căn bản, toàn diện Chính vì vậy, cùng với sự đổi mới, bắt nhịp với yêu cầu giáo dục hiện đại, người học sinh rất cần sự quan tâm từ nhiều phía trong việc nhận diện và giải quyết những khó khăn khi lựa chọn môn học và đặc biệt là đối tượng học sinh trong quá trình chuyển từ bậc THCS sang THPT

Việc học sinh có quyền lựa chọn các môn học bên cạnh một số môn học

và HĐGD bắt buộc, phù hợp với sở thích, năng lực và nguyện vọng định hướng nghề nghiệp bản thân ở bậc THPT gây ra rất nhiều khó khăn từ phía người học lẫn nhà trường, đòi hỏi học sinh ở bậc THCS phải tự chủ động để tích cực hoá Trong đó, giáo viên chỉ là người đóng vai trò tổ chức, hướng dẫn hoạt động, định hướng năng lực học sinh, bản thân học sinh phải là người tìm ra được năng lực, nguyện vọng thật sự trong giai đoạn chuyển mình từ THCS sang THPT nhằm định hướng khả năng nghề nghiệp theo tiêu chí của CT GDPT mới, rèn luyện khả

năng tự học, tự xác định nhu cầu cần thiết ở nội dung môn học, phát huy tiềm năng và những kiến thức, kỹ năng đã tích lũy để phát triển bản thân

Nhận thấy, với những kinh nghiệm đã được đúc kết trong quá trình giảng dạy qua các năm Chúng tôi nhận thấy rằng, khi triển khai CT GDPT mới điều đầu tiên cần quan tâm đó là tâm lý của các em học sinh từ lớp 9 (bậc THCS) khi vào lớp 10 (bậc THPT) sẽ có nhiều biến động Bởi lẽ, các em sẽ có một bước quyết định đầu đời về định hướng nghề nghiệp phía trước, nếu không được tư vấn và giải thích cụ thể rõ ràng từ phía nhà trường, phụ huynh và đặc biệt là người giáo viên thì các em sẽ trở nên lúng túng, tinh thần trong quyết định lựa chọn môn học gặp nhiều áp lực và khó khăn Học sinh phải tự nhận thấy được năng lực của chính mình, phải chủ động trong việc lựa chọn môn học, phải tự quyết định các môn học mà bản thân cho là phù hợp với năng lực, ảnh hưởng rất nhiều đến định hướng nghề nghiệp tương lai của các em sau này

2.5 Kết luận

Việc xây dựng hệ thống có khả năng dự đoán và đưa ra gợi ý lựa chọn

môn học, giúp học sinh bước vào Bậc THPT có thể định hướng và nắm bắt kịp

thời theo lộ trình áp dụng CT GDPT mới là việc làm hết sức quan trọng và ý nghĩa trong giai đoạn đổi mới giáo dục hiện nay Đây chính là nghiên cứu trọng tâm, giúp học sinh có được kênh thông tin gợi ý lựa chọn môn học phù hợp, giảm tải được áp lực khi CT GDPT mới được áp dụng Hệ thống gợi ý này giúp học sinh, thay đổi được tiêu chí lựa chọn môn học theo lối mòn Thay đổi được định hướng lựa chọn môn học thông qua điểm số được nhìn thấy ở hiện tại Sự lựa chọn môn học phải dựa vào bản chất của cả quá trình, bởi các kết quả đã được thu thập và nghiên cứu trước đó

Chương 3 CƠ SỞ LÝ THUYẾT VÀ CÁC NGHIÊN CỨU LIÊN QUAN 3.1 Giới thiệu chung

3.1.1 Mạng nơ-ron sinh học

Theo các nhà nghiên cứu sinh học về bộ não, hệ thống thần kinh của con người có khoảng 100 tỷ tế bào (gọi là nơ-ron) Mỗi tế bào nơ-ron, gồm 3 thành phần chính: soma, dendrite và axon [1]

Hình 3.1 Mô hình nơ-ron sinh học1Trong đó, các soma là thân của nơ-ron và các dendrite là các dây gắn với soma, chúng truyền dữ liệu (dưới dạng xung điện thế) đến cho soma xử lý và tổng hợp dữ liệu Một loại dây dẫn tín hiệu khác cũng gắn với soma là các axon Khác với dendrite, các axon có khả năng phát các xung điện thế, chúng là các dây dẫn tín hiệu từ nơ-ron đi các nơi khác, chỉ khi nào điện thế trong soma vượt quá giá trị ngưỡng thì axon mới phát một xung điện thế, còn không nó sẽ ở trạng thái nghỉ Axon nối với các dendrite của các nơ-ron khác thông qua khớp nối

3.1.2 Nơ-ron nhân tạo

Nơ-ron nhân tạo (AN - Artificial Neural) là sự mô phỏng lại một cách đơn giản của nơ-ron sinh học Mỗi AN có nhiệm vụ tổng hợp các thông tin đầu vào

và chuyển đổi thành tín hiệu đầu ra, có thể có nhiều đầu vào nhưng chỉ có một đầu

ra Mỗi đầu vào được gắn liền với một hệ số nhân bất kì gọi là trọng số (weight) Mỗi AN có một giá trị ngưỡng với chức năng đầu vào của mỗi nơ-ron là tổng các tín hiệu đầu vào với các trọng số liên kết, đồng thời kết hợp với giá trị ngưỡng để

tạo ra một giá trị nhất định là net input Mỗi nơ-ron nhân tạo cho kết quả ở đầu ra phụ thuộc vào hàm kích hoạt Hàm này sẽ nhận tín hiệu đầu vào net input, sau đó

tính toán cho kết quả là đầu ra của nơ-ron

1 Nguồn từ Ben Krose and Patrick van der Smagt, 1996

3.2 Mạng nơ-ron nhân tạo (ANN - Artificial Neural Networks)

3.2.1 Một số chức năng

- Phân loại mẫu: là sự phân chia các mẫu thành các nhóm khác nhau với

những đặc điểm nhất định nào đó Khi cho một mẫu đầu vào, thì mạng sẽ

tạo ra mẫu đầu ra đúng với phân loại của chúng

- Học và tổng quát hóa: Học là thu thập thông tin các mẫu ở đầu vào với đầu ra tương ứng để dự đoán cho chính xác Tổng quát hóa không chỉ là nhận dạng chính xác các mẫu đã học mà phải rút ra những đặc trưng và tạo ra tri thức mới Cho thấy tính linh hoạt, khi dùng để giải quyết các vấn

đề liên quan đến tính toán hoặc suy luận khi thiếu thông tin

3.2.2 Kiến trúc mạng

 Kiến trúc mạng ANN được xác định bởi:

- Số lượng các tín hiệu đầu vào/ đầu ra

- Số lượng tầng trong mạng

- Số lượng các nơ-ron trong mỗi tầng

- Số lượng các trọng số (các liên kết) đối với mỗi nơ-ron

- Liên kết giữa các nơ-ron (trong một tầng hoặc giữa các tầng) với nhau

- Những nơ-ron nhận các tín hiệu điều chỉnh lỗi

 Các tầng của ANN:

- Một tầng đầu vào (input layer): tiếp nhận các tín hiệu đầu vào

- Một tầng đầu ra (output layer): phát tín hiệu ra khi mạng cho ra kết quả

- Tầng ẩn (hidden layer): đóng vai trò như bộ lọc “thông minh”

Hình 3.2 Ví dụ mạng ANN với 1 tầng ẩn

Độ lệch

Kết quả ra

Tầng đầu vào

Tầng ẩn

Tầng đầu ra

- Mạng phản hồi (Feedback Network): có đầu ra của một nút liên kết ngược lại làm các đầu vào của một nút thuộc cùng tầng (hoặc thuộc một tầng phía trước)

- Mạng hồi quy (Recurrent Network): nếu các mạng phản hồi có các vòng lặp kín (closed loops)

3.2.4 Hoạt động của mạng

3.2.4.1 Cấu trúc và hoạt động của một nơ-ron

Mỗi ron là một tế bào đặc biệt có khả năng truyền các tín hiệu Một ron có cấu trúc đầu vào, thân tế bào và cấu trúc đầu ra (sợi thần kinh) Các sợi thần kinh của một tế bào kết nối với các tế bào khác, thông qua khớp thần kinh Khi một nơ-ron kích hoạt, nó tạo ra xung điện hóa học dọc theo sợi thần kinh, tín hiệu này đi qua các khớp thần kinh đến các nơ-ron khác và tiếp tục bị kích hoạt Nơ-ron chỉ hoạt động khi tất cả các tín hiệu nhận được ở thân tế bào thông qua đầu vào vượt mức (gọi là ngưỡng hoạt động) Cường độ tín hiệu thu được của nơ-ron phụ thuộc vào độ nhạy của khớp thần kinh và thay đổi được cường độ kết nối thông qua việc học

nơ-Hình 3.3 Cấu tạo 1 nơ-ron Mỗi nơ-ron nhận dữ liệu đầu vào (từ dữ liệu gốc hoặc từ các nơ-ron khác trong mạng), mỗi kết nối đến đầu vào được gán một trọng số Các trọng số này

có thể nhận giá trị âm Tín hiệu được truyền qua hàm kích hoạt (hay gọi là hàm truyền) để tạo giá trị đầu ra

F(net)

X i

W i

Hình 3.4 Mô hình hóa mạng nơ-ron2

3.2.4.2 Mạng một tầng (Perceptron)

Hình 3.5 Perceptron cơ bản Perceptron được phát triển vào những năm 1950, 1960 bởi nhà khoa học Frank Rosen Blatt, được lấy cảm hứng từ nghiên cứu của Warrres McCulloch và Walter Pitts và nó trở lên phổ biến trong việc sử dụng các mô hình khác nhau của nơ-ron nhân tạo

Perceptron nhận nhiều giá trị đầu vào nhị phân và chỉ cho ra một kết quả đầu ra duy nhất Mỗi đầu vào tương ứng là một thuộc tính của dữ liệu và đầu ra

là kết quả của mạng Các trọng số là thành phần quan trọng của mạng, nó thể hiện mức độ quan trọng của từng đầu vào trong việc hình thành đầu ra Quá trình học của mạng Perceptron cũng chính là quá trình thay đổi các trọng số sao cho thu được đầu ra gần với mong đợi nhất

2 Nguồn từ TS Vũ Đức Lung, Máy học và mạng Neural, 2012

x 1

x 2

x 3

3.2.4.3 Mạng đa tầng truyền thẳng (Multilayer Perceptrons)

Mạng có kiến trúc truyền thẳng và đa tầng: có thể có một hoặc nhiều tầng

ẩn Mỗi tầng trong mạng có một ma trận trọng số W, vectơ độ lệch (bias) b, vectơ net input n và vectơ đầu ra a Để có thể phân biệt giữa các tầng trong mạng với nhau người ta dùng thêm các chỉ số phụ cho mỗi biến Do đó, W i để chỉ ma trận

trọng số của tầng i, b i chỉ vectơ độ lệch của tầng i Hàm kích hoạt f có nhiều dạng

và các nơ-ron trong cùng một tầng thường sẽ có cùng một hàm kích hoạt

Hình 3.6 Mạng 2 tầng ẩn

Cấu trúc mạng có X đầu vào, có S 1 nơ-ron ở tầng thứ nhất, S 2 nơ-ron ở

tầng thứ hai Đầu ra của tầng thứ nhất là đầu vào của tầng thứ hai Tầng thứ hai

có đầu vào là gồm S 1 phần tử trong vectơ ra a 1 , có ma trận w 1 với kích thước của

ma trận là S 2 x S 1 Tầng cuối cùng đưa ra kết quả của mạng gọi là tầng ra (output) Các tầng còn lại trừ tầng đầu vào và tầng đưa ra kết quả cuối cùng của mạng gọi là các tầng ẩn

3.2.4.4 Mạng lan truyền ngược (BackPropagation)

Mô hình mạng lan truyền ngược thường có dạng: tầng nhập, tầng ẩn và

tầng xuất Giả sử cho một tập K mẫu {(x i , y i ),…, (x k , y k )}, thuật toán lan truyền

ngược cung cấp kỹ thuật hiệu chỉnh các trọng số W ij trong mạng nhằm xác định

các giá trị đầu vào một cách chính xác Để đo lường sự trùng khớp với hàm đích

cho trước, ta sử dụng sai số trung bình bình phương E

Cho tập mẫu gồm N mẫu {(X k , T)}={x 1 , x 2 , …, x k , t} (n) ; n = 1, …, N;

Gọi Z = NN(X k ) = {z 1 , z 2 , …, z N } là giá trị ước tính qua mạng nơ-ron, thì sai

số trung bình bình phương E được tính:

𝐸 =1

2x

∑𝑁𝑛=1(𝑍𝑛−𝑡𝑛)2𝑁Trong trường hợp mô hình mạng nơ-ron là hàm phi tuyến, việc xác định

tập trọng số W để mô hình đạt được sai số ít nhất rất khó Chính vì thế, phương

pháp giảm độ dốc thường được sử dụng trong các trường hợp phức tạp này

Phương pháp giảm độ dốc bao gồm các bước cơ bản sau:

 B1: Chọn ngẫu nhiên một điểm x trong không gian trọng số

 B2: Tính độ dốc của lỗi tại x 0

 B3: Cập nhật các trọng số theo hướng dốc nhất của lỗi

 B4: Xem điểm này như điểm x 0 mới

Phương pháp này thực hiện lặp đi lặp lại từ bước 2 đến bước 4 cho đến khi các giá trị của bộ trọng số tiếp cận được điểm thấp nhất trong lỗi

Biến thiên trọng số ở mỗi bước (bước t) sẽ được tính theo công thức:

∆wt=-ε x 𝜕𝐸

𝜕𝑤+α x ∆w𝑡−1 (1) Với ,  là hai hằng số dương đặc trưng cho tốc độ học và moment của

quá trình học (giảm lỗi) Tuy nhiên có một số cải tiến cho phép thay đổi các hệ số

, trong từng giai đoạn học, cũng như theo từng mẫu học để việc luyện mạng đạt hiệu quả cao nhất

Thuật toán lan truyền ngược được chia thành hai quá trình chính: lan truyền tiến (forward), lan truyền ngược (backward)

 Lan truyền tiến: là quá trình tính giá trị đầu ra {z 1 , z 2 , …, z N } dựa trên những

trọng số có sẵn với giá trị xuất Z j được tính như sau:

Z j = f(u); với u = x 1 w 1j + x 2 w 2j + … + x n w nj + w 0 (2)

Hàm f() được gọi là hàm kích hoạt(ví dụ như hàm logistic: f(u)= 1

1+𝑒 −𝑢),

khi các giá trị {z 1 , z 2 , …, z N } được tính, giá trị sai số trung bình bình phương E sẽ

được xác định thì khi đó quá trình lan truyền ngược sẽ được tiến hành

 Lan truyền ngược: là quá trình cập nhật lại các trọng số mạng dựa trên sai

số trung bình bình phương Gọi w t là trọng số tại bước thứ t, công thức cập

𝜕𝐸

𝜕𝑧 = 𝑧 − 𝑡

𝜕𝑧

𝜕𝑢 = −(1 − 𝑧) Vậy giá trị 𝛿 tại nút xuất z được tính:

𝜕𝑤 = 𝑥𝑖 (theo công thức 2) diễn tả sự thay đổi

của u vào sự thay đổi của trọng số w

với p = (z-t)z(1-z); b j là trọng số nối từ nút ẩn thứ j đến nút xuất

Khi quá trình lan truyền ngược thực hiện, các trọng số sẽ được cập nhật sao cho sai số trung bình bình phương có xu hướng giảm dần Quá trình lan truyền tiến và lan truyền ngược được thực hiện xen kẽ nhiều lần cho đến khi

đạt được giá trị sai số trung bình bình phương E mong muốn

3.2.5 Các phương pháp học

3.2.5.1 Học có giám sát (Supervised Learning)

Một thành phần không thể thiếu của phương pháp này là sự có mặt của người hướng dẫn (ở bên ngoài mạng) Người này có nhiệm vụ tìm kiếm và tập hợp tất cả tri thức ở bên ngoài môi trường Các tri thức này là các cập thông tin đầu vào và thông tin đầu ra tương ứng Hệ thống học (mạng nơ-ron) sẽ dựa vào dữ liệu

ở các đầu vào, đầu ra có trước cùng với việc thay đổi các trọng số, các ngưỡng để tạo nên một ánh xạ có khả năng ánh xạ các đầu vào thành các đầu ra mong muốn

Sự thay đổi các trọng số và ngưỡng này được tiến hành nhờ việc so sánh giữa đầu

ra thực sự và đầu ra mong muốn của mạng

Hình 3.7 Sơ đồ khối mô tả luật học có giám sát Học có giám sát được cung cấp một tập hợp các mẫu huấn luyện, thể hiện

mối quan hệ giữa thông tin đầu vào và thông tin đầu ra của mạng {p 1 , t 1 }, {p 2 , t 2 }, ., {p q , t q } với p i là một đầu vào của mạng và t i tương ứng với đầu ra thực đã thu

thập, mà đầu ra của mạng muốn đạt được sau quá trình học Khi dữ liệu đầu vào được đưa vào mạng thì ta thu được đầu ra của mạng và được so sánh với đầu ra thu thập có trước Sai số giữa đầu ra của mạng được so sánh với đầu ra thu thập trước để điều chỉnh các trọng số và độ lệch của mạng sao cho di chuyển đầu ra của mạng về gần hơn với đầu ra đã thu thập

Có hai cách sử dụng tập mẫu học là: học lần lượt từng mẫu một cho thành thạo rồi chuyển sang mẫu khác, hoặc học tất cả các mẫu cùng một lúc cho đến khi thành thạo các mẫu Cuối cùng, để đánh giá độ chính xác giữa đầu ra của mạng và đầu ra thực tế ta dùng hàm để đánh giá sai số Hàm sai số thường dùng là: sai số toàn phương trung bình (Mean Squared Error - MSE), với mục đích tính tổng sai số của các nơ-ron ở tầng đầu ra

Mạng nơ-ron

Đầu ra đúng

3.2.5.2 Học không có giám sát (Unsupervised Learning)

Trong học không có giám sát, ta có một số dữ liệu p và hàm chi phí cần được cực tiểu hóa (là một hàm bất kỳ của dữ liệu p và đầu ra của mạng) và nó

được quyết định bởi phát biểu của bài toán Phương pháp này được ứng dụng giải

quyết các bài toán ước lượng như: mô hình hóa thống kê, nén, lọc, phân cụm…

3.2.5.3 Học tăng cường (Hydrid Learning)

Các mẫu p thường không được tạo trước mà trong quá trình tương tác với môi trường thì tạo ra các mẫu dữ liệu p Tại mỗi thời điểm t, thực hiện hành động

q t và môi trường tạo một quan sát m t với một chi phí tức thời C t Các bài toán thường được giải quyết bằng học tăng cường là: bài toán điều khiển, trò chơi

Hình 3.8 Đồ thị hàm Sigmoid3

 Tanh

Hàm Tanh có công thức

2 2

1tanh( )

1

x

x

e x e

4 Nguồn từ http://cs231n.github.io

5 Nguồn từ Adeel Ahmad, An overview of activation functions used in neural networks, 2017

Hình 3.11 Đồ thị hàm ReLU6

3.2.7 Hàm biến đổi đầu ra

Trong nhiều trường hợp, kết quả của tầng đầu ra cần được biến đổi và hàm biến đổi thường được sử dụng là Softmax:

( , )

L y y thể hiện độ sai lệch giữa kết quả dự đoán ˆyvới giá trị đúng y Hàm này

luôn có giá trị không âm và chỉ bằng 0 khi ˆybằng đúng y Quá trình huấn luyện thông thường sẽ là quá trình điều chỉnh các tham số của mô hình, sao cho giá trị hàm mất mát càng nhỏ càng tốt Hàm mất mát có thể là một hàm bất kì nhận 2 vector và trả về 1 giá trị vô hướng Vì mục đích tối ưu hóa trong quá trình huấn luyện nên hàm mất mát thường được định nghĩa sao cho thuận lợi cho việc đạo hàm Các hàm mất mát thông dụng là: Hinge loss (nhị phân), Hinge loss (đa lớp), Categorical Cross-Entropy Loss, Ranking Loss…

3.2.9 Các kĩ thuật tối ưu

Overfitting là hiện tượng khi mô hình có khả năng đạt kết quả cực kỳ tốt (quá khớp) với tập dữ liệu huấn luyện, tuy nhiên lại xử lý không hiệu quả với các

dữ liệu mà mô hình chưa từng gặp Một số kỹ thuật phổ biến để tránh Overfitting như: Early Stopping, Regularization, Dropout…

3.2.9.1 Early Stopping

Trong nhiều bài toán, chúng ta cần sử dụng các thuật toán lặp để tìm ra nghiệm như thuật toán tối ưu (Gradient Descent) Nhìn chung, hàm mất mát giảm dần khi số vòng lặp tăng lên, Early Stopping dừng thuật toán trước khi hàm mất mát đạt giá trị quá nhỏ, giúp tránh hiện tượng rất khớp với tập huấn luyện nhưng khi đem ra dự đoán với dữ liệu mới thì lại không phù hợp

Một kỹ thuật thường được sử dụng là tách từ tập huấn luyện (training set)

ra một tập đánh giá (validation set), sau một hoặc một số vòng lặp, ta tính cả lỗi tập huấn luyện và lỗi tập đánh giá, đến khi lỗi tập đánh giá có chiều hướng tăng lên thì dừng lại và quay lại sử dụng mô hình tương ứng với điểm và lỗi tập đánh

giá đạt giá trị nhỏ Ở Hình 3.13, đường màu xanh là lỗi tập huấn luyện (train error), đường màu đỏ là lỗi tập đánh giá Trục x là số lượng vòng lặp, trục y là

Lỗi Mô hình được xác định tại vòng lặp mà lỗi tập đánh giá đạt giá trị nhỏ nhất

Hình 3.13 Mô tả kỹ thuật Early Stopping8

3.2.9.2 Regularization

Kĩ thuật Regularization được áp dụng với các trọng số, để tránh hiện tượng quá khớp Đặc biệt, mạng có số lượng tham số càng cao thì càng dễ mắc hiện tượng quá khớp Kĩ thuật Regularization phổ biến là: L2-Regularization, với

ý tưởng cộng thêm vào hàm mất mát một đại lượng như sau:

( ) 1

L i R

i



   Trong công thức trên, đại lượng ( )i

W Flà chuẩn Frobenius của ma trận trọng số  i

W (ma trận trọng số của tầng thứ i trong mạng) và λ là một siêu tham số điều khiển mức độ Regularization đối với các trọng số trong mạng λ lớn sẽ giới

hạn lại độ lớn trị tuyệt đối của các giá trị trong ma trận trọng số, từ đó giảm được

hiện tượng quá khớp Tuy nhiên nếu λ quá lớn sẽ dẫn đến hiện tượng chưa khớp với tập huấn luyện Vì vậy, việc lựa chọn giá trị λ phù hợp rất quan trọng

3.2.9.3 Dropout

Dropout là kỹ thuật được giới thiệu bởi Srivastava và đồng sự [3], đây là một phương pháp đơn giản nhưng hiệu quả để giảm hiện tượng quá khớp Tuy nhiên trong quá trình kiểm thử, ta giữ nguyên mạng nơ-ron đầy đủ để tính toán ra kết quả dự đoán Kết quả, mạng sẽ học được nhiều thông tin có ý nghĩa hơn từ dữ liệu huấn luyện, giảm được hiện tượng quá khớp và đạt hiệu suất cao Áp dụng

Dropout là lấy đầu ra h của mỗi tầng, sau đó giữ lại số ron với tỷ lệ p, các

nơ-ron còn lại được gán bằng 0

8 Nguồn từ Konstantin, The Mystery of Early Stopping, 2017