ỨNG DỤNG MẠNG BAYES XÂY DỰNG HỆ THỐNG ĐÁNH GIÁ MỨC ĐỘ KIẾN THỨC NĂNG LỰC NGƯỜI HỌC LUẬN VĂN THẠC SĨ KỸ THUẬT

Một số mô hình TNTN đã được nghiên cứu và hiện thực hóa như: mô hình TNTN trên cơ sở lý thuyết đáp ứng câu hỏi, mô hình TNTN trên cơ sở lôgic mờ, … Tuy nhiên các mô hình TNTN kể trên vẫn

-  -

TRẦN THỊ TUYẾT MAI

ỨNG DỤNG MẠNG BAYES XÂY DỰNG HỆ THỐNG ĐÁNH GIÁ MỨC ĐỘ KIẾN THỨC NĂNG LỰC NGƯỜI HỌC

LUẬN VĂN THẠC SĨ KỸ THUẬT

Đà Nẵng - Năm 2019

TRƯỜNG ĐẠI HỌC BÁCH KHOA -

TRẦN THỊ TUYẾT MAI

ỨNG DỤNG MẠNG BAYES XÂY DỰNG HỆ THỐNG ĐÁNH GIÁ MỨC ĐỘ KIẾN THỨC NĂNG LỰC NGƯỜI HỌC

Chuyên ngành : Khoa học máy tính

Mã số : 8480101

LUẬN VĂN THẠC SĨ

NGƯỜI HƯỚNG DẪN KHOA HỌC: Tiến sĩ Đặng Hoài Phương

Đà Nẵng – Năm 2019

LỜI CAM ĐOAN

Tôi xin cam đoan :

1 Những nội dung trong luận văn này là do tôi thực hiện dưới sự hướng dẫn trực tiếp của thầy giáo TS Đặng Hoài Phương

2 Mọi tham khảo dùng trong luận văn đều được trích dẫn rõ ràng tên tác giả, tên công trình, thời gian, địa điểm công bố

3 Mọi sao chép không hợp lệ, vi phạm quy chế đào tạo, hay gian trá, tôi xin chịu hoàn toàn trách nhiệm

LỜI CẢM ƠN

Trước hết, tôi xin bày tỏ lòng biết ơn sâu sắc đến Tiến sĩ Đặng Hoài Phương,

người thầy đã nhiệt tình hướng dẫn tôi hoàn thành luận văn này trong thời gian qua

Tôi xin bày tỏ lòng biết ơn chân thành đến khoa Công nghệ thông tin Trường ĐH Bách khoa, Đại học Đà Nẵng và trường ĐH Quảng Bình, cùng tất cả các thầy cô giáo

đã tham gia giảng dạy trong suốt quá trình tôi học tập và hoàn thành các chuyên đề thạc sĩ khoá 35 ngành Khoa học máy tính của trường tại Đại học Quảng Bình

Tôi cũng xin cảm ơn các thầy cô giáo trong Ban giám hiệu, tổ Tin học trường THPT Lê Quý Đôn – Bố Trạch - Quảng Bình, nơi tôi đang công tác giảng dạy, đã giúp

đỡ và tạo điều kiện cho tôi trong quá trình học tập

Cuối cùng, tôi xin được gửi lời cảm ơn tới gia đình, bạn bè, đồng nghiệp - những người luôn cổ vũ động viên tôi để tôi hoàn thành tốt luận văn này

Tuy đã có nhiều cố gắng, luận văn chắc chắn không tránh khỏi những thiếu sót cần được góp ý, sửa chữa Rất mong nhận được những ý kiến đóng góp của các thầy cô

và bạn đọc

Học viên

Trần Thị Tuyết Mai

MỤC LỤC

DANH SÁCH CÁC CHỮ VIẾT TẮT vi

DANH SÁCH CÁC BẢNG BIỂU vii

DANH SÁCH CÁC HÌNH viii

MỞ ĐẦU 1

1 Lý do chọn đề tài 1

2 Mục đích và ý nghĩa đề tài 2

2.1 Mục đích 2

2.2 Ý nghĩa khoa học và thực tiễn của đề tài 2

3 Mục tiêu và nhiệm vụ 2

3.1 Mục tiêu 2

3.2 Nhiệm vụ 2

4 Đối tượng và phạm vi nghiên cứu 2

5 Phương pháp nghiên cứu 3

5.1 Phương pháp lý thuyết 3

5.2 Phương pháp thực nghiệm 3

6 Cấu trúc luận văn 3

CHƯƠNG I: CƠ SỞ LÝ LUẬN VÀ THỰC TIỄN 4

1.1 Tổng quan về trắc nghiệm thích nghi 4

1.2 Mô hình tổng quan TNTN 5

1.3 Kết chương 10

CHƯƠNG II: XÂY DỰNG MÔ HÌNH TNTN TRÊN CƠ SỞ MẠNG BAYES 11

2.1 Mạng Bayes 11

2.1.1 Giới thiệu 11

2.1.2 Công thức Bayes 11

2.1.3 Cấu trúc mạng Bayes 12

2.1.4 Bảng xác suất có điều kiện (CPT) 13

2.2 Thuật toán TNTN tổng quát 14

2.3 Xây dựng đồ thị kiến thức 15

2.3.1 Đỉnh chứng cứ 15

2.3.2 Đỉnh kiến thức 15

2.4 Mô hình TNTN theo kiến thức trên cơ sở mạng Bayes và IRT 16

2.5 Thuật toán TNTN trên cơ sở Lý thuyết đáp ứng câu hỏi 18

2.6 Đánh giá tập hợp tham số câu hỏi trắc nghiệm 23

2.7 Kết luận 26

CHƯƠNG III: XÂY DỰNG HỆ THỐNG TRẮC NGHIỆM THÍCH NGHI 27

3.1 Phân tích và thiết kế hệ thống 27

3.2 Triển khai hệ thống và đánh giá kết quả 39

3.2.1 Thiết kế dữ liệu hệ thống 39

3.2.2 Đánh giá kết quả thực nghiệm 39

3.3 Kết luận 41

KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 42

TÀI LIỆU THAM KHẢO 43

ỨNG DỤNG MẠNG BAYES XÂY DỰNG HỆ THỐNG ĐÁNH GIÁ MỨC ĐỘ

KIẾN THỨC NĂNG LỰC NGƯỜI HỌC

Học viên: Trần Thị Tuyết Mai Chuyên ngành: Khoa học máy tính

Mã số: 8480101 Khóa: K35.KMT.QB Trường Đại học Bách khoa - ĐHĐN

Tóm tắt : Kiểm tra đánh giá là một khâu quan trọng trong quá trình dạy học, giúp giáo viên

điều chỉnh việc dạy và học sinh kịp thời điều chỉnh việc học của mình Hiện nay có nhiều hình thức kiểm tra đánh giá học sinh trong đó mô hình trắc nghiệm thích nghi được đánh giá là tối

ưu nhất Trắc nghiệm thích nghi là phương pháp đánh giá trình độ người học bằng hình thức kiểm tra trắc nghiệm khách quan theo hướng tiếp cận năng lực của người học Luận văn này nghiên cứu về trắc nghiệm thích nghi, lý thuyết đáp ứng câu hỏi, mạng Bayes và trình bày mô hình trắc nghiệm thích nghi dựa trên lý thuyết đáp ứng câu hỏi sử dụng mạng Bayes Luận văn cũng giới thiệu các phân tích thiết kế hệ thống mô hình ứng dụng thích nghi cho 1 bộ môn

cụ thể ở bậc phổ thông cùng kết quả và hướng phát triển tiếp theo

Từ khóa: Trắc nghiệm thích nghi, trắc nghiệm khách quan, lý thuyết trắc nghiệm cổ điển,

lý thuyết đáp ứng câu hỏi, mạng Bayes

BAYESIAN NETWORK APPLICATION TO BUILD A SYSTEM OF

EVALUATING LEARNER'S KNOWLEDGE AND CAPABILITY

Student: Tran Thi Tuyet Mai Major: Computer Science

Code: 8480101 Course: K35.KMT.QB Polytechnic University - Da Nang University

Abstract: Assessment is an important step in the teaching process, helping teachers adjust

their teaching and students to adjust their learning promptly Currently, there are many forms

of student assessment and the adaptive testing model is considered to be the most optimal Adaptive testing is a method of assessing learner's qualifications by examining objective tests according to learner's ability approach This thesis studies adaptive testing, the item response theory, Bayesian networks and presents adaptive testing model based on the theory of responding to questions using Bayesian networks The thesis also introduces the analysis of adaptive model system design for one universal subject with the results and the next development direction

Keywords: Adaptive Test, Objective Test, Classical Test Theory, Item Response Theory,

Bayes Network

DANH SÁCH CÁC CHỮ VIẾT TẮT

CAT Computer Adaptive Testing CPT Conditional Probability Table

DANH SÁCH CÁC BẢNG BIỂU

Bảng 1: CPT của các biến “Road Conditions” của mạng Bayes theo hình 2.2 13

Bảng 2: CPT của các biến “Precipitation” trong mạng Bayes theo hình 2.2 13

Bảng 3: Cấu trúc các đỉnh kiến thức môn tin học lớp 11 39

Bảng 4: Kết quả đánh giá mức độ kiến thức đối với môn Tin học 11 40

DANH SÁCH CÁC HÌNH

Hình 1.1 Các thành phần cơ bản của mô hình TNTN 6

Hình 1.2 Mô tả hoạt động của TNTN 7

Hình 2.1 Mô hình minh họa cho mạng Bayes [9] 11

Hình 2.2 Cấu trúc đơn giản của mạng Bayes trong tự nhiên 12

Hình 2.3 Cấu trúc mạng Bayes tổng quát 13

Hình 2.4 Thuật toán tổng quát TNTN 15

Hình 2.5 BN cho môn học S và các đỉnh thành phần kiến thức 17

Hình 3.1 Sơ đồ phân rã chức năng của hệ thống 28

Hình 3.2 Biểu đồ ca sử dụng của hệ thống 29

Hình 3.3 Biểu đồ lớp của hệ thống 30

Hình 3.4 Biểu đồ hoạt động của Admin 31

Hình 3.5 Biểu đồ hoạt động quản lý đồ thị kiến thức 32

Hình 3.6 Biểu đồ hoạt động của thí sinh 33

Hình 3.7 Biểu đồ hoạt động lựa chọn câu hỏi phù hợp 34

Hình 3.8 Biểu đồ tuần tự module lựa chọn câu hỏi theo mức độ năng lực trong hệ thống trắc nghiệm thích nghi 35

Hình 3.9 Biểu đồ tuần tự module lựa chọn câu hỏi ngẫu nhiên trong hệ thống trắc nghiệm thích nghi 36

Hình 3.10 Biểu đồ trạng thái hoạt động thi của thí sinh 36

Hình 3.11 Giao diện quản lý của Admin 37

Hình 3.12 Giao diện quản lý ngân hàng câu hỏi 37

Hình 3.13 Giao diện quản lý thí sinh 38

Hình 3.14 Giao diện làm trắc nghiệm của thí sinh 38

Hình 3.15 Kết quả trắc nghiệm 02 nhóm học sinh 40

MỞ ĐẦU

1 Lý do chọn đề tài

Mục tiêu giáo dục của nước ta đã được đặt ra trong Nghị quyết 29 của Ban Chấp hành Trung ương Đảng Nghị quyết khẳng định: “Phải chuyển đổi căn bản toàn bộ nền giáo dục từ chủ yếu nhằm trang bị kiến thức sang phát triển phẩm chất và năng lực người học, biết vận dụng tri thức vào giải quyết các vấn đề thực tiễn; Chuyển nền giáo dục nặng về chữ nghĩa, ứng thí sang một nền giáo dục thực học, thực nghiệp”, trong đó, đổi mới về phương thức kiểm tra đánh giá là một yêu cầu bức thiết trong giai đoạn hiện nay

Kiểm tra đánh giá kết quả học học tập của học sinh là một khâu có vai trò quan trọng trong quá trình dạy học Nó đảm bảo mối liên hệ ngược trong quá trình dạy học

bộ môn, giúp giáo viên điều chỉnh việc dạy và học sinh kịp thời điều chỉnh việc học của mình Từ đó, góp phần củng cố, đào sâu, hệ thống hóa kiến thức của học sinh và có tác dụng giáo dục học sinh về tinh thần trách nhiệm, thói quen đào sâu suy nghĩ, ý thức vươn lên trong học tập, thái độ làm việc nghiêm túc, trung thực

Các phương pháp đánh giá truyền thống như: vấn đáp, tự luận,… thường cho kết quả có độ chính xác không cao, tốn thời gian, không khách quan và chỉ tập trung đánh giá được về mặt kiến thức, chưa chú ý đến đánh giá năng lực của người học

Một trong những hệ thống trắc nghiệm đang được sử dụng phổ biến là trắc nghiệm khách quan (Objective Test) Tuy nhiên mô hình trắc nghiệm này vẫn chưa thực

sự đưa ra kết quả đúng đắn hoặc công bằng do một số nguyên nhân: bộ câu hỏi trong một bài kiểm tra được lựa chọn một cách ngẫu nhiên nên sẽ có bài kiểm tra quá khó hoặc quá dễ

Một mô hình trắc nghiệm đã và đang được nghiên cứu hiện nay là trắc nghiệm thích nghi (TNTN) trên máy tính (Computerized Adaptive Testing - CAT) Mô hình này cho phép lựa chọn câu hỏi tiếp theo phù hợp với mức kiến thức và năng lực hiện tại của thí sinh Năng lực thí sinh được cập nhật thường xuyên trong quá trình đánh giá và quá trình đánh giá sẽ kết thúc khi đưa ra được chính xác mức kiến thức và năng lực thực sự của thí sinh

Ngày nay, với sự phát triển vượt bậc của khoa học máy tính nên vấn đề triển khai các hệ thống TNTN dựa trên cơ sở các mô hình toán học là hoàn toàn khả thi Một số

mô hình TNTN đã được nghiên cứu và hiện thực hóa như: mô hình TNTN trên cơ sở lý thuyết đáp ứng câu hỏi, mô hình TNTN trên cơ sở lôgic mờ, … Tuy nhiên các mô hình TNTN kể trên vẫn còn tồn tại một số nhược điểm: chỉ đánh giá mức độ năng lực của thí sinh theo chiều ngang kiến thức,… Vì vậy tôi đề xuất đề tài “Ứng dụng mạng Bayes xây dựng hệ thống đánh giá mức độ kiến thức năng lực người học” để khắc phục các nhược điểm trên

2 Mục đích và ý nghĩa đề tài

2.1 Mục đích

Mục đích nghiên cứu của đề tài:

- Xây dựng mô hình trắc nghiệm thích nghi trên cơ sở Mạng Bayes;

- Xây dựng hệ thống TNTN trên cơ sở mô hình đề xuất và triển khai ứng dụng cho việc đánh giá kiến thức và kỹ năng môn Tin học lớp 11 của học sinh trường THPT

Lê Quý Đôn - Quảng Bình

- Góp phần vào hướng nghiên cứu mô hình thích nghi, đặc biệt là TNTN nhằm ứng dụng cho thực tiễn giáo dục tại Việt Nam

2.2 Ý nghĩa khoa học và thực tiễn của đề tài

Mô hình TNTN đề xuất là sự kết hợp giữa hai lĩnh vực nghiên cứu là trắc nghiệm thích nghi và lý thuyết mạng Bayes

3 Mục tiêu và nhiệm vụ

3.1 Mục tiêu

Mục tiêu chính của đề tài là xây dựng mô hình trắc nghiệm đánh giá mức độ năng lực, kiến thức người học Để thỏa mãn mục tiêu này thì cần đạt được những mục tiêu cụ thể sau:

- Xây dựng mô hình TNTN trên cơ sở mạng Bayes & IRT;

- Hiện thực hóa hệ thống TNTN đánh giá mức độ năng lực người học dựa trên mô hình đề xuất

3.2 Nhiệm vụ

Để đạt được những mục tiêu trên thì nhiệm vụ đặt ra của đề tài là:

- Nghiên cứu mô hình trắc nghiệm thích nghi đánh giá mức độ năng lực, kiến thức người học;

- Phát biểu, phân tích và cài đặt giải thuật cho bài toán đặt ra (ứng dụng mạng Bayes);

- Xây dựng mô hình và ứng dụng hệ thống;

- Đánh giá kết quả theo yêu cầu của đề tài

4 Đối tượng và phạm vi nghiên cứu

Đối tượng nghiên cứu: Đề tài tìm hiểu về các phương pháp đánh giá kiến thức, nhận thức và kỹ năng; các mô hình và thuật toán trắc nghiệm thích nghi; lý thuyết mạng Bayes Từ đó dựa trên cơ sở lý thuyết mạng Bayes và lý thuyết đáp ứng câu hỏi để xây dựng mô hình TNTN

Phạm vi nghiên cứu: Đề tài sử dụng lý thuyết mạng Bayes và lý thuyết đáp ứng câu hỏi làm cơ sở để xây dựng mô hình TNTN cho môn học Tin học lớp 11 tại trường

THPT Lê Quý Đôn – Quảng Bình

5 Phương pháp nghiên cứu

- Xây dựng hệ thống TNTN trên cơ sở mô hình đề xuất

- Xây dựng cơ sở dữ liệu ngân hàng câu hỏi môn Tin học lớp 11

- Triển khai và đánh giá hệ thống TNTN đã đề xuất trong thực tế

6 Cấu trúc luận văn

Luận văn gồm 3 chương

Chương 1: Cơ sở lý luận và thực tiễn

Chương 2: Xây dựng mô hình TNTN trên cơ sở mạng Bayes

Chương 3: Xây dựng hệ thống trắc nghiệm thích nghi

Trong đó:

Chương 1: Chương này tiến hành nghiên cứu khái niệm trắc nghiệm thích nghi, phân tích mô hình TNTN và hoạt động của mô hình trắc nghiệm thích nghi Từ đó thấy được mô hình trắc nghiệm thích nghi là mô hình tối ưu nhất để đánh giá năng lực, kiến thức người học một cách nhanh chóng và chính xác

Chương 2: Trình bày nội trắc nghiệm thích nghi trên lý thuyết đáp ứng câu hỏi,

lý thuyết mạng Bayes, áp dụng vào xây dựng đồ thị kiến thức đồng thời đề xuất mô hình TNTN theo kiến thức trên cơ sở tổng hợp mạng Bayes và IRT Từ đó đưa ra đề xuất áp dụng lý thuyết trắc nghiệm cổ điển trong việc đánh giá tập tham số của ngân hàng câu hỏi trắc nghiệm

Chương 3: Trình bày quá quá trình triển khai xây dựng hệ thống trắc nghiệm thích nghi trên cơ sở mô hình đề xuất & các mô hình trắc nghiệm thích nghi đã tồn tại Triển khai hệ thống trong thực tế và đánh giá kết quả đạt được Từ kết quả cho thấy mô hình đề xuất cho phép đánh giá mức độ năng lực & kiến thức thí sinh chính xác và có hiệu quả hơn

CHƯƠNG I: CƠ SỞ LÝ LUẬN VÀ THỰC TIỄN 1.1 Tổng quan về trắc nghiệm thích nghi

Hiện nay, trắc nghiệm là một trong những phương pháp đánh giá kiến thức người học đang được sử dụng rộng rãi và mang lại hiệu quả tốt, đặc biệt là các hệ thống trắc nghiệm trên máy tính Lý thuyết trắc nghiệm cổ điển là một trong những lý thuyết quan trọng liên quan đến khoa học đo lường đánh giá được xây dựng dựa trên khoa học xác suất và thống kê [1] Lý thuyết này được ứng dụng trong việc phân tích câu hỏi trắc nghiệm nhằm làm tăng chất lượng của chúng, loại bỏ, sửa chữa và tuyển chọn câu hỏi theo yêu cầu Tuy nhiên, việc ứng dụng lý thuyết trắc nghiệm cổ điển vào các hệ thống trắc nghiệm không đánh giá được mức độ năng lực thí sinh một cách chính xác Tất cả các thí sinh đều phải trả lời một số lượng câu hỏi như nhau và các câu hỏi được lựa chọn ngẫu nhiên từ ngân hàng câu hỏi Điều này sẽ khiến thí sinh sẽ không thể nhận được câu hỏi phù hợp với mức độ năng lực hiện tại của mình và dẫn đến việc đánh giá không chính xác Nhằm khắc phục nhược điểm của Lý thuyết trắc nghiệm cổ điển thì Trắc nghiệm thích nghi được phát triển

Trắc nghiệm thích nghi (TNTN) là phương pháp đánh giá trình độ thí sinh (học sinh, sinh viên, ứng viên …) bằng hình thức kiểm tra trắc nghiệm khách quan (TNKQ) theo hướng tiếp cận năng lực của thí sinh Phương pháp này sử dụng chuỗi câu hỏi tương ứng với mức năng lực của từng thí sinh cụ thể Dựa trên những phản hồi của sinh viên, các chương trình máy tính điều chỉnh độ khó của câu hỏi trong suốt quá trình đánh giá

Ví dụ, một thí sinh trả lời một câu hỏi một cách chính xác sẽ nhận được một câu hỏi tiếp theo khó hơn, ngược lại hệ thống tạo ra một câu hỏi dễ hơn cho thí sinh Bằng cách đó tạo ra sự thích ứng cho thí sinh, những đánh giá này giống như việc thiết kế một bộ câu hỏi riêng dành cho mỗi thí sinh từ đó có thể nhanh chóng xác định các kỹ năng thí sinh

đã nắm vững Cách tiếp cận này đại diện cho sự cải thiện đáng kể so với những đánh giá bằng phương pháp trắc nghiệm truyền thống được sử dụng trong nhiều trường học hiện nay, cung cấp điểm số chính xác hơn cho tất cả thí sinh trong phạm vi đầy đủ và liên tục Hệ thống TNTN là một hệ thống phần mềm phục vụ công tác đánh giá trình độ thí sinh Ngoài các đặc tính như các hệ thống thi trắc nghiệm khách quan bình thường, hệ thống TNTN được phát triển dựa trên cơ sở mô hình TNTN để đạt mục đích xây dựng chuỗi câu hỏi phù hợp với năng lực của từng thí sinh Trắc nghiệm thích nghi [2] là quá trình trắc nghiệm mà trong đó tập hợp câu hỏi được đưa ra để đánh giá phụ thuộc vào khả năng của thí sinh Với việc sử dụng trắc nghiệm thích nghi thì thứ tự, số lượng, nội dung và độ khó câu hỏi đưa ra cho mỗi thí sinh là khác nhau, cho phép thí sinh có thể nhận được câu hỏi phù hợp với mức độ năng lực hiện tại của mình nhất, giúp cho kết quả đánh giá mức độ năng lực thí sinh được chính xác và khách quan hơn Hiện nay, các hệ thống trắc nghiệm thích nghi trên máy tính được xây dựng dựa trên các thuật toán

trắc nghiệm thích nghi khác nhau Một trong những mô hình được sử dụng phổ biến nhất hiện nay là mô hình trắc nghiệm thích nghi trên cơ sở lý thuyết đáp ứng câu hỏi (Item Response Theory – IRT) [3] Lý thuyết đáp ứng câu hỏi cho phép đánh giá mối tương quan giữa mức độ năng lực thí sinh với tập hợp tham số câu hỏi thông qua hàm thông tin câu hỏi Do đó số lượng, thứ tự và mức độ câu hỏi đánh giá đối với mỗi thí sinh là khác nhau Từ [1] và [3] có thể thấy rằng lý thuyết trắc nghiệm cổ điển tiếp cận việc đánh giá thí sinh ở cấp độ tập hợp các câu hỏi trong một đề thi trắc nghiệm, còn lý thuyết đáp ứng câu hỏi lại tiếp cận ở cấp độ từng câu hỏi được đưa ra Ưu điểm của trắc nghiệm thích nghi so với lý thuyết trắc nghiệm cổ điển là mỗi thí sinh sẽ trả lời một bộ câu hỏi riêng biệt, khác nhau về nội dung, độ khó và số lượng câu hỏi; và mỗi thí sinh

sẽ được đánh giá riêng biệt (dựa vào mức độ năng lực của thí sinh)

1.2 Mô hình tổng quan TNTN

Về cơ bản TNTN cũng có các thành phần cơ bản như đối với hình thức trắc nghiệm khách quan: ngân hàng câu hỏi (Calibrated item bank), thuật toán lựa chọn câu hỏi (Item selection algorithm), thuật toán đánh giá (Scoring algorithm) và điều kiện dừng (Termination criterion) Tuy nhiên, các thành phần này có những điểm khác so với trắc nghiệm khách quan Cụ thể như sau:

- Ngân hàng câu hỏi (NHCH): là tập hợp câu hỏi đã được ước lượng các tham

số đặc trưng như độ khó, độ phân biệt và độ dự đoán ngân hàng câu hỏi được

sử dụng để làm cơ sở đánh giá năng lực thí sinh Do đó, ngân hàng câu hỏi tốt đòi hỏi cần tương đối lớn và phong phú (nhiều câu hỏi có độ khó khác nhau và độ phân biệt khác nhau)

- Thuật toán lựa chọn câu hỏi: Việc đánh giá năng lực của thí sinh trong TNTN

phụ thuộc rất lớn vào thuật toán lựa chọn câu hỏi Vì nếu câu hỏi quá dễ so với năng lực của thí sinh thi thí sinh có thể dễ dàng trả lời và ngược lại, câu hỏi quá khó so với năng lực của thí sinh thì thí sinh rất khó để trả lời trong một thời gian có hạn hoặc là hoàn thành câu trả lời bằng cách đoán mò Điều này dẫn tới tình trạng việc đánh giá năng lực thí sinh không chính xác Vậy nên thuật toán này được sử dụng để lựa chọn câu hỏi tốt nhất từ ngân hàng câu hỏi để đưa vào bài kiểm tra Câu hỏi được cho là tốt nhất là câu phù hợp nhất với năng lực (kiến thức) hiện tại của thí sinh Hay nói cách khác, câu hỏi hỏi này có các tham số câu hỏi tương ứng với tham số năng lực (kiến thức) hiện tại của thí sinh Thuật toán lựa chọn câu hỏi thông thường được thực hiện dựa trên lý thuyết đáp ứng câu hỏi bằng cách mô tả sự tương quan giữa đại lượng hàm thông tin câu hỏi trắc nghiệm và xác suất trả lời đúng câu hỏi trên mức độ năng lực, kiến thức hiện tại của thí sinh

- Thuật toán đánh giá mức độ kiến thức, năng lực thí sinh: Sau khi nhận kết

quả lựa chọn câu hỏi đề nghị từ thí sinh (đúng/sai), TNTN sẽ tiến hành tính toán đánh giá lại mức độ kiến thức, năng lực của thí sinh Việc tính toán này

sẽ đưa tham số mức độ kiến thức, năng lực tiệm cận dần đến giá trị thực của thí sinh khi mức độ kiến thức, năng lực đánh giá lần sau không thay đổi nhiều

so với lần đánh giá trước Tuy nhiên, tại thời điểm bắt đầu giá trị mức độ kiến thức, năng lực ban đầu của thí sinh chưa được tính toán Hệ thống sẽ khởi tạo giá trị cho mức độ kiến thức, năng lực thí sinh ở mức trung bình

- Điều kiện dừng: cần phải có các điều kiện dừng và các phương án đánh giá

để làm căn cứ kết thúc quá trình TNTN vì mô hình TNTN hoạt động theo một thuật toán lặp các thao tác lựa chọn câu hỏi, thí sinh thực thi, đánh giá năng lực và lựa chọn câu hỏi tiếp theo và để hoàn thành việc đánh giá năng lực của thí sinh dự thi Điều kiện dừng có thể là một hoặc một số tiêu chí như: độ sai lệch năng lực thấp, thời gian làm bài vượt quá thời gian quy định, số lượng câu hỏi vượt quá mức quy định, …

Hình 1.1 Các thành phần cơ bản của mô hình TNTN

Hoạt động của TNTN hay thuật toán TNTN là một thuật toán lặp (hình 1.2), trong

đó có các thao tác cơ bản như: Khởi tạo năng lực khởi đầu của thí sinh; Lựa chọn câu hỏi để chọn ra câu hỏi phù hợp nhất từ ngân hàng câu hỏi để cho thí sinh thực hiện; Nhận kết quả phản hồi để ghi nhận kết quả trả lời từ thí sinh: Ước lượng năng lực mới dùng để thực hiện các tính toán để ước lượng lại năng lực mới của thí sinh; Điều kiện dừng là tập các điều kiện để xác định việc tiếp tục lựa chọn câu hỏi hoặc kết thúc quá trình đánh giá

Hình 1.2 Mô tả hoạt động của TNTN

Hiện nay, các hệ thống trắc nghiệm thích nghi trên máy tính được xây dựng trên nhiều mô hình trắc nghiệm thích nghi khác nhau sử dụng: Lý thuyết đáp ứng câu hỏi, Logic mờ, Lý thuyết otomat, Chuỗi Markov… Tuy nhiên một trong những mô hình được sử dụng phổ biến nhất hiện nay là mô hình trắc nghiệm thích nghi trên cơ sở lý thuyết đáp ứng câu hỏi (Item Response Theory – IRT) [3]

Lý thuyết đáp ứng câu hỏi cho phép đánh giá mối tương quan giữa mức độ năng lực thí sinh với tập hợp tham số câu hỏi thông qua hàm thông tin câu hỏi Do đó số lượng, thứ tự và mức độ câu hỏi đánh giá đối với mỗi thí sinh là khác nhau

Từ [1] và [3] có thể thấy rằng lý thuyết trắc nghiệm cổ điển tiếp cận việc đánh giá thí sinh ở cấp độ tập hợp các câu hỏi trong một đề thi trắc nghiệm, còn lý thuyết đáp ứng câu hỏi lại tiếp cận ở cấp độ từng câu hỏi, từng phân vùng kiến thức được đưa ra

Ưu điểm của trắc nghiệm thích nghi so với lý thuyết trắc nghiệm cổ điển là mỗi thí sinh

sẽ trả lời một bộ câu hỏi riêng biệt, khác nhau về nội dung, độ khó và số lượng câu hỏi;

và mỗi thí sinh sẽ được đánh giá riêng biệt (dựa vào mức độ năng lực hoặc mức độ kiến thức của thí sinh)

1.2.1 Mô hình TNTN trên cơ sở lý thuyết đáp ứng câu hỏi

Lý thuyết ứng đáp câu hỏi là một lý thuyết của khoa học về đo lường trong giáo dục, ra đời từ nửa sau của thế kỷ 20 và phát triển mạnh mẽ cho đến nay Đây là lý thuyết trắc nghiệm được xây dựng dựa trên mô hình toán học, đòi hỏi nhiều tính toán, nhưng nhờ sự tiến bộ vượt bậc của công nghệ tính toán bằng máy tính điện tử vào cuối thế kỷ

20 – đầu thế kỷ 21 nên nó đã phát triển nhanh chóng và đạt được những thành tựu quan trọng [3]

Trắc nghiệm thích nghi dựa trên lý thuyết đáp ứng câu hỏi là phương pháp sử dụng lý thuyết đáp ứng câu hỏi để xây dựng hệ thống TNTN trong đó việc lựa chọn ra câu hỏi tiếp theo cho thí sinh (dựa trên các giá trị đặc trưng của câu hỏi) sao cho câu hỏi được lựa chọn phải phù hợp với năng lực của từng thí sinh tại mỗi thời điểm trả lời xong một câu hỏi

Giá trị năng lực thí sinh 𝜃 và các giá trị tham số đặc trưng (độ khó, độ phân biệt,

độ đoán mò) cho các câu hỏi kết hợp với các công thức tính toán đã được chứng minh

sẽ quyết định được câu hỏi tiếp theo được lựa chọn đưa ra đánh giá thí sinh

Phương pháp này đã phát huy được khả năng tiếp cận năng lực thí sinh, cho phép lựa chọn câu hỏi phù hợp với mức độ năng lực hiện tại của thí sinh Tuy nhiên, việc lựa chọn câu hỏi tiếp theo là độc lập với câu hỏi đã trả lời, chưa có được mối liên kết giữa nội dung các câu hỏi được lựa chọn Các câu hỏi lựa chọn có liên kết về mặt giá trị tham

số đặc trưng nhưng lại rời rạc về mặt nội dung Chưa tính được xác suất trả lời đúng sai của thí sinh đối với câu hỏi tiếp theo được lựa chọn

1.2.2 Mô hình thích nghi trên cơ sở chuỗi Markov

Mô hình trắc nghiệm thích nghi sử dụng lý thuyết đáp ứng câu hỏi không tính toán đến mối tương quan giữa các câu trả lời Mặt khác sự tương quan giữa các câu trả lời của thí sinh có thể cung cấp thông tin của chính câu hỏi cho phép khảo sát sự ảnh hưởng giữa các câu hỏi với nhau và sự ảnh hưởng này sẽ được thể hiện trong các câu trả lời Và mối tương quan này cho phép đánh giá một cách gián tiếp về chất lượng ngân hàng câu hỏi

Hiện nay một số tác giả đề xuất sử dụng chuỗi Markov để đánh giá mối tương quan giữa các câu trả lời trong mô hình TNTN Nếu xem rằng mô hình chuỗi các câu trả lời là một chuỗi Markov đồng nhất Theo luật số lớn trong định lý Poisson thì xác suất chuyển trạng thái không thay đổi với các giá trị xác suất khác nhau của mỗi bước chuyển trong điều kiện số lượng thử nghiệm là đủ lớn

Giả sử rằng sau 𝑥𝑡 = 𝑎 trạng thái, thí sinh trả lời đúng câu hỏi trắc nghiệm, và sau 𝑥𝑡 = 𝑏 trạng thái, thí sinh trả lời sai câu hỏi trắc nghiệm Xác suất xuất hiện câu trả lời đúng hoặc sai là một đại lượng ngẫu nhiên rời rạc, sử dụng mô hình Markov đơn

giản thì quá trình chuyển từ trạng thái này sang trạng thái khác của câu trả lời thí sinh được xác định bởi ma trận xác suất chuyển trạng thái:

pij(t) = [ppbb pba

ab paa] (1) Trong đó:

- pij(t) = p(xt = j | xt−1 = i) là xác suất chuyển dịch có điều kiện nếu tại thời điểm 𝑡, kết quả câu trả lời của thí sinh là 𝑗 với điều kiện tại thời điểm 𝑡 − 1 kết quả câu trả lời của thí sinh là 𝑖;

- 𝑥(𝑡) và 𝑥(𝑡 − 1) là câu trả lời của TS tại thời điểm 𝑡 và 𝑡 − 1;

- 𝑖, 𝑗 = {𝑎, 𝑏} – kết quả câu trả lời (đúng hoặc sai)

Ngoài ma trận xác suất chuyển trạng thái, để sử dụng mô hình Markov cần thiết lập xác suất cho trạng thái đầu của thí sinh tại thời điểm bắt đầu trắc nghiệm: 𝑡 =

là xác suất không điều kiện

Điều này cho thấy mô hình trắc nghiệm thích nghi sử dụng chuỗi Markov để đánh giá năng lực người học sẽ chính xác hơn mô hình TNTN trên cơ sở lý thuyết đáp ứng câu hỏi

Mô hình trắc nghiệm thích nghi trên sử dụng mô hình xác suất dựa trên kết quả thống kê tập hợp tham số câu hỏi trong ngân hàng câu hỏi trắc nghiệm, do đó cho phép đánh giá mức độ năng lực thí sinh được khách quan và chính xác hơn Tuy nhiên, mô hình TNTN trên cơ sở IRT và chuỗi Markov vẫn còn tồn tại hạn chế là chỉ cho phép đánh giá mức độ năng lực thí sinh theo chiều ngang kiến thức cần đánh giá (dựa vào tập ngân hàng câu hỏi trắc nghiệm) Do đó tôi đề xuất ứng dụng Bayes Network (BN) để xây dựng hệ thống trắc nghiệm thích nghi cho phép đánh giá được mức độ kiến thức của thí sinh với các thành phần kiến thức của nội dung cần đánh giá

1.3 Kết chương

Chương này tiến hành nghiên cứu khái niệm trắc nghiệm thích nghi, phân tích

mô hình TNTN trên cơ sở IRT và chuỗi Markov đối với các hệ thống TNTN phổ biến hiện nay Từ đó nêu lên hạn chế của các mô hình TNTN hiện tại là chỉ cho phép đánh giá mức độ năng lực thí sinh theo chiều ngang nội dung kiến thức và đề xuất áp dụng

BN để xây dựng hệ thống TNTN cho phép đánh giá mức độ kiến thức của thí sinh theo chiều sâu của nội dung kiến thức cần đánh giá

CHƯƠNG II: XÂY DỰNG MÔ HÌNH TNTN TRÊN CƠ SỞ MẠNG BAYES 2.1 Mạng Bayes

2.1.1 Giới thiệu

Bayesian Belief Networks (BBNs) còn gọi là Bayesian Networks (BNs) hay Belief Networks (BNs) được phát triển đầu tiên vào cuối những năm 1970s ở Đại học Stanford [8] BBNs là mô hình đồ thị (graphical model) thể hiện mối quan hệ nhân – quả (cause – effect) giữa các biến BBNs chủ yếu dựa trên lý thuyết xác suất có điều kiện hay còn gọi là lý thuyết Bayes (Bayesian theory, hay Bayes’ theory) Mạng Bayes còn là một dạng của biểu đồ ảnh hưởng (influence diagram), kết hợp hài hòa giữa lý thuyết xác suất và lý thuyết đồ thị để giải quyết hai vấn đề quan trọng: tính không chắc chắn và tính phức tạp, được ứng dụng rộng rãi trong toán học và kỹ thuật [9]

Hình 2.1 Mô hình minh họa cho mạng Bayes [9]

Cùng với các lý thuyết khác như lôgic mờ (Fuzzy Logic), mạng nơron nhân tạo (Artificial Neural Networks - ANNs), thuật toán gen (Genitic Algorithrs - GAs)…, BBNs là phương pháp chủ yếu dựa trên xác suất có điều kiện để dự báo (prediction) hoặc chuẩn đoán (diagnosis) một sự việc, một vấn đề đã, đang và sắp xảy ra

2.1.2 Công thức Bayes

BBNs dựa trên lý thuyết xác suất có điều kiện của Thomas Bayes, ông đã đưa ra qui luật cơ bản của xác suất, do đó gọi là công thức Bayes [10] Công thức đơn giản nhất như sau:

𝑃(𝐴|𝐵) = 𝑃(𝐵|𝐴)𝑃(𝐴)

Trong đó:

- 𝐴 và 𝐵 là hai sự kiện có thể xảy ra và phụ thuộc với nhau

- 𝑃(𝐴) là xác suất của sự kiện 𝐴;

- 𝑃(𝐵) là xác suất của sự kiện 𝐵;

- 𝑃(𝐵/𝐴) là xác suất có điều kiện của 𝐵 khi biết trước 𝐴 đã xảy ra;

- 𝑃(𝐴/𝐵) là xác suất có điều kiện của 𝐴 khi biết trước 𝐵 đã xảy ra

2.1.3 Cấu trúc mạng Bayes

Mạng Bayes là mô hình trực tiếp mà mỗi biến được đại diện bởi một nút (node), mối quan hệ nhân quả giữa hai biến đó được biểu thị bằng mũi tên được gọi “edge” Mũi tên hướng từ nút nguyên nhân “parent node” đến nút kết quả “child node” Nút kết quả phụ thuộc có điều kiện vào nút nguyên nhân Mỗi nút (hay là biến) có một trạng thái (state) tùy thuộc đặc trưng của biến đó Cụ thể, theo hình 2.2, nút “tuyết rơi” là nút nguyên nhân ảnh hưởng đến nút kết quả “tình trạng con đường” và chúng có những trạng thái tương ứng [11]

Hình 2.2 Cấu trúc đơn giản của mạng Bayes trong tự nhiên

Hình 2.3 thể hiện cấu trúc của mạng BBNs tổng quát hơn, phức tạp hơn với nhiều nút (nodes) và nhiều cạnh liên kết (edges) [12]

Hình 2.3 Cấu trúc mạng Bayes tổng quát 2.1.4 Bảng xác suất có điều kiện (CPT)

Mỗi nút luôn được gắn với một bảng xác suất có điều kiện (Conditional Probability Table: CPT) dựa vào những thông tin ban đầu hay dữ liệu, kinh nghiệm trong quá khứ Ví dụ, mạng Bayes trong hình 2.2, CPT của các biến như sau (Bảng 1):

Bảng 1: CPT của các biến “Road Conditions” của mạng Bayes theo hình 2.2

được mô tả trong bảng 2

Bảng 2: CPT của các biến “Precipitation” trong mạng Bayes theo hình 2.2

…

Như vậy có thế nói mạng Bayes là một đồ thị có hướng phi chu trình mà trong đó:

- Các nút biểu diễn các biến

- Các cung biểu diễn các quan hệ phụ thuộc thống kê giữa các biến và phân phối xác suất địa phương cho mỗi giá trị nếu cho trước giá trị của các cha của

nó

Nếu có một cạnh từ nút A tới nút B, thì biến B phụ thuộc trực tiếp vào biến A, và

A được gọi là cha của B Nếu với mỗi biến 𝑋𝑖,𝑗 ∈ {1, , 𝑁} tập hợp các biến cha được

ký hiệu bởi parents(𝑋𝑖), thì phân phối có điều kiện phụ thuộc của các biến là tích của các phân phối địa phương

𝑃𝑟(𝑋1, … , 𝑋𝑛) = ∏𝑛𝑖=1𝑃𝑟(𝑋𝑖 │𝑃𝑟𝑎𝑟𝑒𝑛𝑡𝑠(𝑋𝑖)) (3) Nếu 𝑋𝑖 không có cha, ta nói rằng phân phối xác suất địa phương của nó là không

có điều kiện, nếu không, nó là có điều kiện Nếu biến được biểu diễn bởi một nút được quan sát, thì ta nói rằng nút đó là một nút hiển nhiên (evidence node)

Trong luận văn, tôi sử dụng mạng Bayes nhân quả để xây dựng mô hình miền kiến thức Mạng Bayes nhân quả là một mạng Bayes mà trong đó các cạnh có hướng của đồ thị được hiểu là các quan hệ nhân quả trong một miền xác định có thực nào đó

2.2 Thuật toán TNTN tổng quát

Các mô hình thuật toán TNTN thường được xây dựng theo mô hình tổng thể gồm các bước như sau (Hình 2.4):

- Bước 1: Xác định các câu hỏi còn lại trong ngân hàng câu hỏi trắc nghiệm chưa đưa ra đánh giá thí sinh Trong tập câu hỏi đó cần lựa chọn ra câu hỏi tốt nhất phù hợp với mức độ hiện tại (năng lực, kiến thức) của thí sinh nhất

- Bước 2: Đề xuất câu hỏi cho thí sinh trả lời và thu nhận kết quả trả lời

- Bước 3: Dựa vào kết quả câu trả lời của thí sinh, tính toán lại mức độ kiến thức, năng lực của thí sinh

- Bước 4: Lặp lại các bước 1 đến 3 cho đến khi xác định được mức độ năng lực, kiến thức của thí sinh theo các điều kiện dừng

2.3 Xây dựng đồ thị kiến thức

Để áp dụng BN xây dựng mô hình TNTN theo mức độ kiến thức thí sinh, chúng

ta cần xây dựng mô hình miền kiến thức cần đánh giá (cụ thể ở đây là mô hình kiến thức của 1 môn học) Nghĩa là cần xây dựng được đồ thị kiến thức bao gồm các đỉnh và cung Trong cách tiếp cận này tôi đề xuất chia làm 02 loại đỉnh như sau: đỉnh chứng cứ & đỉnh kiến thức

2.3.1 Đỉnh chứng cứ

Đỉnh chứng cứ (Evidential nodes) được định nghĩa là một câu hỏi trắc nghiệm trong ngân hàng câu hỏi trắc nghiệm Rõ ràng, muốn áp dụng mô hình BN trong hệ thống ta cần biết được xác suất trả lời đúng câu hỏi trắc nghiệm của mỗi thí sinh Theo IRT, xác suất trả lời đúng câu hỏi phụ thuộc vào mức độ năng lực hiện tại của thí sinh Các nút này được sử dụng để thu thập thông tin liên quan đến mức độ năng lực của thí sinh đối với các thành phần kiến thức

2.3.2 Đỉnh kiến thức

Đỉnh kiến thức (Knowledge nodes) mô tả nội dung kiến thức cần đánh giá phân cấp từ mức độ tổng quát đến chi tiết Trong luận văn tôi chỉ đưa ra mô hình với 2 cấp độ

mô tả nội dung cần đánh giá bao gồm: đỉnh môn học & đỉnh thành phần kiến thức

- Đỉnh môn học cho phép đánh giá mức độ kiến thức của thí sinh có đáp ứng hay không, trong mô hình đề xuất thông thường chỉ tồn tại 01 đỉnh môn học

Đưa ra câu hỏi đầu tiên

Kiểm tra câu trả lời

Lựa chọn và đưa ra câu hỏi tiếp theo

Ước lượng năng lực mới

Ước lượng năng lực

cuối cùng

Thỏa mãn điều kiện dừng ?

Sai Đúng

Hình 2.4 Thuật toán tổng quát TNTN

- Để đánh giá thí sinh có kiến thức đối với môn học hay không thì cần thiết phải phân chia nội dung kiến thức của môn học đó làm nhiều phần, mỗi phần

đó được gọi là đỉnh thành phần kiến thức Có thể xem đỉnh thành phần kiến thức là đơn vị kiến thức nhỏ nhất có thể phân chia (Có thể mô tả mỗi đỉnh thành phần kiến thức là một chương của môn học) Tập hợp các đỉnh thành phần kiến thức sẽ cho phép chúng ta có được thông tin chi tiết về trình độ kiến thức của thí sinh, từ đó nắm được chính xác mức độ năng lực của thí sinh với mỗi thành phần kiến thức

Tiếp theo, chúng ta cần xác định mối quan hệ giữa đỉnh chứng cứ & đỉnh kiến thức trong mô hình TNTN:

- Quan hệ giữa đỉnh chứng cứ & đỉnh kiến thức, ở đây chỉ xét quan hệ giữa đỉnh chứng cứ và đỉnh thành phần kiến thức Tôi áp dụng mạng Bayes nhân quả trong trường hợp này, có nghĩa là việc đánh giá mức độ kiến thức của sinh viên đối với đỉnh thành phần kiến thức phụ thuộc vào kết quả câu trả lời của thí sinh đối với đỉnh chứng cứ (câu hỏi trắc nghiệm) Vì để trả lời được câu hỏi trắc nghiệm thì yêu cầu thí sinh phải nắm rõ một số đỉnh kiến thức liên quan

- Quan hệ giữa các đỉnh kiến thức được biểu diễn theo sơ đồ phân cấp bao gồm

2 mức: đỉnh môn học & đỉnh thành phần kiến thức Việc đánh giá thí sinh có kiến thức đối với môn học phải được đánh giá phụ thuộc vào mức độ kiến thức của thí sinh đối với tâp hợp đỉnh thành phần kiến thức của đỉnh môn học

2.4 Mô hình TNTN theo kiến thức trên cơ sở mạng Bayes và IRT

Giả sử đỉnh môn học 𝑆 bao gồm tập hợp các đỉnh thành phần kiến thức 𝐾𝑁𝑖 trong

đói 𝑖 = 1, … , 𝑚 (với 𝑚 là số lượng thành phần kiến thức của môn học 𝑆) Mức độ kiến

thức của thí sinh đối với mỗi thành phần kiến thức 𝐾𝑁𝑖 sẽ được đánh giá bằng một tập các ngân hàng câu hỏi trắc nghiệm 𝑄𝑖𝑗 có liên quan đến thành phần kiến thức 𝐾𝑁𝑖 Tuy nhiên, trong thực tế, mỗi đỉnh thành phần kiến thức 𝐾𝑁𝑖 sẽ có một mức độ ảnh hưởng khác nhau đến việc đánh giá thí sinh có hiểu được môn học hay không Do đó mỗi đỉnh thành phần kiến thức sẽ có một đại đượng để xác định mức độ quan trọng của đỉnh thành phần kiến thức đó đối với tổng thể môn học Do đó tôi đề xuất vector trọng số để đo tầm quan trọng của mỗi thành phần kiến thức 𝐾𝑁𝑖 đối với môn học 𝑆 như sau: 𝑤 = {𝑤1, … , 𝑤𝑛} Trong đó hệ số 𝑤𝑖 tương ứng với mức độ quan trọng của thành phần kiến thức 𝐾𝑁𝑖 với môn học 𝑆 Như vậy có thể biểu diễn môn học 𝑆 là một cặp (𝐾𝑁𝑖, 𝑤𝑖), trong đó:

- 𝐾𝑁𝑖 tập hợp các thành phần kiến thức độc lập của môn học 𝑆, với 𝑖 =

1, … , 𝑛 (𝑛 là số lượng thành phần kiến thức của môn học 𝑆);

- 𝑤𝑖 là vector trọng số xác định mức độ cần thiết của mỗi thành phần kiến thức 𝐾𝑁𝑖 đối với môn học 𝑆, với 𝑖 = 1, … , 𝑛 & ∑𝑛𝑖=1𝑤𝑖 = 1

Để đánh giá mức độ kiến thức của một thí sinh đối với môn học 𝑆 phụ thuộc vào xác suất thí sinh hiểu được môn học 𝑆 như sau:

P (S | ({KNi = 1}i∈S, {KNj = 1}

j∉S)) =∑i∈Swi

∑nj=1wj

Ví dụ: Môn học 𝑆 gồm tập hợp 3 đỉnh thành phần kiến thức 𝐾𝑁1, 𝐾𝑁2 và 𝐾𝑁3 Được biểu diễn như hình 2.5

Tập hợp vector trọng số đo độ quan trọng của mỗi đỉnh thành phần kiến thức là

𝑤 = {0.2, 0.3, 0.5} Đối với mỗi đỉnh thành phần kiến thức chỉ có 2 mức độ đánh giá nhị phân với giá trị 1 là thí sinh hiểu đỉnh thành phần kiến thức đó và 0 là thí sinh không hiểu đỉnh thành phần kiến thức đó Lúc này, Giả sử một thí sinh hiểu đỉnh 𝐾𝑁1 và

𝐾𝑁3, không hiểu đỉnh KN2, lúc này xác suất thí sinh hiểu được môn học S được tính như sau:

P(S | KN1 = 1, KN2 = 0, KN3 = 1 ) = 0.2 + 0.5

0.2 + 0.3 + 0.5 = 0.7 Như vậy mối quan hệ giữa các đỉnh kiến thức cho phép đánh giá được mức độ thí sinh nắm vững thành phần kiến thức chi tiết cho đến tổng quan môn học Do đó, có thể thấy rằng sự khác biệt giữa hệ thống trắc nghiệm thích nghi trên cơ sở lý thuyết IRT

và BN Đối với mô hình đề xuất, chúng ta có thể đánh giá được những thành phần kiến thức của minh học mà thí sinh đạt được

Một thành phần kiến thức 𝐾𝑁𝑖 sẽ bao gồm một tập các câu hỏi trắc nghiệm có liên quan đến thành phần kiến thức 𝐾𝑁𝑖 dùng để đánh giá mức độ kiến thức của thí sinh đối với thành phần kiến thức 𝐾𝑁𝑖

Vấn đề đặt ra là làm sao đánh giá được mức độ kiến thức của thí sinh đối với mỗi đỉnh thành phần kiến thức Để đánh giá thí sinh có thông hiểu kiến thức tại một đỉnh thành phần kiến thức hay không cần phải tính được đại lượng mức độ kiến thức tại đỉnh thành phần kiến thức hiện tại của thí sinh Theo lý thuyết trắc nghiệm cổ điển, mức độ kiến thức của thí sinh tại mỗi đỉnh thành phần kiến thức được tính theo công thức (6)

𝐾𝑖 =𝑁1𝑖

𝑁𝑖Trong đó:

- 𝐾𝑖 – mức độ kiến thức của thí sinh tại đỉnh kiến thức 𝑖;

- 𝑁1𝑖 – số câu trả lời đúng của thí sinh tại đỉnh kiến thức 𝑖;

- 𝑁𝑖– số câu hỏi đưa ra cho TS tại đỉnh kiến thức 𝑖

Với đề xuất với giá trị 𝐾𝑖 > 0.7 có thể hiểu rằng mức độ kiến thức thí sinh đáp

ứng đỉnh thành phần kiến thức 𝐾𝑁𝑖 (𝐾𝑁𝑖= 1) và ngược lại có nghĩa là mức độ kiến thức thí sinh không đáp ứng đỉnh thành phần kiến thức 𝐾𝑁𝑖 (𝐾𝑁𝑖 = 0)

Qua đó, ta thấy đại lượng mức độ kiến thức tại mỗi đỉnh thành phần kiến thức phụ thuộc vào số lượng câu trả lời đúng của thí sinh Do đó, việc sử dụng thuật toán để lựa chọn câu hỏi tiếp theo cho thí sinh là rất quan trọng Ở đây tôi đề xuất sử dụng thuật toán dựa trên Lý thuyết đáp ứng câu hỏi theo mô hình 3 tham số để lựa chọn câu hỏi trong một đỉnh thành phần kiến thức

2.5 Thuật toán TNTN trên cơ sở Lý thuyết đáp ứng câu hỏi

Lý thuyết đáp ứng câu hỏi dựa trên phân tích cấu trúc tiềm ẩn (LSA) Về bản chất, lý thuyết đáp ứng câu hỏi được xây dựng dựa trên mô hình toán học [3, 4] sử dụng các mô hình logistic, mô tả sự phụ thuộc giữa xác suất trả lời đúng câu hỏi trắc nghiệm đưa ra với mức độ năng lực hiện tại của thí sinh

Tồn tại 3 mô hình toán học trong lý thuyết đáp ứng câu hỏi [3, 4]: mô hình 1 tham

số (1PM), mô hình 2 tham số (2PM) và mô hình 3 tham số Birnbaum (3PM) Các mô hình trên chỉ khác nhau về số lượng tham số của câu hỏi Để đơn giản hóa các mô hình toán học, thông thường chỉ xét trường hợp câu hỏi trắc nghiệm nhị phân, tức là câu hỏi chỉ có hai mức trả lời: 0 (đúng) hoặc 1 (sai)

Mô hình 1 tham số [5] chỉ đề cập đến sự phụ thuộc giữa xác suất trả lời đúng câu hỏi của thí sinh và độ khó câu hỏi 𝑏, mô hình 2 tham số [3] thì xác suất trả lời đúng câu

(6)

hỏi phụ thuộc vào độ khó 𝑏 và độ phân biệt 𝑎 Rõ ràng trong trường hợp câu hỏi trắc nghiệm nhị phân thì thí sinh có thể dự đoán để trả lời câu hỏi, vì vậy mô hình 3 tham số

ra đời để khắc phục nhược điểm trên [6] Để đánh giá chính xác hơn sự phụ thuộc của xác suất trả lời đúng câu hỏi vào tập hợp tham số của câu hỏi thì cần bổ sung tham số

độ dự đoán 𝑐

Như vậy mô hình trắc nghiệm thích nghi được xây dựng dựa trên mô hình 3 tham

số Birnbaum sẽ linh hoạt và chính xác hơn các mô hình khác

Theo mô hình 3 tham số của Birnbaum thì xác suất trả lời đúng câu hỏi 𝑖 của thí sinh𝑗 có năng lực 𝜃𝑗 được tính như sau:

𝑝(𝑢𝑖 = 1|𝜃𝑗, 𝑎𝑖, 𝑏𝑖, 𝑐𝑖) = 𝑐𝑖+ (1 − 𝑐𝑖) 1

1 + 𝑒−1.7𝑎𝑖 (𝜃 𝑗 −𝑏 𝑖 ) (7) Trong đó:

- 𝑢𝑖 là kết quả đánh giá trả lời câu hỏi 𝑖 (𝑢𝑖 = 1 nếu trả lời đúng câu hỏi thứ 𝑖

và 𝑢𝑖 = 0 trong trường hợp ngược lại) của thí sinh 𝑗;

- 𝑎𝑖, 𝑏𝑖, 𝑐𝑖 là tập hợp các tham số của câu hỏi 𝑖: độ phân biệt, độ khó và độ dự đoán của câu hỏi 𝑖;

- 𝜃𝑗 là mức độ năng lực hiện tại của thí sinh 𝑗

Hình 2.6 Đồ thị mô tả sự phụ thuộc hàm xác suất trả lời đúng câu hỏi (𝒂 =

𝟏, 𝒃 = 𝟎, 𝒄 = 𝟎 𝟐𝟓) của người học có năng lực 𝜽

Với các tham số 𝑎𝑖, 𝑏𝑖, 𝑐𝑖 đã biết của câu hỏi 𝑖 có thể xây dựng đồ thị phụ thuộc giữa hàm xác suất trả lời đúng câu hỏi với năng lực của thí sinh (Hình 2.6)

Tiệm cận dưới của hàm xác suất trả lời đúng câu hỏi tiến về giá trị độ dự đoán 𝑐 của câu hỏi, có nghĩa là nếu như người học không biết trả lời câu hỏi thì xác suất lựa chọn đáp án đúng cho câu hỏi (xác suất trả lời đúng câu hỏi) bằng c

Tham số b của câu hỏi xác định điểm uốn của đồ thị mà không làm thay đổi đường cong của nó Tham số này xác định độ khó của câu hỏi, với giá trị b càng lớn thì xác suất trả lời đúng câu hỏi của thí sinh càng giảm và ngược lại, giá trị b càng nhỏ thì xác suất trả lời đúng câu hỏi đó càng lớn

Tham số độ phân biệt 𝑎 của câu hỏi xác định góc nghiêng của đường cong hàm xác suất trả lời đúng câu hỏi tại điểm uốn (𝑏 = 𝜃) Nó cho thấy khả năng câu hỏi có thể phân biệt được các thí sinh có các mức độ năng lực khác nhau, hay có thể nói độ phân biệt câu hỏi là đại lượng ảnh hưởng đến xác suất trả lời đúng câu hỏi giữa các thí sinh

có mức độ năng lực khác nhau

Trong các mô hình trắc nghiệm thích nghi ứng dụng IRT hiện nay phần lớn đều dựa trên mô hình 2 tham số (độ khó và độ phân biệt) vì sử dụng các loại câu hỏi trắc nghiệm khác nhau Tuy nhiên để tăng thêm tính chính xác của quá trình đánh giá, thông thường

0 0,2 0,4 0,6 0,8 1 1,2

p (u=1)

loại câu hỏi trắc nghiệm khách quan nhiều lựa chọn được đề xuất sử dụng Với câu hỏi trắc nghiệm khách quan nhiều lựa chọn, mỗi câu hỏi trắc nghiệm sẽ được bổ thêm tham

số c là độ dự đoán câu trả lời của câu hỏi Áp dụng mô hình trắc nghiệm thích nghi dựa trên lý thuyết đáp ứng câu hỏi với mô hình 3 tham số Birnbaum với câu hỏi trắc nghiệm khách quan nhiều lựa chọn được thực hiện theo các bước như đã đề cập ở phần trên Mức độ năng lực ban đầu của mỗi thí sinh là không xác định, và thường được lấy giá trị trung bình bằng 0

Lựa chọn câu hỏi phù hợp với mức độ năng lực hiện tại của thí sinh là rất quan trọng Nếu câu hỏi đưa ra là quá khó hay quá dễ đối với thí sinh thì sẽ mang lại ít thông

Bắt đầu

Thiết lập mức độ năng lực ban đầu của thí sinh 𝜃

Điều kiện dừng trắc nghiệm

Tập hợp câu hỏi chưa đưa

Nhận kết quả trả lời 𝑢𝑖của TS

Đánh giá lại mức năng lực thí

sinh 𝜃

Kết quả năng lực thí sinh là 𝜃

Đúng

Sai

Hình 2.7 Thuật toán trắc nghiệm thích nghi theo mô hình Birnbaum