Nghiên cứu bayesian knowledge tracing xây dựng hệ thống trắc nghiệm thích nghi

IRT cho phép đánh giá mức độ năng lực người học dựa vào xác xuất trả lời đúng câu hỏi với tập hợp tham số câu hỏi trắc nghiệm.. Vì vậy việc đưa ra một mô hình trắc nghiệm mà trong đó tại

TRƯỜNG ĐẠI HỌC BÁCH KHOA KHOA CÔNG NGHỆ THÔNG TIN

Tel (84-511) 3736949, Fax (84-511) 3842771 Website: itf.dut.udn.vn, E-mail: cntt@dut.udn.vn

TRƯỜNG ĐẠI HỌC BÁCH KHOA KHOA CÔNG NGHỆ THÔNG TIN

Tel (84-511) 3736949, Fax (84-511) 3842771 Website: itf.dut.udn.vn, E-mail: cntt@dut.udn.vn

LUẬN VĂN THẠC SĨ KỸ THUẬT

NGƯỜI HƯỚNG DẪN KHOA HỌC:

1 TS ĐẶNG HOÀI PHƯƠNG

Đà Nẵng, 01/2021

DUT.LRCC

LỜI CAM ĐOAN

Tôi xin cam đoan:

1 Đây là công trình nghiên cứu của riêng tôi Nội dung trong đồ án này là

do tôi thực hiện dưới sự hướng dẫn trực tiếp của TS Đặng Hoài Phương

2 Các tham khảo dùng trong đồ án đều được trích dẫn rõ ràng tên tác giả, tên công trình, thời gian, địa điểm công bố

3 Các số liệu, kết quả nêu trong luận văn là trung thực và chưa từng được

ai công bố trong bất kỳ công trình nào khác

4 Nếu có những sao chép không hợp lệ, vi phạm, tôi xin chịu hoàn toàn trách nhiệm

Đà Nẵng, ngày … tháng … năm 2021

Tác giả luận văn

Phạm Ngọc Quý

DUT.LRCC

TÓM TẮT I DANH SÁCH HÌNH ẢNH II DANH SÁCH BẢNG IV DANH SÁCH TỪ VIẾT TẮT V DANH SÁCH CÁC KÝ HIỆU VI

MỞ ĐẦU 1

CHƯƠNG 1: SƠ SỞ LÝ LUẬN VÀ THỰC TIỄN 5

1.1 TỔNG QUAN TRẮC NGHIỆM THÍCH NGHI 5

1.2 MÔ HÌNH TRẮC NGHIỆM THÍCH NGHI TRÊN CƠ SỞ LÝ THUYẾT ĐÁP ỨNG CÂU HỎI (ITEM RESPONSE THEORY) 7

1.3 BAYESIAN KNOWLEDGE TRACING 10

1.4 MỘT SỐ CÔNG TRÌNH NGHIÊN CỨU ĐÃ CÓ 11

1.4.1 Modelling Student Knowledge as a Latent Variable in Intelligent Tutoring Systems : A Comparison of Multiple Approaches[12] 11

1.4.2 Learning meets Assessment: On the relation between Item Response Theory and Bayesian Knowledge Tracing[13] 12

1.5 KẾT CHƯƠNG 12

CHƯƠNG 2: XÂY DỰNG MÔ HÌNH TRẮC NGHIỆM THÍCH NGHI 13

2.1 ÁP DỤNG BAYESIAN KNOWLEDGE TRACING ĐỂ ĐÁNH GIÁ MỨC ĐỘ KIẾN THỨC 13

2.2 ỨNG DỤNG IRT TRONG MÔ HÌNH TNTN 14

2.3 ƯỚC LƯỢNG THAM SỐ BKT VÀ IRT 17

2.3.1 Tính toán tham số BKT sử dụng xác suất thực nghiệm 18

2.3.2 Tính toán tập tham số câu hỏi trắc nghiệm 19

2.4 KẾT CHƯƠNG 21

CHƯƠNG 3: PHÂN TÍCH THIẾT KẾ VÀ TRIỂN KHAI HỆ THỐNG 22

3.1 PHÂN TÍCH CHỨC NĂNG CỦA HỆ THỐNG TRẮC NGHIỆM 22

3.2 PHÂN TÍCH VÀ THIẾT KẾ HỆ THỐNG TRẮC NGHIỆM 24

3.2.1.Biểu đồ ca sử dụng của hệ thống 24

3.2.2 Biểu đồ tuần tự của hệ thống 28

DUT.LRCC

3.3 THIẾT KẾ CƠ SỞ DỮ LIỆU 43

3.4 TRIỂN KHAI HỆ THỐNG TRẮC NGHIỆM THÍCH NGHI 46

3.5 KẾT CHƯƠNG 51

KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 52

1 KẾT QUẢ ĐẠT ĐƯỢC 52

2 HƯỚNG PHÁT TRIỂN 52

TÀI LIỆU THAM KHẢO 53

DUT.LRCC

TÓM TẮT

NGHIÊN CỨU BAYESIAN KNOWLEDGE TRACING

XÂY DỰNG HỆ THỐNG TRẮC NGHIỆM THÍCH NGHI

Học viên: Phạm Ngọc Quý Chuyên ngành: Khoa học Máy tính

Mã số: 60.48.01.01 Khóa: 36 Trường Đại học Bách khoa - ĐHĐN

Tóm tắt – Hiện nay, hình thức thi trắc nghiệm đang được phát triển rộng rãi và thể hiện

được khả năng ứng dụng cao của mình Có nhiều hình thức thi trắc nghiệm đã ra đời Tất cả các hình thức trắc nghiệm này đều nhằm mục đích đánh giá trình độ, năng lực cũng như kết quả học tập của người học Hầu hết các hệ thống TNTN hiện nay thường

sử dụng Lý thuyết đáp ứng câu hỏi (IRT) để đánh giá mức độ năng lực người học Tuy nhiên IRT chỉ cho phép đánh giá theo chiều ngang đối với miền kiến thức cần đánh giá Một mô hình mới phát triển và trở nên phổ biến gần đây đó là mô hình BKT BKT cho phép đánh giá mức độ kiến thức, kỹ năng của người học đối với từng phân vùng kiến thức nhỏ nhưng lại không tính toán đến mức độ năng lực người học trên toàn miền kiến thức (đánh giá theo chiều sâu) Luận văn chủ yếu nghiên cứu việc kết hợp 2 mô hình TNTN là IRT và BKT lại với nhau để có một mô hình TNTN cải tiến có thể đánh giá thí sinh theo cả chiều sâu và chiều rộng của miền kiến thức Sau đó sẽ tiến hành cài đặt thuật toán và ứng dụng để triển khai cho các hệ thống thi trắc nghiệm trong thực tế

Từ khóa – Trắc nghiệm thích nghi, IRT, BKT, Item Response Theory, Bayesian

Knowledge Tracing, kết hợp BKT và IRT

RESEARCH BAYESIAN KNOWLEDGE TRACING

TO DEPLOY THE ADAPTIVE TESTING SYSTEM Abstract - Currently, the form of multiple choice is being widely developed and

demonstrated its high applicability Many multiple-choice forms were born All of these tests are aimed at assessing students' qualifications, competencies and learning outcomes Most of the current Adaptive Test systems often use Item Response Theory (IRT) to assess the learner's competency level However, the IRT only allows horizontal evaluation of the knowledge domain to be assessed A new model that has recently developed and become popular is the BKT model The BKT allows to evaluate the level of knowledge and skills of learners for each small knowledge segment but does not take into account the level of competency of learners in the entire knowledge domain (assessment in depth) The thesis mainly studies the combination of 2 Adaptive Test models, IRT and BKT together to have

an improved Adaptive Test model that can evaluate candidates according to both the depth and breadth of the knowledge domain After that, we will install the algorithm into the application to deploy the Adaptive Test system in practice

Key words - Adaptive Test, IRT, BKT, Item Response Theory, Bayesian Knowledge

Tracing, BKT and IRT

DUT.LRCC

DANH SÁCH HÌNH ẢNH

1.3 Đồ thị đường cong đặc trưng và hàm thông tin câu hỏi 10

2.2 Đồ thị mô tả sự phụ thuộc hàm xác suất trả lời đúng câu hỏi

(a=1, b=0, c= 0.25) của người học có năng lực θ 14 2.3 Lựa chọn dữ liệu hiệu quả và Xác suất thực nghiệm 17

3.3 Biểu đồ ca sử dụng của tác nhân sinh viên 24

3.6 Biểu đồ ca sử dụng Quản lý học phần và lớp học phần 27

3.7 Biểu đồ tuần tự module Thi trắc nghiệm ngẫu nhiên 28

3.8 Biểu đồ tuần tự module Thi trắc nghiệm IRT 29

3.9 Biểu đồ tuần tự module Thi trắc nghiệm của mô hình đề xuất

3.12 Biểu đồ tuần tự Thêm câu hỏi trắc nghiệm 33

3.13 Biểu đồ tuần tự Chỉnh sửa câu hỏi trắc nghiệm 34

3.14 Biểu đồ tuần tự Thêm đề thi trắc nghiệm 35

3.15 Biểu đồ tuần tự Chỉnh sửa đề thi trắc nghiệm 36

3.16 Biểu đồ hoạt động module Thi trắc nghiệm ngẫu nhiên 37

3.17 Biểu đồ hoạt động module Thi trắc nghiệm IRT 38

3.18 Biểu đồ hoạt động module Thi trắc nghiệm theo mô hình đề

3.20 Biểu đồ hoạt động Quản lý câu hỏi trắc nghiệm 41

3.23 Cơ sở dữ liệu Quản lý tài khoản, sinh viên, giảng viên 44

3.25 Cấu trúc đỉnh kiến thức học phần Lập trình hướng đối tượng 46

3.26 Tập tham số câu hỏi trắc nghiệm Lập trình hướng đối tượng 47

DUT.LRCC

3.28 Thiết lập module thi theo mô hình đề xuất (IRT và BKT) 48 3.29 Thay đổi năng lực của thí sinh trong quá trình thi bằng IRT 49 3.30 Thay đổi năng lực của thí sinh trong quá trình thi bằng IRT

DUT.LRCC

DANH SÁCH BẢNG

3.1 Ngân hàng câu hỏi trắc nghiệm của học phần Lập trình

3.2 Bảng thay đổi năng lực thí sinh trong quá trình thi bằng

3.3 Quá trình thay đổi năng lực và chuyển trạng thái của thí

DUT.LRCC

DANH SÁCH TỪ VIẾT TẮT

DUT.LRCC

DANH SÁCH CÁC KÝ HIỆU

P(i) Xác xuất trả lời đúng câu hỏi thứ i

P( θ) Xác suất để thí sinh có năng lực θ trả lời đúng câu hỏi

DUT.LRCC

MỞ ĐẦU

1 Tổng quan về đề tài

Hiện nay các hình thức kiểm tra, đánh giá truyền thống trong hoạt động dạy - học nặng về đánh giá khả năng ghi nhớ, trình bày lại những nội dung mà người dạy truyền thụ kiến thức đã và đang bộc lộ nhiều hạn chế về khả năng vận dụng linh hoạt - sáng tạo các kiến thức của người học trong các tình huống thực tế Ở nhiều nước trên thế giới đã nghiên cứu và vận dụng các phương pháp đánh giá bằng cách trắc nghiệm Các bộ trắc nghiệm được nghiên cứu thử nghiệm cho từng loại hình dạy - học với nhiều mục đích khác nhau như: trắc nghiệm trí thông minh IQ, trắc nghiệm kiểm tra tiếng Anh TOEFL, trắc nghiệm kiểm tra luật giao thông, v.v Trên thế giới hiện nay có các hình thức trắc nghiệm như: trắc nghiệm chủ quan (Subjective test), trắc nghiệm khách quan (Objective test) và trắc nghiệm thích nghi (Adaptive test) Tất cả các hình thức trắc nghiệm này đều nhằm mục đích đánh giá trình độ, năng lực cũng như kết quả học tập của người học nhưng mỗi hình thức có các phương pháp tiến hành và hiệu quả mang lại khác nhau Một số nghiên cứu gần đây đã chỉ ra rằng xu hướng chủ yếu là ứng dụng trắc nghiệm thích nghi (TNTN) trong việc đánh giá kiến thức, nhận thức và kỹ năng của người học, đặc biệt là mô hình TNTN trên máy tính

Hầu hết các hệ thống TNTN hiện nay thường sử dụng Lý thuyết đáp ứng câu hỏi (Item Theory Response - IRT) để đánh giá mức độ năng lực người học IRT cho phép đánh giá mức độ năng lực người học dựa vào xác xuất trả lời đúng câu hỏi với tập hợp tham số câu hỏi trắc nghiệm Như vậy, có thể thấy mô hình TNTN trên cơ

sở IRT cho phép đánh giá, phân loại người học trên toàn miền kiến thức hay nói cách khác là chỉ cho phép đánh giá theo chiều ngang đối với miền kiến thức cần đánh giá

Tuy nhiên hiện nay, với sự phát triển của các hệ thống đào tạo điện tử, thì các

hệ thống học tập (gia sư) thông minh cũng đang được phát triển trên cơ sở Bayesian Knowledge Tracing (BKT) Các hệ thống này cho phép đánh giá mức độ kiến thức,

kỹ năng của người học đối với từng phân vùng kiến thức nhỏ nhưng lại không tính toán đến mức độ năng lực người học trên toàn miền kiến thức (đánh giá theo chiều sâu)

Do đó vấn đề đặt ra là làm sao xây dựng được hệ thống TNTN cho phép đánh giá theo chiều ngang lẫn chiều sâu nhằm mang lại thông tin tối đa về hoạt động học của người học, từ đó nâng cao hiệu quả của quá trình đào tạo Trong luận văn, tác giả đề xuất mô hình TNTN cải tiến kết hợp giữa BKT & IRT để giải quyết vấn đề nêu trên

DUT.LRCC

2 Mục đích và ý nghĩa của đề tài

2.1 Mục đích

− Phân tích mô hình TNTN trên cơ sở Lý thuyết đáp ứng câu hỏi (Item Theory Response;

− Đề xuất cải tiến mô hình TNTN sử dụng BKT & IRT

2.2 Ý nghĩa khoa học và thực tiễn của đề tài

− Ý nghĩa khoa học: Xây dựng mô hình TNTN kết hợp BKT và IRT;

− Phát triển hệ thống Website thi trắc nghiệm hỗ trợ triển khai mô hình TNTN đề xuất đối với học phần Lập trình hướng đối tượng của Khoa Công nghệ Thông tin, trường Đại học Bách khoa – Đại học Đà Nẵng

Để đạt được những mục tiêu trên thì nhiệm vụ đặt ra của đề tài là:

− Nghiên cứu IRT & BKT;

− Phân tích vấn đề đặt ra & đề xuất phương pháp giải quyết;

− Xây dựng hệ thống ứng dụng trên cơ sở mô hình, phương pháp đề xuất & triển khai thực tế;

− Đánh giá kết quả theo yêu cầu của đề tài

DUT.LRCC

3 Đối tượng và phạm vi nghiên cứu

3.1 Đối tượng nghiên cứu

Đề tài tìm hiểu về các mô hình trắc nghiệm thích nghi, các mô hình xây dựng hệ thống học tập thông minh Từ đó dựa trên cơ sở BKT & IRT để xây dựng mô hình TNTN

3.2 Phạm vi nghiên cứu

Phạm vi nghiên cứu: Đề tài sử dụng BKT & IRT làm cơ sở để xây dựng

mô hình TNTN cho học phần Lập trình hướng đối tượng khoa Công nghệ Thông tin, trường Đại học Bách khoa – Đại học Đà Nẵng

4 Phương pháp nghiên cứu

− Phân tích, thiết kế và xây dựng hệ thống trắc nghiệm trên cơ sở mô hình

đã đề xuất;

− Triển khai và đánh giá hệ thống

5 Kết luận

5.1 Kết quả của đề tài

− Xây dựng mô hình TNTN cải tiến dựa trên BKT & IRT;

− Áp dụng mô hình đã xây dựng để tạo một hệ thống trắc nghiệm và triển khai đánh giá kết quả cho học phần Lập trình hướng đối tượng, trường Đại học Bách khoa – Đại học Đà Nẵng

5.2 Hướng phát triển của đề tài

− Hoàn thiện các mô hình TNTN khác trên cùng một hệ thống để có thể đánh giá hiệu quả của các mô hình;

DUT.LRCC

− Phát triển hệ thống trắc nghiệm phục vụ số lượng người dùng lớn cùng lúc;

− Nghiên cứu giải pháp cho phép hệ thống tự động điều chỉnh cấu trúc kiến thức phù hợp với từng người học

6 Bố cục của luận văn

Luận văn bao gồm các nội dung sau:

Mở đầu

Chương 1: CƠ SỞ LÝ LUẬN VÀ THỰC TIỄN

Chương 2: XÂY DỰNG MÔ HÌNH TRẮC NGHIỆM THÍCH NGHI

Chương 3: PHÂN TÍCH THIẾT KẾ VÀ TRIỂN KHAI HỆ THỐNG

Kết luận và hướng phát triển

DUT.LRCC

Chương 1: SƠ SỞ LÝ LUẬN VÀ THỰC TIỄN

Chương này giới thiệu về các hệ thống TNTN phổ biến hiện nay và Lý thuyết đáp ứng câu hỏi áp dụng trong các hệ thống này Đồng thời phân tích mô hình BKT

áp dụng trong các hệ thống học tập thông minh để đánh giá kỹ năng, kiến thức của người học Phân tích ưu, nhược điểm của 2 mô hình này trong thực tế hiện tại, đưa

ra vấn đề cần giải quyết là xây dựng mô hình TNTN theo cả chiều rộng lẫn chiều sâu kiến thức

1.1 TỔNG QUAN TRẮC NGHIỆM THÍCH NGHI

Hiện nay, mô hình trắc nghiệm đang được áp dụng rất phổ biến ở Việt Nam Những thuận lợi mà trắc nghiệm khách quan mang lại là cho kết quả đánh giá ngay tức thì, kiểm tra được nhiều thí sinh đồng thời nhưng vẫn có những nhược điểm là gây nhàm chán cho các thí sinh khi phải làm câu hỏi quá dễ hoặc gây căng thẳng cho thí sinh khi phải làm các câu hỏi quá khó Nhưng phương pháp này không thể thay thế được các phương pháp thi truyền thống như hỏi thi vấn đáp Vì vậy việc đưa ra một mô hình trắc nghiệm mà trong đó tại mỗi thời điểm trắc nghiệm, thí sinh

sẽ trả lời câu hỏi phù hợp với năng lực hiện tại của mình là vấn đề cấp thiết Một trong những mô hình đang được nghiên cứu hiện nay là mô hình trắc nghiệm thích nghi

Trắc nghiệm thích nghi là trắc nghiệm đánh giá năng lực thí sinh với sự giúp

đỡ của máy tính Với việc sử dụng trắc nghiệm thích nghi thì số lượng và thứ tự câu hỏi đưa ra cho mỗi thí sinh là khác nhau, tùy thuộc vào năng lực hiện tại của thí sinh Vì vậy, việc đánh giá năng lực thí sinh sẽ trở nên nhanh chóng, chính xác và khách quan hơn

Trắc nghiệm thích nghi (TNTN), tiếng Anh gọi là “Adaptive Test” [1], là thuật ngữ chỉ một phương pháp đánh giá thí sinh bằng hình thức kiểm tra trắc nghiệm nhưng theo đánh giá năng lực của thí sinh theo bộ câu hỏi tương ứng với mức năng lực của thí sinh đó Về hoạt động của hệ thống, ta có thể hình dùng hệ thống cố gắng bắt chước như vai trò của giáo viên trong phương pháp thi truyền thống hỏi-vấn đáp Ban đầu hệ thống sẽ đưa ra một câu hỏi ngẫu nhiên có thể khó hoặc dễ hoặc trung bình cho thí sinh trả lời Sau khi nhận được kết quả trả lời từ thí sinh, nếu thí sinh trả lời một cách chính xác, thì một câu hỏi khó hơn sẽ được đề nghị và nếu không một câu hỏi có độ khó thấp hơn được đề nghị Quá trình này sẽ được lặp

đi lặp lại khi có đủ bằng chứng để xác định trình độ kiến thức, năng lực của thí sinh Năng lực thực sự của thí sinh (phụ thuộc vào bài thi của thí sinh kết thúc như thế nào; thông thường bài thi của thí sinh kết thúc khi thí sinh trả lời một loạt các câu hỏi sai, hoặc hết thời gian hoặc thí sinh đã đạt được ước lượng năng lực tối đa về

DUT.LRCC

yêu cầu của bài test khi đó năng lực của thí sinh sẽ bằng độ khó tối đa của bài test

mà môn học quy định) Trong TNTN quá trình này sẽ được thực hiện một cách tự động Ban đầu có thể ước lượng một mức năng lực trung bình nào đó cho thí sinh, sau khi thí sinh trả lời câu hỏi đầu tiên hệ thống sẽ tự tính toán lại mức năng lực mới của thí sinh Với mức năng lực đó, một câu hỏi kế tiếp sẽ được hệ thống chọn một cách chính xác hơn Ta có thể xem TNTN như là một thuật toán lặp với thông số đầu vào là ước tính ban đầu về mức độ năng lực của thí sinh, thuật toán được bao gồm các bước sau:

− Bước 1 Tất cả các câu hỏi chưa được hệ thống lựa chọn sẽ là câu hỏi ứng

cử cho lựa chọn tiếp theo (dựa vào trình độ năng lực hiện tại của thí sinh);

− Bước 2 Câu hỏi tiếp theo phù hợp với năng lực hiện tại của thí sinh được đưa ra và thí sinh trả lời câu hỏi đó;

− Bước 3 Theo kết quả câu trả lời của thí sinh, một ước lượng mới của mức

độ năng lực được tính toán;

− Bước 4 Quay lại Bước 1 nếu các điều kiện dừng của TNTN xác định chưa thỏa mãn

Hình 1.1 Thuật toán trắc nghiệm thích nghi

DUT.LRCC

1.2 MÔ HÌNH TRẮC NGHIỆM THÍCH NGHI TRÊN CƠ SỞ LÝ THUYẾT ĐÁP ỨNG CÂU HỎI (ITEM RESPONSE THEORY)

Trước đây, các hệ thống trắc nghiệm chủ yếu được xây dựng trên cơ sở lý thuyết trắc nghiệm cổ điển (Classical Test Theory - CTT) [2] Lý thuyết trắc nghiệm

cổ điển là một trong những lý thuyết quan trọng liên quan đến khoa học đo lường đánh giá được xây dựng dựa trên khoa học xác suất và thống kê Lý thuyết này được ứng dụng trong việc phân tích câu hỏi trắc nghiệm nhằm làm tăng chất lượng của chúng, loại bỏ, sửa chữa và tuyển chọn câu hỏi theo yêu cầu Tuy nhiên, việc ứng dụng lý thuyết trắc nghiệm cổ điển vào các hệ thống trắc nghiệm không đánh giá được mức độ năng lực thí sinh một cách chính xác Tất cả các thí sinh đều phải trả lời một số lượng câu hỏi như nhau và các câu hỏi được lựa chọn ngẫu nhiên từ ngân hàng câu hỏi Điều này sẽ khiến thí sinh sẽ không thể nhận được câu hỏi phù hợp với mức độ năng lực hiện tại của mình và dẫn đến việc đánh giá không chính xác

Nhằm khắc phục nhược điểm của Lý thuyết trắc nghiệm cổ điển thì Trắc nghiệm thích nghi được phát triển Trắc nghiệm thích nghi [3] là quá trình trắc nghiệm mà trong đó tập hợp câu hỏi được đưa ra để đánh giá phụ thuộc vào khả năng của thí sinh Với việc sử dụng trắc nghiệm thích nghi thì thứ tự, số lượng, nội dung và độ khó câu hỏi đưa ra cho mỗi thí sinh là khác nhau, cho phép thí sinh có thể nhận được câu hỏi phù hợp với mức độ năng lực hiện tại của mình nhất, giúp cho kết quả đánh giá mức độ năng lực thí sinh được chính xác và khách quan hơn Hiện nay, các hệ thống trắc nghiệm thích nghi trên máy tính được xây dựng dựa trên các thuật toán trắc nghiệm thích nghi khác nhau Một trong những mô hình được sử dụng phổ biến nhất hiện nay là mô hình trắc nghiệm thích nghi trên cơ sở

lý thuyết đáp ứng câu hỏi (Item Response Theory – IRT) [4]

Lý thuyết đáp ứng câu hỏi cho phép đánh giá mối tương quan giữa mức độ năng lực thí sinh với tập hợp tham số câu hỏi thông qua hàm thông tin câu hỏi Do

đó số lượng, thứ tự và mức độ câu hỏi đánh giá đối với mỗi thí sinh là khác nhau

Lý thuyết đáp ứng câu hỏi là một mô hình toán học để mô tả thí sinh đáp ứng như thế nào với các câu hỏi trong bài trắc nghiệm IRT được xây dựng dựa trên việc nghiên cứu mọi cặp tương tác nguyên tố “học sinh – câu hỏi” Mỗi học sinh đứng trước một câu hỏi sẽ ứng đáp như thế nào, điều đó phụ thuộc vào năng lực tiềm ẩn của học sinh và các đặc trưng của câu hỏi Hành vi ứng đáp này được mô tả bằng một hàm đặc trưng câu hỏi cho biết xác suất trả lời đúng câu hỏi P(θ) tùy theo tương quan giữa năng lực học sinh θ và các tham số đặc trưng cho câu hỏi Hiện nay có 3

mô hình tính toán phổ biến trong lý thuyết đáp ứng câu hỏi, các mô hình này được phân loại theo số tham số đặc trưng mà nó sử dụng [5]: mô hình 1 tham số (1PM),

DUT.LRCC

mô hình 2 tham số (2PM) và mô hình 3 tham số Birnbaum (3PM) Cả ba mô hình được thể hiện chung qua công thức (1.1), được gọi là đường cong đặc trưng câu hỏi (Item Characteristic Curve - ICC):

1 + 𝑒−1.7𝑎(𝜃−𝑏) (1.1) Trong đó:

− a là tham số độ phân biệt của câu hỏi (discrimination), nó cho biết mức độ

phân biệt của các thí sinh có năng lực trên mức năng lực trung bình hoặc các thí sinh có năng lực dưới mức năng lực trung bình;

− b là tham số độ khó của câu hỏi;

− c là tham số độ dự đoán (guessing) của câu hỏi, tham số này cho biết trong

trường hợp thí sinh có mức năng lực thấp nhất vẫn có thể trả lời đúng một câu hỏi với một xác suất nào đó Độ dự đoán là một hằng số đối với mỗi câu hỏi, nó được giả thiết là không biến đổi theo mức năng lực thí sinh, 1 < c < 0;

− θ là biến số biểu thị năng lực của thí sinh (ability);

− P(θ) là xác suất để thí sinh có năng lực θ trả lời đúng câu hỏi

Trong mô hình hệ thống TNTN dựa trên cơ sở lý thuyết IRT, năng lực của thí sinh sau mỗi lần trả lời câu hỏi là:

𝜃𝑠+1 = 𝜃𝑠+∑ 𝑆𝑖(𝜃𝑠)

𝑠+1 𝑖=1

∑𝑠+1𝑖=1𝐼𝑖(𝜃𝑠) (1.2) Trong đó:

− 𝜃𝑠: năng lực hiện tại của thí sinh;

− 𝜃𝑠+1: năng lực mới của thí sinh sau khi trả câu hỏi thứ N với năng lực hiện tại 𝜃𝑠;

− i: câu hỏi thứ i trong danh sách các câu hỏi mà thí sinh đã trả lời;

− 𝐼𝑖(𝜃𝑠): hàm thông tin của câu hỏi i đáp ứng cho thí sinh có năng lực 𝜃𝑠, được tính theo công thức sau:

𝐼𝑖(𝜃𝑠) = 𝑃𝑖

′(𝜃𝑠)2

𝑃𝑖(𝜃𝑠)(1 − 𝑃𝑖(𝜃𝑠)) (1.3) + 𝑃𝑖(𝜃𝑠) là xác suất để thí sinh có năng lực 𝜃𝑠 trả lời đúng câu hỏi thứ i; + 𝑃𝑖′(𝜃𝑠) là đạo hàm cấp 1 của 𝑃𝑖(𝜃𝑠)

DUT.LRCC

− 𝑆𝑖(𝜃𝑠) được tính bởi công thức sau:

𝑆𝑖(𝜃𝑠) = (𝑢𝑖− 𝑃(𝜃𝑠)) 𝑃

′(𝜃𝑖)

𝑃𝑖(𝜃𝑠)(1 − 𝑃𝑖(𝜃𝑠)) (1.4) + Với 𝑢𝑖 là đáp án câu hỏi thứ i (nhận giá trị nhị phân 0 hoặc 1)

Đường cong đặc trưng câu hỏi (Item Characteristics Curve - ICC): đường

cong đặc trưng cho biết xác suất trả lời đúng câu hỏi của một thí sinh với năng lực

θ bất kỳ khi đứng trước một câu hỏi nào đó Điểm chính khác nhau được tìm thấy giữa các mô hình IRT là công thức tính đường cong đặc trưng câu hỏi Số các tham số cần thiết để mô tả ICC phụ thuộc vào mô hình IRT được lựa chọn Thông thường, đường cong đặc trưng câu hỏi (ICC) có thể có một, hai, ba tham số hay còn được gọi là tham số của câu hỏi

Hình 1.2 Đường cong đặc trưng câu hỏi

Hàm thông tin câu hỏi (Item Information Function – IIF): Một tài sản quan

trọng nhất của mô hình IRT là sự tồn tại của hàm thông tin (IIF) IIF cho biết câu hỏi này đã đóng góp thông tin như thế nào đối với năng lực θ của thí sinh Hàm thông tin càng lớn có nghĩa là câu hỏi đó phù hợp với năng lực hiện tại của thí sinh Qua đó hàm thông tin là một yếu tố quan trọng cho phép chọn lựa câu hỏi tiếp theo phù hợp với năng lực hiện tại của thí sinh nhất Dạng toán học của IIF cho một câu hỏi cụ thể như công thức (1.3)

DUT.LRCC

Hình 1.3 Đồ thị đường cong đặc trưng và hàm thông tin câu hỏi

Như hình 1.3, đường cong đặc trưng câu hỏi (nét đứt) được biểu diễn cùng màu với hàm thông tin (nét liền) Có thể thấy rằng, hàm thông tin vẫn đạt được maximum tại θ = b Tuy nhiên, hình dạng và giá trị của đỉnh hàm thông tin lại phụ thuộc mạnh vào tham số độ phân biệt (a) Khi giá trị của tham số độ phân biệt (a) càng cao thì đường cong đặc trưng câu hỏi càng dốc Lúc đó câu hỏi sẽ cung cấp nhiều thông tin hơn, thông tin sẽ tập trung xung quanh độ khó (b) của câu hỏi Ngược lại, với câu hỏi cung cấp ít thông tin hơn, thì thông tin sẽ được phân bố đều, nằm rải rác dọc theo một phần giới hạn của năng lực θ Ngoài ra hàm thông tin là một phần quan trọng trong việc xác định câu hỏi tiếp theo nào sẽ phù hợp với năng lực hiện tại của thí sinh nhất

1.3 BAYESIAN KNOWLEDGE TRACING

Hiện nay, các mô hình trắc nghiệm thích nghi còn có một hướng tiếp cận khác bằng cách mô hình hóa kiến thức của thí sinh như một biến tiềm ẩn Biến tiềm ẩn này được cập nhật dựa trên cách thí sinh trả lời các câu hỏi trắc nghiệm Cách tiếp cận mô hình hóa này được gọi là Mô hình Markov ẩn, và phương pháp Bayesian Knowledge Tracing (BKT) [6] được sử dụng phổ biến BKT cho rằng kiến thức của thí sinh được biểu diễn dưới dạng một tập hợp các biến nhị phân (mỗi kiến thức được xác định bằng một biến nhị phân cho biết thí sinh có biết được kiến thức

đó hay không) Các đáp án câu hỏi trắc nghiệm trong BKT cũng là biến nhị phân

Có bốn loại tham số được sử dụng trong BKT:

− P(L0): xác suất ban đầu của việc biết kiến thức;

− P(T): xác suất thí sinh chuyển từ trạng thái chưa biết sang trạng thái đã biết đối với một kiến thức;

− P(S): xác suất thí sinh để mắc lỗi khi áp dụng một kiến thức đã biết;

DUT.LRCC

− P(G): xác suất áp dụng chính xác một kiến thức chưa được biết đến

Mô hình trắc nghiệm với BKT được mô tả như sau: Xác suất ban đầu của thí

sinh u biết được kiến thức k được đặt thành tham số P(L0):

𝑃(𝐿1)𝑘𝑢 = 𝑃(𝐿0)𝑘 (1.5)

Tùy thuộc vào việc thí sinh áp dụng kiến thức k đúng hay sai, xác suất có điều

kiện được tính như sau:

𝑃(𝐿𝑡+1|𝑜𝑏𝑠 = 𝑐𝑜𝑟𝑒𝑐𝑡)𝑢𝑘 = 𝑃(𝐿𝑡)𝑢

𝑘(1 − 𝑃(𝑆)𝑘)𝑃(𝐿𝑡)𝑢𝑘(1 − 𝑃(𝑆)𝑘) + (1 − 𝑃(𝐿𝑡)𝑢𝑘)𝑃(𝐺)𝑘 (1.6)

𝑘𝑃(𝑆)𝑘𝑃(𝐿𝑡)𝑢𝑘𝑃(𝑆)𝑘 + (1 − 𝑃(𝐿𝑡)𝑢𝑘)(1 − 𝑃(𝐺)𝑘) (1.7) Xác suất có điều kiện ở trên được sử dụng để cập nhật xác suất biết kiến thức: 𝑃(𝐿𝑡+1)𝑢𝑘 = 𝑃(𝐿𝑡+1|𝑜𝑏𝑠)𝑢𝑘 + (1 − 𝑃(𝐿𝑡+1|𝑜𝑏𝑠)𝑢𝑘)𝑃(𝑇)𝑘 (1.8)

Và để tính toán xác suất thí sinh u áp dụng đúng kiến thức k vào câu hỏi tiếp

theo:

𝑃(𝐶𝑡+1)𝑢𝑘 = 𝑃(𝐿𝑡)𝑢𝑘(1 − 𝑃(𝑆)𝑘) + (1 − 𝑃(𝐿𝑡)𝑢𝑘)𝑃(𝐺)𝑘 (1.9)

Việc sử dụng BKT để xây dựng mô hình TNTN chỉ có thể áp dụng trong việc đánh giá kiến thức thành phần, cho phép đánh giá chi tiết mức độ kiến thức của thí sinh với mỗi thành phần kiến thức cụ thể Tuy nhiên khi tiếp cận theo BKT thì việc lựa chọn câu hỏi phù hợp với thí sinh trong mỗi thành phần kiến thức lại chưa được giải quyết

Do đó, tác giả đề xuất kết hợp IRT và BKT để xây dựng mô hình TNTN cho phép đánh giá mức độ năng lực và kiến thức thí sinh đồng thời nhằm nâng cao tính chính xác của quá trình đánh giá

1.4 MỘT SỐ CÔNG TRÌNH NGHIÊN CỨU ĐÃ CÓ

1.4.1 Modelling Student Knowledge as a Latent Variable in Intelligent Tutoring Systems : A Comparison of Multiple Approaches[12]

Theo [12], công trình nghiên cứu sự ổn định của hệ thống khi kết hợp giữa BKT và IRT Tuy nhiên chưa đưa ra phương thức kết hợp cụ thể

Công trình chỉ đưa ra một số tập dữ liệu và dựa vào các phương thức hồi quy

để xác định sự ổn định khi kết hợp 2 mô hình

DUT.LRCC

1.4.2 Learning meets Assessment: On the relation between Item Response Theory and Bayesian Knowledge Tracing[13]

Theo [13], công trình đưa ra lý thuyết về hình thức trắc nghiệm theo IRT 3 tham số cũng như mô hính BKT Nội dung xuyên xuốt là mối liên hệ cơ bản giữa 2

tế hiện tại, đưa ra vấn đề cần giải quyết là xây dựng mô hình TNTN theo cả chiều rộng lẫn chiều sâu kiến thức

DUT.LRCC

Chương 2: XÂY DỰNG MÔ HÌNH TRẮC NGHIỆM THÍCH NGHI

Chương này trình bày nội nghiên cứu chính của đề tài là xây dựng mô hình

TNTN cải tiến dựa trên IRT & BKT

Bài toán đặt ra là với một học phần thì sẽ bao gồm nhiều đỉnh kiến thức, gọi là

mô hình miền kiến thức Nếu sử dụng IRT thì chỉ sẽ đánh giá được mức độ năng lực

thí sinh trên toàn bộ học phần mà không thể biết được thí sinh biết được đỉnh kiến

thức nào, không biết đỉnh kiến thức nào Ngược lại nếu sử dụng BKT thì sẽ giải

quyết được vấn đề trên, tuy nhiên việc lựa chọn mỗi câu hỏi trong một đỉnh kiến

thức sao cho phù hợp với mức độ năng lực hiện tại của thí sinh nhất thì lại chưa thể

giải quyết Do đó tác giả đề xuất mô hình trắc nghiệm thích nghi kết hợp IRT và

BKT để giải quyết bài toán nêu trên Trong đó việc xác định thí sinh đã nắm vững

được đỉnh kiến thức nào sẽ dựa vào BKT và việc lựa chọn câu hỏi trong một đỉnh

kiến thức phù hợp với thí sinh nhất sẽ áp dụng IRT

2.1 ÁP DỤNG BAYESIAN KNOWLEDGE TRACING ĐỂ ĐÁNH GIÁ MỨC

ĐỘ KIẾN THỨC

Mô hình BKT được mô tả ở hình 2.1:

Hình 2.1: Bayesion knowledge tracing

Trong đó:

- t là đỉnh kiến thức

- k t là biến tiềm ẩn mô tả mức độ kiến thức của thí sinh tại đỉnh kiến thức đó

(biết hoặc chưa biết)

- y t là kết quả câu trả lời trắc nghiệm của thí sinh (đúng hoặc không đúng)

BKT là đại diện cho mô hình Markov ẩn, vì trạng thái kiến thức của thí sinh

không được quan sát trong khi kết quả trả lời câu hỏi của thí sinh được quan sát

DUT.LRCC

Trong BKT, bốn tham số P(L0), P(T), P(G) và P(S) cho mỗi đỉnh kiến thức được định nghĩa như sau:

Mỗi đỉnh kiến thức đều có 4 tham số trên, theo mô hình mạng Bayes có thể tính toán lại xác suất để cập nhật mức độ kiến thức của thí sinh tại mỗi đỉnh kiến

thức t sau mỗi câu hỏi như sau:

P(𝐿𝑡 = true|𝑦𝑡 = true) = 𝑃(𝐿𝑡)(1 − 𝑃(𝑆))

𝑃(𝐿𝑡)(1 − 𝑃(𝑆)) + (1 − 𝑃(𝐿𝑡))𝑃(𝐺) (2.5)

𝑃(𝐿𝑡)𝑃(𝑆) + (1 − 𝑃(𝐿𝑡))(1 − 𝑃(𝐺)) (2.6) P(𝐿𝑡+1 = 𝑡𝑟𝑢𝑒) = 𝑃(𝐿𝑡|𝑦𝑡) + (1 − 𝑃(𝐿𝑡|𝑦𝑡))𝑃(𝑇) (2.7)

P(𝑦𝑡+1 = true) = P(𝐿𝑡+1)(1 − P(S)) + (1 − P(𝑃𝑡+1))P(G) (2.8)

2.2 ỨNG DỤNG IRT TRONG MÔ HÌNH TNTN

Mỗi đỉnh kiến thức sẽ bao gồm một tập hợp câu hỏi trắc nghiệm liên quan đến đỉnh kiến thức đó Để xác định xác suất thí sinh có biết kiến thức tại đỉnh đó hay không ta áp dụng BKT, tuy nhiên vấn đề đặt ra ở đây là trong mỗi đỉnh ta sẽ lựa chọn câu hỏi như thế nào để đưa ra cho thí sinh một cách tốt nhất Trong luận văn tác giả đề xuất sử dụng IRT với mô hình Birbaum vì trong các mô hình IRT cơ bản thì mô hình 1 tham số [7] chỉ đề cập đến sự phụ thuộc giữa xác suất trả lời đúng câu hỏi của thí sinh và độ khó câu hỏi b, mô hình 2 tham số [8] thì xác suất trả lời đúng câu hỏi phụ thuộc vào độ khó b và độ phân biệt a Rõ ràng trong trường hợp câu hỏi

DUT.LRCC

trắc nghiệm nhị phân thì thí sinh có thể dự đoán để trả lời câu hỏi, vì vậy mô hình 3 tham số ra đời để khắc phục nhược điểm trên [8] Để đánh giá chính xác hơn sự phụ thuộc của xác suất trả lời đúng câu hỏi vào tập hợp tham số của câu hỏi thì cần bổ sung tham số độ dự đoán c

Theo mô hình 3 tham số của Birnbaum thì xác suất trả lời đúng câu hỏi i của thí sinh j có năng lực 𝜃𝑗 được tính như sau:

P(ui = 1|θj, ai, bi, ci) = ci+ (1 − ci) 1

1 + e−1.7ai (θj−bi) (2.9) Trong đó:

− u i là kết quả đánh giá trả lời câu hỏi i (ui = 1 nếu trả lời đúng câu hỏi thứ i

và u i = 0 trong trường hợp ngược lại);

− a i , b i , c i là tập hợp các tham số của câu hỏi i: độ phân biệt, độ khó và độ dự

đoán của câu hỏi i;

− 𝜃𝑗 là mức độ năng lực hiện tại của thí sinh j

Hình 2.2 Đồ thị mô tả sự phụ thuộc hàm xác suất trả lời đúng câu hỏi (a=1, b=0,

c= 0.25) của người học có năng lực θ

Với các tham số ai, b i , c i đã biết của câu hỏi i có thể xây dựng đồ thị phụ thuộc

giữa hàm xác suất trả lời đúng câu hỏi với năng lực của thí sinh (Hình 2.2) Tiệm

cận dưới của hàm xác suất trả lời đúng câu hỏi tiến về giá trị độ dự đoán c của câu

hỏi, có nghĩa là nếu như người học không biết trả lời câu hỏi thì xác suất lựa chọn

đáp án đúng cho câu hỏi (xác suất trả lời đúng câu hỏi) bằng c Tham số b của câu

hỏi xác định điểm uốn của đồ thị mà không làm thay đổi đường cong của nó Tham

số này xác định độ khó của câu hỏi, với giá trị b càng lớn thì xác suất trả lời đúng câu hỏi của thí sinh càng giảm và ngược lại, giá trị b càng nhỏ thì xác suất trả lời

0 0.2 0.4 0.6 0.8 1 1.2

p (u=1)

DUT.LRCC

đúng câu hỏi đó càng lớn Tham số độ phân biệt a của câu hỏi xác định góc nghiêng của đường cong hàm xác suất trả lời đúng câu hỏi tại điểm uốn (b = θ) Nó cho thấy

khả năng câu hỏi có thể phân biệt được các thí sinh có các mức độ năng lực khác nhau, hay có thể nói độ phân biệt câu hỏi là đại lượng ảnh hưởng đến xác suất trả lời đúng câu hỏi giữa các thí sinh có mức độ năng lực khác nhau

Mô hình trắc nghiệm thích nghi dựa trên lý thuyết đáp ứng câu hỏi với mô hình 3 tham số Birnbaum được thực hiện theo các bước như sau:

− Bước 1: Thiết lập mức độ năng lực ban đầu cho thí sinh;

− Bước 2: Lặp lại từ bước 3 đến bước 5 cho đến khi gặp điều kiện dừng;

− Bước 3: Đánh giá tập hợp câu hỏi chưa đưa ra cho thí sinh và tính toán hàm thông tin của các câu hỏi đó dựa trên mức độ năng lực hiện tại của thí sinh;

− Bước 4: Lựa chọn và đưa ra câu hỏi phù hợp nhất với mức độ năng lực hiện tại của thí sinh;

− Bước 5: Đánh giá lại năng lực thí sinh trên cơ sở kết quả trả lời câu hỏi đưa

ra

Lựa chọn câu hỏi phù hợp với mức độ năng lực hiện tại của thí sinh là rất quan trọng Nếu câu hỏi đưa ra là quá khó hay quá dễ đối với thí sinh thì sẽ mang lại ít thông tin về mức độ năng lực thí sinh Để đánh giá được chính xác mức độ năng lực thí sinh cần thiết phải đưa ra câu hỏi với bộ tham số mang lại thông tin tối đa trong việc đánh giá mức độ năng lực thí sinh

Theo Birnbaum, mỗi câu hỏi trắc nghiệm cung cấp một lượng thông tin nào đó

về mức độ năng lực của thí sinh Birnbaum đề xuất hàm thông tin Ii(θ) của câu hỏi i được tính toán phụ thuộc vào năng lực θ của thí sinh theo công thức sau:

′(uk = 1|θ, ai, bi, ci))2

Pi(uk = 1|θ, ai, bi, ci)(1 − Pi(uk = 1|θ, ai, bi, ci)) (2.10) Trong đó:

− Pi(uk = 1|θ, ai, bi, ci) là xác suất trả lời đúng câu hỏi i với tập hợp tham số:

DUT.LRCC

Sau khi trả lời mỗi câu hỏi thì vấn đề đặt ra là làm sao đánh giá lại mức độ năng lực của thí sinh vì giá trị mức độ năng lực mới này sẽ được sử dụng để lựa chọn câu hỏi tiếp theo phù hợp với thí sinh Sử dụng phương pháp Maximum likelihood [9] để đánh giá mức độ năng lực của thí sinh sau mỗi câu trả lời, tức là tìm một giá trị mức độ năng lực mà hàm sau đây là tối đa:

θs+1 = θs+∑iϵnSi(θs)

∑iϵnIi(θs) (2.11) Trong đó:

− n là tập hợp bộ câu hỏi thí sinh đã trả lời;

− 𝑆𝑖(𝜃𝑠) được tính theo công thức:

Si(θs) =(ui − Pi(ui = 1|θs, ai, bi, ci)) Pi

′(ui = 1|θs, ai, bi, ci)P(ui = 1|θs, ai, bi, ci)(1 − Pi(ui = 1|θs, ai, bi, ci)) (2.12) + Pi(ui = 1|θs, ai, bi, ci) và Pi′(ui = 1|θs, ai, bi, ci) là xác suất trả lời đúng câu hỏi i và đạo hàm bậc nhất tương ứng của xác suất đó;

− 𝐼𝑖(𝜃𝑠) là hàm thông tin câu hỏi

2.3 ƯỚC LƯỢNG THAM SỐ BKT VÀ IRT

Khi áp dụng mô hình đề xuất thì vấn đề đặt ra là làm sao xác định được tập hợp 04 tham số trong mô hình BKT cho mỗi đỉnh kiến thức và tập hợp tham số cho ngân hàng câu hỏi trắc nghiệm khi sử dụng IRT Tác giả đề xuất sử dụng xác suất

DUT.LRCC

thực nghiệm để tính toán các tham số cho mô hình BKT và sử dụng lý thuyết trắc nghiệm cổ điển để tính toán các tham số cho câu hỏi trắc nghiệm

2.3.1 Tính toán tham số BKT sử dụng xác suất thực nghiệm

Xác suất thực nghiệm là một quy trình hai bước bao gồm: Xác định dữ liệu ngân hàng câu hỏi có hiệu suất với đỉnh kiến thức, sau đó sử dụng thông tin này để tính toán các tham số trong mô hình BKT

Bước đầu tiên trong xác suất thực nghiệm là xác định được tập hợp dữ liệu hiệu quả để đánh giá cho từng thí sinh trong mỗi đỉnh kiến thức Giả sử mức độ kiến thức là biết và không biết, và không cho phép quên (trạng thái chưa biết không bao giờ có thể theo sau trạng thái đã biết) Tác giả đề xuất sử dụng phương pháp heuristic đơn giản [10] để xác định thời điểm thí sinh học một đỉnh kiến thức và lựa chọn chuỗi câu hỏi phù hợp nhất

Hình 2.3 Lựa chọn dữ liệu hiệu quả và Xác suất thực nghiệm

Trong hình 2.3 mô tả một đỉnh kiến thức gồm 5 câu hỏi và có 6 thí sinh đã tham gia đánh giá Tác giả đề xuất những dữ liệu hiệu quả trong việc tính xác suất thực nghiệm là những dữ liệu thí sinh sở hữu số câu hỏi trong đỉnh kiến thức nhiều (trong ví dụ ở hình 2.3 là 80% trở lên), dựa vào những dữ liệu đó ta sẽ lập được ma trận dữ liệu hiệu quả để tính toán

Bước tiếp theo: tính toán xác suất cho các tham số trong mô hình BKT từ dữ liệu ban đầu Tham số P(L0) là xác suất thí sinh biết trước đỉnh kiến thức (trước khi bước vào quá trình đánh giá) được tính bằng cách lấy giá trị trung bình của thí sinh trong trong lần trả lời đầu tiên [11], với K là kết quả trả lời câu hỏi đầu tiên của các

dữ liệu hiệu quả:

P(𝐿0) =∑ 𝐾0

|𝐾0| (2.13)

Sử dụng 𝐾𝑖 (mức độ kiến thức) và 𝐶𝑖 (kết quả trả lời đúng câu hỏi) của các

dữ liệu hiệu quả làm cơ sở ta có thể tính toán 03 tham số còn lại của mô hình BKT như sau:

DUT.LRCC

P(T) =∑𝑖≠0(1 − 𝐾𝑖−1)𝐾𝑖

∑𝑖≠1(1 − 𝐾𝑖−1) (2.14)

P(G) = ∑ 𝐶𝑖 𝑖(1 − 𝐾𝑖)

∑ (1 − 𝐾𝑖 𝑖) (2.15) P(S) =∑ (1 − 𝐶𝑖 𝑖)𝐾𝑖

∑ 𝐾𝑖 𝑖 (2.16)

2.3.2 Tính toán tập tham số câu hỏi trắc nghiệm

Lý thuyết Trắc nghiệm cổ điển (Classical Test Theory) là một trong những lý thuyết quan trọng liên quan đến khoa học đo lường đánh giá được xây dựng dựa trên khoa học xác suất và thống kê Lý thuyết này được ứng dụng trong việc phân tích câu hỏi trắc nghiệm nhằm làm tăng chất lượng của chúng, loại bỏ, sửa chữa và tuyển chọn câu hỏi trắc nghiệm theo yêu cầu

Khi phân tích câu hỏi trắc nghiệm có 2 chỉ số cần quan tâm là độ khó và độ phân biệt của câu hỏi trắc nghiệm

Độ khó của câu hỏi trắc nghiệm là chỉ số đo nói lên chất lượng của câu hỏi trắc nghiệm, có hiệu nghiệm trong việc phân tán, đánh giá năng lực của thí sinh Theo lý thuyết trắc nghiệm cổ điển thì độ khó bi của câu hỏi trắc nghiệm i là

tỷ số phần trăm số thí sinh làm đúng câu hỏi trắc nghiệm i trên tổng số thí sinh tham gia làm câu hỏi trắc nghiệm đó:

𝑏𝑖 =𝑁1

𝑁 (2.17) Trong đó:

− N1: số thí sinh trả lời đúng câu hỏi trắc nghiệm i;

− N: tổng số thí sinh trả lời câu hỏi trắc nghiệm i

Giá trị độ khó b của mỗi câu hỏi trắc nghiệm chưa nói lên được câu hỏi trắc

nghiệm đó tốt hay không, nhưng nó nói lên độ khó tương đối của câu hỏi trắc nghiệm đó đối với nhóm thí sinh tham gia làm bài trắc nghiệm Nếu một nhóm thí

sinh khác trả lời câu hỏi trắc nghiệm đó thì giá trị độ khó b có thể khác

Giá trị độ khó b có ý nghĩa quan trọng trong quá trình phân tích câu hỏi Từ

đó có thể thấy được mức độ phù hợp của câu hỏi trắc nghiệm đó đối với nhóm thí

sinh Ngoài ra, giá trị b còn giúp xác định một số lỗi khác của câu hỏi trắc nghiệm

để kịp thời điều chỉnh, sửa đổi Giá trị b cũng có thể cho thấy kết quả làm bài của

các nhóm thí sinh khác nhau Có thể xác định độ khó bằng phương pháp thống kê Dựa vào kết quả trắc nghiệm khách quan có thể phân chia thí sinh thành 3 nhóm:

DUT.LRCC

− Nhóm 1: là nhóm thí sinh giỏi (25% ÷ 27% thí sinh có kết quả trắc nghiệm cao nhất);

− Nhóm 2: là nhóm thí sinh yếu (25% ÷ 27% thí sinh có kết quả trắc nghiệm thấp nhất);

− Nhóm 3: là nhóm thí sinh trung bình (46% ÷ 50% thí sinh còn lại, không phụ thuộc vào 2 nhóm kia)

Khi đó độ khó câu hỏi trắc nghiệm i được tính như sau:

𝑏𝑖 =𝑁𝐺𝑖+ 𝑁𝑊𝑖

𝑁 (2.18) Trong đó:

− NGi là số thí sinh thuộc nhóm giỏi trả lời đúng câu hỏi trắc nghiệm i;

− NWi là số thí sinh thuộc nhóm yếu trả lời đúng câu hỏi trắc nghiệm i;

− N là tổng số thí sinh tham gia trả lời câu hỏi trắc nghiệm i

Độ khó câu hỏi trắc nghiệm sẽ có giá trị trong khoảng [0, 1], giá trị độ khó càng gần 0 thì độ khó câu hỏi trắc nghiệm càng tăng, ngược lại giá trị độ khó càng gần 1 thì độ khó câu hỏi trắc nghiệm càng giảm Thông thường độ khó của một câu hỏi trắc nghiệm có thể chấp nhận được nằm trong khoảng [0.25, 0.75], câu hỏi trắc nghiệm có độ khó lớn hơn 0,75 là quá dễ, có độ khó nhỏ hơn 0,25 là quá khó Một câu hỏi trắc nghiệm cần có khả năng phân biệt thí sinh có các mức năng lực khác nhau như: giỏi, khá, trùng bình, yếu,… Khả năng của câu hỏi trắc nghiệm thực hiện được sự phân biệt ấy được gọi là độ phân biệt và được thể hiện thông qua tham số độ phân biệt (discriminasion) của câu hỏi trắc nghiệm Với câu hỏi trắc nghiệm có độ phân biệt thì phản ứng của các thí sinh có mức độ năng lực khác nhau đối với câu hỏi trắc nghiệm đó phải là khác nhau

Độ phân biệt của một câu hỏi trắc nghiệm liên quan đến độ khó của câu hỏi trắc nghiệm đó Nếu một câu hỏi trắc nghiệm dễ đến mức mọi thí sinh đều làm đúng thì độ phân biệt của nó rất kém vì mọi thí sinh đều có kết quả như nhau đối với câu hỏi trắc nghiệm đó Ngược lại, nếu một câu hỏi trắc nghiệm khó đến mức mọi thí sinh đều làm sai thì độ phân biệt của nó cũng rất kém Từ các trường hợp giới hạn nói trên có thể nói rằng muốn có độ phân biệt tốt thì câu hỏi trắc nghiệm

phải có độ khó ở mức trung bình Độ phân biệt của câu hỏi i được tính như sau:

𝑎𝑖 = 𝑁𝐺𝑖− 𝑁𝑊𝑖(𝑁𝐺𝑖− 𝑁𝑊𝑖)𝑀𝑎𝑥 (2.19) DUT.LRCC

Trong đó: ai là độ phân biệt của câu hỏi i Độ phân biệt của một câu hỏi trắc

nghiệm là chỉ số xác định chất lượng của câu trắc nghiệm, có tác dụng phân loại các nhóm năng lực của thí sinh Theo Ebel:

− Nếu ai ≤ 0 thì câu hỏi trắc nghiệm i không có độ phân biệt hay nói cách

khác là câu hỏi trắc nghiệm đó không phân biệt được các thí sinh có mức độ năng lực khác nhau;

− Nếu 0 < ai < 0.3 thì câu hỏi trắc nghiệm i có độ phân biệt thấp;

− Nếu 0.3 ≤ ai < 1 thì câu hỏi trắc nghiệm i có độ phân biệt cao

Độ khó và độ phân biệt có mối quan hệ tỷ lệ thuận với nhau Tuy nhiên, nếu

độ khó đạt đết mức độ 100% thì độ phân biệt sẽ bằng 0 Những câu hỏi trắc nghiệm như vậy sẽ ít có giá trị sử dụng

2.4 KẾT CHƯƠNG

Trong chương này tác giả đã tiến hành xây dựng mô hình TNTN trên cơ sở kết hợp BKT để tính toán mức độ kiến thức tại mỗi đỉnh và IRT để lựa chọn câu hỏi trong đỉnh phù hợp với mức độ năng lực hiện tại của thí sinh Đồng thời cũng

đề xuất sử dụng Xác suất thực nghiệm và Lý thuyết trắc nghiệm cổ điển để tính toán các tham số ban đầu cho mô hình đề xuất

DUT.LRCC