Ứng dụng mạng bayes xây dựng hệ thống trắc nghiệm thích nghi

Lựa chọn câu hỏi Thuật toán lựa chọn câu hỏi gồm các bước sau: - Dựa trên tham số năng lực hiện tại, tính toán giá trị của hàm thông tin cho các câu hỏi chưa đưa ra cho thí sinh trả lờ

TRƯỜNG ĐẠI HỌC BÁCH KHOA

Người hướng dẫn khoa học: TS ĐẶNG HOÀI PHƯƠNG

Phản biện 1: TS NINH KHÁNH DUY

Phản biện 2: PGS.TS HOÀNG XUÂN HIỆP

Luận văn được bảo vệ trước Hội đồng chấm Luận văn tốt nghiệp Thạc sĩ kỹ thuật chuyên ngành Khoa học máy tính

họp tại Trường Đại học Trà Vinh vào ngày 16 tháng 9 năm

2017

Có thể tìm hiểu luận văn tại:

Trung tâm Học liệu, Đại học Đà Nẵng tại Trường Đại học

Bách khoa

Thư viện Khoa Công nghệ thông tin, Trường Đại học Bách

khoa – Đại học Đà Nẵng

MỞ ĐẦU

1 Lý do chọn đề tài

Đánh giá kết quả học tập là một khâu quan trọng trong quá trình đào tạo Các phương pháp đánh giá truyền thống như: vấn đáp, tự luận,… thường mất nhiều thời gian, khó chính xác và không khách quan Để khắc phục những hạn chế trên thì kiểm tra bằng hình thức trắc nghiệm đã được đề xuất

Một trong những hệ thống trắc nghiệm đang được sử dụng phổ biến là trắc nghiệm khách quan (Objective test) [4] Tuy nhiên mô hình trắc nghiệm này vẫn chưa thực sự đưa ra kết quả đúng đắn hoặc công bằng do một số nguyên nhân: bộ câu hỏi trong một bài kiểm tra được lựa chọn một cách ngẫu nhiên nên sẽ có bài kiểm tra quá khó hoặc quá

dễ Một mô hình trắc nghiệm đã và đang được nghiên cứu hiện nay là trắc nghiệm thích nghi (TNTN) trên máy tính (Computerized Adaptive Testing - CAT) [14] Mô hình này cho phép lựa chọn câu hỏi tiếp theo phù hợp với mức kiến thức và năng lực hiện tại của thí sinh Năng lực thí sinh được cập nhật thường xuyên trong quá trình đánh giá và quá trình đánh giá sẽ kết thúc khi đưa ra được chính xác mức kiến thức và năng lực thực sự của thí sinh

Ngày nay, với sự phát triển vượt bậc của khoa học máy tính nên vấn đề triển khai các hệ thống TNTN dựa trên cơ sở các mô hình toán học là hoàn toàn khả thi Một số mô hình TNTN đã được nghiên cứu và hiện thực hóa như: mô hình TNTN trên cơ sở lý thuyết đáp ứng câu hỏi [19], mô hình TNTN trên cơ sở [15], … Tuy nhiên các mô hình TNTN

kể trên vẫn còn tồn tại một số nhược điểm Đề tài “Ứng dụng mạng Bayes xây dựng hệ thống trắc nghiệm thích nghi” là cần thiết để khắc phục các nhược điểm trên

2 Mục đích và ý nghĩa đề tài

a Mục đích

Xây dựng mô hình TNTN trên cơ sở mạng Bayes

Xây dựng hệ thống TNTN dựa trên mô hình đề xuất và triển khai ứng dụng cho việc đánh giá kiến thức và kỹ năng của sinh viên ở Trường ĐH Sư phạm Kỹ thuật Vĩnh Long đối với học phần Lập trình Web

Xây dựng mô hình TNTN trên cơ sở mạng Bayes;

Hiện thực hóa hệ thống Website đánh giá dựa trên mô hình đề xuất

b Nhiệm vụ

Đưa ra vấn đề và phân tích vấn đề;

Phát biểu, phân tích và xây dựng mô hình TNTN để giải quyết bài toán đặt ra;

Triển khai thực tế và đánh giá kết quả đạt được của hệ thống

4 Đối tượng và phạm vi nghiên cứu

a Đối tượng nghiên cứu

Các mô hình và thuật toán TNTN;

Các hệ thống TNTN hiện có;

Lý thuyết mạng Bayes

Đưa ra kết luận và cơ sở cho việc lựa chọn mạng Bayes làm nền tảng để xây dựng mô hình TNTN;

Nghiên cứu và áp dụng mạng Bayes xây dựng hệ thống TNTN

Phương pháp thực nghiệm

Xây dựng ngân hàng câu hỏi làm dữ liệu đầu vào cho chương trình (bao gồm việc thiết lập các tham số đặc trưng cho từng câu hỏi);

Xây dựng Website TNTN trên cơ sở mô hình đề xuất;

Triển khai và đánh giá hệ thống

6 Kết quả dự kiến

a Kết quả của đề tài

Xây dựng mô hình TNTN trên cơ sở mạng Bayes và Lý thuyết đáp ứng câu hỏi;

Hiện thực hóa hệ thống TNTN trên cơ sở mô hình đề xuất và triển khai thực tế đối với học phần Lập trình Web tại Trường Đại học Sư phạm Kỹ thuật Vĩnh Long

b Hướng phát triển của đề tài

Tối ưu hóa mô hình TNTN đề xuất;

Hoàn thiện hệ thống TNTN

CHƯƠNG 1 CƠ SỞ LÝ LUẬN VÀ THỰC TIỄN

1.1 Tổng quan về trắc nghiệm thích nghi

1.1.1 Khái niệm trắc nghiệm thích nghi

1.1.2 Lịch sử TNTN

1.2 Các thành phần của mô hình TNTN

1.2.1 Ngân hàng câu hỏi

Là tập hợp câu hỏi đã được ước lượng các tham số đặc trưng như

độ khó, độ phân biệt Ngân hàng câu hỏi được sử dụng để làm cơ sở đánh giá năng lực thí sinh

1.2.2 Lựa chọn câu hỏi

Thuật toán lựa chọn câu hỏi gồm các bước sau:

- Dựa trên tham số năng lực hiện tại, tính toán giá trị của hàm thông tin cho các câu hỏi chưa đưa ra cho thí sinh trả lời;

- Tìm và chọn câu hỏi phù hợp nhất với năng lực hiện tại của thí sinh (câu hỏi có hàm thông tin lớn nhất)

1.2.3 Đánh giá năng lực của thí sinh

Sau khi nhận kết quả trả lời câu hỏi của thí sinh, hệ thống sẽ tính toán lại mức năng lực của thí sinh Việc tính toán này sẽ đưa ra giá trị mới cho tham số năng lực Thông thường giá trị này không thay đổi nhiều so với lần đánh giá trước đó và sẽ tiến dần đến mức năng lực thực

sự của thí sinh

1.2.4 Điều kiện dừng

Vì mô hình TNTN hoạt động theo thuật toán lặp các thao tác lựa chọn câu hỏi, thí sinh trả lời, đánh giá năng lực nên cần có điều kiện dừng để làm căn cứ kết thúc quá trình trắc nghiệm Điều kiện dừng có thể là một hoặc một số tiêu chí như: độ sai lệch năng lực thấp, thời gian làm bài vượt quá thời gian quy định, số lượng câu hỏi vượt quá mức quy định, …

1.3 Hoạt động của mô hình TNTN

Hình 1.1 Mô hình hoạt động của hệ thống TNTN

Hoạt động chung của mô hình TNTN là một thuật toán lặp gồm các bước sau:

- Bước 1: Khởi tạo giá trị mức năng lực ban đầu của thí sinh

Bắt đầu

Khởi tạo mức năng lực

Lựa chọn câu hỏi phù hợp

Đánh giá lại mức năng lực

Điều kiện dừng

Sai Đúng

Báo cáo kết quả mức năng lực

Kết thúc

- Bước 2: Dựa vào mức năng lực hiện tại của thí sinh, lựa chọn câu hỏi phù hợp nhất từ các câu hỏi chưa được chọn

- Bước 3: Tính toán lại mức năng lực mới dựa vào kết quả trả lời câu hỏi của thí sinh

- Bước 4: Quay lại bước 2 nếu điều kiện dừng chưa thỏa mãn Trong mô hình TNTN, thuật toán lựa chọn câu hỏi tiếp theo phù hợp với năng lực hiện tại của thí sinh là khó khăn vì phải được tính toán một cách phức tạp Ngày nay với sự phát triển của khoa học máy tính thì vấn đề trên đã được giải quyết một cách tốt hơn, giúp hệ thống đánh giá năng lực của thí sinh một cách chính xác, nhanh chóng và giảm bớt thời gian cũng như chi phí của quá trình đánh giá

1.4 Phân tích các mô hình TNTN

Cho đến hiện nay, tồn tại các mô hình TNTN sau:

Thuật toán lựa chọn câu hỏi theo tiêu chuẩn thông tin tối đa (MI) [12] là thuật toán phổ biến được sử dụng trong các mô hình TNTN

Câu hỏi thứ n+1 được lựa chọn cho thí sinh là câu hỏi cung cấp thông

tin tối đa cho phép ước lượng khả năng của thí sinh ( n) dựa trên n câu hỏi trước đó mà thí sinh đã trả lời

Thuật toán lựa chọn câu hỏi theo thông tin toàn cục (KL) là thuật toán lựa chọn câu hỏi dựa trên phương pháp thông tin tổng thể được đề xuất bởi Chang and Ying (1996) [11] Thuật toán này sử dụng

độ đo Kullback-Leibler để tính toán ước lượng trong việc lựa chọn câu hỏi

Thuật toán lựa chọn câu hỏi dựa trên sự phân tích tiên đoán theo tiêu chí tối đa thông tin (MEI) là thuật toán lựa chọn câu hỏi dựa trên việc phân tích tiên đoán các tiêu chí tối đa thông tin dự kiến được

đề xuất bởi van der Linden (1998) [19]

Thuật toán MI, KL và MEI sẽ dừng khi tiêu chuẩn lỗi (SE) đủ nhỏ Khi đó có thể nói đã xác định được mức năng lực của thí sinh

Bảng 1.1 Bảng đánh giá các thuật toán lựa chọn MI, KL và MEI

(+: có, -: không)

Thuật toán lựa

chọn câu hỏi

Đánh giá thông số câu hỏi

Khả năng thích ứng liên tục với tham số năng lực

Số câu hỏi

để xác định tiêu chuẩn lỗi (SE)

Thời gian tính toán hàm thông tin

CHƯƠNG 2 XÂY DỰNG MÔ HÌNH TRẮC NGHIỆM

THÍCH NGHI 1.1 Lý thuyết mạng Bayes

2.2.2 Mô hình IRT 2 tham số

Trong mô hình IRT 2 tham số được sử dụng các tham số độ khó

(b) và độ phân biệt (a) Khi đó xác suất trả lời đúng câu hỏi thứ i của thí sinh j được tính theo công thức sau:

𝑃(𝑢𝑖 = 1|𝜃𝑗, 𝑎𝑖, 𝑏𝑖) = 𝑒𝑎𝑖(𝜃𝑗−𝑏𝑖)

1+𝑒 𝑎𝑖(𝜃𝑗−𝑏𝑖) (1) Trong đó:

u i là kết quả đánh giá trả lời câu hỏi i (u i = 1 nếu trả lời đúng

câu hỏi thứ i và u i= 0 trong trường hợp ngược lại);

a i , b i là tập hợp các tham số của câu hỏi i: độ phân biệt, độ khó của câu hỏi i;

θ j là mức năng lực hiện tại của thí sinh j

Theo Birnbaum, mỗi câu hỏi trắc nghiệm cung cấp một lượng thông tin nào đó về mức năng lực của thí sinh Birnbaum đề xuất hàm

thông tin I i (θ) của câu hỏi i được tính toán phụ thuộc vào năng lực θcủa thí sinh theo công thức sau:

(u k = 1|θ, a i , b i ) là đạo hàm bậc nhất của xác suất trả lời

đúng câu hỏi i theo mức năng lực

1.3 Xây dựng mô hình TNTN dựa trên mạng Bayes kết hợp IRT 2

tham số

2.3.1 Mô hình TNTN

Một mô hình tổng thể TNTN cần có các thành phần sau:

Hình 2.1 Mô hình TNTN 2.3.2 Ngân hàng câu hỏi

Ngân hàng câu hỏi (NHCH) là nơi chứa toàn bộ các câu hỏi cho

quá trình đánh giá thích nghi NHCH nằm ở trung tâm của tất cả các hệ

Module lựa chọn câu hỏi tiếp theo

Module quản lý câu hỏi

Module đánh giá năng lực thí sinh

Ngân hàng câu hỏi

θ

s

θ f

Thuật toán TNTN

thống TNTN NHCH gồm nhiều môn học và mỗi môn học có một số lượng câu hỏi nhất định để thực hiện đánh giá thích nghi hiệu quả cho môn học đó Tại mỗi thời điểm, thí sinh chỉ được phép đánh giá trên một môn học Ngoài ra mỗi câu hỏi cần phải được ước lượng các tham

số đặc trưng như độ khó, độ phân biệt theo quy ước của mô hình IRT 2 tham số

Năng lực mới của thí sinh sau khi được đánh giá

Hoạt động thuật toán

Bước 1: Khởi tạo mức năng lực ban đầu cho thí sinh

Bước 2: Đánh giá tập câu hỏi chưa đưa ra cho thí sinh: tính

hàm thông tin của các câu hỏi này dựa trên mức năng hiện tại của thí sinh

Bước 3: Lựa chọn và đưa ra câu hỏi phù hợp nhất với mức

năng lực hiện tại của thí sinh

Bước 4: Đánh giá lại năng lực thí sinh trên cơ sở kết quả trả

lời câu hỏi đưa ra

Bước 5: Lặp lại từ Bước 2 cho đến khi gặp điều kiện dừng

Hình 2.2 Thuật toán TNTN

Đúng

Sai

Bắt đầu

Khởi tạo mức năng lực θ

Lựa chọn câu hỏi

phù hợp Max(I i (θ))

Điều kiện dừng

Đánh giá lại mức năng lực θ

Kết quả mức năng lực là θ

Kết thúc

Tập các câu hỏi chưa đưa ra

Tính hàm thông tin của câu

hỏi I i (θ)

Nhận kết quả trả lời u i

2.3.4 Thuật toán lựa chọn câu hỏi

Trong TNTN, thuật toán lựa chọn câu hỏi là thuật toán quan trọng Thuật toán này là một thuật toán con hoạt động bên trong thuật toán TNTN Thuật toán này giúp lựa chọn câu hỏi từ danh sách các câu hỏi chưa được chọn sao cho phù hợp nhất với năng lực hiện tại của thí sinh Thuật toán tiến hành duyệt tất cả cả câu hỏi chưa được chọn, tính toán hàm thông tin cho mỗi câu hỏi và lựa chọn câu hỏi có giá trị thông tin lớn nhất Theo lý thuyết IRT, câu hỏi có giá trị thông tin lớn nhất là câu phù hợp nhất với thí sinh đó Hàm thông tin sẽ được tính toán dựa trên công thức (2) Sau khi đã chọn được câu hỏi, thuật toán sẽ đánh dấu câu hỏi được chọn để không phải tính toán cho lần lựa chọn tiếp theo

Mô tả thuật toán lựa chọn câu hỏi:

Đầu vào:

Danh sách câu hỏi theo môn học và chưa được chọn trong bài thi, mỗi câu hỏi đã được ước lượng các tham số đặc trưng

Năng lực (kiến thức) hiện tại của thí sinh

Đầu ra: Câu hỏi được chọn từ ngân hàng câu hỏi

Bước 2.1: Tính toán hàm đặc trưng câu hỏi cho các danh

sách câu hỏi theo công thức (20)

Bước 2.2: Tính giá trị hàm thông tin câu hỏi

Bước 3: Ghi nhận câu hỏi và đánh dấu đã chọn

Bước 4: Kết thúc

2.3.5 Ước lượng năng lực thí sinh

Đối với hệ thống trắc nghiệm thích nghi thì viêc năng lực của thí sinh sẽ được đánh giá liên tục trong sau khi trả lời mỗi câu hỏi, đây là một thuật toán quan trọng trong hệ thống trắc nghiệm thích nghi Sau khi thí sinh trả lời mỗi câu hỏi, thuật toán con này thực thi để tính toán năng lực hiện tại của thí sinh

Kết quả tính toán này sẽ là tiền đề để hệ thống trắc nghiệm thích nghi lựa chọn câu hỏi tiếp theo phù hợp với năng lực thí sinh hoặc là đưa ra kết quả đánh giá năng lực cuối cùng của thí sinh và dừng đợt kiểm tra

Trong mạng Bayes, năng lực được tính từ xác suất thành công

trung bình của tất cả k câu hỏi:

𝜃 =∑ 𝑃𝑘 𝑟(𝑋𝑖)

𝑖

𝑘

Trong đó, P r (X i ) là xác suất ước tính thành công của câu hỏi i

sau khi trả lời r

Để giải quyết vấn đề này cần định nghĩa mô hình cấu trúc của mạng Bayes

2.3.5.1 Nút kiến thức

Được xác định ở ba mức độ chi tiết khác nhau: khái niệm (C), chủ đề (T) và môn học (A) Mức độ chi tiết khác nhau sẽ cho phép chúng ta có được thông tin chi tiết về trình độ kiến thức của thí sinh Cấu trúc chương trình giảng dạy này sẽ cho phép chúng ta biết được chính xác phần nào của đề mục được thí sinh nắm vững hoặc chưa nắm vững

Khái niệm là một phần của kiến thức cơ bản, theo nghĩa nó không thể bị phân hủy thành các phần nhỏ hơn Các khái niệm cơ bản được coi là các đơn vị cơ bản của kiến thức

a Để biểu diễn một khái niệm cơ bản ta sử dụng một biến ngẫu nhiên

C với phân phối Bernoulli, có nghĩa là C có hai giá trị khác nhau: 1 nếu thí sinh hiểu khái niệm hoặc 0 nếu ngược lại Định luật xác suất của C sẽ là:

P(C=x) = px(1-p)1-xTrong đó: p là xác suất để thí sinh biết khái niệm C và x có thể nhận giá trị 0 hoặc 1

∑𝑠 𝑎𝑖 = 1

𝑖=1

Theo định nghĩa, mỗi chủ đề bao gồm một tập các khái niệm độc lập nhau với trọng số tương ứng của chúng, nghĩa là cho mỗi i=1, …, s thì chủ đề Ti bao gồm một tập các khái niệm {𝐶𝑖𝑗, … , 𝐶𝑖𝑛𝑖} và vector trọng số 𝑤 = (𝑤𝑖𝑗, … , 𝑤𝑖𝑛𝑖 ) được xác định bởi biểu thức:

𝑇𝑖 = ∑𝑛𝑖 𝑤𝑖𝑗𝐶𝑖𝑗

𝑗=1

Để biểu diễn kiến thức của thí sinh về một môn học nào đó, chúng

ta sử dụng một biến ngẫu nhiên A được định nghĩa bởi:

𝐴 = ∑𝑠 𝑎𝑖𝑇𝑖

𝑖=1

Ví dụ:

Giả sử rằng một giáo viên đang thiết kế một môn học có nội dung

và cấu trúc được đưa ra trong Bảng 2.1

Bảng 2.1 Thiêt kế giả định môn Mathematics

Bảng 2.2 Phân cấp chi tiết môn Mathematics

Trigonometry a2 = 0.3

Basic concepts w21 = 0.3 Trigonometric functions w22 = 0.3 Applications w23 = 0.4

Geometry a3 = 0.2 Basic concepts w31 = 0.4

Applications w32 = 0.6 Trọng số của một chủ đề (khái niệm) có thể được tính như số ngày kết hợp với số ngày liên quan đến môn học (chủ đề) mà nó thuộc về

Do đó, ví dụ trọng số cho các khái niệm Function của chủ đề Calculus

là 18/90 Bảng 2.2 cho thấy hệ thống phân cấp chi tiết được kết hợp với

ví dụ này

Tuy nhiên, lưu ý rằng các tiêu chí khác có thể được sử dụng để đặt tầm quan trọng tương đối của mỗi chủ đề (khái niệm) trong môn học (chủ đề), chẳng hạn như tỷ lệ yêu cầu của câu hỏi trong kỳ thi hoặc bất

kỳ ước tính chủ quan nào khác của giáo viên

2.3.5.2 Nút chứng cứ

Các nút này được sử dụng để thu thập thông tin liên quan đến trạng thái hiểu biết của thí sinh Trong mô hình của chúng ta, nguồn chứng cứ là tập hợp các bài kiểm tra liên quan đến các nút kiến thức

Để biểu diễn một nút chứng cứ, chúng ta sử dụng một biến ngẫu nhiên

P với sự phân phối Bernoulli, nghĩa là nó sẽ lấy giá trị 1 khi thí sinh