TẠP CHÍ ĐẠI HỌC SÀI GÒN Số 6 - Tháng 6/2011 SO BẰNG KẾT QUẢ TRẮC NGHIỆM MƠN TỐN BẰNG LÍ THUYẾT ĐÁP ỨNG IRT ĐỖ ĐÌNH THÁI, LÊ CHI LAN * TĨM TẮT Việc so sánh các điểm trắc nghiệm của cá
Trang 1TẠP CHÍ ĐẠI HỌC SÀI GÒN Số 6 - Tháng 6/2011
SO BẰNG KẾT QUẢ TRẮC NGHIỆM MƠN TỐN
BẰNG LÍ THUYẾT ĐÁP ỨNG IRT
ĐỖ ĐÌNH THÁI, LÊ CHI LAN (*)
TĨM TẮT
Việc so sánh các điểm trắc nghiệm của các đề thi trắc nghiệm khác nhau là một vấn đề rất quan trọng trong việc đo lường và đánh giá năng lực của thí sinh Nếu hai thí sinh làm hai đề trắc nghiệm khác nhau thì làm sao so sánh điểm của hai thí sinh đĩ với nhau Trong bài viết này, chúng tơi trình bày ngắn gọn khái niệm so bằng trong lí thuyết trắc nghiệm cổ điển và hiện đại Chúng tơi tiến hành thực nghiệm thơng qua hai đề trắc nghiệm khác nhau nhưng cĩ một số câu hỏi bắc cầu, thực hiện quy trình so bằng kết quả tính tốn từ hai đề trắc nghiệm nhờ phần mềm phân tích trắc nghiệm VITESTA
ABSTRACT
Comparing the scores of different multiple-choice tests is very important in measuring and assessing students ‘ability Since it’s not easy to compare the scores of two students on two different multiple-choice tests, we present in this article with a few words the concept
of equal comparison in classical test theory (CTT) and item response theory (IRT) Through two different multiple-choice tests with some bridging questions and with the help
of the software VITESTA which analyzes multiple-choice tests, we worked on the process
of balancing the results of the two tests
GIỚI THIỆU (*)
So sánh các điểm số trắc nghiệm từ
các đề trắc nghiệm khác nhau đo cùng một
năng lực là một trong những vấn đề đang
được quan tâm của các chuyên gia trong
lĩnh vực đo lường và đánh giá Nếu 2 thí
sinh làm hai đề khác nhau thì khĩ so sánh
năng lực của 2 thí sinh này, nhưng nếu 2
thí sinh này cùng làm trên một đề thì việc
so sánh năng lực của 2 thí sinh này rất dễ
dàng Chính vì vậy, chúng tơi tiến hành
nghiên cứu lí thuyết so bằng 2 đề trắc
nghiệm dựa trên lí thuyết trắc nghiệm cổ
điển và hiện đại
Để so sánh các điểm thu được bởi đề
trắc nghệm X và đề trắc nghiệm Y, chúng ta
phải thực hiện một quá trình so bằng các
(*) ThS, Trường Đại học Sài Gịn
điểm của hai đề trắc nghiệm Qua quá trình
đĩ, sự tương ứng giữa hai bộ điểm của đề trắc nghiệm X và Y được xác lập Điểm số của đề trắc nghiệm X được chuyển đổi sang thang đo và đơn vị đo của đề trắc nghiệm Y thơng qua một số phép tính Điều này cĩ nghĩa là thí sinh làm đề trắc nghiệm X cĩ số điểm là a, cĩ thể quy đổi từ a sang điểm là b đối với đề trắc nghiệm Y Từ đĩ, chúng ta sẽ
dễ dàng so sánh năng lực của các thí sinh sau khi thực hiện phép so bằng nĩi chung và quy đổi điểm nĩi riêng
1 PHƯƠNG PHÁP SO BẰNG
1.1 Lí thuyết trắc nghiệm cổ điển (Classical test theory – CTT)
a Khái niệm
Cĩ 2 loại so bằng theo phần trăm và so bằng tuyến tính
Giả sử cĩ 2 đề trắc nghiệm X và Y
Trang 2+ So bằng theo phần trăm: xem điểm
của đề trắc nghiệm X và đề trắc nghiệm Y
là tương đương nếu thứ hạng của chúng
trong 1 nhóm bất kì nào cũng bằng nhau
+ So bằng tuyến tính: Gọi x là điểm
đề trắc nghiệm X, y là điểm đề trắc
nghiệm Y Ta có quan hệ tuyến tính y =
ax + b, trong đó y = a x + b, y = a x
(x, y : giá trị trung bình, x, y : độ lệch
chuẩn các điểm đối với đề trắc nghiệm X
và đề trắc nghiệm Y)
x
công thức so bằng tuyến tính
y
y x
x
b Điều kiện có thể so bằng (Lord FM)
(1) Các đề trắc nghiệm đo các năng lực
tiềm ẩn khác nhau không thể so bằng
(2) Các điểm thô đối với các đề trắc
nghiệm có độ tin cậy khác nhau không thể
so bằng
(3) Các điểm thô đối với các đề trắc
nghiệm có độ khó khác nhau không thể so
bằng
(4) Các đề trắc nghiệm có độ tin cậy
cao có thể so bằng
c Tính bất biến và tính đối xứng
Ngoài các điều kiện có thể so bằng ở
trên thì 2 đề trắc nghiệm để có thể so bằng
được cần bổ sung 2 tính chất
+ Tính đối xứng (không phụ thuộc vào
việc đề trắc nghiệm nào được dùng làm
chuẩn so sánh)
+ Tính bất biến (quy trình so bằng
không phụ thuộc vào mẫu)
1.2 Lí thuyết trắc nghiệm hiện đại
(Item response theory – IRT)
a Khái niệm
Các điều kiện so bằng trong lí thuyết trắc nghiệm cổ điển rất khó gặp trong thực
tế Vì vậy, để khắc phục các nhược điểm từ
lí thuyết trắc nghiệm hiện đại, lí thuyết IRT
đã đưa ra các so bằng như sau:
Theo IRT ta không cần so bằng 2 đề trắc nghiệm nếu:
+ Mô hình ứng đáp câu hỏi trùng khớp với số liệu (có thể so sánh trực tiếp các tham số năng lực của 2 thí sinh làm 2 đề trắc nghiệm khác nhau)
+ Nếu 2 thí sinh làm 2 đề trắc nghiệm khác nhau mà trong các đề đã biết các tham
số của câu hỏi thì sẽ thu được các giá trị ước lượng năng lực của họ trên cùng 1 thang đo
Câu hỏi đặt ra là vậy khi nào cần so bằng? khi chưa biết các giá trị ước lượng của câu hỏi và năng lực của thí sinh
Để thực hiện phương pháp so bằng trong IRT ta cần xác lập thang đo (scaling)
và định cỡ
b Cách xác lập thang đo trong quá trình định cỡ
Khi chưa biết các giá trị ước lượng của câu hỏi Theo tính bất định ta có: P(*) = P() khi ta thay bởi * = + b, b bởi b*
= b + , a bởi a* =
a
Lưu ý: Đối với mô hình 1 tham số thì
a = 1
* Phương pháp xác định thang đo và
định cỡ:
Trường hợp 1: Trường hợp 2 nhóm thí
sinh làm 1 đề trắc nghiệm
Tiến hành ước lượng tham số câu hỏi
và năng lực thí sinh được thực hiện trên 1
đề trắc nghiệm với 2 nhóm thí sinh A và B khác nhau Để tiến hành ước lượng cần cố định thang đo Có 2 cách:
Trang 3Cách 1: Chuẩn hoá độ khó (cố định
giá trị trung bình và độ lệch chuẩn của
độ khó)
Do 2 nhóm thí sinh làm cùng 1 đề trắc
nghiệm nên giá trị ước lượng tham số sẽ
như nhau nếu mô hình trùng khớp với số
liệu (do tính bất biến) Việc xác lập thang
đo đối với các giá trị độ khó sẽ đặt các giá
trị ước lượng tham số câu hỏi và năng lực
thí sinh trên cùng 1 thang đo
Cách 2: Chuẩn hoá các giá trị năng lực
Gọi bA, aA là ước lượng tham số độ
khó và độ phân biệt của nhóm thí sinh A
Gọi bB, aB là ước lượng tham số độ khó
và độ phân biệt của nhóm thí sinh B
Suy ra quan hệ tuyến tính:
bA = bB + ; aA =
B
a
và * = B +
Vì , đã được xác định nên ước lượng tham số câu hỏi của nhóm B có thể đặt trên cùng 1 thang đo như ước lượng tham số câu hỏi của nhóm A
Trường hợp 2: Trường hợp 1 nhóm thí
sinh làm 2 đề trắc nghiệm
Khi 1 nhóm thí sinh làm 2 đề trắc nghiệm X và đề trắc nghiệm Y thì tham
số năng lực là như nhau (nếu đặt giá trị trung bình và độ lệch chuẩn của bằng 0
và 1) Tuy nhiên, trong thực tế chúng có thể khác nhau Vì thế cần phải đặt chúng trên cùng 1 thang đo dựa vào mối quan
hệ tuyến tính
Trường hợp 3: Trường hợp nhiều
nhóm thí sinh làm nhiều đề trắc nghiệm
Đối với thí sinh làm nhiều đề trắc nghiệm không thể so bằng mà cần phải thực hiện thiết kế các kết nối
Có 4 loại thiết kế kết nối
1 Thiết kế đơn
nhóm
2 đề trắc nghiệm kết nối được cho cùng 1 nhóm thí sinh
Thiết kế đơn giản
Thời gian trắc nghiệm dài, ảnh hưởng đến tham số ước lượng
2
Thiết kế các
nhóm tương
đương
2 đề trắc nghiệm kết nối được cho các nhóm tương đương
Dễ áp dụng hơn thiết kế đơn nhóm
Rất khó chọn được các nhóm tương đương trong thực tế
3
Thiết kế các đề
trắc nghiệm có
các câu hỏi neo
Các đề trắc nghiệm được cho 2 nhóm thí sinh khác nhau, thiết
kế 2 đề trắc nghiệm có 1 nhóm câu hỏi chung
Có tính khả thi cao và thường được áp dụng
Phải cẩn thận khi thiết
kế thang đo và phải xác định được câu hỏi neo
4
Thiết kế 2 nhóm
có các thí sinh
chung
2 đề trắc nghiệm được cho 2 nhóm thí sinh làm Trong đó,
có 1 nhóm con thí sinh có mặt
ở cả 2 nhóm
Có thể thực hiện được
Ít dùng, thời gian làm trắc nghiệm dài, ảnh hưởng đến tham số ước lượng
Trang 42 CÁC QUY TẮC VÀ THAO TÁC
SO BẰNG 2 ĐỀ TRẮC NGHIỆM
1 Nếu không thực hiện so bằng giữa
các đề trắc nghiệm thì không thể xây dựng
được 1 ngân hàng đề trắc nghiệm tốt
2 Khi thực hiện so bằng 1 nhóm thí
sinh làm 2 đề trắc nghiệm hoặc 2 nhóm
thí sinh làm 1 đề trắc nghiệm, chúng ta
cần xác lập thang đo và định cỡ đối với
nhiều nhóm thí sinh làm nhiều đề trắc
nghiệm, ta thường chọn so bằng bằng
cách thiết kế các đề trắc nghiệm có 1 số
câu hỏi neo
3 Kiểu dùng các câu hỏi neo rất quan
trọng vì nó dùng để kết nối các đề trắc
nghiệm lại với nhau
Ví dụ: Ta có 2 đề trắc nghiệm 1 và 2,
xây dựng 2 đề trắc nghiệm này có 1 số câu
hỏi neo Để tiến hành so bằng ta thực hiện
như sau:
Bước 1: Định cỡ đề trắc nghiệm 1 và
2 riêng rẽ
Bước 2: Xác định tham số của các câu
hỏi neo từ đó xác định các hệ số biến đổi
tuyến tính liên kết giữa chúng (theo lí
thuyết IRT, các giá trị tham số này là
giống nhau nhưng trên thực tế ta sẽ thấy
chúng khác nhau do nhiều lí do: mô hình
không trùng khớp với thực tế hoặc các số
liệu được đo chưa cùng 1 thang đo)
Bước 3: Kết nối các đề trắc nghiệm và
định cỡ chung, dùng tính toán để chuyển
sự khác nhau giữa các tham số về giống
nhau bằng cách tính các giá trị
chung giữa chúng, thông thường dùng giá
trị trung bình
Bước 4: Tính toán lại các tham số để trùng khớp sau khi đã tiến hành so bằng
Sau khi so bằng có thể đưa 2 đề trắc nghiệm vào ngân hàng đề trắc nghiệm
3 PHẦN THỰC NGHIỆM Tính toán qua dữ liệu cụ thể một quy trình so bằng kết quả tính toán từ 2 đề trắc nghiệm nhị phân nhờ một phần mềm trắc nghiệm VITESTA
3.1 Mô tả dữ liệu
Dữ liệu gồm 5 tập tin: toan1-2.dat, toan1.dat, toan2.dat, toan-2.key và file word thông tin về các câu hỏi bắc cầu
Dữ liệu toan1.dat gồm 296 thí sinh làm đề thi trắc nghiệm môn toán 1, đề trắc nghiệm môn toán 1 gồm 30 câu hỏi mỗi câu hỏi có 4 phương án trả lời
Dữ liệu toan2.dat gồm 275 thí sinh làm đề thi trắc nghiệm môn toán 2, đề trắc nghiệm môn toán 1 gồm 30 câu hỏi mỗi câu hỏi có 4 phương án trả lời
Đề thi toán 1 và đề toán 2 có 6 câu hỏi neo chung là câu 3, 8, 11, 15, 18 và
21
3.2 Thực hiện quy trình so bằng
và các kết quả
Để thực hiện quy trình so bằng chúng
ta tiến hành các bước sau:
Bước 1: Định cỡ và phân tích hai đề
thi toán 1 và toán 2 thông qua dữ liệu toan1.dat và toan2.dat thu được kết quả sau:
Trang 5Bảng 1: KẾT QUẢ ƯỚC LƯỢNG ĐỘC LẬP THAM SỐ CÂU HỎI
Mô hình 1 tham số Tạo ra vào lúc 18/11/2009 - 04:31
Đề thi: Toán 1
| -|
¦ Câu| b | MSE (*)|
| -+ -+ -|
¦ 1¦ -0.80386¦ 0.14598¦
¦ 2¦ -0.61153¦ 0.14029¦
¦ 3¦ -0.96071¦ 0.15244¦
¦ 4¦ -0.64649¦ 0.14116¦
¦ 5¦ -0.79136¦ 0.14554¦
¦ 6¦ -0.26756¦ 0.13537¦
¦ 7¦ -0.47535¦ 0.13759¦
¦ 8¦ -0.72991¦ 0.14352¦
¦ 9¦ -0.55414¦ 0.13903¦
¦ 10¦ -0.39799¦ 0.13651¦
¦ 11¦ -0.82910¦ 0.14690¦
¦ 12¦ -0.50892¦ 0.13816¦
¦ 13¦ -0.18146¦ 0.13508¦
¦ 14¦ -0.65824¦ 0.14146¦
¦ 15¦ -0.81644¦ 0.14644¦
¦ 16¦ 0.40706¦ 0.14212¦
¦ 17¦ -0.96071¦ 0.15244¦
¦ 18¦ -0.59997¦ 0.14002¦
¦ 19¦ 0.56689¦ 0.14672¦
¦ 20¦ 0.57965¦ 0.14714¦
¦ 21¦ 0.23327¦ 0.13843¦
¦ 22¦ -0.52017¦ 0.13837¦
¦ 23¦ 0.17716¦ 0.13753¦
¦ 24¦ -0.79136¦ 0.14554¦
¦ 25¦ -0.00921¦ 0.13553¦
¦ 26¦ -0.75429¦ 0.14429¦
¦ 27¦ 0.41900¦ 0.14242¦
¦ 28¦ 0.30169¦ 0.13972¦
¦ 29¦ -0.74207¦ 0.14390¦
¦ 30¦ -0.64649¦ 0.14116¦
| -|
Đề thi: Toán 2
| -|
¦ Câu| b | MSE (*)|
| -+ -+ - - -|
¦ 1¦ -0.80314¦ 0.15322¦
¦ 2¦ -0.35972¦ 0.13855¦
¦ 3¦ -0.76222¦ 0.15135¦
¦ 4¦ -1.10958¦ 0.17131¦
¦ 5¦ -0.68317¦ 0.14805¦
¦ 6¦ -0.80314¦ 0.15322¦
¦ 7¦ -0.81701¦ 0.15389¦
¦ 8¦ -0.57039¦ 0.14403¦
¦ 9¦ 1.19561¦ 0.17668¦
¦ 10¦ -0.17209¦ 0.13572¦
¦ 11¦ -0.61975¦ 0.14569¦
¦ 12¦ 0.19259¦ 0.13550¦
¦ 13¦ -0.41667¦ 0.13978¦
¦ 14¦ 1.00955¦ 0.16327¦
¦ 15¦ -0.65756¦ 0.14706¦
¦ 16¦ 0.26863¦ 0.13633¦
¦ 17¦ -0.02165¦ 0.13479¦
¦ 18¦ -0.84512¦ 0.15527¦
¦ 19¦ 0.29054¦ 0.13664¦
¦ 20¦ 0.03176¦ 0.13474¦
¦ 21¦ 0.32361¦ 0.13714¦
¦ 22¦ -1.14462¦ 0.17388¦
¦ 23¦ -0.02165¦ 0.13479¦
¦ 24¦ 0.30154¦ 0.13680¦
¦ 25¦ 1.07389¦ 0.16754¦
¦ 26¦ -0.91776¦ 0.15912¦
¦ 27¦ 0.49355¦ 0.14072¦
¦ 28¦ 0.06381¦ 0.13478¦
¦ 29¦ -0.64488¦ 0.14659¦
¦ 30¦ -0.43975¦ 0.14033¦
| -|
Dựa vào bảng phân tích nhận thấy các
câu hỏi neo câu 3, 8, 11, 15, 18 và 21 của 2
đề thi trắc nghiệm có sự chênh lệch về độ
khó Từ đó có thể thấy tham số độ khó b
của cùng một câu hỏi từ 2 đề thi trắc
nghiệm là khác nhau
Bước 2: Từ các tham số của các câu
hỏi neo xác định các hệ số tuyến tính liên kết giữa chúng với nhau, dựa vào đó tìm một bộ tham số chung cho các câu hỏi neo Thông qua phần mềm VITESTA ta sẽ liên kết 2 đề thi và xác định các câu hỏi neo của
2 đề Khi đó thu được kết quả như sau:
Trang 6Trước khi so bằng đề thi:
Dựa vào bảng 2 nhận thấy có sự
chênh lệch về độ khó giữa các câu hỏi
neo, do tính bất định trong lí thuyết IRT
sự chênh lệch này có thể là do nhiều
nguyên nhân như mô hình không trùng
khớp với với số liệu hoặc các giá trị ước
lượng năng lực của họ không được đo
trên cùng 1 thang đo
Mặt khác, có thể thấy sự khác nhau việc ứng đáp câu hỏi của các câu hỏi neo (câu hỏi giống nhau) trong đề toán 1 và đề toán 2 ta có thể biểu diễn các đường cong đặc trưng của 6 câu hỏi 3, 8, 11, 15, 18 và
21 như sau:
Hình 4.1: Sự đáp ứng khác biệt đối với các câu hỏi neo của đề toán 1 và toán 2
Bảng 2: CÂN BẰNG ĐỀ THI THEO PHƯƠNG PHÁP HỒI QUY
Các câu hỏi chung:
Giữa đề thi Toán 1 và đề thi Toán 2
Độ tương quan tham số khi ước lượng độc lập:
Tham số b: r=0.9201056
Trước khi cân bằng đề thi:
-
| Đề 1 | Đề 2 |
-
| Câu 3 | -0.9607065 | Câu 3 | -0.7622227 |
| Câu 8 | -0.7299129 | Câu 8 | -0.570385 |
| Câu 11 | -0.8291038 | Câu 11 | -0.6197521 |
| Câu 15 | -0.8164439 | Câu 15 | -0.6575601 |
| Câu 18 | -0.5999659 | Câu 18 | -0.8451234 |
| Câu 21 | 0.2332707 | Câu 21 | 0.3236081 |
-
TRUNG B NH: -0.6171437 TRUNG B NH: -0.5219058
Đ LỆCH CHU N: 0.4333358 Đ LỆCH CHU N: 0.4260145
Trang 7Dựa vào hình 4.1, chúng tôi nhận thấy
2 đề thi mặc dù có câu hỏi neo 3, 8, 11, 15,
18 và 21 giống nhau, tuy nhiên hai đề thi
này vẫn có sự chênh lệch nhau về độ khó
do nhiều nguyên nhân như đã trình bày ở
trên Vấn đề đặt ra là phải so bằng 2 đề thi
để độ khó của chúng được 2 đề tương đương nhau
Khảo sát riêng đồ thị hàm thông tin và biểu đồ tương quan năng lực thí sinh của 2
đề thi:
Hình 4.2: Đường cong hàm thông tin của đề toán 1 và đề toán 2
Hàm thông tin là một công cụ quan
trọng để đánh giá và thiết kế đề trắc
nghiệm Dựa vào hình 4.2, chúng tôi nhận
thấy rằng 2 đề thi được thiết kế tương đối
tốt vì 2 đề thi này có khả năng đo chính xác
khoảng năng lực dưới mức trung bình một
chút của mẫu thí sinh
Ngoài ra hình dáng của 2 hàm thông tin của 2 đề thi gần như tương đương nhau chính tỏ độ phân biệt của đề thi này không quá lớn
Hình 4.3: Biểu đồ tương quan năng lực của thí sinh và độ khó của đề toán 1 và đề toán 2
Trang 8* Sau khi so bằng đề thi:
Dựa vào biểu đồ 4.3, chúng ta thấy
rằng tương quan giữa năng lực thí sinh và
độ khó câu hỏi của 2 đề thi trắc nghiệm
cũng có hình dáng và phân bố khá giống
nhau, vì vậy có thể so sánh năng lực của
các thí sinh khi thực hiện làm 2 đề thi Tuy nhiên nếu xét tương quan giữa năng lực và
độ khó của đề thì chúng ta có thể nhận xét rằng đề thi trên tương đối dễ so với năng lực của thí sinh
Ta nhận thấy rằng giá trị cân bằng của bảng 3 được tính là trung bình cộng của độ khó câu hỏi neo của 2 đề trắc nghiệm
* Độ khó các câu hỏi sau khi so bằng :
Bảng 4: KẾT QUẢ ƯỚC LƯỢNG ĐỘC LẬP THAM SỐ CÂU HỎI
Mô hình 1 tham số Tạo ra vào lúc 18/11/2009 - 04:31
Đề thi: Toán 1
¦ -|
Câu| b| SE (*) |
| -+ -+ -|
¦ 1¦ -0.80386¦ 0.14598¦
¦ 2¦ -0.61153¦ 0.14029¦
¦ 3¦ -0.90908¦ 0.15244¦
¦ 4¦ -0.64649¦ 0.14116¦
¦ 5¦ -0.79136¦ 0.14554¦
¦ 6¦ -0.26756¦ 0.13537¦
¦ 7¦ -0.47535¦ 0.13759¦
¦ 8¦ -0.69777¦ 0.14352¦
¦ 9¦ -0.55414¦ 0.13903¦
¦ 10¦ -0.39799¦ 0.13651¦
¦ 11¦ -0.77205¦ 0.14690¦
¦ 12¦ -0.50892¦ 0.13816¦
¦ 13¦ -0.18146¦ 0.13508¦
¦ 14¦ -0.65824¦ 0.14146¦
¦ 15¦ -0.78462¦ 0.14644¦
¦ 16¦ 0.40706¦ 0.14212¦
Đề thi: Toán 2
-|
¦ Câu | b | MSE (*)|
| -+ -+ -|
¦ 1¦ -0.89838¦ 0.15322¦
¦ 2¦ -0.45495¦ 0.13855¦
¦ 3¦ -0.90908¦ 0.15135¦
¦ 4¦ -1.20482¦ 0.17131¦
¦ 5¦ -0.77841¦ 0.14805¦
¦ 6¦ -0.89838¦ 0.15322¦
¦ 7¦ -0.91225¦ 0.15389¦
¦ 8¦ -0.69777¦ 0.14403¦
¦ 9¦ 1.10037¦ 0.17668¦
¦ 10¦ -0.26733¦ 0.13572¦
¦ 11¦ -0.77205¦ 0.14569¦
¦ 12¦ 0.09735¦ 0.13550¦
¦ 13¦ -0.51191¦ 0.13978¦
¦ 14¦ 0.91431¦ 0.16327¦
¦ 15¦ -0.78462¦ 0.14706¦
¦ 16¦ 0.17339¦ 0.13633¦
Bảng 3: SAU KHI HI U CH NH ĐỀ TOÁN 2 THEO ĐỀ TOÁN 1
H SỐ CHUY N Đ I:
ANFA = 1 BETA = 0.09523785 -
| Đề 1 | Đề 2 | DIF | Cân bằng|
-
| Câu 3 | -0.9607065 | Câu 3 | -0.8574606 | -0.103246 | -0.90908|
| Câu 8 | -0.7299129 | Câu 8 | -0.6656229 | -0.06429005 | -0.69777|
| Câu 11 | -0.8291038 | Câu 11 | -0.71499 | -0.1141138 | -0.77205|
| Câu 15 | -0.8164439 | Câu 15 | -0.7527979 | -0.06364602 | -0.78462|
| Câu 18 | -0.5999659 | Câu 18 | -0.9403612 | 0.3403953 | -0.77016|
| Câu 21 | 0.2332707 | Câu 21 | 0.2283702 | 0.004900411 | 0.23082 |
-
Trang 9¦ 17¦ -0.96071¦ 0.15244¦
¦ 18¦ -0.77016¦ 0.14002¦
¦ 19¦ 0.56689¦ 0.14672¦
¦ 20¦ 0.57965¦ 0.14714¦
¦ 21¦ 0.23082¦ 0.13843¦
¦ 22¦ -0.52017¦ 0.13837¦
¦ 23¦ 0.17716¦ 0.13753¦
¦ 24¦ -0.79136¦ 0.14554¦
¦ 25¦ -0.00921¦ 0.13553¦
¦ 26¦ -0.75429¦ 0.14429¦
¦ 27¦ 0.41900¦ 0.14242¦
¦ 28¦ 0.30169¦ 0.13972¦
¦ 29¦ -0.74207¦ 0.14390¦
¦ 30¦ -0.64649¦ 0.14116¦
| -|
¦ 17¦ -0.11689¦ 0.13479¦
¦ 18¦ -0.77016¦ 0.15527¦
¦ 19¦ 0.19530¦ 0.13664¦
¦ 20¦ -0.06348¦ 0.13474¦
¦ 21¦ 0.23082¦ 0.13714¦
¦ 22¦ -1.23986¦ 0.17388¦
¦ 23¦ -0.11689¦ 0.13479¦
¦ 24¦ 0.20630¦ 0.13680¦
¦ 25¦ 0.97865¦ 0.16754¦
¦ 26¦ -1.01300¦ 0.15912¦
¦ 27¦ 0.39831¦ 0.14072¦
¦ 28¦ -0.03143¦ 0.13478¦
¦ 29¦ -0.74012¦ 0.14659¦
¦ 30¦ -0.53498¦ 0.14033¦
-|
Bước 3: Định cỡ chung đề thi trắc
nghiệm trên toàn bộ tổng số thí sinh
Sau khi so bằng, tiếp tục kết nối 2 đề
thi trắc nghiệm lại thành 1 đề thi và tiến hành định cỡ đề thi chung gồm 50 câu hỏi,
sẽ thu được kết quả như sau:
Bảng 5: CÂN BẰNG THEO PHƯƠNG PHÁP ĐỊNH CỠ ĐỒNG THỜI
¦ Câu| b | MSE (*)|
| -+ -+ -|
¦ 1¦ -0.76624¦ 0.14594¦
¦ 2¦ -0.57393¦ 0.14028¦
¦ 3¦ -0.87988¦ 0.10741¦
¦ 4¦ -0.60889¦ 0.14114¦
¦ 5¦ -0.75374¦ 0.14550¦
¦ 6¦ -0.23001¦ 0.13542¦
¦ 7¦ -0.43778¦ 0.13760¦
¦ 8¦ -0.66858¦ 0.10169¦
¦ 9¦ -0.51655¦ 0.13903¦
¦ 10¦ -0.36042¦ 0.13653¦
¦ 11¦ -0.74281¦ 0.10346¦
¦ 12¦ -0.47134¦ 0.13817¦
¦ 13¦ -0.14391¦ 0.13514¦
¦ 14¦ -0.62064¦ 0.14145¦
¦ 15¦ -0.75544¦ 0.10379¦
¦ 16¦ 0.44458¦ 0.14238¦
¦ 17¦ -0.92306¦ 0.15238¦
¦ 18¦ -0.73025¦ 0.10314¦
¦ 19¦ 0.60443¦ 0.14710¦
¦ 20¦ 0.61719¦ 0.14752¦
¦ 21¦ 0.25986¦ 0.09747¦
¦ 22¦ -0.48259¦ 0.13837¦
¦ 23¦ 0.21469¦ 0.13769¦
¦ 24¦ -0.75374¦ 0.14550¦
¦ 25¦ 0.02832¦ 0.13564¦
¦ 26¦ -0.71667¦ 0.14426¦
¦ 27¦ 0.45653¦ 0.14270¦
¦ Câu| b | MSE (*)|
| -+ -+ -|
28¦ 0.33921¦ 0.13993¦
¦ 29¦ -0.70445¦ 0.14387¦
¦ 30¦ -0.60889¦ 0.14114¦
¦ 31¦ -0.87711¦ 0.15328¦
¦ 32¦ -0.43389¦ 0.13856¦
¦ 33¦ -1.18343¦ 0.17140¦
¦ 34¦ -0.75720¦ 0.14809¦
¦ 35¦ -0.87711¦ 0.15328¦
¦ 36¦ -0.89098¦ 0.15394¦
¦ 37¦ 1.12084¦ 0.17652¦
¦ 38¦ -0.24635¦ 0.13571¦
¦ 39¦ 0.11816¦ 0.13546¦
¦ 40¦ -0.49081¦ 0.13980¦
¦ 41¦ 0.93483¦ 0.16313¦
¦ 42¦ 0.19417¦ 0.13629¦
¦ 43¦ -0.09598¦ 0.13477¦
¦ 44¦ 0.21607¦ 0.13659¦
¦ 45¦ -0.04259¦ 0.13472¦
¦ 46¦ -1.21845¦ 0.17398¦
¦ 47¦ -0.09598¦ 0.13477¦
¦ 48¦ 0.22707¦ 0.13675¦
¦ 49¦ 0.99915¦ 0.16740¦
¦ 50¦ -0.99168¦ 0.15919¦
¦ 51¦ 0.41900¦ 0.14065¦
¦ 52¦ -0.01056¦ 0.13476¦
¦ 53¦ -0.71892¦ 0.14663¦
¦ 54¦ -0.51388¦ 0.14035¦
4.3 Nhận xét
Trang 10Khi thực hiện so bằng 2 đề thi trắc
nghiệm chúng tôi thấy rằng các câu hỏi neo
của hai đề thi có độ khó gần tương đương
nhau, các thông số của các câu hỏi trong đề
thi được điều chỉnh lại sau khi thực hiện so
bằng Từ đó có thể ghép nối 2 đề thi lại với
nhau và đưa vào ngân hàng câu hỏi thi
KẾT LUẬN
- Theo phương pháp trắc nghiệm cổ
điển, việc so bằng kết quả trắc nghiệm rất
khó thực hiện Theo phương pháp IRT sự
so bằng là hết sức cần thiết
- Thông qua ví dụ thực nghiệm ta thấy rằng đối với các đề thi bất kì có thể dùng nhiều phương pháp để so bằng, cụ thể
ví dụ ở trên dùng câu hỏi neo để nối kết 2
đề thi Sau đó dùng công cụ so bằng để so bằng 2 đề thi có cùng một số câu hỏi Khi thực hiện xong phương pháp so bằng, có thể ghép nối 2 đề lại với nhau
- Ngoài ra khi thực hiện xong so bằng 2 đề thi thì việc so sánh tương quan điểm số của thí sinh đã được hoàn toàn giải quyết
TÀI LI U THAM KHẢO
1 GS.TS Dương Thiệu Tống (1995), Trắc nghiệm và đo lường thành quả học tập, Nxb
Khoa học Xã hội TPHCM
2 GS.TS Dương Thiệu Tống (2007), Thống kê ứng dụng trong nghiên cứu khoa học giáo
dục, Nxb Khoa học Xã hội
3 GS.TS Lâm Quang Thiệp, (2009) Trắc nghiệm, đo lường và đánh giá trong Giáo dục
4 GS.TS Lâm Quang Thiệp, Đo lường trong giáo dục, lí thuyết và ứng dụng, 2011
7 Patrick Griffin (1997) An Introduction to the Rasch Model Assessment Research
Centre, University of Melbourne
8 Bảng dùng thử phần mềm VITESTA (trong 30 ngày)
