Bài viết trình bày kết quả ứng dụng mô hình IRT hai tham số vào việc phân tích, đánh giá chất lượng câu hỏi trong đề thi trắc nghiệm khách quan thông qua việc sử dụng phần mềm ConQuest. Dữ liệu được sử dụng trong bài viết này là kết quả thi học phần Tiếng Anh 1 của 798 sinh viên trong kỳ thi kết thúc học phần tại Trường Đại học Đồng Tháp. Kết quả nghiên cứu giúp giảng viên biên soạn đề thi phát hiện được những câu hỏi có chất lượng tốt để đưa vào ngân hàng câu hỏi thi, đồng thời phát hiện những câu hỏi kém chất lượng để điều chỉnh hoặc loại bỏ.
Trang 1S D NG PH N M M CONQUEST ĐÁNH GIÁ CH T LỬ Ụ Ầ Ề Ấ ƯỢNG Đ THI TR C NGHI MỀ Ắ Ệ
KHÁCH QUAN THEO MÔ HÌNH IRT HAI THAM SỐ
Nguy n Văn C nh ễ ả Phòng Đ m b o ch t lả ả ấ ượng, Trường Đ i h c Đ ng thápạ ọ ồ
Nguy n Qu c Tu n ễ ố ấ Phòng Đ m b o ch t lả ả ấ ượng, Trường Đ i h c Đ ng Thápạ ọ ồ
Tóm t t:ắ
Bài vi t trình bày k t qu ng d ng mô hình IRT hai tham s vào vi c phân tích, đánh giá ch t lế ế ả ứ ụ ố ệ ấ ượ ng câu h i trong đ thi tr c nghi m khách quan thông qua vi c s d ng ph n m m ConQuest. D li u đỏ ề ắ ệ ệ ử ụ ầ ề ữ ệ ượ ử c s
d ng trong bài vi t này là k t qu thi h c ph n Ti ng Anh 1 c a 798 sinh viên trong k thi k t thúc h c ph nụ ế ế ả ọ ầ ế ủ ỳ ế ọ ầ
t i Trạ ường Đ i h c Đ ng Tháp. K t qu nghiên c u giúp gi ng viên biên so n đ thi phát hi n đạ ọ ồ ế ả ứ ả ạ ề ệ ược nh ngữ câu h i có ch t lỏ ấ ượng t t đ đ a vào ngân hàng câu h i thi, đ ng th i phát hi n nh ng câu h i kém ch tố ể ư ỏ ồ ờ ệ ữ ỏ ấ
lượng đ đi u ch nh ho c lo i b ể ề ỉ ặ ạ ỏ
T khóa: ConQuest Software, đ thi, IRT, hai tham s ừ ề ố
1 M đ u ở ầ
Đánh giá k t qu h c t p là m t khâu quan tr ng không thế ả ọ ậ ộ ọ ể thiếu trong quá trình dạy học.
Vi c đánh giá k t qu h c t p m t cách chính xác, khách quan s cung c p cho gi ng viên nh ngệ ế ả ọ ậ ộ ẽ ấ ả ữ thông tin h u ích đ đ a ra nh ng quy t đ nh k p th i nh m nâng cao hi u qu ho t đ ng gi ngữ ể ư ữ ế ị ị ờ ằ ệ ả ạ ộ ả
d y [1]. Hi n nay, cùng v i các phạ ệ ớ ương pháp ki m tra khác, tr c nghi m khách quan đang để ắ ệ ượ ử c s
d ng khá ph bi n trong các trụ ổ ế ường đ i h c. M c dù có nhi u u đi m trong đánh giá k t qu h cạ ọ ặ ề ư ể ế ả ọ
t p, phậ ương pháp này v n có m t s h n ch Đ ho t đ ng ki m tra đánh giá b ng phẫ ộ ố ạ ế ể ạ ộ ể ằ ương pháp
tr c nghi m khách quan đ t hi u qu cao, các trắ ệ ạ ệ ả ường c n ph i quan tâm đ n vi c xây d ng cácầ ả ế ệ ự ngân hàng câu h i thi có ch t lỏ ấ ượng t t, có kh năng đo lố ả ường chính xác năng l c c a ngự ủ ườ ọ i h c
Vì v y, vi c đánh giá ch t lậ ệ ấ ượng đ thi s giúp ngề ẽ ười biên so n xác đ nh đạ ị ược nh ng câu h i cóữ ỏ
ch t lấ ượng t t và đ a vào ngân hàng câu h i thi, đ ng th i nh n ra đố ư ỏ ồ ờ ậ ược nh ng câu h i kém ch tữ ỏ ấ
lượng c n ph i đi u ch nh ho c lo i b ầ ả ề ỉ ặ ạ ỏ
Vi c đánh giá ch t lệ ấ ượng đ thi tr c nghi m khách quan hi n nay thề ắ ệ ệ ường được th c hi n d aự ệ ự trên lý thuy t ng đáp câu h i (Item Response Theory – IRT) b i nh ng u đi m c a nó, trong đó,ế ứ ỏ ở ữ ư ể ủ
n i b t nh t là ổ ậ ấ vi c ệ kh c ph c đắ ụ ược nh ng h n ch c a lý thuy t kh o thí c đi n (Classical Testữ ạ ế ủ ế ả ổ ể Theory – CTT) trong vi c ệ ướ ược l ng các tham s c a câu h i và đánh giá năng l c c a thí sinh. ố ủ ỏ ự ủ Ở
Vi t Nam, vi c v n d ng IRT vào đo lệ ệ ậ ụ ường, đánh giá ch t lấ ượng đ thi tr c nghi m khách quan đãề ắ ệ
được th c hi n qua m t s nghiên c u, c th nh : nghiên c u c a nhóm tác gi Nguy n Thự ệ ộ ố ứ ụ ể ư ứ ủ ả ễ ị
H ng Minh và Nguy n Đ c Thi n (2006) v i vi c s d ng phồ ễ ứ ệ ớ ệ ử ụ ương pháp PROX [2], nghiên c uứ
c a tác gi Lâm Quang Thi p và các c ng s (2007) v i vi c s d ng ph n m m Viesta [3]ủ ả ệ ộ ự ớ ệ ử ụ ầ ề , các nghiên c u c a các tác gi Nguy n Hoàng B o Thanh (2008) [4], Nguy n Th Ng c ứ ủ ả ễ ả ễ ị ọ Xuân (2014) [5], Bùi Ng c Quang (2017)ọ [6] v i vi c s d ng các ph n m m Quest/ConQuest, nghiên c u c aớ ệ ử ụ ầ ề ứ ủ Bùi Anh Ki t và c ng s (2018) v i vi c s d ng ph n m m IATAệ ộ ự ớ ệ ử ụ ầ ề [7], nghiên c u c a Đoàn H ngứ ủ ồ
Chương và các c ng s (2016) v i vi c s d ng gói “ltm” c a ph n m m Rộ ự ớ ệ ử ụ ủ ầ ề [8], nghiên c u c a Lêứ ủ Anh Vũ và các c ng s (2017) v i vi c s d ng phộ ự ớ ệ ử ụ ương pháp l y m u GIBBSấ ẫ [9]. Trong đó, các nghiên c u đứ ược th c hi n thông qua vi c s d ng ph n m m ConQuestự ệ ệ ử ụ ầ ề c aủ m t s tác gi chộ ố ả ỉ
d ng l i v i vi c ng d ng mô hình Rasch m t tham s là đ khó đ đánh giáừ ạ ớ ệ ứ ụ ộ ố ộ ể ch t lấ ượ đ thi.ng ề Trong ph m vi ạ bài vi tế này, chúng tôi s d ng ph n m m ConQuest v i mô hình IRT ử ụ ầ ề ớ hai tham s làố
đ khó và đ phân bi t đ đánh giá ộ ộ ệ ể ch t lấ ượng đ thi tr c nghi m khách quanề ắ ệ
2 N i dung nghiên c u ộ ứ
2.1.Mô hình IRT hai tham số
1
Trang 2Lý thuy t ng đáp câu h i (IRT) ế Ứ ỏ được xây d ng d a trên hai gi thi t: (1) S ng đáp c aự ự ả ế ự ứ ủ
m t thí sinh đ i v i m t câu h i có th độ ố ớ ộ ỏ ể ược tiên đoán b ng năng l c ti m n c a thí sinh; (2)ằ ự ề ẩ ủ Quan h gi a s ệ ữ ự
Ngày nh n bài: Ngày s a bài: Ngày nh n đăng: ậ ử ậ
Tác gi liên h : Nguy n Văn C nh Đ a ch email: ả ệ ễ ả ị ỉ nvcanh@dthu.edu.vn
ng đáp câu h i c a thí sinh và năng l c ti m n làm c s cho s ng đáp đó có th mô t b ng
m t hàm đ c tr ng câu h i đ ng bi n ộ ặ ư ỏ ồ ế [10]. Đi m n i b t c a IRT là các tham s đ c tr ng c a câuể ổ ậ ủ ố ặ ư ủ
h i đ c l p v i m u kh o sát ỏ ộ ậ ớ ẫ ả [11].
Năm 1960, Georg Rasch nhà toán h c ngọ ười Đan M ch đã đ a ra m t mô hình ng đáp câuạ ư ộ ứ
h i đ mô t m i tỏ ể ả ố ương tác gi a m t thí sinh v i m t câu h i c a đ thi tr c nghi m. Đ xem xétữ ộ ớ ộ ỏ ủ ề ắ ệ ể
m i quan h gi a thí sinh và câu h i trong s ng đáp câu h i, đ i v i m i thí sinh Rasch ch nố ệ ữ ỏ ự ứ ỏ ố ớ ỗ ọ tham s năng l c, đ ng th i đ i v i m i câu h i ông ch ch n m t tham s liên quan là đ khó. Vìố ự ồ ờ ố ớ ỗ ỏ ỉ ọ ộ ố ộ
ch s d ng m t tham s liên quan đ n câu h i nên mô hình này còn đỉ ử ụ ộ ố ế ỏ ược g i là mô hình ng đápọ ứ câu h i m t tham s Mô hình này xu t phát t gi thuy t nh sau:ỏ ộ ố ấ ừ ả ế ư
N u m t thí sinh có năng l c cao h n m t thí sinh khác thì xác su t đ thí sinh đó tr l i đúng ế ộ ự ơ ộ ấ ể ả ờ
m t câu h i b t kì ph i l n h n xác su t t ộ ỏ ấ ả ớ ơ ấ ươ ng ng c a ng ứ ủ ườ i kia; t ươ ng t nh v y, n u m t ự ư ậ ế ộ câu h i khó h n m t câu h i khác thì xác su t đ m t thí sinh b t kì tr l i đúng câu h i đó ph i ỏ ơ ộ ỏ ấ ể ộ ấ ả ờ ỏ ả
nh h n xác su t đ ng ỏ ơ ấ ể ườ i đó tr l i đúng câu h i kia ả ờ ỏ [12]
D a trên gi thuy t đó, Rasch đã xây d ng m t mô hình toán h c cho s ng đáp câu h i c aự ả ế ự ộ ọ ự ứ ỏ ủ
m i thí sinh. Hàm đ c tr ng c a câu h i trong mô hình này có d ng nh sau:ỗ ặ ư ủ ỏ ạ ư
Trong đó: là năng l c c a thí sinh ự ủ th , ứ là đ khó c a câu h i th , là tr l i c a thí sinh thộ ủ ỏ ứ ả ờ ủ ứ
v i câu h i th . Giá tr n u thí sinh tr l i đúng câu h i và ớ ỏ ứ ị ế ả ờ ỏ khi thí sinh tr l i sai.ả ờ Đ khó c a câuộ ủ
h i là đ i lỏ ạ ượng đ c tr ng cho kh năng tr l i đúng câu h i c a thí sinh. Câu h i có đ khó càngặ ư ả ả ờ ỏ ủ ỏ ộ cao thì xác su t tr l i đúng câu h i đó c a thí sinh càng th p và ngấ ả ờ ỏ ủ ấ ượ ạc l i
Đường cong đ c tr ng c a câu h i trong mô hình Rasch có d ng nh Hình 1.ặ ư ủ ỏ ạ ư
Hình . Đ ườ ng cong đ c tr ng c a câu h i theo mô hình Rasch ặ ư ủ ỏ
Đường cong đ c tr ng c a câu h i bi u th xác su t tr l i đúng câu h i tặ ư ủ ỏ ể ị ấ ả ờ ỏ ương ng v i năngứ ớ
l c c a thí sinh. ự ủ Xác su t này s ti n d n v 1 khi năng l c c a thí sinh ti n đ n . Trong mô hìnhấ ẽ ế ầ ề ự ủ ế ế Rasch, n u ế thì kh năng tr l i đúng câu h i đó c a thí sinh là ả ả ờ ỏ ủ 0,5. M c năng l c này đứ ự ược g i làọ
ngưỡng c a câu h i. Nh v y, đ khó c a m i câu h i chính là ngủ ỏ ư ậ ộ ủ ỗ ỏ ưỡng mà v i năng l c đó, xácớ ự
su t tr l i đúng câu h i c a thí sinh là 0,5. Baker (2001) cho r ng đi m n i b t trong mô hìnhấ ả ờ ỏ ủ ằ ể ổ ậ Rasch là nó mô t đả ược m i liên h gi a năng l c c a m i thí sinh đ i v i các tham s đ c tr ngố ệ ữ ự ủ ỗ ố ớ ố ặ ư
c a các câu h i thông qua s ng đáp c a m i thí sinh khi tr l i các câu h i trong đ thi [13]. ủ ỏ ự ứ ủ ỗ ả ờ ỏ ề
V i m i câu h i trong đ thi tr c nghi m, ngoài tham s đ khó , Birnbaum (1968) đã đ xu tớ ỗ ỏ ề ắ ệ ố ộ ề ấ
m r ng thêm m t tham s n a là đ phân bi t [14]. Hàm đ c tr ng c a câu h i trong mô hình nàyở ộ ộ ố ữ ộ ệ ặ ư ủ ỏ
có d ng nh sau:ạ ư
Đ phân bi t c a câu h i th hi n kh năng phân lo i thí sinh tham gia làm bài. Thông thộ ệ ủ ỏ ể ệ ả ạ ườ ng
đ phân bi t c a câu h i có giá tr dộ ệ ủ ỏ ị ương. Trong trường h p câu h i sai ho c m c l i thi t k thìợ ỏ ặ ắ ỗ ế ế
Trang 3đ phân bi t có th mang giá tr âm. Câu h i có đ phân bi t càng l n thì s chênh l ch v xác su tộ ệ ể ị ỏ ộ ệ ớ ự ệ ề ấ
tr l i đúng gi a các thí sinh có năng l c cao và năng l c th p càng l n. ả ờ ữ ự ự ấ ớ Tuy nhiên, nh ng câu h iữ ỏ
có đ phân bi t quá th p ho c quá cao s không có ý nghĩa trong vi c đo lộ ệ ấ ặ ẽ ệ ường năng l c và phânự
lo i thí sinh.ạ
Đường cong đ c tr ng c a câu h i theo mô hình IRT hai tham s có d ng nh Hình 2.ặ ư ủ ỏ ố ạ ư
Hình . Đ ườ ng cong đ c tr ng c a câu h i theo mô hình IRT hai tham s ặ ư ủ ỏ ố
Đ d c c a độ ố ủ ường cong đ c tr ng cho bi t m c đ phân bi t c a câu h i, đặ ư ế ứ ộ ệ ủ ỏ ường cong có độ
d c càng l n thì câu h i có đ phân bi t càng cao. Khi cùng giá tr đ khó, đố ớ ỏ ộ ệ ị ộ ường cong đ c tr ngặ ư câu h i trong mô hình IRT hai tham s có d c l n h n so v i đỏ ố ố ớ ơ ớ ường cong đ c tr ng câu h i trongặ ư ỏ
mô hình Rasch khi giá tr đ phân bi t l n h n 1 và ngị ộ ệ ớ ơ ượ ạc l i khi giá tr đ phân bi t bé h n 1.ị ộ ệ ơ
2.2.Gi i thi u v d li u phân tích ớ ệ ề ữ ệ
Bài vi t này d a trên k t qu phân tích d li u đ thi tr c nghi m khách quan h c ph n Ti ngế ự ế ả ữ ệ ề ắ ệ ọ ầ ế Anh 1 trong k thi k t thúc h c ph n h c k 1, năm h c 201ỳ ế ọ ầ ọ ỳ ọ 9 2020 t i Trạ ường Đ i h c Đ ngạ ọ ồ Tháp. Đ thi g m 50 câu h i tr c nghi m khách quan, m i câu h i đ u có 04 phề ồ ỏ ắ ệ ỗ ỏ ề ương án tr l i,ả ờ trong đó có 01 phương án đúng và 03 phương án nhi u. S lễ ố ượng thí sinh tham gia tr l i các câuả ờ
h i trong đ thi là ỏ ề 798. K t qu ph n h i c a các thí sinh đế ả ả ồ ủ ược l u l i trong file d li uư ạ ữ ệ TiengAnh1.dat (đ nh d ng file d li u b t bu c đ ch y ph n ph m ConQuest).ị ạ ữ ệ ắ ộ ể ạ ầ ề
2.3.Gi i thi u v ph n m m ConQuest và cách s d ng v i mô hình IRT hai ớ ệ ề ầ ề ử ụ ớ
tham số
Ph n m m ConQuest đầ ề ươc vi t b i H i đ ng nghiên c u giáo d c Úc (ế ở ộ ồ ứ ụ Australian Council of Educational Research ACER) nh mằ ng d ng IRT vào phân tích d li u đ thi và đánh giá năngứ ụ ữ ệ ề
l c c a thí sinh. Các phiên b n đ u tiên c a ph n m m ConQuest ch th c hi n đự ủ ả ầ ủ ầ ề ỉ ự ệ ược vi c phânệ tích đ thi v i mô hình Rasch m t tham s ề ớ ộ ố [15]. Ph n m m ConQuest v i phiên b n 4.0 cho phépầ ề ớ ả
th c hi n vi c phân tích đánh giá đ thi v i mô hình IRT hai tham s ự ệ ệ ề ớ ố [16]
Đ s d ng ph n m m ConQuest c n có hai file d li u đ u vào g m file c u hình có đ nhể ử ụ ầ ề ầ ữ ệ ầ ồ ấ ị
d ng ạ *.cqc và file ch a k t qu tr l i c a các thi sinh có đ nh d ng ứ ế ả ả ờ ủ ị ạ *.dat. Vi c s d ng môệ ử ụ hình IRT nào ph thu c vào các l nh đi u khi n trong file c u hình. Đ s d ng đụ ộ ệ ề ể ấ ể ử ụ ược mô hình IRT hai tham s cho d li u c a nghiên c u này, file c u hình có n i dung nh sau:ố ữ ệ ủ ứ ấ ộ ư
B ng . N i dung file c u hình đ s d ng ph n m m ConQuest ả ộ ấ ể ử ụ ầ ề
v i mô hình IRT hai tham s ớ ố
Datafile TiengAnh1.dat;
Format responses 1-50;
set constraints=cases;
Key BBBDCBBDCABDDBBDCABCDDCBAACCABACDCAABCDABCDABBBCDA! 1;
Model item! scoresfree;
Estimate;
Show! filetype=xlsx >> TiengAnh1_show.xlsx;
Itanal! filetype=xlsx >> TiengAnh1_Itanal.xlsx;
Plot icc! filesave=yes;
Plot mcc! legend=yes, filesave=yes;
plot icc! gins=all, raw=no, overlay=yes, filesave=yes;
3
Trang 4K t qu phân tích đế ả ược xu t ra t ph n m m ConQuest bao g m 03 ph n và đấ ừ ầ ề ồ ầ ượ ạc t o ra từ các l nh ệ Show!, Itanal!, Plot icc! và Plot mcc! trong file c u hình. Ph n 1 đấ ầ ượ c
th hi n trong file ể ệ TiengAnh1_show.xlsx ch a các b ng th ng kê giá tr bình phứ ả ố ị ương trung bình (Mean Square – MNSQ), đ khó, đ phân bi t Ph n 2 độ ộ ệ ầ ược th hi n trong fileể ệ TiengAnh1_Itanal.xlsx ch a k t qu phân tích t ng câu h i. Ph n 3 g m các đứ ế ả ừ ỏ ầ ồ ường cong
đ c tr ng c a câu h i và các đặ ư ủ ỏ ường bi u di n xác su t ph n h i các phể ễ ấ ả ồ ương án trong m i câu h i.ỗ ỏ
2.4.Đánh giá ch t l ấ ượ ng đ thi tr c nghi m khách quan d a vào mô hình IRT hai ề ắ ệ ự tham s b ng ph n m m ConQuest ố ằ ầ ề
2.4.1.S phù h p c a câu h i v i mô hình Raschự ợ ủ ỏ ớ
M c đ phù h p c a các câu h i trong đ thi v i mô hình IRT đ c xác đ nh d a vào giá trứ ộ ợ ủ ỏ ề ớ ượ ị ự ị MNSQ. Câu h i đ c coi là phù h p v i mô hình n u giá tr MNSQ c a câu h i n m trong kho ng tinỏ ượ ợ ớ ế ị ủ ỏ ằ ả
c y (Confidence Interval CI) t ng ng Nh ng câu h i có giá tr MNSQ trong c 2 c tậ ươ ứ ữ ỏ ị ả ộ UNWEIGHTED FIT và WEIGHTED FIT đ u n m ngoài các kho ng CI t ng ng ch ng t có đi uề ằ ả ươ ứ ứ ỏ ề
b t th ng x y ra đ i v i câu h i đó, c n ph i đ c xem xét l i.ấ ườ ả ố ớ ỏ ầ ả ượ ạ Nh ng b t thữ ấ ường x y ra đ i v iả ố ớ câu h i có kh năng là đáp án b sai, hay n i dung câu h i đỏ ả ị ộ ỏ ược th hi n không rõ ràng gây ra sể ệ ự
hi u nh m cho thí sinh.ể ầ Giá tr MNSQ c a các câu h i trong đ thi này đị ủ ỏ ề ược th hi n qua B ng 2.ể ệ ả
B ng . Trích giá tr MNSQ và đ khó c a các câu h i trong đ thi ả ị ộ ủ ỏ ề
K t qu th ng kê trong B ng 2 cho th y không có câu h i nào có đ ng th i các giá tr MNSQế ả ố ả ấ ỏ ồ ờ ị trong c hai c t ả ộ UNWEIGHTED FIT và WEIGHTED FIT n m ngoài các kho ng tin c y CI t ng ngằ ả ậ ươ ứ
Nh v y, các câu h i trong đ thi không có hi n tư ậ ỏ ề ệ ượng b t thấ ường và đ u phù h p v i mô hìnhề ợ ớ IRT đang được xem xét
2.4.2.Đ khó c a câu h iộ ủ ỏ
Baker (2001) cho r ng đ khó c a câu h i theo IRT đằ ộ ủ ỏ ược chia thành 05 m c: ứ r t d ấ ễ (n u ế giá
tr đ khó ị ộ bé h n 2,0)ơ ; dễ (t 2,0ừ đ n dế ưới 0,5); trung bình (t 0,5 đ n dừ ế ưới 0,5); khó (t 0,5ừ
đ n dế ưới 2,0) và r t khó ấ (t 2,0 tr lên)ừ ở Tuy nhiên, các câu h i trong đ thi ỏ ề nên có giá tr đ khó tị ộ ừ
3,0 đ n 3,0 ế [13]. Nh ng câu h i có giá tr đ khó quá th p ho c quá cao thữ ỏ ị ộ ấ ặ ường không có ý nghĩa trong vi c đo lệ ường năng l c c a thí sinh.ự ủ
Đ khó c a các câu h i trong đ thi này độ ủ ỏ ề ượ ướ ược c l ng b ng ph n m m ConQuest theo môằ ầ ề hình IRT hai tham s th hi n t i c t 2PL SCALE ESTIMATE trong B ng 3. Theo cách phân lo iố ể ệ ạ ộ ả ạ trên, đ khó c a các câu h i trong đ thi này độ ủ ỏ ề ược phân b theo các m c đ nh sau:ố ứ ộ ư
B ng . Th ng kê m c đ khó c a các câu h i trong đ thi ả ố ứ ộ ủ ỏ ề
Giá tr đ khóị ộ M cứ
độ
Số
lượng
T lỷ ệ
Dưới 2,0 R t dấ ễ 6 12,0 4, 8, 38, 44, 48, 49
T 2,0 đ n dừ ế ướ i
0,5 Dễ 15 30,0 2, 14, 15, 18, 19, 21, 22, 24, 26, 28, 36, 37, 39, 41, 43
Trang 5Giá tr đ khóị ộ M cứ
độ
Số
lượng
T lỷ ệ
T 0,5 đ n dừ ế ướ i
0,5 Trung bình 11 22,0 1, 10, 11, 12, 13, 16, 20, 27, 33, 34, 42
T 0,5 đ n dừ ế ưới 2,0 Khó 13 26,0 3, 5, 6, 9, 17, 23, 25, 29, 30, 31, 45, 47, 50
T 2,0 tr lênừ ở R t khóấ 5 10,0 7, 32, 35, 40, 46
K t qu th ng kê trong B ng 3 cho th y đ khó c a câu h i trong đ thi t p trung nhi u 3ế ả ố ả ấ ộ ủ ỏ ề ậ ề ở
m c: m c d v i 15 câu h i chi m t l 30%, m c trung bình v i 11 câu h i chi m t l 22%,ứ ứ ễ ớ ỏ ế ỷ ệ ứ ớ ỏ ế ỷ ệ
m c khó v i 13 câu h i chi m t l 26%. Ngoài ra, đ thi cũng có 6 câu h i m c r t d chi m tứ ớ ỏ ế ỷ ệ ề ỏ ở ứ ấ ễ ế ỷ
l 12% và 5 câu h i m c r t khó chi m t l 10%. Trong đó 6 câu h i có đ khó quá th p ho cệ ỏ ở ứ ấ ế ỷ ệ ỏ ộ ấ ặ quá cao c n ph i lo i b ra kh i đ thi là: câu 4, 8, 32, 38, 40, 44. Đ khó trung bình c a câu h i làầ ả ạ ỏ ỏ ề ộ ủ ỏ
0,026, đ l ch chu n là 1,669. Bên c nh đó, năng l c trung bình c a thí sinh tham gia làm bài tr cộ ệ ẩ ạ ự ủ ắ nghi m là 0,055, đ l ch chu n là 1,218. Nh v y, đ khó trung bình c a các câu h i trong đ thiệ ộ ệ ẩ ư ậ ộ ủ ỏ ề
th p h n m c năng l c trung bình c a thí sinh d thi, tuy nhiên m c ch nh l ch không đáng k ấ ơ ứ ự ủ ự ứ ệ ệ ể
S phân b đ khó c a câu h i và năng l c c a thí sinh đự ố ộ ủ ỏ ự ủ ượ ướ ược c l ng b ng ph n m mằ ầ ề ConQuest th hi n qua Hình 4.ể ệ
Hình . Bi u đ phân b đ khó c a câu h i và năng l c c a thí sinh ể ồ ố ộ ủ ỏ ự ủ
K t qu phân b đ khó c a câu h i và năng l c c a thí sinh cho th y đ khó c a các câu h iế ả ố ộ ủ ỏ ự ủ ấ ộ ủ ỏ trong đ thi có s phân b tề ự ố ương ng v i năng l c c a thí sinh, t nh ng thí sinh có năng l c th pứ ớ ự ủ ừ ữ ự ấ
đ n nh ng thí sinh có năng l c cao. Tuy nhiên, k t qu hi n th trong Hình 4 đã cho th y r t c thế ữ ự ế ả ể ị ấ ấ ụ ể các câu h i 4, 8, 38, 44, 32, 40 là nh ng câu h i có đ khó quá th p ho c quá cao, không tỏ ữ ỏ ộ ấ ặ ương ngứ
v i năng l c c a thí sinh. Do đó, nh ng câu h i trên c n ph i đớ ự ủ ữ ỏ ầ ả ược lo i b ra kh i đ thi.ạ ỏ ỏ ề
2.4.3.Đ phân bi t c a câu h iộ ệ ủ ỏ
Baker (2001) đã chia đ phân bi t c a các câu h i theo IRT thành 5 m c: ộ ệ ủ ỏ ứ r t kém ấ (giá tr đị ộ phân bi t bé h n 0,35); ệ ơ kém (t 0,35 đ n dừ ế ưới 0,65); trung bình (t 0,65 đ n dừ ế ưới 1,35); t t ố (t 1,35ừ
đ n dế ưới 1,70) và r t t t ấ ố (t 1,70 tr lên). Tuy nhiên, đ phân bi t c a câu h i trong đ thi nên cóừ ở ộ ệ ủ ỏ ề giá tr t 0,5 đ n dị ừ ế ưới 2,0 [13]. Nh ng câu h i có giá tr đ phân bi t quá th p ho c quá cao thữ ỏ ị ộ ệ ấ ặ ườ ng không có ý nghĩa ho c có ý nghĩa r t th p trong vi c đo lặ ấ ấ ệ ường và phân lo i năng l c c a thí sinh.ạ ự ủ
Đ phân bi t c a các câu h i trong đ thi theo mô hình IRT hai tham s độ ệ ủ ỏ ề ố ượ ướ ược c l ng b ngằ 5
Trang 6ph n m m ConQuest là giá tr Score (ho c Slope). Theo cách phân lo i trên, m c đ phân bi t c aầ ề ị ặ ạ ứ ộ ệ ủ các câu h i trong đ thi này đỏ ề ược th hi n qua B ng 4. ể ệ ả
B ng . Th ng kê m c đ phân bi t c a câu h i trong đ thi ả ố ứ ộ ệ ủ ỏ ề
Giá tr đ phân bi tị ộ ệ M c đứ ộ Số
lượng
T lỷ ệ
Dưới 0.35 R t kémấ 9 18,0 4, 5, 7, 8, 29, 32, 38, 41, 46
T 0.35 đ n dừ ế ưới
T 0.65 đ n dừ ế ưới
1.35 Trung bình 21 42,0 1, 6, 9, 10, 11, 12, 14, 16, 17, 18, 9, 20, 21, 22, 27, 33, 34, 43, 47, 48, 50
T 1.35 đ n dừ ế ưới 1.7 T tố 5 10,0 26, 36, 37, 42, 49
T 1.7 tr lênừ ở R t t tấ ố 5 10,0 13, 15, 24, 28, 39
K t qu th ng kê trong B ng 4 cho th y đ phân bi t c a các câu h i ch y u t p trung cácế ả ố ả ấ ộ ệ ủ ỏ ủ ế ậ ở
m c nh : m c trung bình 21 câu (42%), m c kém 10 câu (20%), m c r t kém 9 câu (18%). Còn l iứ ư ứ ứ ứ ấ ạ
là các câu h i có m c phân bi t t t v i 5 câu h i (10%), và m c r t t t v i 5 câu h i (10%). Đi uỏ ứ ệ ố ớ ỏ ứ ấ ố ớ ỏ ề này cho th y, đây là m t đ thi có m c đ phân bi t ch a cao. Ngoài ra, trong đ thi có m t s câuấ ộ ề ứ ộ ệ ư ề ộ ố
h i có đ phân bi t quá th p (dỏ ộ ệ ấ ưới 0,5) nh : câu ư 3, 4, 5, 7, 8, 29, 30, 31, 32, 35, 38, 40, 41, 44, 45 ,
46. Đây là nh ng câu h i c n ph i lo i b ra kh i đ thi.ữ ỏ ầ ả ạ ỏ ỏ ề
2.4.4.Đánh giá ch t lấ ượng c a t ng câu h i trong đ thiủ ừ ỏ ề
Ch t lấ ượng c a t ng câu h i trong đ thi đủ ừ ỏ ề ược th hi n qua các y u t đ khó, đ phân bi tể ệ ế ố ộ ộ ệ
và các phương án nhi u. Cễ ác phương án nhi u c a m t câu h i đễ ủ ộ ỏ ược g i là có ch t lọ ấ ượng khi xác
su t l a ch n các phấ ự ọ ương án đó c a thí sinh gi m d n khi năng l c c a thí sinh tăng d nủ ả ầ ự ủ ầ , đ ng th iồ ờ xác su t này s d n v 0 khi năng l c c a thí sinh m c r t cao.ấ ẽ ầ ề ự ủ ở ứ ấ
S khác bi t c a ph n m m ConQuest so v i các ph n m m khác khi phân tích câu h i theoự ệ ủ ầ ề ớ ầ ề ỏ IRT đó là vi c hi n th đệ ể ị ường bi u di n xác su t ph n h i các phể ễ ấ ả ồ ương án nhi u c a thí sinh.ễ ủ Thông qua các đường bi u di n này, ngể ễ ười biên so n đ thi s phát hi n đạ ề ẽ ệ ược nh ng phữ ương án nhi u có v n đ đ ch nh s a ho c thay th ễ ấ ề ể ỉ ử ặ ế
Trong ph n ti p theo c a bài vi t này, chúng tôi s đánh giá m t s câu h i đầ ế ủ ế ẽ ộ ố ỏ ược phân tích
b ng ph n m m ConQuest theo mô hình IRT hai tham s , c th nh sau:ằ ầ ề ố ụ ể ư
B ng . Thông tin phân tích câu h i 12 ả ỏ
item:12 (12) Cases for this item 798 ItemRest Cor. 0.40 ItemTotal Cor. 0.46 Item Delta: 0.26 2PL scaled delta: 0.24 Slope: 1.05 Weighted MNSQ 1.00 Labe
Giá tr ị2PL Scale delta cho bi t đ khó, giá tr Score ho c Slope cho bi t đ phân bi t c a câuế ộ ị ặ ế ộ ệ ủ
h i. Giá tr Pt Bis cho bi t ỏ ị ế m i tố ương quan gi a s lữ ố ượng thí sinh l a ch n t ng phự ọ ừ ương án tr l iả ờ
v i t ng đi m bài thi. Giá tr ớ ổ ể ị Pt Bis > 0 cho bi t phế ương án đó có s lố ượng thí sinh năng l c caoự
ch n nhi u h n các thí sinh năng l c th p. Đi u này h p lý đ i v i phọ ề ơ ự ấ ề ợ ố ớ ương án đúng và ngượ ạ c l i
đ i v i các phố ớ ương án nhi u. Giá tr Sig < 0,05 cho bi t phép ki m đ nh t đ i v i h s tễ ị ế ể ị ố ớ ệ ố ương quan
Pt Bis có ý nghĩa th ng kê v i đ tin c y 95%. Nh ng phố ớ ộ ậ ữ ương án nhi u kém ch t lễ ấ ượng khi giá trị Sig ≥ 0,05
K t qu th ng kê trong B ng 5 cho th y, câu h i 12 có giá tr đ khó là 0,24 (m c trungế ả ố ả ấ ỏ ị ộ ứ bình); giá tr đ phân bi t b ng 1,05 (m c trung bình). Ngoài ra, các phị ộ ệ ằ ứ ương án nhi u đ u có giá trễ ề ị
Trang 7Pt Bis < 0 và giá tr Sig < 0,05. Nh v y, các phị ư ậ ương án nhi u trong câu h i trên đ u có ch t lễ ỏ ề ấ ượ ng
t t. Xác su t l a ch n các phố ấ ự ọ ương án c a câu h i này đủ ỏ ược th hi n qua các để ệ ường bi u di nể ễ trong Hình 5
Hình . Đ ườ ng cong đ c tr ng c a câu h i 12 ặ ư ủ ỏ
Đường bi u di n các phể ễ ương án tr l i cho th y, khi năng l c c a thí sinh càng cao thì xácả ờ ấ ự ủ
su t l a ch n các phấ ự ọ ương án nhi u A, B, C càng th p, đây là đi u h p lý v i phễ ấ ề ợ ớ ương án nhi u cóễ
ch t lấ ượng t t. Nh v y, m c dù đây là câu h i có đ khó và đ phân bi t m c trung bìnhố ư ậ ặ ỏ ộ ộ ệ ở ứ
nh ng đây là m t câu h i có ch t lư ộ ỏ ấ ượng t t.ố
B ng . Thông tin phân tích câu h i 13 ả ỏ
item:13 (13) Cases for this item 798 ItemRest Cor. 0.56 ItemTotal Cor. 0.61 Item Delta: 0.56 2PL scaled delta: 0.28 Slope: 1.95 Weighted MNSQ 0.98
K t qu th ng kê trong cho th y câu h i 13 có giá tr đ khó đ t 0,28 (m c trung bình); giá trế ả ố ấ ỏ ị ộ ạ ứ ị
đ phân bi t đ t 1,95 (m c r t t t). Ngoài ra, các phộ ệ ạ ứ ấ ố ương án nhi u A, C đ u có giá tr Pt Bis < 0 ễ ề ị và giá tr Sig < 0,05ị , phương án nhi u B có giá tr Pt Bis = 0,05 > 0 ễ ị và giá tr Sig = 0,125 > 0,05. ị Như
v y, trong các phậ ương án nhi u c a câu h i 13, phễ ủ ỏ ương án B là phương án kém ch t lấ ượng. Ngườ i biên so n đ thi c n ph i quan tâm đ n câu h i này và đi u ch nh phạ ề ầ ả ế ỏ ề ỉ ương án B nh m nâng caoằ
ch t lấ ượng câu h i.ỏ
Xác su t l a ch n các phấ ự ọ ương án c a câu h i này đủ ỏ ược th hi n qua các để ệ ường bi u di nể ễ trong Hình 6
7
Trang 8Hình . Đ ườ ng cong đ c tr ng c a câu h i 13 ặ ư ủ ỏ
Đường bi u di n c a các phể ễ ủ ương án tr l i trong câu h i trên cho th y xác su t l a ch n cácả ờ ỏ ấ ấ ự ọ
phương án nhi u A, C gi m d n khi năng l c c a thí sinh tăng d n. Tuy nhiên, đ i v i phễ ả ầ ự ủ ầ ố ớ ương án nhi u B thì ngễ ượ ạc l i, có nh ng thí sinh có năng l c cao nh ng xác su t l a ch n phữ ự ư ấ ự ọ ương án này cũng cao h n nh ng thí sinh có năng l c th p. Đi u này ch ng t phơ ữ ự ấ ề ứ ỏ ương án B là phương án nhi uễ kém ch t lấ ượng
B ng . Thông tin phân tích câu h i 42 ả ỏ
item:42 (42) Cases for this item 798 ItemRest Cor. 0.49 ItemTotal Cor. 0.55
Item Delta: 0.07 2PL scaled delta: 0.04 Slope: 1.62 Weighted MNSQ 0.99 Labe
PV1 SD:1
K t qu th ng kê trong B ng 7 cho th y câu h i 42 có giá tr đ khó b ng 0,04 (m c trungế ả ố ả ấ ỏ ị ộ ằ ứ bình); giá tr đ phân bi t b ng 1,62 (m c t t); các phị ộ ệ ằ ứ ố ương án nhi u A, B, D đ u có ch t lễ ề ấ ượng t tố (do giá tr Pt Bis < 0 và giá tr Sig < 0,05). Xác su t l a ch n các phị ị ấ ự ọ ương án c a câu h i này đủ ỏ ượ c
th hi n qua các để ệ ường bi u di n trong Hình 7.ể ễ
Hình . Đ ườ ng cong đ c tr ng câu h i 42 ặ ư ỏ
Trang 9Đường bi u di n các phể ễ ương án tr l i cho th y xác su t l a ch n các phả ờ ấ ấ ự ọ ương án nhi u A, B,ễ
D gi m d n khi năng l c c a thí sinh tăng d n. Đi u này cho th y các phả ầ ự ủ ầ ề ấ ương án nhi u trong câuễ
h i này đ u có ch t lỏ ề ấ ượng t t. ố Nh v y, đây là m t câu h i có ch t lư ậ ộ ỏ ấ ượng t t.ố
Vi c phân tích đ thi tr c nghi m khách quan b ng ph n m m ConQuest đã cho th y trong đệ ề ắ ệ ằ ầ ề ấ ề thi này có m t s câu h i ch t lộ ố ỏ ấ ượng t t, có th đ a vào ngân hàng câu h i thi. Nh ng câu h i nàyố ể ư ỏ ữ ỏ
được th hi n trong B ng 8.ể ệ ả
B ng . Th ng kê các câu h i có ch t l ả ố ỏ ấ ượ ng t t ố
Câ
u
h iỏ
M c đứ ộ
ứ ộ phân bi tệ
Phương
án nhi uễ
Câu
h iỏ
M c đứ ộ
phân bi tệ
Phương
án nhi uễ
1 Trung bình Trung bình T tố 24 Dễ R t t tấ ố T tố
10 Trung bình Trung bình T tố 28 Dễ R t t tấ ố T tố
12 Trung bình Trung bình T tố 33 Trung bình Trung bình T tố
14 Dễ Trung bình T tố 34 Trung bình Trung bình T tố
20 Trung bình Trung bình T tố 47 Khó Trung bình T tố
Bên c nh đó, m t s câu h i có đ khó và đ phân bi t đáp ng yêu c u nh ng c n ch nh s aạ ộ ố ỏ ộ ộ ệ ứ ầ ư ầ ỉ ử
l i các phạ ương án nhi u đ nâng cao ch t lễ ể ấ ượng câu h i và có th đ a vào ngân hàng câu h i thi.ỏ ể ư ỏ
Nh ng câu h i này đữ ỏ ược th hi n trong B ng 9.ể ệ ả
B ng . Th ng kê các câu h i c n ph i đi u ch nh ph ả ố ỏ ầ ả ề ỉ ươ ng án nhi u ễ
Câu h iỏ M c đ khóứ ộ M c đ phânứ ộ
bi tệ
Phương án nhi u c n đi uễ ầ ề
ch nhỉ
Ngoài ra, trong đ thi này có nh ng câu h i c n ph i đề ữ ỏ ầ ả ược lo i b nh : câu 3, 4, 5, 7, 8, 29, 30,ạ ỏ ư
31, 32, 35, 38, 40, 41, 44, 45, 46. Đây là nh ng câu h i có đ khó m c r t d ho c r t khó, đ ngữ ỏ ộ ở ứ ấ ễ ặ ấ ồ
th i có đ phân bi t m c kém.ờ ộ ệ ở ứ
3 K t lu n ế ậ
K t qu phân tích, đánh giá đ thi tr c nghi m khách quan d a trên mô hình IRT hai tham sế ả ề ắ ệ ự ố thông qua vi c s d ng ph n m m ConQuest đã ch ra trong đ thi có m t s câu h i có ch t lệ ử ụ ầ ề ỉ ề ộ ố ỏ ấ ượ ng 9
Trang 10t t c v đ khó, đ phân bi t và các phố ả ề ộ ộ ệ ương án nhi u. Ngoài ra, nh ng câu h i có v n đ v n iễ ữ ỏ ấ ề ề ộ dung và k thu t đã đỹ ậ ược phát hi n. Đó là nh ng câu h i có đ khó, đ phân bi t không phù h pệ ữ ỏ ộ ộ ệ ợ
ho c các phặ ương án nhi u không có kh năng phân lo i thí sinh. K t qu phân tích trong bài vi tễ ả ạ ế ả ế này s giúp ngẽ ười bên so n đ thi có c s đ l a ch n nh ng câu h i có ch t lạ ề ơ ở ể ự ọ ữ ỏ ấ ượng t t đ a vàoố ư ngân hàng câu h i thi, s d ng trong vi c đánh giá k t qu h c t p c a sinh viên. Ngoài ra, nh ngỏ ử ụ ệ ế ả ọ ậ ủ ữ câu h i kém ch t lỏ ấ ượng c n ph i đi u ch nh ho c b lo i b ầ ả ề ỉ ặ ị ạ ỏ
TÀI LI U THAM KH OỆ Ả
1 Dương Th Thúy Hà, 2017. ị Đánh giá k t qu h c t p c a ngế ả ọ ậ ủ ườ ọi h c theo đ nh hị ướng hình thành năng l c và đ nh hự ị ướng v n d ng trong th c ti n giáo d c đ i h cậ ụ ự ễ ụ ạ ọ T p chí khoa h c Đ i h c s ạ ọ ạ ọ ư
ph m Hà N i ạ ộ , T p 62, S 1A, tr. 171180.ậ ố
2 Nguy n Th H ng Minh, Nguy n Đ c Thi n, 2006. ễ ị ồ ễ ứ ệ Đo lường đánh giá trong thi tr c nghi m kháchắ ệ quan: Đ khó câu h i và năng l c c a thí sinhộ ỏ ự ủ . T p chí khoa h c ĐHQG Hà N i ạ ọ ộ , S 4, tr. 3447.ố
3 Lâm Quang Thi p, Lâm Ng c Minh, Lê M nh T n, Vũ Đình B ng, 2007.ệ ọ ạ ấ ổ Ph n m m Vitesta vàầ ề
vi c phân tích s li u tr c nghi mệ ố ệ ắ ệ T p chí giáo d c ạ ụ , S 176.ố
4 Nguy n Hoàng B o Thanh, 2008 ễ ả S d ng ph n m m Quest đ phân tích câu h i tr c nghi mử ụ ầ ề ể ỏ ắ ệ
khách quan. T p chí Khoa h c và Công ngh , Đ i h c Đà N ng ạ ọ ệ ạ ọ ẵ , S 2, tr. 119126.ố
5 Nguy n Th Ng c Xuân, 2014 ễ ị ọ S d ng ph n m m Quest/ConQuest đ phân tích câu h i tr cử ụ ầ ề ể ỏ ắ nghi m khách quanệ . T p chí Khoa h c, Tr ạ ọ ườ ng Đ i h c Trà Vinh ạ ọ , S 12, tr. 2427.ố
6 Bùi Ng c Quang, 2017. ọ Đánh giá ch t lấ ượng ngân hàng đ thi tr c nghi m khách quan môn Nhânề ắ ệ
h c đ i cọ ạ ương b ng mô hình Rasch và ph n m m Questằ ầ ề . T p chí Phát tri n Khoa h c và Công ạ ể ọ nghệ, T p 20, S X3, tr. 4254.ậ ố
7 Bùi Anh Ki t và Bùi Nguyên Phệ ương, 2018. S d ng ph n m m IATA đ phân tích, đánh giá vàử ụ ầ ề ể nâng cao ch t lấ ượng câu h i tr c nghi m khách quan trong chỏ ắ ệ ương trình hàm s lũy th a, hàm số ừ ố
mũ, hàm s logaritố . T p chí khoa h c Tr ạ ọ ườ ng Đ i h c C n Th ạ ọ ầ ơ, T p 54, S 9C, tr. 8193.ậ ố
8 Đoàn H ng Chồ ương, Lê Anh Vũ, Ph m Hoàng Uyên, 2016. ạ Áp d ng mô hình IRT 3 tham s vào đoụ ố
lường và phân tích đ khó, đ phân bi t và m c đ d đoán c a các câu h i trong đ thi tr cộ ộ ệ ứ ộ ự ủ ỏ ề ắ nghi m khách quan.ệ T p chí khoa h c Tr ạ ọ ườ ng Đ i h c s ph m TP. H Chí Minh ạ ọ ư ạ ồ , T p 85, S 7, tr.ậ ố 174184
9 Lê Anh Vũ, Ph m Hoàng Uyên, Đoàn H ng Chạ ồ ương, Lê Thanh Hoa, 2017 Áp d ng l y m uụ ấ ẫ GIBBS vào đo lường và đánh giá đ khó câu h i trong mô hình Raschộ ỏ . T p chí khoa h c Tr ạ ọ ườ ng
Đ i h c s ph m Tp. H Chí Minh ạ ọ ư ạ ồ , T p 14, S 4, tr. 119130.ậ ố
10 Lâm Quang Thi p, 2010, ệ Đo l ườ ng trong giáo d c, lý thuy t và ng d ng. ụ ế ứ ụ NXB ĐHQG Hà
N i.ộ
11 Hambleton, R K., & Swaminathan, H (2013). Item response theory: Principles and applications. Springer Science & Business Media.
12 Rasch, G., 1980 Probabilistic models for some intelligence and attainment tests Copenhagen,
Denmark: Danish Institute for Educational Research
13 Baker, F. B., 2001 The basic of item response theory. College Park, MD: University of
Maryland, ERIC Clearinghouse on Assessment and Evaluation
14 Birnbaum, A. L., 1968 Some latent trait models and their use in inferring an examinee's ability. Statistical theories of mental test scores.
15 Wu, M. L., Adams, R. J., Wilson, M. R., & Haldane, S. A., 2007 ACER conquest version 2.0. Camberwell, Victoria, Australia: ACER Press, Australian Council for Educational Research.
16 Adams, R. J. & Macaskill, G., 2012, Score Estimation and Generalised Partial Credit Models.
Note 6, ACER ConQuest, Notes and Tutorials.
ABSTRACT Using ConQuest software to evaluate the quality of a multiple choice test