Giới thiệu về lý thuyết đáp ứng câu hỏi IRT-Item Response theory Để viết CHTN và xây dựng ngân hàng CHTN dùng để kiểm tra đánh giá KTĐG, các kỳ thi đạt yêu cầu của mục tiêu dạy học thì p
Trang 1SỞ GIÁO DỤC VÀ ĐÀO TẠO ĐỒNG NAI
Đơn vị Trường THPT Trấn Biên
Mã số:
(Do HĐKH Sở GD&ĐT ghi)
SÁNG KIẾN KINH NGHIỆM
SỬ DỤNG PHẦN MỀM QUEST, CONQUEST ĐỂ PHÂN TÍCH CÂU HỎI TRẮC NGHIỆM KHÁCH QUAN
Người thực hiện: VÕ LONG
Lĩnh vực nghiên cứu:
- Phương pháp dạy học bộ môn:
- Lĩnh vực khác: (Đánh giá đề thi)
Có đính kèm: Các sản phẩm không thể hiện trong bản in SKKN
Mô hình Đĩa CD (DVD) Phim ảnh Hiện vật khác
(các phim, ảnh, sản phẩm phần mềm)
Năm học: 2014-2015
Trang 2SƠ LƯỢC LÝ LỊCH KHOA HỌC
––––––––––––––––––
I THÔNG TIN CHUNG VỀ CÁ NHÂN
1 Họ và tên: VÕ LONG
2 Ngày tháng năm sinh: 01/07/1982
3 Nam, nữ: Nam
4 Địa chỉ: Lô I34-KDC Phú Gia-Tổ 1-Kp3-Phường Trảng Dài -BH-ĐN
5 Điện thoại: 0947373437
7 Chức vụ: Giáo viên
8 Nhiệm vụ được giao (quản lý, đoàn thể, công việc hành chính, công việc chuyên môn, giảng dạy môn, lớp, chủ nhiệm lớp,…) : Giảng dạy
9 Đơn vị công tác: Trường THPT Trấn Biên
II TRÌNH ĐỘ ĐÀO TẠ O
- Học vị (hoặc trình độ chuyên môn, nghiệp vụ) cao nhất: Thạc sĩ
- Năm nhận bằng: 2014
- Chuyên ngành đào tạo: Đo lường và đánh giá chất lượng giáo dục
III KINH NGHIỆM KHOA HỌC
- Lĩnh vực chuyên môn có kinh nghiệm: Giảng dạy tin học
Số năm có kinh nghiệm: 10 năm
- Các sáng kiến kinh nghiệm đã có trong 5 năm gần đây:
Xây dựng chương trình chấm thi thực hành Word
Trang 3Tên SKKN: SỬ DỤNG PHẦN MỀM QUEST, CONQUEST ĐỂ PHÂN
TÍCH CÂU HỎI TRẮC NGHIỆM KHÁCH QUAN
I LÝ DO CHỌN ĐỀ TÀI
Đánh giá (ĐG) kết quả học tập (KQHT) của học sinh (HS) là một hoạt động rất quan trọng trong quá trình giáo dục Đánh giá kết quả học tập là quátrình thu thập và xử
lí thông tin về trình độ, khả năng thực hiện mục tiêu học tậpcủa học sinh nhằm tạo cơ sở cho những điều chỉnh sư phạm của giáo viên, các giải pháp của các cấp quản lí giáo dục
và cho bản thân học sinh, để học sinh học tập đạt kết quả tốt hơn.
Trong giáo dục, trắc nghiệm khách quan (TNKQ) đã được sử dụng rất phổ biến tại nhiều nước trên thế giới trong các kỳ thi để đánh giá năng lực nhậ n thứccủa người học, ở Việt Nam trắc nghiệm khách quan được sử dụng trong các kỳ tốt nghiệp THPT, thi tuyển sinh cao đẳng, đại học và kỳ thi kết thúc học phần tạinhiều trường học Vì vậy nghiên cứu sử dụng phần mềm QUEST để phân tích câu hỏi trắc nghiệm (CHTN) là cần thiết.
II CƠ SỞ LÝ LUẬN VÀ THỰC TIỄN
1 Mục đích của đề tài:
Nghiên cứu sử dụng phần mềm QUEST để đánh giá chất lượng CHTN, KQHT của HS.
2 Đối tượ ng và phạm vi nghiên cứu:
Nội dung chương trình Anh Văn học kỳ I lớp 12 ban cơ bản.
Kết quả thi của 149 HS khối 12 làm mã đề 101 (50 câu hỏi) môn Anh Văn trường trung học phổ thông Trấn Biên -Biên Hòa-Đồng Nai.
3 Phương pháp (PP) nghiên cứu:
Trong quá trình tiến hành nghiên cứu làm đề tài, chúng tôi đã sử dụng các PP nghiên cứu sau đây: PP Nghiên cứu lý thuyết, PP lấy ý kiến chuyên gia, PP thực nghiệm sư phạm, phương pháp thống kê.
III NỘI DUNG NGHIÊN CỨU
1 Giới thiệu về lý thuyết đáp ứng câu hỏi (IRT-Item Response theory)
Để viết CHTN và xây dựng ngân hàng CHTN dùng để kiểm tra đánh giá (KTĐG), các kỳ thi đạt yêu cầu của mục tiêu dạy học thì phải nắm vững qui trình viết và phân tích thống kê từng CHTN, cũng như trên bài trắc nghiệm (TN) Nguyên tắc chung để phân tích CHTN, một bài TN là chúng ta thường so sánh câu trả lời của HS ở mỗi câu hỏi với điểm số chung của toàn bài với mong muốn có nhiều HS khá giỏi trả lời đúng, đồng thời có ít HS yếu trả lời được câu hỏi đó, nghĩa là phổ các điểm của một lớp HS trải càng
Trang 4rộng càng tốt Việc phân tích thống kê CHTN nhằm xác định các chỉ số như: độ khó, độ phân biệt, hệ số độ tin cậy của CHTN Theo lý thuyết trắc nghiệm cổ điển thì sau khi chấm điểm bài TN xong, ta thường chia lớp làm 3 nhóm: Nhóm điểm cao chọn 27% SV đạt điểm cao nhất và nhóm điểm thấp chọn 27% SV điểm thấp nhất Từ đó tính độ khó,
độ phân biệt của CHTN của bài trắc nghiệm Phương pháp ở trên đơn giản mà mỗi giáo viên ở lớp đều có thể tính với từng câu, từng bài TN Nhưng nhược điểm của phương pháp này là chỉ chọn 54% HS trong hai nhóm điểm cao và điểm thấp, còn lại 46% nhóm điểm ở mức trung bình không được xét đến Từ sau thập niên 70 đến nay một lý thuyết phân tích câu hỏi trắc nghiệm hiện đại ra đời dựa trên thuyết đáp ứng câu hỏi của Georg Rasch thường gọi là lý thuyết IRT Thuyết IRT được phát triển rất nhanh nhờ khả năng tính toán bằng máy vi tính.
Để khắc phục nhược điểm nêu trên, Hội đồng nghiên cứu giáo dục Australia dựa trên thuyết IRT đã xây dựng phần mềm Quest để phân tích số liệu thống kê của câu TN
và bài TN Thuyết đáp ứng câu hỏi của Rasch môhình hoá mối liên hệ giữa mức độ khả năng của người làm TN và đáp ứng củangười ấy với một câu TN Mỗi câu TN được
mô tả bằng một thông số (độ khó) ký hiệu là δ và mỗi người làm TN được mô tả cũng bằng một thông số (khả năng) ký hiệu là β Mỗi khi một người cố gắng trả lời một câu hỏi, cácthông số độ khó và khả năng tác động lẫn nhau, để cho một xác suất đáp ứng của người làm trắc nghiệm ấy Dạng toán học của mô hình này là:
Trong đó Pnil là xác suất của một người với khả năng βn làm đúng câu trắc nghiệm có độ khó δ.
So với lý thuyết TN cổ điển, lý thuyết IRT ưu việt hơn nhiều Trong lý thuyết TN
cổ điển độ khó, độ phân biệt của các CH tính đuợc phụ thuộc vào mẫu HS đuợc chọn để thử nghiệm và năng lực xác định đuợc của HS phụ thuộc vào điểm trắc nghiệm (ĐTN)
cụ thể mà HS làm Với IRT, các tham số đặc trưng của CH (liên quan đến độ khó, độ phân biệt, mức độ đoán mò) không phụ thuộc mẫu thử dể định cỡ CH và nưng lực đo đuợc của HS không phụ thuộc vào một ÐTN cụ thể, tức là phải như nhau cho dù đo bằng bất kỳ ÐTN nào đuợc lấy từ NHCH đã đu ợc cùng định cỡ Theo IRT, mỗi CH có các thuộc tính đặc trưng cho nó và mỗi HS ở một trình độ nào đó có một năng lực tiềm
ẩn xác định, các thuộc tính và đặc trưng này không phụ thuộc vào phép đo.
2 Xử lý số liệu bằng phần mềm QUEST; CONQUEST:
Pnil = exp(βn − δi)
1 + exp(βn − δi)
Trang 5Chấm điểm bài TN theo đáp án đã cho - Độ tin cậy của bài trắc nghiệm - Khả năng của người làm trắc nghiệm - Phân tích các câu TN, tính độ khó, độ phân biệt Rpbis, P-Value: độ tin cậy thống kê của độ phân biệt v.v của các câu lựa chọn, cả câu lựa chọn đúng lẫn các câu mồi nhữ - Phân tích sự hoà hợp của các câu TN và khả năng người làm
TN, khả năng của mỗi người (bảng 2, bảng 3) cùng với các trường hợp bất thường của
HS, nếu có, bằng cách nêu ra các câu TN vượt quá khả năng mà HS làm đúng hoặc các câu dưới khả năng mà HS làm sai.v.v có thể do người này quay cóp, đoán mò.v.v và xem mức độ phù hợp của khả năng HS theo mô hình Rasch.
Bảng 1: Các chỉ số thống kê các câu hỏi trắc nghiệm mã đề 101.
Item Analysis Results for Observed Responses
all on anhvan (N = 149 L = 48 Probability Level= 50)
-Item 2: item 2 Infit MNSQ = 1.11 Disc = 35
Categories A* B C D F missing Count 88 35 16 7 3 0
Percent (%) 59.1 23.5 10.7 4.7 2.0
Pt-Biserial .35 -.30 -.04 -.16 .02
p-value .000 000 294 025 388
Mean Ability 1.91 .98 1.56 .76 1.58 NA
Item 4: item 4 Infit MNSQ = 97 Disc = 36
Categories A* B C D F missing Count 130 10 3 5 1 0
Percent (%) 87.2 6.7 2.0 3.4 .7
Pt-Biserial .36 -.24 -.24 -.13 -.03
p-value .000 002 002 054 365
Mean Ability 1.73 .69 .05 .80 1.05 NA
Item 34: item 34 Infit MNSQ = 88 Disc = 54
Categories A* B C D F missing Count 102 30 6 8 3 0
Percent (%) 68.5 20.1 4.0 5.4 2.0
Pt-Biserial .53 -.33 -.27 -.19 -.14
p-value .000 000 000 010 049
Mean Ability 1.99 .85 .30 .73 .59 NA
Item 49: item 49 Infit MNSQ = 1.17 Disc = 30
Categories A B C* D F missing Count 11 14 73 49 2 0
Percent (%) 7.4 9.4 49.0 32.9 1.3
Pt-Biserial -.18 -.28 .30 -.01 -.15
p-value .016 000 000 462 030
Mean Ability 1.04 66 1.96 1.49 .29 NA
Item 50: item 50 Infit MNSQ = 1.39 Disc = -.09
Categories A B C* D F missing Count 49 22 27 48 3 0
Percent (%) 32.9 14.8 18.1 32.2 2.0
Trang 6Pt-Biserial .31 -.12 -.09 -.11 -.11
p-value .000 070 149 082 094
Mean Ability 1.94 1.09 1.30 1.25 .70 NA
Trong đó: Item: Câu hỏi số; Categories: Câu chọn; câu nào có dấu (*) là câu đúng,
còn lại là câu nhiễu; Count: Số HS chọn câu tương ứng Percent (%): Phần trăm số HS chọn câu trả lời tương ứng; Pt-biserial = Rpbis: Độ phân biệt câu TN, P-Value: Độ tin cậy thống kê của độ phân biệt; Đáp án F: Số HS không tìm được câu chọn, bỏ trống câu đó.
- Có rất nhiều câu hỏi đáp án nhiễu quá lộ như: câu hỏi 4 đáp án C, D rất ít có học sinh chọn, Câu hỏi 6 đáp án B, C, D rất ít HS chọn, câu hỏi 12 đáp án B chỉ có 0,7% HS chọn, Câu hỏi 29 đáp án C có 0% học sinh chọn, Câu hỏi 39 đáp án B có 0,7 HS chọn, Câu hỏi 45 đáp án D có 0% học sinh chọn, đây là một nhược điểm lớn của đề thi cần được khắc phục ở các câu hỏi trên.
Phân tích:
- Xác định điểm uốn của đuờng cong để xác định độ khó câu hỏi (nếu huớng lên: câu hỏi
dễ hay huớng xuống: câu hỏi khó)
- Delta(s) trong lý thuyết IRT là đại lượng đặc trưng cho độ khó của câu hỏi và delta càng lớn thì độ khó càng cao (ngược với lý thuyết cổ điển)
- Với câu hỏi tốt, Pt-Biserial nằm trong khoảng 0.35 và 0.75 (Griffin, 1998), Giá trị hệ số
tương quan điểm của câu hỏi thi với điểm của toàn bài thi ( point-Biserial) dao động từ
Trang 70.12 0.56, Như vậy, có 18 câu hỏi (Câu 9, 10 (0,29), câu 14 (0,32), câu 15 (0,33), câu
16 (0,20), câu 19 (0,29), câu 21 (0,12), câu 22 (0,33), câu 24 (0,34), câu 25 (0,29), câu 29 (0,32), câu 31 (0,34), câu 38 (0,31), câu 39 (0,21), câu 40 (0,31), câu 43 (0,29), câu 49 (0,30)) có Pt-Biserial <0.35, chiếm 36%, qua bảng trên ta thấy không có câu hỏi nào có Pt-Biserial <0.
- Nhìn chung hầu hết P-value của phương án đúng các câu đều nhỏ hơn 0.05 chứng tỏ độ
tin cậy của đề thi cao (khoảng 96% câu hỏi có độ tin cậy tốt, trong đó có 2 câu hỏi (câu
11, câu 50) không phù hợp với mô hình loại).
- Phần lớn phương án trả lời đúng phải có Mean a bility cao hơn các phương án trả lời sai,
vì vậy nhìn chung xét về Mean ability đề thi này chấp nhận được.
Đường cong đặc trưng cho cả đề thi:
Bài trắc nghiệm theo phân tích chương trình dựa vào Quest và ConQuest có điểm trung bình là 7,4 và Độ tin cậy của đề thi là 0,94
Bảng số 4: Biểu đồ minh hoạ sự phân bố độ khó CHTN với năng lực của học sinh
Sơ đồ phân bố độ khó câu hỏi thi và năng lực thí sinh cho thấy mức độ phù hợp của đề thi đối với thí sinh dự thi Kết quả xử lý bằng phần mềm QUEST cho một bản đồ phân bố năng lực học sinh và độ khó câu hỏi thi.
all on anhvan (N = 149 L = 48 Probability Level= 50)
-5.0 |
|
|
|
| XXXXXX |
|
|
| XXXXXXXXXX |
|
| XXXX |
XXXX |
| XXXXXXXXXXX |
Trang 8XXXXXX | 2.0 XXXXXXX |
| XXXXXXXXXXX | 40 49 XXXXXXX |
XXXXXXXXXXXX | 18 36 41 48
XXXXX |
XXXXXXXX | 44 XXXXXXXXX | 47 XXXXXXXX | 5 13 25 32 34 43 XXXX |
XX | 3 15 45 0 XXXXXX | 28
XXX | 17 23
XX | 7 9 10 31 39
| 20 30
| 14 21 26 37 42
| 1 4 46
| -1.0 | 12 33
XX | 24 35 38
| 8 22
| 6
|
|
|
|
|
| 29
|
|
|
-Each X represents 1 students
=======================================================================================
Theo bản đồ này thì các câu hỏi đ ược sử dụng trong đề là tương đối dễ đối với thí sinh Đề thi có ít các câu hỏi khó phù hợp với năng lực của một số thí sinh có năng lực cao Vì nhìn trên bản đồ còn nhiều thí sinh có năng lực cao nhưng đề thì thiếu câu hỏi khó.
Nhận xét: Năng lực trung bình của các thí sinh tham gia dự thi cao hơn so với độ
khó của các câu hỏi Điều này chứng tỏ đây là đề thi khá dễ đối với nhóm học sinh này.
Trang 9KẾT LUẬN
Các bảng số liệu trên minh hoạ kết quả phân tích 50 CHTN của một bài kiểm tra học kỳ có 149HS tham gia làm mã đề 101, chứng tỏ phần mềm Quest có thể được sử dụng rất tiện lợi và có hiệu quả trong việc phân tích số liệu các CHTN
và đánh giá kết quả học tập của SV theo lý thuyết trắc nghiệm hiện đại IRT.
Theo phân bố độ khó của câu hỏi thi và ngưỡng năng lực c ần để vượt qua trên thang Logistic thì đề thi tương đối dễ, có nhiều học sinh có năng lực vượt trội (23,4% thí sinh) nên cần một số câu hỏi khó hơn để đánh giá những học sinh có
năng lực cao; riêng câu 29 là câu hỏi quá dễ, các câu hỏi 11 và câu 50 không p hù
hợp với mô hình Rasch nên được loại bỏ.
Vậy bằng phương pháp này cùng các biểu đồ trên tỏ ra là một phương tiện dạy học hiện đại không những giúp ta phân tích và là công cụ chọn được những CHTN đạt yêu cầu lưu vào ngân hàng CHTN mà còn giúp cho giáo viên chẩn đoán thăm dò được tình hình học tập của các HS, qua đó kịp thời giúp đỡ để các HS này
tự điều chỉnh quá trình học của mình.
Nhìn chung đề thi là quá dễ đối với năng lực của đối tượng học sinh trường
đang xét, hầu như không có câu hỏi khó cho các họ c sinh năng lực cao và ít câu
hỏi để kiểm tra năng lực của các học sinh năng lực thấp Tuy nhiên đây là đề thi học kỳ I của học sinh toàn tỉnh Đồng Nai nên đây là đề thi tương đối phù hợp Còn
với đối tượng học sinh trường THPT chất lượng cao ( đối tượng đang xét) thì cần
bổ sung các câu hỏi khó hơn để phù hợp với năng lực và phân loại học sinh.
Trang 10TÀI LIỆU THAM KHẢO
1 Phân tích dữ liệu nghiên cứu với SPSS, Đại học kinh tế Tp.Hồ Chí Minh, Hoàng Trọng-Châu Nguyễn Mộng Ngọc tập 1, tập 2
2 Đo lường và đánh giá ho ạt động học tập trong nhà trường, Nhà xuất bản Đại
học Sư Phạm, GS.TSKH Lâm Quang Thiệp.
3 Xử lý và phân tích số liệu nghiên cứu với phần mềm SPSS, PGS.TS.
Nguyễn Công Khanh
4 Website:
https://sites.google.com/a/moet.edu.vn/danhgiachatluonggiaoduc/home
http://thongke.info.vn/ và http://statistics.vn/
5. Bài giảng lý thuyết đánh giá cổ điển và hiện đại của TS Phạm Xuân Thanh.
Trang 11PHỤ LỤC
1 File Ctl chạy trong chương trình Quest:
Header SKKN_2015 (VO LONG)
set width =132 ! page
set logon >- anhvan.log
data_file anhvan.dat
codes ABCDF
format V1 1-6 items (t7,50a1)
key
DADACADBCBBAACBBDCCCBBABCABBACDDCABDABABABDBBBCA
CC ! score=1
scale 1-10,12-49 !anhvan
estimate ! iter=100;scale=anhvan
show ! scale=anhvan >- anhvan.map
show cases!scale=anhvan; form=export; delimiter=tab >- anhvan.cas
show cases!scale=anhvan >-anhvana.cas
show items!scale=math5 >-anhvana.itm
itanal ! scale=anhvan >- anhvan.ita
quit
2 File Cqc chạy trong chương trình ConQuest:
Title DLDGGD;
Datafile anhvan.dat;
format V1 1-6 responses 7-56;
codes A,B,C,D,F;
key
DADACADBCBBAACBBDCCCBBABCABBACDDCABDABABABDBBBCA
CC ! 1;
Model item;
Estimate;
Show ! estimates=latent>> anhvan.shw;
Itanal >>- anhvan.itn;
Plot icc;
Plot mcc ! legend=yes;
3 File Dat được xuất ra từ phần mềm SPSS:
