TÓM TẮT Trong bài báo này, tác giả xin được trình bày kết quả việc phân tích đánh giá câu hỏi trắc nghiệm khách quan chương Động học chất điểm Vật lý 10 Nâng cao theo lý thuyết IRT Ite
Trang 1XÂY DỰNG HỆ THỐNG CÂU HỎI TRẮC NGHIỆM KHÁCH QUAN
CHƯƠNG ĐỘNG HỌC CHẤT ĐIỂM VỚI SỰ HỖ TRỢ
CỦA PHẦN MỀM VITESTA
BUILDING THE SYSTEM OF MULTIPLE CHOICE QUESTIONS FOR THE
CHAPTER OF KINETICS OF PARTICLE WITH THE SUPPORT
OF THE VITESTA SOFTWARE
SVTH: Đặng Thị Hương
Lớp 08SVL, Khoa Vật lý, Trường Đại học Sư phạm, Đại học Đà Nẵng
GVHD: PGS.TS Nguyễn Bảo Hoàng Thanh
Khoa Vật lý, Trường Đại học Sư phạm, Đại học Đà Nẵng.
TÓM TẮT
Trong bài báo này, tác giả xin được trình bày kết quả việc phân tích đánh giá câu hỏi trắc nghiệm khách quan chương Động học chất điểm Vật lý 10 Nâng cao theo lý thuyết IRT
(Item Response Theory) với sự hỗ trợ của phần mềm Vitesta Phần mềm này không chỉ cho chúng
ta những con số cụ thể, chính xác, nhanh chóng mà còn giúp cho người sử dụng có thể hình dung
trực quan về câu hỏi trắc nghiệm, đề trắc nghiệm, năng lực của học sinh và quan hệ giữa các yếu
tố đó dưới dạng văn bản và đồ thị
Từ khoá: Vitesta, Động học chất điểm, lý thuyết Ứng đáp câu hỏi
ABSTRACT
This paper presents the results of the analysis and evaluation of multiple choice questions
for the chapter of kinetics of particle in the Grade 10 Advanced Physics book based on Item
Response Theory with the support of the Vitesta software This software does not only give us
the specific, accurate and fast numbers but also helps users visualize the multiple choice
questions, multiple choice tests, the capacity of the candidates and the relationship of
these factors indicated in texts and graphs
Key words: Vitesta, Kinetics of particle, Item Response Theory
1 Đặt vấn đề
Trắc nghiệm là một phương pháp của khoa học về đo lường trong giáo dục Vì vậy
những năm gần đây, trắc nghiệm khách quan (TNKQ) được đưa vào trong các kỳ thi tốt
nghiệp phổ thông và tuyển sinh đại học nên sự quan tâm của các trường học Đại học Sư
phạm, các cơ sở quản lý giáo dục và đội ngũ giáo viên về phương pháp giảng dạy này ngày
một tăng lên Một ưu điểm nổi bật của phương pháp trắc nghiệm là việc sử dụng các phần
mềm để xử lý số liệu của câu hỏi trắc nghiệm (CHTN), đề trắc nghiệm (ĐTN) đã mang lại
hiệu quả cao Do đó việc vận dụng phần mềm Vitesta để phân tích, đánh giá CHTN, ĐTN
là cần thiết
2 Lý thuyết Ứng đáp câu hỏi
Để có thể tạo ra được ngân hàng câu hỏi (NHCH) đảm bảo chất lượng đúng với
mục tiêu dạy học và đánh giá đúng năng lực của học sinh theo chuẩn kiến thức, kỹ năng thì
phải nắm vững được qui trình viết CH, phân tích đánh giá từng CHTN cũng như ĐTN
Trang 2Quá trình phân tích CHTN và ĐTN có thể nói là rất quan trọng vì nó quyết định cho việc chọn hay không chọn để đưa vào NHCH nên lý thuyết trắc nghiệm (TN) ra đời, đã và đang từng bước hoàn thiện Từ đầu thế kỷ XX, lý thuyết TN cổ điển ra đời nhưng chưa hoàn thiện nên đến những năm của thập niên 70 thì lý thuyết trắc nghiệm IRT (Item Response Theory) ra đời IRT được xây dựng dựa trên việc nghiên cứu mọi cặp tương tác nguyên tố
“học sinh – câu hỏi” (HS-CH) Mỗi HS đứng trước một CH sẽ ứng đáp như thế nào, điều
đó phụ thuộc vào năng lực tiềm ẩn của HS và các đặc trưng của CH Hành vi ứng đáp này được mô tả bằng một hàm đặc trưng CH cho biết xác suất trả lời đúng CH P( ) tùy theo tương quan giữa năng lực HS và các tham số đặc trưng cho CH Hiện nay có 3 mô hình toán học phổ biến nhất trong IRT: mô hình 1 tham số (mô hình Rasch) chỉ xét đến độ khó b của CH, mô hình 2 tham số có xét đến độ phân biệt a của CH, và mô hình 3 tham số xét thêm mức độ đoán mò c của HS khi trả lời CH Dạng toán cụ thể của mô hình 3 tham số:
a b
a b
. So với lý thuyết TN cổ điển, lý thuyết IRT ưu việt hơn
nhiều Trong lý thuyết TN cổ điển độ khó, độ phân biệt của các CH tính được phụ thuộc vào mẫu HS được chọn để thử nghiệm và năng lực xác định được của HS phụ thuộc vào ĐTN cụ thể mà HS làm Với IRT, các tham số đặc trưng của CH (liên quan đến độ khó, độ phân biệt, mức độ đoán mò) không phụ thuộc mẫu thử để định cỡ CH và năng lực đo được của HS không phụ thuộc vào một ĐTN cụ thể, tức là phải như nhau cho dù đo bằng bất kỳ ĐTN nào được lấy từ NHCH đã được cùng định cỡ Theo IRT, mỗi CH có các thuộc tính đặc trưng cho nó và mỗi HS ở một trình độ nào đó có một năng lực tiềm ẩn xác định, các thuộc tính và đặc trưng này không phụ thuộc vào phép đo
3 Xử lý số liệu bằng phần mềm Vítesta
Sau khi soạn thảo CH theo đúng quy trình gồm 4 giai đoạn theo 10 bước và tiến hành cho HS kiểm tra, các phiếu trả lời sẽ được đưa vào máy quét hoặc nhập từng bài TN vào máy tính Vitesta sẽ tiến hành xử lý và sau đây là những chức năng chính của nó: Định cỡ đề trắc nghiệm theo các mô hình IRT với 1, 2 và 3 tham số từ đó cung cấp tường minh các đường cong đặc trưng, hàm thông tin của từng CHTN và ĐTN; thực hiện phép biến đổi thông qua đường cong điểm thực của ĐTN nhằm thu được điểm số của từng HS theo một thang điểm mong muốn nào đó (trên 10, trên 20, trên 100 v v…); độ khó, độ phân biệt của CHTN theo lý thuyết cổ điển; cung cấp thông tin về tương quan giữa ĐTN
và mẫu HS, sơ đồ bài làm của từng HS; biến đổi điểm thô thành điểm thực theo thang điểm tuỳ chọn
Để minh họa về tính năng của phần mềm VITESTA, sau đây chúng tôi sử dùng chúng để phân tích kết quả bài làm chương Động học chất điểm Vật lý 10 Nâng cao sau khi tiến hành thực nghiệm Sư phạm trên 8 lớp ở 4 trường THPT với 375 HS ở thành phố
Đà Nẵng và dùng phần mềm VITESTA phân tích theo mô hình 3 tham số, ta thu được kết quả qua một số minh họa như sau:
BÁO CÁO VỀ ĐỀ THI
-
ĐÁP ÁN: 2221411122134313442134234434332242311314
TỔNG SỐ HỌC SINH: 375
Trang 3TỔNG SỐ CÂU HỎI: 40
-
ĐỊNH CỠ ĐỀ THI
SAI SỐ THAM SỐ CHO PHÉP 0,001
SỐ VÕNG LẶP ƯỚC LƯỢNG MỖI THAM SỐ: 50
MÔ HÌNH: 3 THAM SỐ
ĐỘ TIN CẬY PHÂN TÍCH NĂNG LỰC (PERSON SEPARATION
RELIABILITY): 0,9994528
GIÁ TRỊ TRUNG BÌNH MỨC NĂNG LỰC: 0
GIÁ TRỊ TRUNG BÌNH ĐỘ KHÓ: 0,378
Bảng 1: Các chỉ số thống kê của từng câu hỏi
=========================================================================
Câu số: 13
Bỏ qua: 0
Độ phân biệt (cổ điển): 0,15164
Độ khó (cổ điển): 0,53333
Độ phân biệt IRT(a): 0,12863
Độ khó IRT(b): -0,18016
Độ phỏng đoán IRT(c): 0,04786
Các phương án: A B C D*
Số TS chọn: 119 26 30 200
Tỉ lệ TS chọn PA (%) 31,73 6,93 8,00 53,33
Tương quanđiểm nhị phân:-0,07781 -0,02414 -0,12275 0,15164
Giá trị t: -1,50739 -0,46630 -2,38873 2,96283
Giá trị p: 0,06628 0,32064 0,00870 0,00162
=========================================================================
Câu số: 38
Bỏ qua: 0
Độ phân biệt (cổ điển): 0,26768
Độ khó (cổ điển): 0,41067
Độ phân biệt IRT(a): 0,32812
Độ khó IRT(b): 0,70554
Độ phỏng đoán IRT(c): 0,00361
Các phương án: A B C* D
Số TS chọn: 67 100 154 54
Tỉ lệ TS chọn PA (%) 17,87 26,67 41,07 14,40 Tương quanđiểmnhịphân: -0,04281 -0,10294 0,26768 -0,19871
Giá trị p: 0,20423 0,02318 0,00000 0,00005
========================================================================
Từ các số liệu ở bảng trên chúng ta có thể chọn các CHTN theo độ khó, độ phân
biệt, độ đoán mò, cũng như các phương án nhiễu để lưu vào ngân hàng câu hỏi(NHCH),
như ở câu 13 cho thấy: độ khó 0,53, độ phân biệt kém, độ khó IRT -0.18, mức độ đoán mò
Trang 4hơi cao gần 0.048 chúng tỏ số học sinh may rủi nhiều trong phương án đúng này mặc dù có đến 53% số HS chọn Nhiễu A tốt hơn nhiễu B vì lôi cuốn được nhiều HS chọn, độ phân biệt bé hơn và giá trị p nhỏ hơn nhiều (p<0.05 là tốt) Nhiễu C tuy ít HS chọn nhưng khá hay nhưng tất cả không đạt vì độ phân biệt quá thấp Tóm lại câu này chưa tốt, để đưa vào
NHCH phải điều chỉnh sửa lại Câu 38 ta thấy: độ khó 0.41, độ phân biệt tốt, độ khó theo
IRT 0.7 vượt mức năng lực trung bình 0, độ đoán mò thấp 0.00361, các phương án nhiễu
có độ phân biệt âm và lôi cuốn nhiều HS tham gia, tốt nhất là nhiễu D vì độ phân biệt và giá trị p khá tốt Vì vậy câu này tốt
Hình 1: Ma trận đường cong đặc trưng và hàm thông tin của từng câu hỏi (câu 1 đến 14)
Từ ma trận đường cong đặc trưng CH giúp ta nhanh chóng phát hiện ra những câu
có vấn đề, có thể nhìn thấy ngay các câu 3, 4, 11, 13 có độ dốc nhỏ, tức là tham số a bé thậm chí có độ khó âm cụ thể như ở câu 13 có độ phân biệt: 0,12863, độ khó: -0,18016 Những câu này phải xem xét lại trước khi đưa vào ĐTN chính thức Tương tự ma trận đường cong hàm thông tin cho ta phép đo chính xác của CH nằm trong khoảng nào, có thể thấy được rằng, ở câu 3, 11, 13 không cung cấp được thông tin của từng CH nhiều vì vậy
những câu này kém chất lượng cần phải chỉnh sửa lại Ví dụ trong HTT câu 1 cho biết: câu
này dễ so với năng lực trung bình vì phép đo chính xác nằm dưới mức trung bình, độ phỏng đoán hơi cao và độ phân biệt khá tốt Như vậy, từ ma trận này ta có thể thiết kế một ĐTN ở các mức độ khó, dễ hay bất cứ một mức độ nào tuỳ theo mục đích sử dụng của đề thi, kiểm tra
Hình 2: Đường cong đặc trưng của ĐTN
Đường cong này là tổng hợp tất cả đường cong đặc trưng của từng CH, nó biểu diễn quan hệ hàm số giữa điểm thực và thang năng lực của HS và có dạng một hàm đồng biến Tiệm cận phải khi có giá trị bằng tổng số CH N, tiệm cận trái khi
có giá trị bằng tổng giá trị các tham số đoán mò
Hình 3: Đồ thị phân bố điểm
Trang 5liệu từ thực tế trên cơ sở các HS và CH đã được đánh giá Mỗi điểm màu xanh là một hoặc
nhóm các HS có cũng điểm thô và cùng mức năng lực thu được từ quá trình ước lượng
Bảng 2: Bảng giá trị ước lượng năng lực học sinh
¦ STT¦ SBD ¦Năng lực ¦ Sai số chuẩn¦ Đúng/Tổng ¦Điểm quy đổi|
+ + -+ -+ -+ -+ -|
¦ 1¦ 0000004204¦ 0,06114 ¦ 0,33228 ¦ 19/40 ¦ 506,11|
¦ 2¦ 0000004206¦ -1,00712 ¦ 0,35840 ¦ 13/40 ¦ 399,29|
¦ 3¦ 0000004205¦ 0,70245 ¦ 0,33404 ¦ 22/40 ¦ 570,24|
¦ 4¦ 0000004201¦ 0,75495 ¦ 0,33478 ¦ 23/40 ¦ 575,50|
¦ 5¦ 0000004202¦ 1,11315 ¦ 0,34222 ¦ 26/40 ¦ 611,31|
¦ 6¦ 0000004207¦ -1,18283 ¦ 0,36597 ¦ 12/40 ¦ 381,72|
¦ 7¦ 0000004208¦ -1,46916 ¦ 0,38011 ¦ 10/40 ¦ 353,08|
¦ 8¦ 0000004209¦ 0,12916 ¦ 0,33183 ¦ 19/40 ¦ 512,92|
¦ 9¦ 0000004210¦ 0,73595 ¦ 0,33450 ¦ 22/40 ¦ 573,60|
¦ 10 ¦ 0000004211 ¦ 2,02687 ¦ 0,38062 ¦ 29/40 ¦ 702,69|
Dựa vào bảng này ta có thể biết HS đang ở trường nào, lớp nào, năng lực của họ là
bao nhiêu cùng với số câu mà họ trả lời đúng Nhưng quan trọng hơn hết trong bảng này là
điểm quy đổi Từ Bảng 3 có thể rút ra một nhận xét: có những HS đạt điểm thô như nhau
(tức số CH trả lời đúng bằng nhau) nhưng lại có điểm quy đổi khác nhau Lý do là vì mỗi
CH mà các HS đó làm được sẽ cung cấp cùng 1 điểm thô nhưng chúng lại có độ khó khác
nhau Điều nhận xét trên cho thấy rõ điểm thô không đánh giá đúng năng lực của HS Ví
dụ: HS có SBD 04 và 09 trả lời đúng 19/40 nhưng HS 09 có điểm số cao hơn vì năng lực
lớn hơn nghĩa là số câu hỏi đã làm được trong 19 câu này khó hơn 19 câu kia Với lý
thuyết cổ điển thì số điểm bằng nhau
Hình 4: Đồ thị phân bố độ khó và năng lực học sinh
Đồ thị này cho phép bước đầu đánh giá về mức độ phù hợp của đề thi so với năng
lực HS Năng lực HS và độ khó CH được đặt trên cùng thang đo Chỉ số trên mỗi cột màu
xanh là số thứ tự câu hỏi trong đề thi, chỉ số trên mỗi cột màu đỏ là số lượng HS, vị trí của
mỗi cột màu xanh trên trục hoành là độ khó CH, vị trí của mỗi cột màu đỏ trên trục hoành
là năng lực HS Như vậy đồ thị trên ta thấy rằng đề này có độ khó vượt khỏi năng lực của
HS mà cụ thể là: Nếu mức năng lực trung bình là 0 thì độ khó trung bình là 0,378 tức đề
này hơi khó so với năng lực của HS
Hinh 4: Hàm thông tin đề thi-Đường cong sai số chuẩn Mô hình 3 tham số
Trang 6Đường màu đỏ: Đường cong hàm thông tin đề thi Đường đen nhạt: Đường cong sai số chuẩn Đường cong hàm thông tin trên cho thấy đề này có khả năng đo chính xác nhất ở trong khoảng năng lực cao hơn mức trung bình
Hình 5: Sơ đồ bài làm của từng HS (thứ 1)
Sơ đồ bài làm cho phép HS suy nghĩ và đối chiếu những câu hỏi làm được và không làm được, cả những câu khó và dễ, những suy đoán về nguyên nhân thành công hay thất bại của họ Giáo viên cũng có thể dùng sơ đồ này để theo dõi HS, biết được năng lực
và những phần kiến thức HS chưa nắm được trong quá trình nhận thức môn học Nữa mặt phẳng bên trái chỉ các CH mà HS làm đúng, nữa mặt phẳng bên phải chỉ các CH mà HS làm sai, vị trí của mỗi CH xác định độ khó của CH, tăng dần từ dưới lên theo trục thẳng đứng Với bài làm của HS STT 01 có 9 câu dễ, 10 câu khó làm được điều này cần kiểm tra lại, 8 câu dễ và 13 câu khó không làm được điều này phù hợp Sơ đồ này giúp chúng ta thấy được rằng ĐTN có số CH khó nhiều hơn CH dễ và giúp mỗi HS có thể xem lại kết quả, khả năng học tập của mình theo các chủ đề kiến thức ứng với từng CH Ứng với 10/19
CH trả lời đúng thực sự là do HS có được kiến thức đó hay quay cóp, đoán mò và một CH đặt ra cho HS này là nguyên nhân nào mà 10 câu khó làm đúng trong khi 8 câu dễ không làm được Nếu là HS ở trong lớp học mà GV đó dạy thì có thể điều tra, nắm được ngay tình hình học tập của HS để từ đó có kế hoạch hỗ trợ và điều chỉnh kịp thời không chỉ một
em trên mà với tất cả HS mà GV đó giảng dạy
4 Kết luận
Với ví dụ minh hoạ trên có thể kết luận rằng: VITESTA cho phép ước lượng kết quả đạt độ chính xác tương đương nhưng thực hiện nhanh chóng, dễ sử dụng và cung cấp tiện ích hơn nhiều so với 1 số phần mềm hiện nay và dựa trên việc phân tích đánh giá đó lựa chọn các câu CH có độ khó, độ phân biệt và giá trị nội dung đạt yêu cầu để lưu vào
Trang 7NHCH Như vậy, trong 40 câu có một số câu cần phải chỉnh sửa lại như câu 3, 11, 13, 18 còn lại 9 câu ở mức độ nhận biết, 8 câu ở mức độ thông hiểu và 19 câu ở mức độ vận dụng lưu vào ngân hàng CH
Chúng tôi nghĩ cần phải sớm phổ biến kỹ thuật xây dựng câu hỏi trắc nghiệm theo hướng này Nếu ngân hàng câu hỏi đủ lớn, được soạn thảo và phân tích cẩn thận bao trùm toàn bộ chương trình, các bài kiểm tra luôn thay đổi nội dung sẽ tác dụng tốt đến quá trình
tự học, làm giảm sự may rủi, học tủ, học lệch, hạn chế được nạn quay cóp buộc HS phải học từ đầu Từ đó, nó không chỉ giúp cho HS thay đổi phương pháp học một cách tích cực, sáng tạo mà còn giúp giáo viên và nhà quản lý giáo dục có một phương pháp dạy và quản
lý hiệu quả hơn
TÀI LIỆU THAM KHẢO
[1] Lâm Quang Thiệp (2011), Đo lường trong giáo dục, lý thuyết và ứng dụng, Nhà xuất
bản Đại học quốc gia Hà Nội
[2] Lâm Quang Thiệp, Lâm Ngọc Minh, Lê Mạnh Tấn, Vũ Đình Bổng (2007), “Phần
mềm Vitesta và việc phân tích số liệu trắc nghiệm”, Tạp chí giáo dục, số 176,
11/2007
[3] Nguyễn Bảo Hoàng Thanh (2011), Kiểm tra đánh giá trong giáo dục, Nhà xuất bản
Đà Nẵng
[4] Nguyễn Bảo Hoàng Thanh (2008), “Sử dụng phần mềm Quest để phân tích câu hỏi
trắc nghiệm khách quan”, Tạp chí khoa học và công nghệ Đại học Đà Nẵng số
2(25)2008
