Báo cáo Phân tích đề thi và câu hỏi trắc nghiệm môn Vật lý

Báo cáo Phân tích đề thi và câu hỏi trắc nghiệm môn Vật lý MỞ ĐẦU 1. Lý do chọn đề tài 2. Mục đích nghiên cứu 3. Đối tượng nghiên cứu 4. Phạm vi nghiên cứu 5. Câu hỏi nghiên cứu 6. Phương pháp nghiên cứu 7. Bố cục của tiểu luận CHƯƠNG 1. CƠ SỞ LÝ LUẬN PHÂN TÍCH CÂU HỎI THI 9 1.1 Mục đích của việc phân tích câu hỏi thi 9 1.2 Lý thuyết khảo thí cổ điển 9 1.2.1 Độ khó câu hỏi thi 10 1.2.2 Các khả năng nhầm đáp án 11 1.2.3 Chất lượng của các phương án sai (mồi nhử) 12 1.2.4 Độ phân biệt của câu hỏi thi 13 1.2.5 Hệ số tương quan giữa điểm của câu hỏi thi với điểm toàn bài thi (Hệ số tương quan point biserial): 13 1.2.6 Độ tin cậy của đề thi 14 1.2.7 Hạn chế của lý thuyết khảo thí cổ điển: 15 1.3 Lý thuyết khảo thí hiện đại 15 1.4 Mối quan hệ giữa Lý thuyết hồi đáp (IRT) và Lý thuyết đánh giá cổ điển (CCT) 16 CHƯƠNG 2. THU THẬP VÀ XỬ LÝ SỐ LIỆU 18 2.1 Dữ liệu để phân tích 18 2.1.1 Nguồn gốc dữ liệu 18 2.1.2 Quá trình thu thập dữ liệu 18 2.1.3 Xử lý số liệu 18 2.1.4 Làm sạch dữ liệu 19 2.2 Kết quả thi 19 CHƯƠNG 3. PHÂN TÍCH ĐỀ THI BẰNG LÝ THUYẾT KHẢO THÍ CỔ ĐIỂN 20 3.1 Độ khó câu hỏi thi 20 3.2 Các khả năng nhầm đáp án 22 3.3 Chất lượng của các phương án sai (mồi nhử) 23 3.4 Độ phân biệt của câu hỏi thi 25 3.5 Hệ số tương quan giữa điểm câu hỏi thi với toàn bài 27 3.6 Độ tin cậy của đề thi 28 3.7 Kết luận chương 3 28 CHƯƠNG 4. PHÂN TÍCH ĐỀ THI BẰNG LÝ THUYẾT KHẢO THÍ HIỆN ĐẠI 30 4.1 Sự phù hợp của câu hỏi thi 30 4.1.1 Mức độ phù hợp với mô hình: 30 4.1.2 Mức độ phù hợp của các câu hỏi với nhau 31 4.2 Phân bố độ khó câu hỏi thi và năng lực thí sinh 32 4.3 Phân tích câu hỏi theo các tiêu chí 35 4.3.1 Tiêu chí Disc (Độ phân biệt) 35 4.3.3. Tiêu chí hệ số tương quan point biserial 38 4.3.5. Tiêu chí Mean ability 43 4.3.6. Tiêu chí Error 44 4.4.1. Phân tích đơn biến 48 4.4.2. Phân tích nhị biến 51 5. KẾT LUẬN VÀ KIẾN NGHỊ 54 TÀI LIỆU THAM KHẢO 55 PHỤ LỤC 56

ĐẠI HỌC SƯ PHẠM ĐÀ NẴNG

BÁO CÁO

PHÂN TÍCH ĐỀ THI, KẾT QUẢ THI

Họ tên sinh viên: Trần Vĩ Kim Quý Ngành:

Đà Nẵng, tháng 8/2021

MỤC LỤC

MỞ ĐẦU 7

1 Lý do chọn đề tài 7

2 Mục đích nghiên cứu 7

3 Đối tượng nghiên cứu 7

4 Phạm vi nghiên cứu 7

5 Câu hỏi nghiên cứu 8

6 Phương pháp nghiên cứu 8

7 Bố cục của tiểu luận 8

CHƯƠNG 1 CƠ SỞ LÝ LUẬN PHÂN TÍCH CÂU HỎI THI 9

1.1 Mục đích của việc phân tích câu hỏi thi 9

1.2 Lý thuyết khảo thí cổ điển 9

1.2.1 Độ khó câu hỏi thi 10

1.2.2 Các khả năng nhầm đáp án 11

1.2.3 Chất lượng của các phương án sai (mồi nhử) 12

1.2.4 Độ phân biệt của câu hỏi thi 13

1.2.5 Hệ số tương quan giữa điểm của câu hỏi thi với điểm toàn bài thi (Hệ số tương quan point biserial): 13

1.2.6 Độ tin cậy của đề thi 14

1.2.7 Hạn chế của lý thuyết khảo thí cổ điển: 15

1.3 Lý thuyết khảo thí hiện đại 15

1.4 Mối quan hệ giữa Lý thuyết hồi đáp (IRT) và Lý thuyết đánh giá cổ điển (CCT) 16

CHƯƠNG 2 THU THẬP VÀ XỬ LÝ SỐ LIỆU 18

2.1 Dữ liệu để phân tích 18

2.1.1 Nguồn gốc dữ liệu 18

2.1.2 Quá trình thu thập dữ liệu 18

2

2.1.3 Xử lý số liệu 18

2.1.4 Làm sạch dữ liệu 19

2.2 Kết quả thi 19

CHƯƠNG 3 PHÂN TÍCH ĐỀ THI BẰNG LÝ THUYẾT KHẢO THÍ CỔ ĐIỂN 20

3.1 Độ khó câu hỏi thi 20

3.2 Các khả năng nhầm đáp án 22

3.3 Chất lượng của các phương án sai (mồi nhử) 23

3.4 Độ phân biệt của câu hỏi thi 25

3.5 Hệ số tương quan giữa điểm câu hỏi thi với toàn bài 27

3.6 Độ tin cậy của đề thi 28

3.7 Kết luận chương 3 28

CHƯƠNG 4 PHÂN TÍCH ĐỀ THI BẰNG LÝ THUYẾT KHẢO THÍ HIỆN ĐẠI 30

4.1 Sự phù hợp của câu hỏi thi 30

4.1.1 Mức độ phù hợp với mô hình: 30

4.1.2 Mức độ phù hợp của các câu hỏi với nhau 31

4.2 Phân bố độ khó câu hỏi thi và năng lực thí sinh 32

4.3 Phân tích câu hỏi theo các tiêu chí 35

4.3.1 Tiêu chí Disc (Độ phân biệt) 35

4.3.3 Tiêu chí hệ số tương quan point biserial 38

4.3.5 Tiêu chí Mean ability 43

4.3.6 Tiêu chí Error 44

4.4.1 Phân tích đơn biến 48

4.4.2 Phân tích nhị biến 51

5 KẾT LUẬN VÀ KIẾN NGHỊ 54

TÀI LIỆU THAM KHẢO 55

3

PHỤ LỤC 56

Phụ lục 1 Kết quả thi 56

Phụ lục 2 Lệnh tạo tệp dữ liệu nhom3.dat từ SPSS: 57

WRITE OUTFILE='D:\nhom11.dat'/ 57

ID(f4) ID(F4) Câu1 Câu2 Câu3 Câu4 Câu5 Câu6 Câu7 Câu8 Câu9 Câu10 Câu11 Câu12 Câu13 Câu14 Câu15 Câu16 Câu17 Câu18 Câu19 Câu20 57

EXECUTE 57

Phụ lục 3 Nội dung tệp tin điều khiển nhom11.ctl cho chương trình QUEST 57

Header BAI TAP NHOM 3 57

set width =132 ! page 57

set logon >- nhom3.log 57

data_file nhom3.dat 57

codes ABCD 57

format V1 1-4 items (t5,80a1) 57

key ABBCADBCADBCDBCBBAAD ! score=1 57

scale 1-80 !nhom11 57

estimate ! iter=100;scale=nhom11 57

show ! scale=nhom11 >- nhom3.map 57

show cases!scale=nhom11; form=export; delimiter=tab >- 57

nhom11.cas 57

show cases!scale=nhom11 >-nhom3a.cas 57

show items!scale=nhom11 >-nhom3a.itm 57

itanal ! scale=nhom11 >- nhom3.ita 57

quit 57

Phụ lục 4 Nội dung tệp tin điều khiển nhom11.cqc cho chương trình CONQUEST 57

Datafile nhom3.dat; 57

4

format V1 1-4 responses 5-84; 57

key ABBCADBCADBCDBCBBAAD ! 1; 57

Model item; 57

Estimate; 57

Show >> nhom3.shw; 57

Show ! estimates=latent>> nhom3.shw; 58

Itanal >> nhom3.itn; 58

Plot icc ! legend=yes; 58

Plot mcc ! legend=yes; 58

Plot tcc ! legend=yes; 58

Plot iinfo ! legend=yes; 58

Plot tinfo ! legend=yes; 58

Phụ lục 5: Kết quả phân tích đề thi trắc nghiệm bằng QUEST 58

5

DANH MỤC BẢNG BIỂU

Bảng 3.1 - Độ khó câu hỏi thi 20

Bảng 3.2 - Thống kê phân bổ độ khó 21

Bảng 3.3 – Độ chênh lệch giữa nhóm trên và nhóm dưới 23

Bảng 3.4a – Độ phân biệt của các câu hỏi thi 25

Bảng 3.5 – Thống kê phân bổ độ phân biệt 26

Bảng 3.6 – Hệ số tương quan giữa câu hỏi thi với toàn bài 27

Bảng 3.7 – Thống kê hệ số tương quan 27

Bảng 4.1 - Biểu đồ minh hoạ sự phù hợp của các câu hỏi 31

Bảng 4.2 – Bảng tiêu chí Disc (Độ phân biệt) 35

Bảng 4.3 – Bảng tiêu chí tỉ lệ phần trăm 36

Bảng 4.4 – Bảng tiêu chí hệ số tương quan 38

Bảng 4.5 – Bảng tiêu chí ngưỡng để vượt qua Thresholds 38

Bảng 4.6 – Bảng tiêu chí P-value 42

Bảng 4.7 – Bảng tiêu chí Mean ability 43

Bảng 4.8 – Bảng tiêu chí Error 44

Bảng 4.9 – Biểu đồ Stem-and-Leaf Plots - ESTIMATE Stem-and-Leaf Plot 48

Bảng 4.10 – Bảng tóm tắt 5 chỉ số thống kê 50

Bảng 4.11 – Bảng mối tương quan giữa năng lực và điểm thô 51

6

DANH MỤC HÌNH ẢNH

Hình 4.1- Đường cong đặc trưng cho cả bài thi về điểm số 35 Hình 4.2 – Đường cong đặc trưng thông tin của cả bài thi 35

Hình 1.1 - Thống kê hệ số tương quan

Hình 1.2 - Biểu diễn mối tương quan xác suất trả lời đúng câu hỏi 6 và năng lực

Hình 1.5– Đồ thị biểu diễn hàm thông tin câu hỏi số 8

Hình 1.6 - Biểu diễn mối tương quan xác suất trả lời đúng câu hỏi 18 và năng lực

Hình 1.7– Đồ thị biểu diễn hàm thông tin câu hỏi số 18

Hình 4.8 – Đường cong đặc trưng câu hỏi (theo xác suất trả lời từng câu hỏi)

Hình 4.9: Đường cong đặc trưng câu hỏi số 39 (xác suất trả lời đúng và năng lực)

Hình 4.10 : Đồ thị biểu diễn hàm thông tin câu hỏi số 39

Hình 4.11: Đường cong đặc trưng câu hỏi 39 (xác suất lựa chọn các phương án và năng lực)

Hình 4.12 Đường cong thông tin cả đề thi

Hình 4.13 Đường cong thông tin đề thi

Hình 1.14 – Biểu đồ hình hộp – râu của biến năng lực

Hình 1.15 – Biểu đồ mối tương quan giữa năng lực và điểm thô

7

MỞ ĐẦU

1 Lý do chọn đề tài

Hiện nay, vấn đề nâng cao chất lượng giáo dục, đặc biệt là giáo dục đại học, đang thuhút sự quan tâm lớn từ toàn xã hội Mặc dù các cơ sở đào tạo đang phải đối mặt vớinhững hạn chế về nguồn lực, chưa đáp ứng kịp thời sự mở rộng quy mô và đa dạng hoácác loại hình đào tạo, nhưng việc đảm bảo chất lượng giảng dạy vẫn là một vấn đề cấpthiết cần chú trọng

Một yếu tố quan trọng trong việc nâng cao chất lượng giáo dục đại học chính là đổi mớiphương pháp giảng dạy, đặc biệt là cải tiến cách thức kiểm tra và đánh giá kết quả họctập của sinh viên Hoạt động kiểm tra đánh giá đóng vai trò không thể thiếu trong quátrình giảng dạy và học tập, giúp xác định mức độ nhận thức, kỹ năng của người học,đồng thời phát hiện những lỗ hổng kiến thức để từ đó giáo viên và sinh viên có thể điềuchỉnh phương pháp giảng dạy và học tập sao cho hiệu quả hơn

Nhằm hướng tới một hệ thống đánh giá công bằng và khách quan hơn, bên cạnh việc sửdụng phương pháp quan sát và vấn đáp truyền thống, các hình thức đánh giá khác cũngđược bổ sung, chẳng hạn như việc áp dụng câu hỏi trắc nghiệm khách quan Ngoài ra,phương pháp đánh giá còn chú trọng hơn đến quá trình tiếp thu kiến thức của sinh viên

và thúc đẩy sự chủ động trong học tập Hiện nay, nhiều trường đại học đang khuyếnkhích sử dụng ngân hàng câu hỏi và tổ chức thi trắc nghiệm khách quan Tuy nhiên,phần lớn các câu hỏi trắc nghiệm hiện nay do giảng viên tự biên soạn vẫn chưa tuân theoquy trình chuẩn, đặc biệt là thiếu sự phân tích, đánh giá sau khi sử dụng Chính điều này

đã ảnh hưởng đến chất lượng đề thi và kiểm tra

Trước thực trạng đó, tiểu luận “Phân tích đề thi và câu hỏi trắc nghiệm môn Vật lý”được thực hiện với mục tiêu đánh giá chất lượng đề thi hiện tại, đồng thời đưa ra các đềxuất cải tiến nhằm nâng cao hiệu quả kiểm tra trong những kỳ thi sắp tới

8

2 Mục đích nghiên cứu

Tiểu luận này nhằm vận dụng lý thuyết về khảo thí cổ điển và hiện đại nhằm đánh giáchất lượng câu hỏi thi cũng như năng lực của thí sinh tham gia kỳ thi Từ đó đưa ra các đềxuất và kiến nghị cho phù hợp

3 Đối tượng nghiên cứu

Đối tượng của việc phân tích câu hỏi thi bao gồm đề thi (một cách tổng thể), từng câuhỏi và các phương án của câu hỏi cấu thành đề thi

4 Phạm vi nghiên cứu

Phân tích đề thi kiểm tra 15 phút môn vật lý cơ bản gồm 20 câu hỏi trắc nghiệm của họcsinh lớp 10, năm học 2024 - 2025 tại trường THPT Cẩm Lệ

5 Câu hỏi nghiên cứu

- Đề thi có phù hợp với năng lực của nhóm thí sinh dự thi hay không? Nếu chưa phùhợp thì cần điều chỉnh như thế nào?

- Có câu hỏi nào trong đề không đạt chất lượng và cần chỉnh sửa hay loại bỏ không?

6. Phương pháp nghiên cứu

- Phương pháp nghiên cứu tài liệu về lý thuyết khảo thí cổ điển và hiện đại

- Phương pháp thống kê toán học:

o Sử dụng phần mềm SPSS phân tích số liệu thống kê

o Sử dụng phần mềm chuyên dụng Quest, ConQuest để phân tích câu hỏi thi.Nền tảng của phần mềm Quest và Conquest là dựa trên mô hình Rasch của lýthuyết ứng đáp (IRT)…

7. Bố cục của tiểu luận

Gồm 5 chương:

- Chương 1: Cơ sở lý luận của phân tích câu hỏi thi

- Chương 2: Thu thập và xử lý số liệu

- Chương 3: Phân tích đề thi bằng lý thuyết khảo thí cổ điển

- Chương 4: Phân tích đề thi bằng lý thuyết khảo thí hiện đại

- Chương 5: Kết luận

9

CHƯƠNG 1 CƠ SỞ LÝ LUẬN PHÂN TÍCH CÂU HỎI THI 1.1 Mục đích của việc phân tích câu hỏi thi

- Mục tiêu dài hạn: Cải thiện chất lượng công tác đo lường và đánh giá, gópphần nâng cao hiệu quả giáo dục

- Mục tiêu ngắn hạn: Hoàn thiện quy trình xây dựng đề thi trắc nghiệm kháchquan, đảm bảo độ tin cậy và tính chính xác trong các kỳ thi có quy mô lớn

Để thực hiện việc phân tích đề thi và câu hỏi thi, hiện nay trong đo lường giáo dụchai hệ lý thuyết đánh giá cơ bản dưới đây đang được sử dụng:

- Lý thuyết khảo thí cổ điển (Classical Test Theory - CTT): Được xây dựng dựa

trên các nguyên lý thống kê truyền thống, lý thuyết này tập trung vào việc đánh giámức độ tin cậy của bài kiểm tra dựa trên tổng điểm của người học

- Lý thuyết khảo thí hiện đại (Modern Test Theory - MTT): MTT, bao gồm Lý

thuyết ứng đáp câu hỏi (Item Response Theory - IRT), cung cấp cách tiếp cận tiêntiến hơn, giúp phân tích từng câu hỏi riêng lẻ và đo lường khả năng của người họcmột cách chính xác hơn

1.2 Lý thuyết khảo thí cổ điển

Theo Lý thuyết khảo thí cổ điển (Classical Test Theory - CTT), chất lượng của câu hỏi thi

và đề thi được đánh giá thông qua nhiều thông số quan trọng, bao gồm:

- Độ khó của câu hỏi thi: Xác định mức độ dễ hoặc khó của câu hỏi dựa trên tỷ lệ sốngười trả lời đúng

- Các khả năng nhầm đáp án: Đánh giá mức độ gây nhiễu của các phương án sai, nhằmkiểm tra mức độ hiểu sâu sắc của người học

- Chất lượng của các phương án sai (mồi nhử): Các đáp án sai phải đủ hấp dẫn để đánhgiá khả năng phân tích và suy luận của thí sinh, nhưng không gây hiểu lầm

- Độ phân biệt của câu hỏi thi: Đánh giá khả năng phân loại được thí sinh có mức độhiểu biết khác nhau, tức là mức độ phân biệt giữa người giỏi và người yếu

10

- Hệ số tương quan giữa điểm của câu hỏi với điểm toàn bài: Xác định mức độ đónggóp của từng câu hỏi vào điểm tổng thể của bài thi, giúp đánh giá mức độ phù hợpcủa câu hỏi trong đề thi.

- Độ tin cậy của đề thi: Đánh giá mức độ ổn định và nhất quán của đề thi khi được sử dụng nhiều lần

1.2.1 Độ khó câu hỏi thi

Độ khó của câu hỏi thi (P) là một chỉ số quan trọng trong việc đánh giá chất lượng câu hỏi trắc nghiệm, đặc biệt là với các dạng câu hỏi đúng/sai hoặc đa lựa chọn Chỉ số này được tính bằng tỷ lệ thí sinh trả lời đúng trên tổng số thí sinh tham gia trả lời câu hỏi

Tuy nhiên, mức độ khó của một câu hỏi không phải lúc nào cũng phù hợp với tất cả thí sinh.Một câu hỏi có thể quá dễ đối với một nhóm thí sinh có năng lực cao nhưng lại quá khó đối với một nhóm khác có nền tảng kiến thức hạn chế Vì thế, người thiết kế câu hỏi cần quan tâm đến giới hạn độ khó thích hợp đối với từng nhóm thí sinh

Theo Osterlind (1989), trong môi trường lớp học, chỉ số độ khó P nên nằm trong khoảng từ 0.40 đến 0.80:

- Nếu P < 0.40, câu hỏi được coi là quá khó, gây trở ngại cho phần lớn thí sinh

- Nếu P > 0.80, câu hỏi quá dễ, không đủ khả năng phân loại thí sinh dựa trên năng lực

- Khoảng 0.40 - 0.80 là mức độ phù hợp giúp đánh giá khách quan khả năng của thí sinh

Trong các kỳ thi có quy mô lớn, có thể chấp nhận một số câu hỏi quá dễ hoặc quá khó nhằmđảm bảo thang đo đủ rộng để phản ánh chính xác năng lực của tất cả các thí sinh

Cách tính độ khó câu hỏi bằng Excel

11

Để tính độ khó (P) của từng câu hỏi, có thể sử dụng Excel để thống kê tần suất lựa chọn từng phương án bằng hàm COUNTIF:

- COUNTIF(range, criteria): Hàm này giúp đếm số lượng thí sinh chọn phương án A,

B, C, D trong tổng số thí sinh tham gia bài thi

Độ khó được xác định bằng tỉ số giữa số TS trả lời đúng câu hỏi và tổng số TS dự thi

12

1.2.2 Các khả năng nhầm đáp án

Một thuộc tính bổ ích khác của P là giúp xác định những câu hỏi bị nhầm đáp án.

Những câu hỏi thi bị nhầm đáp án thường bị phát hiện khi người soạn câu hỏi thi xem bảng

P và thấy có sự khác biệt lớn giữa dự định và thực tế trả lời của thí sinh Độ khó P đưa ra

một thông tin nhắc người soạn câu hỏi thi xem lại có phải nhầm đáp án không

Trong ví dụ trên, câu 6 đáp án đúng là A nhưng tỉ lệ HS lựa chọn phương án B lại caohơn nhiều so với phương án D Và ở câu hỏi này, độ khó câu hỏi rất thấp (thấp hơn 0.4)chứng tỏ số TS lựa chọn đúng phương án rất thấp Điều này có thể nhắc người soạn kiểm tralại cách diễn đạt hay đáp án để kiểm chứng lí do trong câu hỏi này TS lựa chọn đúngphương án là do câu hỏi quá khó so với trình độ HS hay là do nhầm đáp án

1.2.3 Chất lượng của các phương án sai (mồi nhử)

Trong thiết kế đề thi trắc nghiệm, số lượng phương án sai (mồi nhử) nên là 3 để đảmbảo tính cân bằng trong việc đánh giá năng lực thí sinh Nếu số lượng phương án sai quá ít,thí sinh có thể dễ dàng đoán đúng đáp án Ngược lại, nếu có quá nhiều phương án sai, câuhỏi có thể trở nên rối rắm và mất đi tính hiệu quả trong việc phân loại thí sinh

 Đặc điểm của phương án sai (mồi nhử) chất lượng

- Xác suất lựa chọn giữa các phương án sai phải tương đối đồng đều Nếu một phương

án bị bỏ qua hoàn toàn hoặc chỉ có rất ít thí sinh chọn, chứng tỏ phương án đó quá dễnhận diện, làm tăng khả năng đoán đúng của thí sinh

- Phương án sai có sức hút cao—nếu nhiều thí sinh chọn một đáp án sai, điều đó chothấy câu hỏi có khả năng phân loại được trình độ thí sinh Tuy nhiên, nếu phương ánsai quá đánh lừa thí sinh mà không phản ánh chính xác năng lực thực sự, thì cầnchỉnh sửa để đảm bảo công bằng

13

- Tính phù hợp với từng nhóm thí sinh khác nhau Một phương án sai có thể hiệu quảđối với nhóm thí sinh giỏi ở đô thị nhưng lại không phù hợp với các nhóm thí sinh ởkhu vực có điều kiện học tập khó khăn Do đó, việc thiết kế phương án sai phải tínhđến sự đa dạng về trình độ.

 Phương pháp thống kê và đánh giá hiệu quả của phương án sai

- So sánh lựa chọn giữa nhóm trên (27% số thí sinh có điểm cao nhất - Gt) vớinhóm dưới (27% số thí sinh có điểm thấp nhất - Gd) hoặc chia thành 5 nhómđiểm bằng nhau theo thứ tự kết quả bài thi

- Phân tích số liệu thống kê sẽ giúp đánh giá mức độ hiệu quả của phương án saikhi áp dụng vào các kỳ thi có quy mô lớn, từ đó có cơ sở để điều chỉnh câu hỏinhằm đảm bảo độ tin cậy và tính chính xác của đề thi

1.2.4 Độ phân biệt của câu hỏi thi

Độ phân biệt của câu hỏi thi là mức độ khác nhau về kết quả trả lời giữa hai nhómtrên và dưới khi làm bài thi

Độ phân biệt của câu hỏi thi i là tỷ lệ phần trăm giữa sự khác nhau về kết quả trả lời

của hai nhóm so với sự khác nhau tối đa có thể xẩy ra giữa hai nhóm (Gt – Gd), tức là khi

một nhóm có g học sinh trả lời đúng và nhóm kia không có học sinh nào trả lời đúng (g-0).

Độ phân biệt của câu hỏi thi i =

Câu hỏi quá khó hoặc quá dễ không thể có độ phân biệt tốt Câu hỏi có chỉ số phân biệt nhỏ hơn hoặc bằng 0 cần bị loại bỏ Ebel (1956) đề xuất rằng các câu hỏi của bài test

trong lớp học nên có chỉ số phân biệt bằng 0,30 hoặc cao hơn Một số tác giả khác cho rằng

độ phân biệt nên nằm trong khoảng 0,25-0,75 Tuy nhiên, trong các kỳ thi có quy mô lớn,việc sử dụng một số câu hỏi thi quá dễ hoặc quá khó sẽ dẫn đến độ phân biệt của câu hỏi thi

có thế có giá trị quá thấp hoặc quá cao Điều đó có thể thấp nhận được

14

1.2.5 Hệ số tương quan giữa điểm của câu hỏi thi với điểm toàn bài thi (Hệ số tương

quan point biserial):

Giữa kết quả điểm của từng câu hỏi thi với điểm chung của toàn bài thi phải có mốitương quan dương Việc này có thể kiểm tra dễ dàng bằng các hàm trong Excel hoặc SPSShoặc tính theo công thức dưới đây:

Trong đó, = Trung bình cộng của điểm của người trả lời được câu hỏi i đang xem xét mối

tương quan với bài test

= Trung bình cộng điểm (của toàn bài)

p i = Mức độ khó của câu hỏi

q i = 1 – p i

σ c = Độ lệch chuẩn của điểm cả bài test

Mối tương quan chặt chẽ giữa câu hỏi thi và toàn bài thi góp phần làm tăng độ tin cậycủa bài test Cần giữ lại những câu hỏi thi có mối tương quan cao và loại bỏ những câu hỏi

có mối tương quan thấp hoặc dưới 0 để làm tăng độ tin cậy của đề thi

1.2.6 Độ tin cậy của đề thi

Độ tin cậy của đề thi thể hiện được được tính theo nhiều công thức khác nhau Tuynhiên, độ tin cậy được xác định dựa trên tính ổn định bên trong của đề thi thường được sửdụng Đề thi được đánh giá tốt khi có độ tin cậy lớn hơn hoặc bằng 0.8

(a) Công thức phân đôi

trong đó, r là độ tin cậy của nửa bài test.

(b) Công thức dự báo của Spearman – Brown

trong đó, r là độ tin cậy của bài test

 là độ tin cậy của bài test được kéo dài k lần

(c) Công thức Kuder – Richardson: (với những câu hỏi đúng/sai, đa lựa chọn)

K-R 20

15

trong đó, p i là tỷ lệ số thí sinh trả lời đúng câu hỏi i

là phương sai chung của cả bài test

n là số câu hỏi của bài test

K-R 21

trong đó, là trung bình cộng của cả bài test

là phương sai chung của cả bài test

n là số câu hỏi của bài test

(d) Hệ số  Crombach

trong đó, là phương sai của kết quả trả lời câu hỏi i

là phương sai chung của kết quả cả bài test

n là số câu hỏi trong bài test

1.2.7 Hạn chế của lý thuyết khảo thí cổ điển:

- Điểm thực phụ thuộc vào độ khó của các câu hỏi trong bài kiểm tra 15 phút

- Chưa đề cập đến độ tin cậy của bài test, chưa mô tả bài test một cách tổng thể, mức

độ bài test đo từng thí sinh như thế nào

- Chưa đề cập đến độ khó của câu hỏi được thể hiện qua việc trả lời của thí sinh nhưthế nào

Từ những hạn chế trên, các nhà nghiên cứu về đo lường trong tâm lý và giáo dục đã cố gắngxây dựng lý thuyết khảo thí hiện đại để khắc phục các tồn tại đang gặp phải ở lý thuyết khảothí cổ điển

16

1.3 Lý thuyết khảo thí hiện đại

Từ sau thập niên 70 đến nay, lý thuyết phân tích câu hỏi trắc nghiệm hiện đại ra đờidựa trên mô hình toán học, đòi hỏi nhiều tính toán, nhưng nhờ sự tiến bộ của công nghệ tínhtoán bằng máy tính điện tử trong mấy thập niên qua nên đã phát triển nhanh chóng và đạtđược những thành tựu quan trọng Cốt lõi của lý thuyết khảo thí hiện đại là “Lý thuyết đápứng câu hỏi” (Item Response Theory –IRT) (Lâm Quang Thiệp, 2012)

IRT dựa trên hai giả thuyết

- Sự đáp ứng của một thí sinh đối với một câu hỏi có thể được tiên đoán bằng năng lựctiềm ẩn của thí sinh

- Quan hệ giữa sự đáp ứng câu hỏi của Thí sinh và năng lực tiềm ẩn làm cơ sở cho sựđáp ứng đó có thể mô tả bằng một hàm “Đặc trưng câu hỏi” đồng biến

Để xây dựng một mô hình toán diễn tả một mối quan hệ phải xuất phát từ một tiền đềnào đó Nhà toán học Đan Mạch, George Rasch đã xây dựng được một mô hình hàm đặctrưng câu hỏi đơn giản nhất nhưng đến nay vẫn được sử dụng nhiều nhất trong công nghệ đolường giáo dục

Thuyết đáp ứng câu hỏi của Rasch mô hình hóa mối quan hệ giữa mức độ khả năngcủa người làm trắc nghiệm và đáp ứng của người ấy với câu trắc nghiệm Mỗi câu trắcnghiệm được mô tả bằng một thông số (độ khó) ký hiệu là  và mỗi người làm trắc nghiệm

được mô tả bằng một thông số (khả năng) ký hiệu là  Mỗi khi một người cố gắng trả lời

một câu hỏi, các thông số độ khó và khả năng tác động lẫn nhau, để cho một xác suất đápứng của người làm trắc nghiệm ấy Dạng toán học của mô hình này là:

P( )1exp(exp(  ) )Trông đó P( ) là xác suất để thí sinh n có năng lực  trả lời ĐÚNG câu hỏi có độ khó .

Xác suất trả lời đúng một câu hỏi được biểu thị bằng một hàm số liên quan đến năng lực củathí sinh  (thể hiện dưới một hàm số logarit tự nhiên) Xác suất đó là hàm P() – một đườngcong đặc trưng của câu hỏi (Item Characteristic Curves - ICC)

17

1.4 Mối quan hệ giữa Lý thuyết hồi đáp (IRT) và Lý thuyết đánh giá cổ điển (CCT)

Đại lượng

cần đo

Lý thuyết cổ điển Lý thuyết hồi đáp Ghi chú

Năng lực Điểm thực t Tham biến năng lực



Độ khó Mức độ khó Tham biến độ khó 

Độ phân biệt Point biserial Tham biến phân biệt

Độ chính xác Phương sai của sai số

độ tin cậy, var(x|t)

Sai số chuẩn

18

CHƯƠNG 2 THU THẬP VÀ XỬ LÝ SỐ LIỆU 2.1 Dữ liệu để phân tích

2.1.1 Nguồn gốc dữ liệu

Bộ dữ liệu được sử dụng phân tích được cung cấp từ giảng viên với 20 câu hỏi trắcnghiệm (dưới dạng 4 phương án lựa chọn) với 330 thí sinh tham gia

2.1.2 Quá trình thu thập dữ liệu

- Sau khi thi xong, Phòng khảo thí và đảm bảo chất lượng của trường tiến hành thunhận bài thi Gởi đến các giáo viên thực hiện khâu chấm thi

- Sau đó đã có kết quả chấm thi, tiến hành phân loại chọn lọc lấy tất cả các bài làm củasinh viên thuộc mã đề 247 (là một trong 6 mã đề ra thi)

2.1.3 Xử lý số liệu

2.1.3.1Xử lý dữ liệu thô bằng phần mềm Excel

- Kết quả bài thi được nhập vào chương trình excel và lưu lại với tên DU LIEUNHOM 3.xlsx Cấu trúc của file excel này gồm có 83 cột tương ứng với các cột lưu

thông tin của Số thứ tự bài làm sinh viên, phương án trả lời của 20 câu hỏi cho từng học sinh, số câu trả lời đúng của mỗi sinh viên và điểm số đạt được của từng bài thi.

Mỗi dòng trong file excel tương ứng với phương án trả lời 1 thí sinh

2.1.3.2Xử lý dữ liệu bằng phần mềm thống kê SPSS

- Tệp dữ liệu được chuyển vào chương trình SPSS từ tệp DIEMTHO.xlsx đã nhập từ trước và lưu lại với tên là DIEMTHO.sav

- Cấu trúc các thang đo trong tệp dữ liệu SPSS bao gồm:

o Biến đầu tiên là: Số thứ tự sinh viên

o 80 biến tiếp theo là: Câu 1, Câu 2, Câu3, Câu 4, Câu 5, Câu 6, Câu 7, Câu 8, Câu

9, Câu 10, Câu 11, Câu 12, Câu 13, Câu 14, Câu 15, Câu 16, Câu 17, Câu 18, Câu 19, Câu 20 Đây là các biến ghi lại các câu trả lời của học sinh khi làm bài

kiểm tra ứng với 20 câu hỏi trắc nghiệm, sử dụng thang đo định danh (nominal).Mỗi biến ghi kết quả trả lời của học sinh nhận các giá trị tương ứng với các

19

phương án lựa chọn trong câu trắc nghiệm (A, B, C, D), giá trị F để chỉ dữ liệu bị

bỏ sót hoặc không hợp lệ

o Biến DiemTho: lưu thông tin về điểm số đã được quy đổi sang thang điểm 10

(theo quy định chung của trường), sử dụng thang đo định khoảng (scale)

o Biến Khoa : lưu thông tin Khoa mà sinh viên đang học, sử dụng thang đo định

danh (nominal)

o Biến NangLuc: lưu thông tin về năng lực của thí sinh, sử dụng thang đo định

khoảng (scale)

o Biến Chuyencan chứa thông tin của điểm chuyên cần của sinh viên được đánh giá

thông qua sự chuyên cần học tập, phát biểu xây dựng bài của giáo viên sau mỗibuổi học Biến này ta sử dụng thang đo định khoảng (scale)

2.1.4 Làm sạch dữ liệu

- Nhằm mục đích tránh kiểm tra lại các sai sót trong quá trình thực hiện chấm bằngmáy, tác giả cũng tiến hành rà sót và chỉnh sửa các phương án trả lời bị lỗi do quátrình nhập kết quả trả lời vào Excel gây ra

- Sau đó chuyển các bảng phương án trả lời bằng tệp tin Excel này vào SPSS và sử

dụng công cụ phân tích tần số (Analyze/Description Statistics/Frequencies…) để

kiểm tra lại một lần nữa về tính hợp lệ của dữ liệu.

2.2 Kết quả thi

Kết quả thu được từ kỳ thi như sau:

- Tổng số thí sinh: 330

- Điểm trung bình của các thí sinh: 2.51 điểm

- Có 1 thí sinh nào bị điểm 0

- Điểm thấp nhất thí sinh đạt được là: 0 điểm

- Điểm cao nhất thi sinh đạt được là 6 điểm

- 25% thí sinh đạt 2 điểm trở xuống

- 50% thí sinh đạt 2.5 điểm trở xuống

- 75% thí sinh đạt 3 điểm trở xuống

(Chi tiết kết quả thi của các thí sinh được trình bày trong Phụ lục 1)

20

CHƯƠNG 3 PHÂN TÍCH ĐỀ THI BẰNG LÝ THUYẾT

KHẢO THÍ CỔ ĐIỂN 3.1 Độ khó câu hỏi thi

Độ khó của câu hỏi thi (P) là tỷ lệ thí sinh trả lời đúng so với tổng số thí sinh tham gia trả lời câu hỏi đó Kết quả phân tích số liệu được thể hiện ở bảng thống kê dưới đây:

Bảng 3.1 - Độ khó câu hỏi thi

Số liệu trích từ tệp tin Excel NHOM11_BAI TAP 1_ CHUYEN DE KTDG.xlsx, Sheet: Answer

Câu hỏi A B C D Missing Tổng Độ khó

Đáp án

án khác

6

Chỉnh sửa nội dung phương án đúng để đánh giá mức độ hiểu và vận dụng của HS thay vì chỉ ghi nhớ để chọn đáp án

Phương án

nhiễu quá rõ

Tỉ lệ HS chọn phương án nhiễu rất thấp so với các phương án còn

lại

18, 15, 6

Chỉnh sửa các phương án nhiễu (mồi nhử), tránh trường hợp phương án nhiễu quá lộ nên ít HS

Đối với câu hỏi trắc nghiệm 4 lựa chọn thì độ khó trung bình được xác định:

Nhận xét: Đề thi có quá nhiều câu hỏi khó và thiếu các câu dễ Cần tăng cường, bổsung các câu dễ mới đánh giá được năng lực của học sinh Các câu 1, 2, 3, 4, 5, 6, 8, 9, 10,

11, 12, 13, 15, 16, 17, 18, 19, 20 có độ khó < 0.4 cần được điều chỉnh trước khi chọn vàongân hàng câu hỏi vì là những câu này quá khó

Note: Trong phần này tôi sử dụng lệnh COUNTIF để thống kê phân bổ độ khó, lệnhAVERAGE để tính độ khó trung bình, lệnh MIN MAX để tìm dải độ khó của câu hỏi và lọcFILTER để xác định các câu hỏi có độ khó nhỏ hơn 0.4

3.2 Các khả năng nhầm đáp án

Nhầm đáp án là trường hợp đa số thí sinh tham gia làm bài chọn phương án khác vớiđáp án Trường hợp nhầm đáp án có thể xảy ra bởi các nguyên nhân: có thể do người viếtcâu hỏi có sự nhầm lẫn, cũng có thể do phần lớn thí sinh tham gia làm bài hiểu sai câu hỏihoặc được dạy sai kiến thức, cũng có thể do câu hỏi quá khó khiến thí sinh đoán mò vàtrùng hợp là phần đông thí sinh đoán mò trùng một phương án (trường hợp này xác xuất xảy

3.3 Chất lượng của các phương án sai (mồi nhử)

Phương án sai hay gọi là mồi nhử là các phương án ngoài đáp án Mồi nhử tốt là mồi

nhử có tỷ lệ lựa chọn gần với tỷ lệ mong muốn được tính theo công thức:

i = (1 – P)/(k – 1) x 100%

Trong đó: P là độ khó của câu hỏi; k là số phương án trả lời

Bảng 3.1 cho thấy đa số các câu hỏi đều có cách phương án sai (mồi nhử) khá tốt,

tuy nhiên còn có một số phương án mồi nhử quá lộ liễu nên chỉ một số ít học sinh lựa chọn

Phương án

nhiễu quá rõ

Tỉ lệ HS chọn phương án nhiễu rất thấp so với các phương án còn

lại

18, 15, 6

Chỉnh sửa các phương án nhiễu (mồi nhử), tránh trường hợp phương án nhiễu quá lộ nên ít HS

chọn

Tỷ lệ bỏ sót là 6/80 câu và các câu bị bỏ sót được phân bố khá đồng đều trong phạm vi 80

câu hỏi của đề thi

Tỉ lệ bỏ sót cao Tỉ lệ HS không chọn đáp án cao 4, 7, 14 Tỉ lệ bỏ sót các câu cuối

cao

Các phương án sai (mồi nhử) có thể rất tốt đối với nhóm thí sinh có năng lực cao

nhưng có thể không hiệu quả để đánh giá các thí sinh yếu ở những vùng còn có nhiều khó

khăn Các phương án sai được so sánh giữa nhóm trên (27% số thí sinh có kết quả điểm toàn

bài thi cao nhất, nhóm trên) với nhóm dưới (27% số thí sinh có kết quả điểm toàn bài thi

thấp nhất, nhóm dưới), được sắp xếp theo thứ tự của kết quả điểm toàn bài thi Số liệu thống

kê sẽ cho thấy tính hiệu quả của các phương án sai (mồi nhử) khi áp dụng trong các kỳ thi

có quy mô lớn

Bảng 3.3 – Độ chênh lệch giữa nhóm trên và nhóm dưới

Số liệu trích từ tệp tin Excel NHOM11_BAI TAP 1_ CHUYEN DE KTDG.xlsx, Sheet: Sosanh nhom

Câu hỏi Độ

khó

Nhóm trên

Nhóm dưới

Chênh lệch

Nhóm trên

Nhóm dưới

Chênh lệch

Nhóm trên

Nhóm dưới

Chênh lệch

Nhóm trên

Nhóm dưới

Chênh lệch Câu 1 0.22 0.29 0.12 0.17 0.22 0.27 -0.05 0.27 0.39 -0.12 0.22 0.22 0.00 Câu 2 0.30 0.11 0.22 -0.11 0.46 0.18 0.27 0.16 0.23 -0.07 0.27 0.37 -0.10 Câu 3 0.37 0.10 0.23 -0.13 0.65 0.14 0.51 0.11 0.49 -0.38 0.14 0.14 0.00

24

Câu 4 0.27 0.16 0.60 -0.43 0.13 0.23 -0.10 0.50 0.05 0.45 0.21 0.11 0.10 Câu 5 0.24 0.40 0.10 0.30 0.12 0.12 0.00 0.23 0.60 -0.37 0.25 0.18 0.07 Câu 6 0.09 0.13 0.09 0.04 0.45 0.80 -0.36 0.21 0.10 0.11 0.22 0.01 0.21 Câu 7 0.49 0.32 0.16 0.15 0.50 0.41 0.09 0.14 0.37 -0.23 0.04 0.04 0.00 Câu 8 0.24 0.27 0.61 -0.34 0.14 0.13 0.01 0.38 0.08 0.30 0.21 0.18 0.02 Câu 9 0.42 0.58 0.30 0.28 0.15 0.22 -0.07 0.14 0.29 -0.14 0.13 0.19 -0.06 Câu 10 0.20 0.17 0.20 -0.02 0.23 0.50 -0.27 0.24 0.21 0.03 0.36 0.10 0.26 Câu 11 0.26 0.14 0.15 -0.01 0.48 0.44 0.03 0.24 0.40 -0.16 0.14 0.00 0.14 Câu 12 0.17 0.16 0.08 0.09 0.22 0.43 -0.22 0.30 0.11 0.20 0.32 0.38 -0.07 Câu 13 0.22 0.17 0.17 0.00 0.32 0.55 -0.24 0.20 0.11 0.09 0.32 0.16 0.15 Câu 14 0.41 0.23 0.49 -0.26 0.53 0.22 0.32 0.16 0.10 0.07 0.08 0.18 -0.11 Câu 15 0.09 0.13 0.16 -0.03 0.50 0.52 -0.02 0.16 0.00 0.16 0.21 0.32 -0.11 Câu 16 0.27 0.16 0.37 -0.21 0.37 0.16 0.21 0.34 0.40 -0.07 0.13 0.07 0.07 Câu 17 0.14 0.42 0.54 -0.12 0.24 0.07 0.17 0.09 0.15 -0.07 0.25 0.24 0.01 Câu 18 0.09 0.14 0.04 0.10 0.22 0.15 0.07 0.45 0.38 0.07 0.20 0.42 -0.23 Câu 19 0.26 0.30 0.12 0.18 0.11 0.14 -0.03 0.39 0.47 -0.08 0.20 0.27 -0.08 Câu 20 0.31 0.11 0.39 -0.28 0.30 0.34 -0.03 0.11 0.09 0.02 0.48 0.18 0.29

Từ Bảng 3.3 cho thấy về mặt “độ lệch” (tức là chênh lệch giữa tỷ lệ lựa chọn của

nhóm trên và nhóm dưới) hầu hết các phương án của các câu hỏi trong đề thi cho thấy khả

năng phân biệt tương đối tốt Phần lớn các đáp án có giá trị “độ lệch” vượt qua ngưỡng 0.02,

góp phần giúp nhận diện được sự khác biệt giữa thí sinh có năng lực cao và thấp

Tuy nhiên, cũng có một số trường hợp cần được xem xét lại nhằm đảm bảo các

phương án sai thực sự có tác dụng loại trừ đối với nhóm thí sinh yếu hơn

Cụ thể một số câu cần lưu ý:

- Câu 1: – Với giá trị “độ lệch” của các phương án, phương án D có giá trị bằng

0.00 Điều này cho thấy, dù các phương án A, B, C có độ lệch tương đối tốt(với các giá trị tuyệt đối cao hơn 0.02), phương án D không có sự khác biệtgiữa tỷ lệ trả lời của nhóm trên và nhóm dưới Tình trạng này gợi ý rằngphương án D không đủ “mẫn cảm” để phân biệt được năng lực của thí sinh,nên cần xem xét lại cách xây dựng phương án này

- Câu 6: – Mặc dù các phương án khác có “độ lệch” nằm ngoài ngưỡng nghiêm

ngặt, nhưng ở Câu 6, phương án C chỉ có độ lệch bằng 0.01 (<0.02) Điều này

25

cho thấy sự lựa chọn của phương án C gần như không có sự khác biệt giữa hainhóm, từ đó tác động tiêu cực đến hiệu quả phân biệt của đề thi.

- Câu 11: – Tương tự, phương án C của Câu 11 có “độ lệch” bằng 0.00 Khimột đáp án sai không thể tạo ra sự khác biệt rõ rệt giữa nhóm năng lực khácnhau, thì giá trị này phản ánh sự không hiệu quả trong chiến lược soạn đề tạichỗ

- Câu 8: – Ở Câu 8, phương án D cho thấy “độ lệch” bằng đúng 0.02 Nếu ápdụng tiêu chí chặt chẽ rằng chỉ những đáp án có độ lệch lớn hơn 0.02 mớiđược xem là đạt hiệu quả, thì phương án D cũng nên được cân nhắc kỹ lưỡng.Nhìn chung, bảng số liệu cho thấy rằng đa số các đáp án trong đề thi có khả năngphân biệt tốt (với “độ lệch” vượt quá ngưỡng 0.02), giúp làm nổi bật sự khác biệt giữa thísinh có năng lực khác nhau Tuy nhiên, việc tồn tại một số phương án (như Câu 1 (D), Câu

6 (C) và Câu 11 (C); Câu 8 (D) nếu xem tiêu chí một cách nghiêm ngặt) có “độ lệch” khôngđạt yêu cầu đòi hỏi cần có sự xem xét lại trong khâu soạn đề Điều chỉnh này nhằm đảm bảorằng tất cả các lựa chọn sai đều có tác dụng đủ rõ ràng để phân biệt năng lực của thí sinh, từ

đó nâng cao tính khả thi và công bằng của bài kiểm tra

Ý kiến: Đề thi vẫn còn có 1 số câu hỏi có chất lượng các phương án sai (hay mồi nhử) không

cao vì cả học sinh kém và học sinh giỏi đều có tỷ lệ trả lời sai gần nhau Đề nghị xem xétchỉnh sửa lại các phương án sai của các câu hỏi nêu ở trên

3.4 Độ phân biệt của câu hỏi thi

Độ phân biệt của câu hỏi thi là mức độ khác nhau về kết quả trả lời giữa hai nhóm trên

và dưới khi làm bài thi

Bảng 3.4a – Độ phân biệt của các câu hỏi thi

Số liệu trích từ tệp tin Excel NHOM11_BAI TAP 1_ CHUYEN DE KTDG.xlsx, Sheet: dophanbiet

Câu hỏi

Nhóm trên

Nhóm dưới Tổng

Độ phân biệt Câu 1 27 11 92 0.173913

Câu 2 42 17 92 0.271739

Câu 3 60 13 92 0.51087

Câu 4 46 5 92 0.445652

26

Bảng 3.4b – Bảng tiêu chí Disc (Độ phân biệt)

Số liệu trích từ kết quả thông số các câu hỏi thi được phân tích bằng phần mềm QUEST ở phụ lục 5

Bảng 3.5 – Thống kê phân bổ độ phân biệt

Số liệu trích từ tệp tin Excel NHOM11_BAI TAP 1_ CHUYEN DE KTDG.xlsx, Sheet: dophanbiet

Độ phân biệt <0 <=0.25 >=0.3 >=0.4 >=0.5 >=0.6 MIN MAX Mean

Số câu 0 10 4 1 1 0 0.086957 0.51087 0.248913

Độ phân biệt của câu hỏi thi là mức độ khác nhau về kết quả trả lời giữa hai nhóm

trên và dưới khi làm bài thi Câu hỏi có chỉ số phân biệt nhỏ hơn hoặc bằng 0 cần bị loại bỏ

Ebel (1956) đề xuất rằng các câu hỏi của bài test trong lớp học nên có chỉ số phân biệt bằng

0,30 hoặc cao hơn Một số tác giả khác cho rằng độ phân biệt nên nằm trong khoảng

0,25-0,75 Tuy nhiên, trong các kỳ thi có quy mô lớn, việc sử dụng một số câu hỏi thi quá dễ

hoặc quá khó sẽ dẫn đến độ phân biệt của câu hỏi thi có thể có giá trị quá thấp hoặc quá cao

Từ số liệu thống kê ở bảng 3.5 cho thấy các câu hỏi đều có độ phân biệt trung bình là

0.248913 rải từ 0.086957 đến 0.51087 Có 2 câu (chiếm 10%) đạt độ phân biệt từ 0.4 trở

lên, 14 câu có độ phân biệt từ 0.30 trở lên (chiếm 70%) điều này cho thấy đề thi có độ phân

biệt tương đối tốt Tuy nhiên cũng không có câu cần phải điều chỉnh lại vì có độ phân biệt

dưới 0.25

Khi xử lý bằng thống kê cổ điển và hiện đại, độ phân biệt thu được có sự sai khác do sự

khác nhau trong quan niệm về độ phân biệt dựa trên tỉ lệ câu trả lời đúng trong đề trắc

nghiệm (điểm thô) và quan niệm về năng lực và tính độc lập của năng lực theo lý thuyết

khảo thí hiện đại

3.5 Hệ số tương quan giữa điểm câu hỏi thi với toàn bài

Giữa kết quả điểm của từng câu hỏi thi với điểm chung của toàn bài thi phải có mối

tương quan thuận (hệ số tương quan dương) Mối tương quan chặt chẽ giữa câu hỏi thi và

toàn bài thi góp phần làm tăng độ tin cậy của bài test Cần giữ lại những câu hỏi thi có mối

tương quan cao và loại bỏ những câu hỏi có mối tương quan thấp hoặc dưới 0 để làm tăng

độ tin cậy của đề thi Theo Griffin (1998), những câu hỏi tốt là những câu hỏi có hệ số

tương (Pt-Biserial) nằm trong khoảng 0.35 và 0.75

28

Bảng 3.6 – Hệ số tương quan giữa câu hỏi thi với toàn bài

Số liệu trích từ kết quả thông số các câu hỏi thi được phân tích bằng phần mềm QUEST ở phụ lục 5

Câu có hệ số tương quan âm

Câu có hệ số tương quan <0.35

Bảng 3.7 – Thống kê hệ số tương quan

Hệ số tương quan >0.75 0.35-0.75 <0.35 Min Mean Max

0.11 0.42 0.259

Bảng 3.6 cho thấy hệ số tương quan giữa điểm của câu hỏi thi với điểm toàn bài thi

(Hệ số tương quan point biserial) chưa tốt lắm, có đến 18 câu (chiếm 90%) có hệ số tương

quan nhỏ hơn 0.35, chứng tỏ điểm số của các câu hỏi có mối tương quan thấp với điểmchung của bài thi

Ý kiến: Đề nghị người biên soạn nghiên cứu bổ sung,chỉnh sửa lại hoặc loại bỏ câu

hỏi có hệ số tương âm, và thấp (có giá trị dưới 0.35) để tăng độ tin cậy của đề thi

29

3.6 Độ tin cậy của đề thi

Bảng 3.8 – Bảng tiêu chí Error (Độ tin cậy)

Số liệu trích từ kết quả thông số các câu hỏi thi được phân tích bằng phần mềm QUEST ở phụ lục 5

Câu Error Câu Error

Nhận xét : Error nằm trong khoảng 0.11 - 0.17 (là sự tính toán độ tin cậy của câu

hỏi, thông thường nhỏ hơn 0.2), theo bảng số liệu trên tất cả các câu hỏi có sai số dưới 0.25,

vì vậy tất cả các câu hỏi đều đạt yêu cầu

3.7 Kết luận chương 3

- Đề thi và các câu hỏi trắc nghiệm có chất lượng tương đối tốt, độ tin cậy của đề thi

đạt 0.11 - 0.17 (là sự tính toán độ tin cậy của câu hỏi, thông thường nhỏ hơn 0.2), theo bảng

số liệu trên tất cả các câu hỏi có sai số dưới 0.25, vì vậy tất cả các câu hỏi đều đạt yêu cầu

- độ khó trung bình của 20 câu hỏi là 0.25 và rải từ 0.09 (câu 6) đến 0.49 (câu 7)Trong đó, chỉ có 1 câu có độ khó là 0.49, có đến 18 câu có độ khó p< 0.4 chiếm tỷ lệ 90%

số câu trong đề thi Ngoài ra, số câu có độ khó từ 0.4 trở lên chỉ có 2 câu (chiếm 10%) và có

30

21 câu có độ khó từ 0.09 đến 0.4 (chiếm 90%) Như vậy, hầu hết các câu hỏi của bài testnày thuộc loại cực khó đối với nhóm thí sinh tham gia nghiên cứu.

- Dữ liệu cho thấy phần lớn các lựa chọn trong đề thi có khả năng phân biệt tốt nănglực thí sinh, thể hiện qua "độ lệch" vượt quá 0.02 Điều này cho thấy đề thi nhìn chung giúpphân tách rõ ràng giữa các thí sinh có trình độ khác nhau

Tuy nhiên, vẫn còn một vài phương án chưa đạt yêu cầu về "độ lệch" (cụ thể là Câu 1(D), Câu 6 (C), Câu 11 (C), và có thể cả Câu 8 (D) nếu xét theo tiêu chí nghiêm ngặt) Tìnhtrạng này đòi hỏi cần xem xét lại quy trình soạn đề Việc điều chỉnh là cần thiết để đảm bảotất cả các phương án nhiễu đều có khả năng phân biệt năng lực thí sinh một cách hiệu quả,

từ đó tăng cường tính tin cậy và công bằng cho bài kiểm tra

- Với độ phân biệt trung bình của các câu hỏi là 0.248913, dao động từ 0.086957 đến0.51087, có thể thấy độ phân biệt của đề thi ở mức tương đối Đáng chú ý là có 2 câu (10%)đạt độ phân biệt từ 0.4 trở lên và 14 câu (70%) đạt từ 0.30 trở lên, cho thấy phần lớn các câuhỏi có khả năng phân loại thí sinh khá tốt Mặc dù vậy, vẫn tồn tại các câu có độ phân biệtthấp hơn, thậm chí có câu dưới ngưỡng 0.25 Điều này gợi ý rằng cần xem xét kỹ lưỡng hơncác câu hỏi có độ phân biệt thấp để có thể cải thiện chất lượng đề thi trong tương lai

31

CHƯƠNG 4 PHÂN TÍCH ĐỀ THI BẰNG LÝ THUYẾT

KHẢO THÍ HIỆN ĐẠI

Việc phân tích câu hỏi thi bằng lý thuyết khảo thí hiện đại cũng có thể đưa ranhững thông tin thống kê để phân tích câu hỏi thi như lý thuyết khảo thí cổ điển Tuynhiên, việc phân tích câu hỏi thi bằng lý thuyết khảo thí hiện đại (sử dụng phần mềmQUEST và các phần mềm chuyên dụng khác) còn có thể giúp có được những thông tinđầy đủ hơn về đề thi và các câu hỏi thi Để phân tích và đánh giá đề thi này tác giả sẽ phântích các chỉ số sau:

- Infit MNSQ: trung bình bình phương độ hòa hợp

- Disc: Độ phân biệt

- Count: Số TS chọn câu đúng

- Percent (%): Phần tram số SV chọn câu trả lời tương ứng

- Pt-Biserial: Độ phân biệt câu TN

- P-value: Độ tin cậy thống kê của độ phân biệt

- Mean ability: thang đo logarit năng lực của thí sinh đưa ra sự lựa chọn củamình

- Thresholds: ngưỡng để vượt qua, thực chất là độ khó của câu trắc nghiệm

- Error: sai số trong tính toán

4.1 Sự phù hợp của câu hỏi thi

4.1.1 Mức độ phù hợp với mô hình:

- Khi dữ liệu phù hợp với mô hình Rasch thì trị số kỳ vọng của các bình phươngtrung bình (mean square) xấp xỉ bằng 1 và độ lệch chuẩn SD xấp xỉ bằng 0 Từ các

số liệu về giá trị trung bình Mean và độ lệch chuẩn SD có được từ file nhom11.map

khi xử lý dữ liệu bằng phần mềm QUEST, ta thấy dữ liệu dùng để phân tích là phùhợp với mô hình Rasch

- Các thông tin về kết quả tính toán cho thấy năng lực trung bình của mẫu thí sinh(case estimate) tham gia bài kiểm tra (-0.69) nhỏ hơn nhiều so với độ khó chung củabài kiểm tra Độ tin cậy của tính toán rất đáng tin cậy vì có giá trị bằng 0.96

32

60 items with zero scores

0 items with perfect scores

Summary of case Estimates

2 cases with zero scores

1 cases with perfect scores

33

Mean=0, SD=0.66: phù hợp với mô hình

( Mean phải bằng hoặc gần 0.00, SD phải bằng hoặc gần 1.00)

Mean=1.00, SD=0.09: phù hợp với mô hình

( Mean phải bằng hoặc gần 1.00, SD phải bằng hoặc gần 0.00)

Mean=1.00, SD=0.13: phù hợp với mô hình

(Mean phải bằng hoặc gần 1.00, SD phải bằng hoặc gần 0.00)

4.1.2 Mức độ phù hợp của các câu hỏi với nhau

Trong biểu đồ Item Fit sau đây, mỗi câu trắc nghiệm biểu thị bằng dấu * Nhữngcâu trắc nghiệm nằm trong hai đường chấm thẳng đứng có giá trị trung bình bình phương

độ phù hợp INFIT MNSQ nằm trong khoảng (0.71;1.20) sẽ phù hợp với mô hình Rasch.Nếu câu trắc nghiệm nào không phù hợp thì loại bỏ

Bảng 4.8 - Biểu đồ minh hoạ sự phù hợp của các câu hỏi

34

Bảng 4.2 – Bảng chỉ số Infit MNSQ

Số liệu trích từ kết quả thông số các câu hỏi thi được phân tích bằng phần mềm QUEST ở phụ lục 5

4.2 Phân bố độ khó câu hỏi thi và năng lực thí sinh

Sơ đồ phân bố độ khó câu hỏi thi và năng lực thí sinh cho thấy mức độ phùhợp của đề thi đối với thí sinh dự thi Kết quả xử lý bằng phần mềm QUEST cho một bản

đồ phân bố năng lực học sinh và độ khó câu hỏi thi

Các thông tin về kết quả tính toán từ bảng Summary of case Estimates cho thấynăng lực trung bình của mẫu thí sinh (case) tham gia bài kiểm tra (-0.69) nhỏ hơn so với

độ khó chung của bài kiểm tra (0.00) cho thấy độ khó của đề thi hơi cao so với năng lựcthí sinh

Sử dụng lý thuyết khảo thí hiện đại, năng lực của học sinh và độ khó của câu hỏiđược đánh giá bằng thang logistic Theo Phụ lục 1 các câu hỏi có độ khó nằm trongkhoảng -1.93 đến 1.37 (thang logistic) Trong khi đó, năng lực của thí sinh phân bố từ -2.08 đến 1.58 với trung bình cộng là -0.69 và độ lệch chuẩn 0.58 Điều này cho thấy

đề thi hơi khó so với năng lực của thí sinh

35

Bảng 4.4 - Sơ đồ phân bổ năng lực thí sinh và độ khó câu hỏi thi (thang logistic)

Ý kiến: Theo bảng 4.4 chỉ có câu 7 là câu hỏi dễ nhất trong đề thi với độ khó

giảm dần còn các câu 6, 15, 18, 17, 12 là những câu rất khó với độ khó tăng dần

36

Năng lực cao (0.91%)

Năng lực tương đối cao (11.52%)

Năng lực trung bình (54.55%)

Năng lực thấp (33.03% )

NĂNG LỰC CAO

RẤT KHÓ

(không có thí sinh lựa chọn được phương án đúng trong những câu hỏi này) Đề thi quá khó với năng lực của nhóm thí sinh tham gia bài thi này, do đó cần bổ sung một

số câu dễ để đánh giá những thí sinh có năng lực thấp; ngưỡng năng lực từ -1.4 đến -1.9 chưa có câu hỏi nào để đánh giá, ngưỡng năng lực dưới -1.2 là quá ít Điều này thể hiện rõ hơn qua đồ thị đường cong đặc trưng và đường cong thông tin của đề thi.

Sử dụng CONQUEST để phân tích item và năng lực thí sinh ta thu được đồ thị đường cong đặc trưng cho cả bài thi về điểm số và đường cong đặc trưng thông tin cho cả bài thi

Hình 4.3- Đường cong đặc trưng cho cả bài thi về điểm số

(Lệnh Plot tcc!legend=yes;)

Dựa vào điểm uốn của đồ thị ở hình 4.1 ta có thể thấy đây là một đề thi hơi khó.

Hình 4.4 – Đường cong đặc trưng thông tin của cả bài thi

(Lệnh Plot tinfo!legend=yes;)

Dựa vào điểm cực đại ở hình 4.2 của đường cong ta có thể thấy đề thi nó đánh giá tốt

học sinh có năng lực ở mức trung bình

37

4.3 Phân tích câu hỏi theo các tiêu chí

Trong tập tin nhom11.ita thu được khi phân tích bằng phần mềm QUEST, ta tiến hành

phân tích các chỉ số sau:

- Categories: câu chọn, các số 1, 2, 3 ,4 tương ứng với các lựa chọn A, B, C, D trong câu

trắc nghiệm, phương án đúng được đánh dấu (*), giá trị 9 chỉ missing - học sinh không chọnhoặc bỏ trống không trả lời câu hỏi

- Disc: độ phân biệt.

- Percent: tỉ lệ phần trăm của một phương án là tỉ lệ giữa số thí sinh chọn phương án đó so

với thí sinh làm bài kiểm tra

- Pt – Beserial: hệ số tương quan point biserial Cần loại bỏ những câu hỏi có mối tương

quan thấp hoặc dưới 0 sẽ làm tăng độ tin cậy của bài kiểm tra

- StepLabel 1: Giữa giá trị 0 và 1 có một bước, thí sinh thực hiện được bước này khi trả lời

đúng câu hỏi

- Thresholds: ngưỡng để vượt qua, thực chất là độ khó của câu trắc nghiệm.

- Error: sai số trong tính toán.

4.3.1 Tiêu chí Disc (Độ phân biệt)

Bảng 4.9 – Bảng tiêu chí Disc (Độ phân biệt)

Số liệu trích từ kết quả thông số các câu hỏi thi được phân tích bằng phần mềm QUEST ở phụ lục 5

Bảng 4.6 - Phân bổ độ phân biệt của các câu hỏi

Độ phân biệt <0 <=0.25 >=0.3 >=0.4 >=0.5 >=0.6 MIN MAX Mean

Số câu 0 10 4 1 1 0 0.086957 0.51087 0.248913

Nhận xét: Từ bảng 4.6 ta thấy chỉ số phân biệt (Disc) của 20 câu hỏi trong đề thi dao

động trong khoảng từ 0.11 đến 0.40 Trong đó:

- Có 8 câu hỏi: 1, 7, 12, 13, 15, 18, 19, 20 có độ phân biệt Disc thấp (0<Disc<0.25)

chiếm 40% trong tổng số 20 câu hỏi

- Còn lại 12 câu hỏi chiếm 60% có độ phân biệt cao, nằm trong khoảng từ 0.25 đến

0.75 Do đó, trong phạm vi kỳ thi kiểm tra lớp học độ phân biệt của đề thi này khá

- Dựa trên bảng số liệu bạn cung cấp, tôi xin phân tích như sau:

- Độ khó của các câu hỏi: Nhìn vào cột "Độ khó", ta thấy giá trị dao động từ 0.09 (câu

6, 15, 17, 18) đến 0.49 (câu 7)

- Phân loại độ khó: Tất cả các câu hỏi trong bảng đều có độ khó dưới 0.5 (tỷ lệ phầntrăm trả lời đúng dưới 50%) Điều này cho thấy tất cả 20 câu hỏi trong dữ liệu này

40