Trắc Nghiệm Khách Quan Một Phương Pháp Khoa Học Trong Kiểm Tra Đánh Giá Thành Quả Học Tập

Hãy tính phần tài sản thừa kế của mỗi người là: a 120 triệu đồng b 100 triệu đồng c 50 triệu đồng d Tất cả câu trên đều sai Nhận xét - Các câu trong đoạn văn dẫn viết cụt lủn, như văn

TRẮC NGHIỆM KHÁCH QUAN MỘT PHƯƠNG PHÁP KHOA HỌC TRONG

KIỂM TRA ĐÁNH GIÁ THÀNH QUẢ HỌC TẬP

TS Lê Thị Thiên Hương (báo cáo tại Hội thảo của Nhóm Nghiên cứu Dạy và Học - Khoa KTTM)

1 So sánh hai phương pháp: Tự luận và TNKQ

Câu hỏi gây nhiều tranh luận:

Trong 2 phương pháp ra đề thi (tự luận và TNKQ), phương pháp nào tốt hơn?

Câu trả lời:

Không có phương pháp nào hoàn toàn tốt hơn Tùy vào từng hoàn cảnh cụ thể, mỗi phương pháp có ưu điểm và nhược điểm riêng

• Nên dùng kiểu tự luận trong trường hợp:

- Khi số sinh viên không quá đông

- Khi không có nhiều thời gian để soạn đề nhưng có đủ thời gian để chấm thi

- Khi muốn tìm hiểu và khuyến khích khả năng diễn đạt tư duy, ý tưởng sáng tạo của sinh viên

- Khi có thể tin tưởng vào khả năng chấm thi chính xác và vô tư của giám khảo

• Nên dùng kiểu TNKQ trong trường hợp:

- Khi số sinh viên quá đông

- Khi có đủ nhiều thời gian để soạn đề nhưng muốn chấm thi nhanh để sớm công bố điểm

- Khi muốn kiểm tra kiến thức trên phạm vi rộng để ngăn ngừa học tủ, học lệch

- Khi muốn điểm thi chính xác, tin cậy, không phụ thuộc vào trình độ chấm thi của giám khảo

2 Kỹ thuật soạn đề thi TNKQ nhiều lựa chọn

2.1 Giai đoạn chuẩn bị

1 Xác định mục tiêu và nội dung kiến thức cần kiểm tra đánh giá thật chi

tiết, rõ ràng

2 Định lượng (phần trăm) một cách hợp lý từng nội dung kiến thức, kỹ năng cần kiểm tra sao cho phù hợp với chuẩn đầu ra của môn học

3 Lập bảng phân bố số câu hỏi một cách chi tiết, phù hợp với định lượng phần trăm đã đưa ra

Ví dụ 1 Soạn đề thi TNKQ cuối kỳ, môn Pháp luật Đại cương, thời gian làm

bài 60 phút, gồm 40 câu hỏi

- Mục tiêu: Kiểm tra kiến thức về pháp luật của SV và kỹ năng phân tích một

hành vi vi phạm pháp luật, áp dụng các điều luật để tính toán thừa kế, tính tiền bảo hiểm

- Định lượng: ĐCMH có 8 chương, trong đó:

Chương 1 - “Những vấn đề cơ bản về Nhà nước”, 9 tiết

Chương 2 - “Những vấn đề cơ bản về pháp luật”, 15 tiết

Chương 3 đến chương 8 là các luật cụ thể như: Hình sự, Dân sự, Hôn nhân và Gia đình, Hành chính, Lao động, Phòng chống tham nhũng, v.v…, mỗi chương 3 tiết

Căn cứ vào số tiết và tầm quan trọng của từng chương, ta lập bảng sau đây để phân bố số câu hỏi:

STT Chương Tầm quan trọng Số câu hỏi

Tổng cộng 100% 40

Căn cứ vào nội dung kiến thức và kỹ năng cần kiểm tra của từng chương,

ta lại lập bảng để phân bố số câu hỏi cho chương đó

Chẳng hạn, sau đây là bảng phân bố câu hỏi cho chương 2 (Những vấn đề

cơ bản về pháp luật):

STT Kỹ năng Tầm quan trọng Số câu hỏi

Tổng cộng 100% 10

Sau khi lập bảng phân bố câu hỏi cho từng chương, phối hợp với tỷ lệ phần trăm mức độ các câu khó, trung bình, dễ và các kỹ năng cần đánh giá, ta

có thể tổng hợp thành ma trận có dạng sau đây:

Chương Hiểu nhớ Vận dụng Phân tích Tổng cộng

Tổng cộng 20 12 8 40

2.2 Giai đoạn thực hiện

a Một số nguyên tắc chung

- Soạn thảo đề thi nhiều ngày trước kỳ thi

- Số câu hỏi trong bản thảo đầu tiên nên nhiều hơn số câu cần dùng

- Mỗi câu hỏi thuộc về một phần kiến thức nhất định, một kỹ năng nhất định

- Ước lượng kỹ số phút dành cho mỗi câu hỏi sao cho phù hợp với tổng thời gian của đề

* Đối với phần câu dẫn:

- Có thể dùng một câu hỏi hay câu nhận định không đầy đủ (câu bỏ lửng) làm câu dẫn

- Không nên đưa quá nhiều tư liệu vào câu dẫn

- Tránh sử dụng câu dẫn mang tính phủ định Tuy nhiên, nếu đưa câu phủ định vào câu dẫn thì cần gạch dưới (hoặc in nghiêng) chữ “không” để nhấn mạnh

* Đối với phương án trả lời:

- Các phương án trả lời cần được viết theo cùng một văn phong và tương đương với nhau về độ dài

- Nên thận trọng khi dùng các câu hỏi có sử dụng phương án chọn “tất cả đều đúng” hay “tất cả đều sai”

- Câu dẫn và các phương án trả lời phải phù hợp với nhau về ngữ pháp khi ghép chúng với nhau

- Các phương án “nhiễu” cần diễn đạt sao cho có vẻ hợp lý và có sức hấp dẫn như nhau

- Độ khó của câu hỏi tùy thuộc vào đối tượng và mục đích kiểm tra

Ví dụ 2 Một số câu TNKQ môn PLĐC

Câu 1 Chính thể quân chủ nghĩa là:

a) Đứng đầu nhà nước là một cơ quan

b) Đứng đầu nhà nước là một cá nhân được hình thành theo kiểu cha

truyền con nối

c) Cả hai câu trên đúng

d) Cả hai câu trên sai

Nhận xét

- Phương án d không chính xác vì trên d có 3 câu chứ không phải 2 câu

- Độ dài của các phương án khác nhau

- Phương án b (dài nhất) là phương án đúng, quá khác biệt so với các phương án khác nên dễ đoán được

Câu 2 C chết, di sản là 600 triệu đồng Không để lại di chúc Những người liên

quan gồm: Cha mẹ ruột, cha nuôi, vợ, anh, chị và con 14 tuổi Hãy tính phần tài sản thừa kế của mỗi người là:

a) 120 triệu đồng

b) 100 triệu đồng

c) 50 triệu đồng

d) Tất cả câu trên đều sai

Nhận xét

- Các câu trong đoạn văn dẫn viết cụt lủn, như văn nói, chấm câu không đúng ngữ pháp, câu cuối cùng không rõ là câu hỏi hay câu khẳng định

- Phương án nhiễu không hấp dẫn, các con số cho một cách ngẫu nhiên, không đánh vào sai lầm trong tính toán của SV

- Đề nghị chỉnh sửa các câu văn và thay phương án d bởi một số cụ thể, ví dụ 150 triệu (đánh vào sai lầm không tính phần thừa kế của cha nuôi) Khi đó ta có câu sau:

C chết, di sản là 600 triệu đồng, không để lại di chúc Những người liên quan gồm có: cha mẹ ruột, cha nuôi, vợ, anh, chị và con 14 tuổi Số tiền được hưởng của mỗi người thừa kế theo pháp luật là:

a) 120 triệu đồng

b) 85,7 triệu đồng

c) 300 triệu đồng

d) 150 triệu đồng

Câu 3 Luật Hiến pháp

a) Là ngành luật cơ bản trong hệ thống pháp luật Việt Nam, bao gồm

tổng thể các quy phạm pháp luật điều chỉnh các mối quan hệ xã hội cơ bản có liên quan đến tổ chức quyền lực nhà nước

b) Là ngành luật cơ bản trong hệ thống pháp luật Việt Nam, bao gồm tổng thể các quy phạm pháp luật điều chỉnh các mối quan hệ xã hội liên quan đến đời sống dân sự hàng ngày

c) Là ngành luật cơ bản trong hệ thống pháp luật Việt Nam, bao gồm tổng thể các quy phạm pháp luật điều chỉnh các mối quan hệ xã hội giữa người lao động và người sử dụng lao động

d) Cả ba câu kia đều sai

Nhận xét

- Câu dẫn quá ngắn trong khi các phương án trả lời lại quá dài và trùng lặp

ý

- Phương án d ghép với câu dẫn không phù hợp ngữ pháp, cần phải thay bởi câu khác

- Đề nghị đưa đoạn văn giống nhau ở 3 phương án a, b, c lên thành câu dẫn Chẳng hạn, có thể sửa lại như sau:

Luật Hiến pháp là ngành luật cơ bản trong hệ thống pháp luật Việt Nam, bao gồm tổng thể các quy phạm pháp luật điều chỉnh các mối quan hệ xã hội

a) có liên quan đến tổ chức quyền lực nhà nước

b) liên quan đến đời sống dân sự hàng ngày

c) giữa người lao động và người sử dụng lao động

Ví dụ 3 Một số câu TNKQ môn QTH

Câu 4 Vấn đề số lượng nhân viên cấp dưới của một nhà quản trị được gọi là:

a) Phân công lao động

b) Thống nhất chỉ huy

c) Tầm hạn quản trị

d) Năng suất lao động

Nhận xét

- Các phương án trả lời có độ dài như nhau

- Câu dẫn ghép với các phương án trả lời phù hợp về ngữ pháp

- Các phương án “nhiễu” dễ thấy nên có thể dự đoán là SV không chọn

Câu 5 Khi xây dựng tiêu chuẩn, mục tiêu nào dưới đây không thích hợp cho

tiến trình kiểm tra:

a) Cắt giảm chi phí sản xuất 20%

b) Thuê mướn nhân viên bán hàng mới

c) Tăng công suất sử dụng máy móc lên 80%

d) Nâng cao tinh thần làm việc của công nhân

Nhận xét

- Câu hỏi ở thể phủ định nhưng không gạch dưới (hoặc in nghiêng) chữ

“không” để nhấn mạnh

- Câu hỏi nhưng cuối câu không đặt dấu hỏi mà lại đặt dấu hai chấm

- Đề nghị sửa lại như sau:

Khi xây dựng tiêu chuẩn, mục tiêu nào dưới đây không thích hợp cho tiến trình kiểm tra?

a) Cắt giảm chi phí sản xuất 20%

b) Thuê mướn nhân viên bán hàng mới

c) Tăng công suất sử dụng máy móc lên 80%

d) Nâng cao tinh thần làm việc của công nhân

Ví dụ 4 Câu TNKQ môn Toán

Câu 6 Chọn khẳng định sai trong các khẳng định sau:

a) 1 + 1 = 3

b) 3 – 2 = 0

c) a và b đều sai

d) Tất cả đều sai

Nhận xét

- Các phương án a, b, d đều phù hợp với câu dẫn

- Lưu ý rằng khẳng định “sai” là phương án “phù hợp” với câu hỏi của đề bài

- Phương án d có “phù hợp nhất” hay không? Có khái niệm “sai nhất” không?

- Đề nghị bỏ câu này

b Cách viết một câu trắc nghiệm cụ thể

Cần thực hiện tuần tự các bước sau:

- Xác định chủ đề (ý tưởng) của câu hỏi

- Viết phần “gốc”(câu dẫn) dưới dạng một câu hỏi hoặc một câu bỏ lửng thật gọn, ngữ nghĩa sáng sủa

- Viết tiếp ngay câu trả lời phù hợp với câu hỏi

- Viết các “mồi nhử” (phương án nhiễu), chúng không phù hợp với câu hỏi nhưng phải “hấp dẫn” như phương án trả lời đúng Thường các “mồi nhử” được viết dựa trên những sai lầm thường gặp của SV

- Sắp xếp các phương án trả lời theo thứ tự ngẫu nhiên

Ví dụ 5 Viết một câu trắc nghiệm môn PLĐC

- Xác định chủ đề của câu hỏi:

Kiểm tra kỹ năng vận dụng Luật Lao động để tính số tiền đóng bảo hiểm, thời gian 1,5 phút

- Viết phần gốc:

Nếu mức lương ghi trên Hợp đồng Lao động là 8 triệu đồng / tháng thì hàng tháng Công ty phải đóng tiền bảo hiểm cho người lao động là bao nhiêu?

Hoặc:

Nếu mức lương ghi trên Hợp đồng Lao động là 8 triệu đồng / tháng thì

số tiền bảo hiểm Công ty phải đóng cho người lao động mỗi tháng là

- Viết phương án trả lời phù hợp:

a) 1,92 triệu đồng

- Viết phương án nhiễu:

b) 1,68 triệu đồng

c) 1,6 triệu đồng

d) 1,76 triệu đồng

- Sắp xếp các phương án theo thứ tự ngẫu nhiên, câu trắc nghiệm hoàn chỉnh

là:

Nếu mức lương ghi trên Hợp đồng Lao động là 8 triệu đồng / tháng thì số tiền bảo hiểm Công ty phải đóng cho người lao động mỗi tháng là

a) 1,6 triệu b) 1,76 triệu

c) 1,92 triệu d) 1,68 triệu

c Hoàn thiện câu đã viết

Muốn có một câu hỏi TNKQ thật gọn, rõ ràng, hợp logic và không gây hiểu lầm, ta cần “gọt dũa” về văn từ, cú pháp và logic của câu hỏi đó

Cần lấy ý kiến góp ý của chuyên gia (đồng nghiệp) để:

- Phát hiện câu chưa đảm bảo yêu cầu môn học, hoặc câu không có phương án nào đúng, hoặc có nhiều phương án đúng, hoặc nhiễu chưa hợp lý

- Phát hiện câu nào cần loại bỏ, hoặc cần chỉnh sửa, hoặc câu tốt để đưa vào ngân hàng đề thi

Lưu ý

Để đánh giá chất lượng của từng câu hỏi và của toàn bộ đề thi TNKQ, ta cần xử lý thống kê và phân tích đề dựa trên một số đặc trưng cơ bản

- Việc phân tích từng câu hỏi và toàn bộ đề thi TN phụ thuộc vào mục đích của bài thi (nhằm phân loại SV hay nhằm xác định SV có đạt yêu cầu của môn học hay không)

3 Phân tích chất lượng đề thi TNKQ

3.1 Phân tích câu hỏi TNKQ nhiều lựa chọn

Một vài đại lượng đặc trưng cơ bản

a Độ khó của một câu hỏi (Difficulty)

- Căn cứ vào số người trả lời đúng câu hỏi

- Công thức tính:

Cách 1: K D

N

 trong đó:

K: độ khó

D: số SV làm đúng N: tổng số SV dự thi

Nhận xét:

- Độ khó phụ thuộc vào từng nhóm đối tượng SV, từng môn khoa học (có tính tương đối)

- Thực chất đó là “độ dễ”

- Thông thường

K < độ khó trung bình là câu khó

K = độ khó trung bình là câu vừa sức

K > độ khó trung bình là câu dễ Lưu ý: Độ khó trung bình = (1 + xác suất may rủi) : 2

0,625 là độ khó trung bình của câu có 4 lựa chọn

0,6 là độ khó trung bình của câu có 5 lựa chọn

Cách 2:

Chia toàn bộ số SV dự thi thành 3 nhóm:

- Nhóm cao gồm những người đạt điểm cao ở toàn bài, chiếm 27% tổng số SV làm bài TNKQ

- Nhóm thấp gồm những người đạt điểm thấp ở toàn bài, chiếm 27% tổng số SV làm bài TNKQ

Khi đó K C T

2n trong đó:

C: số SV làm đúng thuộc nhóm cao

T: số SV làm đúng thuộc nhóm thấp

n: số SV của 1 nhóm

b Độ phân biệt của một câu hỏi (discrimination)

- Để phân biệt trình độ khác nhau của SV

- Công thức tính:

Gọi C, T lần lượt là số người thuộc nhóm cao, nhóm thấp trả lời đúng câu hỏi, n là số người trong mỗi nhóm (chiếm 27% tổng số SV làm bài TNKQ)

Khi đó C T

n

p

trong đó:

P: độ phân biệt

C: số SV làm đúng thuộc nhóm cao

T: số SV làm đúng thuộc nhóm thấp

n: số SV của 1 nhóm

Nhận xét

Thông thường

P > 0,4 : độ phân biệt rất tốt ,   ,

0 3 P 0 4 : độ phân biệt khá tốt ,   ,

0 2 P 0 3 : độ phân biệt chấp nhận được

P < 0,2 : độ phân biệt kém

Ví dụ 6 Phân tích một câu TNKQ

Chọn câu 3, đề 1, môn QTH, Học kỳ 13.2A

Xét mẫu có 51 SV trả lời câu này Ta có kết quả lựa chọn các phương án A,

B, C, D của 51 SV như sau:

Câu 3 A B C D (đúng) Tổng

K =71%

P = 43%

- Ta tính độ khó của câu

Cách 1:

Số SV trả lời đúng là 33

Độ khó của câu là:

K = 33 : 51 = 0,647 ~ 0,625

Nhận xét: Đây là một câu vừa sức

Cách 2:

- Tính số SV trong mỗi nhóm:

27% x 51 = 13,77 (ta lấy xấp xỉ 14)

Số SV trong nhóm cao = Số SV trong nhóm thấp = 14

Số SV trong nhóm cao trả lời đúng: C = 13

Số SV trong nhóm thấp trả lời đúng: T = 7

Độ khó của câu là:

K = (13 + 7 ) : 28 = 0,714

- Ta tính độ phân biệt của câu

P = (13 – 7 ) : 14 = 0,429

Nhận xét: Câu này có độ phân biệt rất tốt

c Mức độ lôi cuốn vào các phương án trả lời

Cần xem xét tần số lựa chọn ở từng phương án trả lời

- Nếu phương án nhiễu không ai chọn thì nó không có sức hấp dẫn, nên loại bỏ

- Nếu phương án nhiễu được chọn nhiều hơn phương án đúng thì có thể có

sự hiểu lầm nào đó giữa phương án đúng và phương án nhiễu

- Phương án đúng có tương quan thuận: tỷ lệ lựa chọn của nhóm cao nhiều hơn nhóm thấp

- Phương án sai có tương quan nghịch: tỷ lệ lựa chọn của nhóm thấp phải nhiều hơn nhóm cao

Ví dụ 7 Xem lại câu 3 trên đây, ta thấy:

- Phương án a có 11 SV chọn, trong đó có 1 SV thuộc nhóm cao, 4 SV thuộc nhóm thấp

- Phương án b có 1 SV chọn, trong đó nhóm cao và nhóm thấp đều không chọn

- Phương án c có 6 SV chọn, trong đó nhóm cao không chọn, nhóm thấp có

3 SV chọn

- Phương án d (phương án đúng) có 33 SV chọn, trong đó có 13 SV thuộc nhóm cao và 7 SV thuộc nhóm thấp

- Đánh giá chung: Các phương án a, c, d tốt, nên chỉnh sửa phương án b

Nhận xét

Câu hỏi trắc nghiệm được xem là có chất lượng nếu:

- Được phát biểu rõ ràng, hợp logic, không gây hiểu lầm

- Độ khó phù hợp với mục tiêu, đối tượng

- Độ phân cách P 0 3  ,

- Các phương án nhiễu có tương quan nghịch

- Phương án đúng có tương quan thuận

Ví dụ 8 Ta xét vài câu TNKQ sau đây (khảo sát bài làm của 100 SV)

Câu 6 A B C

(đúng)

K =74%

P = 30%

Độ khó: K = (24+ 16) : 54 = 0,74 (câu dễ)

Độ phân biệt: P = (24 – 16) : 27 = 0,3 (khá tốt)

Các phương án nhiễu có tương quan “nghịch”

Phương án đúng có tương quan “thuận”

Đánh giá chung: Đây là một câu có chất lượng

Câu 15 A B C D (đúng) Tổng

K = 8%

P = 4%

Độ khó: K = 8 : 100 = 0,08 (quá khó)

Độ phân biệt: P = (1 – 0) : 27 = 0,04 (quá kém)

Phương án nhiễu (B) có rất nhiều SV chọn

Phương án đúng (D) có rất ít SV chọn, đặc biệt trong nhóm cao không ai chọn

Đánh giá chung: Nên xem lại câu này, liệu SV có hiểu nhầm giữa phương án

B và D hay không?

Câu 23 A B C

(đúng)

K =96%

P = 7%

Độ khó: K = (14 + 13) : 28 = 0,964 (quá dễ)

Độ phân biệt: P = (14 – 13) : 14 = 0,071 (quá kém)

Các phương án nhiễu hầu như không ai chọn

Phương án đúng hầu như cả lớp chọn

Đánh giá chung: Đây là một câu kém chất lượng, các nhiễu không hấp dẫn, cần loại bỏ câu này

3.2 Phân tích đề thi TNKQ

a Độ khó của đề thi

Gọi I là điểm trung bình lý thuyết của bài thi,

E là điểm trung bình của toàn bộ SV dự thi (còn gọi là trung bình thực nghiệm)

I = (điểm tối đa của bài thi + điểm may rủi) : 2

Khi đó: E – I < 0 : đề khó

E – I ~ 0 : đề vừa sức (0 5 E I 0 5) ,    ,

E – I > 0 : đề dễ

b Hệ số tin cậy của đề thi

Độ tin cậy được xem như mức độ chính xác của phép đo, cho biết bài trắc nghiệm đo cái cần đo ổn định đến mức nào

Có nhiều phương pháp xác định độ tin cậy của đề thi trắc nghiệm như:

- Phương pháp trắc nghiệm – trắc nghiệm lại