XÂY DỰNG hệ THỐNG hỗ TRỢ tổ CHỨC THI TRẮC NGHIỆM

Trong lĩnh vực giáo dục, trắc nghiệm khách quan đã được sử dụng rất phổ biến tại nhiều nước trên thế giới trong các kỳ thi để đánh giá năng lực nhận thức của người học, tại nước ta trắc

ĐẠI HỌC QUỐC GIA TP HCM

TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN

CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM

Độc lập – Tự do – Hạnh phúc

LỜI CAM ĐOAN

Tôi xin cam đoan Khóa luận cao học Khoa học máy tính “Xây dựng hệ thống hỗ trợ tổ chức thi trắc nghiệm” là công trình nghiên cứu của riêng tôi

Các kết quả nghiên cứu trong Khóa luận là trung thực và chưa từng được công bố trong bất kỳ công trình nào khác

TP.HCM, ngày 26 tháng 10 năm 2017

Học viên

NGÔ VĂN LINH

MỤC LỤC

DANH MỤC CÁC BÁNG 4

DANH MỤC CÁC HÌNH VẼ, ĐỒ THỊ 5

PHẦN MỞ ĐẦU 6

1 Lý do chọn đề tài 6

2 Mục tiêu nghiên cứu 7

3 Đối tượng và phạm vi nghiên cứu 7

4 Ý nghĩa khoa học và thực tiễn của đề tài 8

CHƯƠNG 1: TỔNG QUAN VỀ TRẮC NGHIỆM 10

1.1 - TRẮC NGHIỆM KHÁCH QUAN 10

1.1.1 - Trắc nghiệm khách quan trong giáo dục 10

1.1.2 - Các loại câu hỏi trắc nghiệm khách quan 12

1.1.3 - Ưu và nhược điểm của trắc nghiệm khách quan 17

1.1.4 - Các tham số đặc trưng cho một câu hỏi và đề trắc nghiệm 18

1.1.5 - Quy trình thiết kế đề kiểm tra 39

1.2 - CÁC TRƯỜNG HỢP BẤT THƯỜNG CỦA CÂU HỎI TRẮC NGHIỆM 44

1.2.1 - Độ lệch giá trị p cao hơn giá trị trung bình 46

1.2.2 - Không có phương án trả lời 47

1.2.3 - Nhầm đáp án 47

1.2.4 - Giá trị p tương quan nghịch giữa các nhóm thi 48

1.3 - MỘT SỐ PHẦN MỀM ỨNG DỤNG THI TRẮC NGHIỆM 50

1.3.1 - Phần mềm Articulate Quizmaker 50

1.3.2 - Phần mềm trắc nghiệm EMP 51

1.3.3 - Phần mềm AMtp 52

1.3.4 - Phần mềm TestPro 54

1.3.5 - Phần mềm McMIX 55

CHƯƠNG 2: PHÂN TÍCH VÀ THIẾT KẾ HỆ THỐNG 57

2.1 - THỰC TRẠNG VÀ GIẢI PHÁP CẢI TIẾN HỆ THỐNG THI TRẮC NGHIỆM KHÁCH QUAN TẠI TRƯỜNG ĐẠI HỌC KINH TẾ CÔNG NGHIỆP LONG AN 57

2.1.1 - Quy trình thi trắc nghiệm hiện tại ở Trường Đại học Kinh tế Công nghiệp Long An 57

2.1.2 - Hệ thống thi trắc nghiệm khách quan cải tiến trên máy vi tính 59

2.2 - MÔ TẢ BÀI TOÁN 62

2.2.1 - Các chức năng chương trình 62

2.2.2 - Mô hình tổng quan của hệ thống 64

2.2.3 - Thiết kế dữ liệu 65

2.2.4 - Sơ đồ luồng dữ liệu 78

2.2.5 - Yêu cầu hệ thống 81

CHƯƠNG 3: XÂY DỰNG ỨNG DỤNG 83

3.1 - KẾT QUẢ CÀI ĐẶT 83

3.1.1 - Quản trị thành viên 83

3.1.2 - Quản lý thông tin môn học 84

3.1.3 - Quản lý ngân hàng câu hỏi 85

3.1.4 - Tạo đề thi trắc nghiệm 87

3.1.5 - Thi trắc nghiệm trực tuyến 90

3.1.6 - Thống kê kết quả thi 91

3.1.7 - Đánh giá đề thi, câu hỏi thi 92

3.2 - KẾT QUẢ THỰC NGHIỆM 94

3.2.1 - Mục đích của thực nghiệm 94

3.2.2 - Nội dung thực nghiệm 94

3.2.3 - Phương pháp thực nghiệm 94

3.2.4 - Tổ chức thực nghiệm 95

3.2.5 - Kết quả thực nghiệm 95

3.2.6 - Xử lý số liệu thực nghiệm 95

3.2.7 - Đánh giá kết quả thực nghiệm 100

KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 104

1 Kết quả đạt được 104

2 Hạn chế 104

3 Hướng phát triển 105

TÀI LIỆU THAM KHẢO 106

PHỤ LỤC 108

DANH MỤC CÁC BÁNG

Bảng 1-1: Bảng tỉ lệ phần trăm làm đúng 22

Bảng 1-2: Điểm bài làm và điểm câu trắc nghiệm 23

Bảng 1-3: Kết luận từ độ phân cách 24

Bảng 1-4: Bảng thí dụ điểm số của mỗi thí sinh 27

Bảng 1-5: Điểm bài làm của một thí sinh 28

Bảng 1-6: Tính giá trị pq của câu trắc nghiệm 29

Bảng 1-7: Bảng kết luận từ độ tin cậy 30

Bảng 1-8: Mô tả về cấp độ tư duy 40

Bảng 1-9: Giá trị p của một câu hỏi trắc nghiệm 46

Bảng 1-10: Giá trị p của một câu hỏi trắc nghiệm kém chất lượng 47

Bảng 1-11: Giá trị p của một câu hỏi nhầm đáp án 48

Bảng 1-12: Giá trị p giữa các nhóm thí sinh 48

Bảng 1-13: Tỉ lệ chọn phương án nhiễu của nhóm cao lớn hơn nhóm thấp 49

Bảng 3-1: Bảng kết quả thi của thí sinh 95

Bảng 3-2: Bảng thống kê các câu hỏi cần cập nhật nội dung 98

Bảng 3-3: Bảng đánh giá thử nghiệm các tính năng chính của hệ thống 100

Bảng 3-4: Bảng đánh giá tính năng thử nghiệm trong kiểm tra 60 phút 102

DANH MỤC CÁC HÌNH VẼ, ĐỒ THỊ

Hình 1-1: Sơ đồ quá trình xây dựng bộ đề thi trắc nghiệm 11

Hình 1-2: Miền giá trị vật lý thể hiện độ khó của đề thi 32

Hình 1-3: Đường cong ứng đáp câu hỏi 36

Hình 1-4: Giao diện phần mềm Articulate Quizmaker 50

Hình 1-5: Giao diện phần mềm trắc nghiệm EMP 51

Hình 1-6: Giao diện phần mềm trắc nghiệm TestPro 54

Hình 1-7: Giao diện phần mềm trắc nghiệm McMIX 55

Hình 2-1: Hệ thống học trực tuyến tại Trường 58

Hình 2-2: Sơ đồ sử dụng chức năng với từng người dùng 63

Hình 2-3: Mô hình tổng quan của hệ thống 64

Hình 2-4: Sơ đồ logic dữ liệu quản lý Câu hỏi 65

Hình 2-5: Sơ đồ logic dữ liệu quản lý đề thi 66

Hình 3-1: Giao diện trang chủ hệ thống trắc nghiệm 83

Hình 3-2: Giao diện trang Đăng ký thành viên 84

Hình 3-3: Giao diện quản lý thông tin môn học 84

Hình 3-4: Giao diện quản lý danh sách câu hỏi 85

Hình 3-5: Giao diện thêm câu hỏi từ tệp tin Microsoft Word 86

Hình 3-6: Giao diện thông tin cấu hình của một đề thi trắc nghiệm 88

Hình 3-7: Giao diện hiển thị câu hỏi trong một đề thi 88

Hình 3-8: Giao diện thêm câu hỏi thủ công vào đề thi 89

Hình 3-9: Giao diện thêm câu hỏi tự động vào đề thi 89

Hình 3-10: Một thể hiện của một đề thi trắc nghiệm 90

Hình 3-11: Giao diện chức năng quản lý bài thi của thí sinh 91

Hình 3-12: Giao diện hiển thị kết quả thi của thí sinh 91

Hình 3-13: Giao diện cho phép thí sinh xem lại phương án trả lời 92

Hình 3-14: Giao diện thống kê đánh giá câu hỏi, đề thi trắc nghiệm 93

Hình 3-15: Giao diện đưa ra các cảnh báo hỗ trợ cập nhật câu hỏi 93

Hình 3-16: Giao diện suy diễn độ khó của đề thi 99

PHẦN MỞ ĐẦU

1 Lý do chọn đề tài

Hình thức thi trắc nghiệm khách quan được sử dụng ngày càng nhiều hơn trong các kỳ thi kiểm tra đánh giá kiến thức, hình thức này cho thấy mang lại nhiều hiệu quả, việc áp dụng hình thức này cho phép kiểm tra được nhiều kiến thức hơn Tăng cường tính chính xác, khách quan, công bằng khi đánh giá kiến thức thí sinh bên cạnh đó tiết kiệm chi phí và thời gian của thí sinh cũng như thời gian tổ chức hoạt động chấm điểm và kiểm tra hậu chấm điểm Hình thức trắc nghiệm thích hợp với: những kỳ thi mang tính đại trà, có số lượng thí sinh tham gia đông Ngoài ra, khi có mong muốn sử dụng các bài khảo sát đã cho vào những thời điểm khác nhau, hoặc cải thiện độ tin cậy điểm số trên các bài chấm giảm sự tác động đến kết quả do

sự chủ quan và thiếu sót của người chấm bài Do đó, khi có nhiều câu trắc nghiệm được chọn lựa và sàng lọc kỹ càng qua các lần tổ chức thi ta có thể xây dựng nên các bộ đề thi đạt chuẩn đề ra, giúp việc đánh giá và phân loại thí sinh trở nên xác thực và khách quan hơn

Có thể thấy việc đánh giá chất lượng câu hỏi dựa trên khai thác dữ liệu tổ chức và đánh giá của các kì thi là một tư vấn tốt giúp người ra đề cải thiện lại các câu hỏi chưa tốt, qua đó góp phần giảm thiểu các hạn chế của việc đánh giá kiến thức bằng hình thức trắc nghiệm Bên cạnh đó, hệ thống trắc nghiệm giúp thống kê tổng hợp số liệu là tiền đề hỗ trợ cho các nhà quản lý giáo dục nắm bắt phương hướng và xu thế trong việc tiếp nhận kiến thức của thí sinh, qua đó điều chỉnh phương pháp, kỹ thuật trong việc dạy và học

Đối với đánh giá dựa trên phương pháp thực nghiệm mang tính khách quan cao hơn và phù hợp hơn với trình độ chung thực tế của thí sinh, tiết kiệm nhiều chi phí và thời gian trong công tác đánh giá Căn cứ trên các phương án chọn của thí sinh và các trường hợp bất thường trong bài thi trắc nghiệm để từ đó hỗ trợ người dùng xem xét nội dung, câu từ trong cách diễn đạt, phương án chọn đúng của câu hỏi,… cập nhật lại để nâng cao chất lượng câu hỏi trắc nghiệm

Thực tế hiện nay việc xây dựng các bộ đề thi trắc nghiệm khách quan được giao cho các nhóm giảng viên phụ trách môn học thực hiện Các giảng viên xây dựng bộ đề hầu hết đều theo kinh nghiệm chủ quan của mình, chưa được trang bị đầy đủ về kiến thức và kỹ năng thiết kế đề thi trắc nghiệm Các đề thi do giảng viên soạn thảo được đưa vào ứng dụng trực tiếp, không qua quá trình thử nghiệm và đánh giá Chính vì vậy phân bố điểm thi không thể hiện tính chuẩn, do còn có nhiều câu hỏi kém chất lượng Như chúng ta biết, hiện nay chưa có công trình nào nghiên cứu cụ thể về vấn đề này Vì vậy chưa có một kết luận chính xác về độ tin cậy, độ giá trị của các bộ đề thi trắc nghiệm khách quan cũng như các yếu tố ảnh hưởng đến chất lượng bộ đề trắc nghiệm

Đề tài này được sự đồng thuận của Ban giám hiệu Trường Đại học Kinh tế Công nghiệp Long An đồng ý cho học viên tham chiếu về chương trình đào tạo, kết quả học tập các môn đại cương tin học, khảo sát thí sinh bằng hình thức tổ chức thi trắc nghiệm trực tuyến Đây là đề tài rất quan trọng đối với sinh viên và nhà trường

để tạo điều kiện tốt cho các hoạt động giảng dạy và học tập

2 Mục tiêu nghiên cứu

Mục tiêu của đề tài là xây dựng một hệ thống hỗ trợ một số công tác trong thi trắc nghiệm trực tuyến Cụ thể hệ thống sẽ hỗ trợ nhập câu hỏi vào ngân hàng câu hỏi; hỗ trợ tạo bộ đề thi; hỗ trợ công tác thi trực tuyến; và hỗ trợ đánh giá chất lượng câu hỏi bằng phương pháp thực nghiệm

3 Đối tượng và phạm vi nghiên cứu

Đối tượng nghiên cứu

- Các kỹ thuật nhập liệu và lưu trữ các dạng câu hỏi phổ biến: câu hỏi một lựa chọn, câu hỏi nhiều lựa chọn, dạng câu đúng sai

- Các kỹ thuật hỗ trợ tạo bộ đề thi tự động

- Các kỹ thuật tổ chức thi trắc nghiệm trực tuyến

- Các phương pháp đánh giá chất lượng câu hỏi và đề thi trắc nghiệm

- Sử dụng nền tảng NET mô hình MVC, cơ sở dữ liệu Microsoft SQL Server

4 Ý nghĩa khoa học và thực tiễn của đề tài

Đề tài tập trung vào một số vấn đề sau đây của bài toán xây dựng hệ hỗ trợ kiểm tra đánh giá kiến thức:

Xây dựng ngân hàng câu hỏi Đề tài thực hiện tổ chức lưu trữ câu hỏi trắc

nghiệm theo cấu trúc phân cấp (theo lĩnh vực, độ khó, tình trạng, thể loại,…) thuận lợi cho việc tìm kiếm và quản lý Cung cấp đầy đủ hình thức (form) nhập liệu cho từng loại câu hỏi khác nhau Bên cạnh đó, thông thường giảng viên soạn thảo câu hỏi trắc nghiệm trên chương trình Microsoft Word quen thuộc trong công tác giảng dạy, chương trình Microsoft Word hỗ trợ tốt cho việc chèn các đối tượng đồ họa, đồng thời là nơi lưu trữ ngoại tuyến để giảng viên có thể soạn thảo khi không có

điều kiện về kết nối mạng Internet Đề tài thực hiện nghiên cứu và cài đặt giải pháp

hỗ trợ việc nhập các câu hỏi trắc nghiệm từ tập tin Microsoft Word và lưu trữ

chúng vào ngân hàng câu hỏi

Tạo bộ đề thi trắc nghiệm Các hệ thống hỗ trợ tổ chức thi trắc nghiệm cho

phép lựa chọn theo nhiều tiêu chí ra đề thi trắc nghiệm Việc giảng viên ra đề thi và đánh giá đề thi theo từng mức độ (dễ, trung bình, khó) thật sự không đơn giản Đề

tài thực hiện nghiên cứu và cài đặt giải pháp hỗ trợ đánh giá mức độ của đề thi căn

cứ vào mức độ của câu hỏi trắc nghiệm

Đánh giá chất lượng câu hỏi Đề tài nghiên cứu cài đặt một số kỹ thuật

đánh giá chất lượng câu hỏi bằng phương pháp thực nghiệm Bên cạnh đó, đề tài còn thực hiện nghiên cứu phân tích về các trường hợp bất thường của câu hỏi trắc

nghiệm hỗ trợ giảng viên đánh giá lại nội dung của câu hỏi để điều chỉnh lại thang

đo cho phù hợp

Được sự đồng thuận của Ban giám hiệu Trường Đại học Kinh tế Công nghiệp Long An về việc phát triển hệ thống thi trắc nghiệm lộ trình ban đầu áp dụng cho các môn tin học cơ bản (được đào tạo ở tất cả các khoa trong trường, số lượng sinh viên tham gia khá đông tạo điều kiện cho việc đánh giá chất lượng câu hỏi được tốt hơn)

Phần mềm trắc nghiệm được lãnh đạo khoa Công nghệ thông tin xem xét cho phép thực hiện thử nghiệm trong các giờ thực hành cho sinh viên khoa Kế toán - Trường Đại học Kinh tế Công nghiệp Long An, thi thử trong thời gian 60 phút tại phòng thực hành của Trường Sau khi có kết quả đánh giá và cho phép triển khai, kết quả phần mềm trắc nghiệm Trường yêu cầu tiếp tục hoàn thiện sẽ xem xét đưa thực hiện bước hai sau đó cho thi giữa kỳ môn Tin học đại cương trong năm học tới Trong thời gian tới, tiếp tục khảo sát số lượng mẫu sinh viên nhiều hơn để các chỉ

số đánh giá mang lại hiệu quả cao, phần mềm thi trắc nghiệm được lãnh đạo Trung tâm Ngoại ngữ - Tin học của Trường xem xét ứng dụng trong kỳ thi sát hạch chuẩn

kỹ năng sử dụng Công nghệ thông tin cơ bản, các thí sinh vượt qua kỳ thi sát hạch này sẽ được cấp chứng chỉ do Bộ Giáo dục và Đào tạo, Bộ Thông tin truyền thông quy định tại Thông tư liên tịch số 17/2016/TTLT-BGDĐT-BTTTT ngày 21 tháng 6 năm 2016

CHƯƠNG 1: TỔNG QUAN VỀ TRẮC NGHIỆM

Trong chương này, chúng ta sẽ nghiên cứu tổng quan về lý thuyết trắc nghiệm: thế nào là trắc nghiệm khách quan; các hình thức về trắc nghiệm; các nguyên tắc ràng buộc khi ra đề thi trắc nghiệm,… Trên cơ sở lý thuyết đó, chúng ta khảo sát và đưa ra một số nhận xét đánh giá cho các phần mềm thi trắc nghiệm trực tuyến đã có hiện nay tại Việt Nam

1.1 - TRẮC NGHIỆM KHÁCH QUAN

1.1.1 - Trắc nghiệm khách quan trong giáo dục

Trắc nghiệm theo nghĩa rộng là một phép lượng giá cụ thể mức độ khả năng thể hiện hành vi trong lĩnh vực nào đó của một người cụ thể nào đó

Phương pháp trắc nghiệm khách quan là một trong những dạng trắc nghiệm viết, kỹ thuật trắc nghiệm này được dùng phổ biến để đo lường năng lực của con người trong nhận thức, hoạt động và cảm xúc Phương pháp trắc nghiệm khách quan đã được ứng dụng rộng rãi trong lĩnh vực như y học, tâm lý, giáo dục … ở nhiều nước

Trong lĩnh vực giáo dục, trắc nghiệm khách quan đã được sử dụng rất phổ biến tại nhiều nước trên thế giới trong các kỳ thi để đánh giá năng lực nhận thức của người học, tại nước ta trắc nghiệm khách quan được sử dụng trong các kỳ thi tuyển sinh cao đẳng, đại học và kỳ thi kết thúc học phần tại nhiều trường, hoặc để tuyển chọn một số người có năng lực nhất vào học một khóa học

Để ứng dụng trắc nghiệm khách quan đánh giá năng lực nhận thức của người học một việc vô cùng quan trọng là cần phải xây dựng bộ đề thi trắc nghiệm có chất lượng, có thể mô tả qua lưu đồ (Flowchart) sau:

Hình 1-1: Sơ đồ quá trình xây dựng bộ đề thi trắc nghiệm

:Tiến hành kiểm tra, thi với số lượng đủ lớn

:Căn cứ vào bài làm của người học, thu thập số liệu cho từng câu hỏi từng

:Loại bỏ những câu không đạt yêu cầu

: Đối với những câu, đề đạt yêu cầu, tiến hành hoàn thiện để trở về bước  tiếp tục kiểm tra, đánh giá

Qua lưu đồ trên ta thấy, chất lượng bộ đề thi ngày càng được nâng cao thông qua việc đánh giá dựa trên kết quả bài làm của một tập hợp thí sinh qua các kỳ thi, chất lượng câu hỏi trắc nghiệm ngày càng được hoàn thiện và đánh giá đúng năng lực của thí sinh

1.1.2 - Các loại câu hỏi trắc nghiệm khách quan

Theo chuẩn IMSQTI (IMS Question and Test Interoperability – Các định dạng để xây dựng và trao đổi thông tin về đánh giá kết quả học tập) các câu hỏi trắc nghiệm có thể được đặt dưới nhiều hình thức khác nhau Bất cứ hình thức trắc nghiệm nào cũng có những ưu khuyết điểm của nó và vấn đề quan trọng đối với người soạn thảo là biết công dụng của mỗi loại để lựa chọn hình thức câu trắc nghiệm nào thích hợp nhất cho việc khảo sát khả năng hay kiến thức mà ta định đo lường Sau đây là một số hình thức câu trắc nghiệm thông dụng nhất đang được nhiều người quan tâm sử dụng [1] [2] [3] [4]

Loại câu hỏi này rất thông dụng vì nó có vẻ như dễ sử dụng Sau đây là những nhận xét về ưu điểm và hạn chế của hình thức trắc nghiệm này

- Ưu điểm: Trắc nghiệm Đúng - Sai có vẻ đơn giản vì người soạn không cần

phải tìm thêm ra nhiều phát biểu khác để người học so sánh và lựa chọn, có thể soạn được nhiều câu trắc nghiệm khảo sát bất kỳ nội dung nào của từng bài học

Hình thức câu trắc nghiệm này gọn gàng, ít tốn giấy Một trang giấy khổ A4

có thể ghi được 20 câu trắc nghiệm

- Hạn chế: Xác suất may rủi của từng câu trắc nghiệm Đúng- Sai là 50%

Sinh viên có cơ may đúng 50% hoàn toàn bằng lối đoán mò

Câu trắc nghiệm Đúng - Sai được trích ra từ sách giáo khoa có thể khuyến khích và tưởng thưởng những học sinh học thuộc lòng như vẹt mà chưa hiểu thấu đáo hay chỉ nhận ra một số câu chữ quen thuộc cũng đủ biết câu nào đúng hay sai

Những câu trắc nghiệm loại này thường bị tách ra khỏi văn bản và không có căn bản để so sánh và thẩm định tính đúng - sai tương đối của chúng

- Một số lưu ý:

Nên sử dụng loại trắc nghiệm này một cách thận trọng Trong nhiều trường hợp, ta có thể cải biến những câu Đúng- Sai thành những câu trắc nghiệm nhiều lựa chọn mà không làm giảm đi tính chính xác của việc đo lường

Những câu phát biểu cần phải dựa trên những ý niệm căn bản mà tính đúng- sai phải chắc chắn, không tùy thuộc vào quan niệm riêng của từng người, từng tác giả hay dựa trên một giả định đặc biệt hay bất thường nào đó

Nên lựa chọn những câu phát biểu mà người có khả năng trung bình không thể nhận ra ngay là đúng hay sai nếu không suy nghĩ, phán đoán

Mỗi câu trắc nghiệm chỉ nên diễn tả một ý tưởng duy nhất, tránh những câu phức tạp, bao gồm nhiều chi tiết

Không nên chép nguyên văn những câu trích trong sách giáo khoa, vì như vậy chỉ khuyến khích học thuộc lòng một cách máy móc

Tránh dùng những từ như "tất cả", "không bao giờ", "không thể nào" vì đây thường là những câu sai Tương tự, những từ "thường", "đôi khi", "một số" thường được dùng cho câu đúng Sinh viên có nhiều kinh nghiệm có thể khám phá

ra điều này một cách dễ dàng

b) Trắc nghiệm đối chiếu cặp đôi

Đây là dạng câu trắc nghiệm gồm có 2 cột, cột bên trái là danh sách các câu hỏi khái niệm, cột bên phải là danh sách các phương án lựa chọn cho câu hỏi bên trái Người làm bài phải chọn trong cùng một tập hợp các lựa chọn câu nào hay từ nào phù hợp nhất với mỗi câu trắc nghiệm đã cho

- Nhược điểm

+ Vẫn tồn tại những nhân tố đoán mò

+ Loại câu hỏi trắc nghiệm ghép đôi không thích hợp cho việc thẩm định các khả năng như sắp đặt và vận dụng các kiến thức Muốn soạn loại câu hỏi này để đo mức trí năng cao đòi hỏi nhiều công phu Ngoài ra nếu danh sách mỗi cột dài thì tốn nhiều thời gian cho thí sinh đọc nội dung mỗi cột trước khi ghép đôi

Hai lỗi thông thường trong việc soạn các câu trắc nghiệm loại này là:

- Đặt số lựa chọn ở cột bên phải bằng số lựa chọn ở cột bên trái Nếu số câu

ở hai cột bằng nhau, người học sau khi biết được hầu hết các câu có thể đoán đúng được một, hai câu còn lại Vì vậy, ta nên dành số lựa chọn ở cột bên phải nhiều hơn

ở cột bên trái

- Câu hỏi cũng như cột lựa chọn quá dài, người học mất nhiều thì giờ để chọn câu tương ứng trong số các lựa chọn đã cho, trong đó có nhiều câu thừa và không thích hợp

c) Trắc nghiệm điền khuyết

Các câu điền khuyết có thể là các câu hỏi với những giải đáp ngắn hay là các câu phát biểu với một hay nhiều chỗ để trống mà sinh viên phải điền vào một từ hay một nhóm từ Tuy nhiên, dù ở dạng nào, chúng cũng thiếu hai lợi điểm quan trọng của trắc nghiệm khách quan là cách chấm điểm không dễ dàng và điểm số không mang tính khách quan

Chúng ta có thể sử dụng loại câu điền khuyết trong một bài trắc nghiệm khách quan thuộc các trường hợp:

- Các câu trả lời rất ngắn và tiêu chuẩn đúng- sai rõ ràng

- Khi không tìm ra được mồi nhử tối thiểu cần thiết cho loại câu nhiều lựa chọn, thay vì cố tìm thêm những mồi nhử vô nghĩa cho đủ số, ta có thể dùng loại câu điền khuyết

d) Trắc nghiệm nhiều lựa chọn

Câu nhiều lựa chọn là loại câu hỏi trắc nghiệm gồm một phát biểu căn bản gọi là câu dẫn (phần gốc) đi kèm với nhiều câu trả lời cho sẵn gọi là câu chọn (phần lựa chọn) Phần gốc là một câu hỏi hay một câu bỏ lửng (câu chưa hoàn tất) Phần lựa chọn thường gồm 4 hay 5 câu trả lời hay câu bổ túc cho sinh viên lựa chọn, Phần này có một câu đúng hoặc đúng nhất, phần còn lại là những "mồi nhử" So với các câu hỏi trắc nghiệm đã được đề cập đến ở trên, câu hỏi nhiều lựa chọn ngoài một vài điểm yếu như khó tìm mồi nhử hay khó đo được những trình độ ở mức độ tinh vi, còn có các điểm mạnh sau đây:

+ Do có nhiều phương án lựa chọn và phải chọn phương án đúng nhất, người học phải so sánh, suy luận và cân nhắc trước khi chọn nên có thể sử dụng loại câu hỏi này để đánh giá nhiều loại mục tiêu dạy học ở nhiều trình độ nhận thức khác

+ Do tính chất nhiều phương án nên yếu tố may rủi giảm, vì vậy độ giá trị và

độ tin cậy cao hơn

+ Có thể áp dụng các kỹ thuật phân tích câu hỏi để đánh giá và hiệu chỉnh các câu hỏi để sử dụng lại các câu hỏi tốt

- Quy tắc soạn thảo: khi soạn thảo câu hỏi trắc nghiệm dạng nhiều lựa chọn,

cần chú ý các quy tắc sau đây:

+ Sự thỏa đáng về nội dung: Câu hỏi chỉ hỏi về một vấn đề và hỏi đúng vấn

đề cần hỏi; Phù hợp với trình độ của người học; Đủ thời gian trả lời câu hỏi; Độ khó của câu hỏi ở khoảng vừa phải

+ Sự trong sáng về hình thức: Câu văn đầy đủ, rõ ràng, ngắn gọn; Lời văn trong sáng, dễ hiểu; Từ ngữ chọn lọc, chính xác

+ Sự kín đáo: Câu hỏi không có manh mối để người học có thể đoán câu đúng; Câu nhiễu hay mồi nhử phải thật sự gây nhiễu; Lựa chọn đúng nên sắp ngẫu nhiên trong toàn bài

+ Sự thận trọng và chính xác: Lựa chọn đúng phải hoàn toàn đúng; Không có hai lựa chọn đúng giống nhau; Kiểm tra nhiều lần cả về nội dung và hình thức các câu hỏi

+ Số lượng các câu chọn vừa phải: Các câu chọn nếu quá ít thì xác suất may mắn sẽ cao; Các câu chọn nếu quá nhiều sẽ khó biên soạn và độ nhiễu cao, không cần thiết

- Quy trình soạn thảo:

Những câu trắc nghiệm nhiều lựa chọn thường được biên soạn theo những trình tự và nguyên tắc sau:

+ Lựa chọn những ý tưởng quan trọng và viết ra những ý tưởng ấy một cách

rõ ràng để làm căn cứ cho việc soạn thảo các câu trắc nghiệm Ta chọn những ý tưởng quan trọng làm căn bản cho việc soạn thảo vì các ý tưởng này chính là nền tảng cho việc giảng dạy các môn học

- Chọn các ý tưởng và viết các câu trắc nghiệm sao cho có thể phân biệt tối

đa sinh viên giỏi và sinh viên yếu kém Mỗi câu trắc nghiệm phải được soạn thảo sao cho có độ phân cách tốt, nghĩa là đa số sinh viên giỏi sẽ trả lời đúng, đa số sinh viên kém sẽ trả lời sai câu hỏi ấy

- Khi bắt đầu viết câu trắc nghiệm, ta bắt đầu viết câu dẫn (phần gốc) của câu trước, dưới dạng một câu hỏi hay một câu bỏ lửng Tiếp theo, ta soạn ngay câu trả lời được dự định cho là đúng vì đây là câu quan trọng nhất Ta sắp xếp các câu đúng theo lối ngẫu nhiên từ một đến bốn nếu câu có bốn lựa chọn

- Phần gốc của câu trắc nghiệm cần phải đặt vấn đề một cách ngắn gọn, sáng sủa và phải hàm chứa vấn đề mà ta muốn hỏi

1.1.3 - Ưu và nhược điểm của trắc nghiệm khách quan

- Người ra đề tốn nhiều công sức và thời gian

- Cho phép và đôi khi khuyến khích sự phỏng đoán của thí sinh

1.1.4 - Các tham số đặc trưng cho một câu hỏi và đề trắc nghiệm

Trong đo lường giáo dục, hai hệ lý thuyết đánh giá cơ bản dưới đây đang được sử dụng:

+ Lý thuyết trắc nghiệm cổ điển (Classical Test Theory)

+ Lý thuyết trắc nghiệm hiện đại (Modern Test Theory)

Mục đích của việc phân tích câu hoặc đề trắc nghiệm là nhằm:

+ Biết được mức độ khó dễ của từng câu/đề

+ Chọn được các câu có độ phân cách cao, nghĩa là phân biệt được sinh viên giỏi với sinh viên kém

+ Biết được lý do tại sao câu trắc nghiệm không đạt được hiệu quả mong muốn và cần phải sửa đổi như thế nào để có được câu/đề trắc nghiệm tốt hơn

Để phân tích một câu/đề trắc nghiệm ta sẽ dựa trên các phương diện sau: + Độ khó

+ Độ phân cách

+ Độ tin cậy (mức độ chính xác của phép đo)

+ Độ giá trị (mức độ đạt mục tiêu của phép đo: đo được cái cần đo)

a) Lý thuyết trắc nghiệm cổ điển (Classical Test Theory – CTT)

Lý thuyết trắc nghiệm cổ điển được bắt đầu xây dựng từ đầu thế kỷ 20 và hoàn thiện dần cho đến thập niên 1970 [5] [6] [2] [3] [7] [8] [9]

Độ khó của câu hỏi trắc nghiệm (Difficulty Index)

Khi thực hiện một bài trắc nghiệm, ta thường thấy rằng bài trắc nghiệm đó dễ dàng thực hiện khi ta biết giải đáp hầu hết các câu hỏi, ngược lại bài trắc nghiệm đó khó nếu ta không biết giải đáp cho phần lớn các câu hỏi Nhưng chắc chắn ta sẽ thấy khó có thể giải thích được tại sao một số câu hỏi lại khó hơn một số câu hỏi

khác Các nhà đo lường giáo dục và tâm lý cũng gặp phải vấn đề khó khăn như vậy trong việc giải thích và định nghĩa tính chất khó hay dễ của các câu trắc nghiệm căn

cứ vào đặc tính nội tại của chúng Vì vậy, họ áp dụng lối định nghĩa độ khó của câu trắc nghiệm căn cứ vào số người trả lời đúng câu trắc nghiệm Nếu tất cả mọi người đều lựa chọn câu giải đáp đúng, câu trắc nghiệm ấy được xem như là dễ Nếu chỉ có một người trong rất nhiều người trả lời đúng câu trắc nghiệm thì câu trắc nghiệm ấy chắc chắn là quá khó

Độ khó của câu trắc nghiệm được tính theo công thức:

𝑃𝑖 =𝑛𝑖𝑁

Trong đó, P i là độ khó của câu trắc nghiệm thứ i

n i là số người trả lời đúng câu thứ i

N là tổng số người làm bài trắc nghiệm

Thí dụ: Một bài trắc nghiệm có 100.000 thí sinh làm bài, câu trắc nghiệm thứ nhất có 75.000 thí sinh làm đúng thì độ khó của câu trắc nghiệm đó là: 75000/100000 = 0.75

Như vậy, độ khó 𝑃𝑖 ∈ [0,1], từ đó cho thấy nếu P i càng tiến về giá trị 0 thì

câu hỏi trắc nghiệm i này rất khó, và ngược lại

Như vậy, nếu hai câu hỏi có độ khó giống nhau (p = 0.5 chẳng hạn), ta kết luận hai câu hỏi này có mức độ khó như nhau thì chưa chuẩn xác, ta cần xét đến thuộc tính loại của câu trắc nghiệm Mỗi loại câu hỏi trắc nghiệm (đa lựa chọn, điền khuyết, ghép đôi,…) có độ khó riêng, thí sinh chọn đáp án trả lời cũng có độ may rủi Như vậy để đưa ra mức độ (khó, trung bình, dễ) của câu hỏi thì cần so sánh độ khó của câu hỏi với độ khó trung bình của loại câu hỏi:

𝑃𝑡𝑏 =100% + 𝑡

2

Trong đó: P tb là độ khó trung bình của loại câu hỏi

t là tỉ lệ phần trăm may rủi của loại câu hỏi

Mỗi loại câu trắc nghiệm có tỉ lệ phần trăm may rủi khác nhau: Đối với câu trắc nghiệm đúng/sai tỉ lệ may rủi là 50%, câu có 4 lựa chọn tỉ lệ may rủi là 25%, câu có 5 lựa chọn tỉ lệ may rủi là 20%

Sau khi biết được câu trắc nghiệm là dễ hay khó so với trình độ của sinh viên, căn cứ vào mục tiêu của bài trắc nghiệm mà chọn câu trắc nghiệm cho phù hợp:

+ Nếu mục tiêu của bài trắc nghiệm là nhằm chọn những sinh viên có năng khiếu xuất sắc thì người soạn trắc nghiệm có thể lựa chọn các câu khó hoặc rất khó,

mà độ khó thì được tính từ cuộc khảo sát một lớp sinh viên có cùng trình độ trước

đó

+ Khi cần khảo sát năng lực của sinh viên ở một cuộc thi cử thông thường thì nên chọn các câu có độ khó vừa phải, hoặc có sự phân phối các câu có độ khó khác nhau như sau: Hoặc toàn bộ các câu đều có độ khó xấp xỉ độ khó vừa phải; hoặc đa

số các câu có độ khó vừa phải, còn từ khó đến rất khó hay câu dễ thì ít

Độ phân cách của câu trắc nghiệm (Discrimination Index)

Kết quả thực hiện câu trắc nghiệm phải cho phép phân biệt được sinh viên giỏi với sinh viên kém, nghĩa là phải làm sao cho một câu trắc nghiệm có khả năng phân cách cao

Độ phân cách của một câu trắc nghiệm là một chỉ số giúp phân biệt được sinh viên giỏi với sinh viên kém Vì vậy, một bài trắc nghiệm gồm toàn những câu trắc nghiệm có độ phân cách tốt sẽ là một công cụ đo lường có tính tin cậy cao

 Phương pháp tính độ phân cách theo lối thủ công

+ Sắp xếp các bài làm của sinh viên (đã chấm, cộng điểm) theo thứ tự tổng điểm từ cao đến thấp

+ Căn cứ trên tổng số bài trắc nghiệm, lấy 27% của tổng số bài làm có điểm

số từ bài cao nhất trở xuống xếp vào nhóm CAO và 27% tổng số bài làm có điểm số

từ bài thấp nhất trở lên xếp vào nhóm THẤP

+ Tính tỉ lệ phần trăm sinh viên làm đúng câu trắc nghiệm riêng cho từng nhóm bằng cách đếm số người làm đúng cho mỗi nhóm và chia cho số người của nhóm

+ Tính độ phân cách theo công thức:

𝐷𝑖 = 𝑃𝐶𝑖 − 𝑃𝑡𝑖

Trong đó, D i là độ phân cách của câu trắc nghiệm thứ i

P ci là độ khó của câu trắc nghiệm thứ i đối với nhóm CAO

P ti là độ khó của câu trắc nghiệm thứ i đối với nhóm THẤP Thí dụ: Bài trắc nghiệm môn Cầu lông có 28 câu do các bạn sinh viên năm thứ III Khoa Giáo dục thể chất, Đại học Sư phạm TP Hồ Chí Minh năm học 2003 –

2004 soạn, được đem khảo sát ở một lớp sinh viên Giáo dục thể chất ở một địa phương khác, thu được kết quả sau:

 Số bài trắc nghiệm thu được: 42 bài

 Điểm cao nhất: 22

 Điểm thấp nhất: 08

Tính số người trong mỗi nhóm là 42 * 27% = 11 Nhóm CAO được chọn từ bài có điểm là 22 trở xuống cho đến khi đủ 11 bài Nhóm Thấp được chọn từ bài có điểm thấp nhất là 08 điểm trở lên cho đến khi đủ 11 bài

Tiếp theo lập bảng tỉ lệ % làm đúng cho các câu 1, 13, 17, 27, 28 của nhóm cao và nhóm thấp

Trong đó, D là độ phân cách của câu trắc nghiệm

N là số bài làm (số thí sinh dự thi)

X là điểm số câu trắc nghiệm của mỗi thí sinh (X = 0 hoặc X = 1)

Y là tổng điểm bài làm của mỗi thí sinh

Thí dụ: Ta có tổng điểm (Y) và điểm số (X) về một câu trắc nghiệm của 16 thí sinh trong bảng tính sau đây

Bảng 1-2: Điểm bài làm và điểm câu trắc nghiệm

Bảng 1-3: Kết luận từ độ phân cách

𝐷 ≥ 0.40 Độ phân cách rất tốt 0.30 ≤ 𝐷 ≤ 0.39 Độ phân cách khá tốt

0.20 ≤ 𝐷 ≤ 0.29 Độ phân cách tạm được, câu trắc nghiệm

cần phải điều chỉnh

𝐷 ≤ 0.19 Độ phân cách kém, cần phải loại bỏ hoặc

chỉnh sửa lại rất nhiều

Độ tin cậy của bài trắc nghiệm

Độ tin cậy của bài trắc nghiệm là hệ số tương quan của tỉ lệ trả lời đúng/sai giữa các lần trắc nghiệm bằng các đề trắc nghiệm tương đương

Độ tin cậy của các điểm số đối với các bài trắc nghiệm giúp ta biết được trắc nghiệm đã đo lường cái mà nó định đo tốt đến mức nào Điều này có nghĩa là nếu cùng những sinh viên đó, ta cho làm cùng một bài trắc nghiệm lần thứ hai, thì kết quả thu được sẽ gần giống nhau đến mức nào

Độ tin cậy không phải là một thuộc tính của tự thân bài trắc nghiệm mà là thuộc tính của bài trắc nghiệm khi nó được đem ra áp dụng với nhóm thí sinh nào

đó Bài trắc nghiệm càng thích hợp với mức độ khả năng của nhóm bao nhiêu thì độ tin cậy của các điểm số lại càng cao Khả năng của các phần tử trong nhóm càng phân tán rộng thì độ tin cậy của các điểm số trên bài trắc nghiệm lại càng cao

Hệ số tương quan được sử dụng như là một số đo lường độ tin cậy Một trong các đặc tính của hệ số tương quan là nó cung cấp cho ta một thứ đo lường tương đối thay vì tuyệt đối về sự tương đồng giữa hai tập hợp điểm số của cùng một

số người Nếu sự khác biệt của các điểm số của cùng một người tương đối nhỏ so với sự khác biệt giữa các điểm số của những người khác nhau thì độ tin cậy của các điểm số về bài trắc nghiệm ấy sẽ cao Nhưng ngược lại, nếu sự khác biệt giữa các điểm số của cùng một người tương đối lớn so với sự khác biệt giữa những người khác nhau thì độ tin cậy sẽ thấp

Ta cần phải có hai số đo lường độc lập cho mỗi phần tử trong nhóm và các

số đo lường này được lấy ra từ những bài trắc nghiệm tương đương về cùng một đặc điểm (khả năng) nào đó

Có nhiều phương pháp nhằm có được những số đo lường độc lập cần thiết để phỏng định hệ số tin cậy của trắc nghiệm Thông dụng nhất hiện nay là phương pháp phân đôi bài trắc nghiệm và phương pháp Kuder Richardson Ngoài ra còn một số phương pháp khác nữa như: phương pháp trắc nghiệm hai lần, phương pháp

sử dụng các dạng trắc nghiệm tương đương…

Trắc nghiệm hai lần (kiểm tra – kiểm tra lại)

Phương pháp đơn giản nhất để có các số đo lường độc lập là ra một bài trắc nghiệm hai lần với cùng một nhóm thí sinh, rồi tính hệ số tương quan giữa hai tập hợp điểm số của lần thứ nhất và lần thứ hai

Đối với phương pháp này có khuyết điểm: Các giải đáp của thí sinh trong lần khảo sát thứ nhất không độc lập với các lần giải đáp sau, do bị ảnh hưởng của việc thí sinh nhớ lại cách giải đáp của mình trong lần thứ nhất hay do kinh nghiệm đã thu thập được sau lần khảo sát thứ nhất

Trắc nghiệm tương đương (equivalent forms)

Nếu ta có hai hay nhiều bài trắc nghiệm được soạn thảo làm sao cho các điểm số trên hai bài trắc nghiệm ấy tương đương với nhau, và nếu mỗi sinh viên trong nhóm đều làm cả hai bài trắc nghiệm, thì hệ số tương quan giữa hai tập hợp điểm số về hai bài ấy sẽ là số phỏng định hệ số tin cậy của chúng Nhưng việc soạn thảo những bài trắc nghiệm tương đương như vậy rất công phu và phức tạp, cho nên việc tính hệ số tin cậy theo cách này rất ít khi sử dụng

Phân đôi trắc nghiệm (split halves method)

Một bài trắc nghiệm duy nhất được phân ra thành hai nửa tương đương Hai nửa này được xem như là hai bài trắc nghiệm phụ và các điểm số của chúng là những điểm số độc lập cần thiết để tính độ tin cậy Thông thường, người ta phân bài

người ta tính hệ số tương quan giữa điểm số các câu lẻ (X) với điểm số các câu chẵn (Y) theo công thức:

𝑟𝑥𝑦 = 𝑁 ∑ 𝑋𝑌 − ∑ 𝑋 ∑ 𝑌

√[𝑁 ∑ 𝑋2− (∑ 𝑋)2][𝑁 ∑ 𝑌2− (∑ 𝑌)2]

Để có một số phỏng định độ tin cậy của toàn bài trắc nghiệm, người ta còn phải điều chỉnh hệ số tương quan giữa hai bài trắc nghiệm ngắn thành hệ số tương quan của một bài trắc nghiệm dài gấp đôi Điều này có thể thực hiện được bằng công thức Spearman – Brown

Công thức tổng quát của Spearman – Brown được sử dụng để tiên đoán sự gia tăng độ tin cậy bằng cách tăng chiều dài của bài trắc nghiệm:

𝑟𝑛 = 𝑛𝑟𝑠(𝑛 − 1)𝑟𝑠+ 1

Trong đó: n là hệ số độ dài của bài trắc nghiệm

𝒓𝒔 là hệ số tương quan Khi ta cần tiên đoán độ tin cậy của một bài trắc nghiệm dài gấp đôi như trong trường hợp phỏng định độ tin cậy theo phương pháp phân đôi bài trắc nghiệm thì công thức tính sẽ như sau:

𝑟 = 2𝑟𝑥𝑦

𝑟𝑥𝑦 + 1

Trong đó: r là độ tin cậy của toàn bài trắc nghiệm

𝒓𝒙𝒚 là hệ số tương quan giữa các điểm số chẵn (X) và các điểm số

lẻ (Y) đã tính ở trên (hay độ tin cậy của một nửa bài trắc nghiệm)

Thí dụ: Một bài trắc nghiệm sẽ được phân đôi thành 2 bài trắc nghiệm ngắn mang những câu hỏi số chẵn và những câu hỏi số lẻ Có 11 thí sinh làm 2 bài trắc nghiệm ngắn trên, gọi:

X: tổng số điểm của một thí sinh làm bài trắc nghiệm câu hỏi lẻ

Y: tổng số điểm của một thí sinh làm bài trắc nghiệm câu hỏi chẵn

Các số điểm của mỗi thí sinh như sau:

Bảng 1-4: Bảng thí dụ điểm số của mỗi thí sinh

Độ tin cậy toàn bài trắc nghiệm:

𝑟 = 2𝑟𝑥𝑦

𝑟𝑥𝑦 + 1=

2 ∗209437209

437+ 1

= 0.647

Tuy nhiên, độ tin cậy theo phương pháp phân đôi trắc nghiệm có thể không mang lại kết quả chính xác vì độ tin cậy có thể thay đổi tùy theo bố cục của bài kiểm tra Để khắc phục nhược điểm trên, ta có thể sử dụng công thức Kuder – Richardson như sau:

𝑟 = 𝑘

𝑘 − 1(1 −∑ 𝜎𝑖

2

𝜎2 )

Trong đó, k là số câu hỏi trong bài trắc nghiệm

𝝈𝒊𝟐 là biến lượng (độ lệch tiêu chuẩn bình phương) của mỗi câu trắc nghiệm

𝝈𝟐 là biến lượng của bài trắc nghiệm, tức là biến lượng điểm của các cá nhân trong nhóm về toàn thể bài trắc nghiệm

Kuder – Richardson cũng đưa ra công thức khác suy ra từ công thức trên khi câu trắc nghiệm làm đúng là 1 và câu làm sai tính là 0 Công thức này được gọi là công thức Kuder – Richardson 20

𝑟 = 𝑘

𝑘 − 1(1 −∑ 𝑝𝑞

𝜎2 )

Trong đó, k là số câu hỏi trong bài trắc nghiệm

p là tỉ lệ số trả lời đúng cho một câu trắc nghiệm (độ khó câu trắc nghiệm)

q là tỉ lệ số trả lời sai cho một câu trắc nghiệm

𝝈𝟐 là biến lượng của bài trắc nghiệm, tức biến lượng điểm của các cá nhân trong nhóm về toàn thể bài trắc nghiệm

𝜎2 =𝑁 ∑ 𝑌

2− (∑ 𝑌)2𝑁(𝑁 − 1)

Trong đó, N là số thí sinh tham gia làm bài trắc nghiệm

Y là tổng điểm bài làm của mỗi thí sinh

Thí dụ: Bài trắc nghiệm gồm 10 câu, có 10 thí sinh dự thi Tổng điểm bài làm của các thí sinh như sau:

Bảng 1-5: Điểm bài làm của một thí sinh

Độ khó của các câu trắc nghiệm

Bảng 1-6: Tính giá trị pq của câu trắc nghiệm

sự chênh lệch điểm của từng câu hỏi Do đó, khi độ khó của các câu hỏi không khác nhau nhiều, áp dụng công thức Kuder – Richardson 21 sẽ dễ tính toán hơn

Từ đó có thể kết luận độ tin cậy của bài trắc nghiệm như sau:

Bảng 1-7: Bảng kết luận từ độ tin cậy

Trên 0.7 Bài trắc nghiệm có độ tin cậy tạm chấp

nhận

chắc chắn phải có nhiều câu hỏi cần chỉnh sửa

Độ khó của bài trắc nghiệm

Phương pháp đơn giản để xét độ khó của bài trắc nghiệm là đối chiếu điểm

số trung bình (mean) của bài trắc nghiệm ấy với điểm trung bình lý tưởng của nó

Điểm trung bình lý tưởng là trung điểm giữa điểm tối đa có thể có được và điểm may rủi kỳ vọng của nó Điểm may rủi kỳ vọng này bằng số câu hỏi trắc nghiệm chia với số lựa chọn cho mỗi câu Như vậy, với một bài trắc nghiệm 50 câu, mỗi câu có 5 lựa chọn, thì điểm may rủi kỳ vọng là 50/5 = 10, và trung bình lý tưởng của bài trắc nghiệm ấy là (10 + 50)/2 = 30 Nếu trung bình quan sát (tức trung bình tính được từ một mẫu thí sinh làm bài trắc nghiệm ấy) trên hay dưới 30 quá xa thì bài trắc nghiệm ấy có thể là quá dễ hay quá khó

Sở dĩ ta lấy điểm trung bình để xác định mức khó hay dễ của bài trắc nghiệm

là vì điểm trung bình bị chi phối hoàn toàn bởi độ khó trung bình của các câu hỏi tạo thành bài trắc nghiệm ấy Thí dụ, trong một bài trắc nghiệm có 60 câu hỏi mà tỉ

lệ trả lời đúng các câu hỏi ấy có trị số trung bình là 75% thì điểm số trung bình của bài trắc nghiệm ấy phải là 45 Nếu, nói chung, các câu hỏi khó hơn thế thì điểm trung bình của bài trắc nghiệm tất nhiên sẽ phải thấp hơn nữa

Một phương pháp giản dị hơn nữa để phỏng định độ khó của bài trắc nghiệm đối với một nhóm sinh viên hay một lớp học là quan sát phân bố điểm của bài trắc nghiệm ấy Nếu trung bình của bài trắc nghiệm nằm xấp xỉ hay ngay ở trung điểm của hàng số giữa điểm cao nhất và thấp nhất, và nếu không có điểm 0 hoặc điểm tối

đa thì ta có thể chắc chắn rằng bài trắc nghiệm ấy thích hợp cho nhóm sinh viên ta

khảo sát Thí dụ, với một bài trắc nghiệm 80 câu, ta có điểm trung bình là 42 và hàng số là từ 10 điểm (thấp nhất) đến 75 điểm (cao nhất) Các dữ kiện ấy cho ta biết rằng bài trắc nghiệm ấy có độ khó vừa phải cho nhóm sinh viên được khảo sát Mặt khác, nếu cũng bài trắc nghiệm ấy được ra cho một nhóm sinh viên khác, ta thấy điểm trung bình 69 và hàng số điểm là 50 đến 80, như vậy rõ ràng là bài trắc nghiệm ấy dễ đối với nhóm thứ hai này Ngược lại, nếu ta có trung bình là 15 và hàng số điểm từ 0 đến 40, ta có thể tin chắc rằng bài trắc nghiệm quá khó đối với chúng

Ngoài cách tính trên, tác giả đề xuất phương pháp tính độ khó của đề thi dựa vào tỉ lệ phần trăm câu hỏi ở mức độ khó, dễ, trung bình Từ đó đưa ra kết luận về mức độ khó của đề thi như sau:

Gọi Q là các đề thi tối ưu được soạn ra từ CauHoi (Q  CauHoi), bài toán ra

đề thi được mô tả bằng một sơ đồ ánh xạ f như sau:

Q (t, l, k, m) = f(CauHoi, T, L, K) (*)

Trong đó T, L, K: là các tham số điều kiện yêu cầu đầu vào:

+ T: tập các chủ đề kiến thức cần kiểm tra, T = {T1,T2,…, Tn}

+ L: tập độ khó của các chủ đề yêu cầu tương ứng L = { , , , }

2

1 T T n

L + K: tập các tỉ lệ % phân bổ kiến thức yêu cầu tương ứng,

Với biến ngôn ngữ Độ khó có các tập mờ

Miền giá trị vật lý của các ngôn ngữ này là từ 1 đến 10

Giá trị ngôn ngữ này được mô tả bằng một tập mờ có hàm thuộc như sau:

Hình 1-2: Miền giá trị vật lý thể hiện độ khó của đề thi

3 L 1 neu 1

3

5 L 3 neu 3

5

7 L 5 neu 5

7

9 L 7 neu 7

9

L

L

RD D TB K

RK

1 3 5 7 9

9 L

9 L neu

3 Q 1 neu 1

Q 3

3 Q

5 Q 3 neu 3

Q 5

5 Q

7 Q 5 neu 5

Q 7

7 Q

9 Q 7 neu 7

Q 9

9 Q

9 Q neu

Thí dụ: Chọn 60 câu hỏi theo bảng thống kê sau đây

- Thời gian thi: t = t1 + t2 + t3 + … + t18 = 2 + 5 + 3 + … + 3 = 60 phút

- Số câu Medium là x = 29 (~48%); Difficult là y = 18 (~30%); Easy là z =

13 (~22%)

- Theo công thức tính được độ khó k = 7.8 Như vậy đề thi thuộc mức độ

khó

b) Lý thuyết trắc nghiệm hiện đại (Modern Test Theory – MTT)

Trong bất kỳ lĩnh vực khoa học kỹ thuật nào, để thực hiện một phép đo cũng cần tác động một thước đo lên đối tượng đo, từ đó rút ra những số đo đặc trưng cho đối tượng đó [10] [11] Trước khi thực hiện một phép đo, người ta phải thiết kế thước đo Động tác này gọi là định cỡ Để định cỡ, người ta thường cho thước đo tiếp xúc với một đối tượng đo mà đã biết tính chất Nhằm đảm bảo độ chính xác của một phép đo lường bất kỳ, người ta thường nêu ra các yêu cầu chung:

+ Việc định cỡ thước đo không phụ thuộc vào đối tượng đo

+ Thuộc tính đo được của đối tượng đo không phụ thuộc vào thước đo Hiển nhiên yêu cầu về tính độc lập này cũng không phải là tuyệt đối

Khi xét một phép đo lường cụ thể trong giáo dục:

+ Thước đo có thể là một câu hỏi hoặc một bài trắc nghiệm gồm nhiều câu hỏi

+ Đối tượng đo có thể là một thuộc tính nào đó của thí sinh, chẳng hạn như năng lực về một lĩnh vực nào đó

Trong thế kỷ 20 nhiều nhà nghiên cứu về đo lường trong giáo dục đã nghiên cứu mô hình hóa việc đáp ứng câu hỏi để có thể tính toán Lý thuyết hồi đáp (Item

Response Theory – IRT) của ông Georg Rasch nhằm mô hình hóa mối liên hệ giữa

mức độ năng lực của một người và đáp ứng của người ấy với một câu trắc nghiệm hay câu hỏi Vì các mức độ năng lực là những gì không thể quan sát được nên IRT cũng là một trong các mô hình thường được gọi là mô hình đặc điểm tiềm tàng (Latent trait model) Lý thuyết ứng đáp câu hỏi được xây dựng trên khoa học về xác suất và thống kê với 3 giả định sau đây:

+ Chỉ một thuộc tính hoặc một năng lực duy nhất được đo bởi các câu hỏi trong bài trắc nghiệm Các mô hình ứng đáp câu hỏi đo nhiều thuộc tính chưa được phát triển nhiều

+ Tính độc lập địa phương, nghĩa là năng lực được giữ không đổi trong khi làm bài trắc nghiệm, việc trả lời của thí sinh đối với hai câu hỏi nào đó thì độc lập nhau về mặt thống kê

+ Hàm đặc trưng của câu hỏi (Item Characteristic) phản ánh mối quan hệ thực giữa các biến không quan sát được (năng lực) và các biến quan sát được (kết quả trả lời câu hỏi)

Trái với lý thuyết cổ điển về trắc nghiệm, lý thuyết ứng đáp câu hỏi (Item Response Theory - IRT) đưa ra một số giả định về hành vi của một người khi trả lời các câu hỏi Các giả định này có một số lợi điểm:

+ Ta có thể mô tả, hay nêu ra đặc điểm của một câu hỏi mà không phải phụ thuộc vào mẫu (hãy nhóm) người trả lời câu hỏi ấy

+ Ta có thể mô tả, hay nêu ra đặc điểm, của một người mà không phải phụ thuộc vào mẫu (hay nhóm) các câu hỏi được đặt ra cho người ấy

Thế nhưng IRT cũng có một số điểm bất lợi Hầu như người ta không thể kiểm chứng được hoàn toàn tính chính xác của các giả định mà lý thuyết ấy đưa ra, căn cứ trên các dữ kiện thu thập được Hơn nữa, các ứng dụng của lý thuyết đáp ứng IRT rất tốn kém về chi phí và công sức, so với các ứng dụng tương tự của các

lý thuyết cổ điển Trong đa số các ứng dụng IRT, người ta phải sử dụng máy điện toán rất mạnh và rất hiện đại

Mô hình Rasch trong lý thuyết ứng đáp câu hỏi: Nếu một người có năng lực cao hơn người khác thì xác suất để người đó trả lời đúng một câu hỏi bất kỳ phải lớn hơn xác suất tương ứng của người kia; tương tự như vậy, nếu một câu hỏi khó hơn một câu hỏi khác thì xác suất để một người bất kỳ trả lời đúng câu hỏi đó phải nhỏ hơn xác suất để người đó trả lời đúng câu hỏi kia Dựa trên cơ sở này, Rasch đã

mô tả mối liên hệ giữa xác suất trả lời đúng câu hỏi của mỗi thí sinh với năng lực của thí sinh đó thông qua hàm đặc trưng câu hỏi (Item Characteristics Function – ICF)

Hình 1-3: Đường cong ứng đáp câu hỏi

Mô hình Rasch đơn giản (1 tham số) mô tả mối quan hệ giữa năng lực 𝜃 của

thí sinh với độ khó 𝛿 của câu hỏi

𝑃(𝜃) = 𝑒𝑥𝑝(𝜃 − 𝛿)

1 + 𝑒𝑥𝑝(𝜃 − 𝛿)

Mô hình Rasch 2 tham số mô hình này không bao gồm thông số đoán mò,

sinh viên rất yếu không có cơ hội trả lời đúng một câu hỏi khó

𝑃𝑛[𝑥𝑖 = 1|𝜃𝑛] = 1

1 + 𝑒𝑥𝑝[−1.7𝛼𝑖(𝜃𝑛− 𝛿𝑖)]

Trong đó, 𝛼𝑖 là chỉ số phân biệt của câu hỏi i

Mô hình Rasch 3 tham số thích hợp với trường hợp khi những sinh viên tình

cờ trả lời đúng những câu khó Mô hình này sẽ rất phù hợp cho các đề thi đánh giá năng lực sử dụng dạng câu hỏi trắc nghiệm Lord (1974) phát hiện ra rằng việc tính

thông số c thường ít hơn xác suất đoán mò đúng đáp án

và đo lường khả năng của các thí sinh

Các bước triển khai tính toán theo phương pháp PROX

+ Tính điểm thô của thí sinh và của câu hỏi bằng tổng các câu trả lời đúng

Bước 2: Sửa dữ liệu

+ Loại bỏ các câu hỏi quá dễ (thí sinh nào cũng trả lời đúng) hoặc quá khó (không thí sinh nào trả lời đúng) trong quá trình tính toán tiếp theo

+ Tương tự, loại bỏ những thí sinh quá kém (không trả lời đúng câu hỏi nào)

và quá giỏi (trả lời đúng hết tất cả các câu hỏi) Ký hiệu số câu hỏi đưa vào phân tích là L, số thí sinh là N

Bước 3: Sơ bộ định cỡ câu hỏi

+ Tính tỉ lệ đúng, sai của từng câu hỏi: xi

+ Tính trung bình: x̅= ∑ xLi i

L và phương sai: 𝑈 = ∑ 𝑥𝐿1 𝑖2−𝐿.𝑥̅2

𝐿−1

+ Sơ bộ định cỡ câu hỏi t theo công thức: 𝑑 𝑡 0 = 𝑥 𝑡 − 𝑥̅

Bước 4: Sơ bộ đo lường khả năng thí sinh

+ Tính tần số các thí sinh có trong dải điểm và tỉ lệ trả lời đúng