Tài liệu Phương pháp biên soạn đề thi trắc nghiệm doc

„ Ngân hàng câu trắc nghiệm được xây dựng “quanh năm” do đó có đủ thời gian để gia công những câu trắc nghiệm với độ chính xác cao, hơn nữa có thể xác định các đặc trưng của câu hỏi như

Phương pháp biên soạn

đề thi trắc nghiệm

Nguyễn Bích Ngọc

GĐ Trung tâm ĐBCLGD&KT

Các công cụ Đo thành quả học tập

trong giáo dục

„ Khoa học đo lường và đánh giá giáo dục thường phân loại các cuộc thi theo mục đích và theo

thang bậc chất lượng để đánh giá

„ Chất lượng giáo dục thể hiện qua năng lực người học sau khi hoàn thành khoá học hay bậc học Có bốn thành tố tạo nên chất lượng năng lực, đó là:

„ Khối lượng, nội dung và trình độ kiến thức được học,

„ Kỹ năng kỹ xảo được huấn luyện,

„ Năng lực nhận thức và năng lực tư duy được đào tạo

„ Phẩm chất nhân văn được rèn luyện.

Mục tiêu của kỳ thi

1 Thi để xác nhận mức độ tiếp thu môn học (thi kết thúc môn học) Đề thi khi đó tập trung kiểm tra kiến thức để đánh giá xem người học có

năng lực nhận thức hoặc kỹ năng kỹ xảo thuộc môn học đạt đến mức độ nào

Theo Bloom (1956):

„ Có 6 bậc nhận thức: nhớ, hiểu, vận dụng, phân tích, tổng hợp và đánh giá;

„ Có 5 bậc kỹ năng kỹ xảo: bắt chước, hoàn thành, chuẩn hoá, phối hợp và tự động hoá

2 Thi để chứng nhận trình độ học vấn (thi hết khoá) Đề thi khi đó

mang tính chất tổng hợp, nhiều môn, bao quát toàn bộ chương trình khoá học Tuỳ theo trình độ và bậc học, tuỳ theo yêu cầu chất lượng

mà nhằm đánh giá kiến thức là chính (tốt nghiệp phổ thông) hay

đánh giá năng lực là chính (tốt nghiệp khoá đào tạo)

3 Thi để tuyển chọn (thi học giỏi, thi tuyển sinh, thi tuyển nhân sự)

Đề thi khi đó nhằm đánh giá năng lực theo đúng các tiêu chí tuyển chọn dự kiến.

„ Một cuộc thi có thể nhằm đồng thời hai, ba mục tiêu Khi đó, đề thi phải

ra để đáp ứng cùng một lúc cho các mục tiêu đó

Mục tiêu đo lường (thi) và đánh giá

„ Mục tiêu đo lường (thi) và đánh giá liên quan với nhau theo năng lực nhận thức của người thi trong bảng dưới đây:

Nội dung đánh giá Đánh giá kiến thức là chính Đánh giá năng lực là chính Nhớ Hiểu Vận dụng Phân tích Tổng hợp Đánh giá

1 Tiếp thu môn học

Mục tiêu đo lường (thi) và đánh giá

Tuỳ theo mục tiêu cuộc thi mà yêu cầu cao hay thấp

về hai chỉ số này:

„ Thi để đánh giá tiếp thu môn học và trình độ học vấn thì độ khó và độ phân biệt không cần cao và thang

điểm đánh giá khi đó không cần quá chi tiết (thang

điểm 4 mức: A, B, C và D hay thang điểm 5 mức nhiều nước đang dùng)

„ Thi để tuyển chọn thì lại cần độ khó và độ phân biệt

cao và thang điểm phải chi tiết (thang điểm 100 hay

800 điểm).

Kiểm tra, đánh giá và các kiểu trắc nghiệm

1. Đánh giá (Evaluation) trong giáo dục.

Đánh giá quá trình đào tạo bao gồm 3 loại đánh giá khác nhau tuỳ

theo mục tiêu đánh giá:

1/ Đánh giá chẩn đoán (Diagnostic evaluation): được tiến hành

trước khi đào tạo nhằm làm rõ các điểm mạnh và điểm yếu của

đầu vào trên cơ sở đó đưa ra các quyết định về tổ chức đào tạo chohiệu quả và chất lượng hơn

2/ Đánh giá hình thành (Formative evaluation): được tiến hành nhiềulần trong quá trình đào tạo nhằm cung cấp các thông tin ngược đểgiáo viên và học viên kịp thời điều chỉnh quá trình đào tạo

3/ Đánh giá tổng kết (Summative evaluation): tiến hành khi kết thúcquá trình đào tạo nhằm cung cấp các thông tin về chất lượng đàotạo

Căn cứ vào các số đo và các tiêu chí xác định, việc đánh giá năng lực

và phẩm chất của sản phẩm đào tạo là để nhận định, phán đoán và đềxuất các quyết định nhằm nâng cao không ngừng chất lượng đào tạo

Kiểm tra, đánh giá và các kiểu trắc nghiệmKiểm tra (Testing) / đánh giá kết quả (Assessment):

„ Các trắc nghiệm được thực hiện ở lớp học và cho điểm số

„ Kết quả trắc nghiệm kết hợp với các thông tin khác trong quá trình đào tạo sẽ được phân tích và đưa ra các nhận xét về người học,

giảng dạy, chương trình, giáo trình, PP giảng dạy, v.v

Các kiểu trắc nghiệm (Test) trong giáo dục

Các kiểu trắc nghiệm

Đúng-sai Chọn trả lời Ghép câu Diễn giải Ghép câu

Tiểu luận Khóa luận Luận án

Điền thêm

Các đặc trưng của một bài trắc nghiệm tốt

tra đánh giá kết quả thực hành

tương đối cao, có giá trị đào tạo nhiều mặt: bổ xung kiến thức, rèn luyện năng lực tư duy và khả năng diễn giải tức thời Có

thể thiếu khách quan do quan hệ cá nhân

* Viết: Tùy theo mục đích yêu cầu viết đánh giá

2 Loại câu có nhiều lựa chọn (MCQ)

„ Phần đầu được gọi là phần dẫn (hay câu dẫn), nêu ra vấn

đề, cung cấp thông tin cần thiết hoặc nêu một câu hỏi;

„ Phần sau là các phương án chọn để trả lời, thường được

đánh dấu bằng các chữ cái A, B, C, D

„ Các phương án khác được đưa vào có tác dụng “gây nhiễu” đối với thí sinh

„ Nếu câu MCQ được soạn tốt thì một người không có kiến thức chắc chắn về vấn đề đã nêu sẽ không thể nhận biết

được trong tất cả các phương án để chọn, đâu là phương án đúng, đâu là phương án nhiễu

2 Loại câu có nhiều lựa chọn (MCQ)

Ví dụ 1: Là câu trắc nghiệm rất đơn giản về Toán cho học sinh mới bắt đầu học Đại số:

„ Thí sinh nắm vững bài sẽ hiểu ngay rằng thương của m và n làkết quả của phép chia m cho n, tức là 10 : 4 và chọn D là câu trả lời đúng

„ Đối với thí sinh không hiểu rõ khái niệm thương, các phương

án A, B, C đều có vẻ “có lý”, có thể lôi cuốn thí sinh vào một trong các phương án trả lời sai:

mxn=10x4=40, chọn A;

m+n=10+4=14, chọn B;

m–n=10–4=6, chọn C

2 Loại câu có nhiều lựa chọn (MCQ)

„ Một nội dung bất kỳ nào cần kiểm tra đều có thể được thể hiện vào một câu trắc nghiệm nào đó Vì thế

người ta có thể viết câu trắc nghiệm cho tất cả các

môn học

„ Tuy nhiên, do đặc thù môn học mà việc viết trắc

nghiệm cho môn này có thể khó hơn cho môn kia và không phải bất cứ ai có kiến thức chuyên môn cũng viết được câu trắc nghiệm có chất lượng cho chuyên môn đó.

2 Loại câu có nhiều lựa chọn (MCQ)

Ví dụ 2:

Đặc điểm nào dưới đây là điểm giống nhau cơ bản giữa hai dạng đột biến thể đa bội và thể dị bội?

A Đều là nguồn nguyên liệu cho quá trình tiến hóa và chọn giống

B Đều dẫn đến tình trạng mất khả năng sinh sản

C Đều gây ra những những hậu quả nghiêm trọng trên kiểu hình

D Đều do rối loạn phân ly của 1 hoặc một số cặp nhiễm sắc thể tương đồng trong quá trình phân bào

Ví dụ 3:

C)

D)

Ưu điểm

„ Đề thi trắc nghiệm gồm mấy chục câu hỏi được lấy ra ngẫu nhiên, theo những yêu cầu nhất định, từ ngân hàng câu hỏi trắc nghiệm

„ Ngân hàng câu trắc nghiệm được xây dựng “quanh năm” do đó có

đủ thời gian để gia công những câu trắc nghiệm với độ chính xác cao, hơn nữa có thể xác định các đặc trưng của câu hỏi (như độ khó,

độ phân biệt ).

„ Có thể rút ngắn thời gian làm bài của thí sinh, chỉ bằng 1/3 hay một nửa thời gian thi tự luận, cho phép tổ chức thi nhanh, gọn, giảm bớt tốn kém

„ Chống gian lận trong thi cử một cách hiệu quả vì đề thi gồm rất

nhiều câu hỏi nên có thể tránh được “rò rỉ” thông tin theo kiểu

truyền đi do "nhớ được" trong lúc làm đề, coi thi

„ Phần mềm tin học cho phép xáo trộn từ một đề thi gốc thành rất

nhiều đề tương đương (nội dung giống nhau nhưng thứ tự câu hỏi khác nhau) sao cho nhóm thí sinh ngồi cạnh nhau không thể “tham khảo” bài làm của nhau

Ưu điểm

„ Khi chấm thi, các bài thi được quét bằng máy chấm với tốc độ3.000 – 10.000 bài/giờ nên chấm bài được thực hiện dễ dàng, nhanh chóng,

„ Cho điểm số chính xác (nhờ thao tác bằng máy với công nghệcao và đáp án trắc nghiệm rõ ràng)

„ Nhưng quan trọng hơn cả là nếu bài thi được xây dựng công phu, tinh xảo, nhiều câu hỏi trải rộng chương trình thì bằng phương pháp TNKQ có thể đánh giá kiến thức và kĩ năng ở

nhiều cấp độ, mặt khác tránh được việc học tủ, dạy tủ

„ Bản thân cách thi trắc nghiệm cũng đánh giá được một khả

năng quan trọng mà người học ngày nay cần tích lũy; đó là

năng lực giải quyết vấn đề một cách nhanh chóng – mỗi câu trắc nghiệm (đặt ra một vấn đề) chỉ có khoảng 1-2 phút để thísinh giải quyết; cũng có nghĩa là thí sinh phải có kiến thức thật

sự về môn học mới có thể làm được việc đó

Ưu điểm

„ Trắc nghiệm với sự trợ giúp của các công cụ công nghệ thông tin và mô hình thống kê hiện đại cung cấp các kết quả phân tích quan trọng (về chất lượng chung, các xu hướng thể hiện năng lực của các thí sinh trong kì thi, đánh giá độ tin cậy, độ giá trị của đề thi v.v )

„ Có thể đo được khả năng tư duy khác nhau, có thể dùng loại này để kiểm tra, đánh giá những mục tiêu giảng dạy khác nhau.

„ Độ tin cậy cao hơn, yếu tố đoán mò may rủi giảm đi (so với loại đúng sai)

„ Học sinh phải xét đoán và phân biệt rõ ràng khi trả lời câu hỏi phải lựa chọn câu trả lời đúng nhất, hay hợp lý nhất trong số các phương án trả lời

đã cho.

„ Tính giá trị tốt hơn, độ giá trị cao hơn nhờ t nh chất có thể dùng đo những mức tư duy khác nhau đo khả năng nhớ, áp dụng nguyên lý, suy diễn nhanh.

„ Có thể phân tích được tính chất mỗi câu hỏi (có thể xác định câu dễ, câu khó hoặc không phù hợp với mục tiêu cần trắc nghiệm )

„ Có t nh khách quan cao khi chấm thi.

Nhược điểm

„ Khó soạn câu hỏi

„ Các câu trắc nghiệm MCQ có thể không đo được khả năng phán đoán tinh vi và khả năng giải quyết vấn đề khéo léo một cách hiệu nghiệm bằng câu hỏi loại tự luận soạn kỹ

„ Các khuyết điểm nhỏ khác: tốn giấy để in câu hỏi

3 Loại câu ghép đôi:

Thường thì cột bên phải (A,B,C,D) có số lượng câu nhiều hơn hơn cột bên trái

Hãy ghép các lứa tuổi (cột I) tương ứng với các dạng hoạt

động chủ đạo (cột II)

Cột I

1. Tuổi sơ sinh

2. Tuổi mẫu giáo

3. Tuổi học sinh

4. Tuổi trưởng thành

Cột II

A - Hoạt động vui chơi

B - Hoạt động giao lưu cảm xúc trực tiếp với người lớn

C - Hoạt động lao động và hoạt động

xã hội

D - Hoạt động sáng tạo nghệ thuật

E - Hoạt động học tập

Đáp án: B, A, E, C

Ưu điểm

năng cao hơn.

thích hợp với loại: ghép đôi này Tuy vậy, khi chọn loại trắc nghiệm nào là đưa vào mục tiêu cần trắc nghiệm, không nên dựa vào ý thích học sinh.

Nhược điểm

„ Soạn thảo câu hỏi để đo các mức kiến thức cao đòi hỏi nhiều công phu nên thường chỉ dùng loại câu hỏi ghép đôi để trắc nghiệm lượng các kiến thức về: ngày, tháng, tên, định nghĩa, biến cố, công thức, dụng cụ để lập

các hệ thức, phân loại Trắc nghiệm loại ghép đôi cũng

4 Loại câu điền khuyết :

different places Well, I (8) (be) 40 years old now, and I (9) (be) a travel guide for 10 years; so I (10) (be) to most of the countries in the world I

friends in Bangkok, and then (13) (go) to see the sights of Singapore Next month, my family (14) (go) on holiday to Egypt if the weather (15) (not be) too hot there.

„ Thí sinh ít cơ hội đoán mò.

„ Có thể kiểm tra các điều đã học một cách tiêu biểu hơn so với loại trắc nghiệm tự luận

„ Có câu trả lời ngắn, thích hợp cho những vấn đề tính toán, cân

bằng phương trình hoá học… đánh giá mức hiểu biết các nguyên

lý, giải thích dữ kiện, diễn đạt ý kiến, thái độ

„ Giúp học sinh luyện trí nhớ khi học Vì nhớ để suy luận hay áp dụng vào các trường hợp khác cũng là một điều rất cần thiết

Nhược điểm

ngoài giáo trình.

thư

II Cách thiết kế một bài trắc nghiệm khách quan:

môn học, tuyển thí sinh giỏi, đánh giá giảng dạy của giáo viên

(mỗi câu hỏi trung bình cần 1 phút để chọn câu trả lời ), cách

thức làm bài, cách thức chấm bài

„ Bảng trọng số thể hiện: mục tiêu của từng phần và của toàn bài trắc nghiệm

„ Đối với bài trắc nghiệm thành quả học tập: cần dựa vào mục

tiêu của môn học và xác định rõ phần kiến thức nào là cốt lõi,

phần nào bổ trợ còn phần nào chỉ là nhắc lại, phần kiến thức

nào là dùng để tiếp thu các môn học sau, phần nào chỉ dùng để

mở rộng để phân bổ trọng số cho từng chương, từng mục

Cách thiết kế một bài trắc nghiệm khách quan:

(3)

Hiểu (4)

(5)

Vận dụng

Tổng hợp

Xác định mục tiêu và trọng số:

1 Mục tiêu:

Người chuẩn bị nội dung thi - kiểm tra phải trả lời các câu hỏi sau đây:

Mục đích thi-kiểm tra là để đánh giá điều gì? Ví dụ:

+ Học viên phải vượt qua một ngưỡng tối thiểu để học tiếp lên trên;

+ Để khảo sát trình độ khác nhau của tất cả các học viên trong một lớp; + Xác định những thiếu xót của riêng từng học viên nhằm giúp cho họ khắc phục Lúc đó phải xây dựng nhiều loại câu hỏi, theo từng cách trả lời của từng câu hỏi, điểm số lúc này là thứ yếu Vấn đề chính là phát hiện những khó khăn mà học viên đã gặp và giúp cho họ khắc phục.

Hoặc là:

1) Có đủ thời gian để ra đề chính xác; đề thi cho phép tránh may rủi vì trúng tủ, trật tủ;

„ Kế hoạch thời gian cho chủ đề này

„ Mức độ quan trọng của chủ đề này có liên quan đến các môn học khác.

3 Cách xác định trọng số của năng lực nhận thức và năng lực thực

Bước 3: Viết các câu trắc nghiệm

Bước 4: Lập các đề thi trắc nghiệm

„ Các đề thi trắc nghiệm được lập bằng cách tổ hợp các câu hỏi trắc nghiệm đã soạn và được phân bố các

loại câu hỏi theo bảng trọng số (có thể sử dụng máy tính để thành đề thi )

„ Chú ý tránh quá nhiều trang dễ dẫn đến thiếu trang, nhầm trang, tốn kém

„ Trong một phòng thi nên dùng ít nhất 4 đề thi, sao

cho các thí sinh ngồi cạnh nhau có đề khác nhau,

tránh tiêu cực trong khi làm bài thi (cách trộn đề thi)

III CHẤM BÀI THI TRẮC NGHIỆM

với tổng số câu đúng trong các câu đã hỏi, rồi qui ra thang điểm 10.

IV ĐÁNH GIÁ CÂU HỎI TRONG ĐỀ THI TNKQ

„ Định kỳ đánh giá câu hỏi trong ngân hàng đề thi TNKQ để

điều chỉnh và bổ sung vào ngân hàng đề

„ Chất lượng của mỗi câu hỏi trắc nghiệm được đánh giá thông

qua 2 đại lượng Độ khó và Độ phân biệt của câu hỏi trắc

nghiệm:

„ Tỷ lệ thí sinh trả lời đúng cho ta số đo gần đúng về về độ khó

của câu hỏi

Công thức cổ điển để t nh độ khó :

Số thí sinh làm đúng

FV (hoặc P) = - x 100 (1)

Tổng số thí sinh dự thi

ĐÁNH GIÁ CÂU HỎI TRONG ĐỀ THI TNKQ

- Câu dễ : 70 - 100 % thí sinh trả lời đúng

- Câu coi là tương đối khó -TB: 30 - 70 % thí sinh trả lời đúng

- Câu khó : 0 - 30 % thí sinh trả lời đúng

„ Nên dùng các câu trắc nghiệm có FV nằm trong khoảng :

25% < FV < 75%

„ Ngoài khoảng, dùng một cách chọn lọc tuỳ theo mục tiêu của bài trắc nghiệm

ĐÁNH GIÁ CÂU HỎI TRONG ĐỀ THI TNKQ

Độ phân biệt

câu trắc nghiệm.

Số thí sinh khá làm đúng - số thí sinh yếu làm đúng

DI = - x 100 (2)

Tổng số thí sinh khá và yếu

- Tỷ lệ thí sinh nhóm khá và nhóm kém trả lời đúng như nhau thì Độ

phân biệt bằng Không .

- Tỷ lệ thí sinh nhóm khá trả lời đúng nhiều hơn nhóm kém thì Độ phân biệt là Dương.

- Tỷ lệ thí sinh nhóm khá trả lời không đúng nhiều hơn nhóm kém thì Độ phân biệt là Âm

- Độ phân biệt liên quan mật thiết với độ khó và số lượng câu hỏi trong

đề thi trắc nghiệm

ĐÁNH GIÁ CÂU HỎI TRONG ĐỀ THI TNKQ

Giả sử phân tích câu trắc nghiệm thứ X của bài thi có câu b/

là câu đúng Các câu a/, c/, d/, e/ và f/ là câu nhiễu

Kết quả thi của 150 thí sinh được trình bầy trong bảng sau :

Đánh giá bài trắc nghiệm

„ Nếu kiểm tra người học các lần khác nhau bằng đề trắc nghiệm tương đương, hệ số tương quan của tỷ lệ người trả lời đúng

đối với số người trả lời sai giữa các lần trắc nghiệm là Độ tin cậy của bài trắc nghiệm (công thức tính tương quan)

„ Hệ số tương quan có giá trị trong khoảng (0-1)

đích mà nó định đo, đó là Độ giá trị của bài trắc nghiệm.

3- Phân tích thống kê bài thi TNKQ bằng máy tính:

„ Một bài thi trắc nghiệm, sau khi sử dụng cho thi, có thể được

sử dụng mô hình Rasch với các phần mềm chuyên dụng như chương trình QUEST của Úc, chương trình TITAN của

Malaysia hay chương trình CALFIT của Mỹ đã giảm nhẹ được rất nhiều công sức phân tích câu và bài trắc nghiệm của các

giáo viên

„ Trên cơ sở đó có thể điều chỉnh bổ sung vào ngân hàng câu hỏi thi trắc nghiệm (gồm hàng trăm câu hỏi để tổ hợp thành những đề thi trắc nghiệm theo bảng trọng số cho trước)