TÓM TẮT LUẬN VĂN THẠC SĨ Đánh giá quy trình thiết kế đề thi trắc nghiệm khách quan tại Khoa Khoa học Tự nhiên và Xã hội Đại học Thái Nguyên

Sử dụng ngân hàng câuhỏi và thi trắc nghiệm khách quan hiện đang được các trường khuyếnkhích, tuy nhiên đa số các câu hỏi trắc nghiệm khách quan do giảngviên tự biên soạn chưa theo đúng

MỞ ĐẦU

1 Lý do chọn đề tài

Hiện nay chất lượng giáo dục đang trở thành mối quan tâm chungcủa toàn xã hội, đặc biệt là chất lượng giáo dục đại học Trong khinguồn lực tại các cơ sở đào tạo còn hạn chế, chưa đủ đáp ứng kịpthời việc tăng nhanh quy mô và các loại hình đào tạo thì vấn đề chấtlượng đào tạo trong giáo dục đại học hiện đang là điểm nóng rất cầnđược quan tâm

Một trong những nội dung quan trọng nhằm nâng cao chất lượnggiáo dục đại học chính là việc đổi mới phương pháp giảng dạy, trong

đó có việc đổi mới về phương pháp kiểm tra đánh giá kết quả học tậpcủa người học Công cuộc đổi mới phương pháp giảng dạy ở trườngđại học hiện nay đang được đặc biệt quan tâm, các giảng viên đượctập huấn về đổi mới phương pháp giảng dạy, các phương pháp kiểmtra đánh giá, tuy nhiên hiệu quả chưa cao Sử dụng ngân hàng câuhỏi và thi trắc nghiệm khách quan hiện đang được các trường khuyếnkhích, tuy nhiên đa số các câu hỏi trắc nghiệm khách quan do giảngviên tự biên soạn chưa theo đúng quy trình, đặc biệt các câu hỏi saukhi sử dụng không được phân tích, đánh giá nên các đề thi/ kiểm trahiện nay là chưa chuẩn và chất lượng không cao

Trước tình hình như vậy, tôi chọn đề tài luận văn: “Đánh giá quy trình thiết kế đề thi trắc nghiệm khách quan tại Khoa Khoa học

Tự nhiên và Xã hội (nay là trường Đại học Khoa học) – Đại học Thái Nguyên” Kết quả nghiên cứu của luận văn sẽ là tài liệu cần

thiết góp phần vào quá trình nâng cao chất lượng và hiệu quả củaviệc biên soạn và thiết kế đề thi trắc nghiệm khách quan tại đơn vị,đồng thời giúp đưa ra những giải pháp nhằm nâng cao kỹ năng củagiảng viên trong việc thiết kế câu hỏi

2 Mục đích nghiên cứu của đề tài

 Đánh giá quy trình và hiệu quả của việc thiết kế và sử dụngcác đề thi trắc nghiệm khách quan hiện nay của Nhà trường;

 Đưa ra quy trình chuẩn thiết kế các đề thi trắc nghiệm kháchquan

 Đưa ra những giải pháp nhằm nâng cao kỹ năng thiết kế đềthi TNKQ của giảng viên

3 Nhiệm vụ nghiên cứu của đề tài

Để thực hiện mục đích trên, đề tài có các nhiệm vụ sau:

- Khảo sát thực trạng về quy trình, cách thức thiết kế đề thi trắcnghiệm khách quan của các giảng viên trong Trường

- Phân tích các câu hỏi trắc nghiệm khách quan của các đề thi đãđược sử dụng (căn cứ vào kết quả trả lời trắc nghiệm của SV)

- Đưa ra quy trình chuẩn thiết kế đề thi trắc nghiệm khách quan

4 Giới hạn, phạm vi nghiên cứu

 Đề tài nghiên cứu phương pháp, cách thức thiết kế đề thi trắcnghiệm khách quan của các giảng viên trong Trường;

 Nghiên cứu, đánh giá các câu hỏi trắc nghiệm khách quancủa một số đề thi TNKQ đã được sử dụng trong Trường, từ đó đềxuất quy trình chuẩn thiết kế đề thi TNKQ

5 Câu hỏi nghiên cứu/ giả thuyết nghiên cứu của đề tài.

5.1 Giả thuyết nghiên cứu

 Việc thiết kế đề thi TNKQ trong Nhà trường hiện nay hoàntoàn theo tính chủ quan của các giảng viên

 Chất lượng của các câu hỏi, đề thi TNKQ do các giảng viênbiên soạn không cao, không đánh giá chính xác năng lực của sinhviên

5.2 Câu hỏi nghiên cứu

 Hiện nay các giảng viên trong Trường thiết kế đề thi TNKQtrên cơ sở nào? Theo quy trình nào?

 Các giảng viên có nắm được quy trình thiết kế đề thi TNKQ?

 Đề thi của các giảng viên có đáp ứng yêu cầu kiểm tra đánhgiá thành quả học tập hay không?

6 Khách thể và đối tượng nghiên cứu

6.1 Khách thể nghiên cứu

 Các giảng viên đang giảng dạy tại Trường và đang áp dụnghình thức thi TNKQ cho các kỳ thi của Nhà trường

 Các bài thi TNKQ (kết quả thi TNKQ của sinh viên)

6.2 Đối tượng nghiên cứu

 Nghiên cứu cách thức, quy trình thiết kế đề thi TNKQ củacác giảng viên trong Trường hiện nay

7 Phương pháp nghiên cứu

7.1 Nghiên cứu lý thuyết

 Nghiên cứu các tài liệu về đo lường đánh giá trong giáo dục

7.2 Nghiên cứu thực nghiệm

 Quan sát: quan sát quá trình thực hiện đổi mới KTĐG củagiảng viên, quá trình thử nghiệm xây dựng ngân hàng câu hỏiTNKQ

 Điều tra: bằng phiếu hỏi và phỏng vấn để tìm hiểu quy trìnhthiết kế đề thi TNKQ của các giảng viên trong Trường

 Phân tích và tổng kết kinh nghiệm

7.3 Phương pháp Toán học

 Sử dụng phần mềm SPSS phân tích số liệu thống kê

 Sử dụng phần mềm chuyên dụng Quest, ConQuest

8 Cấu trúc của luận văn

Mở đầu

Chương 1 Cơ sở lý luận và tổng quan.

Chương 2 Thực trạng quy trình thiết kế đề thi TNKQ tại trườngĐại học Khoa học – Đại học Thái Nguyên

Chương 3 Một số biện pháp nâng cao hiệu quả quy trình thiết kế

đề thi TNKQ tại trường Đại học Khoa học

1.2 Các khái niệm cơ bản về đo lường và đánh giá trong giáo dục

 Đo lường (Measurement)

 Đánh giá (Evaluation)

 Lượng giá (Assessment)

 Kiểm tra (Testing)

 Thi (Examination)

 Kết quả học tập (Study achievement):

1.3 Phương pháp trắc nghiệm trong kiểm tra đánh giá

1.3.1 Kiểm tra đánh giá kết quả học tập

1.3.2 Mục đích, ý nghĩa của việc kiểm tra, đánh giá KQHT1.3.3 Phương pháp trắc nghiệm trong kiểm tra đánh giá

1.4 Quy trình xây dựng đề thi và ngân hàng câu hỏi TNKQ

1.4.1 Quy trình xây dựng đề thi TNKQ

Bước 1: Xác định mục đích sử dụng đề thi/ kiểm tra

Bước 2: Chọn mẫu

Bước 3: Xác định mục tiêu, phân tích nội dung chi tiết và xâydựng bảng trọng số

Bước 4: Viết câu hỏi thi

Bước 5: Xem lại câu hỏi thi lần 1

Bước 6: Thử nghiệm

Bước 7: Phân tích câu hỏi và bài thi

Bước 8: Xem lại câu hỏi thi lần 2

Bước 9: Chỉnh sửa câu hỏi

Bước 10: Tập hợp các câu hỏi thi

1.4.2 Ngân hàng câu hỏi TNKQ

1.5 Kỹ thuật xây dựng các câu hỏi TNKQ

1.5.1 Loại đúng – sai (True or False)

1.5.2 Loại ghép đôi (Matching items)

1.5.3 Loại điền khuyết (Supply item)

1.5.4 Loại nhiều lựa chọn (Multi choice questions)

1.5.5 So sánh trắc nghiệm khách quan và trắc nghiệm tự luận

1.6 Phân tích đánh giá câu hỏi và bài trắc nghiệm khách quan

1.6.1 Mục đích phân tích câu hỏi và bài trắc nghiệm khách quan1.6.2 Phương pháp phân tích câu hỏi theo lý thuyết khảo thí hiệnđại

1.6.3 Một số yêu cầu thống kê đối với câu hỏi và bài TNKQ

 Độ khó và độ phân biệt của câu trắc nghiệm

 Độ tin cậy

 Độ giá trị

 Độ phù hợp với mô hình của bài trắc nghiệm khách quan

1.7 Kết luận chương 1

Trong chương 1 đã trình bày các vấn đề sau:

- Khái quát các vấn đề nghiên cứu trên thế giới và Việt Nam;

- Một số vấn đề lý luận cơ bản về đo lường và đánh giá trongGD;

- Quy trình xây dựng đề thi TNKQ;

- Các kỹ thuật xây dựng câu hỏi TNKQ;

- Cách phân tích đánh giá câu hỏi và bài thi TNKQ

CHƯƠNG 2 THỰC TRẠNG QUY TRÌNH THIẾT KẾ ĐỀ THI TNKQ TẠI TRƯỜNG ĐẠI HỌC KHOA HỌC – ĐHTN 2.1 Vài nét về trường Đại học Khoa học – Đại học Thái Nguyên 2.2 Thông tin chung về các giảng viên tham gia khảo sát

2.3 Thực trạng quy trình thiết kế đề thi TNKQ tại đơn vị

2.3.1 Thực trạng sử dụng các phương pháp KTĐG

 Về số lượng các phương pháp:

Theo kết quả điều tra từ các giảng viên, để kiểm tra đánh giáKQHT của sinh viên trong trường, các giảng viên đã sử dụng cácphương pháp KTĐG để đánh giá KQHT của sinh viên như: Viết (tựluận), vấn đáp, thực hành, tiểu luận và trắc nghiệm khách quan.Trong tổng số 163 đề thi kết thúc học phần được khảo sát thì có tới

129 đề thi giảng viên đã sử dụng phương pháp thi tự luận và vấn đáp(chiếm 79%, trong đó: tự luận là 46,6%, vấn đáp là 32,4%) Một số ítgiảng viên sử dụng phương pháp trắc nghiệm khách quan (gần 10%)

để đánh giá KQHT cho sinh viên

 Nhận thức của GV về hiệu quả của các phương pháp:

Tất cả các GV đều cho rằng khi họ lựa chọn một phương phápKTĐG nào đó đều có liên quan đến nội dung và mục tiêu môn học

mà họ đảm nhận và họ đều nhận thức được hiệu quả của phươngpháp đó, nếu muốn đánh giá kỹ năng người học thì nên chọn phươngpháp thực hành; nếu muốn kết quả đánh giá khách quan, chấm bàinhanh, xử lý kết quả thuận lợi và đề thi bao phủ chương trình học thì

sử dụng phương pháp TNKQ; muốn đánh giá khả năng diễn giải thì

ra đề tự luận…

2.3.2 Thực trạng quy trình thiết kế đề thi TNKQ

Để biết thực trạng thiết kế đề thi TNKQ như thế nào, ta cầnnghiên cứu những vấn đề sau:

 Xác định mục tiêu đánh giá, phân tích nội dung và xây dựng bảng trọng số.

Có nhiều GV không xác định rõ mục tiêu của đề thi/ kiểm tratrong học phần đã dạy Nói cách khác, các GV thường không lậpbảng trọng số về mục tiêu kiến thức và nội dung của học phần để ra

đề thi, dẫn đến có những nội dung đề cập nhiều và ngược lại, làm ảnhhưởng đến độ giá trị của đề thi

Phỏng vấn sâu các GV được biết, họ ít khi xác định mục tiêu đánhgiá và xây dựng bảng trọng số trước khi viết câu hỏi thi, các GV chorằng điều đó là không cần thiết vì trong quá trình dạy học và biênsoạn đề họ đã biết được phần nào quan trọng hơn Có nhiều GV chorằng, việc xây dựng bảng trọng số chỉ cần thiết đối với các GV trẻ, ítkinh nghiệm

 Về độ bao phủ, độ khó, độ phân biệt, độ tin cậy, độ giá trị

và thời gian thi, kiểm tra.

Trong các bài thi kiểm tra, các câu hỏi thường ở mức độ nhậnthức biết và hiểu là chính, câu hỏi ở mức độ vận dụng ít, nhưng lại cónhững bài thi có ít câu hỏi lại thường đánh giá người học ở mức độvận dụng nhiều Bởi vậy việc ĐGKQHT chưa thật sự khoa học vàcông bằng, đồng thời độ chính xác là không cao Bài thi với nhữngcâu hỏi ở mức độ vận dụng mà không có câu hỏi ở mức độ biết vàhiểu, nếu sinh viên đạt kết quả không cao thì chúng ta không đánh giáchính xác khả năng và năng lực của sinh viên có đạt mục tiêu về kiến

thức và kỹ năng của học phần đề ra hay không? Nếu GV thiết kế cáccâu hỏi chỉ đo mức độ nhớ và hiểu thì nếu sinh viên nào học tủ hoặchọc theo kiểu ghi nhớ máy móc thì sẽ được điểm cao, các sinh viênhọc theo kiểu tư duy lại chỉ được điểm trung bình.

Theo kết quả điều tra có nhiều GV nhận thức rằng việc biên soạn

đề thi TNKQ sẽ cho kết quả đánh giá khách quan và công bằng, tuynhiên vì những lý do khác nhau mà GV vẫn hiếm khi sử dụngphương pháp TNKQ để đánh giá KQHT của sinh viên

 Lý do GV hiếm khi sử dụng phương pháp TNKQ.

- GV gặp khó khăn khi thiết kế câu hỏi TNKQ đạt yêu cầu kỹ thuật

GV ở mỗi Khoa khác nhau gặp khó khăn khi biên soạn câu hỏiTNKQ chuẩn là khác nhau Có 66% GV ở các khoa gặp khó khăn và34% GV không gặp khó khăn khi biên soạn bộ câu hỏi TNKQ chuẩn

- GV chưa được bồi dưỡng về cách xây dựng đề thi TNKQ

Thực tế nhà trường chưa tổ chức được các buổi tập huấn cho GV

về kỹ thuật xây dựng đề thi TNKQ, qua phiếu điều tra và phỏng vấnsâu cho thấy rằng nếu được tập huấn và tiếp cận với hình thức thiTNKQ sớm thì họ sẽ áp dụng hình thức thi này để ĐGKQHT cho

SV Mặt khác, có nhiều GV trẻ mới về trường công tác, chưa có kiếnthức và kinh nghiệm nhiều nên đây cũng chính là lý do mà các GVnày không lựa chọn phương pháp TNKQ

- Thiếu thời gian soạn bộ câu hỏi TNKQ

Phần lớn các GV đều cho rằng để biên soạn bộ đề thi TNKQ cầnrất nhiều thời gian, cho nên chỉ có khoảng 21% GV cho rằng có thờigian biên soạn câu hỏi TNKQ Giải thích cho tỷ lệ trên là do một đềthi TNKQ bao gồm rất nhiều câu hỏi, các câu hỏi đòi hỏi bao phủtoàn bộ nội dung chương trình môn học, hơn nữa, để soạn được từng

câu hỏi TNKQ, GV phải nắm vững kỹ thuật viết: cách lựa chọn dạngcâu hỏi, độ khó, độ phân biệt, thời gian thi… sao cho phù hợp với nộidung chương trình của từng học phần Bởi vậy để soạn được 1 bộ đềthi TNKQ mất rất nhiều công sức và thời gian.

- Thiếu kỹ năng phân tích, ngại thay đổi:

Một số GV cho rằng họ không có kỹ năng phân tích đề thi cũngnhư phân tích kết quả thi Một số GV khác thì lại có tâm lý ngại thayđổi, họ cho rằng các đề thi tự luận hiện nay của họ hoàn toàn có thểđánh giá chính xác năng lực của SV nên họ không muốn và khôngcần phải thiết kế các đề thi TNKQ…

Có những GV mặc dù đã tự nghiên cứu về xây dựng đề thiTNKQ, nhưng do chưa có kinh nghiệm thiết kế nên họ không chắcchắn vào chất lượng biên soạn đề thi của mình

 Về thang điểm của đề thi.

Theo kết quả điều tra các GV cho rằng, với các câu hỏi tự luận,câu hỏi vấn đáp GV thường cho điểm cả câu, còn các ý và các chi tiếttrong câu hỏi, GV cho điểm tùy theo nội dung bài làm của SV và tâmtrạng của GV khi chấm thi Nếu điểm của cả lớp tương đối thấp thì

SV chỉ viết hoặc trả lời đúng ý cũng có thể đạt được một số điểmnhất định mà chưa cần phân tích, bình luận Còn nếu điểm của cả lớptương đối cao thì SV sẽ không được điểm cao nếu không phân tích vàbình luận ý đó Mặt khác, với cùng một bài thi nhưng hai GV chấmthi khác nhau có thể cho kết quả khác nhau Điều này dẫn đến sựthiếu khách quan và công bằng

Như vậy, qua các phân tích ở trên chúng ta có thể thấy rằng vớiquy trình thiết kế đề thi TNKQ như hiện nay ở phần lớn các khoa bộmôn trong trường ĐHKH sẽ không đánh giá chính xác được năng lựccủa SV

2.3.3 Thực trạng phân tích và xử lý kết quả thi

 Phân tích kết quả thi

Kết quả điều tra cho thấy rằng khoảng 34% GV cho rằng họ cóphân tích câu hỏi thi sau khi chấm bài và 66% không phân tích Đây

là một điều rất đáng quan tâm vì sau khi chấm thi hầu như các GVkhông bao giờ quan tâm xem đề thi của mình có phù hợp với mụctiêu của học phần đề ra hay không? Có bao phủ nội dung chươngtrình đào tạo? Có đảm bảo khách quan công bằng và phù hợp vớinăng lực của SV không? Thực trạng này cho thấy việc ra đề và việckiểm tra đánh giá cho SV còn nhiều bất cập

 Phân tích độ khó

Có tới 70% GV hiếm khi và không bao giờ phân tích độ khó saukhi thi, tương ứng với 30% GV thường xuyên hoặc thỉnh thoảng phântích độ khó của đề thi Điều này chứng tỏ các GV vẫn coi nhẹ việcphân tích đề thi, họ cho rằng đây là việc làm không cần thiết và tốnthời gian

 Phân tích độ phân biệt

Có khoảng 60% giáo viên hiếm khi hoặc không bao giờ phân tích

độ phân biệt của đề thi Điều này được giải thích bởi khi chấm thixong GV thường không quan tâm xem với những SV khá giỏi và SVtrung bình yếu có kết quả thi ra sao

Kết hợp với phỏng vấn sâu chúng tôi thu được một số lý do sau:Thứ nhất, do GV hiện nay đang phải dạy quá nhiều giờ Thứ hai, một

số GV cho rằng đề thi của họ chắc chắn đạt chất lượng nên khôngcần phải phân tích đề thi Thứ ba, một số GV cho rằng việc nàykhông có trong quy định nên họ không làm

 Phân tích, xử lý câu hỏi và bài thi

Kết quả điều tra trên cho thấy thực trạng hiện nay đa số GV ởtrường ĐHKH sau khi ra đề, coi thi, chấm thi xong hầu như khôngbao giờ phân tích câu hỏi thi cũng như bài thi Nguyên nhân chínhcủa vấn đề này là do chưa được đào tạo, bồi dưỡng kiến thức, mặtkhác còn do vấn đề về thời gian và kinh phí cho vấn đề này.

2.3.4 Thực trạng chất lượng đề thi

Để biết chất lượng các đề thi như thế nào, ngoài việc nghiên cứucác đề thi đã sử dụng, cần phân tích kết quả bài làm của SV Trongkhuôn khổ luận văn này, chúng tôi tập trung nghiên cứu và phân tíchmột vài đề thi TNKQ để phần nào minh họa chất lượng đề thi hiệnnay ở trường

 Đề thi Xã hội học đại cương:

Theo kết quả thi TNKQ, học phần Xã hội học đại cương với 60

câu hỏi MCQ với thời gian thi là 60 phút (xem thông tin chi tiết trongPhụ lục 2.2) với một lớp 50 thí sinh Trung bình thời gian trả lời câuhỏi là 1phút/ 1câu Theo kết quả thu được, có 26% sinh viên đạt điểmdưới trung bình và 66% sinh viên đạt điểm trung bình Có 2 sinh viênđạt điểm thấp nhất là 3 điểm và có 4 sinh viên đạt điểm cao nhất là 7điểm Như vậy có thể thấy rằng đề thi này không phù hợp so vớinăng lực của sinh viên Điều này phù hợp với thông tin thu được khitiến hành phỏng vấn sâu sinh viên, các sinh viên đều cho rằng đề thinày không khó lắm tuy nhiên nội dung quá nhiều, thời gian làm bàikhông đủ Có thể kết luận rằng thời gian thi không phù hợp với sốlượng và nội dung của câu hỏi thi Với những sinh viên có năng lựccao chỉ làm được 70% số lượng câu hỏi thi đã hết thời gian làm bài

 Đề thi học phần Giải tích A1:

Với 20 câu hỏi TNKQ dạng MCQ, đề thi học phần Giải tích A1 có

thời gian làm bài là 90 phút (xem thông tin chi tiết tại phụ lục 2.3)

Kết quả phân tích cho thấy đa số sinh viên cho rằng đây là đề thi vừaphải, tuy nhiên do thời gian làm bài tương đối nhiều (90 phút) nênhầu hết sinh viên làm được hết các câu hỏi của bài thi Điều này chothấy thời gian thi không cân đối với độ khó và số lượng câu hỏi (4,5phút/1 câu)

Có 60% sinh viên đạt điểm khá (7 đến 8 điểm), 18% sinh viên đạtđiểm giỏi (9 đến 10 điểm) và chỉ có 22% sinh viên đạt điểm trungbình (5 và 6 điểm) Điểm thấp nhất của sinh viên trong học phần này

là 5 điểm và điểm cao nhất là 10 điểm Kết quả trên cho thấy đề thi

có quá nhiều câu dễ cho nên không đánh giá được năng lực của cácsinh viên khá giỏi và không phân loại được sinh viên

 Phân tích đề thi TNKQ của học phần “Khoa học môi trường đại cương” bằng lý thuyết khảo thí hiện đại:

Đây là đề thi TNKQ do giảng viên Khoa Khoa học Môi trường tựbiên soạn để đánh giá KQHT của sinh viên năm thứ nhất ngành Cửnhân KHMT, trong học kỳ II năm học 2008-2009

Đề thi kết thúc học phần Khoa học môi trường đại cương bao gồm

50 câu hỏi, thời gian thi là 60 phút (xem chi tiết ở phụ lục 2.4) Saukhi chấm thi, nhập số liệu và phân tích kết quả bằng phần mềmQuest, căn cứ vào mục 1.6.3 trong chương 1, chúng tôi thấy rằng: SD

= 1.53 là quá lớn, không đạt Reliability of estimate = 0.63 là hơithấp Infit Mean Square có SD = 0.28 là không tốt

Căn cứ vào sự phân bố của 50 câu hỏi cho thấy: có 15/50 câu hỏikhông cùng một mô hình do chúng không tạo thành một cấu trúc.Các câu hỏi có độ khó nằm trong khoảng -3.5 đến 3.2 trên thang logitcòn năng lực của thí sinh nằm trong khoảng -0.8 đến 2.8 trên thanglogit Có 19 câu hỏi: 3, 15, 21, 2, 6, 10, 30, 7, 8, 16, 48, 12, 40, 36,

34, 23, 28, 9 và 46 là quá dễ so với năng lực của thí sinh (chiếm