Nghiên cứu đánh giá tính giá trị và độ tin cậy của đề thi trắc nghiệm nhi sinh viên y năm thứ tư. 119 sinh viên năm thứ tư tham gia thi trắc nghiệm nhi học kỳ 2 năm học 2002-2003 được thăm dò ý kiến bằng bảng câu hỏi về nội dung đề thi và các yếu tố bên ngoài ảnh hưởng đến tính giá trị của đề thi. Mời các bạn tham khảo!
Trang 1Nghiên cứu Y học Y Học TP Hồ Chí Minh * Tập 9 * Phụ bản của Số 1 * 2005
TÍNH GIÁ TRỊ CỦA ĐỀ THI TRẮC NGHIỆM NHI KHOA
SINH VIÊN Y NĂM THỨ TƯ NĂM HỌC 2002-2003
Đoàn Thị Thu Hoa*, Trần Quang Trung**
TÓM TẮT
Nghiên cứu đánh giá tính giá trị và độ tin cậy của đề thi trắc nghiệm nhi sinh viên y năm thứ tư 119 sinh viên năm thứ tư tham gia thi trắc nghiệm nhi học kỳ 2 năm học 2002-2003 được thăm dò ý kiến bằng bảng câu hỏi về nội dung đề thi và các yếu tố bên ngoài ảnh hưởng đến tính giá trị của đề thi Điểm thi của sinh viên được dùng để tính độ tin cậy của đề thi 6 giảng viên bộ môn nhi và 2 bác sĩ đa khoa đánh giá nội dung đề thi và các yếu tố bên ngoài ảnh hưởng Nhóm này đánh giá đề thi của học kỳ 1 và học kỳ 2 để xem xét liệu 2 đề thi có tương đồng với nhau về mặt nội dung lượng giá hay không Một giảng viên đã xây dựng đề thi được phỏng vấn về quá trình hình thành đề thi Kết quả nghiên cứu cho thấy các yếu tố bên ngoài đã không ảnh hưởng đến tính giá trị của đề thi Về mặt nội dung, 77% các câu hỏi lượng giá các kiến thức quan trọng Các câu hỏi phân bố không cân đối giữa các bài học 2 đề thi ở học kỳ 1 và
2 khác nhau về mặt nội dung lượng giá Hệ số tương quan giữa 2 đề thi Pearson correlation 0.611 (p<.01) khi xét về số câu hỏi phân bố giữa các bài học Test blueprint cụ thể chưa được xây dựng Độ tin cậy Cronbach alpha của đề thi là 0.7955 Kết luận đề thi trắc nghiệm nhi cho sinh viên y năm thứ tư có tính giá trị trung bình và độ tin cậy vừa phải chấp nhận được
SUMMARY
VALIDITY OF MULTIPLE CHOICE QUESTION TEST OF PEDIATRIC KNOWLEDGE FOR FOURTH YEAR MEDICAL STUDENTS IN ACADEMIC YEAR 2002-2003
Doan Thi Thu Hoa, Tran Quang Trung
* Y Hoc TP Ho Chi Minh * Vol 9 * Supplement of No 1 * 2005: 123 – 128
This study investigated validity and reliability of an MCQ test of pediatric knowledge for fourth year students 119 fourth year students who took the MCQ test of pediatric knowledge in the second term of the academic year 2002-2003 were asked for their opinions by a questionnaire about the test content and extraneous factors that could influence test validity Their scores in this MCQ test were used to calculate reliability of the test A panel of six pediatric lecturers and two general doctors judged the test content as well as extraneous factors of this test The panel also judged test content of another test had been used in the first term to see whether these two tests which were presumed to assess the same content are similar
to each other or not One test developer for this test was interviewed about the process to construct the test The results showed that extraneous factors were eliminated from this pediatric test Most of items (77%) had assessed essential knowledge Test items were distributed at some extent disproportion across lessons The test content was some extent different in both tests assumed to measure the same thing The Pearson correlation between two tests was 0.611 (p< 01) when considering the two test forms in number
of items for lessons A test blueprint was not concretely constructed The Cronbach alpha of internal consistency of the test was 7955 The MCQ test of pediatric knowledge for fourth year students has acceptable reliability and moderate validity
* Đơn vị Huấn luyện Kỹ năng y khoa
Trang 2trình giảng dạy Việc sinh viên học cái gì, học như
thế nào, học khi nào và học bao nhiêu được định
hướng phần lớn bởi các kỳ thi Gần đây việc lượng giá
trong giáo dục y khoa có xu hướng dùng các phương
pháp lượng giá khách quan, cụ thể là thi trắc nghiệm
câu hỏi nhiều lựa chọn multiple choice questions
(MCQs) Hiện thời trường chúng ta đã sử dụng thi
trắc nghiệm ở một số bộ môn và đang có khuynh
hướng sẽ áp dụng rộng rãi phương pháp này trong
toàn truờng để đánh giá kiến thức sinh viên vì những
ưu điểm của phương pháp này Song cũng có những
nghi ngờ về chất lượng của các kỳ thi trắc nghiệm
này Tính giá trị và độ tin cậy là 2 đặc điểm quan
trọng đối với bất kỳ một đề thi nào, do đó tính giá trị
và độ tin cậy quyết định chất lượng của đề thi Qua
tham khảo tài liệu, để xây dựng một đề thi có tính giá
trị cao đòi hỏi một qui trình chặt chẽ nhất định
Quá trình xây dựng đề thi nói chung gồm những
bước sau(2,8,12):
Xác định mục đích của bài thi
Xây dựng test blueprint bao gồm liệt kê các mục
tiêu giảng dạy và nội dung, tỉ lệ các câu hỏi phân bố
cho mỗi mục tiêu và nội dung
Xây dựng câu hỏi hoặc rút câu hỏi theo test
blueprint Cần rút câu hỏi nhiều hơn số câu hỏi đã dự
định để đảm bảo rằng các câu hỏi dự bị có sẵn trong
trường hợp có những câu hỏi bị loại bỏ Mục tiêu của
bước này là có được đề thi có tính đại diện
Xem lại các câu hỏi đã được lấy ra Kiểm tra câu
hỏi có dùng được hay không và đáp án có đúng
không
Bản thảo đề thi được kiểm tra một lần nữa và sửa
chữa những lỗi đánh máy và câu hỏi trùng lắp
Sau khi thi xong, các câu hỏi được xem xét lại lần
nữa dựa trên phân tích thống kê và ý kiến sinh viên
Cho đến hiện nay, vẫn chưa có những nghiên
cứu chính thức về chất lượng của các đề thi trắc
nghiệm ở trường ta Vì vậy, việc xem xét đề thi trắc
nghiệm để khám phá ra những điểm thiếu sót nếu có
Nghiên cứu này thực hiện trên đề thi trắc nghiệm của bộ môn nhi
Mục tiêu của nghiên cứu này là xem xét tính giá trị và độ tin cậy của đề thi trắc nghiệm môn nhi sinh viên y năm thứ tư Nghiên cứu này sẽ tập trung vào quá trình hình thành đề thi, các yếu tố bên ngoài 4,10, tính giá trị về mặt nội dung 1,3,6,7,9,11
PHƯƠNG PHÁP NGHIÊN CỨU
a/ 119 sinh viên y năm thứ tư tham gia thi trắc nghiệm nhi học kỳ 2 năm học 2002-2003 được thăm dò ý kiến về đề thi mà sinh viên vừa mới thi xong bằng bảng câu hỏi gồm 17 câu trong đó 8 câu hỏi ý kiến về những yếu tố bên ngoài có ảnh hưởng đến tính giá trị của đề thi (thời gian thi, giám sát thi, hướng dẫn cách làm bài, từ ngữ trong câu hỏi thi) và
9 câu hỏi ý kiến về nội dung đề thi Đối với mỗi câu hỏi, sinh viên trả lời theo mức độ rất đồng ý, đồng ý, không ý kiến, không đồng ý và rất không đồng ý Thống kê mô tả để trình bày kết quả
b/ Một nhóm 6 giảng viên bộ môn nhi và 2 bác sĩ
đa khoa đánh giá đề thi về nội dung cũng như các yếu tố ảnh hưởng bên ngoài Nhóm này đánh giá đề thi của học kỳ 1 và học kỳ 2 để xem xét liệu 2 đề thi có tương đồng với nhau về mặt nội dung hay không Đối với mỗi câu hỏi trong đề thi, mỗi người sẽ đánh giá như sau:
- Xác định câu hỏi nằm trong bài học nào
- Xác định nội dung câu hỏi đề cập tới mục tiêu nào của bài học
- Xác định mức độ tư duy sinh viên cần vận dụng để trả lời câu hỏi này: Nhớ lại sự kiện (thuộc lòng) hay
ở mức độ cao hơn (chẳng hạn như suy luận, áp dụng )
- Đánh giá mức độ quan trọng của kiến thức được hỏi theo thang điểm từ 1 – 4 (từ mức độ “không cần lượng giá” đến mức độ “phải lượng giá”)
- Đánh giá ngôn ngữ dùng trong câu hỏi có dễ hiểu không,
Trang 3Nghiên cứu Y học Y Học TP Hồ Chí Minh * Tập 9 * Phụ bản của Số 1 * 2005
- Ý kiến tổng quát về đề thi: tỷ lệ câu hỏi trong đề
thi có cân đối không
KẾT QUẢ
Ý kiến sinh viên
Thống kê mô tả đề thi theo nội dung giảng dạy
Hệ số tương quan về số câu hỏi được phân bố theo
các bài giữa 2 đề thi học kỳ 1 và 2 cũng được tính
Một hệ số tương quan cao giữa 2 đề thi sẽ là một chỉ
số ủng hộ cho tính giá trị của đề thi bởi vì điều đó có
nghĩa là cả 2 đề thi được xây dựng từ cùng một khuôn
mẫu nào đó (cùng một “test blueprint”)
Ý kiến của sinh viên đối với mỗi phát biểu liên quan tới các yếu tố bên ngoài (thời gian thi, hướng dẫn cách làm bài, tổ chức thi, từ ngữ trong câu hỏi thi) và liên quan tới nội dung đề thi được trình bày trong bảng 1 theo tỷ lệ phần trăm Điểm trung bình cho mỗi phát biểu cũng được tính
Về các yếu tố bên ngoài, hầu hết các phát biểu đều có điểm trung bình cao hơn điểm giữa của thang điểm 5 (3,21 – 3,79, chỉ có phát biểu “Đề thi có những câu hỏi dễ gây hiểu lầm” có điểm thấp 2,83)
Điểm trung bình về mức độ quan trọng của kiến
thức được lượng giá trong mỗi câu hỏi sẽ được tính,
nếu > 2,5 nghĩa là kiến thức được lượng giá là quan
trọng
Về nội dung đề thi, phát biểu “Đề thi có những câu hỏi mà bạn tin rằng hầu hết sinh viên sẽ trả lời đúng” có điểm trung bình thấp nhất 2,2 và theo sinh viên có khoảng 21 câu hỏi thi như vậy (dao động từ 5 đến 60 câu) với lý do là vì đây là những câu hỏi cũ đã được sử dụng trong các kỳ thi trước đó
Độ tin cậy của đề thi được tính bằng hệ số
Cronbach’s alpha
c/ Một giảng viên đã xây dựng nên đề thi này
cũng được phỏng vấn về quá trình hình thành đề thi
Bảng 1: Ý kiến sinh viên theo tỷ lệ phần trăm đối với mỗi phát biểu
Phát biểu Rất đồng ý Đồng ý Không ý kiến Không đồng ý Rất không
đồng ý Điểm tb
0% Dễ 4,2% Vừa phải 63%
Khó 30,3%
Rất khó
16,2%
Đủ giờ 64,1%
Thiếu giờ
5/ Các câu hỏi trong đề thi nói chung là dễ hiểu 6,7% 74,8% 10,1% 8,4% 0% 3,79
7/ Đề thi có những câu hỏi dùng từ ngữ khó
10/ Nội dung bài thi phù hợp với mục tiêu học
11/ Nội dung bài thi phù hợp với nội dung đã dạy 4,2% 73,9% 10,1% 10,1% 1,7% 3,68
12/ Nhìn chung tỷ lệ câu hỏi cho các
chương/các phần cân đối với số giờ học các
chương/ các phần đó
Trang 4đồng ý
13/ Có các phần quan trọng của chương trình
14/ Có những câu hỏi mà nội dung không có
15/ Đề thi có những câu hỏi mà bạn tin rằng
16/ Đề thi có những câu hỏi mà bạn tin rằng
17/ Đề thi có những câu hỏi mà bạn nghĩ rằng
Ý kiến giảng viên
Ý kiến về những yếu tố bên ngoài
Bảng 2: Số câu hỏi và tỉ lệ giảng viên đồng ý với mỗi phát biểu thăm dò tương ứng
Số người (tỉ lệ) đồng ý với câu hỏi thăm dò tương ứng 8/8 (100%) 7/8 (87.5%) 6/8 (75%) 5/8 (62.5%) 3/8 (37.5%) 2/8 (25%)
Không còn cách hiểu nào khác cho câu hỏi
này (Câu hỏi không gây hiểu lầm) 48 câu 19 câu 1 câu 2 câu
Câu hỏi này không thể viết ngắn gọn hơn 64 câu 3 câu 2 câu 1 câu
Câu hỏi này chỉ có duy nhất một đáp án đúng 63 câu 7 câu
Ý kiến về nội dung đề thi
- “Tỷ lệ câu hỏi trong đề thi cho các
chương/các phần cân đối với số giờ học của các
chương/các phần đó”: có 3/8 (37,5%) giảng viên
không đồng ý với điều này
- Về mức độ quan trọng của kiến thức được lượng
giá: có 54 câu hỏi (77%) có điểm trung bình >2,5
(điểm giữa của thang điểm 1-4 khi đánh giá mức độ
quan trọng của kiến thức đuợc hỏi), 16 câu hỏi (23%)
có điểm trung bình =<2,5
So sánh 2 đề thi
Số câu hỏi phân bố giữa các bài học
kỳ 2
Đề thi học kỳ 1
1 - Các thời kỳ của tuổi trẻ 7 câu 1 câu
2 - Sự tăng trưởng thể chất trẻ em 0 0
3 - Sự phát triển tâm thần và vận động 0 1
kỳ 2
Đề thi học kỳ 1
7 - Nuôi trẻ dưới 6 tháng khi không có
12- Bệnh còi xương do thiếu vitamine D 5 3
15- Đặc điểm bộ máy hô hấp trẻ em 0 2 16- Viêm cấp đường hô hấp trên 2 2
21- Đặc điểm bộ máy tiêu hóa trẻ em 4 2
Trang 5Nghiên cứu Y học Y Học TP Hồ Chí Minh * Tập 9 * Phụ bản của Số 1 * 2005
Bài Đề thi học kỳ 2 Đề thi học kỳ 1
23- Chương trình phòng chống tiêu
25- Xếp loại các bệnh thiếu máu ở trẻ
31- Đặc điểm hệ thần kinh trung ương
Khi xét về số câu hỏi phân bố trong các bài giữa 2
đề thi, hệ số tương quan Pearson correlation là 0.611
(p<.01)
Về mục tiêu:
- Xét đề thi học kỳ 2, đa số các câu hỏi có thể xếp
vào mục tiêu cụ thể trong bài học, nhưng có 10 câu
hỏi không thể xếp vào mục tiêu nào
- Xét cả 2 đề thi, chỉ có 26 câu hỏi trong đề thi
học kỳ 2 có cùng mục tiêu lượng giá với đề thi học kỳ
1, còn lại 44 câu hỏi lượng giá những mục tiêu khác
nhau giữa 2 đề thi
Về mức độ kiến thức sinh viên cần vận
dụng để trả lời câu hỏi
Đề thi học kỳ 2 Đề thi học kỳ 1
Nhớ lại 60 câu (86%) 57 câu (81%)
Suy luận 10 câu (14%) 13 câu (19%)
Độ tin cậy của bài thi
Chương Số câu
hỏi
Alpha coefficients
Alpha coefficients ước tính
Dinh dưỡng và phát triển 25 5670 785
Quá trình xây dựng đề thi
Qua phỏng vấn giảng viên làm đề thi này cho thấy hiện tại bộ môn nhi đã có thực hiện được một số bước trong quá trình xây dựng đề thi Tuy nhiên, bộ môn chưa xây dựng test blueprint Và chỉ có một người làm đề thi kiểm tra tính bao phủ nội dung của đề thi Sau khi thi xong không có phân tích thống kê xem xét câu hỏi
BÀN LUẬN
Yếu tố bên ngoài
Theo ý kiến của sinh viên và giáo viên có thể kết luận là các yếu tố bên ngoài có thể ảnh hưởng đến tính giá trị của đề thi đã được loại trừ Các phát biểu đều có điểm trung bình cao hơn điểm giữa của thang điểm đánh giá Đề thi được cho là có độ khó vừa phải, có hướng dẫn rõ ràng cách làm bài, tổ chức thi nghiêm túc, thời gian thi là đủ giờ, ngôn ngữ trong câu hỏi dễ hiểu
Nội dung đề thi
Các câu hỏi phù hợp với nội dung và mục tiêu học tập, tuy nhiên tỷ lệ các câu hỏi phân bố không cân đối Có 13 bài (trong tổng số 34 bài) không có câu hỏi trong đề thi học kỳ 2
Khi xem xét về số câu hỏi phân bố giữa các bài trong 2 đề thi, hệ số tương quan Pearson correlation giữa 2 đề thi không cao lắm (0.611, p< 01)
Khoảng 2/3 các câu hỏi lượng giá các kiến thức cần thiết quan trọng, tuy nhiên vẫn còn 23% các câu hỏi lượng giá nhũng kiến thức được cho là không quan trọng trong khi có các phần kiến thức quan trọng hơn không được lượng giá
Sinh viên cho rằng có khoảng 21 câu hỏi (dao động từ 5-60 câu) mà tất cả sinh viên sẽ trả lời đúng bởi vì đây là những câu hỏi cũ đã được sử dụng trước đó
Mặc dù đa số các câu hỏi có liên hệ với mục tiêu cụ thể của bài, nhưng vẫn còn 10 câu hỏi không thể gắn với một mục tiêu nào nhưng 8 trong số 10 câu hỏi này được cho là lượng giá kiến thức quan trọng Khi xem xét 2 đề thi, cả 2 đề thi dường như lượng
Trang 6giữa 2 đề thi)
Hơn 80% các câu hỏi trắc nghiệm của cả 2 đề thi
lượng giá kiến thức ở mức độ tư duy thấp nhất là mức
độ nhớ lại (86% câu hỏi trong đề thi học kỳ 2 và 81%
trong đề thi học kỳ 1 lượng giá kiến thức ở mức độ
nhớ lại)
Quá trình xây dựng đề thi
Quá trình xây dựng đề thi không được chặt chẽ
do không có “test blueprint” cụ thể Trong suốt quá
trình xây dựng đề thi chỉ có một người duy nhất kiểm
tra tính bao phủ nội dung của đề thi Không có việc
xếp mỗi câu hỏi với bài và mục tiêu sau khi đã làm
xong bản thảo đề thi Chính điều này cùng với việc
không xây dựng test blueprint trước có lẽ là nguyên
nhân dẫn đến việc phân bố các câu hỏi giữa các bài
không cân đối, và làm cho hệ số tương quan thấp
giữa 2 đề thi Sau khi thi xong không có thống kê
Độ tin cậy
Độ tin cậy ước tính của mỗi chương thay đổi từ
0.70 đến 0.90 nếu số lượng câu hỏi của mỗi chương là
70 câu Độ tin cậy của cả đề thi tính theo hệ số
Cronbach’s alpha là 7955 gần 80 như tiêu chuẩn
Kết quả này cho thấy độ tin cậy như thế là có thể
chấp nhận
Kết luận đề thi trắc nghiệm nhi cho sinh viên y
năm thứ tư có tính giá trị trung bình và độ tin cậy
vừa phải chấp nhận được
Một số đề nghị để cải thiện đề thi
- Cần xây dựng test blueprint Test blueprint bao
gồm nội dung và mục tiêu cần lượng giá trước khi xây
dựng đề thi Sau khi đã có bản thảo đề thi, cần thiết
phải có một người khác kiểm tra xem đề thi có phù
hợp với test blueprint hay không
- Mỗi câu hỏi trong ngân hàng câu hỏi nên được
xếp thuộc bài nào, mục tiêu, phần tham khảo của đáp
án để người làm đề thi dễ dàng rút câu hỏi tương ứng
theo test blueprint, đồng thời nên ghi chú ngày câu
hỏi được cho thi để kiểm soát được việc sử dụng lại
câu hỏi cũ Cần có phân tích thống kê sau khi thi
- Viết thêm những câu hỏi mới để mở rộng ngân hàng
- Xem lại/viết lại mục tiêu của các bài học
TÀI LIỆU THAM KHẢO
1 Angoff, W.H (1988)., p 22) Validity: An evolving concept In R Wainer & H.I Braun (ed), Test validity Hillsdale, NJ: Lawrence Erlbaum Associates, Inc
2 David Lowe (1991) Set a multiple choice question (MCQ) examination British medical journal, 302,
780-782
3 Doris, M.R, Marla, B.W., Susan, S.Tebb (2003) Objectifying content validity: conducting a content validity study in social work research Social work research,27, 94-103
4 Downing & Haladyna (1997) Test item development: Validity evidence from quality assurance procedures Applied measurement education, 10, 61-82
5 Fenderson, B.A., Damjanov, I., (1997) The virtues of
ex tended matching and uncued tests as alternatives
to multiple choice questions Human pathology, 28, 526-532
6 Geisinger, K.F (1992) The metamorphosis of test validation Educational psychologist, 27, 197-222
7 Gjerde, C.L (1981) “Curriculum mapping”: objectives, instruction, and evaluation Journal of Medical Education,56, 316-323
8 Linn, R.L., & Gronlund, N.E (2000) Planning classroom tests and assessment In R.L Linn, Educational Measurement and assessment in teaching (8th ed.) Upper Saddle River, NJ: Prentice Hall
9 Messick, S (1993).Validity In R.L Linn, Educational Measurement (2th ed.) Phoenix, AZ: American council
on education and Oryx Press
10 Paxton, Moragh (2000) A linguistic perspective on multiple choice questioning Assessment & Evaluation
in Higher Education, Jun2000, Vol 25, Issue 2 p109
11 Sireci, S.G (1998) Gathering and analyzing content validity data Educational Measurement, http://web15.epnet.com/citation.asp?tb=1&_ug=d bs+0+ln+en%2Dus+sid+15FCB694%2D1FFD%2 D49EF%2D9CD3%2D552CDE8A66F7%40sessio nmgr3%2Dsessionmgr4+188D&_us=bs+content+ +validity+db+0+dl%5B0+%2DRV++Y+ds+conte nt++validity+dstb+KS+gl+%7BFT++y%7D+hd+0 +hs+0+or+Date+ri+KAAACBXB00014279+sm+ KS+ss+SO+4D57&fn=91&rn=925, 299-321
12 Verhoeven, B H., Verwijnen, G M., Scherpbier, A J
J A., Schuwirth, L W T., Van der Vleuten, C P.M (1999) Quality assurance in test construction: the approach of a multidisciplinary central test committee Education for Health: Change in Learning
& Practice, 12, 49-60