Đánh giá các yếu tố ảnh hưởng đến quá trình xây dựng bộ đề thi trắc nghiệm khách quan tại khoa công nghệ thông tin đh thái nguyên

Trong thực trạng giáo dục đại học còn nhiều tiêu cực và bất cập như hiện nay, việc áp dụng hình thức thi, kiểm tra trắc nghiệm khách quan là một trong những biện pháp có hiệu quả cho phé

ĐẠI HỌC QUỐC GIA HÀ NỘI VIỆN ĐẢM BẢO CHẤT LƯỢNG GIÁO DỤC

_

Nguyễn Anh Tuấn

ĐÁNH GIÁ CÁC YẾU TỐ ẢNH HƯỞNG ĐẾN QUÁ TRÌNH

XÂY DỰNG CÁC BỘ ĐỀ THI TRẮC NGHIỆM KHÁCH QUAN

TẠI KHOA CÔNG NGHỆ THÔNG TIN - ĐH THÁI NGUYÊN

LUẬN VĂN THẠC SĨ

Hà Nội – 2010

ĐẠI HỌC QUỐC GIA HÀ NỘI VIÊN ĐẢM BẢO CHẤT LƯỢNG GIÁO DỤC

Nguyễn Anh Tuấn

ĐÁNH GIÁ CÁC YẾU TỐ ẢNH HƯỞNG ĐẾN QUÁ TRÌNH XÂY DỰNG CÁC BỘ ĐỀ THI TRẮC NGHIỆM KHÁCH QUAN TẠI KHOA CÔNG NGHỆ THÔNG TIN - ĐH THÁI NGUYÊN

Chuyên ngành: Đo lường và đánh giá trong giáo dục

(Chuyên ngành đào tạo thí điểm)

LUẬN VĂN THẠC SĨ

Người hướng dẫn khoa học:

PGS.TS Nguyễn Công Khanh

Hà Nội - 2010

LỜI CAM ĐOAN

Tôi xin cam đoan đây là phần nghiên cứu do tôi thực hiện

Các số liệu, kết luận nghiên cứu trình bày trong luận văn này chưa hề được công

bố ở các nghiên cứu khác

Tôi xin chịu trách nhiệm về nghiên cứu của mình!

Thái Nguyên, ngày 20 tháng 9 năm 2009 Tác giả

Nguyễn Anh Tuấn

LỜI CẢM ƠN

Tác giả xin bày tỏ lòng biết ơn sâu sắc đến PGS.TS Nguyễn Công Khanh

đã hướng dẫn hết sức chu đáo, nhiệt tình trong suốt quá trình thực hiện luận văn

Xin chân thành cảm ơn các thầy, cô giáo của Trung tâm Đảm bảo chất lượng đào tạo & Nghiên cứu phát triển giáo dục - Đại học Quốc gia Hà Nội đã tạo điều kiện thuận lợi cho tác giả trong thời gian học tập và nghiên cứu tại trường

Xin chân thành cảm ơn Lãnh đạo Khoa Công nghệ thông tin - Đại học Thái Nguyên, các đồng nghiệp đã tạo điều kiện thuận lợi cho tác giả trong quá trình tiến hành thực nghiệm đề tài

Xin chân thành cảm ơn những người thân trong gia đình, bạn bè, đồng nghiệp đã giúp đỡ, động viên tác giả trong quá trình thực hiện và hoàn thành luận văn!

MỤC LỤC

Trang Trang phụ bìa

Lời cam đoan 1

Lời cảm ơn 2

Mục lục 3

Danh mục các chữ viết tắt 5

Danh mục bảng 6

Danh mục hình 7

MỞ ĐẦU 1 Lý do chọn đề tài 8

2 Mục đích nghiên cứu 9

3 Giới hạn nghiên cứu 9

4 Phương pháp nghiên cứu 9

Chương 1 CƠ SỞ LÝ LUẬN VÀ TỔNG QUAN 1.1 Các khái niệm về chất lượng bộ đề thi trắc nghiệm 11

1.1.1 Các công cụ đo lường đánh giá kết quả học tập 11

1.1.2 Trắc nghiệm và những vấn đề liên quan 13

1.1.3 Độ tin cậy của bộ câu hỏi trắc nghiệm 19

1.1.4 Độ giá trị (hiệu lực) của bộ câu hỏi trắc nghiệm 24

1.2 Quy trình xây dựng bộ đề thi trắc nghiệm khách quan 26

1.2.1 Các quy tắc viết câu hỏi trắc nghiệm nhiều lựa chọn 26

1.2.2 Xây dựng bảng trọng số của môn học 31

1.2.3 Xây dựng ngân hàng đề thi trắc nghiệm môn học 32

Chương 2 PHƯƠNG PHÁP NGHIÊN CỨU 2.1 Những định hướng, trọng tâm nghiên cứu 34

2.1.1 Chuyên đề nghiên cứu thứ nhất 34

2.1.2 Chuyên đề nghiên cứu thứ hai 34

2.1.3 Chuyên đề nghiên cứu thứ ba 35

2.2 Thiết kế mẫu phiếu điều tra đối với giáo viên 35

Chương 3 XỬ LÝ SỐ LIỆU KẾT QUẢ THI TRẮC NGHIỆM 3.1 Xử lý số liệu kết quả thi TNKQ 39

3.1.1 Phân tích độ khó của item 39

3.1.2 Phân tích độ phân biệt của item 40

3.1.3 Đánh giá độ tin cậy của bài trắc nghiệm 42

3.1.4 Xử lý số liệu đề thi trên mô hình QUEST 48

3.1.5 Kết luận về độ giá trị của các bộ đề 52

3.2 Xử lý số liệu mẫu phiếu hỏi trong giảng viên 52

3.2.1 Đánh giá độ tin cậy của công cụ đo (mẫu phiếu hỏi) 52

3.2.2 Đánh giá về độ giá trị của công cụ đo và sự phù hợp của mô hình các yếu tố ảnh hưởng đến chất lượng bộ đề thi TNKQ qua xử lý phiếu hỏi 62

3.3 Kết luận về các yếu tố ảnh hưởng đến việc xây dựng bộ đề TNKQ 62

KẾT LUẬN, ĐỀ XUẤT GIẢI PHÁP, KIẾN NGHỊ 4.1 Kết luận 71

4.2 Đề xuất giải pháp 73

TÀI LIỆU THAM KHẢO 74

PHỤ LUC Phụ lục 1 File dữ liệu mon01.Itn 75

Phụ lục 2 File dữ liệu mon01.map 77

Phụ lục 3 Mẫu phiếu hỏi khảo sát giảng viên 81

DANH MỤC CÁC CHỮ VIẾT TẮT

DANH MỤC BẢNG

Trang Bảng 1.1: Ví dụ về bảng trọng số của 1 đề thi

hết học phần gồm 60 câu trắc nghiệm 32

Bảng 3.1: Kết quả phân tích độ tin cậy (Reliability Analysis Alpha)

của toàn bài trắc nghiệm trong đề số 1 44 Bảng 3.2: Các thông số về độ tin cậy (Reliability Statistics) 46

Bảng 3.3: Hệ số tin cậy Alpha Cronbach’s của 50 đề trắc nghiệm 46

Bảng 3.4: Phân bố tương quan giữa độ khó của đề và năng lực học sinh 49

Bảng 3.5: Phân bố các item trong khoảng cho phép (infit mean square) 50 Bảng 3.6: Các thông số đo lường của từng item trong file mon1.itn 51 Bảng 3.7: Hệ số tin cậy của từng item trên mẫu 50 giáo viên (N = 50) 55

Bảng 3.8: Ma trận tương quan của các item qua xử lý phiếu hỏi 57 Bảng 3.9: Ma trận phân bố của các item phiếu hỏi trong file Phieu.map 60

Bảng 3.10: Phân bố của các item trong phiếu hỏi

trong khoảng cho phép (infit mean square) 61

DANH MỤC HÌNH

Trang

Hình 1.1: Sơ đồ các phương pháp kiểm tra - đánh giá 12

Hình 3.1: Thủ tục Analyze \ Scale \ Reliability trong file SPSS.sav 54

Hình 3.2: Phân bố thống kê của biến “diem.ptn” 64

Hình 3.3: Biểu đồ phân chia mức khi Recode biến “diem.ptn” 65

Hình 3.4: Thủ tục Transform \ Recode \ Into Same Variables 66

Hình 3.5: Thủ tục Transform \ Recode \ Into Same Variables khi nhóm biến 65

Hình 3.6: Biểu đồ phân bố biến “chl.de” trên mẫu kết quả thi của 50 bộ đề TNKQ 66

Hình 3.7: Phân bố mức của biến “chl.de” sau khi Recode 67

Hình 3.8: Thủ tục Bảng chéo (Statistics \ Summaries \ Crosstabs) 68

Hình 3.9: Kết quả bảng chéo Crosstabs giữa hai biến“diem.ptn.nhom” và “chl.de.nhom” 70

MỞ ĐẦU

1 Lý do chọn đề tài

Để nâng cao chất lượng giảng dạy đại học, việc đánh giá chính xác kết quả học tập của sinh viên là một vấn đề rất quan trọng Trong thực trạng giáo dục đại học còn nhiều tiêu cực và bất cập như hiện nay, việc áp dụng hình thức thi, kiểm tra trắc nghiệm khách quan là một trong những biện pháp có hiệu quả cho phép đánh giá tương đối chính xác kết quả học tập của sinh viên Khoa Công nghệ thông tin - Đại học Thái Nguyên cũng như các trường đại học khác hiện đang tích cực áp dụng hình thức thi trắc nghiệm khách quan cho khoảng 40% tổng số các môn học, coi đây là một trong những biện pháp nhằm đổi mới phương pháp kiểm tra đánh giá, nâng cao chất lượng giáo dục Tuy nhiên một thực tế xảy ra là chất lượng các bộ đề thi trắc nghiệm khách quan chưa được bảo đảm cả về độ

giá trị cũng như độ tin cậy Do đó tôi đã lựa chọn đề tài “Đánh giá các yếu tố ảnh hưởng đến chất lượng các bộ đề thi trắc nghiệm khách quan tại Khoa Công nghệ thông tin - Đại học Thái Nguyên”

Thực tế hiện nay việc xây dựng các bộ đề thi trắc nghiệm khách quan được giao cho các nhóm giáo viên phụ trách môn học thực hiện Các giáo viên xây dựng bộ đề hầu hết đều theo kinh nghiệm chủ quan của mình, chưa được trang bị đầy đủ về kiến thức và kỹ năng thiết kế đề thi trắc nghiệm Các đề thi do giáo viên soạn thảo được đưa vào ứng dụng trực tiếp, không qua quá trình thử nghiệm và đánh giá Chính vì vậy phân bố điểm thi không thể hiện tính chuẩn,

do còn có nhiều câu hỏi kém chất lượng Như chúng ta biết, hiện nay chưa có công trình nào nghiên cứu cụ thể về vấn đề này Vì vậy chưa có một kết luận chính xác về độ tin cậy, độ giá trị của các bộ đề thi trắc nghiệm khách quan cũng như các yếu tố ảnh hưởng đến chất lượng bộ đề trắc nghiệm

Thực hiện đề tài này, chúng tôi mong muốn sẽ đánh giá được thực chất về

độ giá trị, độ tin cậy của các bộ đề thi trắc nghiệm khách quan của Nhà trường cũng như các yếu tố ảnh hưởng đến chất lượng các bộ đề thi trắc nghiệm, từ đó chỉ ra được các giải pháp khắc phục

2 Mục đích nghiên cứu của đề tài

Nghiên cứu này hướng đến những mục tiêu như sau:

- Đánh giá độ tin cậy của bộ đề thi trắc nghiệm khách quan

- Đánh giá độ giá trị của bộ đề thi trắc nghiệm khách quan

- Nghiên cứu các yếu tố ảnh hưởng đến chất lượng bộ đề trắc nghiệm

3 Giới hạn nghiên cứu của đề tài

Đề tài giới hạn trong việc nghiên cứu, đánh giá độ tin cậy, độ giá trị của

50 bộ đề thi trắc nghiệm khách quan đã được sử dụng tại Khoa CNTT - ĐHTN Nghiên cứu các yếu tố ảnh hưởng đến việc xây dựng đề thi trắc nghiệm của 50 giáo viên thông qua xử lý phiếu điều tra ý kiến kết hợp xử lý số liệu kết quả thi của các môn học tương ứng

4 Phương pháp nghiên cứu

Câu hỏi nghiên cứu / giả thiết nghiên cứu

Câu hỏi nghiên cứu được đặt ra là:

“Những yếu tố nào ảnh hưởng đến quá trình xây dựng các bộ đề trắc nghiệm”

Các giả thiết nghiên cứu được đặt ra là các yếu tố ảnh hưởng trực tiếp đến chất lượng các bộ đề:

1- Yếu tố thời gian đầu tư cho công việc: Là thời gian thực tế giáo viên dùng

để nghiên cứu tài liệu và biên soạn đề thi, quỹ thời gian của nhà trường dành cho việc này

2- Động cơ của người thực hiện: Là các yếu tố như sự say mê, hứng thú của

cá nhân các giáo viên hay đơn giản là phải hoàn thành nhiệm vụ

3- Mức độ người ra đề được trang bị kỹ thuật thiết kế đề trắc nghiệm: Thể

hiện ở mức độ được tập huấn, tự nghiên cứu về kỹ thuật xây dựng đề thi trắc nghiệm

4- Sự quan tâm của nhà trường: Thể hiện ở sự khuyến khích, động viên

bằng tinh thần hay vật chất cụ thể

5- Tính chất các nhóm môn học: Là đặc thù của nhóm môn học đến việc ra

đề trắc nghiệm (phù hợp hay khó thực hiện)

Khách thể và đối tượng nghiên cứu

Khách thể nghiên cứu là số liệu kết quả thi của 50 bộ đề trắc nghiệm khách quan tại Khoa CNTT và các giáo viên trực tiếp xây dựng các bộ đề đó

Đối tượng nghiên cứu là các yếu tố ảnh hưởng đến chất lượng các bộ đề thi trắc nghiệm

Phương pháp tiếp cận nghiên cứu

1 Phương pháp khảo cứu lý thuyết: Nghiên cứu các quy định về triển khai thực hiện việc thi trắc nghiệm và xây dựng ngân hàng thi trắc nghiệm của Bộ GD&ĐT; Các lý thuyết về đo lường đánh giá trong giáo dục

2 Phương pháp điều tra khảo sát: Thực hiện qua hai bước chính là nghiên cứu sơ bộ và nghiên cứu chính thức

- Nghiên cứu sơ bộ: Thực hiện thông qua phương pháp định tính, sử dụng

kỹ thuật thảo luận nhóm để bổ sung mô hình

- Nghiên cứu chính thức: Thực hiện thông qua phương pháp nghiên cứu định lượng, sử dụng kỹ thuật thu thập thông tin qua việc phỏng vấn, lấy phiếu điều tra trên các đối tượng giáo viên Mục đích nghiên cứu này là để sàng lọc các biến quan sát, xác định thành phần cũng như giá trị độ tin cậy của thang đo và kiểm định mô hình lý thuyết

3 Phương pháp lấy ý kiến chuyên gia: Tham khảo ý kiến của các chuyên gia

có kinh nghiệm trong giáo dục đại học và đo lường đánh giá trong giáo dục

4 Phương pháp thống kê toán học: Thu thập và xử lý số liệu (gồm kết quả các môn thi trắc nghiệm và phiếu điều tra đối với giáo viên ra đề thi trắc nghiệm) trong quá trình nghiên cứu bằng các phần mềm SPSS và QUEST

TÀI LIỆU THAM KHẢO

Tiếng Việt

và đánh giá thành quả học tập NXB Giáo dục

3- Nguyễn Công Khanh (2004), Đánh giá và đo lường trong khoa học xã

hội NXB Chính trị quốc gia

4- Nguyễn Công Khanh (2001), Ứng dụng SPSS FOR WINDOWS: Xử lý và

phân tích dữ liệu NXB ĐHQGHN

5- Lê Đức Ngọc (2003), Bài giảng đo lường và đánh giá thành quả học tập

trong giáo dục Đại học Quốc gia Hà Nội

6- Phạm Minh Hạc, Trần Kiều, Đặng Bá Lãm, Nghiêm Đình Vỹ (2002),

Giáo dục thế giới đi vào thế kỉ XXI, NXB Chính trị Quốc gia

7 - Dương Thiệu Tống (2004), Phương pháp nghiên cứu trong khoa học

giáo dục và tâm lí, NXB Giáo dục

Tiếng Anh

8- Taylo & Francis Grup (2003), Quality in Higher Education

9- Jemes H.McMillan (2001), Classroom assessment, Virginia

Commonwealth University

10- Norman E Grounlund (2003), Constructing Achivement Tets

11- Peggy O’Neill (2009), Guide to College Writing Assessment, Utah State

University Press

12- Claire Wyatt – Smith (2009), Assessment in the 21 st century, Griffith

University Australia