Nghiên cứu xây dựng hệ thống sinh đề thi trắc nghiệm tự động

Trắc nghiệm khách quan Hình thức trắc nghiệm khách quan là hình thức trắc nghiệm mà thí sinh chọn một trong những kí hiệu đơn giản đã được đề xuất để làm câu trả lời của minh.. Một câu

LUẬN VĂN THẠC SĨ HỆ THỐNG THÔNG TIN

Người hướng dẫn khoa học: PGS.TS HUỲNH CÔNG PHÁP

ĐÀ NẴNG, NĂM 2017

LỜI CAM ĐOAN

Tôi tên Lê Trung Thành xin cam đoan:

Luận văn trình bày dưới đây là kết quả của quá trình nghiên cứu độc lập của tôi

Các phần nội dung trích dẫn đều được ghi rõ tài liệu tham khảo và có danh mục các tài liệu tham khảo ở cuối luận văn

Tôi Lê Trung Thành xin cam đoan chịu trách nhiệm trước pháp luật về tính trung thực của những cam đoan ở trên

Tác giả

Lê Trung Thành

MỤC LỤC

DANH MỤC CÁC TỪ VIẾT TẮT v

DANH MỤC CÁC BẢNG vi

DANH MỤC CÁC HÌNH viii

MỞ ĐẦU 1

1 Lý do chọn đề tài 1

2 Phương pháp nghiên cứu 1

3 Đối tượng nghiên cứu 1

4 Mục tiêu nghiên cứu 2

5 Bố cục luận văn 2

CHƯƠNG 1 TỔNG QUAN VỀ LÝ THUYẾT TRẮC NGHIỆM 3

1.1 LÝ THUYẾT VỀ CÁC LOẠI HÌNH THI VÀ THI TRẮC NGHIỆM 3

1.1.1 Các loại hình trắc nghiệm 3

1.1.2 Thi trắc nghiệm 12

1.1.3 Phương pháp xây dựng đề thi trắc nghiệm 12

1.2 CÁC PHƯƠNG PHÁP SINH ĐỀ THI TRẮC NGHIỆM TỰ ĐỘNG 14

1.3 CÁC HỆ THỐNG THI TRẮC NGHIỆM HIỆN TẠI 16

1.3.1 Hệ thống tạo đề thi trắc nghiệm của Moodle 16

1.3.2 Hệ thống quản lý tạo đề thi trắc nghiệm tự động SOPEN – ST 17

1.3.3 Hệ thống thi trắc nghiệm online McTEST 19

1.3.4 Hệ thống tạo đề trắc nghiệm Wondershare QuizCreator 20

1.4 TỔNG KẾT CHƯƠNG 1 20

CHƯƠNG 2 XÂY DỰNG HỆ THỐNG SINH ĐỀ THI TRẮC

NGHIỆM TỰ ĐỘNG 22

2.1 KHÁI QUÁT HIỆN TRẠNG 22

2.2 MÔ TẢ BÀI TOÁN 22

2.2.1 Tạo đề thi trắc nghiệm 22

2.2.2 Quản lý ngân hàng câu hỏi trắc nghiệm 23

2.2.3 Quản lý kết quả làm bài của người sử dụng 23

2.2.4 Giải pháp đề xuất 23

2.2.5 Sơ đồ quản lý thi của trường 24

2.3 BẢNG NỘI DUNG CÔNG VIỆC CẦN THỰC HIỆN 24

2.4 SƠ ĐỒ TIẾN TRÌNH NGHIỆP VỤ 25

2.4.1 Tiến trình nhập hoặc import câu hỏi 25

2.4.2 Tiến trình tạo đề trắc nghiệm: 26

2.4.3 Tiến trình thi trắc nghiệm 26

2.4.4 Tiến trình thống kê 26

2.5 PHÂN TÍCH THIẾT KẾ HỆ THỐNG 27

2.5.1 Mô hình nghiệp vụ 27

2.5.2 Sơ đồ chức năng 31

2.5.3 Danh sách hồ sơ sử dụng 33

2.5.4 Ma trận thực thể chức năng 34

2.5.5 Biểu đồ luồng dữ liệu 36

2.6 THIẾT KẾ CƠ SỞ DỮ LIỆU 38

2.6.1 Biểu đồ quan hệ ER 38

2.6.2 Mô hình quan hệ 41

2.6.3 Thiết kế các bảng dữ liệu vật lý 42

2.7 GIẢI THUẬT ÁP DỤNG 49

2.7.1.Thuật toán sinh đề thi trắc nghiệm tự động 49

2.7.2 Biểu diễn thuật toán bằng sơ đồ khối 50

2.8 TỔNG KẾT CHƯƠNG 2 51

CHƯƠNG 3 CÀI ĐẶT VÀ THỬ NGHIỆM 52

3.1 THIẾT KẾ GI O DIỆN HỆ THỐNG CHƯƠNG TRÌNH 52

3.1.1 Chức năng của trang chủ 52

3.1.2 Chức năng của quản trị 53

3.1.3 Chức năng đăng nhập 53

3.1.4 Chức năng quản lý môn học 54

3.1.5 Giao diện Quản lý câu hỏi 55

3.1.6 Chức năng giao diện form quản lý đề thi 56

3.1.7 Chức năng giao diện form quản lý thí sinh 56

3.1.8 Chức năng giao diện form thi 57

3.1.9 Chức năng giao diện phản hồi ý kiến 58

KẾT LUẬN 60

TÀI LIỆU THAM KHẢO 61

QUYẾT ĐỊNH GIAO ĐỀ TÀI LUẬN VĂN (bản sao)

DANH MỤC CÁC TỪ VIẾT TẮT

CSDL : Cơ sở dữ liệu

IRT : Phương pháp trắc nghiệm ứng đáp câu hỏi

KT-ĐG : Kiểm tra – đánh giá

NHCH : Ngân hàng câu hỏi

Số hiệu

2.17 Cauhoi3 chứa nội dung các câu hỏi dạng điền khuyết 44 2.18 Quytac chứa thông tin về những quy tắc ra đề 45 2.19 Kythi chứa thông tin về các kỳ thi trong năm học 45 2.20 Dethi chứa thông tin về các đề thi 46 2.21 Chitietde chứa thông tin về từng đề thi 46 2.22 Baithi chứa thông tin về kết quả làm bài của học sinh 46

2.23 Chitietbai lưu thông tin cụ thể về việc làm bài của học

2.24 Hocsinh chứa thông tin về học sinh 47

2.5 Sơ đồ chức năng của hệ thống sinh đề thi 31

2.7 Biểu đồ luồng dữ liệu chức năng quản lý ngân hàng câu

2.8 Biểu đồ luồng dữ liệu chức năng sinh đề thi trắc nghiệm

2.9 Biểu đồ luồng dữ liệu chức năng thi Online 37

2.10 Thuật toán sinh đề thi trắc nghiệm 50

3.2 Giao diện trang đăng ký tài khoản 53

3.4 Giao diện trang quản lý môn học 54 3.5 Giao diện trang quản lý câu hỏi 55

MỞ ĐẦU

1 Lý do chọn đề tài

Hiện nay, việc tổ chức các kỳ thi như tốt nghiệp THPT, các kỳ kiểm tra định kỳ và thường xuyên trong các trường THPT và THCS được tổ chức dưới hình thức thi trắc nghiệm khách quan Vì vậy việc tạo đề thi trắc nghiệm là khâu quan trọng trong quá trình tổ chức thi và đánh giá chất lượng của học sinh

2 Phương pháp nghiên cứu

Đã có nhiều hệ thống hỗ trợ việc tạo đề thi trắc nghiệm ngày càng dễ dàng hơn cho giáo trong việc tạo đề thi trắc nghiệm Tuy nhiên, việc tạo đề thi theo cấu trúc về mức độ khó – dễ thường được quy định bởi tính chủ quan của giáo viên ra đề Chưa có sự thống kê, chưa có được chức năng thu nhận và dựa vào kết quả làm bài của học sinh Hay nói cách khác, việc quy định tính khó – dễ của từng câu hỏi, từng đề thi phụ thuộc hoàn toàn vào quan điểm chủ quan của giáo viên

Do đó, tính khó – dễ của từng câu hỏi, từng đề thi còn phụ thuộc vào kết quả thu được từ kết quả trả lời của học sinh Hay nói cách khác, một câu hỏi được gọi là dễ nếu nhiều hiều học sinh trả lời đúng kết quả của nó

3 Đối tượng nghiên cứu

Dựa vào các thuật toán phân cụm (Cluster) như k-mean, máy tính sẽ đưa ra các nhóm câu hỏi đã được phân loại mức độ khó dễ Từ kết quả phân cụm đó sẽ đưa ra đề thi theo cấu trúc về mức độ khó dễ, về các đơn vị kiến thức được quy định trước

Từ việc đánh giá như vậy, giúp cho giáo viên có được định hướng đúng trong việc giảng dạy, bồi dưỡng kiến thức mà học sinh cần và thiếu

Kiến trúc hướng dịch vụ ngày càng phát triễn mạnh đem lại nhiều thành tựu ứng dụng cho người sử dụng cũng như lợi ích của người phát triễn dịch

vụ Người sử dụng không cần quan tâm đến nền tảng phần cứng cũng như phần mềm

4 Mục tiêu nghiên cứu

Vậy, với những vấn đề đã nêu trên tôi đề xuất xây dựng đề tài “Xây

dựng hệ thống sinh đề thi trắc nghiệm tự động” làm đề tài tốt nghiệp luận

văn cao học Trong đề tài này, tôi nghiên cứu ứng dụng phương học máy, xây dựng cơ sở dữ liệu câu hỏi trắc nghiệm, từ đó xây dựng ứng dụng hỗ trợ thống kê kết quả bài làm của học sinh từ đó sinh ra đề thi đề xuất phù hợp với quy định của giáo viên và phù hợp với năng lực của học sinh

5 Bố cục luận văn

Ngoài phần mở đầu, kết luận, luận văn gồm 3 chương:

Chương 1: TỔNG QU N VỀ LÝ THUYẾT TRẮC NGHIỆM

Chương 2: XÂY DỰNG HỆ THỐNG SINH ĐỀ THI TRẮC NGHIỆM TỰ ĐỘNG

Chương 3: CÀI ĐẶT VÀ THỬ NGHIỆM

CHƯƠNG 1

TỔNG QUAN VỀ LÝ THUYẾT TRẮC NGHIỆM

1.1 LÝ THUYẾT VỀ CÁC LOẠI HÌNH THI VÀ THI TRẮC NGHIỆM

1.1.1 Các loại hình trắc nghiệm

a Khái niệm trắc nghiệm

Theo chữ Hán, “trắc” có nghĩa là “đo lường”, “nghiệm” có nghĩa là

“suy xét”, “chứng thực” Cả trắc nghiệm khách quan và trắc nghiệm tự luận đều là những phương tiện để kiểm tra đánh giá khả năng học tập của học sinh

và sinh viên Cả hai đều là trắc nghiệm [2]

Để thuận tiện, trong luận văn này tôi dùng từ “trắc nghiệm” để chỉ cho

“trắc nghiệm khách quan” và “tự luận” thay cho “trắc nghiệm tự luận”

b Trắc nghiệm tự luận

Tự luận là hình thức thi mà thí sinh tự trình bày câu trả lời bằng ngôn ngữ của mình Hình thức thi này ngược lại với hình thức trắc nghiệm Cho phép có sự tự do tương đối để trả lời câu hỏi được đạt ra Đòi hỏi thí sinh phải biết sắp xếp và trình bày câu trả lời cho đúng và sáng sủa Bài tự luận được chấm điểm một cách chủ quan, điểm số được cho bởi những người chấm khác nhau có thể không thống nhất Nên hình thức tự luận còn được xem là trắc nghiệm chủ quan

c Trắc nghiệm khách quan

Hình thức trắc nghiệm khách quan là hình thức trắc nghiệm mà thí sinh chọn một trong những kí hiệu đơn giản đã được đề xuất để làm câu trả lời của minh Hình thức trắc nghiệm này còn được gọi là hình thức trắc nghiệm ứng đáp câu hỏi Điểm của bài trắc nghiệm khách quan được chấm bằng cách đếm

số câu trả lời đúng nên ít phụ thuộc vào người chấm

d Ưu và nhược điểm của trắc nghiệm và tự luận

Những điểm giống nhau giữa trăc nghiệm khách quan và tự luận

- Trắc nghiệm khách quan cũng như tự luận đều được dùng để kiểm tra đánh giá năng lực học tập của học sinh – sinh viên Phục vụ cho việc đánh giá kết quả dạy và học Giá trị của câu hỏi tự luận phụ thuộc vào độ khách quan

và tính đúng đắn của chúng

Những điểm khác nhau giữa trắc nghiệm khách quan và tự luận

- Cả hai phương pháp “trắc nghiệm khách quan” và “tự luận” đều hữu hiệu để dùng kiểm tra và đánh giá kết quả học tập của học sinh Tuy nhiên mỗi phương pháp có những ưu và nhược điểm riệng Thông qua bảng so sánh sau chúng ta sẽ thấy rõ ưu và nhược của từng phương pháp:

Bảng 1.1 So sánh ưu nhược điểm hai phương pháp trắc nghiệm khách

quan và tự luận

Vấn đề so sánh Trắc nghiệm

khách quan

Tự luận

Áp dụng công nghệ mới vào việc chấm thi và

phân tích được kết quả sau chấm

+

Khuyến khích khả năng phân tích và hiểu đúng ý +

Khuyến khích sự suy nghĩ độc lập của cá nhân +

Dấu + để chỉ ưu thế thuộc về phương pháp đó

e Bản chất của câu hỏi trắc nghiệm

e.1 Các loại câu hỏi trắc nghiệm thông dụng

i Câu hỏi trắc nghiệm có nhiều lựa chon:

- Câu trắc nghiệm có nhiều câu trả lời để lựa chọn (hay câu hỏi nhiều lựa chọn) là loại câu được ưa chuộng nhất và có hiệu quả nhất Một câu hỏi loại này thường gồm một phần phát biểu chính, thường gọi là phần dẫn (câu dẫn) hay câu hỏi, và bốn, năm hay phương án trả lời cho sẵn để học sinh tìm

ra câu trả lời đúng nhất trong nhiều phương án trả lời có sẵn Ngoài câu đúng, các câu trả lời khác đều có vẻ hợp lý (hay còn gọi là các câu nhiễu) [3]

- Ưu điểm:

Với sự phối hợp của nhiều phương án trả lời để chọn cho mỗi câu hỏi, giáo viên có thể dùng loại câu hỏi này để KT-ĐG những mục tiêu dạy học khác nhau, chẳng hạn như:

+ Xác định mối tương quan nhân quả

+ Nhận biết các điều sai lầm

+ Ghép các kết quả hay các điều quan sát được với nhau

+ Định nghĩa các khái niệm

+ Tìm nguyên nhân của một số sự kiện

+ Nhận biết điểm tương đồng hay khác biệt giữa hai hay nhiều vật + Xác định nguyên lý hay ý niệm tổng quát từ những sự kiện

+ Xác định thứ tự hay cách sắp đặt giữa nhiều vật

+ Xét đoán vấn đề đang được tranh luận dưới nhiều quan điểm

Độ tin cậy cao hơn, khả năng đoán mò hay may rủi ít hơn so với các loại câu hỏi TNKQ khác khi số phương án lựa chọn tăng lên, học sinh buộc phải xét đoán, phân biệt rõ ràng trước khi trả lời câu hỏi

Tính chất giá trị tốt hơn Loại bài trắc nghiệm có nhiều câu trả lời có

độ giá trị cao hơn nhờ tính chất có thể dùng đo những mức tư duy khác nhau

như: khả năng nhớ, áp dụng các nguyên lý, định luật, suy diễn, …, tổng quát hoá, … rất hữu hiệu

Tính khách quan khi chấm bài Điểm số bài TNKQ không phụ thuộc vào các yếu tố như phẩm chất của chữ viết, khả năng diễn đạt tư tưởng của học sinh hoặc chủ quan của người chấm

- Nhược điểm:

+ Loại câu này khó soạn vì phải tìm cho được câu trả lời đúng nhất,trong khi các câu, các phương án còn lại gọi là câu nhiễu thì cũng có vẻ hợp lý Thêm vào đó các câu hỏi phải đo được các mục tiêu ở mức năng lực nhận thức cao hơn mức biết, nhớ

+ Những học sinh có óc sáng tạo, khả năng tư duy tốt có thể tìm ra những câu trả lời hay hơn đáp án đã cho, nên họ không thoả mãn hoặc khó chịu

+ Các câu TNKQ nhiều lựa chọn có thể không đo được khả năng phán đoán tinh vi và khả năng giải quyết vấn đề khéo léo, sáng tạo một cách hiệu nghiệm bằng loại câu TNTL soạn kỹ

+ Tốn kém giấy mực để in và mất nhiều thời gian để học sinh đọc nội dung câu hỏi

- Những lưu ý khi soạn câu TNKQ nhiều lựa chọn

+ Câu TNKQ loại này có thể dùng thẩm định năng lực nhận thức ở hiểu, khả năng vận dụng, phân tích, tổng hợp hay ngay cả khả năng phán đoán cao hơn Vì vậy khi soạn câu hỏi loại này cần lưu ý

+ Trong việc soạn các phương án trả lời sao cho câu đúng phải đúng một cách không tranh cãi được (không có điểm sai và những chỗ tối nghĩa), còn các câu nhiễu đều phải có vẻ hợp lí

+ Các câu nhiễu phải có tác động gây nhiễu với các học sinh có năng lực tốt và tác động thu hút các học sinh kém hơn

+ Các câu trả lời đúng nhất phải được đặt ở các vị trí khác nhau một số lần tương đương ở mỗi vị trí , B, C, D, E Vị trí các câu trả lời để chọn lựa nên được sắp xếp theo một thứ tự ngẫu nhiên

+ Câu dẫn phải có nội dung ngắn gọn, diễn đạt rõ ràng một vấn đề hay nên mang trọn ý nghĩa Nên tránh dùng những câu có vẻ như câu hỏi loại

“đúng sai” không liên hệ nhau được sắp chung một chỗ

+ Các câu trả lời trong các phương án cho sẵn để chọn lựa phải đồng nhất với nhau Tính đồng nhất có thể dựa trên căn bản ý nghĩa, âm thanh, độ dài, hoặc cùng là động từ, tính từ hay danh từ

+ Nếu có 4 hoặc 5 phương án để chọn cho mỗi câu hỏi Nếu số phương

án trả lời ít hơn thì yếu tố may rủi tăng lên Ngược lại, nếu có quá nhiều phương án để chọn thì giáo viên khó tìm được câu nhiễu hay và học sinh mất nhiều thời gian để đọc câu hỏi

+ Nên ít hay tránh dùng thể phủ định trong các câu hỏi Không nên hai thể phủ định liên tiếp trong một câu hỏi

ii Câu hỏi trắc nghiệm "đúng- sai":

Là câu trắc nghiệm yêu cầu người làm phải phán đoán đúng hay sai với một câu trần thuật hoặc một câu hỏi, cũng chính là để học sinh tuỳ ý lựa chọn một trong hai đáp án đưa ra

- Ưu điểm:

+ Đây là loại câu đơn giản nhất để trắc nghiệm kiến thức về những sự kiện, mặc dù thời gian soạn cần nhiều công phu nhưng lại khách quan khi chấm điểm

+ Có thể khảo sát được nhiều mảng kiến thức của học sinh trong một khoảng thời gian ngắn

- Những nguyên tắc khi xây dựng dạng câu đúng, sai:

+ Câu nên hỏi những điều quan trọng, nội dung có giá trị chứ không phải là những chi tiết vun vặt, không quan trọng

+ Câu nên trắc nghiệm khả năng lí giải, chứ không chỉ là trắc nghiệm trí nhớ Càng không nên chép lại những câu trong tài lệu giảng dạy, để tránh cho học sinh thuộc lòng sách máy móc mà không hiểu gì

+ Trong một câu chỉ có một vấn đề trọng tâm hoặc một ý trong tâm, không thể xuất hiện hai ý(phán đoán) hoặc nửa câu đúng, nửa câu sai

+ Tránh sử dụng các từ ngữ có tính giới hạn đặc thù mang tính ám thị Khi ý của đề là chính xác thì nên tránh dùng những từ “nói chung”, “thường thường”, “thông thường”, “rất ít khi”, “có khi”, “một vài”, “có thể” để tránh cho đối tượng tham gia dựa vào những từ này đưa ra đáp án “đúng” từ đó đoán đúng câu trắc nghiệm

+ Tránh những điều chưa thống nhất

iii Câu trắc nghiệm ghép đôi: (xứng – hợp)

Đây là loại hình đặc biệt của loại câu câu hỏi nhiều lựa chọn, trong loại này có hai cột gồm danh sách những câu hỏi và câu trả lời Dựa trên một hệ thức tiêu chuẩn nào đó định trước, học sinh tìm cách ghép những câu trả lời ở cột này với các câu hỏi ở cột khác sao cho phù hợp Số câu trong hai cột có thể bằng nhau hoặc khác nhau Mỗi câu trong cột trả lời có thể được dùng một lần hay nhiều lần để ghép với một câu hỏi

- Những nguyên tắc khi xây dựng dạng câu ghép đôi:

+ Trong mỗi cột phải có ít nhất là sáu câu và nhiều nhất là mười hai câu Số câu chọn lựa trong cột trả lời nên nhiều hơn số câu trong cột câu hỏi, hoặc một câu trả lời có thể được sử dụng nhiều lần để này sẽ giúp giảm bớt yếu tố may rủi

+ Phải xác định rõ tiêu chuẩn để ghép một câu của cột trả lời và câu trả lời tương ứng Phải nói rõ môi câu trả lời chỉ được sử dụng một lần hay được

sử dụng nhiều lần

+ Các câu hỏi nên có tính chất đồng nhất hoặc liên hệ nhau Sắp xếp các câu trong các cột theo một thứ tự hợp lý nào đó

iv Câu trắc nghiệm điền khuyết

Đây là câu hỏi TNKQ mà học sinh phải điền từ hoặc cụm từ thích hợp với các chỗ để trống Nói chung, đây là loại TNKQ cóa câu trả lời tự do

- Nhược điểm:

+ Khi soạn loại câu này thường dễ mắc sai lầm là người soạn thường trích nguyên văn các câu từ SGK Ngoài ra loại câu hỏi này thường chỉ giới hạn vào chi tiết vụn vặt chấm bài mất nhiều thời gian và thiếu khách quan hơn những dạng câu hỏi TNKQ khác

+ Thiếu yếu tố khách quan lúc chấm điểm, mất nhiều thời gian chấm, không áp dụng được các phương tiện hiện đại trong kiểm tra- đánh giá

- Những nguyên tắc khi xây dựng dạng câu điền khuyết:

+ Lời chỉ dẫn phải rõ ràng, tránh lấy nguyên văn các câu từ sách để khỏi khuyến khích học sinh học thuộc lòng

+ Các khoảng trống nên có chiều dài bằng nhau để học sinh không đoán mò, nên để tróng những chữ quan trong nhưng đừng quá nhiều

v Câu hỏi bằng hình vẽ (kênh hình):

- Trên hình vẽ sẽ cố ý để thiếu hoặc chú thích sai yêu cầu học sinh chọn một phương án đúng hay đúng nhất trong số các phương án đã đề ra, bổ sung hoặc sửa chữa sao cho hoàn chỉnh

- Sử dụng loại câu hỏi này để kiểm tra kiến thức thực hành như: kĩ năng quan sát thí nghiệm; điều chế các chất; an toàn trong khi thí nghiệm của học sinh

e.2 Bản chất của câu hỏi trắc nghiệm

- Độ khó của câu hỏi

Căn cứ vào số người trả lời đúng câu hỏi

- Độ phân biệt của câu hỏi

Để phân biệt trình độ khác nhau của sinh viên (Hương, 2014)

Công thức tính: Gọi C, T lần lượt là số người thuộc nhóm cao và nhóm thấp trả lời đúng câu hỏi n là số người trong mỗi nhóm Ta có công thức

n

T C

,

- Mức độ lôi cuốn của các phương án trả lời

Cần xem xét mức độ lôi cuốn của phương án trả lời thông qua tần số lựa chọn phương án này của thí sinh

1.1.2 Thi trắc nghiệm

- Trong những năm gần đây, đổi mới hình thức thi của học sinh, sinh viên là đề tài được Bộ Giáo dục và Đào tạo Việt Nam triễn khai Tạo cho xã hội rất nhiều quan tâm Mới đây, Bộ Giáo dục và Đào Tạo đã quyết định tổ chức kỳ thi quốc gia năm 2017 bằng hình thức thi trắc nghiệm cho các môn còn lại chỉ trừ môn Ngữ văn

- Hình thức tổ chức thi bằng đề thi trắc nghiệm khách quan đang trở thành hình thức thi chính trong nghành giáo dục và đào tạo Về hình thức thi trắc nghiệm khách quan chúng ta thấy có thể sử dụng các phương tiện sau để

tổ chức kỳ thi:

- Thi giấy: Thí sinh làm bài bằng cách chọn các phương án trả lời trên phiếu trắc nghiệm Bài thi của học sinh được chấm bằng máy có phần mềm hỗ trợ Kết quả thi của học sinh được thống kê tổng hợp bằng các phần mềm máy tính

- Thi trực tuyến: Các hệ thống học và thi trực tuyến ngày càng phát triễn rộng rãi Các hệ thống sinh đề tự động từ ngân hàng câu hỏi đã đáp ứng cho hình thức thi này

1.1.3 Phương pháp xây dựng đề thi trắc nghiệm

Phương pháp soạn đề thi trắc nghiệm được thể hiện qua các giai đoạn sau [4]:

- Giai đoạn chuẩn bị:

+ Xác định mục tiêu và nội dung kiến thức

+ Định lượng nội dung, kỹ năng một cách chính xác

+ Lập bảng phân bố nội dung, kỹ năng

- Giai đoạn thực hiện:

Đối với phần câu dẫn:

+ Dùng câu hỏi hay câu nhận định không đầy đủ

+ Tránh dẫn quá nhiều tư liệu

+ Không mang tính phủ định

Đối với phương án trả lời

+ Câu dẫn và phương án trả lời cùng văn phong và tương đương về độ dài

+ Phương án nhiễu phải hợp lí

+ Độ khó tùy thuộc vào đối tượng cần kiểm tra

Viết câu hỏi trắc nghiệm:

+ Xác định chủ đề câu hỏi

+ Viết câu dẫn

+ Viết phương án trả lời

+ Viết các phương án nhiễu

+ Sắp xếp các phương án trả lời theo thứ tự ngẫu nhiên

- Hoàn thiện câu hỏi:

Cần kiểm tra, lấy ý kiến của chuyên gia, đồng nghiệp để:

+ Phát hiện câu chưa đảm bảo yêu cầu môn học

+ Phát hiện câu cần loại bỏ, chỉnh sửa, tốt đưa vào sử dụng

1.2 CÁC PHƯƠNG PHÁP SINH ĐỀ THI TRẮC NGHIỆM TỰ ĐỘNG

Sinh đề thi trắc nghiệm dựa vào lý thuyết “ứng đáp câu hỏi”

Một mô hình tổng thể TNTN cần có các thành phần sau:

- Ngân hàng câu hỏi (Item banking);

- Các thuật toán: Start (khởi tạo), Select (lựa chọn câu hỏi), dminister (thi hành), Score(đánh giá kết quả), Compute (tính toán), Stop (dừng), Report (báo cáo)

+ Ngân hàng câu hỏi (NHCH)

Để có thể quản lý một hệ thống TNTN, một NHCH phải có đủ số lượng tốt các câu hỏi phù hợp một mô hình TNTN trên cơ sở lý thuyết đáp ứng câu hỏi (mô hình tham số IRT) Về nguyên tắc, các tiêu chí cho câu hỏi tốt không khác so với các tiêu chuẩn cho các mục trong một trắc nghiệm trên giấy thông thường Tuy nhiên, các câu hỏi cũng phải được hiệu chỉnh theo một mô hình tham số IRT được lựa chọn Trong mô hình tham sô IRT mỗi câu hỏi có các tham số như độ khó, độ phân biệt và đoán mò Trong đề tài này chúng tôi quyết định lựa chọn mô hình IRT với 2 tham số của câu hỏi (độ khó và độ phân biệt) để thực hiện trong hệ thống TNTN của mình

+ Các thuật toán trong hệ thống TNTN [5]

Về cơ bản hệ thống TNTN có thể được phân làm 3 loại: Khởi đầu, Lặp

và kết thúc Khi đó thuật toán Start, Stop và Report được sử dụng 1 lần và các thuật toán Select dminister, Score và Compute sẽ được lặp nhiều lần trong quá trình hoạt động của hệ thống Trong đó thuật toán lựa chọn câu hỏi Select

là quan trọng nhất của hệ thống Trong hệ thống TNTN này, chúng tôi sử dụng mô hình lý thuyết IRT để xây dựng thuật toán Chi tiết về mô hình thuật toán này được trình bày bên dưới

Hình 1.1 Mô hình tổng thể hệ thống TNTN dựa trên lý thuyết IRT

 Start: thuật toán này mục đích lựa chọn câu hỏi đầu tiên cho bài kiểm tra Giả sử thí sinh khi bắt đầu có một giá trị năng lực ở mức độ trung bình Mặc dù, ta có thể lựa chọn bắt đầu từ câu hỏi dễ nhất hoặc khó nhất Khi đó thuật toán sẽ lựa chọn câu hỏi từ ngân hàng với các tham số tương ứng phù hợp

 Select: Sau mỗi vòng lặp thuật toán sẽ lựa chọn câu hỏi tiếp theo có tiêu chí phù hợp với mức năng lực hiện tại của thí sinh Để lựa chọn câu hỏi, cần có sự đánh giá về năng lực hiện tại của thí sinh và các tham số tương ứng của câu hỏi Vấn đề này chúng tôi sẽ trình bày kỹ hơn trong phần sau

 dminister and Score: đây là quá trình thi hành của hệ thống Trong giai đoạn này, câu hỏi sẽ được trình bày, thí sinh trả lời và hệ thống ghi nhận kết quả

 Compute: Thuật toán xử lý điểm số của thí sinh Điểm số sẽ dựa trên thông tin về mức năng lực hiện tại của thí sinh và kết quả trả lời câu hỏi hiện tại

 Stop: Sau khi hệ thống xử lý hoàn thành các thao tác cần thiết đối với một câu hỏi với thí sinh Hệ thống sẽ quyết định dừng hoặc tiếp tục quá trình trắc nghiệm phụ thuộc vào kết quả của Stop Khi các điều kiện dừng thõa mãn thì Stop sẽ có kết quả là True, lúc này hệ thống sẽ dừng và ngược lại

 Report: Hệ thống sẽ thông báo kết quả đánh giá năng lực của thí sinh đồng thời ghi nhận kết quả vào hệ thống cho các lần kiểm tra tiếp theo nếu có + Thuật toán lựa chọn câu hỏi

Trong hệ thống TNTN, sau mỗi lần lặp hệ thống sẽ lựa chọn câu hỏi tiếp theo trong ngân hàng câu hỏi để đề cử cho quá trình thực hiện đánh giá tiếp theo Trong mô hình này, câu hỏi được chọn cần phù hợp với mức năng lực hiện tại của thí sinh Chúng tôi sử dụng hàm thông tin câu hỏi (10) trong lý thuyết đáp ứng câu hỏi để đánh giá và lựa chọn câu hỏi tiếp theo phù hợp với khả năng hiện tại của thí sinh

+ Thuật toán Select gồm các bước:

 Dựa trên tham số năng lực hiện tại, tính toán giá trị hàm thông tin các câu hỏi ứng cử (tất cả các câu hỏi chưa đưa ra cho thí sinh trả lời);

 Tìm và lựa chọn câu hỏi có giá trị thông tin lớn nhất (với câu hỏi có hàm thông tin lớn nhất có nghĩa là câu hỏi đó phù hợp với khả năng hiện tại của thí sinh nhất)

1.3 CÁC HỆ THỐNG THI TRẮC NGHIỆM HIỆN TẠI

1.3.1 Hệ thống tạo đề thi trắc nghiệm của Moodle

- Mô tả:

+ Hot Potatoes là một bộ bao gồm sáu ứng dụng, cho phép bạn tạo ra các câu hỏi đa lựa chọn, câu trả lời ngắn, ô chữ, kết hợp đặt hàng và khoảng cách điền vào các bài tập cho World Wide Web Hot Potatoes là phần mềm miễn phí, và bạn có thể sử dụng nó cho bất cứ mục đích, dự án mà bạn thích

Nó không phải là mã nguồn mở

+ Phần mềm có các tính năng cơ bản cho việc thiết lập các đề kiểm tra trắc nghiệm nhƣ:

 Đảo ngẫu nhiên ngân hàng câu hỏi (kể cả đảo thứ tự đáp án)

 Cho phép chèn hình ảnh vào

 Có thể in ra giấy kèm đáp án (thông qua một phần mềm gõ văn bản nhƣ MS Word chẳng hạn)

 Soạn thảo đƣợc nhiều dạng câu hỏi trắc nghiệm

 Có thể soạn thảo bằng tiếng Việt đƣợc (dùng Unicode)

 Bạn có thể gửi bài trắc nghiệm của mình lên trang Hot Potatoes để sinh viên có thể làm thử ở bất kỳ nơi đâu có máy tính kết nối Internet

+ Tính phân biệt và độ khó của từng câu hỏi chƣa rõ ràng

+ Độ khó của từng câu hỏi, độ khó của đề trắc nghiệm chƣa có

1.3.2 Hệ thống quản lý tạo đề thi trắc nghiệm tự động SOPEN – ST

- Phân hệ Quản lý Ngân hàng câu hỏi

+ Danh mục môn học

+ Danh mục chủ đề

+ Danh mục mức trí năng

+ Danh mục ngân hàng câu hỏi

+ Soạn câu hỏi

+ Duyệt câu hỏi

+ Hỗ trợ các loại câu hỏi

 Câu hỏi một lựa chọn

 Câu hỏi Đúng/ Sai

 Câu hỏi Nhiều lựa chọn

 Câu hỏi Ghép đôi

 Câu hỏi khó + Hỗ trợ các câu hỏi có: Hình ảnh, udio, Video, Công thức toán học + Hỗ trợ soạn thảo câu hỏi offline

- Phân hệ Quản lý đề thi

+ Xây dựng cấu trúc đề thi

- Cấu trúc đề theo từng môn học

+ Gồm các câu hỏi thuộc các chủ đề nào, mức trí năng (khó, dễ…) là

gì

+ Xác định thang điểm cho từng phần trong bài thi

- Xây dựng ngân hàng đề thi

+ Tự động lấy câu hỏi trong ngân hàng câu hỏi để tạo đề thi

+ Đánh giá kết quả khách quan và chính xác

+ Tiết kiệm thời gian và nhân lực

+ Đảm bảo an toàn dữ liệu

- Nhƣợc điểm:

+ Chƣa có chức năng kiểm soát tính phân biệt của từng câu hỏi, từng

đề thi

+ Chưa có chức năng kiểm soát độ khó của từng câu hỏi, từng đề thi trắc nghiệm

1.3.3 Hệ thống thi trắc nghiệm online McTEST

- Mô tả:

+ Quản lý thông tin kỳ thi: cho phép thêm, sửa, xóa thông tin kỳ thi Tra cứu dữ liệu của các kỳ thi trước

+ Quản lý thông tin các môn thi

+ Quản lý ngân hàng câu hỏi: Ngân hàng câu hỏi được quản lý phân cấp theo từng môn học, trong mỗi môn có thể chia nhóm câu hỏi theo từng đơn vị kiến thức, đồng thời quản lý cả cấp độ khó của câu hỏi Ma trận ra đề giúp cho việc chọn lọc câu hỏi ra đề thi trở nên rất thuận tiện Các câu hỏi trong ngân hàng được phép có cả công thức toán học và hình ảnh minh họa, khi in ấn chương trình vẫn đảm bảo định dạng gốc của các đối tượng này

+ Quản lý ngân hàng đề thi: Quản lý tất cả các đề thi đã tạo (bao gồm

cả các câu hỏi nhập trực tiếp vào đề thi và các câu hỏi lấy ra từ ngân hàng)

+ Tạo đề thi: cho phép chọn lựa câu hỏi thi từ ngân hàng câu hỏi hoặc nhập trực tiếp từ màn hình soạn thảo

+ Hoán vị đề thi: Hệ thống hoán vị cho phép tạo ra đến 99 đề thi khác nhau từ một đề thi chuẩn (hoán vị cả câu hỏi và câu lựa chọn), mã đề được đặt

tự động một cách thông minh nhằm hạn chế lỗi khi xử lý bài thi

+ Chấm các bài thi trắc nghiệm theo công thức chấm tự định nghĩa và cho phép import công thức chấm từ file bên ngoài, tương thích với chuẩn dữ liệu của Cục Khảo Thí và của Phòng Khảo Thí

+ In các biểu in quản lý như: biên bản sửa chữa bài thi, kết quả chấm, biểu đồ phân bố điểm

+ Xuất dữ liệu chấm thi cho chương trình khác

- Ưu điểm:

+ Xây dựng nhiều lọai câu hỏi khác nhau

+ Dễ dàng cài đặt cũng như tổ chức thi

+ Đánh giá kết quả khách quan và chính xác

+ Tiết kiệm thời gian và nhân lực

+ Tùy chỉnh các câu hỏi với hình ảnh, video Flash và âm thanh bao gồm lồng tiếng, văn bản sang giọng nói,…

+ Chèn các ký hiệu toán học và khoa học thông qua công cụ chỉnh sửa công thức để tạo ra bài thi trắc nghiệm dành cho Toán, Vật lý, và Hóa học

- Ưu điểm:

+ Loại câu hỏi trắc nghiệm đa dạng

+ Tích hợp đa phương tiện: hình ảnh, âm thanh,…

Trong chương 1 chúng tôi đã tìm hiểu và phân tích được một số vấn đề sau:

- Các loại hình tổ chức thi hiện nay: Trắc nghiệm tự luận và trắc nghiệm khách quan Ưu và nhược điểm của mỗi loại hình tổ chức thi nay

- Các loại câu hỏi trắc nghiệm khách quan và bản chất của chúng

- Quy trình tạo đề thi trắc nghiệm khách quan

- Các phương pháp sinh đề thi trắc nghiệm khách quan bằng cách sử dụng máy tính điện tử thông qua phần mềm máy tính

- Khảo sát một số hệ thống thi trắc nghiệm online, cũng như một số phần mềm tạo đề thi trắc nghiệm Từ đó tìm ra ưu và nhược điểm của chúng

- Hạn chế trong chương 1: Do thời gian có hạn nên việc khảo sát chưa được nhiều các hệ thống sinh đề thi trắc nghiệm

Trong chương tiếp theo, chúng tôi tập trung nghiên cứu xây dựng hệ thống sinh đề thi trắc nghiệm tự động dựa trên các phân tích ở chương 1 Từ

đó đưa ra hướng kế thừa và phát triển các ưu điểm đồng thời khắc phục các nhược điểm của các hệ thống đã khảo sát

CHƯƠNG 2 XÂY DỰNG HỆ THỐNG SINH ĐỀ THI

TRẮC NGHIỆM TỰ ĐỘNG

2.1 KHÁI QUÁT HIỆN TRẠNG

Theo quy định của ngành giáo dục và đào tạo, việc kiểm tra đánh giá trong trường THPT đã chuyển từ hình thức ra đề từ tự luận sang hình thức trắc nghiệm khách quan Trong đó có một số môn hình thức của đề thi là trắc nghiệm khách quan 100% như Toán, Lý, Hóa, Sinh, nh văn, …

Với sự phát triển của phần mềm máy tính, trong đó có phần mềm tạo đề thi trắc nghiệm đã đáp ứng rất tốt cho việc tạo nhiều mã đề theo các cấu trúc quy định của giáo viên phục vụ cho việc kiểm tra đánh giá mang lại kết quả tốt

Tuy vậy, các hệ thống (phần mềm) hiện nay thường chưa phân tích tốt

độ khó, độ phân biệt, tính chính xác về nội dung của câu hỏi Độ khó của câu hỏi thường do người ra đề quy định chưa có thông tin phản hồi từ kết quả trả lời câu hỏi của học sinh

Với việc đánh giá chất lượng đề thi chính xác hơn về mức độ kiến thức,

em xin đề xuất và nghiên cứu xây dựng hệ thống sinh đề thi trắc nghiệm tự động

2.2 MÔ TẢ BÀI TOÁN

2.2.1 Tạo đề thi trắc nghiệm

Hệ thống sẽ sinh đề trắc nghiệm theo yêu cầu của người sử dụng, với các thông số hệ thống gợi ý như sau:

Số lượng đề thi, số lượng câu hỏi trong mỗi đề, cấu trúc của mỗi đề thi, điểm số của mỗi câu trắc nghiệm

Các đề thi được in ra giấy nếu thi trên giấy hoặc sinh đề tự động để thi

online

2.2.2 Quản lý ngân hàng câu hỏi trắc nghiệm

Để có câu hỏi tạo đề thi đòi hỏi hệ thống phải có cơ chế thu thập lưu trữ, phân tích và phân loại câu hỏi, mỗi câu hỏi bao gồm các thông tin như: Phần dẫn, phương án trả lời, đáp án, tính đúng đắn, độ khó, lớp, bài, …

Để xác định được độ khó hay dễ của câu hỏi đòi hỏi phải có thông tin phản hồi từ tỉ lệ trả lời đúng câu hỏi đó

2.2.3 Quản lý kết quả làm bài của người sử dụng

Kết quả làm bài của học sinh được cập nhật và lưu trữ liên tục Tỉ lệ trả lời đúng câu hỏi được cập nhật cho câu hỏi ở ngân hàng câu hỏi

Thuật toán xây dựng

đề thi trắc nghiệm tự động.

2.2.5 Sơ đồ quản lý thi của trường

Hình 2.2 Sơ đồ quản lý thi của trường

2.3 BẢNG NỘI DUNG CÔNG VIỆC CẦN THỰC HIỆN

Bảng 2.1 Bảng nội dung công việc cần thực hiện

Nội dung công việc Đối tượng thực hiện Hồ sơ dữ liệu

dùng

2 Nhập hoặc Import câu hỏi Người tạo đề thi

3 Sinh đề thi theo quy tắc do hệ

thống gợi ý

Hệ thống sinh đề trắc nghiệm

Các đề thi

4 Xuất đề thi sang các định dạng

mà hệ thống gợi ý

Hệ thống sinh đề trắc nghiệm tự động

Các tệp

5 Cho phép import câu hỏi được

soạn từ các tệp doc, dbf, …

Hệ thống sinh đề thi trắc nghiệm

6 Cập nhật các câu hỏi chưa có

vào Cơ sở dữ liệu

Hệ thống sinh đề trắc nghiệm

Tệp cơ sở dữ liệu

7 Duyệt tính đúng đắn của từng

câu hỏi

Tổ trưởng chuyên môn

Biên bản duyệt câu hỏi

8 Cập nhật tỉ lệ độ khó cho từng Admin Dữ liệu lưu

Duyệt và nộp đề thi

Giáo viên coi

thi

Học sinh Phát đề thi

- Giao đề thi

- Quy chế thi

Nội dung công việc Đối tượng thực hiện Hồ sơ dữ liệu

liệu

9 In bảng điểm theo từng lớp Hệ thống Bảng điểm

10 Thống kê điểm số theo lớp

hoặc theo toàn trường

Hệ thống Mẫu thống kê

11

Thống kê dự báo năng lực của

học sinh theo từng chủ đề kiến

thức

Hệ thống Mẫu thống kê

năng lực học sinh theo chủ đề

12 Tổ chức thi online Người sử dụng Dùng mạng

2.4 SƠ ĐỒ TIẾN TRÌNH NGHIỆP VỤ

2.4.1 Tiến trình nhập hoặc import câu hỏi

Bảng 2.2 Tiến trình nhập hoặc import câu hỏi

Giáo viên Hệ thống Hồ sơ

sử dụng)

Các bản dữ liệu

đã được cập nhật

2.4.2 Tiến trình tạo đề trắc nghiệm:

Bảng 2.3 Tiến trình tạo đề trắc nghiệm

Giáo viên Hệ thống Hồ sơ

Đưa ra yêu cầu tạo đề:

Thống kê toàn trường

Thống kê theo chủ đề kiến thức

2.5 PHÂN TÍCH THIẾT KẾ HỆ THỐNG

2.5.1 Mô hình nghiệp vụ

a Bảng phân tích các yếu tố của bài toán

Bảng 2.5 Phân tích các yếu tố của bài toán

Tác nhân Tác nhân Tác nhân Tác nhân

Quy định quy tắc tạo

Nhập tên bài thi Tên bài thi Tác nhân

Quản lý ds học sinh Học sinh Tác nhân

Duyệt câu hỏi Tổ trưởng chuyên môn Tác nhân

Xem thống kê Ban giám hiệu Tác nhân

+ Nhập hoặc import nội dung câu hỏi

+ Nhập quy tắc ra đề trắc nghiệm: Cấu trúc về kiến thức, mức độ khó

ĐỘNG

Giáo viên Học sinh

Đăng nhập

Đề thi (online) Đăng nhập

Nhập câu hỏi

Đề thi (in ra giấy hoặc xuất

ra tệp) Kết quả

Tổ trưởng chuyên môn

Đăng nhập Duyệt câu hỏi

Ban giám

hiệu

Đăng nhập

Thống kê

+ Chọn sẵn sàng thi, hệ thống cung cấp đề thi và thời gian

+ Chọn nộp bài hoặc kết thúc phần thi

+ Xem kết quả làm bài từ hệ thống trả lại

- Tổ trưởng chuyên môn đăng nhập và duyệt độ đúng đắn của từng câu hỏi trong ngân hàng câu hỏi của môn học

- Ban giám hiệu: Đăng nhập, xem, in bảng thống kê, xem phân tích,

dự báo kết quả thi của học sinh

d Nhóm dần các chức năng

Bảng 2.6 Nhóm dần các chức năng

Chức năng chi tiết Nhóm lần 1 Nhóm lần 2

Cập nhật ngân hàng

câu hỏi trắc nghiệm

(thêm, xóa, sửa)

Quản trị ngân hàng câu hỏi trắc nghiệm HỆ THỐNG SI

Duyệt tính đúng đắn

của từng câu hỏi

Phân loại độ khó của

từng câu hỏi dựa vào

quy định của người ra

Chọn khối

Chọn các chủ đề: số

lượng câu hỏi từng chủ