Phát triển hệ thống hỗ trợ ra đề và chấm thi trắc nghiệm tại trung tâm ngoại ngữ tin học tỉnh yên bái

Nhằm giúp Sở giáo dục và đào tạo tỉnh Yên Bái nóichung và Trung tâm Ngoại ngữ - Tin học tỉnh Yên Bái nóiriêng có thể kiểm tra đánh giá được chất lượng học của họcviên, học sinh qua các k

HỌC VIỆN CÔNG NGHỆ BƯU CHÍNH VIỄN THÔNG

-LÊ THỊ MINH HẰNG PHÁT TRIỂN HỆ THỐNG HỖ TRỢ RA ĐỀ VÀ CHẤM THI TRẮC NGHIỆM TẠI TRUNG TÂM NGOẠI NGỮ -

TIN HỌC TỈNH YÊN BÁI

MÃ SỐ: 60.48.15

LUẬN VĂN THẠC SỸ KỸ THUẬT NGƯỜI HƯỚNG DẪN KHOA HỌC PGS.TS TRẦN ĐÌNH QUẾ

HÀ NỘI, THÁNG 10 NĂM 2012

HỌC VIỆN CÔNG NGHỆ BƯU CHÍNH VIỄN THÔNG

Người hướng dẫn khoa học: PGS.TS Trần Đình Quế

Có thể tìm hiểu luận văn tại:

Thư viện của Học viện Công nghệ Bưu chính Viễn thông

PHẦN MỞ ĐẦU

Thi trắc nghiệm hiện nay đang trở thành một vấn đềđược các nhà nghiên cứu và xã hội quan tâm vì chất lượng thi,

sự tin cậy và tính chất chính xác của nó

Nhằm giúp Sở giáo dục và đào tạo tỉnh Yên Bái nóichung và Trung tâm Ngoại ngữ - Tin học tỉnh Yên Bái nóiriêng có thể kiểm tra đánh giá được chất lượng học của họcviên, học sinh qua các khoá bồi dưỡng kiến thức và các đợtkiểm tra chất lượng định kỳ hàng năm, tác giả đã chọn đề tài

“Phát triển hệ thống hỗ trợ ra đề và chấm thi trắc nghiệm tại trung tâm ngoại ngữ - tin học tỉnh yên bái” giúp hỗ trợ việc

khởi tạo, quản lý và sử dụng các ngân hàng câu hỏi, để kiểm trađánh giá giúp cho Trung tâm giảm tải về mặt thời gian, chi phícho việc tổ chức thi đồng thời đảm bảo tính khoa học, chínhxác

Luận văn gồm 3 chương

Chương 1: Tổng quan về hệ thống thi trắc nghiệm

Chương này tập trung tìm hiểu các vấn đề chính liênquan việc kiểm tra đánh giá bằng hình thức thi trắc nghiệmnhư: Khái niệm, đặc điểm và phân loại câu hỏi trắc nghiệm,câu hỏi trắc nghiệm khách quan; đặc trưng của các câu trắcnghiệm và của đề thi trắc nghiệm

Chương 2: Kiến trúc hệ thống thi trắc nghiệm

Chương này tập chung giới thiệu về kiến trúc của hệthống và phương pháp chấm điểm cho hệ thống trắc nghiệm.

Chương 3: Cài đặt và thử nghiệm

Thử nghiệm hệ thống trong thực tế và đưa ra một số hìnhảnh của hệ thống khi hoạt động

(assessment) như sau:

3

CHƯƠNG 1: TỔNG QUAN VỀ HỆ THỐNG THI TRẮC NGHIỆM

1.1 Đo lường, kiểm tra và đánh giá trong giáo dục

1.1.1 Đo lường (Measurement) trong giáo dục:

1.1.2 Kiểm tra/ Lượng giá (Assessment) trong giáo dục

Căn cứ vào các thông tin định tính và định lượng (số đo)

để đánh giá năng lực hoặc phẩm chất của sản phẩm đào tạotrong quá trình giáo dục T Kubiszyn và G.Borich(Educational Testing and Measurement (classroom applicationand practice) – 6th Ed, J.Wiley & Sons,Inc, 2000) đã phân biệtgiữa tiến hành trắc nghiệm (testing) và kiểm tra/lượng giá

2 Các thông tin này đ ợc đánhgiá một cách có phê phán và đượcphối hợp với các thông tin kháccủa quá trình đào tạo và bối cảnh

3 Sự phối hợp các kết quả trắcnghiệm và các thông tin khác đã

chương trình hoặc các vấn phân tích một cách có phê phán

đề giáo

dục khác

dùng để đề ra các quyết định vềngười học, về giảng dạy, vềchương trình hoặc các vấn đềgiáo dục khác

Bảng 1.1 Kiểm tra/ Lượng giá trong giáo dục

1.1.3 Đánh giá (Evaluation) trong giáo dục

Trong giáo dục, có 6 loại đánh giá chính:

Hình 1.1 Sơ đồ đánh giá trong giáo dục

1.2 Các phương pháp kiểm tra đánh giá

Người ta có thể phân chia các phương pháp trắc nghiệm

GV trực tiếp dạy ra nên thường sát với nội dung thi Phươngpháp thi viết cũng được sử dụng rộng rãi trong các kỳ thi.Các bài kiểm tra, bài thi HS phải viết gồm có hai loại:Loại tự luận và khách quan Cả hai loại đều được gọi là trắcnghiệm, tuy nhiên giữa chúng có các điểm khác biệt.

1.2.3.2.Trắc nghiệm khách quan

1.3 Tổng quan về đào tạo trực tuyến

1.3.1 Đào tạo trực tuyến là gì?

1.3.2 Sự khác biệt giữa đào tạo truyền thống với đào tạo trực tuyến

1.3.2.1 Phương pháp đào tạo truyền thống

1.3.2.2 Phương pháp đào tạo trực tuyến

1.4 Hệ thống trắc nghiệm kiến thức trực tuyến

1.4.1 Các khái niệm

1.4.1.1 Trắc nghiệm là gì ?

1.4.1.2 Định nghĩa hệ thống trắc nghiệm trực tuyến

1.4.1.3 Các phương pháp trắc nghiệm thông thường

-Tự luận

- Sát hạch trắc nghiệm lý thuyết dùng giấy thi

- Thực hành trên máy chấm điểm tại chỗ

- Thực hành trên máy chấm điểm sau

1.4.1.4 Ưu và nhược điểm của phương pháp trắc nghiệm trực tuyến

1.4.2 Các loại câu hỏi trắc nghiệm khách quan

1.4.2.1 Câu hỏi đúng – sai (Yes/No Questions)

- Trước một câu dẫn xác định (thông thường khôngphải là câu hỏi), học sinh đưa ra nhận định và lựa chọn mộttrong hai phương án trả lời Đúng hoặc Sai

Ưu điểm của trắc nghiệm Đúng – Sai: Là loại câu hỏiđơn giản dùng để trắc nghiệm khách quan kiến thức về sự kiện,

vì vậy viết loại câu hỏi này tương đối dễ dàng, ít phạm lỗi,mang tính khách quan khi chấm

Nhược điểm của trắc nghiệm Đúng – Sai: Học sinh có thể đoán

mò vì vậy độ tin cậy thấp Học sinh Giỏi có thể không thoảmãn khi buộc phải chọn Đúng – Sai khi câu hỏi viết chưa kỹcàng

1.4.2.2 Câu hỏi lựa chọn có nhiều phương án (Multiple choise questions)

Đây là loại trắc nghiệm thông dụng nhất Loại nàythường có hai phần: Phần đầu được gọi là phần dẫn, nêu ra vấn

đề, cung cấp thông tin cần thiết hoặc nêu một câu hỏi Phần sau

là các phương án để chọn thường được đánh dấu bằng các chữcái A, B, C, D hoặc các con số 1, 2, 3, 4 Trong các phương án

đã chọn chỉ có duy nhất một phương án đúng hoặc một phương

án đúng nhất còn các phương án khác được đưa vào với tácdụng gây nhiễu còn gọi là câu mồi

Khi soạn thảo loại trắc nghiệm này thường người soạn cốgắng làm cho các phương án nhiễu đều có vẻ “hợp lý” và “hấpdẫn” như phương án đúng.

Ngoài ra phần dẫn có thể là một câu bỏ lửng và phần sau

là đoạn bổ sung để phần dẫn trở nên hợp lý

1.4.2.3 Câu hỏi điền khuyết (Supply items) hoặc trả lời ngắn (Short Answer)

Đây là dạng trắc nghiệm khách quan có câu trả lời tươngđối tự do Thường chúng ta nêu ra một mệnh đề có khuyết một

bộ phận, học sinh nghĩ ra nội dung trả lời thích hợp để điền vàochỗ trống, thường là những câu trả lời có nội dung ngắn gọnhoặc một vài từ

1.4.2.4 Câu hỏi ghép đôi (Matching items)

Có thể xem đây là một dạng đặc biệt của dạng trắc nghiệmkhách quan nhiều lựa chọn, dạng câu hỏi này thường gồm hai cộtthông tin, một cột là những câu hỏi (hay câu dẫn) một cột lànhững câu trả lời (hay còn gọi là câu lựa chọn), yêu cầu học sinhphải tìm cách ghép các câu trả lời ở cột này với câu hỏi ở cột khácsau cho hợp lý

1.4.2.5 Câu hỏi tự vào bằng tay

1.5 Kỹ thuật thiết kế đề thi trắc nghiệm khách quan

1.5.1 Quy trình xây dựng hình thức trắc nghiệm khách quan

Chuẩn bị câu hỏi trắc nghiệm

Ra đề:

Tiến hành kiểm tra

Chấm thi

1.5.2 Cơ sở kỹ thuật

1.5.2.1 Câu hỏi trắc nghiệm điền khuyết

1.5.2.2 Câu hỏi trắc nghiệm đúng/sai

1.5.2.3 Câu hỏi trắc nghiệm ghép đôi

1.5.2.4 Câu hỏi trắc nghiệm nhiều lựa chọn

1.5.2.5 Câu hỏi trắc nghiệm tình huống (diễn giải)

1.6 Đặc trưng của các câu trắc nghiệm và của đề thi trắc nghiệm

1.6.1 Các đặc trưng của câu trắc nghiệm và của đề thi trắc nghiệm

Để đánh giá chất lượng của từng câu trắc nghiệm hoặccủa toàn bộ một đề thi trắc nghiệm, người ta thường dùng haiđại lượng đặc trưng: độ khó và độ phân biệt Hai đại lượng đặctrưng khác, gắn với cả bài trắc nghiệm chứ không phải chỉ vớitừng câu hỏi, là độ tin cậy và độ giá trị của đề trắc nghiệm

1.6.1.1 Độ tin cậy

1.6.1.2 Độ giá trị

1.6.2 Phân tích, đánh giá câu trắc nghiệm và đề thi trắc nghiệm

Để hoàn thiện các câu trắc nghiệm và đề thi trắcnghiệm, cần triển khai các trắc nghiệm thử Trắc nghiệm thử làmột phép đo kép: Dùng đề trắc nghiệm để đo năng lực các thísinh, đồng thời sử dụng thí sinh để đo các thông số đặc trưngcủa các câu trắc nghiệm và đề trắc nghiệm Công việc nàyđược gọi là định cỡ (calibration) câu trắc nghiệm.

Cần lưu ý một điều là khi trắc nghiệm thử phải tạo tìnhhuống để mọi thí sinh đều làm bài nghiêm túc, hết mình để phépthử đạt yêu cầu cao Dựa vào kết quả trắc nghiệm thử có thể tínhbằng tay để phân tích các câu hỏi và đề trắc nghiệm Tuy nhiên,hiện tại người ta thường dùng máy tính với các phần mềm tin họctính được rất nhanh chóng các thông số của các đại lượng cầnthiết thông qua các phép thống kê tương quan cổ điển, hoặc theocác mô hình toán học hiện đại trong đo lường giáo dục

1.7 Các phương pháp tính điểm trong hệ thống trắc nghiệm

1.7.1 Phương pháp tính điểm đối với dạng câu hỏi dạng N đáp án trong đó có K đáp án đúng

1.7.2 Phương pháp tính điểm đối với dạng câu hỏi dạng sắp xếp các thành phần bên trái vào vị trí tương ứng với các thành phần bên phải

1.7.3 Phương pháp tính điểm đối với dạng câu hỏi dạng sắp xếp theo thứ tự

1.8 Kết luận chương

Chương 1 tập trung tìm hiểu các vấn đề chính liên quanviệc kiểm tra đánh giá bằng hình thức thi trắc nghiệm như:Khái niệm, đặc điểm và phân loại câu hỏi trắc nghiệm, câu hỏitrắc nghiệm khách quan; đặc trưng của các câu trắc nghiệm vàcủa đề thi trắc nghiệm

CHƯƠNG 2: KIẾN TRÚC HỆ THỐNG THI TRẮC NGHIỆM

2.1 Kiến trúc hệ thống

2.1.1 Mô tả yêu cầu bài toán

Hệ thống cho phép đảo đề tự động và quản lý các phiên bản của đề thi Một phiên bản đề là một hoán vị của các câu hỏi và đáp

án trong đề đó Các phần của đề được giữ nguyên thứ tự và câu hỏi trong một phần không bị chuyển sang phần khác Hệ thống tự động tạo ra các phiên bản khác nhau khi người dùng làm cùng một đề thi nhiều lần Người dùng có thể chủ động tạo, đặt tên phiên bản và xuất bản dưới dạng Microsoft Word để sử dụng trong các kì thi, kiểm tra truyền thống.

Hệ thống có chức năng tạo đề tự động từ cấu trúc đề cho trước Một cấu trúc đề là một bản mô tả về đề thi trong đó nêu ra các phần của

đề thi và các ràng buộc cho từng phần Có ba loại ràng buộc:

Ràng buộc về chủ đề: Yêu cầu phải có một lượng câu hỏi nhất định trong chủ đề cho trước.

Ràng buộc về điểm số: Yêu cầu phải có một lượng câu hỏi nhất định với điểm số cho trước, điểm số phải nằm trong một giới hạn Ràng buộc về độ khó: Yêu cầu phải có một lượng câu hỏi nhất định với độ khó cho trước.

Một phần trong cấu trúc đề bắt buộc phải có ít nhất một ràng buộc, nhưng có thể có nhiều ràng buộc cùng loại hoặc không có ràng buộc nào thuộc loại cố định Sau khi sinh tự động người dùng có thể tùy ý thay đổi đề thi theo nhu cầu.

Hệ thống có chức năng hỗ trợ chấm bài Giáo viên có thể tạo

ra các “bài kiểm tra”, mỗi bài kiểm tra gồm các “bài làm” của các thí sinh khác nhau, thực hiện trên các phiên bản của cùng một đề thi có sẵn Để tạo một “bài làm”, giáo viên chọn phiên bản đề thi và nhập các câu trả lời của thí sinh Sau khi nhập xong hệ thống đưa ra kết quả và có chức năng kết quả dưới dạng excel.

2.1.2 Mô hình tổng thể hệ thống

Hình 2.1 Mô hình tổng thể hệ thống

2.1.3 Quy trình nghiệp vụ hệ thống thi trắc nghiệm

2.1.3.1 Quy trình tạo đề thi

Hình 2.2 Quy trình nghiệp vụ quản lý câu hỏi

2.1.3.2 Quy trình thêm mới, cập nhật một đề thi

Hình 2.3 Quy trình quản lý đề thi

2.1.3.3 Quy trình phê duyệt một đề thi

2.1.3.4 Quy trình tạo đợt thi

2.1.3.5 Quy trình chấm điểm đợt thi

2.1.3.6 Quy trình cập nhật người thi

2.2 Xây dựng biểu đồ Use case

2.2.1 Xây dựng các tác nhân và Use case của hệ thống 2.2.1.1 Nhận diện các Tác nhân

Mô hình các tác nhân

Hình 2.6 Danh sách các tác nhân của hệ thống

2.2.1.2 Xác định các Use case của hệ thống

2.2.2 Xây dựng các biểu đồ Use Case

2.2.2.1 Biểu đồ Use Case của tác nhân Administrator 2.2.2.1.1 Danh mục các Use Case

2.2.2.1.2 Phân tích các Use Case

2.2.2.2 Biểu đồ Use Case của tác nhân Candidate 2.2.2.2.1 Danh mục các Use Case

2.2.2.2.2 Phân tích các Use Case

2.2.2.3 Biểu đồ Use case của tác nhân Marker

2.2.2.4 Biểu đồ Use Case của tác nhân QuestionCreator

2.3 Biểu đồ trình tự

2.3.1 Biểu đồ trình tự của tác nhân Administrator 2.3.1.2 Quản trị User( ManagerUser)

2.3.1.3 Quản trị Môn thi( ManageSubject)

2.3.1.4 Quản trị thí sinh( ManageCandidate)

2.3.2 Biểu đồ trình tự Làm bài thi(TakeExam)

2.4.4 Biểu đồ lớp chi tiết

2.4.4.1 Biểu đồ lớp cho chức năng quản lý User

2.4.4.2 Biểu đồ lớp chức năng Quản lý candidate

2.4.4.3 Biểu đồ lớp cho chức năng Quản lý câu hỏi

2.4.4.4 Biểu đồ lớp cho chức năng Quản lý đợt thi

2.4.4.5 Biểu đồ cho chức năng Quản lý đề thi

2.5 Biểu đồ hoạt động

2.5.1 Biểu đồ hoạt động của QuestionCreator

2.5.2 Biểu đồ hoạt động Tạo đề thi

2.5.3 Biểu đồ hoạt động tạo Đợt thi

2.5.4 Biểu đồ hoạt động của Thí sinh

2.5.5 Biểu đồ hoạt động phê duyệt đề thi

2.5.6 Biểu đồ hoạt động của Marker

2.6 Mô hình dữ liệu quan hệ

2.6.1 Mô hình quan hệ dữ liệu phân quyền

2.6.2 Mô hình quan hệ dữ liệu eXam

2.7 Kết luận chương

Chương 2 phân tích hệ thống ra đề và chấm thi trắcnghiệm Mô tả bài toán Xây dựng mô hình tổng thể của hệthống, nêu quy trình nghiệp vụ hệ thống thi trắc nghiệm Xâydựng các biểu đồ User case như biểu đồ tuần tự, biểu đồ lớp,biểu đồ hoạt động

CHƯƠNG 3: CÀI ĐẶT VÀ THỬ NGHIỆM

3.1 Cài đặt hệ thống

3.2 Thử nghiệm.

3.3 Một số giao diện chương trình

Hình 3.1 Thí sinh đăng nhập vào đề thi

Hình 3.3 Giao diện thí sinh lựa chọn đề thi

Hình 3.4 Giao diện làm bài thi

Hình 3.5 Kết quả Thi

Hình 3.6 Giáo viên đăng nhập

Hình 3.8 Giao diện giáo viên tạo câu hỏi

Hình 3.9 Giao diện quản lý đề thi

Hình 3.10 Giao diện quản lý điểm thi

Hình 3.11 Giao diện quản lý người dùng

Hình 3.12 Giao diện quản lý môn học

Hình 3.13 Giao diện quản lý đối tượng

3.4 Đánh giá

Đề tài đã được triển khai thử tại Trung tâm Ngoại ngữ Tin học tỉnh Yên Bái và có kết luận đề tài phù hợp với mô hìnhđào tạo tại Trung tâm Trong thời gan tới Trung tâm sẽ xem xét

-và đưa hệ thống -vào hoạt động để tổ chức các kỳ thi cấp chứngchỉ và sát hạch cho môn tin học

3.5 Kết luận chương

Chương 3 cài đặt và triển khai hệ thống Phát triển hệ thống

ra đề và chấm thi trắc nghiệm tại Trung tâm Ngoại ngữ - Tin họctỉnh Yên Bái Cụ thể triển khai hệ thống trên hệ thống mạng Lancủa Trung tâm và cho thi thử

PHẦN KẾT LUẬN VÀ KIẾN NGHỊ

1 Kết luận

Hệ thống “Ra đề và chấm điểm thi trắc nghiệm” là một

hệ thống hữu ích cho học sinh – sinh viên tự ôn tập kiểm trakiến thức của mình, đồng thời là nơi để giáo viên kiểm tra đượckiến thức của học sinh – sinh viên của mình từ xa thông quamạng Internet

Hệ thống thi trắc nghiệm là một hệ thống được phânquyền theo từng đối tượng Mỗi đối tượng có nhiệm vụ và chứcnăng khác nhau

Nội dung của môn học và các chương mục của môn họcthường xuyên được người quản trị và các giáo viên cập nhật

Hệ thống soạn câu hỏi trắc nghiệm giúp giáo viên có thể soạncâu hỏi một cách đơn giản hơn

Luận văn đã trình bày được một số phương pháp tính điểmmới cho các loại câu trắc nghiệm và phân tích thiết kế được hệthống ra đề dạng trắc nghiệm khách quan như : Dạng câu hỏi Nđáp án trong đó có K đáp án đúng

Ngoài ra luận văn đã áp dụng các phương pháp tính điểmnhư đã nói ở trên vào một chương trình cụ thể Cài đặt và chạythử được chương trình trên hệ thống mạng Lan

2 Kiến nghị

Tác giả tiếp tục nghiên cứu để đưa các dạng câu hỏi cònlại vào hệ thống và xác định độ khó của câu hỏi, tỷ lệ số câu khótrong một bài thi, các câu khó cần phải được gợi ý, vấn đềthưởng, phạt khi gặp câu hỏi khó hoặc có dùng gợi ý, trừ điểmnếu trả lời sai để hạn chế tình trạng đoán mò đáp án của thí sinh.

TÀI LIỆU THAM KHẢO

Tiếng Việt

[1] Nguyễn Văn Ba (2003), Phân tích và thiết kế hệ thống thông tin, NXB Đại Học Quốc Gia Hà Nội – Hà Nội.

[2] Thạc Bình Cường (2002), Phân tích và thiết kế hệ thống thông

tin, NXB khoa học và kỹ thuật.

[3] Vũ Mạnh Hoàng Hải - Nguyễn Đình Ngọc Duy (2005) “Xây

dựng phần mềm quản lý ngân hàng câu hỏi trắc nghiệm tuyển sinh đại học Luận văn cử nhân tin học Trường ĐH Khoa Học Tự Nhiên

Tp Hồ Chí Minh”.

[4] Nguyễn Phụng Hoàng, Nguyễn Ngọc Lan (1997), Phương pháp trắc nghiệm trong kiểm tra và đánh giá kết quả học tập

[5] Lê Đức Ngọc (2003), “Đo lường và đánh giá trong giáo dục”

[6] Vũ Đức Lưu (2008), “Đổi mới kiểm tra - đánh giá NTB”

[7] TS Hoa Tất Thắng, Phương pháp tính điểm cho người học khi kiểm tra kiến thức trong hệ thống đào tạo trực tuyến.

Tiếng Anh

[8] Bloom B.S The sigma Problem: The Search for Methods of Group Instruction as Effective as One-to-One Tutoring // Education Researcher, № 13, 1984 – p 3.

[9] Providing computing for distance learners: a strategy forр home use // Computers Education, 1992, vol.18, № 1.

PHỤ LỤC