Xây dựng website đánh giá độ tin cậy của bộ đề trắc nghiệm và công cụ tìm kiếm dựa trên ontology

- Bộ đề kiểm tra có đáng tin cậy: o Số lượng câu hỏi được chọn trong các nhóm câu hỏi theo 4 cấp độ có hợp lý để đánh giá năng lực của học sinh.. o Bài kiểm tra có giúp phân loại năng lự

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC NHA TRANG

NGÔ THANH TÙNG XÂY DỰNG WEBSITE ĐÁNH GIÁ ĐỘ TIN CẬY

CỦA BỘ ĐỀ TRẮC NGHIỆM VÀ CÔNG CỤ TÌM KIẾM ĐỰA TRÊN ONTOLOGY

LUẬN VĂN THẠC SĨ

KHÁNH HÒA – 2020

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC NHA TRANG

NGÔ THANH TÙNG

XÂY DỰNG WEBSITE ĐÁNH GIÁ ĐỘ TIN CẬY

CỦA BỘ ĐỀ TRẮC NGHIỆM VÀ CÔNG CỤ TÌM KIẾM ĐỰA TRÊN ONTOLOGY

Người hướng dẫn khoa học: TS PHẠM THỊ THU THÚY

Khoa Sau Đại học:

KHÁNH HÒA - 2020

iii

LỜI CAM ĐOAN

Tôi xin cam đoan mọi kết quả của đề tài: “Xây dựng website đánh giá độ tin cậy của bộ đề trắc nghiệm và công cụ tìm kiếm đựa trên ontology” là công trình nghiên cứu của cá nhân tôi và chƣa từng đƣợc công bố trong bất cứ công trình khoa học nào khác cho tới thời điểm này

Khánh Hòa, ngày 20 tháng 4 năm 2020

Tác giả luận văn

Ngô Thanh Tùng

TS Phạm Thị Thu Thúy đã giúp tôi hoàn thành tốt đề tài Qua đây, tôi xin gửi lời cảm

ơn sâu sắc đến sự giúp đỡ này

Cuối cùng tôi xin gửi lời cảm ơn chân thành đến gia đình và tất cả bạn bè đã giúp

đỡ, động viên tôi trong suốt quá trình học tập và thực hiện đề tài

Tôi xin chân thành cảm ơn!

Khánh Hòa, ngày 20 tháng 4 năm 2020

Ngô Thanh Tùng

v

MỤC LỤC

LỜI CAM ĐOAN iii

LỜI CẢM ƠN iv

MỤC LỤC v

DANH MỤC CHỮ VIẾT TẮT vii

DANH MỤC BẢNG viii

DANH MỤC HÌNH ix

TRÍCH YẾU LUẬN VĂN x

MỞ ĐẦU 1

CHƯƠNG 1: TỔNG QUAN VỀ ONTOLOGY 2

1.1 Giới thiệu Ontology 2

1.1.1 Tổng quan về Ontology 2

1.1.2 Phương thức xây dựng Ontology 2

1.1.3 Ngôn ngữ để diễn đạt Ontology 3

1.2 Truy vấn dữ liệu RDF 4

1.2.1 Mô hình RDF cơ bản 4

1.2.2 RDF Schema 4

1.2.3 SPARQL 5

1.3 Công cụ và phần mềm xây dựng Ontology 6

1.3.1 Protégé 6

1.3.2 Plugin Ontop 6

CHƯƠNG 2 MỘT SỐ PHƯƠNG PHÁP TÍNH ĐỘ TIN CẬY CỦA MỘT BÀI KIỂM TRA 10

2.1 Phương pháp cổ điển (CTT) 10

2.1.1 Phương trình cơ bản trong lý thuyết khảo thí cổ điển [2] 10

2.1.2 Công thức khác tính độ tin cậy 12

2.2 Phương pháp hiện đại (Lý thuyết hồi đáp) [1] 13

2.3 Mối quan hệ giữa Lý thuyết hồi đáp và Lý thuyết đánh giá cổ điển 15

2.4 Ưu nhược điểm của các phương pháp đánh giá 15

2.4.1 Lý thuyết đánh giá cổ điển 15

2.4.2 Lý thuyết hồi đáp 16

CHƯƠNG 3.PHÂN TÍCH THIẾT KẾ HỆ THỐNG KIỂM TRA TRẮC NGHIỆM 17

3.1 Phân tích hệ thống 17

vi

3.2 Xây dựng CSDL 18

3.2.1 Quản lý tài khoản 18

3.2.2 Quản lý bài kiểm tra online 18

3.2.3 Quản lý bài kiểm tra trên giấy 19

3.3 Mô hình hóa các chức năng của trang web kiểm tra trắc nghiệm 20

3.3.1 Chức năng của giáo viên 20

3.3.2 Chức năng của học sinh 21

3.3.3 Chức năng chung của người dùng 21

3.4 Mô hình hóa một số quy trình hoạt động của trang web 22

3.4.1 Đăng nhập vào hệ thống 22

3.4.2 Quy trình thiết kế bài kiểm tra của giáo viên 23

CHƯƠNG 4 XÂY DỰNG TRANG WEB KIỂM TRA TRẮC NGHIỆM 26

4.1 Các công cụ hỗ trợ tạo lập trang web kiểm tra trắc nghiệm 26

4.2 Thiết kế chức năng chấm bài kiểm tra trắc nghiệm trên giấy 27

4.2.1 Chấm điểm bằng điện thoại di động 27

4.2.2 Chấm điểm bằng máy scanner 34

4.3 Sử dụng các phần mềm tạo lập chức năng tìm kiếm bằng Ontology 36

4.3.1 Sử dụng Protégé để xây dựng cấu trúc Ontology 36

4.3.2 Sử dụng plugin Ontop mapping dữ liệu từ MySql vào Ontology 37

4.3.3 Sử dụng Server Tomcat và Rdf4j-workbench tạo Endpoint giúp thực hiện các câu truy vấn bằng SPARQL 37

4.3.4 Thiết kế chức năng tìm kiếm câu hỏi trắc nghiệm trên hệ thống 39

4.4 Một số chức năng đặc trưng của trang web 42

4.4.1Tổng quan về trang web 42

4.4.2Chức năng tạo đề trắc nghiệm 42

4.4.3Chức năng kiểm tra trắc nghiệm trực tuyến 42

4.4.4Chức năng kiểm tra trắc nghiệm trên giấy 43

CHƯƠNG 5 KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 44

TÀI LIỆU THAM KHẢO 47

vii

DANH MỤC CHỮ VIẾT TẮT

Tên viết tắt Tên đầy đủ tiếng Việt Tên đầy đủ tiếng Anh

CNTT Công nghệ thông tin

CSDL Cơ sở dữ liệu

CSDLQH Cơ sở dữ liệu quan hệ

CTT Phương pháp đánh giá độ

tin cậy cổ điển Classical Test Theory

ICC Đường cong đặc trưng Item Characteristic Curves

OBDA Truy cập dữ liệu dựa trên

OWL

Ngôn ngữ đánh dấu dùng để xuất bản và chia sẻ dữ liệu trên Internet thông qua những mô hình dữ liệu Ontology

Web Ontology Language

RDF Framework mô tả tài

nguyên

Resource Description Framework

URI Định danh tài nguyên thống

URL Định vị tài nguyên thống

viii

DANH MỤC BẢNG

Bảng 2.1 Mối quan hệ giữa IRT và CCT 15Bảng 3.1 Cấu trúc của bài kiểm tra 23 Bảng 4 1 Một số lệnh javascrip và jQuery giúp quản lý camera 28

ix

DANH MỤC HÌNH

Hình 1.1 Kiến trúc của Ontop 7

Hình 1.2 Giao diện mapping CSDL của plugin Ontop 8

Hình 1.3 Giao diện chạy thử query SPARQL của plugin Ontop 8

Hình 1.4 Sesame OpenRDF Workbench 9

Hình 2.1 Đường cong đặc trưng của câu hỏi 13

Hình 3.1 Table quản lý tài khoản 18

Hình 3.2 Mô hình CSDL quản lý bài kiểm tra online 18

Hình 3.3 Mô hình CSDL quản lý bài kiểm tra trên giấy 19

Hình 3.4 Chức năng của giáo viên 20

Hình 3.5 Chức năng của học sinh 21

Hình 3.6 Chức năng chung của người dùng 21

Hình 3.7 Đăng nhập vào hệ thống 22

Hình 3.8 Quy trình làm bài kiểm tra của học sinh 22

Hình 3.9 Tạo bài kiểm tra trực tuyến trên trang web 23

Hình 3.10 Quy trình thiết kế bài kiểm tra trên giấy của giáo viên 25

Hình 4.1 Một số giao diện chức năng chấm bài qua mạng 27

Hình 4.2 Ảnh được chụp từ điện thoại 29

Hình 4.3 Ảnh sau bước tiền xử lý (ảnh xám và làm nhòe) 29

Hình 4.4 Tìm cạnh trong hình 30

Hình 4.5 Trang giấy được cắt ra từ ảnh gốc 30

Hình 4.6 Giúp nhận diện câu trả lời, mã đề, mã học sinh 31

Hình 4.7 Giao diện chấm bài bằng máy scanner 34

Hình 4 8 Kết quả sau khi upload các file ảnh lên máy chủ 35

Hình 4.9 Cấu trúc Ontology 36

Hình 4.10 Mapping dữ liệu từ MySql vào Ontology 37

Hình 4.11 Rdf4j-workbench 37

Hình 4.12 Tạo kết nối đến file Ontology 38

Hình 4.13 Thông tin SPARQL Endpoint 38

Hình 4.14 giao diện tìm kiếm câu hỏi 39

Hình 4.15 Kết quả nhận được sau khi thực hiện chức năng tìm kiếm 39

x

TRÍCH YẾU LUẬN VĂN

Luận văn “Xây dựng website đánh giá độ tin cậy của bộ đề trắc nghiệm và công

cụ tìm kiếm đựa trên ontology” Nghiên cứu cấu trúc Ontology và các công cụ giúp ánh xạ CSDLQH vào cấu trúc ontology để hỗ trợ cho việc tìm kiếm, thống kê dữ liệu Nghiên cứu các cách thức, phương pháp đánh giá độ tin cậy của bộ đề kiểm tra trắc nghiệm khách quan Nghiên cứu cách thức tạo lập một trang web có sử dụng CSDL ontology, bước đầu tạo lập, thiết kế được trang web ngữ nghĩa Nghiên cứu cách thức trích xuất thông tin từ các file ảnh và cập nhật những thông tin thu thập được vào CSDL Luận văn đã xây dựng được một trang web giúp tạo lập, quản lý, đánh giá một

bộ đề kiểm tra trắc nghiệm Hỗ trợ giáo viên đánh giá được nội dung của một bài kiểm tra trắc nghiệm Tuy nhiên luận văn vẫn còn một số hạn chế như: Vẫn chưa nhận diện hiệu quả hình chụp từ điện thoại, chức năng tìm kiếm còn hạn chế chưa xử lý được ngôn ngữ tự nhiên để tìm kiếm theo hướng ngữ nghĩa

Từ khóa: Ontology, ontop, đánh giá độ tin cậy bài kiểm tra trắc nghiệm, opencv

kiểm tra trắc nghiệm luôn là yếu tố được quan tâm nhất

Giáo viên thường rất băn khoăn về các câu hỏi trong bộ đề kiểm tra trắc nghiệm

Họ thường phải tự tìm lời giải đáp cho các câu hỏi như sau:

- Câu hỏi trong bộ đề có đáng tin cậy:

o Câu hỏi có được phân đúng vào nhóm câu hỏi theo 4 cấp độ tư duy (nhận biết, thông hiểu, vận dụng thấp, vận dụng cao)

o Đáp án đúng và đáp án gây nhiễu có đáng tin cậy

- Bộ đề kiểm tra có đáng tin cậy:

o Số lượng câu hỏi được chọn trong các nhóm câu hỏi theo 4 cấp độ có hợp lý để đánh giá năng lực của học sinh

o Bài kiểm tra có giúp phân loại năng lực của tất cả học sinh Chính vì vậy trong đề tài này tôi nghiên cứu xây dựng trang web hỗ trợ giáo viên tạo bộ đề kiểm tra trắc nghiệm và đánh giá được độ tin cậy của bộ đề kiểm tra

2 Mục tiêu đề tài

- Xây dựng trang web kiểm tra trắc nghiệm trong đó có công cụ:

o Hỗ trợ giáo viên xây dựng bộ đề trắc nghiệm

o Giúp giáo viên kiểm tra trắc nghiệm online trên trang web hoặc offline tại lớp học

o Đánh giá được độ tin cậy của bộ đề và các câu hỏi trong bộ đề đó

- Xây dựng bộ đề kiểm tra trắc nghiệm dựa trên Ontology nhằm hỗ trợ việc tìm kiếm câu hỏi trắc nghiệm theo hướng ngữ nghĩa

3 Nội dung thực hiện

Xây dựng trang web có chức năng kiểm tra trắc nghiệm trực tuyến và kiểm tra trên giấy tại trường THPT Chuyên Thăng Long – Đà Lạt và trường THPT Trần Phú –

Đà Lạt Thu thập kết quả kiểm tra để phục vụ cho việc nghiên cứu các thuật toán, công thức tính độ tin cậy của bài kiểm tra Xây dựng công cụ trên trang web để tìm kiếm bằng ontology và đánh giá độ tin cậy của bộ đề kiểm tra

2

CHƯƠNG 1: TỔNG QUAN VỀ ONTOLOGY

1.1 Giới thiệu Ontology

1.1.1 Tổng quan về Ontology

Ontology là một mô hình dữ liệu được dùng để mô tả một lĩnh vực cụ thể và được sử dụng để suy luận về các đối tượng trong lĩnh vực đó cùng với các mối quan hệ giữa chúng Ontology bao gồm các khái niệm, thuộc tính và định nghĩa về một vấn đề, đối tượng nào đó Nó tạo lập ngữ nghĩa cho các vấn đề, đối tượng và tạo ra các mối quan hệ, thuộc tính cho các đối tượng đó

o Ontology có bốn thành phần:

− Lớp (classes)

− Quan hệ (relations)

− Thuộc tính (attributes)

− Các mối quan hệ (relationships)

o Phân loại Ontology:

− Top-level Ontology: Dùng để diễn tả khái niệm trừu tượng, tổng quan

− Domain Ontology: lấy tri thức từ trong những lĩnh vực xác định

− Task Ontology: lấy tri thức về một tác vụ riêng biệt

− Application Ontology

1.1.2 Phương thức xây dựng Ontology

Các nguyên tắc cơ bản để xây dựng Ontology được thực hiện thông qua các công đoạn sau:

Xác định domain và phạm vi của Ontology

Tìm kiếm các Ontology có sẵn để tham khảo hoặc nâng cấp thêm

Đưa ra các thuật ngữ chính trong Ontology

Xây dựng cấu trúc chính của Ontology

Thiết lập các thuộc tính và quan hệ của lớp

Xây dựng các luật và ràng buộc cho các lớp

Tạo các đối tượng cho lớp

3

Bổ sung các thể hiện cho các lớp

Xây dựng các tập luật suy dẫn hoặc biểu thức truy vấn (nếu có)

1.1.3 Ngôn ngữ để diễn đạt Ontology

Để diễn đạt Ontology người ta thường dùng một ngôn ngữ gần với ngôn ngữ XML (eXtensible Markup Language) Ngôn ngữ Ontology được sử dụng nhiều nhất gần đây là OWL từ tổ chức W3C Xây dựng dựa trên RDF và RDFS OWL giúp thể hiện các kiểu quan hệ trong RDF bằng cách sử dụng một tập từ vựng XML để đưa ra các mối quan hệ và cấp dữ liệu của các tài nguyên trong Ontology

OWL được phát triển bởi nó có nhiều tiện lợi để biểu diễn ý nghĩa và ngữ nghĩa hơn so với XML, RDF và RDFS, và vì OWL ra đời sau các ngôn ngữ này nên nó có khả năng biểu diễn các nội dung trên web mà máy có thể hiểu được

OWL được chia làm ba phiên bản ngôn ngữ con: OWL Lite, OWL DL và OWL Full

− OWL lite: Là phiên bản đơn giản nhất của OWL, với phiên bản này người dùng chỉ có thể sử dụng để tạo các lớp tài nguyên riêng rẽ và những ràng buộc hay quan hệ đơn giản

− OWL DL: Là phiên bản có những tính năng phức tạp trong tính toán và xử

lý thông tin và cung cấp công cụ để tạo ra các ràng buộc chặt chẽ Tuy vậy OWL DL vẫn còn hạn chế về việc kế thừa giữa các class với nhau

− OWL full : Là phiên bản cung cấp đầy đủ các tính năng của OWL và không

bị ràng buộc bởi cấu trúc ngữ pháp phức tạp OWL full có cấu giống với RDF, ví dụ : một lớp trong OWL full có thể đồng thời được coi như là một tập các thể hiện hoặc là một thể hiện của chính lớp đó

Các thành phần cơ bản của OWL Ontology:

− Lớp (Classes): Dùng để tạo lập các nhóm có chung nhiều thuộc tính

− Thể hiện (Individuals): Là các thành viên của lớp

− Thuộc tính (Properties): Tạo liên kết giữa lớp, trong Ontology có thuộc tính nghịch đảo

4

Miền (Domain) và phạm vi (Range) của thuộc tính

Mỗi một thuộc tính có thể có domain và range riêng Các thuộc tính liên kết các thực thể thuộc domain đến các thực thể thuộc range Domain của một thuộc tính là

range của thuộc tính nghịch đảo của nó và ngƣợc lại

Các kiểu thuộc tính OWL

Có hai kiểu thuộc tính chính

− Object: Thể hiện các mối quan hệ giữa hai lớp, tạo ra liên kết giữa hai lớp với nhau

− Datatype: Mô tả giá trị dữ liệu của một thuộc tính trong lớp

OWL còn có kiểu thuộc tính thứ ba là thuộc tính Annotation đƣợc sử dụng để thêm thông tin vào lớp, vào thực thể hoặc thực thể khác thuộc hai kiểu trên: object và datatype

1.2 Truy vấn dữ liệu RDF

RDF cung cấp một framework hỗ trợ việc mô tả các siêu dữ liệu về tài nguyên trên web RDF kế thừa cú pháp XML Vì vậy, RDF giúp các ứng dụng kết nối và trao đổi thông tin trên nền web Đối với RDF, tài nguyên thông tin từ trang web đƣợc xác định thông qua các URI

1.2.1 Mô hình RDF cơ bản

RDF gồm ba đối tƣợng sau:

- Tài nguyên (Resource): Là các URI tồn tại trên mạng

- Thuộc tính (Property): Là các thông tin về một đối tƣợng trên web đƣợc định danh thông qua các URI

- Phát biểu (Statement): Mỗi phát biểu có ba thành phần cơ bản: “Chủ thể”,

“Thuộc tính” và “Đối tƣợng”

1.2.2 RDF Schema

Là một tập hợp các lớp với các thuộc tính sử dụng mô hình dữ liệu RDF, cung cấp các yếu tố cơ bản cho mô tả về Ontology, hay còn gọi là từ vựng RDF, xác định

SPARQL cho phép người sử dụng truy xuất và sửa đổi dữ liệu trong các cơ sở dữ liệu đồ họa NoSQL như GraphDB

Một truy vấn SPARQL có thể được thực thi thông qua phần mềm trung gian Ví

dụ, CSDLQH có thể được yêu cầu truy vấn với SPARQL bằng việc sử dụng phần mềm J4RDF

Các truy vấn SPARQL không bị ràng buộc phải làm việc bên trong một cơ sở dữ liệu vì vậy SPARQL có thể ứng dụng cho việc tìm kiếm dữ liệu từ nhiều nguồn khác nhau dựa trên các điểm truy cập cuối URL (endpoint)

SPARQL được thiết kế cho Dữ liệu Liên kết (Linked Data) và Web Ngữ nghĩa (Semantic Web) Nhằm hỗ trợ cho việc làm giàu dữ liệu giúp khai thác tài nguyên thông tin trên mạng

SPARQL có 4 dạng truy vấn:

ASK (Hỏi) trả về giá trị dạng True/False đơn giản cho các câu truy vấn

SELECT (Chọn) liệt kê các giá trị thỏa câu truy vấn

CONSTRUCT (Xây dựng) trích xuất thông tin và trả về kết quả là một file

RDF

6

DESCRIBE (Mô tả) trích xuất một đồ thị RDF từ SPARQL endpoint

1.3 Công cụ và phần mềm xây dựng Ontology

1.3.1 Protégé

Protégé là một bộ phần mềm mã nguồn mở giúp người dùng thao tác trên các CSDL Ontology

Các ưu điểm của Protégé:

- Hỗ trợ đầy đủ ba phiên bản của ngôn ngữ OWL là OWL-Full, OWL-Lite và OWL-DL

- Giao diện thiết kế trực quan có tính tương tác cao

- Biểu diễn Ontology dưới dạng các sơ đồ trực quan

- Giúp phát hiện lỗi trên CSDL, đảm bảo tính đầy đủ và nhất quán của Ontology

- Cho phép kế thừa Ontology khác thông các URL

- Hỗ trợ suy luận trực tiếp trên Ontology dựa trên giao diện chuẩn

- Hỗ trợ sinh mã tự động Các mã này có thể được nhúng trực tiếp vào ứng dụng

1.3.2 Plugin Ontop

1.3.2.1 Tổng quan về Ontop

Ontop là một Hệ thống OBDA (Ontology-based data access) mã nguồn mở, được phát hành theo giấy phép Apache, được phát triển tại Đại học Tự do Bozen-Bolzano

Ontop ánh xạ CSDL bằng cách liên kết các lớp và thuộc tính trong Ontology từ CSDL quan hệ Ontop biến CSDL quan hệ thành một RDF ảo Từ đó ta có thể thực hiện các truy vấn bằng SPARQL Ontop sẽ tự chuyển câu truy vấn bằng SPARQL thành câu truy vấn SQL

Dưới đây là kiến trúc của Ontop

7

Hình 1.1 Kiến trúc của Ontop

1.Inputs: Ontology, Mappings, Queries, and Databases

Ontop là hệ thống OBDA hỗ trợ tất cả các khuyến nghị của W3C liên quan đến OBDA: OWL2QL, R2RML, SPARQL, SWRL và chế độ ký gửi OWL2QL trong SPARQL

Ontop sử dụng RDFS và OWL2QL làm ngôn ngữ Ontology OWL2QL dựa trên

họ DLLite đảm bảo rằng các truy vấn trên Ontology có thể được viết lại thành các truy vấn tương đương trên dữ liệu quan hệ

Ontop hỗ trợ khá tốt các tính năng của SPARQL 1.0, SPARQL 1.1 và OWL2QL

2 Ontop Core

Cốt lõi của Ontop là Quest, chịu trách nhiệm chuyển đổi các truy vấn SPARQL trên biểu đồ RDF ảo và Ontology vào các câu truy vấn SQL trên cơ sở dữ liệu quan hệ 3.API Layer

Người dùng có thể sử dụng Ontop như là một thư viện Java:

OWL-API dùng để tạo, thao tác và tuần tự hóa các Ontology OWL

- Sesame là một framework dùng để xử lý dữ liệu RDF (the Sesame Storage And Inference Layer) (SAIL) hỗ trợ các câu truy vấn trên cơ sở dữ liệu quan hệ

8

4 Lớp ứng dụng (Application Layer)

Hình 1.2 Giao diện mapping CSDL của plugin Ontop

Hình 1.3 Giao diện chạy thử query SPARQL của plugin Ontop

9

Sử dụng trong Protégé: Ontop là một plugin cho Protégé dựa trên API OWL Plugin này cung cấp một giao diện đồ họa có nhiều chức năng liên quan đến OBDA: chỉnh sửa ánh xạ, thực hiện truy vấn SPARQL, kiểm tra tính nhất quán của các Ontology, bootstrapping Ontology và ánh xạ từ các cơ sở dữ liệu, nhập hoặc trích xuất ánh xạ R2RML

Hình 1.4 Sesame OpenRDF Workbench

Sesame OpenRDF Workbench: là một ứng dụng web để quản trị dữ liệu đƣợc ánh xạ từ CSDLQH đến Ontology Nó đƣợc sử dụng nhƣ là một điểm truy cập cuối (endpoint SPARQL) để có thể truy vấn dữ liệu bằng SPARQL

Việc sử dụng SQLPAR để truy vấn CSDL Ontology giúp tìm kiếm dữ liệu dựa trên các suy luận, giúp tăng thêm tính logic cho thông tin Các ràng buộc trong Ontology biểu diễn đƣợc các ràng buộc trong thế giới thực

Sử dụng plugin ontop giúp ánh xạ CSDL quan hệ vào Ontology chính vì vậy ta

có thể sử dụng đƣợc các điểm mạnh của 2 CSDL Ontology và CSDLQH

Trong đó: di là điểm bài kiểm tra của học sinh i

ti là điểm thực của học sinh i

ei là sai số

Sai số là một số thực có giá trị ngẫu nhiên Trong CTT sai số hệ thống được loại

bỏ

Vì sai số là đại lượng ngẫu nhiên nên:

 Trung bình cộng sai số sẽ tiệm cận đến giá trị 0 nếu xét trên một số lượng lớn các bài kiểm tra

Vì vậy, trung bình cộng điểm bài làm của học sinh tương đương với trung bình cộng điểm thực của họ, tức là ̄ ̄

 Sai số ngẫu nhiên là độc lập với điểm thực

Để tìm điểm thực của học sinh ta có công thức như sau:

Với k bài tập có độ khó như nhau thì

11

Như vậy:

a Điểm thực của học sinh trong hai bài kiểm tra tương đương là bằng nhau

b Phương sai trong các bài kiểm tra tương đương phải bằng nhau

c Điểm làm bài của học sinh trong hai bài kiểm tra tương đương bất kỳ phải có cùng một giá trị

Tỷ lệ trên được gọi là độ tin cậy của bài kiểm tra

Ví dụ: Với hai bài kiểm tra 1 và 2 đồng nhất về độ khó

di1 = ti1 + ei1

di2 = ti2 + ei2

và ti1 = ti2 Đồng phương sai (covariance) của di1 và di2 là tổng của 4 phần:

a Đồng phương sai giữa ti1 và ti2, chính là var(t)

b Đồng phương sai giữa ti1 và ei2, bằng 0

c Đồng phương sai giữa ei1 và ti2, bằng 0

d Đồng phương sai giữa ei1 và ei2, bằng 0

Do đó cov(d1, d2) = var(t)

Mối tương quan giữa d1 và d2 = độ tin cậy của bài kiểm tra

12

2.1.2 Công thức khác tính độ tin cậy

 Công thức dự báo của Spearman – Brown

Với y là độ tin cậy của bài kiểm tra

 là độ tin cậy của bài kiểm tra được kéo dài k lần

 Công thức Kuder – Richardson: (với những câu hỏi đúng/sai, đa lựa chọn)

K-R 20

(

 là phương sai chung của cả bài kiểm tra

n là số câu hỏi của bài kiểm tra

K-R 21

(

Trong đó, clà trung bình cộng của cả bài kiểm tra

c2 là phương sai chung của cả bài kiểm tra

n là số câu hỏi của bài kiểm tra

Hệ số  Crombach

(

 là phương sai chung của kết quả cả bài kiểm tra

n là số câu hỏi trong bài kiểm tra

13

2.2 Phương pháp hiện đại (Lý thuyết hồi đáp) [1]

Lý thuyết Trắc nghiệm cổ điển đã có nhiều đóng góp quan trọng cho hoạt động đánh giá trong giáo dục, nhưng cũng thể hiện một số hạn chế Để khắc phục những hạn chế đó các nhà nghiên cứu về khảo thí đã nghiên cứu và xây dựng một lý thuyết mới

Lý thuyết hồi đáp (Item Response Theory - IRT) là một lý thuyết của khoa học

về đo lường trong giáo dục, ra đời từ nửa sau của thế kỷ 20 và phát triển mạnh mẽ cho đến nay

Lý thuyết trắc nghiệm hiện đại được xây dựng dựa trên mô hình toán học, đòi hỏi nhiều tính toán, nhưng nhờ sự tiến bộ vượt bậc của công nghệ tính toán bằng máy tính điện tử vào cuối thế kỷ 20 – đầu thế kỷ 21 nên nó đã phát triển nhanh chóng và đạt được những thành tựu quan trọng

Năng lực của học sinh và độ khó của câu hỏi là những đại lượng chính trong lý thuyết hồi đáp Những đại lượng này có miền giá trị đi từ -∞ đến +∞

Lý thuyết hồi đáp quan tâm đến xác suất trả lời đúng đối với một câu hỏi Xác suất đó được thể hiện là một hàm số của năng lực học sinh và độ khó câu hỏi và có thể

có thêm một số tham biến khác (ví dụ: mức độ đoán mò)

Những hàm số xác suất khác nhau (thể hiện mối quan hệ giữa năng lực học sinh

và độ khó câu hỏi) dẫn đến những mô hình lý thuyết hồi đáp khác nhau,

Xác suất trả lời đúng một câu hỏi được biểu thị bằng một hàm số liên quan đến: năng lực của học sinh  (thể hiện dưới một hàm số logarit tự nhiên) Xác suất đó là hàm P() – một đường cong đặc trưng của câu hỏi (Item Characteristic Curves - ICC)

Hình 2.1 Đường cong đặc trưng của câu hỏi

c Đường cong tiệm cận đến hai đường thẳng y=0 và y=1

P() tiến đến 0 khi   -  và P() tiến đến 1 khi  

Xác suất biểu thị hàm số độ khó câu hỏi (là  thể hiện dưới một hàm số logarit tự nhiên) cho đường cong đặc trưng học sinh là hàm P() (Person Characteristic Curves - PCC) Lưu ý sự khác nhau giữa ICC và PCC

Ở trên đã giả thiết xác suất trả lời là một hàm số đặc trưng đơn giản cho năng lực thí sinh Để Lý thuyết hồi đáp có thể áp dụng được với các bài kiểm tra, các câu hỏi phải là các đơn thứ nguyên (unidimensional) Không một công cụ đo lường nào là đơn thứ nguyên chính xác Ở đây có thể có một số thứ nguyên phụ (minor dimensions) ảnh hưởng đến việc trả lời câu hỏi Liệu có hay không một công cụ là đơn thứ nguyên thỏa đáng còn là một câu hỏi quan trọng để có thể ứng dụng Lý thuyết hồi đáp

Nếu năng lực  của học sinh i đã được xác định, khi đó sự hiểu biết của học sinh

i để trả lời câu hỏi j không ảnh hưởng đến khả năng có được câu trả lời đúng đối với câu hỏi k khác

15

Xác suất để học sinh i trả lời đúng câu j là

P[ xij = 1 |  ]

)exp(

1

)exp(

Sự tính toán này nhằm xác định những vị trí tương đối của các tham số, nhưng

đó không phải là những vị trí thực

 -  = ( + c) – ( + c) (14)

Sai số chuẩn (standard errors) của sự tính toán này có thể tính được

2.3 Mối quan hệ giữa Lý thuyết hồi đáp và Lý thuyết đánh giá cổ điển

Bảng 2.1 Mối quan hệ giữa IRT và CCT

Phương sai của sai số

độ tin cậy, var(x|t)

Sai số chuẩn

∑

2.4 Ưu nhược điểm của các phương pháp đánh giá

2.4.1 Lý thuyết đánh giá cổ điển

Ưu điểm:

− Dễ tính toán và ứng dụng trong thực tế

− Hỗ trợ khá tốt trong việc đánh giá một câu hỏi, một bộ đề kiểm tra trong thực tế

16

Nhược điểm:

− Điểm thực phụ thuộc vào độ khó của các câu hỏi trong bài kiểm tra

− Chưa đề cập đến độ khó của câu hỏi được thể hiện qua kết quả trả lời của

học sinh

− Chưa đề cập đến độ tin cậy của một câu hỏi

2.4.2 Lý thuyết hồi đáp

Ưu điểm:

− Đánh giá được năng lực và độ khó của câu hỏi trắc nghiệm

− Có thể dự đoán được điểm số của học sinh có được sau khi làm bài kiểm

tra dựa trên năng lực của học sinh Từ đó giáo viên có thể đưa ra được bộ

đề thích hợp nhất để đánh giá học sinh

Nhược điểm:

− Việc tìm ra độ khó và năng lực của học sinh tương tự bài toán “con gà và

quả trứng” nên kết quả có thể không chính xác tuyệt đối Vì vậy muốn

đảm bảo độ chính xác của các tham số trên cần nguồn dữ liệu lớn

17

CHƯƠNG 3.PHÂN TÍCH THIẾT KẾ HỆ THỐNG KIỂM TRA TRẮC

NGHIỆM

3.1 Phân tích hệ thống

 Yêu cầu về dữ liệu:

o Lưu trữ được dữ liệu người dùng bao gồm các thông tin cơ bản của giáo viên và học sinh

o Các bài kiểm tra cần có các dữ liệu sau:

 Phân nhóm bài kiểm tra theo nhóm người dùng, môn học  khối

 học kỳ  hệ số…

 Nội dung của bài kiểm tra, kết quả của bài kiểm tra

 Đối với bài kiểm tra trên giấy cần quản lý thêm số đề và nội dung của bộ đề kiểm tra

 Yêu cầu về chức năng:

o Tổ chức được các kỳ thi trên mạng hoặc kiểm tra trên giấy

o Bài kiểm tra trên mạng:

 Giáo viên tạo được bài kiểm tra và quản lý được nhóm học sinh

được phép làm bài

 Học sinh làm bài kiểm tra bằng cách đăng nhập vào hệ thống và

làm bài kiểm tra của giáo viên, xem được kết quả làm bài, đáp án

đề kiểm tra (nếu giáo viên cho phép)

o Bài kiểm tra trên giấy:

 Có đầy đủ chức năng của bài kiểm tra trên mạng

 Giáo viên quản lý được bộ đề in trên giấy, chấm bài bằng máy scanner hoặc sử dụng biện thoại

o Đánh giá được độ khó, độ phân biệt của câu hỏi

o Đánh giá được độ tin cậy của bộ đề kiểm tra

18

3.2 Xây dựng CSDL

3.2.1 Quản lý tài khoản

Hình 3.1 Table quản lý tài khoản

Trường ID Giúp xác định SBD của học sinh

Trường Loại: Giúp phân biệt loại tài khoản

3.2.2 Quản lý bài kiểm tra online

Hình 3.2 Mô hình CSDL quản lý bài kiểm tra online

19

Mô hình trên giúp quản lý bài kiểm tra, có một số đặc điểm sau:

 Câu hỏi được gom theo nhóm Nhóm câu hỏi có các đặc điểm sau:

o Số lượng nhóm câu hỏi không bị giới hạn

o Có thể chỉ định lấy n câu hỏi từ nhóm để đưa vào bài kiểm tra

Vì thế số lượng câu hỏi trong bộ đề (hay có thể gọi là ngân hàng đề) có thể nhiều hơn số câu hỏi trong bài làm của học sinh

 Mô hình chỉ có thể kiểm tra dưới dạng trắc nghiệm khách quan một lựa chọn

 Không quản lý bài kiểm tra dưới dạng ngân hàng câu hỏi tập trung mà có thể coi mỗi bài kiểm tra là một ngân hàng câu hỏi nhỏ

3.2.3 Quản lý bài kiểm tra trên giấy

Hình 3.3 Mô hình CSDL quản lý bài kiểm tra trên giấy