Một nghiên cứu về việc sử dụng phần mềm thống kê trong việc so bằng bằng đề kiểm tra trắc nghiệm khách quan

MỘT NGHIÊN CỨU VỀ VIỆC SỬ DỤNG PHẦN MỀM THỐNG KÊ TRONG VIỆC SO BẰNG ĐỀ KIỂM TRA TRẮC NGHIỆM KHÁCH QUAN CHƯƠNG tư duy của học sinh HS.. LÝ THUYẾT SO BẰNG 3.1 Một số khái niệm so bằng T

MỘT NGHIÊN CỨU VỀ VIỆC SỬ DỤNG PHẦN MỀM THỐNG KÊ TRONG VIỆC SO BẰNG ĐỀ KIỂM TRA TRẮC NGHIỆM KHÁCH QUAN CHƯƠNG

tư duy của học sinh (HS) Mặc khác thi THPT mỗi học sinh làm một mã đề, do đó vấn

đề đặt ra liệu các mã đề đó có độ khó tương đương nhau hay không? Có đảm bảo công bằng cho các thí sinh khi làm các đề kiểm tra đó hay không? Bài viết trình bày quy trình

so bằng đề kiểm tra (ĐKT) dựa trên cơ sở lý thuyết so bằng dưới sự hỗ trợ của phần mền IATA

2 SƠ LƯỢC VỀ IRT

Lý thuyết Ứng đáp Câu hỏi (Item Response Theory - IRT) là một lý thuyết của khoa học về đo lường trong giáo dục, ra đời từ nửa sau thế kỷ 20 và phát triển mạnh mẽ cho đến nay Trước đó, Lý thuyết Trắc nghiệm cổ điển (Clasical Test Theory – CTT)

đã có nhiều đóng góp quan trọng cho các hoạt động đánh giá trong giáo dục nhưng cũng thể hiện một số hạn chế Xuất phát từ lý do đó các nhà tâm trắc học (psychometricians) cố gắng xây dựng một lý thuyết hiện đại sao cho khắc phục được các hạn chế đó Lý thuyết trắc nghiệm hiện đại được xây dựng dựa trên mô hình toán học, đòi hỏi nhiều tính toán, nhưng nhờ sự tiến bộ vượt bậc của công nghệ tính toán bằng máy tính điện tử vào cuối thế kỷ 20 – đầu thế kỷ 21, nên nó đã phát triển nhanh chóng và đạt được những thành tựu quan trọng Để đánh giá đối tượng nào đó, CTT tiếp cận ở cấp độ một đề kiểm tra, còn lý thuyết trắc nghiệm hiện đại tiếp cận ở cấp độ từng câu hỏi, do đó lý thuyết này thường được gọi là Lý thuyết Ứng đáp Câu hỏi

3 LÝ THUYẾT SO BẰNG

3.1 Một số khái niệm so bằng

Theo Lâm Quang Thiệp (2011): “So bằng là qui trình tìm một hàm nào đó để chuyển điểm của thí sinh (TS) thu được từ một đề khảo sát nào đó sang một thang điểm

của đề quy ước làm gốc”

Ở nước ngoài, có học giả đã nghiên cứu chuyên sâu về so bằng đó là Finch, W.H and French, B.F (2019) đã trình bày về các lý thuyết so bằng, so bằng về điểm thô và

so bằng điểm năng lực  theo lý thuyết Ứng đáp câu hỏi (IRT) Ở Việt Nam, Lâm Quang Thiệp (2011) đã trình bày cơ bản về việc so bằng hai đề trắc nghiệm (ĐTN) tiếng Việt năm 2001 (VIỆT01) và năm 2007 (VIỆT07)

Có hai phương pháp so bằng (equating) ĐTN đó là so bằng trong Lý thuyết trắc nghiệm cổ điển (CTT) và so bằng kết nối - xác lập thang đo theo (Lý thuyết ứng đáp câu hỏi) IRT Chúng tôi chọn phương pháp so bằng kết nối - xác lập thang đo theo IRT

vì hiện nay hầu như các nhà nghiên cứu về đo lường và đánh giá đều sử dụng IRT Theo IRT, so bằng chủ yếu là về điểm thô Như vậy, phương tiện so bằng hai ĐKT là so bằng

về điểm thô

Câu hỏi (CH) neo là CH chung của hai đề kiểm đề kiểm tra

3.2 Thiết kế kết nối tạo lập thang đo

Theo Lâm Quang Thiệp (2011) có 4 cách thiết kế kết nối để tạo lập thang đo các tham số CH:

Trong đó b và Xc b là các độ khó của các CH neo tương ứng trong các ĐTN X và Yc

ĐTN Y, khi các hằng số  và  đã được xác định, các giá trị ước lượng tham số đối với mỗi CH trong ĐTN X có thể được đặt trên cùng thang đo với ĐTN Y Các giá trị ước lượng tham số CH đối với các CH neo trong ĐTN X và trong ĐTN Y sẽ không như nhau (vì có sai số ước lượng), do đó sẽ được lấy trung bình

Trong việc sử dụng cách thiết kế ĐTN có các CH neo thì số lượng CH neo và các đặc trưng của chúng đóng vai trò quan trọng đối với chất lượng của việc kết nối Do đó, một điều rất quan trọng là các CH neo đều nằm ở khoảng độ khó có thể chấp nhận đối với cả hai nhóm và thông thường số CH neo chiếm khoảng từ 20% đến 25% của số lượng CH trong các ĐTN

3.3 Xác định các hằng số khi so bằng điểm thô

Theo Finch, W.H and French, B.F (2019), để chuyển điểm của TS từ ĐKT B sang ĐKT A ta sử dụng công thức sau đây:

Nó thực hiện phân tích các câu hỏi TNKQ cũng như toàn bộ bài kiểm tra dựa trên IRT,

từ đó giúp xây dựng được các câu hỏi TNKQ có chất lượng phù hợp với năng lực người học và mục đích kiểm tra đánh giá

4.1 Hướng dẫn cài đặt và sử dụng phần mềm IATA

Phần mềm IATA có thể cài đặt và sử dụng theo các bước sau:

Bước 1: Truy cập vào địa chỉ:

để tải file cài đặt phần mềm

Bước 2: Tiến hành cài đặt ứng dụng bình thường

Hình 1 Giao diện khi khởi động phần mền IATA

Bước 3: Phần mềm IATA tự động khởi động sau khi cài đặt hoặc người dùng có

thể tự khởi động phần mềm Giao diện khi khởi động của phần mềm như Hình 1 Để sử dụng phần mềm, người dùng không bắt buộc phải đăng kí tài khoản Họ có thể thay đổi ngôn ngữ sang Tiếng Việt tại bảng chọn “Select language for IATA” Để bắt đầu phân tích dữ liệu, người dùngnhấn vào Main Menu (Menu chính)

Bước 4: Menu chính của phần mềm gồm các lựa chọn như sau:

Hình 2 Màn hình chính của phần mềm IATA 4.2 Hướng dẫn phân tích dữ liệu câu trả lời

Bước 1: Tại Menu chính của phần mềm, ta chọn mục Response data analysis

(phân tích dữ liệu câu trả lời)

Bước 2: Chúng ta nhập tập tin Dữ liệu câu trả lời của TS, tập tin này chứa các câu

trả lời của từng TS cho từng câu hỏi Tập tin này được nhập bằng Excel, ví dụ như sau:

Hình 3 Bảng dữ liệu câu trả lời của thí sinh

Nhấn vào nút “Open file (mở tập tin)” và chọn đường dẫn thư mục chứa tập tin Dữ liệu câu trả lời của học sinh (có thể đặt tên khác cho tập tin này) Sau đó nhấn OK “Next”

Bước 3: Người dùng nhập tập tin Dữ liệu câu hỏi, tập tin này chứa đáp án của từng

câu hỏi, mức độ nhận thức, nội dung kiểm tra Tập tin này được nhập bằng Excel, ví dụ như sau:

Hình 4 Bảng dữ liệu câu hỏi

Nhấn vào nút “Open file (mở tập tin)” và chọn đường dẫn thư mục chứa tập tin Dữ liệu câu hỏi (có thể đặt tên khác cho tập tin này) Sau đó nhấn OK “Next”

Bước 4: Mục này nhập các thông số dùng để phân tích cũng như cách chấm điểm

cho từng câu hỏi, cách xử lý với những câu hỏi lỗi (không có đáp án, chọn hai đáp án, chọn đáp án khác…) Ta có thể nhấn “Next” để bỏ qua bước này nếu điểm số cho từng câu hỏi là bằng nhau và tất cả các đáp án không đúng quy định đều được chấm là sai Các trang còn lại là kết quả phân tích câu hỏi và bài kiểm tra, tùy vào mục đích nghiên cứu mà ta sẽ xem xét kĩ những trang tương ứng

4.3 Những ưu điểm của phần mềm IATA so với một số phần mền khác

Gần đây, trên thế giới cũng như ở Việt Nam, các nhà nghiên cứu sử dụng nhiều phần mềm thống kê khác nhau để phân tích các câu hỏi TNKQ, hầu hết các phần mềm này đều dựa trên IRT Chẳng hạn, Sudol và Studer (2010) sử dụng phần mềm R để phân

tích câu hỏi TNKQ, Trần Thị Anh Đào (2008) dùng phần mềm Quest, Đặng Thị Hương (2012) và Lâm Quang Thiệp (2011) dùng phần mềm Vitesta, Lê Ngọc và Đào Thị Trang (2017) dùng phần mềm IATA… Phần mềm IATA có một số ưu điểm vượt trội hơn so với các phần mềm phân tích ĐKT TNKQ

khác như sau:

- Phần mềm IATA được cung cấp hoàn toàn miễn phí, nên rất tiện lợi trong việc phổ biến cho các giáo viên (GV) và không lo ngại vấn đề bản quyền của phần mềm

- Ngôn ngữ hiển thị là Tiếng Việt nên dễ sử dụng

- Các file dữ liệu đầu vào được nhập bằng file Excel, gần gũi, dễ sử dụng đối với

GV (phần mềm Vitesta yêu cầu GV nhập thủ công file dữ liệu từ file text)

- Có giao diện trực quan, sử dụng bằng bảng chọn và chuột nên dễ sử dụng (phần mềm Quest yêu cầu người dùng phải viết các câu lệnh)

- Có đầy đủ các tính năng cần thiết của một phần mềm thống kê trong việc phân tích ĐKT TNKQ, chẳng hạn như độ khó, độ phân biệt của mỗi câu hỏi… và đặc biệt là phần mềm IATA cho phép ước lượng được năng lực thực sự của mỗi học sinh, từ đó có thể đánh giá học sinh một cách chính xác hơn dựa vào năng lực thực sự của họ

Từ những ưu điểm trên, phần mềm IATA được lựa chọn để giới thiệu cho GV

sử dụng trong việc phân tích các câu hỏi TNKQ của một ĐKT để đồng thời xây dựng được thang đo chung giữa các ĐKT, từ đó so sánh điểm thô của TS khi làm ĐTN khác nhau, cũng như đánh giá đúng năng lực thực sự của HSở trường THPT

5 QUY TRÌNH BIÊN SOẠN VÀ SO BẰNG ĐỀ KIỂM TRA TRẮC NGHIỆM KHÁCH QUAN

Qua nghiên cứu các tài liệu tập huấn Kỹ thuật viết câu hỏi TNKQ, Công văn số 8773/BGDĐT-GDTrH ngày 30/12/2010 về việc hướng dẫn biên soạn đề kiểm tra…., bài viết trình bày việc biên soạn, so bằng đề kiểm tra TNKQ chương Nguyên hàm – Tích phân và ứng dụng lớp 12 theo một quy trình như sau:

Bước 1: Xác định mục đích của đề kiểm tra

ĐKT là một công cụ dùng để đánh giá kết quả học tâp của HS sau khi học xong một chủ đề, một chương, một học kỳ, một lớp hay một cấp học nên người biên soạn ĐKT cần căn cứ vào mục đích yêu cầu cụ thể của việc kiểm tra, căn cứ chuẩn kiến thức

kĩ năng của chương trình và thực tế học tập của HS để đề ra mục tiêu của ĐKT cho pù

Bước 3: Biên soạn câu hỏi theo ma trận ĐKT

Dựa vào ma trận ĐKT, GV biên soạn lời dẫn cho các câu hỏi, đáp án đúng và các đáp án nhiễu Giải thích lý do xây dựng đáp án nhiễu Các câu hỏi cần đảm bảo nội dung, hình thức và mục đích kiểm tra đánh giá

Bước 4: Xây dựng bảng đáp án và thang điểm

Dựa vào ĐKT đã biên soạn, GV xây dựng bảng đáp án và thang điểm cho từng câu hỏi (nếu cần thiết)

Bước 5: Kiểm tra, chỉnh sửa ĐKT trước khi so bằng

Rà soát, kiểm tra, thẩm định nội dung, từ ngữ, kí hiệu, hình thức của từng câu hỏi

và bảng đáp án trước khi cho HS làm kiểm tra

Bước 6: Chuyển điểm thô từ ĐKT này sang ĐKT kia

Dựa vào kết quả phân tích từng ĐKT từ phần mềm IATA, tiến hành nghiên cứu, chuyển điểm thô từ ĐKT này sang ĐKT kiểm tra kia

Bước 7: Kết luận về độ khó giữa hai ĐKT

Dựa vào kết quả chuyển điểm thô từ đó kết luận độ khó giữa hai ĐKT, từ đó có những đề xuất, khắc phục làm sao cho hai ĐKT không lệch nhau quá lớn (nếu hai ĐKT lệch nhau quá lớn)

6 DÙNG PHẦN MỀM IATA ĐỂ SO BẰNG HAI ĐỀ KIỂM TRA CHƯƠNG NGUYÊN HÀM – TÍCH PHÂN VÀ ỨNG DỤNG LỚP 12

Bài viết chỉ giới thiệu cách phân tích, so bằng ĐKT được biên soạn và thẩm định

từ hai ĐKT chương Nguyên hàm – Tích phân và ứng dụng ĐKT này gồm 30 CH TNKQ

và thời gian làm bài là 54 phút (lấy theo mốc thời gian của Bộ Giáo dục và Đào tạo 1,8 phút/câu) Theo Bộ Giáo dục và Đào tạo (2009), ma trận chi tiết mô tả chuẩn kiến thức,

kĩ năng, mục tiêu kiểm tra của hai ĐKT TNKQ được trình bày như sau:

Bảng 1 Ma trận đề kiểm tra chương nguyên hàm – tích phân và ứng dụng

Chủ đề

Nhận biết Thông hiểu

Vận dụng

Tổng cộng Cấp độ

thấp

Cấp độ cao

Chủ đề 1

Nguyên

hàm

- Nhớ khái niệm nguyên hàm của một hàm

số

- Biết các tính chất cơ bản của nguyên hàm

[2 câu]

[0,7 điểm]

- Tìm được

nguyên hàm của một số hàm tương đối đơn giản dựa vào bảng nguyên hàm và cách tính nguyên hàm từng phần

[3 câu]

[1 điểm]

- Sử dụng

được phương pháp đổi biến số (khi đã chỉ

rõ cách đổi biến số

và không đổi biến số quá một lần) để tính nguyên hàm

- Tìm một

hàm số cụ thể nhờ xác định nguyên hàm

[2 câu]

[0,7 điểm]

- Giải quyết được bài toán thực tế

[1 câu]

[0,3 điểm]

8 câu 26,7% [2,7 điểm]

Nhận

thức

thức

Chủ đề 2

Tích

phân

- Nhớ định nghĩa tích phân của hàm số liên tục bằng công thức Niu-tơn – Lai-bơt-nit

- Nhớ các tính chất của tích phân

[2 câu]

[0,7 điểm]

- Tính được

tích phân của một số hàm tương đối đơn giản

[3 câu]

[1 điểm]

- Sử dụng

phương pháp tính tích phân từng phần

và phương pháp đổi biến số (khi

đã chỉ rõ cách đổi biến số và không đổi biến số quá một lần) để tính tích phân của một hàm

[3 câu]

[1 điểm]

- Tính được diện tích, thể tích của một

số hình giới hạn bởi các hàm số đơn giản

[2 câu]

[0,7 điểm]

- Tính được diện tích, thể tích một số hình phải xác định các cận

[3 câu]

[1 điểm]

- Giải quyết được bài toán thực tế bằng cách

sử dụng tích phân

[5 câu]

[1,7 điểm]

13 câu 43,3%

[4,4 điểm]

Tổng tỉ lệ

Điểm

7 câu 23,3%

[2,3 điểm]

8 câu 26,7%

[2,7 điểm]

9 câu 30%

[3 điểm]

6 câu 20%

[2 điểm]

30 câu 100%

[10 điểm]

Mỗi ĐKT gồm 30 CH TNKQ, trong đó có 6 CH neo (Câu 17, 18, 23, 25, 26, 30), trong mỗi CH gồm 4 phương án lựa chọn và chỉ có duy nhất một đáp án đúng Các CH trong mỗi đề được sắp xếp theo mức độ nhận thức tăng dần từ nhận biết đến vận dụng (ở cấp độ) Trong mỗi mức độ, các CH được sắp xếp theo từng chủ đề (thứ tự như trong

ma trận của ĐKT)

Trong mỗi CH, các phương án nhiễu được chúng tôi cân nhắc, dự đoán những sai lầm mà HS có thể gặp phải trong quá trình sử dụng kiến thức hoặc trong quá trình giải bài tập

Toàn bộ quá trình thực nghiệm được thực hiện trên 544 HS thuộc 17 lớp khối 12 đang học tại 6 trường THPT ở các tỉnh Bạc Liêu, Sóc Trăng và Kiên Giang

Hình 5 Kết quả phân tích 30 câu hỏi của hai ĐKT

Đề kiểm tra A Đề kiểm tra B

Chúng tôi thống kê lại số câu theo màu sắc, kí hiệu như sau:

Bảng 2 Kết quả phân tích 30 CH TNKQ của ĐKT B

Màu sắc Biểu tượng ĐKT A ĐKT B Ý nghĩa

Xanh

24 câu 26 câu

Các thông số đều ở mức độ an toàn, có thể xem xét lại CH nếu muốn

Một hoặc một vài thông số ở mức độ cảnh báo, cần xem xét lại CH

Một hoặc nhiều thông số ở mức

độ báo động, cần chỉnh sửa hoặc thay đổi CH

Điểm thô

CH neo (%)

Điểm thô toàn CH (%)

Điểm thô

CH neo (%)

Điểm thô toàn CH (%)

6.3 Thống kê các CH neo của hai ĐKT gộp chung

Bảng 5 Bảng điểm thô CH neo của hai ĐKT gộp chung

Điểm thô

CH neo (%)

6.4 Xác lập thang đo chung và chuyển điểm thô

Bảng 6 Các tham số thang đo chung của hai ĐKT

Các tham số Kết quả Các tham số Kết quả

Z

2 2

x  a x   c d chúng tôi thu được kết quả chuyển điểm thô (%) của TS từ ĐKT

B sang ĐKT A của 50 TS như sau:

Bảng 7 Kết quả chuyển điểm thô của TS từ ĐKT B sang ĐKT A

ID

Điểm thô ĐKT B (%)

Điểm thô chuyển từ ĐKT B sang ĐKT A (%)

điểm tăng lên 0,766 điểm, TS có ID 2254 điểm thô khi làm ĐKT B là 40 điểm và khi chuyển điểm sang ĐKT A là 41,299, tăng lên 1,299 điểm, điều đó chứng tỏ ĐKT B khó hơn ĐKT A Tuy nhiên, độ khó chênh lệch là không lớn

7 KẾT LUẬN VÀ ĐỀ XUẤT

Qua quá trình thực hiện nghiên cứu, chúng tôi thấy rằng để so bằng hai ĐKT với nhau thì hai ĐKT đó phải được biên soạn tốt và độ tin cậy của hai ĐKT phải ở mức độ cho phép và tương đương nhau Bên cạnh đó, để khai thác tối đa và hiệu quả hết các tính năng của phần mềm IATA cũng như nắm được nhiều thông tin nâng cao hơn về ĐKT, chúng ta cần có những nghiên cứu chuyên sâu, chi tiết và quy mô hơn

Do công trình nghiên cứu có giới hạn, nên việc thực nghiệm chưa thực sự mang tính quy mô lớn Tuy nhiên, các kết quả thực nghiệm cho thấy giả thuyết khoa học của vấn đề nghiên cứu đã được kiểm nghiệm và bước đầu có các kết quả khả quan về việc

so bằng ĐKT TNKQ dưới sự hỗ trợ của phần mềm IATA và Excel

So bằng hai ĐKT với sự hỗ trợ của phần mềm IATA là một phương pháp mới để đánh giá về mặc độ khó của hai ĐKT từ đó tạo sự công bằng cho HS khi làm các ĐKT khác nhau và cũng là công cụ tốt giúp xác định và so sánh năng lực của HS ở trường THPT Ngoài ra, công trình còn có thể phát triển lên so bằng ba hay bốn ĐKT chứ không chỉ dừng lại trong việc so bằng hai ĐKT Chúng tôi hy vọng rằng trong tương lai với sự hỗ trợ của phần mềm IATA hoặc những phần mềm tương tự sẽ được ứng dụng rộng rãi trong việc so bằng ĐKT góp phần đưa ngành giáo dục nói chung và chất lượng giáo dục môn Toán nói riêng có nhiều thành tựu mới

TÀI LIỆU THAM KHẢO Tiếng việt

[1] Bộ Giáo dục và Đào tạo (2009), Hướng dẫn thực hiện chuẩn kiến thức kĩ năng môn Toán - lớp 12, NXB Giáo dục, Hà Nội

[2] Bộ Giáo dục và Đào tạo (2010), Hướng dẫn biên soạn đề kiểm tra, Công văn số

8773/BGDĐT-GDTrH, Hà Nội

[3] Bộ Giáo dục và Đào tạo (2017), Hướng dẫn thực hiện Quy chế thi THPT quốc gia

và xét công nhận tốt nghiệp THPT năm 2017, Công văn số Số

417/BGDĐT-KTKĐCLGD, Hà Nội