Skkn sử dụng phần mềm iata trong việc thẩm định chất lượng câu hỏi đề kiểm tra trắc nghiệm khách quan và đánh giá năng lực thực sự của học sinh trong chương nguyên hàm tích phân và ứng dụng lớp 1

SỬ DỤNG PHẦN MỀM IATA TRONG VIỆC THẨM ĐỊNH CHẤT LƯỢNG CÂU HỎI ĐỀ KIỂM TRA TRẮC NGHIỆM KHÁCH QUAN VÀ ĐÁNH GIÁ NĂNG LỰC THỰC SỰ CỦA HỌC SINH TRONG CHƯƠNG NGUYÊN HÀM - TÍCH PHÂN VÀ ỨNG DỤNG

SỬ DỤNG PHẦN MỀM IATA TRONG VIỆC THẨM ĐỊNH CHẤT LƯỢNG CÂU HỎI ĐỀ KIỂM TRA TRẮC NGHIỆM KHÁCH QUAN VÀ ĐÁNH GIÁ NĂNG LỰC THỰC SỰ CỦA HỌC SINH TRONG CHƯƠNG NGUYÊN HÀM - TÍCH PHÂN

VÀ ỨNG DỤNG LỚP 12 TÓM TẮT

Bài viết trình bày tổng quan về Lý thuyết ứng đáp câu hỏi (IRT) cũng như giới thiệu sơ lượt

về cách cài đặt và sử dụng phần mềm IATA - một phần mềm dùng để phân tích, đánh giácâu hỏi trắc nghiệm khách quan dựa trên nền tảng IRT Đồng thời, quy trình biên soạn vàđánh giá đề kiểm tra trắc nghiệm khách quan dưới dự hỗ trợ của phần mềm IATA cũng đãnêu trong bài viết Cuối cùng, cách thẩm định đánh giá một số câu hỏi được biên soạn trongchương Nguyên hàm - Tích phân và ứng dụng lớp 12 và đánh giá năng lực thực sự của họcsinh dưới sự hỗ trợ phần mềm IATA và Excel

hệ thống câu hỏi (CH) trắc nghiệm đôi khi chưa thật sự chất lượng và phù hợp Do đó, vấn

đề đặt ra là làm sao để xây dựng được câu hỏi trắc nghiệm khách quan chất lượng, phù hợp

và đánh giá đúng năng lực thực sự của HS ?

2 ĐÁNH GIÁ THEO ĐỊNH HƯỚNG NĂNG LỰC

2.1 Các khái niệm về đánh giá

Theo Lâm Quang Thiệp (2008), cho rằng đánh giá là đưa ra phán quyết về mức độgiá trị hoặc chất lượng của sự vật cần đánh giá

Và theo Trần Thị Kim Thanh (2006), đưa ra khái niệm đánh giá là quá trình thu thậpchứng cứ và đưa ra những lượng giá về bản chất và phạm vi của kết quả học tập hay thànhtích đạt được so với các tiêu chí và tiêu chuẩn thực hiện đã đề ra tại một thời điểm thích hợptrong quá trình dạy học

Đánh giá năng lực của HS: là đánh giá khả năng thực hiện một nhiệm vụ học tập cụthể của HS dựa trên việc kết hợp kiến thức, kỹ năng và thái độ đáp ứng với yêu cầu sảnphẩm đầu ra của quá trình giáo dục, sự vận dụng tri thức đã học trong thực tiễn cuộc sống

1

Qua đó, giáo viên (GV) đưa ra những quyết định sư phạm nhằm định hướng giúp HS họctập ngày càng tiến bộ hơn

2.2 Đổi mới kiểm tra đánh giá kết quả học tập của học sinh

Đổi mới chương trình giáo dục gắn liền với đổi mới về phương pháp dạy và đổi mớicách đánh giá quá trình dạy học cũng như đổi mới việc kiểm tra và đánh giá thành tích họctập của HS là một bước đóng vai trò quan trọng không thể thiếu trong quá trình giáo dục.Đánh giá kết quả học tập là quá trình thu thập thông tin, phân tích và xử lí thông tin, giảithích thực trạng việc đạt mục tiêu giáo dục, tìm hiểu nguyên nhân, đưa ra những quyết định

sư phạm giúp HS học tập ngày càng tiến bộ

Theo quan điểm phát triển năng lực, việc đánh giá kết quả học tập không lấy việckiểm tra khả năng tái hiện kiến thức đã học làm trung tâm của việc đánh giá Đánh giá kếtquả học tập theo năng lực cần chú trọng khả năng vận dụng sáng tạo tri thức trong nhữngtình huống ứng dụng khác nhau Đánh giá kết quả học tập đối với các môn học, hoạt độnggiáo dục ở mỗi lớp và sau cấp học là biện pháp chủ yếu nhằm xác định mức độ thực hiệnmục tiêu dạy học, có vai trò quan trọng trong việc cải thiện kết quả học tập của HS Hay nóicách khác, đánh giá theo năng lực là đánh giá kiến thức, kỹ năng và thái độ trong bối cảnh

có ý nghĩa

2.3 Định hướng xây dựng câu hỏi, bài tập đánh giá năng lực học sinh

Theo Bộ Giáo dục và Đào tạo (2014), dạy học định hướng năng lực đòi hỏi việc thay đổimục tiêu, nội dung, phương pháp dạy học và đánh giá, trong đó việc thay đổi quan niệm và cáchxây dựng các nhiệm vụ học tập, CH và bài tập (sau đây gọi chung là bài tập) có vai trò quan trọng

Chương trình dạy học định hướng năng lực được xây dựng trên cơ sở chuẩn năng lựccủa môn học Năng lực chủ yếu hình thành qua hoạt động học của HS Hệ thống bài tập địnhhướng năng lực chính là công cụ để HS luyện tập nhằm hình thành năng lực và là công cụ để

GV và các cán bộ quản lí giáo dục kiểm tra, đánh giá năng lực của HS, biết được mức độ đạtchuẩn của quá trình dạy học

Bài tập là một thành phần quan trọng trong môi trường học tập mà người GV cầnthực hiện Vì vậy, trong quá trình dạy học, người GV cần biết xây dựng các bài tập địnhhướng năng lực

Các bậc trình độ trong bài tập định hướng năng lực:

- Các bài tập dạng tái hiện: Yêu cầu sự hiểu và tái hiện tri thức Bài tập tái hiện

không phải trọng tâm của bài tập định hướng năng lực

- Các bài tập vận dụng: Các bài tập vận dụng những kiến thức trong các tình huống

không thay đổi Các bài tập này nhằm củng cố kiến thức và rèn luyện kỹ năng cơ bản, chưađòi hỏi sáng tạo

- Các bài tập giải quyết vấn đề: Các bài tập này đòi hỏi sự phân tích, tổng hợp, đánhgiá, vận dụng kiến thức vào những tình huống thay đổi, giải quyết vấn đề Dạng bài tập nàyđòi hỏi sự sáng tạo của người học

- Các bài tập gắn với bối cảnh, tình huống thực tiễn: Các bài tập vận dụng và giải

quyết vấn đề gắn các vấn đề với các bối cảnh và tình huống thực tiễn Những bài tập này lànhững bài tập mở, tạo cơ hội cho nhiều cách tiếp cận, nhiều con đường giải quyết khácnhau

3 SƠ LƯỢC VỀ IRT

Lý thuyết Ứng đáp Câu hỏi (Item Response Theory - IRT) là một lý thuyết của khoahọc về đo lường trong giáo dục, ra đời từ nửa sau thế kỷ 20 và phát triển mạnh mẽ cho đếnnay Trước đó, Lý thuyết Trắc nghiệm cổ điển (Clasical Test Theory – CTT) đã có nhiềuđóng góp quan trọng cho các hoạt động đánh giá trong giáo dục nhưng cũng thể hiện một

số hạn chế Xuất phát từ lý do đó các nhà tâm trắc học (psychometricians) cố gắng xây dựngmột lý thuyết hiện đại sao cho khắc phục được các hạn chế đó Lý thuyết trắc nghiệm hiệnđại được xây dựng dựa trên mô hình toán học, đòi hỏi nhiều tính toán, nhưng nhờ sự tiến bộvượt bậc của công nghệ tính toán bằng máy tính điện tử vào cuối thế kỷ 20 – đầu thế kỷ 21,nên nó đã phát triển nhanh chóng và đạt được những thành tựu quan trọng Để đánh giá đốitượng nào đó, CTT tiếp cận ở cấp độ một đề kiểm tra (ĐKT), còn lý thuyết trắc nghiệm hiệnđại tiếp cận ở cấp độ từng câu hỏi, do đó lý thuyết này thường được gọi là Lý thuyết Ứngđáp Câu hỏi

Nhà toán học Đan Mạch Georg Rasch (1960), đã đưa ra một mô hình “ứng đáp CH”

để mô tả mối tương tác nguyên tố giữa một HS với một CH của đề trắc nghiệm (ĐTN) vàdùng mô hình đó để phân tích các dữ liệu thu được từ ĐTN Để xem xét quan hệ giữa HS và

CH trong sự ứng đáp CH, đối với HS Rasch chọn tham số năng lực , đối với CH Rasch

3

chỉ chọn một tham số liên quan đến độ khó Độ khó của CH được kí hiệu chữ b, đặc trưngcho khả năng trả lời đúng CH của HS CH có độ khó càng cao thì xác suất trả lời đúng CHcủa HS càng thấp Theo Baker (2001) phân loại độ khó của các CH theo 5 mức sau: rất khó,khó, trung bình, dễ, rất dễ Cụ thể như sau:

- Nếu b  2 :CH thuộc loại rất khó;

- Nếu 0,5 b 2 :CH thuộc loại khó;

- Nếu 0,5 b 0,5 :CH thuộc loại trung bình;

- Nếu 2 b 0,5 : CH thuộc loại dễ;

- Nếu b   2: CH thuộc loại rất dễ

Rasch đã tìm ra được một biểu thức đơn giản và thuận lợi dưới dạng một hàm mũ đểtính giá trị xác suất nói trên đối với một cặp HSvvà CHinhư sau:

chúng ta thu được một đồ thị được gọi là đường cong đặc trưng câu hỏi (item characteristic

curver) có dạng như sau:

Hình 1 Biểu diễn đường cong đặc trưng câu hỏi theo mô hình Rasch

Có hai mô hình IRT thường được sử dụng, mô hình một tham số và mô hình hai tham

số (sử dụng trong nghiên cứu này)

3.1 Mô hình hai tham số

Trong trắc nghiệm cổ điển, người ta còn sử dụng một tham số quan trọng thứ hai đặc

trưng cho CH là độ phân biệt a Từ đó, nhiều nhà nghiên cứu đã đưa thêm một tham số thứ

hai liên quan đến độ phân biệt của CH vào mô hình đường cong đặc trưng CH Độ phân biệt

trị dương Trong trường hợp CH sai hoặc mắc lỗi thiết kế thì độ phân biệt có thể mang giátrị âm CH có độ phân biệt dương càng lớn thì sự chênh lệch về xác suất trả lời đúng của các

HS có năng lực cao và năng lực thấp càng lớn Nói một cách khác, CH có độ phân biệt caophân loại HS tốt hơn CH có độ phân biệt thấp Theo Baker (2001) chia độ phân biệt của các

CH thành 5 mức: rất tốt, tốt, bình thường, kém và rất kém Cụ thể như sau:

- Nếu a 1,7 :CH có độ phân biệt rất tốt;

- Nếu 1,35 a 1,7:CH có độ phân biệt tốt;

- Nếu 0,65 a 1,35 : CH có độ phân biệt bình thường;

- Nếu 0,35 a 0,65 :CH có độ phân biệt kém;

- Nếu a 0,35 :CH có độ phân biệt rất kém

Và hàm đặc trưng CH hai tham số như sau:

( )1

a b

a b

e P

Hệ số a biểu diễn độ dốc của đường cong đặc trưng CH tại điểm có hoành độ   b

và tung độ P ( )   0,5. Có thể thấy rõ độ nghiêng của đường cong đặc trưng CH phản ánh

độ phân biệt của CH Thật vậy, khi cho một biến đổi xác định   của năng lực thì sẽ thuđược một biến đổi  P của xác suất trả lời đúng, giá trị  P này sẽ lớn hơn trên đường congđặc trưng CH có độ dốc lớn và nhỏ hơn trên đường cong có độ dốc nhỏ Nói cách khác, đốivới CH cho độ dốc lớn, một sự khác biệt rất nhỏ   về năng lực HS cũng gây ra một độchênh lệch lớn  P về xác suất trả lời đúng Đó chính là ý nghĩa của độ phân biệt Dễ dàngxác định độ nghiêng của đường cong từ biểu thức đạo hàm của P:

2

1 1

3.2 Điểm

nghiệm (điểm năng lực)

Đối với lý thuyết ứng đáp CH, người ta chứng minh được rằng điểm thựccủa một

HS khi làm một ĐTN gồm N câu hỏi được biểu diễn bởi biểu thức:

1

( )

N i j

4.1 Hướng dẫn cài đặt và sử dụng phần mềm IATA

Phần mềm IATA có thể cài đặt và sử dụng theo các bước sau:

Bước 1: Truy cập vào địa chỉ: https://www.polymetrika.com/Downloads/IATA sao đó chọn Download IATA 32bit hoặc Download IATA 64bit để tải file cài đặtphần mềm

Bước 2: Tiến hành cài đặt ứng dụng chọn Next I accept the agreement  Next 

Hình 2 Các đường cong đặc trưng CH hai tham số

Hình 3 Giao diện khi khởi động phần mền IATA

Bước 3: Phần mềm IATA tự động khởi động sau khi cài đặt hoặc người dùng có thể

tự khởi động Giao diện khi khởi động của phần mềm như Hình 3 Để sử dụng phần mềm,người dùng không bắt buộc phải đăng kí tài khoản Mặc khác, có thể thay đổi ngôn ngữsang Tiếng Việt tại bảng chọn “Select language for IATA” Để bắt đầu phân tích dữ liệu,người dùngnhấn vào Main Menu (Menu chính)

Bước 4: Menu chính của phần mềm gồm các lựa chọn như sau:

7

Hình 4 Màn hình chính của phần mềm IATA

Sau khi cài đặt phần mềm, trên màn hình Desktop xuất hiện thư mục tên là IATA,trong đó có chứa các tập tin mẫu về Dữ liệu trả lời của HS (CYCLE1, CYCLE2, CYCLE3,PILOT1 và PILOT2), dữ liệu câu hỏi (ItemDataAllTests) để chạy thử phần mềm Mặc khác,người dùng có thể tải về hướng dẫn chi tiết cách sử dụng phần mềm IATA (bằng tiếng Anh)tại mục Download IATA Manual

4.2 Hướng dẫn phân tích dữ liệu câu trả lời

Bước 1: Tại Menu chính của phần mềm, ta chọn mục Response data analysis (phân tích

dữ liệu câu trả lời)

Bước 2: Nhập tập tin Dữ liệu câu trả lời của HS theo mẫu trong thư mục IATA hoặc

theo mẫu như Hình 5, tập tin này chứa các câu trả lời của từng HS cho từng câu hỏi (dữ liệuđáp án của HS được xuất ra từ phần mềm Zipgrade một phần mềm chấm trắc nghiệm trênđiện thoại)

Hình 5 Bảng dữ liệu câu trả lời của học sinh

Nhấn “Open file” và chọn tập tin Dữ liệu câu trả lời của học sinh (có thể đặt tên khác cho

tập tin này), sau đó chọn Sheet chứa dữ liệu của tập tin tại nút “Select a table”, nhấn OK Next

Bước 3: Người dùng nhập tập tin Dữ liệu câu hỏi, tập tin này chứa đáp án của từng câu

hỏi và nhập bằng Excel, ví dụ như sau:

Hình 6 Bảng đáp án câu hỏi

Nhấn “Open file” và chọn tập tin Dữ liệu câu hỏi (có thể đặt tên khác cho tập tin này),

sau đó chọn Sheet chứa dữ liệu của tập tin tại nút “Select a table”, nhấn OK  Next

Bước 4: Mục này nhập các thông số dùng để phân tích cũng như cách chấm điểm cho

từng câu hỏi, cách xử lý với những câu hỏi lỗi (không có đáp án, chọn hai đáp án, chọn đáp

án khác…) Ta có thể nhấn “Next” để bỏ qua bước này nếu điểm số cho từng câu hỏi làbằng nhau và tất cả các đáp án không đúng quy định đều được chấm là sai Các trang còn lại

là kết quả phân tích câu hỏi và bài kiểm tra, tùy vào mục đích nghiên cứu mà ta sẽ xem xét

kĩ những trang tương ứng

4.3 Những ưu điểm của phần mềm IATA so với một số phần mền khác

- Phần mềm IATA được cung cấp hoàn toàn miễn phí, nên rất tiện lợi trong việc phổbiến cho các giáo viên (GV) và không lo ngại vấn đề bản quyền của phần mềm

9

- Ngôn ngữ hiển thị có thể chuyển sang Tiếng Việt nên dễ sử dụng.

- Các file dữ liệu đầu vào được nhập bằng file Excel, gần gũi, dễ sử dụng đối với GV(phần mềm Vitesta yêu cầu GV nhập thủ công file dữ liệu từ file text)

- Có giao diện trực quan, sử dụng bằng bảng chọn và chuột nên dễ sử dụng (phần mềmQuest yêu cầu người dùng phải viết các câu lệnh)

- Có đầy đủ các tính năng cần thiết của một phần mềm thống kê trong việc phân tích câuhỏi TNKQ, chẳng hạn như độ khó, độ phân biệt của mỗi câu hỏi… và đặc biệt là phần mềmIATA cho phép ước lượng được năng lực thực sự của mỗi HS, từ đó có thể đánh giá HS mộtcách chính xác hơn dựa vào năng lực thực sự của họ

Từ những ưu điểm trên, phần mềm IATA được lựa chọn để giới thiệu cho GV sửdụng trong việc phân tích các câu hỏi TNKQ của một ĐKT, cũng như đánh giá đúng nănglực thực sự của HSở trường THPT

5 QUY TRÌNH BIÊN SOẠN VÀ THẨM ĐỊNH ĐỀ KIỂM TRA TRẮC NGHIỆM KHÁCH QUAN

Qua nghiên cứu các tài liệu tập huấn Kỹ thuật viết câu hỏi TNKQ, Công văn số 8773/BGDĐT-GDTrH ngày 30/12/2010 về việc hướng dẫn biên soạn đề kiểm tra…., bài viếttrình bày việc biên soạn, so bằng ĐKT TNKQ chương Nguyên hàm – Tích phân và ứngdụng lớp 12 theo một quy trình như sau:

Bước 1: Biên soạn CH trắc nghiệm theo hướng dẫn của Bộ Giáo dục và Đào tạo, nội

dung CH được thiết kế theo các dạng: CH tái hiện, CH vận dụng, CH giải quyết vấn đề, CHgắn với bối cảnh và tình huống thực tiễn

Bước 2: Thiết kế ĐKT TNKQ đảm bảo cấu trúc của ma trận, CH được phân thành 4

mức độ: nhận biết, thông hiểu, vận dụng và vận dụng cao

Bước 3: Tiến hành thực nghiệm ở một số trường THPT trên địa bàn

Bước 4: Xử lý số liệu, phân tích kết quả thực nghiệm bằng phần mềm IATA, phân tích

độ khó, độ phân biệt, đồ thị… của CH TNKQ Dựa vào kết quả phân tích đưa ra những kếtluận về tính khách quan, khoa học của CH cũng như đánh giá, phân biệt năng lực HS vớinhau

6 SỬ DỤNG PHẦN MỀM IATA ĐỂ THẨM ĐỊNH CHẤT LƯỢNG CÂU HỎI ĐỀ KIỂM TRA TRẮC NGHIỆM KHÁCH QUAN VÀ ĐÁNH GIÁ NĂNG LỰC THỰC

SỰ CỦA HỌC SINH TRONG CHƯƠNG NGUYÊN HÀM - TÍCH PHÂN VÀ ỨNG DỤNG LỚP 12

Bài viết chỉ giới thiệu cách thẩm định một số câu hỏi ĐKT TNKQ được biên soạn từchương Nguyên hàm – Tích phân và ứng dụng ĐKT này gồm 30 CH TNKQ và thời gianlàm bài là 54 phút (lấy theo mốc thời gian của Bộ Giáo dục và Đào tạo 1,8 phút/câu) Theo

Bộ Giáo dục và Đào tạo (2009), ma trận chi tiết mô tả chuẩn kiến thức, kĩ năng, mục tiêukiểm tra của ĐKT TNKQ được trình bày như sau:

Bảng 1 Ma trận đề kiểm tra chương nguyên hàm – tích phân và ứng dụng

Chủ đề

Nhận biết Thông hiểu

Vận dụng

Tổng cộng Cấp độ

thấp

Cấp độ cao

Chủ đề 1

Nguyên

hàm

- Nhớ khái niệm nguyên hàmcủa một hàm số

- Biết các tính chất cơ bản của nguyên hàm

- Tìm được

nguyên hàmcủa một số hàm tương đối đơn giảndựa vào bảng nguyênhàm và cáchtính nguyên hàm từng phần

- Sử dụng

được phương pháp đổi biến số (khi đã chỉ

rõ cách đổibiến số

và không đổi biến sốquá một lần) để tínhnguyên hàm

- Tìm một

hàm số cụ thể nhờ xác định nguyên hàm

- Giải quyết đượcbài toán thực tế

11

Nhận

thức

[3 câu]

[1 điểm]

- Sử dụng

phươngpháp tínhtích phântừng phần

và phươngpháp đổibiến số(khi đã chỉ

rõ cách đổibiến số vàkhông đổibiến số quámột lần) đểtính tíchphân củamột hàmsố

[4 câu]

[1,3 điểm]

9 câu 30% [3 điểm]

[3 câu]

[1 điểm]

- Tính đượcdiện tích,thể tích củamột số hìnhgiới hạn bởicác hàm sốđơn giản

[2 câu]

[0,7 điểm]

- Tínhđược diệntích, thểtích một sốhình phảixác địnhcác cận

[3 câu]

[1 điểm]

quyết đượcbài toánthực tếbằng cách

sử dụngtích phân

[5 câu]

[1,7 điểm]

13 câu 43,3%

[4,4 điểm]

Tổng tỉ

lệ Điểm

7 câu 23,3%

[2,3 điểm]

8 câu 26,7%

[2,7 điểm]

9 câu 30%

[3 điểm]

6 câu 20%

[2 điểm]

30 câu 100%

Trong mỗi CH, các phương án nhiễu được chúng tôi cân nhắc, dự đoán những sai lầm

mà HS có thể gặp phải trong quá trình sử dụng kiến thức hoặc trong quá trình giải bài tập,quá trình thực nghiệm được thực hiện trên 272 HS thuộc trường THPT ở tỉnh Bạc Liêu.Theo Linacre (1994), để việc ước lượng các tham số trong IRT chính xác với độ tincậy 95% thì cỡ mẫu tối thiểu là 100 và tối thiểu là 150 nếu độ tin cậy là 99% Nghiên cứu sửdụng độ tin cậy 95%, nên cỡ mẫu tối thiểu cần thiết là 100

Theo Ayala (2009) đề xuất cỡ mẫu tối thiểu cần thiết khi phân tích các câu hỏi TNKQphải gấp 3 lần số câu hỏi Vì nghiên cứu sử dụng ĐKT có 30 câu hỏi nên cỡ mẫu ít nhấtphải là 90 Các HS kiểm tra trong thời gian 54 phút, sau khi học xong chương Nguyên hàm– Tích phân và ứng dụng Phiếu trả lời trắc nghiệm của HS được thu về xử lý dữ liệu bài

làm Các tập tin Dữ liệu câu trả lời của học sinh và Dữ liệu câu hỏi được xử lý thông qua

phần mềm Excel theo đúng cấu trúc mà phần mềm IATA yêu cầu

13

Hình 7 Kết quả phân tích 30 câu hỏi của ĐKT

Chúng tôi thống kê lại số câu theo màu sắc, kí hiệu như sau:

Màu sắc Biểu tượng ĐKT Ý nghĩa

Xanh 24 câu Các thông số đều ở mức độ an toàn, có thể xemxét lại CH nếu muốn.

Vàng 2 câu Một hoặc một vài thông số ở mức độ cảnh báo, cần xem xét lại CH.

Đỏ 4 câu Một hoặc nhiều thông số ở mức độ báo động, cần chỉnh sửa hoặc thay đổi CH.

Discr (the item discrimination index) là độ phân biệt của CH theo lý thuyết trắc

nghiệm cổ điển, theo Lâm Quang Thiệp (2011) [14, tr.62]: “trị số độ phân biệt của CH có

thể chấp nhận phải lớn hơn 0,2”.

Pval (the item facility) là độ khó của CH theo lý thuyết trắc nghiệm cổ điển, theo

Lâm Quang Thiệp (2011) [14, tr.60]: “độ khó của một CH có thể chấp nhận được nằm

trong khoảng 0,25 - 0,75, CH có độ khó lớn hơn 0,75 là quá dễ, CH có độ khó nhỏ hơn 0,25

là quá khó.”

Pbis (the point – biserial correlation) là hệ số tương quan Theo lý thuyết trắc nghiệm

cổ điển, nó là một đại lượng dùng để đo mối quan hệ tuyến tính giữa CH và ĐTN Theo lýthuyết trắc nghiệm hiện đại, hệ số tương quan phản ánh mức độ liên hệ và ổn định giữađường cong lý thuyết (Theoretical) và đường cong thực nghiệm (Empirical) Hệ số tươngquan càng lớn thì CH càng có giá trị Hệ số tương quan có thể chấp nhận phải lớn hơn 0,2

 a tham số liên quan đến độ phân biệt theo IRT, đặc trưng cho khả năng phân loại:

HS CH có độ phân biệt cao phân loại HS tốt hơn CH có độ phân biệt thấp Theo Baker,

F.B (2001) [16]: “độ phân biệt của các CH được chia thành 5 mức: rất tốt, tốt, bình

thường, kém và rất kém Cụ thể, một CH được gọi là có độ phân biệt rất tốt nếu a1,7,loại tốt nếu1,35 a 1,7, loại bình thường nếu 0,65 a 1,35,loại kém nếu 0,35 a 0,65 và loại rất kém nếu a0,35”.

b tham số liên quan đến độ khó theo IRT, đặc trưng cho khả năng trả lời đúng CH:đối với một HS bất kì CH có độ khó càng cao thì xác suất trả lời đúng CH của HS càng

thấp Theo Baker, F.B (2001) [17]: “một CH thuộc loại rất khó nếu b2,thuộc loại khó nếu 0,5 b 2,thuộc loại trung bình nếu 0,5  b 0,5,thuộc loại dễ nếu 2   b 0,5và thuộc loại rất dễ nếu b 2”.

Qua phân tích của phần mềm IATA ĐKT có 4 câu chưa đạt (hình tam giác màu đỏ) ở cáccâu: 2, 6, 19, 24, câu cần xem xét lại (hình thoi màu vàng) là các câu: 22, 28 và 26 câu đạtyêu cầu (hình tròn màu xanh)

6.1 Các CH đạt yêu cầu: gồm 26 câu hình tròn màu xanh (phân tích câu 8)

C I 3.e2 3 xC. D

2 3

1

.3



Kết quả phân tích chi tiết câu 8 như sau:

Hình 8 Kết quả thực nghiệm câu 8

Hình 9 Đồ thị thực nghiệm câu 8

Dấu * đươc đánh dấu phía sau chữ cái đại diện cho đáp án đúng Từ số liệu thống kê ta thấycâu 8 có độ khó b 1,38 thuộc loại CH dễ, độ phân biệt a 0,68 thuộc loại CH có độphân biệt bình thường, độ phân biệt CH thể hiện qua tỷ lệ chọn phương án đúng A* của cácnhóm HS: nhóm điểm cao (High) là 98,80%, nhóm điểm trung bình (Medium) là 71,60% vànhóm điểm thấp là 79,80% Trên đồ thị, đường cong thực nghiệm (Empirical) và đườngcong lý thuyết (Theoretica) tiến sát gần nhau, qua đó cho thấy đây là CH đánh giá tốt nănglực và khai thác được khả năng vận dụng lý thuyết vào giải quyết bài toán của HS

6.2 Các CH xem xét lai: gồm 02 câu hình thoi màu vàng là các câu: 22, 28 (phân tích câu

22)

Câu 22 Cho S  a bln 2(với , a b là các số hữu tỉ) là diện tích hình phẳng giới hạn bởi

các đường ye3x 1, y0 và xln 2. Tính K  a b

A

13.8



K

B

31.24



K

C

1.8



K

D

17.24



K

Kết quả phân tích chi tiết câu 22 như sau:

Hình 10 Kết quả thực nghiệm câu 22

Hình 11 Đồ thị thực nghiệm câu 22

Dấu * đươc đánh dấu phía sau chữ cái đại diện cho đáp án đúng Từ số liệu thống kê ta thấycâu 22 có độ khó b 1,25 thuộc loại CH khó, độ phân biệt a 0,36 thuộc loại CH có độphân biệt kém, độ phân biệt CH thể hiện qua tỷ lệ chọn phương án đúng D* của các nhómHS: nhóm điểm cao (High) là 50,00%, nhóm điểm trung bình (Medium) là 29,50% và nhómđiểm thấp là 23,80%, hai nhóm điểm trung bình và nhóm điểm thấp rất gần nhau không biệtđược khả năng riêng biệt của từng HS Đặc biệt ở phương án nhiễu C nhóm HS có điểmtrung bình chọn nhiều hơn so với HS điểm thấp điều này khiến cho mức độ CH cảnh báomàu vàng và cần phải xem xét CH, phương án nhiễu C Trên đồ thị đường cong lý thuyết(Theoretica) có hướng đi lên, trong khi đường cong thực nghiệm (Empirical) có hướng đixuống qua đó cho thấy mức độ vận dụng lý thuyết vào giải quyết bài toán của HS là chưaphù hợp và hiệu quả

17

6.3 Các CH chưa đạt yêu cầu: gồm 04 câu hình tam giác màu đỏ là các câu: 2, 6, 19, 24

(phân tích câu 6)

Câu 6.Cho đồ thị hàm số yf x như hình dưới đây 

Diện tích S của hình phẳng (phần tô đậm trong hình) được tính theo công thức nào sau đây?

Kết quả phân tích chi tiết câu 6 như sau:

Hình 12 Kết quả thực nghiệm câu 6

Hình 13 Đồ thị thực nghiệm câu 6

Dấu * đươc đánh dấu phía sau chữ cái đại diện cho đáp án đúng Từ số liệu thống kê ta thấycâu 6 có độ khó b 3, 46 thuộc loại CH rất khó, trong khi theo ma trận đề thì đây là CH có

độ khó dễ và ở mức độ nhận biết, độ phân biệt a 0,18 thuộc loại CH có độ phân biệt kém,

độ phân biệt CH thể hiện qua tỷ lệ chọn phương án đúng D* của các nhóm HS: nhóm điểmcao (High) là 42,70%, nhóm điểm trung bình (Medium) là 34,70% và nhóm điểm thấp là28,80%, tỷ lệ chọn các nhóm rất gần nhau không biệt được khả năng riêng biệt của từng

HS Đặc biệt ở phương án nhiễu C nhóm HS có điểm cao chọn nhầm nhiều nhất 42,70%,tiếp đến là nhóm điểm trung bình 27,90% và ít nhất là nhóm HS có điểm thấp nhất 16,20%điều này khiến cho mức độ CH ở mức độ báo động và cần phải xem xét CH, phương ánnhiễu C Trên đồ thị đường cong lý thuyết (Theoretica) và đường cong thực nghiệm(Empirical) đi theo hướng khác nhau và chỉ giao nhau tại một số điểm, thể hiện sự chưa hợp

lý và thống nhất giữa lý thuyết và kỹ năng giải bài toán của HS

6.4 Phân tích kết quả giữa điểm bài kiểm tra và điểm năng lực thực sự của HS

Dựa vào kết quả phần mềm IATA chúng tôi lập bảng thống kê điểm bài thi và điểmnăng lực của 20 HS (thang điểm 100) như sau: (bảng thống kê đầy đủ điểm của 272 HS kèm

Trong bảng trên so sánh điểm bài kiểm tra mà HS làm được với điểm năng lực thựccủa các em Nếu hai kết quả này bằng nhau nghĩa là điểm bài kiểm tra là năng lực thực của

HS, chứng tỏ ĐKT đã đánh giá đúng năng lực vốn có của người học, đảm bảo tính kháchquan và đạt được mục tiêu giáo dục môn học Qua thống kê trong bảng ta thấy hai dãy điểmnày khá là lệch nhau nhiều Ngoài ra, kết quả trên còn cung cấp cho chúng ta thông tin đểđánh và phân biệt năng lực của từng HS với nhau Cụ thể, có một số trường hợp đặc trưngdưới đây:

Trường hợp 1: HS cùng số câu đúng và điểm năng lực gần bằng nhau

Giữa hai HS có cùng số câu đúng và điểm năng lực gần bằng nhau do hai HS này cótham số năng lực gần bằng nhau và hai bài kiểm tra cũng cho thấy hai HS chọn các phuong

án của các CH gần như giống nhau Ngoài ra, trong trường hợp này hai HS có điểm nănglực cao hơn điểm bài kiểm tra cho thấy những HS này đã trả lời đúng những CH có độ khócao nhiều hơn so với mức điểm mà các em làm được

Trường hợp 2: HS có cùng số câu đúng và điểm năng lực gần bằng điểm bài kiểm tra

Giữa hai HS vẫn có cùng số câu đúng nhưng trường hợp này điểm năng lực của HScũng gần bằng điểm bài kiểm tra do tham số năng lực của hai em cũng gần bằng nhau chothấy hai HS có năng lực ngang nhau đồng thời phản ánh bài kiểm tra có thể đánh giá tốtnăng lực của HS

Trường hợp 3: HS có cùng số câu đúng nhưng điểm năng lực lệch nhau

20

STT ID HS Tổng số câu đúng kiểm tra (%) Điểm bài

Điểm năng lực thực sự của HS (TrueScore)

Các HS có cùng số câu đúng nhưng điểm năng lực có thể cao hơn hoặc thấp hơn điểmbài kiểm tra của các em Như vậy điểm năng lực đã phân hóa được năng lực của HS dù các

em có điểm bài kiểm tra bằng nhau

Trường hợp 4: HS có số câu đúng khác nhau nhưng điểm năng lực sắp sĩ bằng nhau

Trường hợp này cho thấy các HS có số câu đúng khác nhau nhưng lại có điểm nănglực gần bằng nhau do tham số năng lực của các em gần bằng nhau Khi đó điểm bài kiểm trachưa phản ánh đúng năng lực của HS Thực tế cũng cho thấy có một số HS trong học tập cónăng lực tương đương nhau nhưng vì lí do nào đó các em có sự lệch nhau qua kết quả bàikiểm tra Vì thế, để đánh giá đúng năng lực của HS ngoài điểm thô ta cần xem xét nhữngyếu khác để xác định năng lực thực sự của các em một cách chính xác nhất

7 KẾT LUẬN VÀ ĐỀ XUẤT

Qua quá trình thực hiện nghiên cứu, chúng tôi thấy rằng để biên soạn một ĐKT tốt vớicác đáp án nhiễu hấp dẫn cần phải có quá trình nghiên cứu nghiêm túc Bên cạnh đó, để khaithác tối đa và hiệu quả hết các tính năng của phần mềm IATA cũng như nắm được nhiềuthông tin nâng cao hơn về ĐKT cũng như đánh giá đúng năng lực thực sự của HS, chúng tacần có những nghiên cứu chuyên sâu, chi tiết và quy mô hơn

Do công trình nghiên cứu có giới hạn, nên việc thực nghiệm chưa thực sự mang tínhquy mô lớn Tuy nhiên, các kết quả thực nghiệm cho thấy giả thuyết khoa học của vấn đềnghiên cứu đã được kiểm nghiệm và bước đầu có các kết quả khả quan về việc thẩm địnhchất lượng câu hỏi ĐKT trắc nghiệm khách quan và đánh giá năng lực thực sự của HS dưới

sự hỗ trợ của phần mềm IATA và Excel

Tóm lại, nhờ vào phần mềm kiểm định và phân tích câu hỏi IATA đã cung cấp chochúng tôi công cụ để đánh giá học tập của HS một cách có cơ sở, khoa học hơn Từ đó đánhgiá đúng năng lực của HS, hoạt động này mang một ý nghĩa quan trọng góp phần tích cực

21

STT ID HS Tổng số câu đúng kiểm tra (%) Điểm bài

Điểm năng lực thực sự của HS (TrueScore)

trong quá trình học tập của HS cũng như biên soạn ĐKT một cách khoa học, khách quan, hợp

lý nhất trong quá trình dạy học của GV

TÀI LIỆU THAM KHẢO Tiếng việt

[11\* MERGEFORMAT ] Bộ Giáo dục và Đào tạo (2009), Hướng dẫn thực hiện chuẩn

kiến thức kĩ năng môn Toán - lớp 12, NXB Giáo dục, Hà Nội.

[22\* MERGEFORMAT ] Bộ Giáo dục và Đào tạo (2010), Hướng dẫn biên soạn đề kiểm

tra, Công văn số 8773/BGDĐT-GDTrH, Hà Nội.

[33\* MERGEFORMAT ] Bộ Giáo dục và Đào tạo (2017), Hướng dẫn thực hiện Quy chế

thi THPT quốc gia và xét công nhận tốt nghiệp THPT năm 2017, Công văn số Số

417/BGDĐT-KTKĐCLGD, Hà Nội

[4] Trần Thị Anh Đào (2008), Sử dụng phần mềm Quest để phân tích câu hỏi trắc nghiệm

dùng trong kiểm tra đánh giá kết quả học tập ở học sinh lớp 10, Tuyển tập Báo cáo Hội

nghị Sinh viên Nghiên cứu Khoa học lần thứ 6 Đại học Đà Nẵng, ngày 28/5/2008, Đà nẵng,237-250

[5] Đặng Thị Hương (2012), Xây dựng hệ thống câu hỏi trắc nghiệm khách quan chương

động học chất điểm với sự hỗ trợ của phần mềm Vitesta, (Tuyển tập Báo cáo Hội nghị Sinh

viên Nghiênn cứu Khoa học lần thứ 8 Đại học Đà Nẵng), Hội nghị Sinh viên Nghiên cứuKhoa học lần thứ 8, ngày 22/05/2012, Đại học Đà Nẵng, Đà Nẵng, 21 – 32

[6] Lê Ngọc và Đào Thị Trang (2017), Áp dụng phần mềm IATA để phân tích, đánh giá đề

thi trắc nghiệm khách quan môn Toán cao cấp A1, Kỷ yếu hội thảo Dạy học Toán và Đào

[7] Lâm Quang Thiệp (2011), Đo lường trong giáo dục – Lý thuyết và ứng dụng, NXB Đại

học Sư phạm, Hà Nội

Tiếng Anh

[8] Sudol, L.A and Studer, C (2010), March Analyzing test items: using itemresponse

theory to validate assessments, In Proceedings of the 41st ACM technical symposium on

Computer science education (SIGCSE 1010), March 10 – 13, 2010Linacre, J.M, 1994 Sample Size and Item

[9] Finch, W.H and French, B.F (2019), Educational and Psychological Measurement,Routledge, New York and LonDon

[10] Birnbaum, A (1968), “Some latent trait models and their use in inferring anexaminee’s ability”, Statistical theory of Mental test scores, Reading: Addison Wesley, 395-

[13] Rasch, G (1960), Probabilistic Models for some Intelligence and Attainment Tests,Copenhagen, Denmark

[14] OECD (2002), Definition and Selection of Competencies: Theoretical and ConceptualFoundation

23

PHỤC LỤC I ĐỀ KIỂM TRA CHƯƠNG NGUYÊN - HÀM TÍCH PHÂN VÀ ỨNG DỤNG

Mức độ nhận biết (7 câu – 23,3%)

Chủ đề 1: Nguyên hàm ( 2 câu)

Câu 1 Mệnh đề nào sau đây là đúng?

A Hàm số y x có nguyên hàm trên khoảng    ; 

Dựa vào định lí: Mọi hàm số liên tục trên K đều có nguyên hàm trên K

Vì y x liên tục trên khoảng    nên có nguyên hàm trên khoảng ;    ; .

Phân tích

 Phương án nhiễu B dự đoán HS vận dụng sai công thức lấy nguyên hàm của

 Phương án nhiễu C dự đoán HS nhầm lẫn với công thức tính đạo hàm của ln x

 Phương án nhiễu D dự đoán HS quên xác định điều kiện của hàm số

x có nguyên hàm trên khoảng    ; .

Câu 2.Mệnh đề nào dưới đây đúng?

 Phương án nhiễu A dự đoán HS quên dấu giá trị tuyệt đối của ax b  .

 Phương án nhiễu C dự đoán HS nhầm lẫn với công thức tính đạo hàm của 1

 Phương án nhiễu D dự đoán HS nhầm lẫn với công thức tính đạo hàm của a x

 Phương án nhiễu A dự đoán HS thấy biến số của hai tích phân khác nhau nên cho

rằng hai tích phân đó khác nhau

 Phương án nhiễu C dự đoán HS thấy dấu trừ trước tích phân ở vế phải nên cho rằng

hai tích phân đó khác nhau

 Phương án nhiễu D dự đoán HS thấy hệ số 2 trước tích phân ở vế trái nên cho rằng

 Phương án nhiễu A dự đoán HS nhầm lẫn dấu củag x 

 Phương án nhiễu B dự đoán HS nhầm lẫn dấu giữa

 Phương án nhiễu C dự đoán HS nhầm lẫn dấu của f x và dấu của   g x  

Chủ đề 3: Ứng dụng của tích phân ( 3 câu)

Câu 5 Cho hàm số yf x liên tục trên   a b Diện tích hình phẳng S giới hạn bởi ; 

đường cong yf x trục hoành và các đường thẳng  , x a x b a b được xác định  ,    bởi công thức nào sau đây?

 Phướng án nhiễu B dự đoán HS hiểu sai dấu giá trị tuyệt đối của công thức.

 Phướng án nhiễu C dự đoán HS nhầm lẫn ví trí của cận , .a b

 Phương án nhiễu D dự đoán HS quên dấu giá trị tuyết đối của f x 

Câu 6.Cho đồ thị hàm số yf x như hình dưới đây 

Diện tích S của hình phẳng (phần tô đậm trong hình) được tính theo công thức nào sau đây?

Câu 7 Cho hình phẳng như hình dưới (phần tô đậm) quay quanh trục hoành Thể tích khối

tròn xoay tạo thành được tính theo công thức nào sau đây?

 Phương án nhiễu A dự đoán HS quên hằng số .

 Phương án nhiễu C dự đoán HS quên bình phương f x và   g x 

 Phương án nhiễu D dự đoán HS nhẫm lẫn  f 2 x  g x2 

e x x e x C để lấy nguyên hàm của e2 3 xd x

 Phương án nhiễu C dự đoán HS nhầm lẫn với công thức tính đạo hàm của e2 3 x, dẫn đến HS cho rằng

Áp dụng công thức cosax b x d 1asinax b  C.

Khi đó   d cos5 d 1sin 5

5 x khi lấy nguyên hàm củacos5 d ,

 Phương án nhiễu D dự đoán HS nhầm lẫn với công thức tính đạo hàm của cos5 ,x

dẫn đến HS cho rằng f x  dxcos5 dx x5sin 5x C

Câu 10 Tìm nguyên hàm của hàm số   cos d

Do đó  d cos d 2 sin 2 sin d 2 sin 4cos

Do đó  d cos d sin sin d sin cos

Do đó  d cos d 2 sin 2 sin d 2 sin 4cos

d





b x

Khẳng định nào đúng?