Xây dựng bộ câu hỏi chuẩn hóa trắc nghiệm khách quan kỹ năng đọc hiểu cấp độ 3 theo khung năng lực ngoại ngữ việt nam tại học viện an ninh

LỜI CAM ĐOAN Tôi xin cam đoan luận văn với tiêu đề“Xây dựng bộ câu hỏi chuẩn hóa trắc nghiệm khách quan kỹ năng Đọc hiểu cấp độ 3 theo Khung năng lực ngoại ngữ Việt Nam tại Học viện An n

ĐẠI HỌC QUỐC GIA HÀ NỘI

TRƯỜNG ĐẠI HỌC GIÁO DỤC

NGUYỄN THỊ BẮC

XÂY DỰNG BỘ CÂU HỎI CHUẨN HÓA TRẮC NGHIỆM KHÁCH QUAN KỸ NĂNG ĐỌC HIỂU CẤP ĐỘ 3 THEO KHUNG NĂNG LỰC NGOẠI NGỮ VIỆT NAM TẠI HỌC VIỆN AN NINH

LUẬN VĂN THẠC SĨ NGÀNH

ĐO LƯỜNG VÀ ĐÁNH GIÁ TRONG GIÁO DỤC

HÀ NỘI – 2017

ĐẠI HỌC QUỐC GIA HÀ NỘI

TRƯỜNG ĐẠI HỌC GIÁO DỤC

NGUYỄN THỊ BẮC

XÂY DỰNG BỘ CÂU HỎI CHUẨN HÓA TRẮC NGHIỆM KHÁCH QUAN

KỸ NĂNG ĐỌC HIỂU CẤP ĐỘ 3 THEO KHUNG NĂNG LỰC NGOẠI

NGỮ VIỆT NAM TẠI HỌC VIỆN AN NINH

LUẬN VĂN THẠC SĨ NGÀNH ĐO LƯỜNG VÀ ĐÁNH GIÁ TRONG GIÁO DỤC

CHUYÊN NGÀNH: ĐO LƯỜNG VÀ ĐÁNH GIÁ TRONG GIÁO DỤC

Mã số: 60140120

Người hướng dẫn khoa học: Tiến sĩ Tô Thị Thu Hương

HÀ NỘI – 2017

LỜI CAM ĐOAN

Tôi xin cam đoan luận văn với tiêu đề“Xây dựng bộ câu hỏi chuẩn hóa trắc nghiệm khách quan kỹ năng Đọc hiểu cấp độ 3 theo Khung năng lực ngoại ngữ Việt Nam tại Học viện An ninh nhân dân" hoàn toàn là kết quả nghiên cứu

của cá nhân tôi và kết quả của đề tài chưa được công bố ở bất kỳ công trình nghiên cứu của người khác Các số liệu, kết quả được trình bày trong luận văn

là sản phẩm nghiên cứu của cá nhân tôi Các thông tin tham khảo đều được trích dẫn rõ nguồn gốc theo đúng quy định

Tôi xin chịu trách nhiệm về tính trung thực của số liệu và các nội dung khác trong luận văn của mình

Hà Nội, ngày 10 tháng 11 năm 2016

Tác giả luận văn (Ký và ghi rõ họ tên)

Nguyễn Thị Bắc

Trong quá trình hoàn thành luận văn mặc dù đã cố gắng rất nhiều, tuy nhiên do khả năng, kiến thức còn hạn hẹp nên không tránh khỏi sai sót, hạn chế

do đó em rất mong tiếp tục nhận đƣợc sự góp ý, tƣ vấn để hoàn thiện hơn bản luận văn này cũng nhƣ trong các công trình nghiên cứu khoa học tiếp theo

Hà Nội, ngày 10 tháng 11 năm 2016

Học viên

Nguyễn Thị Bắc

DANH MỤC CÁC KÝ HIỆU, CÁC CHỮ VIẾT TẮT

DANH MỤC CÁC BẢNG

Bảng 1.1: So sánh 2 loại tiếp cận cơ bản trong thiết kế đề thi (nguồn NormanEGronlund ) 4

Bảng 1.2: Báng phán bổ xác suất tự nhiên trong câu hỏi dạng MCQ 8

Bảng 1.5 Bảng tóm tắt các mức nhận thức theo quan niệm của Bloom 20

Bảng 1.6 Bảng mô tả kỹ năng đọc cấp độ 3 theo Khung NLNN 6 bậc 32

Bảng 1.7 Bảng mô tả mức độ tương thích giữa Khung CEFR và Khung NLNNVN 33

Bảng 2.8 Bảng mô tả dạng thức đề thi B1 áp dụng tại HVAN 38

Bảng 2.9 Bảng mô tả nội dung kiểm tra của từng phần trong đề thi 39

Bảng 2.11 Bảng mô tả ma trận nhận thức theo Bloom 41

Bảng 2.12 Bảng hỏi tham khảo ý kiến giảng viên về bộ câu hỏi trắc nghiệm và đề thi 46

Bảng 3.21: Bảng thống kê các câu có độ phân biệt kém 56

Bảng 3.22: Bảng thống kê các phương án sai kém chất lượng 56

Bảng 3.23: Thống kê kết quả phân tích câu hỏi thử nghiệm lần thứ hai 61

Bảng 3.24: Bảng thống kê độ khó các câu hỏi trong đề thi 01 61

Bảng 3.25: Các phương án sai không hấp dẫn đề thi 01 63

Bảng 3.26: Độ phân biệt của câu hỏi thi trong đề thi đề thi 01 64

Bảng 3.27: Hệ số tương quan giữa điểm của câu hỏi thi với điểm toàn bài thi

Bảng 3.28: Sự phù hợp của câu hỏi thi với mô hình Rasch đề thi 01 66

Bảng 3.29 Thống kê những câu hỏi đạt/chưa đạt chất lượng

79

DANH MỤC CÁC SƠ ĐỒ, BIỂU ĐỒ, MÔ HÌNH

Sơ đồ 1.1: Mối quan hệ giữa Kiểm tra, Đo lường và Đánh giá 5

Sơ đồ 1.2: Quy trình xây dựng bộ câu hỏi trắc nghiệm khách quan 12

Hình 1.3: Mô hình đơn giản về vai trò của kiểm tra phân tích trình độ học sinh(nguồn Norman E Gronlund) 21 Hình 1.4: Mô hình đơn giản của bài kiểm tra tiến độ(nguồn Norman E Gronlund) 23

Hình 1.5: Mô hình đơn giản của bài kiểm tra cuối quá trình đào tạo(nguồn Norman E

Gronlund)

24

Hình 1.8 Sơ đồ các yếu tố của quá trình hiểu văn bản 30

Biểu đồ 3.13: Biểu đồ phân bố độ phân biệt Part 1 54

Sơ đồ 3.17: Sự phù hợp của câu hỏi thi với mô hình Rasch đề thi 01 67

Biểu đồ 3.18 Biểu đồ phân bố độ khó câu hỏi thi và năng lực thí sinh đề thi 01 67

4 Câu hỏi nghiên cứu, giả thuyết nghiên cứu của đề tài xi

5 Khách thể nghiên cứu và đối tƣợng nghiên cứu xii

1.2.1 Một số khái niệm về đo lường và đánh giá trong giáo dục 3

1.2.2Quy trình thiết kế câu hỏi TNKQ kỹ năng đọc hiểu tiếng Anh cấp độ 3 theo Khung NLNN Việt Nam

10

1.3.2 Vị trí vai trò của phân tích câu hỏi thi 14

1.4.3.Chất lượng của các phương án sai (phương án sai) 16

1.4.5 Hệ số tương quan giữa điểm của câu hỏi thi với điểm toàn bài thi 17

1.5 Phân loại các mục tiêu dạy học và các mức độ của lĩnh vực nhận thức

17

CHƯƠNG 2: PHƯƠNG PHÁP NGHIÊN CỨU

2.1 Chương trình tiếng Anh cấp độ B1 tại Học viện An ninh

35

2.4 Phân bố nội dungkiểm tra và ma trận bài thi kỹ năng Đọc hiểu tiếng Anh bậc 3 theo Khung NLNN Việt Nam

39

3.2 Phân tích đề thi

3.2.1 Độ khó của câu hỏi thi

61

3.2.3 Chất lượng của các phương án sai (phương án sai) 63

3.2.5 Hệ số tương quan giữa điểm của câu hỏi thi với điểm toàn bài thi 65

3.2.7 Sơ đồ phân bố độ khó câu hỏi thi và năng lực thí sinh 66

MỞ ĐẦU

1 Lý do chọn đề tài

Căn cứ Quyết định số 1400/QĐ-TTG ngày 30 tháng 9 năm 2008 về việc phê duyệt Đề án “Dạy và học ngoại ngữ trong hệ thống giáo dục quốc dân giai đoạn 2008 – 2020”, việc dạy và học tiếng Anh đã được xác định đóng một vai trò quan trọng trong sự nghiệp giáo dục “Đổi mới toàn diện dạy và học ngoại ngữ trong hệ thống giáo dục quốc dân, triển khai chương trình dạy và học ngoại ngữ mới ở các cấp học, trình độ đào tạo nhằm đến năm 2015 đạt được một bước tiến rõ rệt về trình độ, năng lực sử dụng ngoại ngữ của nguồn nhân lực nhất là đối với một số lĩnh vực ưu tiên; đến năm 2020 đa số thanh niên Việt Nam tốt nghiệp Trung cấp, Cao đẳng và Đại học có đủ năng lực ngoại ngữ sử dụng độc lập, tự tin trong giao tiếp, học tập, làm việc trong môi trường hội nhập, đa ngôn ngữ, đa văn hóa; biến ngoại ngữ trở thành thế mạnh của người dân Việt Nam, phục vụ sự nghiệp công nghiệp hóa, hiện đại hóa đất nước.”; Căn cứ Quyết định

số 43/2007/QĐ-BGDĐT của Bộ trưởng Bộ Giáo dục và Đào tạo quy định đào tạo theo hình thức tín chỉ thì sinh viên là trung tâm, ngoài kiến thức giảng viên truyền đạt trên lớp thì sinh viên phải tự học, tự nghiên cứu thêm tài liệu Việc tự học của sinh viên giữ vai trò vô cùng quan trọng trong quá trình học đại học, là nhân tố trực tiếp nâng cao chất lượng đào tạo ở các trường đại học Bên cạnh đó còn góp phần nâng cao hoạt động trí tuệ của sinh viên trong việc tiếp thu và hiểu tri thức mới, rèn luyện cho sinh viên có cách suy nghĩ, giải quyết các vấn

đề khó khăn một cách độc lập, giúp sinh viên tự tin hơn trong việc lựa chọn cuộc sống của mình, và thúc đẩy lòng ham học, ham hiểu biết, vươn tới đỉnh cao của khoa học, sống có hoài bão, có ước mơ Sinh viên tự học có thể chủ động được quỹ thời gian, có thể học bất cứ lúc nào Thêm nữa, việc tự học còn nâng cao tinh thần trách nhiệm trong công tác, làm việc theo nhóm, nâng cao tính sáng tạo trong tư duy và linh hoạt nhạy bén trong suy nghĩ, rèn luyện kỹ năng phân tích tình hình và đưa ra quyết định, đây là một yếu tố cần và đủ để

sau này khi rời khỏi ghế nhà trường sinh viên sẽ không bỡ ngỡ khi làm việc ở môi trường thực tế

Qua khảo sát sơ bộ của người nghiên cứu tại các trường Công an nhân dân cho thấy hiện nay tình trạng tự học nói chung và ngoại ngữnói riêng của sinh viên chưa phát huy được hiệu quả, sinh viên thiếu kiến thức tiếng Anh cơ bản cũng như chuyên ngành phục vụ chuẩn đầu vào và đạt chuẩn đầu ra về ngoại ngữ cụ thể là môn tiếng Anh đang chiếm tỉ lệ rất cao mặc dù đã có nhiều đổi mới trong phương pháp dạy và học ở cáchọc viện, đại học và cao đẳng trong ngành Công an

Đây cũng là thực trạng mà sinh viên HVAN đang phải đối mặt, qua khảo sát tại trường, tỷ lệ sinh viên theo chuẩn đầu ra phải có trình độ tiếng Anh cấp

độ 3 (B1) theo Khung năng lực ngoại ngữ Việt Nam không đạt chuẩn cũng như các học phần tiếng Anh trong chương trình đào tạo còn chiếm tỷ lệ cao 45%1

, sinh viên phải học và thi đi thi lại nhiều lần, gây tâm lý nặng nề, ám ảnh và áp lực không hề nhỏ tới sinh viên Do đặc thù của ngành, ngoài thời gian học tập trên lớp, sinh viên HVAN phải tham gia rất nhiều các hoạt động rèn luyện ngoài giờ khác như: tập điều lệnh, tập võ, lao động nghĩa vụ….Hơn nữa theo quy định đào tạo đại học chính quy theo hình thức tín chỉ thời gian tự học chiếm tỉ lệ lớn

do đó sinh viên rất cần nguồn tư liệu tham khảo sẵn có phong phú, đa dạng dễ dàng tiếp cận trong quá trình tự học, ôn luyện chủ động lĩnh hội kiến thức, xây dựng ý thức học tập suốt đời

Ngoài ra, thông tư ban hành Khung năng lực ngoại ngữ Việt Nam cũng mới được Bộ Giáo dục và Đào tạo ban hành năm 2014 và HVAN áp dụng Thông tư này cho việc đánh giá năng lực ngoại ngữ theo chuẩn đầu vào và chuẩn đầu ra các hệ, loại, đối tượng đào tạo tại Học viện vì vậy những tài liệu tham khảo, các bộ câu hỏi đã được chuẩn hóa và tương ứng phù hợp với bảng

1

nguồn từ Trung tâm Ngoại ngữ, Tin học-HVAN

mô tả từng cấp độ theo Khung năng lực ngoại ngữ Việt Nam trên thị trường hầu như chưa có, còn tại HVAN cũng chưa có bất kỳ nguồn tài liệu nào như trên

Là giáo viên giảng dạy tiếng Anh tại Trung tâm Ngoại ngữ, Tin học đồng thời cũng là cán bộ của phòng Khảo thí và Đảm bảo chất lượng đào tạo - HVAN, đứng trước những câu hỏi, trăn trở của các em sinh viên làm sao tìm cách học, ôn thi và thi chứng chỉ tiếng Anh cấp độ 3 (B1 theo CEFR)hiệu quả

nhất trong thời gian ngắn nhất, tôi lựa chọn đề tài “Xây dựng bộ câu hỏi chuẩn hóa trắc nghiệm khách quan kỹ năng Đọc hiểu cấp độ 3 theo Khung năng lực ngoại ngữ Việt Nam tại Học viện An ninh nhân dân"

Kết quả nghiên cứu của luận văn sẽ là một nguồn tài liệu đã được chuẩn hóa theo lý thuyết đo lường, đánh giá hiện đại để giảng viên sử dụng đánh giá trong lớp học và giúp sinh viên tự ôn luyện kỹ năng Đọc hiểu tiếng Anh hiệu quả đáp ứng chuẩn đầu ra cấp độ 3 (B1) theo Khung NLNN Việt Nam, đồng thời là nguồn bổ sung vào ngân hàng câu hỏi trắc nghiệm khách quan môn tiếng Anh mà HVAN đang triển khai xây dựng

2 Mục đích nghiên cứu của đề tài

Nghiên cứu xây dựng 180 câu hỏi TNKQ kỹ năng Đọc hiểu môn tiếng Anh cấp độ 3 (B1) theo Khung NLNN Việt Nam

3 Giới hạn, phạm vi nghiên cứu

Đề tài nghiên cứu, xây dựng bộ câu hỏiTNKQ nhiều lựa chọn phục vụ việc ôn luyện và thi kỹ năng Đọc hiểu môn tiếng Anh cấp độ 3 (B1) theo Khung NLNN Việt Nam cho những hệ, loại, đối tượng đào tạo tại HVAN phải đạt chuẩn trình độ tiếng Anh bậc 3 (B1) theo Khung NLNN Việt Nam

4 Câu hỏi nghiên cứu, giả thuyết nghiên cứu của đề tài

4.1 Câu hỏi nghiên cứu

- Cơ sở khoa học để xây dựng bộ câu hỏi chuẩn hóa TNKQ kỹ năng Đọc hiểu môn tiếng Anh cấp độ 3 (B1) theo Khung NLNN Việt Nam là gì?

- Kết quả thử nghiệm bộ câu hỏi trắc nghiệm và đề thi như thế nào?

4.2 Giả thuyết nghiên cứu

- Việc xây dựng, thử nghiệm và phân tích câu hỏi TNKQ kỹ năng đọc hiểu môn tiếng Anh dựa trên cơ sở khoa học đo lường đánh giá sẽ góp phần xây dựng được ngân hàng câu hỏi thi

- Có thể sử dụng bộ câu hỏi này để xây dựng đề kiểm tra đánh giá quá trình và đề thi cấp chứng chỉ B1 tại HVAN

5 Khách thể nghiên cứu và đối tượng nghiên cứu

5.1 Khách thể nghiên cứu

Sinh viên hệ cao học, liên thông tại HVAN phải đạt chuẩn đầu ra môn tiếng Anh cấp độ 3 theo Khung NLNN Việt Nam

5.2 Đối tượng nghiên cứu

Cơ sở khoa học và quy trình xây dựng bộ câu hỏi chuẩn hóa TNKQ và đề thi kỹ năng Đọc hiểu môn tiếng Anh cấp độ 3 theo Khung NLNN Việt Nam

6 Phương pháp nghiên cứu

6.1 Nghiên cứu lý thuyết

- Nghiên cứu văn bản của Bộ Giáo dục và Đào tạo, Bộ Công an và HVAN về đào tạo đại học theo hình thức tín chỉ, quy định chuẩn ngoại ngữ tại Học viện, Khung NLNN Việt Nam, quy định về dạng thức đề thi cấp độ 3 theo khung tham chiếu chung châu Âu và Việt Nam

- Nghiên cứu các tài liệu về đo lường, đánh giá trong giáo dục liên quan tới vấn đề nghiên cứu

- Nghiên cứu các Chương trình đào tạo, Đề cương chi tiết môn học, giáo trình, tài liệu tham khảo môn tiếng Anh của HVAN

6.2 Nghiên cứu thực nghiệm

- Quan sát: quan sát quá trình tự học, phương tiện và trang thiết bị hỗ trợ việc tự học, quá trình thử nghiệm xây dựng bộ câu hỏi chuẩn hóa TNKQ

- Thực nghiệm: cung cấp thêm một phương tiện và nguồn tài liệu tham khảo trong quá trình tự học cho sinh viên thông qua việc thiết kế và thử nghiệm công cụ đánh giá: thiết kế câu hỏi TNKQ, đề kiểm tra TNKQ, đánh giá câu hỏi TNKQ

- Phân tích và tổng kết kinh nghiệm

- Phương pháp chuyên gia: tiếp thu ý kiến của các chuyên gia, đồng nghiệp, sinh viên trong quá trình thiết kế, thử nghiệm, phân tích, đánh giá câu hỏi TNKQ

6.3 Phương pháp thống kê toán học

- Sử dụng phần mềm SPSS phân tích số liệu thống kê mô tả

- Sử dụng phần mềm chuyên dụng Quest phân tích các thông số kỹ thuật của bộ câu hỏi như độ khó, độ phân biệt, độ tin cậy…

7 Bố cục của luận văn

Ngoài phần Mở đầu, các phụ lục và danh mục tài liệu tham khảo, luận văn gồm 3 chương:

Chương 1: Cơ sở lý luận và tổng quan nghiên cứu

Chương 2: Phương pháp nghiên cứu

Chương 3: Kết quả nghiên cứu và khuyến nghị

CHƯƠNG 1

CƠ SỞ LÍ LUẬN VÀ TỔNG QUAN NGHIÊN CỨU 1.1 Tổng quan tình hình nghiên cứu

1.1.1 Tình hình nghiên cứu tại Việt Nam

Nội dung, quy trình xây dựng bộ câu hỏi chuẩn hóa TNKQ hoàn toàn giống như xây dựng ngân hàng câu hỏi trắc nghiệm khách quan do vậy đề tài liên quan đến xây dựng hoặc đánh giá ngân hàng câu hỏi cũng đã được nhiều học viên nghiên cứu, ứng dụng như đề tài: “Nghiên cứu, xây dựng ngân hàng câu hỏi trắc nghiệm khách quan dùng để kiểm tra đánh giá kết quả học tập môn Toán lớp 12 tại trường THPT Bến Tre, Vĩnh Phúc” của học viên Tạ Thị Thu Hiền, 2008 hoặc đề tài "Góp phần nghiên cứu, xây dựng ngân hàng câu hỏi trắc nghiệm khách quan dùng để kiểm tra đánh giá môn Hóa học 12 ban KHTN trường THPT Yên Lạc II-tỉnh Vĩnh phúc" của học viên PhạmThị Thủy, 2008 hay đề tài "Đánh giá chất lượng thư viện câu hỏi trắc nghiệm khách quan môn giải phẫu sinh lý tại trường cao đẳng y tế Phú Thọ" của học viên Nguyễn Thị Hòa, 2014 …Các đề tài này đều đề xuất được các bước tiến hành xây dựng câu hỏi thi và ngân hàng câu hỏi thi của từng môn học khác nhau thông qua nghiên cứu, ứng dụng lý thuyết khảo thí cổ điển và hiện đại Tuy nhiên việc xây dựng

bộ câu hỏi chuẩn hóa dùng để tự ôn luyện cũng như kiểm tra đánh giá kỹ năng đọc hiểu tiếng Anh tương đương cấp độ 3 theo Khung NLNN Việt Nam (B1 theo CEFR) thì dường như chưa được đề cập, nghiên cứu

1 1.2 Tình hình nghiên cứu ở nước ngoài

Trên thế giới có rất nhiều nghiên cứu về việc học ngoại ngữ từ rất lâu đời Nằm trong những nghiên cứu về năng lực và kiểm tra đánh giá là nghiên cứu của Bachman (1990); Boddy và Langham (2000) Trong đó, các tác giả đề cập đến thành phần năng lực của ngôn ngữ, bao gồm: năng lực tổ chức sử dụng cấu trúc ngữ pháp và ngôn từ; và năng lực ngữ dụng và ngôn ngữ trong giao tiếp xã hội Cụ thể hơn, năng lực ngôn ngữ được định nghĩa như là một cụm các thành

tố được sử dụng trong giao tiếp thông qua ngôn ngữ, đồng thời một lần nữa tái khẳng định tác động của hình thức kiểm tra đánh giá với kết quả và quá trình học tập

Trong các cuốn sách như “Materials for the guidance of test item writers”của Hiệp hội các đơn vị khảo thí châu Âu (ALTE) năm 1995; “A Short Guide to Writing Effective Test Questions” của tác giả Ben Clay năm 2001;

“Constructing achievement tests” của Norman E Gronlund (1982)…các tác giả nghiên cứu và đưa ra những hướng dẫn, lời khuyên hữu ích về viết câu hỏi thi nói chung cũng như cách viết các dạng câu hỏi TNKQ khác nhau trong tiếng Anh như dạng câu hỏi nhiều lựa chọn (multiple choices), câu hỏi Đúng – Sai (True-False), điền khuyết (cloze items), Nối (Matching)…

Đặc biệt trong công trình nghiên cứu khoa học "An empirical investigation of the process of writing Academic Reading test items for the International English Language Testing System", hai tác giả Anthony Green và

Roger Hawkey (2007) đã mô tả và phân tích chi tiết quá trình 02 nhóm viết câu hỏi thi kỹ năng đọc hiểu cho bài thi IELTS của ETS Một nhóm bao gồm các chuyên gia viết câu hỏi thi dày dặn kinh nghiệm, nhóm kia là các giáo viên giảng dạy tiếng Anh, có kinh nghiệm ôn luyện IELTS Tác giả so sánh và phân tích tỉ mỉ, khoa học sự khác nhau giữa hai nhóm trong nguồn tìm bài đọc, lựa chọn văn bản, cắt, chỉnh sửa văn bản, thời gian hoàn thành, những điểm mạnh điểm yếu, chất lượng các câu hỏi thi…Đây là nguồn tài liệu tham khảo có giá trị thực tiễn đối với giáo viên cũng như người viết câu hỏi thi

Tóm lược lại, các nghiên cứu ở trong và ngoài nước đều đã đề cập đến nhiều khía cạnh của việc học, đánh giá môn ngoại ngữ cũng như việc xây dựng

đề thi TNKQ Tuy nhiên, chưa có một đề tài nào nghiên cứu về xây dựng bộ câu hỏi chuẩn hóa kỹ năng đọc hiểu cấp độ 3 theo Khung NLNN của Việt Nam do

đó, trong luận văn này, tác giả muốn đi sâu nghiên cứu, xây dựng bộ câu hỏi chuẩn hóa kỹ năng đọc hiểu tiếng Anh áp dụng cho các đối tượng sinh viên tại

HVAN phải đạt chuẩn ngoại ngữ là cấp độ 3 theo Khung NLNN Việt Nam, kết quả nghiên cứu sẽ là tài liệu cho giáo viên sử dụng để kiểm tra thường xuyên và định kỳ trên lớp, sinh viên sử dụng để tự ôn luyện làm quen với dạng thức bài thi thật nhằm đạt được kết quả cao nhất trong kỳ thi cấp chứng chỉ theo chuẩn

do Học viện tổ chức và cũng là nguồn câu hỏi bổ sung vào ngân hàng câu hỏi TNKQ môn tiếng Anh hiện Học viện đang trong quá trình triển khai xây dựng

1.2 Lý thuyết về đo lường và đánh giá trong giáo dục

1.2.1 Một số khái niệm về đo lường và đánh giá trong giáo dục

Trong các khâu của quá trình dạy học thì kiểm tra đánh giá kết quả học tập là một khâu quan trọng trong quá trình đào tạo, là một kênh giúp định lượng được một khái niệm mang tính định tính là chất lượng đào tạo, giúp người học

và các bên liên quan biết được người học và người dạy đang ở mức độ nào Kiểm tra đánh giáđưa ra điểm số và kết luận về trình độ của người học từ đó có những cải tiến, điều chỉnh cho phù hợp để đạt được mục tiêu đào tạo đề ra ban đầu ngoài ra điều quan trọng hơn là kiểm tra đánh giá phải khuyến khích, động viên người học và cung cấp thông tin điều chỉnh quá trình dạy - học nhằm giúp cho người học đạt được kết quả tốt hơn cả dự kiến ban đầu

- Đo lường (Measurement): Theo Nitko và Brookhart (2007) đo lường trong giáo dục là một thủ pháp gán điểm số (cho điểm) cho một thuộc tính/đặc tính, đặc điểm cụ thể nào đó, theo một cách thức mà điểm số mô tả/biểu hiện được mức độ một cá nhân sở hữu đặc tính hoặc đặc điểm đó Còn theo Peter W Airasian (1997) đo lường là quá trình xác định số lượng hoặc gán một con số cho việc thể hiện kỹ năng Nguyễn Công Khanh (trường Đại học Sư phạm Hà nội) đã khái quát đo lường liên quan đến việc sử dụng các con số vào quá trình lượng hóa các sự kiện, hiện tượng hay thuộc tính

Đo lường trong khoa học giáo dục sử dụng hai loại tham chiếu: tham chiếu theo chuẩn (norm reference) và tham chiếu theo tiêu chí (criterion

reference) Tham chiếu theo chuẩn được hiểu là so sánh kết quả của người này với người khác còn tham chiếu theo tiêu chí là so kết quả đạt được của thí sinh với mục tiêu, yêu cầu của môn học

Bảng 1.1: So sánh 2 loại tiếp cận cơ bản trong thiết kế đề thi (nguồn NormanEGronlund )

THIẾT KẾ ĐỀ THI THEO KIỂU

Giải thích

kết quả So với kết quả các học sinh khác

So kết quả với chuẩn nội dung

cụ thể Nội dung

bao trùm Những kiến thức rộng Tập trung vào những nhiệm vụ học tập cụ thể

Bao gồm tất cả những câu hỏi cần thiết để miêu tả đầy đủ kiến thức, kỹ năng Không cố gắng tăng độ khó của câu hỏi hoặc

bỏ đi các câu hỏi dễ nhằm tăng

sự thay đổi về điểm số

- Kiểm tra (Testing): Theo Từ điển giáo dục, kiểm tra là bộ phận hợp thành của quá trình dạy - học nhằm nắm được thông tin về tình trạng và kết quả học tập của học sinh, về những nguyên nhân cơ bản của thực trạng đó để tìm ra những biện pháp khắc phục những lỗ hổng, đồng thời củng cố và tiếp tục nâng cao hiệu quả của hoạt động dạy - học Yêu cầu và nội dung kiểm tra phải bám sát từng giai đoạn học tập để không bỏ sót những điều cơ bản, đồng thời cũng không vượt qua phạm vi quy định của chương trình Theo Wikipedia, kiểm tra thường được thực hiện trên giấy hoặc trên máy tính để đo kiến thức, kỹ năng, năng khiếu…của người dự kiểm tra Qua các định nghĩa trên, Cấn Thị Thanh Hương (Đại học Quốc gia Hà nội) đã khái quát khái niệm kiểm tra được hiểu như sau: Kiểm tra là công việc nhằm đo hay xác định mức độ về kiến thức, kỹ năng và thái độ mà người học đạt được sau một quá trình học tập

- Đánh giá (Assessment): có nhiều định nghĩa khác nhau về khái niệm

"đánh giá" (assessment) tùy theo cách tiếp cận như đánh giá nói chung, đánh giá trong giáo dục, đánh giá trong dạy học và đánh giá kết quả học tập Trong dạy học, R.F.Marger định nghĩa "Đánh giá là việc miêu tả tình hình của học sinh và giáo viên để dự đoán công việc phải tiếp tục và giúp học sinh tiến bộ", còn theo Nguyễn Công Khanh (trường Đại học sư phạm Hà nội) thì cho rằng đánh giá trong giáo dục là một khái niệm rộng, nó liên quan đến quá trình thu thập thông tin và sử dụng các thông tin này để ra quyết định về đối tượng được đánh giá

- Lượng giá (Evaluation) là việc căn cứ vào kết quả của quá trình đo lường và đánh giá năng lực và phẩm chất của sản phẩm đào tạo để đưa ra những nhận định, kết luận và đề xuất các quyết định nhằm không ngừng nâng cao chất lượng đào tạo

Nội hàm của những khái niệm trên có những nét tương đồng, bổ trợ lẫn nhau đánh giá (assessment) bao gồm tất cả các hoạt động kiểm tra và đo lường,

mà muốn đo lường được thì phải thông qua kiểm Mối quan hệ này được thể hiện qua sơ đồ sau:

Đánh giá

Sơ đồ 1.1: Mối quan hệ giữa Kiểm tra, Đo lường và Đánh giá

- Trắc nghiệm khách quan: Theo Nitko và Brookhart (2007) trắc nghiệm

là một công cụ hoặc một thủ pháp có tính hệ thống cho việc quan sát và mô tả một hoặc một số đặc tính của một học sinh, sử dụng một thang đo được điểm hóa theo mức độ hoặc một sơ đồ phân loại theo tiêu chí Trắc nghiệm có thể làm

Đo lường

Kiểm tra

với từng học sinh hay một quốc gia Nguyễn Công Khanh (Đại học Sư phạm Hà nội) có cách giải thích như sau: Trắc nghiệm là một kiểu đo lường sử dụng những thủ pháp/những kỹ thuật cụ thể, có tính hệ thống nhằm thu thập thông tin

và chuyển những thông tin này thành các con số hoặc điểm để lượng hóa cái cần

đo

 Các loại trắc nghiệm khách quan

Một bài kiểm tra trắc nghiệm có thể có nhiều loại câu trắc nghiệm khác nhau, mỗi loại câu trắc nghiệm có ưu điểm, nhược điểm riêng và có ý nghĩa, mức độ đánh giá khác nhau Thông thường các loại câu trắc nghiệm sau được sử dụng kết hợp trong một bài kiểm tra Theo Lê Đức Ngọc trong Đo lường và Đánh giá thành quả học tập (2013) và một số học giả nước ngoài như Norman E Gronlund (1982), Ben Clay (2001)…thì một số loại trắc nghiệm cơ bản có những ưu, nhược điểm được phân tích như sau:

- Loại trắc nghiệm đúng-sai (True-False Items)

Câu đúng sai yêu cầu người được hỏi phải phán đoán đúng hay sai đối với một câu trần thuật hoặc một câu hỏi Loại câu hỏi này phù hợp nhất cho việc khảo sát trí nhớ những sự kiện hay nhận biết các sự kiện

Đối với nội dung câu đúng: mọi khía cạnh trong phát biểu, khẳng định phải đúng và phù hợp với tri thức khoa học (True)

Đối với nội dung câu sai: trong cùng một phát biểu, khẳng định có nhiều mệnh đề thì chỉ cần một nội dung hoặc một mệnh đề sai với khoa học thì toàn

bộ câu đó được hiểu là sai (False)

Ưu điểm là ra câu hỏi dễ dàng, ít mắc phải sai lầm, hình thức đơn giản, khách quan khi chấm điểm

Tuy nhiên, nhược điểm của loại này cũng rất nhiều: Khả năng đoán mò cao (50%), dễ lộ đáp án, có độ tin cậy thấp

* Nguyên tắc biên soạn câu đúng sai

- Nên lựa chọn hỏi nội dung quan trọng, cốt lõi của vấn đề chứ không phải hỏi về những chi tiết vụn vặt, không quan trọng

- Nên đặt câu hỏi để kiểm tra khả năng lý giải, chứ không đơn thuần là kiểm tra trí nhớ Không nên trích nguyên văn những câu từ sách giáo khoa, trong tài liệu giảng dạy, để tránh việc học sinh thuộc lòng sách máy móc Nên diễn đạt lại các điều đã học bằng từ ngữ và cấu trúc khác mà vẫn đảm bảo được mục tiêu cần khảo sát

- Trong một câu hỏi chỉ có thể hỏi một vấn đề hoặc một ý trọng tâm, không nên hỏi hai ý hoặc nửa câu đúng nửa câu sai

- Tránh sử dụng các từ ngữ có tính giới hạn đặc thù mang tính ám thị như

"nói chung", "đa số", "thường thường", "tất cả"…

- Trình bày câu hỏi thi đơn giản rõ ràng, không thể đúng sai lẫn lôn, ba phải, đúng sai lẫn lộn

- Tránh khuynh hướng dúng số câu đúng nhiều hơn số câu sai hay ngược lại trong bài thi Số câu đúng và số câu sai nên là tương đương Thứ tự của hai loại đó cần sắp xếp theo hình thức không cố định

- Tránh dùng các câu ở thể phủ định, nhất là thể phủ định kép

- Tránh để thí sinh đoán được câu trả lời đúng nhờ vào chiều dài của đáp

án Các câu trả lời đúng thường dài hơn các câu sai vì cần phải thêm các mệnh

đề điều kiện giới hạn cần thiết Do đó, khi biên soạn vấn đề này cần được lưu ý điều chỉnh sao cho các đáp án có độ dài tương đương nhau

- Loại trắc nghiệm điền khuyết (Completion Items)

Trắc nghiệm điền khuyết là hình thức các phát biểu, hoặc khẳng định chưa hoàn chỉnh khi còn chừa các khoảng trống Nhiệm của người làm bài là điền hoặc liệt kê một từ hoặc nhiều từ vào các khoảng trống bỏ lửng để nội dung của phát biểu đó đúng

- Ưu điểm: loại câu trắc nghiệm này có ưu điểm là phát huy khả năng ghi nhớ của học sinh Loại trừ khả năng đoán mò, dễ soạn

- Khuyết điểm: thường trích nguyên văn một hoặc nhiều câu trong tài liệu, nội dung kiểm tra của loại này thường rất hẹp, việc chấm bài thường không khách quan, tốn nhiều công sức

- Loại trắc nghiệm nhiều chọn lựa (Multỉple Choice Questỉon-MCQ)

MCQ yêu cầu người thi tùy ý lựa chọn đáp án chính xác trong một số đáp

án đưa ra được gọi là câu hỏi nhiều lựa chọn Về kết cấu loại trắc nghiệm này gồm có hai bộ phận cơ bản:

Phần dẫn: một phát biểu chính có thể là một câu hỏi, câu định hướng, một phát biểu bỏ lửng Phần dẫn là cơ sở của vấn đề nhằm giúp người trả lời hiểu được ý muốn hỏi, hoặc vấn đề cần giải quyết, hoặc phát biểu cần hoàn thiện Phần dẫn phải thể hiện một cách rõ ràng, ý nghĩa cụ thể

Phần lựa chọn: tương ứng với mỗi câu hỏi, mỗi định hướng ở phần dẫn sẽ

có một nhóm gồm nhiều câu trả lời, nhiều câu giải quyết vấn đềở phần lựa chọn Trong đó chỉ có một đáp án duy nhất đúng, các lựa chọn khác sẽ là “phương án sai”; phương án sai phải có tính hấp dẫn cao vì khi đọc lên có vẻ đúng đối với những thí sinh chưa nắm chắc được vấn đề, và sức hấp dẫn của phương án sai là một trong các yêu cầu của loại trắc nghiệm này Số lượng các lựa chọn có thể khác nhau và tối thiểu là 3, thông thường số lượng lựa chọn thường là 4

Ưu điểm: Loại trắc nghiệm này có độ giá trị cao hơn nhờ tính chất có thể

đo được nhiều loại tư duy khác nhau như nhớ, áp dụng, suy diễn, tổng quát….và

có độ tin cậy cao hơn, xác suất may rủi tự nhiên phụ thuộc số lượng chọn trả lời

Ta có bảng phân bố xác suất may rủi tự nhiên như sau:

Bảng 1.2: Báng phán bổ xác suất tự nhiên trong câu hỏi dạng MCQ

Số lựa chọn Xác suất may rủi tự nhiên

Với loại câu hỏi này thì khả năng phân biệt năng lực nhận thức của học sinh là rất tốt, có thể dùng để đánh giá năng lực học tập của một số lượng thí sinh rất đông, tiết kiệm được thời gian, công sức và kinh phí vì có thể sử dụng máy chấm bài Và một ưu điểm nổi bật của câu hỏi trắc nghiệm là khách quan khi chấm vì không phụ thuộc nhiều vào người chấm

Nhược điểm: Khó soạn câu hỏi vì đòi hỏi kinh nghiệm, khả năng và mất rất nhiều thời gian, công sức mới có thể viết được những câu hỏi hay, theo đúng quy trình và kỹ thuật Ngoài ra, câu hỏi dạng này dễ lộ đáp án do cố gắng diễn đạt cho đúng trong đáp án được lựa chọn là "key" hoặc các “phương án sai” không có tính hấp dẫn cao Các câu MQC có thể không đo được khả năng giải quyết vấn đề khéo léo hoặc khả năng phán đoán tinh vi của thí sinh

* Nguyên tắc biên soạn câu nhiều lựa chọn

- Câu dẫn của câu hỏi nên mang trọn ý nghĩa và phần câu trả lời để chọn nên ngắn gọn

- Số lượng phương án lựa chọn càng nhiều thì khả năng đoán mò càng thấp Mỗi câu hỏi nên có từ 4 đến 5 phương án lựa chọn và nên thống nhất số lượng phương án lựa chọn trong một câu trong toàn bộ bài thi

- Không sử dụng các phương án sai quá rõ ràng, mà các câu nhiễu phải có liên hệ logic nhất định tới chủ đề, "có vẻ hợp lý", "có sức hấp dẫn" với thí sinh Các nguồn để tạo câu nhiễu tốt như: những quan điểm sai và những sai lầm thường gặp trong kĩthuật; những sai lầm của học sinh trong giờ học hoặc trong bài tập ngoài giờ; nội dung bản thân nó là đúng nhưng lại không thoả mãn các yêu cầu của câu hỏi ; nội dung hoặc là quá rộng hoặc quá hẹp so với yêu cầu của câu hỏi; từ ngữ được diễn đạt cẩn thận tới mức nó có vẻ là có lí đối với những người không am hiểu

- Cẩn thận khi dùng các từ "tất cả các phương án trên đều sai" và "tất cả các phương án trên đều đúng" làm tăng khả năng đoán mò

- Phương án trong các câu lựa chọn nên độc lập với nhau tránh việc bị chồng xếp, trung lặp nhau

- Vị trí đáp án chính xác của các câu không nên cố định mà nên sắp xếp theo thời gian hoặc theo logic và phải chắc chắn chỉ có một câu trả lời đúng (đối với yêu cầu lựa chọn một đáp án đúng)

1.2.2Quy trình thiết kế câu hỏi TNKQ kỹ năng đọc hiểu tiếng Anh cấp

độ 3 theo Khung NLNN Việt Nam

- Giai đoạn 1: Giai đoạn tìm các nguồn văn bản, đoạn văn phù hợp với mục tiêu chương trình đào tạo, phù hợp với bảng mô tả kỹ năng cần đạt được, với dạng thức đề thi đã được quy định Nội dung không được trái với những quy định của Đảng, Nhà nước và của ngành Công an

Nguồn tài liệu cũng rất phong phú có thể từ sách, báo, tạp chí, các trang web…việc lựa chọn nguồn phụ thuộc vào yêu cầu, mục đích của đề thi cũng như khả năng, trình độ, sở thích cá nhân của từng người biên soạn đề

Bảng 1.3: Nguồn lựa chọn bài đọc

Nguồn (Sources)

2020 project Guidelines (hướng dẫn của đề án 2020)

Own interest (những chủ đề quan tâm riêng của tác giả)

Webs (các trang mạng)

Magazines, journals(tạp chí)

Newspapers(các tờ báo)

Books (sách)

Cambridge PET (các đề thi PET của Cambridge)

- Giai đoạn 2: Giai đoạn viết câu hỏi thi dựa trên việc chỉnh văn bản gốc phù hợp với dạng thức câu hỏi và phù hợp với bảng mô tả kỹ năng

Bảng 1.4 Bảng mô tả đặc tính của một bài đọc

Đặc tính của bài đọc (Perceived text characteristic)

Academic (Có tính học thuật)

Including a number of ideas/ opinions(bao gồm một số ý kiến, quan điểm) Factual(có các số liệu)

Not too specialist(tính chuyên môn không quá cao)

Accessible to the general reader(phù hợp với số đông độc giả)

Not too technical (không có quá nhiều từ ngữ kỹ thuật)

Avoidance of bias, offence (tránh thành kiến, xúc phạm)

Small and specific rather than big and general(chủ đề bài đọc vừa phải và

chi tiết hơn là các chủ đề rộng và bao quát)

có nội dung, câu chữ chuyên môn quá sâu; loại bỏ hoặc sửa lại bài văn để loại

bỏ dấu hiệu giúp thí sinh nhận diện được câu trả lời ngay tức khắc; xóa hoặc chỉnh sửa tài liệu tham khảo khó hiểu hoặc dư thừa của văn bản gốc

Tóm lại, giai đoạn 2 này tôi triển khai tuần tự các bước sau:

1 Nghiên cứu mục đích yêu cầu của đề thi

- Giai đoạn 4: thử nghiệm (pretest) với một nhóm sinh viên hoặc thí sinh để kiểm tra các đặc tính bài thi phù hợp với khoa học đo lường đánh giá

- Giai đoạn 5: sau khi có kết quả, kiểm tra lại các đặc tính của bài kiểm tra cũng như phản hồi từ sinh viên hoặc thí sinh để có câu hỏi và đề thi chuẩn hóa Dựa vào các giai đoạn trên, người nghiên cứu đưa ra sơ đồ mô tả các bước trong quy trình xây dựng bộ câu hỏi trắc nghiệm khách quan kỹ năng đọc hiểu cấp độ 3 theo Khung NLNN Việt Nam như sau:

Sơ đồ 1.2 Quy trình xây dựng bộ câu hỏi trắc nghiệm khách quan

1.3 Cơ sở lý luận của phân tích câu hỏi thi và đề thi

Thuyết ứng đáp câu hỏi (Item Response Theory- IRT) là một lý thuyết của khoa học về đo lường trong giáo dục, ra đời từ nửa sau của thế kỷ XX và phát triển mạnh mẽ cho đến nay So với lý thuyết khảo thí cổ điển, lý thuyết

tích câu hỏi thi

• Thử nghiệm (pretest) và tiến hành phân tích

Giai đoạn 5

Chỉnh sửa và Lưu trữ

• Chỉnh sửa những câu chưa đạt yêu cầu, lập lại giai đoạn 3 nhiều lần , tiến hành sử dụng và lưu trữ những câu đạt yêu cầu

khảo thí hiện đại ưu việt hơn nhiều, được áp dụng ngày càng rộng rãi đểđịnh cỡ các câu hỏi trắc nghiệm và thiết kế các đề trắc nghiệm Thuyết đáp ứng câu hỏi của Rasch mô hình hóa mối quan hệ giữa mức độ khả năng của người làm trắc nghiệm và đáp ứng của người ấy với câu trắc nghiệm Cùng một câu hỏi nhưng lại khá dễ đối với thí sinh này hay quá khó đối với thí sinh khác Như vậy có một đại lượng đặc trưng cho thí sinh được gọi là năng lực B hay = logarit B Một thí sinh có thể dễ dàng trả lời đúng câu hỏi này và rất khó có thể trả lời đúng một câu hỏi khác vì câu hỏi có một đại lượng đặc trưng được gọi là độ khó

D hay = logarit D Thực nghiệm cho thấy, khi năng lực của một thí sinh vượt

xa độ khó của câu hỏi, hay  -  -> +∞ thì xác suất thí sinh trả lời đúng câu hỏi

đó hầu như bằng 1.0, ngược lại, khi năng lực của một thí sinh kém xa độ khó của câu hỏi hay  -  -> -∞ thì xác suất trả lời đúng gần bằng 0.0 Khi năng lực của thí sinh tương đương với độ khó của câu hỏi thì xác suất trả lời đúng bằng 0.5 Với một câu hỏi xác định thì thí sinh có năng lực cao hơn sẽ có xác suất trả lời đúng cao hơn Mối quan hệ trên được mô tả trong hình dướiđây

Trong số những mô hình toán học biểu diễn mối liên hệ giữa năng lực của người trả lời và độ khó của câu hỏi thì mô hình logistic một thông số của Rasch (gọi là mô hình Rasch) được sử dụng rộng rãi trong việc xây dựng nhân hàng câu hỏi thi

Trong luận văn này, tôi sử dụng mô hình Rasch thông qua phần mềm Quest đánh giá câu hỏi trong các bài kiểm tra nhằm mục đích để xây dựng bộ câu hỏi chuẩn hóa trắc nghiệm khách quan

1.3.1 Mục tiêu của phân tích câu hỏi thi

- Mục tiêu dài hạn: Nâng cao chất lượng công tác đo lường đánh giá nhằm góp phần vào việc nâng cao chất lượng giáo dục

- Mục tiêu ngắn hạn:Nâng cao chất lượng công tác làm đề thi trắc nghiệm khách quan nhằm đảm bảo độ tin cậy và tính xác thực của công tác thi kiểm tra trong các kỳ thi có quy mô lớn

1.3.2 Vị trí vai trò của phân tích câu hỏi thi

Phân tích câu hỏi thi của đề thi trắc nghiệm sẽ góp phần vào việc đảm bảo

độ tin cậy và tính chính xác của các bài thi/kiểm tra nói chúng và các kỳ thi tốt nghiệp và kỳ thi tuyển sinh đại học hoặc các kỳ thi khác nói riêng, qua đó sẽ góp phần vào việc nâng cao chất lượng giáo dục bằng việc đánh giá đúng năng lực trình độ của người học

1.4 Nội dung hoạt động của phân tích câu hỏi thi

Phân tích câu hỏi thi của đề thi trắc nghiệm hướng đến việc sử dụng các

lý thuyết khảo thí cổ điển và hiện đại để thực hiện việc phân tích câu hỏi thi Đối tượng của việc phân tích câu hỏi thi bao gồm đề thi (một cách tổng thể), từng câu hỏi và các phương án của câu hỏi cấu thành đề thi Mục đích của việc phân tích câu hỏi thi nhằm làm tăng giá trị nội dung của câu hỏi thi Giá trị nội dung của câu hỏi thi được phản ánh qua các thông số như: Độ khó của câu hỏi thi, các khả năng nhầm đáp án, chất lượng của các phương án sai (phương án sai), độ phân biệt của câu hỏi thi, hệ số tương quan giữa điểm của câu hỏi thi với điểm toàn bài, độ tin cậy của đề thi

1.4.1 Độ khó của câu hỏi thi

Độ khó của câu hỏi thi (giá trị p) được sử dụng rộng rãi đối với các câu hỏi đúng / sai, đa lựa chọn Giá trị p là tỷ lệ thí sinh trả lời đúng so với tổng số thí sinh tham gia trả lời câu hỏi đó Giá trị p có ý nghĩa quan trọng đối với những người viết câu hỏi thi kiểm tra trong quá trình phân tích câu hỏi Hiểu đúng ý

nghĩa của giá trị p và lý giải hợp lý các kết quả thu được, người viết câu hỏi có thể thấy được mức độ phù hợp của các câu hỏi đó đối với nhóm thí sinh Ngoài

ra, giá trị p còn giúp xác định một số lỗi khác của câu hỏi để kịp thời điều chỉnh, sửa đổi hoặc rút kinh nghiệm cho lần sau Ví dụ: lỗi do dùng từ, hành văn làm thí sinh không hiểu câu hỏi, hiểu nhầm, bị đánh lừa hay có nhiều cách hiểu khác nhau; lỗi trong phần lựa chọn của câu hỏi trắc nghiệm; không có phương án trả lời đúng hay có nhiều phương án trả lời đúng, Giá trị p cũng có thể cho thấy kết quả làm bài của các nhóm thí sinh khác nhau trong cùng một tập hợp (ví dụ: cũng là học sinh lớp 5 nhưng của những tỉnh có đặc trưng khác nhau như thành phố, nông thôn, miền núi )

Một câu hỏi có thể quá dễ đối với nhóm thí sinh này và quá khó đối với nhóm thí sinh khác Người viết câu hỏi thi kiểm tra cần quan tâm đến giới hạn thích hợp của giá trị p đối với một nhóm thí sinh nhất định Theo Osterlind (1989), giá trị p nên nằm trong khoảng từ 0.40 đến 0.80 Dưới 0.4 nghĩa là câu hỏi quá khó và trên 0.80 là quá dễ đối với nhóm thí sinh Người viết câu hỏi thi kiểm tra cố gắng điều chỉnh để độ khó của câu hỏi rơi vào trong khoảng 0.4-0.8 cho phù hợp với đối tượng dự thi kiểm tra

1.4.2 Các khả năng nhầm đáp án

Một thuộc tính bổ ích khác của giá trị p là giúp xác định những câu hỏi bị nhầm đáp án Những câu hỏi thi kiểm tra bị nhầm đáp án thường bị phát hiện khi người soạn câu hỏi xem bảng giá trị p (độ khó P) và thấy có sự khác biệt lớn giữa dự định và thực tế trả lời của thí sinh Độ khó P đưa ra một thông tin nhắc người soạn câu hỏi thi xem lại có phải nhầm đáp án không

1.4.3.Chất lượng của các phương án sai (phương án sai)

Số lượng phương án sai (phương án sai) nên là 3 Số lượng này ít thì khả năng đoán mò tăng, số lượng phương án sai (phương án sai) quá lớn sẽ không

có hiệu quả Câu hỏi thi tốt thường có xác suất lựa chọn các phương án sai

(phương án sai) là tương đương nhau Các phương án bị bỏ qua hoặc chỉ có một

số ít thí sinh lựa chọn chứng tỏ phương án sai đó quá lộ liễu, làm tăng khả năng đoán đúng của thí sinh Những phương án sai nhưng thu hút được nhiều thí sinh lựa chọn chắc chắn là những phương án thiên về đánh lừa thí sinh Các phương

án này đều phải chỉnh sửa

1.4.4 Độ phân biệt của câu hỏi thi

Độ phân biệt của câu hỏi thi là mức độ khác nhau về kết quả trả lời giữa hai nhóm trên và dưới khi làm bài thi.Độ phân biệt của câu hỏi thi là tỷ lệ phần trăm giữa sự khác nhau về kết quả trả lời giữa nhóm trên (27% số thí sinh có kết quả điểm toàn bài thi cao nhất, Gt) với nhóm dưới (27% số thí sinh có kết quả điểm toàn bài thi thấp nhất, Gd), so với sự khác nhau tối đa có thể xảy ra giữa hai nhóm (Gt – Gd), tức là khi một nhóm có g học sinh trả lời đúng và nhóm kia không có học sinh nào trả lời đúng (g-0)

Độ phân biệt của câu hỏi thi i = g * 100 %

G

Câu hỏi quá khó hoặc quá dễ không thể có độ phân biệt tốt Câu hỏi có chỉ số phân biệt nhỏ hơn hoặc bằng 0 cần bị loại bỏ Ebel (1956) đề xuất rằng các câu hỏi của bài test trong lớp học nên có chỉ số phân biệt bằng 0,30 hoặc cao hơn Một số tác giả khác cho rằng độ phân biệt nên nằm trong khoảng 0.25-0.75 Tuy nhiên, trong các kỳ thi có quy mô lớn, việc sử dụng một số câu hỏi thi quá dễ hoặc quá khó sẽ dẫn đến độ phân biệt của câu hỏi thi có thể có giá trị quá thấp hoặc quá cao Điều đó có thể chấp nhận được

1.4.5 Hệ số tương quan giữa điểm của câu hỏi thi với điểm toàn bài thi

Pt-Biserial là mối tương quan giữa số lượng thí sinh lựa chọn từng phương án trả lời với tổng điểm của bài thi kiểm tra Pt-Biserial cần phải có giá trị dương đối với phương án trả lời đúng và có giá trị âm đối với phương án trả lời sai Với câu hỏi tốt, Pt-Biserial nằm trong khoảng 0.35 và 0.75 (Griffin,

1998).Mối tương quan chặt chẽ giữa câu hỏi thi và toàn bài thi góp phần làm tăng độ tin cậy của bài test Cần giữ lại những câu hỏi thi có mối tương quan cao và loại bỏ những câu hỏi có mối tương quan thấp hoặc dưới 0 để làm tăng

độ tin cậy của đề thi

1.4.6 Độ tin cậy của đề thi

Độ tin cậy của đề thi thể hiện được tính theo nhiều công thức khác nhau Tuy nhiên, độ tin cậy được xác định dựa trên tính ổn định bên trong của đề thi thường được sử dụng Đề thi được đánh giá tốt khi có độ tin cậy lớn hơn hoặc bằng 0.8

1.5 Phân loại các mục tiêu dạy học và các mức độ của lĩnh vực nhận thức

+ Lĩnh vực tâm vận động (psychomotor domain) liên quan đến những kỹ năng đòi hỏi sự khéo léo về chân tay, sự phối hợp các cơ bắp từ đơn giản đến phức tạp, ở đó các mục đích học tập liên quan đến các kĩ năng thực hành

+ Lĩnh vực cảm xúc (affective domain) liên quan đến những đáp ứng về mặt tình cảm, bao hàm cả những mối quan hệ như yêu ghét, thái độ nhiệt tình, thờ ơ, cũng như sự cam kết với một nguyên tắc và sự tiếp thu các ý tưởng, tức là

ở đó các mục đích học tập liên quan đến hứng thú, các thái độ và giá trị

Mục tiêu dạy học là những gì học sinh cần đạt được sau khi học xong môn học, bao gồm:

- Hệ thống kiến thức khoa học và cả phương pháp nhận thức chung

- Hệ thống các kĩ năng

- Khả năng vận dụng vào thực tế

- Thái độ, tình cảm đối với khoa học và xã hội

1.5.2 Các mức độ của lĩnh vực nhận thức

Thang cấp độ tư duy của Bloom (Bloom‟s taxonomy) cũng chỉ ra các cấp

độ của các mục tiêu giáo dục trong lĩnh vực nhận thức được chia thành các mức

độ hành vi từ đơn giản nhất đến phức tạp nhất như sau:

- Biết (Knowledge): được hiểu là sự nhớ, thuộc lòng, nhận biết được và

có thể tái hiện các dữ liệu, các sự việc đã biết hoặc đã học được trước đây Điều

đó có nghĩa là một người có thể nhắc lại một loạt dữ liệu, từ các sự kiện đơn giản đến các lý thuyết phức tạp, tái hiện trong trí nhớ những thông tin cần thiết Đây là hành vi thấp nhất đạt được trong lĩnh vực nhận thức

- Hiểu (Comprehension): là khả năng nắm được ý nghĩa của tài liệu Điều

đó có thể thể hiện bằng việc chuyển tài liệu từ dạng này sang dạng khác (từ các

từ sang số liệu), bằng cách giải thích tài liệu (giải thích hoặc tóm tắt) và bằng cách ước lượng xu hướng tương lai (dự báo các hệ quả hoặc ảnh hưởng) Kết quả học tập ở cấp độ này cao hơn so với nhớ, và là mức thấp nhất của việc thấu hiểu sự vật

- Vận dụng (Application): là khả năng sử dụng các tài liệu đã họcvào một hoàn cảnh cụ thể mới Điều đó có thể bao gồm việc áp dụng các quy tắc, phương pháp, khái niệm, nguyên lý, định luật và lý thuyết Kết quả học tập trong lĩnh vực này đòihỏi cấp độ thấu hiểu cao hơn so với cấp độ hiểu trên đây

- Phân tích (analysis): Được định nghĩa là khả năng hiểu được các cấu trúc tổ chức của tài liệu bằng cách phân chia nó ra thành các phần khác nhau Điều đó có thể bao gồm việc chỉ ra đúng các bộ phận, phân tích môí quan hệ giữa các bộ phận, và nhận biết được các nguyên lý tổ chức được bao hàm Kết

quả học tập ở đây thể hiện một mức độ trí tuệ cao hơn so với mức hiểu và áp dụng vì nó đòi hỏi một sự thấu hiểu cả nội dung và hình thái cấu trúc của tài liệu

- Tổng hợp (synthesis): Được định nghĩa là khả năng sắp xếp các bộ phận lại với nhau để hình thành một tổng thể mới Điều đó có thể bao gồm việc tạo ra một cuộc giao tiếp đơn nhất (chủ đề hoặc bài phát biểu), một kế hoạch hành động (dự án nghiên cứu), hoặc một mạng lưới các quan hệ trừu tượng (sơ đồ để phân lớp thông tin) Kết quả học tập trong lĩnh vực này nhấn mạnh các hành vi sáng tạo, đặc biệt tập trung chủ yếu vào việc hình thành các mô hình hoặc cấu trúc mới

- Đánh giá (evaluation): Được định nghĩa là khả năng xác định giá trị của tài liệu (tuyên bố, tiểu thuyết, thơ, báo cáo nghiên cứu) Việc đánh giá dựa trên các tiêu chí nhất định Đó có thể là các tiêu chí bên trong (cách tổ chức) hoặc các tiêu chí bên ngoài (phù hợp với mục đích), và người đánh giá phải tự xác định hoặc được cung cấp các tiêu chí Kết quả học tập trong lĩnh vực này là cao nhất trong các cấp bậc nhận thức vì nó chứa các yếu tố của mọi cấp bậc khác

Bảng tóm tắt dưới đây cho biết các mức độ của mục tiêu giáo dục trong lĩnh vực nhận thức Giáo dục có thể nhằm vào các mục tiêu rất thấp như giúp người học nhận biết sự vật hiện tượng cho đến đánh giá tức là có năng lực phán xét, phê phán

Bảng 1.5 Bảng tóm tắt các mức nhận thức theo quan niệm của Bloom

Nhận biết Định dạng, gọi tên, xác định, mô tả, liệt

kê, kết nôi, lựa chọn, phác thảo

Nhận thức thấp Hiểu

Phân loại, giải thích, tông hợp lại, biến đôi, dự đoán, phân biệt sự khác nhau giữa hai sự vật, hiện tượng hay vấn đề

Áp dụng

Trình diên, tính toán, giải quyết, điều chỉnh nhỏ, sắp xếp đơn giản, thao tác, liên

hệ

Phân tích Phân biêt, biểu đô hoá, ước lượng, phân

chia, suy luận, sắp xếp trật tự, chia nhỏ ra Nhận thức cao

Tổng hợp Kết hợp, sáng tạo, công thức hoá, thiết kế, sáng tác, xây dựng, sắp xếp lại, sửa chữa

Đánh giá Phán xét, phê phán, so sánh, phân biệt,

biện luận, đưa ra kết luận, hỗ trợ

Các công cụ đánh giá có hiệu quả phải giúp xác định được kết quả học tập ở mọi cấp độ nói trên để đưa ra một nhận định chính xác về năng lực của người được đánh giá về chuyên môn liên quan

1.5.3.Mục đích của kiểm tra đánh giá

Kiểm tra đánh giá hỗ trợ việc ra các quyết định trong đào tạo Kiểm tra kết quả học tập là một phần không thể tách rời của quá trình đào tạo Kiểm tra phải được xem xét trong suốt quá trình lên kế hoạch đào tạo, cần đóng vai trò quan trọng trong tất cả các bước của quá trình đào tạo Từ đầu đến cuối quá trình này, giảng viên cần đưa ra rất nhiều quyết định và kiểm tra giúp tăng cường hiệu quả các quyết định này thông qua việc cung cấp các thông tin khách quan làm cơ sở cho các nhận định cơ bản

Theo Norman E Gronlund (1982) có 3 loại quyết định của giáo viên được

hỗ trợ bởi kiểm tra đánh giá: một là, các quyết định tại giai đoạn đầu của quá trình đào tạo, hai là các quyết định trong suốt quá trình đào tạo, ba là các quyết định tại giai đoạn cuối của quá trình đào tạo Tương đương với ba loại quyết định này là các dạng bài kiểm tra có liên hệ mật thiết với từng giai đoạn của quá trình đào tạo

- Giai đoạn đầu của quá trình đào tạo: Có hai câu hỏi giáo viên cần trả lời trước khi bước vào quá trình đào tạo:

+ Học sinh có khả năng và các kỹ năng cần thiết đến đâu để bắt đầu một chương trình đào tạo?

+ Học sinh có đạt kết quả học tập dự kiến của chương trình đào tạo hay không?

Để trả lời được câu hỏi 1 có thể sử dụng bài thi đánh giá khả năng tham gia đào tạo (readiness pretest) Đây là bài kiểm tra được xây dựng tại thời điểm

bắt đầu khóa học hay bắt đầu một chương trình học bao gồm việc kiểm tra các

kỹ năng cần thiết học sinh cần phải có để có thể tham gia vào chương trình học

Câu hỏi thứ hai có thể trả lời được thông qua các bài kiểm tra phân trình

độ ban đầu bao trùm các kết quả học của chương trình học dự kiến Bài kiểm tra này có thể trùng với bài kiểm tra cuối khóa học nhưng được xây dựng theo hình thức khác Việc cần xác định ở đây chính là khả năng học sinh nắm được các phần kiến thức trong chương trình học hay không Nếu học sinh có thể nắm được, chúng ta cần điều chỉnh

Đúng

Hình 1.3: Mô hình đơn giản về vai trò của kiểm tra phân tích trình độ học sinh(nguồn Norman E Gronlund)

- Giai đoạn giữa quá trình đào tạo (Kiểm tra chuẩn đoán và formative) Trong suốt quá trình đào tạo điều mà chúng ta quan tâm là sự tiến bộ trong học tập của mỗi học sinh.Các câu hỏi sau cần được trả lời:

+ Nhiệm vụ học tập nào học sinh có thể thỏa mãn? Nhiệm vụ nào học sinh cần được trợ giúp?

+ Học sinh nào gặp khó khăn lớn trong học tập cần phải bồi dưỡng đặc biệt? Các bài kiểm tra giám sát tiến bộ trong học tập của học sinh trong suốt quá trình đào tạo được gọi là bài kiểm tra formative Các bài kiểm tra formative được thiết kế đặc thù để đo lường mức độ nắm vững chương trình học của học

Kiểm tra trình độ (Xác định đầu vào)

Kiểm tra kiến thức ban đầu (Học sinh có các kĩ năng cần thiết để

sinh tại mỗi phân đoạn giới hạn của chương trình học ví dụ một bài học hay một chương

Nếu học sinh gặp phải một vấn đề không thể giải quyết bằng các sử dụng các bài kiểm tra formative,cần tập trung tìm hiểu các khó khăn trong học tập của học sinh đó

Chẩn đoán các lỗi trong quá trình học của học sinh là vấn đề kiểm soát trình độ.Kiểm tra formative xác định học sinh có nắm được một số yêu cầu môn học hay không và nếu không nó sẽ gợi ý các hướng khắc phục Kiểm tra chẩn đoán lại thiên về các nguyên nhân của các lỗ hổng kiến thức mà bài kiểm tra formative không giải quyết được.Tuy nhiên không thể nói tất cả các vấn đề về học tập của học sinh có thể khắc phục bằng bài kiểm tra formative và bài kiểm tra chẩn đoán Đây chỉ là công cụ hộ trợ nhận diện và chẩn đoán các khó khăn trong học tập của học sinh để có cách khắc phục

Hình 1.4: Mô hình đơn giản của bài kiểm tra tiến độ(nguồn Norman E Gronlund)

- Giai đoạn cuối quá trình đào tạo (Kiểm tra summative) Cuối mỗi khóa học hay môn học chúng ta thường quan tâm đến việc học sinh đáp ứng được bao nhiêu mục tiêu đào tạo đề ra.Các câu hỏi sau được trả lời:

Kiểm tra tiến độ (Giám sát quá trình học tập)

Đưa ra các biện pháp khắc phục cho nhóm hoặc cá nhân

Đưa ra các phản hồi để củng cố việc học

Kiểm tra chẩn đoán (Nhằm phát hiện những khó khăn tiềm ẩn

Tiếp tục chương trình đào tạo Học sinh có đạt được kết quả mong

muốn hay không

+ Học sinh nào hoàn thành các yêu cầu của môn học để tiếp tục học lên cao? + Xếp hạng các học sinh như thế nào?

Trắc nghiệm quá trình học tập được đưa ra tại thời điểm cuối của quá trình đào tạo nhắm mục đích chứng nhận và xếp loại học sinh được gọi là bài kiểm tra summative Các bài kiểm tra dạng này thường có độ bao phủ rộng và nhằm mục đích đo lường các mẫu đại diện của toàn bộ yêu cầu của chương trình đào tạo.Mặc dù kết quả kiểm tra chủ yếu vẫn để xếp loại học sinh nhưng

nó còn cung cấp thông tin để đánh giá hiệu quả của chương trình đào tạo cho các khóa học sau Xem mô hình trắc nghiệm summative tại hình 1.5

Hình 1.5 Mô hình đơn giản của bài kiểm tra cuối quá trình đào tạo(nguồn Norman E Gronlund)

1.5.4 Ý nghĩa của việc kiểm tra, đánh giá

Việc kiểm tra, đánh giá có ý nghĩa quan trọng với cả người học và người dạy cũng như nhà quản lý giáo dục Theo Norman E Gronlund (1982) thì kiểm tra đánh giá tác động tích cực trên nhiều phương diện khác nhau

- Đối với học sinh:

Cung cấp thông tin bổ

sung cho việc học tập

của học sinh

Xếp lớp hay xác định khả năng nắm kiến thức

Đánh giá hiệu quả của chương trình đào tạo

Kiểm tra cuối kỳ (Xác định đầu ra)

Học sinh có đạt được các kết quả

dự kiến của chương trình đào tạo hay không?

+ Kiểm tra để tăng cường động cơ học tập của học sinh

Kiểm tra định kì khuyến khích học sinh trong học tập bằng cách cung cấp cho học sinh các mục tiêu ngắn hạn để theo đuổi hoặc bằng cách chỉ rõ cho học sinh các kết quả học tập cần đạt đồng thời phản ánh tiến độ học tập của học sinh.Việc chuẩn bị cho các bài kiểm tra sẽ giúp định hướng và định hình các loại hình đào tạo đang diễn ra.Mặc dù tác động của kiểm tra nhiều khi là không mong muốn và ngay cả khi bào kiểm tra chỉ đo lường khả năng lặp lại hành động của học sinh,đây cũng không phải là tác động mang tính tiêu cực.Những điểm mạnh và yếu của các bài kiểm tra dạng này đối với việc cải thiện học tập của học sinh phụ thuộc nhiều vào việc chúng có phản ánh đầy đủ các kết quả học tập mà học sinh cần đạt hay không và việc chúng ta sử dụng các kết quả kiểm tra như thế nào

+ Kiểm tra để lưu giữ và ứng dụng kiến thức

Do các bài kiểm tra thường giúp học sinh tập trung vào theo đuổi các mục tiêu học tập đang được đo lường, chúng có thể được sử dụng như là một công cụ

để tăng khả năng lưu giữ và ứng dụng các kiến thức học trên lớp Nói chung các kêt quả học tập ở mức hiểu,áp dụng và phân tích thường được giữ lâu hơn và có giá trị hơn các kết quả ở mức biết Thông qua việc đo lường các mục tiêu học tập phức tạp hơn trrong các bài kiểm tra,chúng ta có thể hướng sự chú ý tới vai trò của chúng đồng thời tăng cường các hoạt động của học sinh về các kĩ năng như hiểu,ứng dụng và phân tích mà chúng tađang tập trung củng cố.Do đó các bài kiểm tra có thể sử dụng nhằm giúp học sinh tập trung vào các mảng kĩ năng này và thông qua đó tăng tính giá trị của đào tạo cho học sinh

+ Kiểm tra giúp học sinh tự hiểu bản thân

Một mục tiêu chính của hầu hết các chương trình đào tạo là giúp học sinh hiểu hơn về chính bản thân mình để có thể đưa ra các quyết định sáng suốt và giúp đánh giá học lực của mỗi học sinh hiệu quả hơn.Kiểm tra định kì và công