Nghiên cứu mức độ đáp ứng của học sinh các nước không thuộc khối OECD và học sinh Việt Nam với chương trình đánh giá Quốc tế PISA

Nghiên cứu mức độ đáp ứng của học sinh các nước không thuộc khối OECD và học sinh Việt Nam với chương trình đánh giá Quốc tế PISA

ĐẠI HỌC QUỐC GIA HÀ NỘI

VIỆN ĐẢM BẢO CHẤT LƯỢNG GIÁO DỤC

Lê Thị Hoàng Hà

NGHIÊN CỨU MỨC ĐỘ ĐÁP ỨNG CỦA HỌC SINH CÁC NƯỚC KHÔNG THUỘC KHỐI OECD VÀ HỌC SINH VIỆT NAM VỚI CHƯƠNG TRÌNH

ĐÁNH GIÁ QUỐC TẾ PISA

Chuyên ngành: Đo lường và đánh giá trong giáo dục

(Chuyên ngành đào tạo thí điểm) LUẬN VĂN THẠC SĨ

Người hướng dẫn khoa học: TS Phạm Xuân Thanh

Hà Nội – Năm 2012

Thank you for evaluating AnyBizSoft PDF Splitter.

A watermark is added at the end of each output PDF file.

To remove the watermark, you need to purchase the software from

http://www.anypdftools.com/buy/buy-pdf-splitter.html

3

MỤC LỤC

LỜI CAM ĐOAN 1

LỜI CẢM ƠN 2

MỤC LỤC 3

DANH MỤC CÁC CHỮ VIẾT TẮT 5

DANH MỤC CÁC BẢNG BIỂU 6

DANH MỤC CÁC HÌNH VẼ, ĐỒ THỊ 7

MỞ ĐẦU 8

1 Lý do chọn đề tài 8

2 Mục đích nghiên cứu của đề tài 10

3 Giới hạn nghiên cứu của đề tài 11

4 Câu hỏi nghiên cứu 12

5 Khách thể và đối tượng nghiên cứu 13

6 Phương pháp tiếp cận nghiên cứu 13

7 Phạm vi nghiên cứu 14

8 CẤU TRÚC CỦA LUẬN VĂN 14

Chương I: TỔNG QUAN NGHIÊN CỨU 16

1.1 Các chương trình đánh giá quốc tế 16

1.1.1 TIMSS và PIRLS 16

1.1.2 Chương trình đánh giá học sinh quốc tế PISA 17

1.2 Tổng quan các nghiên cứu liên quan 23

Chương II: LÝ THUYẾT ĐÁNH GIÁ 30

Mở đầu 30

2.1 Khái niệm đánh giá trong giáo dục 31

2.2 Các dạng thức đánh giá 35

2.2.1 Đánh giá tổng kết và đánh giá quá trình 35

4

2.2.2 Đánh giá tham chiếu tiêu chí và đánh giá tham chiếu nhóm chuẩn

37

2.2.3 Đánh giá dựa trên chương trình và Đánh giá dựa trên năng lực 39

2.2.4 Hệ thống đánh giá và vai trò, vị trí của khảo sát/đánh giá năng lực trên diện rộng 41

2.3 Lý thuyết khảo thí cổ điển và Lý thuyết trả lời câu hỏi 43

2.3.1 Lý thuyết khảo thí cổ điển 44

2.3.2 Lý thuyết trả lời câu hỏi và Mô hình RASCH 46

2.4 Ứng dụng Lý thuyết trả lời câu hỏi trong thiết kế công cụ khảo thí 50

2.5 Độ giá trị của đề thi và tính thiên kiến của câu hỏi thi 53

2.5.1 Độ giá trị 53

2.5.2 Tính thiên kiến của câu hỏi thi và phát hiện câu hỏi thiên kiến 54

Chương III KẾT QUẢ NGHIÊN CỨU VÀ BÀN LUẬN 59

3.1 Mô tả phương pháp và quy trình nghiên cứu 59

3.1.1 Mô tả các bộ số liệu 59

3.1.2 Quy trình nghiên cứu và các thủ tục xử lý số liệu 61

3.2 Kết quả nghiên cứu và bàn luận 64

3.2.1 Bộ dữ liệu PISA quốc tế 2006 64

3.2.2 Bộ dữ liệu thi thử PISA ở Việt Nam năm 2010 72

KẾT LUẬN 77

Tài liệu tham khảo 80

Phụ lục 1: Cơ cấu quốc gia/vùng lãnh thổ tham gia PISA 2006 84

Phụ lục 2: Cú pháp phân tích DIF, sử dụng phần mềm CONQUEST 87

Phụ lục 3: Kết quả phân tích DIF 92

Phụ lục 4: Cấu trúc đề thi thử PISA tháng 5/2010 ở Việt Nam và mã hóa 104

Thank you for evaluating AnyBizSoft PDF Splitter.

A watermark is added at the end of each output PDF file.

To remove the watermark, you need to purchase the software from

http://www.anypdftools.com/buy/buy-pdf-splitter.html

MỞ ĐẦU

1 Lý do chọn đề tài

PISA lần đầu tiên tổ chức (năm 2000) có 43 nước tham gia, trong đó có

14 nước không thuộc khối OECD Qua 3 lần tổ chức, kỳ thi năm 2009 có 75 nước/nền kinh tế tham gia trong đó có 38 nước không thuộc khối OECD Sự gia tăng nhanh số quốc gia/nền kinh tế tham gia Chương trình PISA chứng tỏ mục đích, ý nghĩa của kỳ thi ngày càng được nhận thức đúng đắn bởi các quốc gia

Việt Nam chính thức đăng ký tham gia Chương trình PISA 2012 Từ lúc đăng ký và được OECD chính thức đồng ý để Việt Nam tham gia PISA 2012 đến khi kỳ thi chính thức diễn ra (tháng 4/2012) là cả một giai đoạn chuẩn bị đầy căng thẳng với hàng chục đầu công việc đã được lên kế hoạch chặt chẽ, nằm trong kế hoạch chung và kiểm soát chất lượng của Ban điều hành PISA của OECD Một trong những khâu chuẩn bị quan trọng và nhiều thử thách nhất,

có thời gian chuẩn bị trải dài nhất là công tác dịch thuật và thích nghi hóa đề thi

và các bảng hỏi thu thập dữ liệu Kinh nghiệm các nước cho thấy, mặc dù quy trình dịch thuật và thích nghi hóa tài liệu thi đã được OECD quy định, hướng dẫn và kiểm soát chặt chẽ, thực tế vẫn không tránh khỏi sai sót mà hậu quả của

nó là gây nên một số câu hỏi trong đề thi có thiên kiến ở một số nhóm đối tượng thí sinh nhất định

Việc phát hiện những thiên kiến có thể có của câu hỏi thi PISA trên các nhóm học sinh quốc tế chia theo khu vực địa lý và trên đối tượng học sinh Việt Nam sẽ làm tiền đề cho việc nghiên cứu tìm hiểu nguyên nhân của hiện tượng sai biệt này, là cơ sở cho những giải pháp mà Việt Nam và các nước tham gia

có thể thực hiện trong quá trình tham gia dịch thuật và thích nghi hóa đề thi để

đề thi PISA đạt được độ tin cậy và độ giá trị cao nhất với học sinh tất cả các nước, không phân biệt điều kiện địa lý hay những vấn đề về chính trị, tôn giáo, ngôn ngữ

2 Mục đích nghiên cứu của đề tài

Dựa trên kết quả thi PISA, đề tài sẽ đi tìm những câu hỏi có nguy cơ gây thiên kiến cho các nhóm học sinh các nước ngoài khối OECD và nhóm học sinh quốc tế có điều kiện kinh tế - văn hóa – xã hội tương đối tương đồng với Việt Nam, làm tiền đề cho việc tiên lượng tính đáp ứng của học sinh Việt Nam với câu hỏi thi PISA Đề tài cũng đi tìm sự khác biệt về sự đáp ứng của các nhóm học sinh Việt Nam với điều kiện kinh tế - văn hóa – xã hội khác nhau, với câu hỏi thi PISA, để từ đó có những nhận định về khả năng các yếu tố ngôn ngữ, văn hóa có thể làm cho câu hỏi PISA thiên kiến

Thực hiện nghiên cứu này cũng giúp học viên hiểu biết sâu sắc về những

lý thuyết đánh giá liên quan đến câu hỏi thực hiện chức năng khác biệt (differential item functioning – DIF) và quy trình phân tích phát hiện DIF (điều kiện cần để kết luận câu hỏi thiên kiến), một quy trình quan trọng trong xây dựng và phát triển đề thi chuẩn hóa

3 Giới hạn nghiên cứu của đề tài

Đề tài tập trung phân tích kết quả thi PISA quốc tế năm 2006 – số liệu do OECD công bố, tập trung phát hiện các dấu hiệu câu hỏi thực hiện chức năng

khác biệt (differential item functioning – DIF: điều kiện cần để kết luận câu hỏi

thiên kiến), so sánh giữa:

- nhóm học sinh các nước thuộc khối OECD và nhóm học sinh các nước ngoài khối OECD;

- nhóm học sinh các nước có chỉ số phát triển con người (HDI) cao và nhóm học sinh các nước có chỉ số HDI trung bình;

- nhóm học sinh các nước thuộc khối OECD với nhóm học sinh các nước không thuộc khối OECD và có chỉ số HDI trung bình;

- nhóm học sinh các nước thuộc khối OECD với nhóm học sinh các nước không thuộc khối OECD, có chỉ số HDI trung bình, và thuộc châu Á; Với đối tượng học sinh Việt Nam, đề tài sử dụng số liệu kết quả thi thử PISA năm 2010 Kỳ thi do Văn phòng PISA Việt Nam tổ chức, sử dụng đề thi của kỳ đánh giá PISA chính thức năm 2009 Nghiên cứu sẽ tập trung phát hiện nguy cơ thiên kiến có thể có giữa:

- Nhóm học sinh miền Bắc và nhóm học sinh khu vực Tây Nguyên và miền Nam;

- Nhóm học sinh đồng bằng – duyên hải và nhóm học sinh miền núi – cao nguyên;

Ở phạm vi một đề tài luận văn thạc sĩ, các phân tích tìm kiếm DIF chủ yếu

tập trung vào nhóm câu hỏi nhiều lựa chọn, với cách cho điểm đúng và sai

4 Câu hỏi nghiên cứu và giả thuyết nghiên cứu

Câu hỏi nghiên cứu 1: Học sinh các nước không thuộc khối OECD tham gia kỳ thi

PISA 2006 đáp ứng câu hỏi thi PISA như thế nào? Câu hỏi thi có tiềm ẩn nguy cơ gây bất lợi hoặc tạo ưu thế cho học sinh các nước không thuộc khối OECD không? Mức độ của nguy cơ?

Câu hỏi nghiên cứu 2: Học sinh ở các nước có đặc điểm kinh tế - văn hóa – xã hội

tương đồng với Việt Nam đáp ứng câu hỏi thi PISA 2006 như thế nào? Tìm kiếm nguy cơ câu hỏi thiên kiến đối với nhóm học sinh này và tiên lượng mức độ ảnh hưởng của nguy cơ câu hỏi thiên kiến đối với học sinh Việt Nam khi tham gia PISA?

Câu hỏi nghiên cứu 3: Điều kiện địa lý, văn hóa, ngôn ngữ vùng miền ở Việt Nam

có thể là yếu tố làm xuất hiện nguy cơ thiên kiến của câu hỏi thi PISA không? Mức

độ của các nguy cơ thiên kiến này?

5 Khách thể và đối tượng nghiên cứu

 Khách thể nghiên cứu:

- Câu hỏi thi PISA

 Đối tượng nghiên cứu:

- Tính chất thực hiện chức năng khác biệt của câu hỏi thi (differential

item functioning – DIF)

6 Phương pháp tiếp cận nghiên cứu

Đề tài sử dụng tiếp cận nghiên cứu định lượng Kết quả thi PISA năm

2006 của các nước và thi thử PISA ở Việt Nam năm 2010, sử dụng đề thi năm

2009 đã được dịch sang tiếng Việt sẽ được phân tích định lượng để xác định mức độ đáp ứng của học sinh tham dự kỳ thi đối với câu hỏi thi, so sánh giữa các nhóm học sinh theo các tiêu chí phân tầng khác nhau Phân tích sẽ sử dụng các phần mềm phân tích số liệu SPSS và CONQUEST

Dữ liệu thu thập được bao gồm:

 Cơ sở dữ liệu về chương trình đánh giá quốc tế PISA (sự ra đời và phát triển, cơ sở khoa học xây dựng đề thi, phân tích và sử dụng kết quả đánh

giá…); sử dụng phương pháp hồi cứu tài liệu;

 Các cơ sở lý thuyết liên quan: Lý thuyết về đánh giá và xây dựng đề thi chuẩn hóa, Lý thuyết hồi đáp và mô hình Rasch, Lý thuyết về phân tích

DIF (Differential Item Functioning) như một cơ sở để phát hiện thiên kiến của công cụ đo lường tâm lý; sử dụng phương pháp tổng quan tài liệu;

 Tổng quan các nghiên cứu về câu hỏi/đề thi thiên kiến, công cụ khảo sát đánh giá thiên kiến trong các chương trình khảo sát/đánh giá năng lực trên diện rộng (như PISA, TIMSS, PIRLS, SAT…); thu thập bằng

phương pháp tổng quan tài liệu;

 Dữ liệu kết quả thi PISA năm 2006 lấy từ website My PISA của ACER, Australia;

 Dữ liệu kết quả thi thử PISA trên mẫu đại diện từ 10 tỉnh/thành phố, tổ chức tháng 5/2010, sử dụng bộ câu hỏi thi của kỳ thi PISA năm 2009 Dữ

liệu do Văn phòng PISA Việt Nam cung cấp

7 Phạm vi nghiên cứu

Học sinh tất cả các quốc gia và vùng lãnh thổ tham gia kỳ đánh giá PISA chính thức năm 2006; Học sinh 10 tỉnh/thành phố của Việt Nam tham gia kỳ thi thử PISA do Văn phòng PISA Việt Nam tổ chức tháng 5/2012, sử dụng đề thi PISA chính thức năm 2009

8 CẤU TRÚC CỦA LUẬN VĂN

Cấu trúc các phần nội dung chính của luận văn bao gồm 3 chương:

Chương I TỔNG QUAN NGHIÊN CỨU

1.1 Các chương trình đánh giá học sinh quốc tế

1.1.1 TIMSS và PIRLS 1.1.2 Chương trình đánh giá học sinh quốc tế PISA 1.2 Tổng quan các nghiên cứu liên quan

Chương II LÝ THUYẾT ĐÁNH GIÁ

2.1 Khái niệm đánh giá trong giáo dục

2.2 Các dạng thức đánh giá

2.3 Lý thuyết khảo thí cổ điển và Lý thuyết trả lời câu hỏi

2.4 Ứng dụng lý thuyết trả lời câu hỏi trong thiết kế công cụ khảo thí 2.5 Độ giá trị của đề thi và tính thiên kiến của câu hỏi thi

Chương III KẾT QUẢ NGHIÊN CỨU VÀ BÀN LUẬN

3.1 Mô tả phương pháp và quy trình nghiên cứu

3.2 Kết quả nghiên cứu và bàn luận

KẾT LUẬN

Chương I: TỔNG QUAN NGHIÊN CỨU

1.1 Các chương trình đánh giá quốc tế

1.1.1 TIMSS và PIRLS

TIMSS và PIRLS là hai chương trình nghiên cứu đánh giá học sinh quốc

tế với nhiều nét tương đồng TIMSS (Trends in International Mathematics and

Science Study) tập trung nghiên cứu năng lực toán học và khoa học của học sinh

quốc tế hai khối lớp 4 và lớp 8; trong khi PIRLS (Progress in International

Reading Literacy Study) đánh giá năng lực đọc hiểu của học sinh khối lớp 4

TIMSS và PIRLS là các cuộc đánh giá trên diện rộng, được thiết kế nhằm mang lại một bức tranh toàn cảnh về giảng dạy và học tập các môn toán học, khoa học và đọc hiểu, cung cấp những thông tin hữu ích phục vụ hoạch định chính sách giáo dục và xây dựng, triển khai các chương trình giáo dục Để đạt được mục đích này, bên cạnh những thông tin về thành tích giáo dục trên các lĩnh vực toán, khoa học và đọc hiểu, trong các kỳ thi TIMSS và PIRLS, các thông tin liên quan về đất nước, trường học, chương trình giảng dạy, môi trường học tập có khả năng ảnh hưởng đến sự phát triển năng lực và thành tích học tập của học sinh cũng được thu thập

1.1.2 Chương trình đánh giá học sinh quốc tế PISA

a OECD và Chương trình đánh giá học sinh quốc tế PISA

Chương trình đánh giá học sinh quốc tế PISA là một sản phẩm do các nước thành viên OECD hợp tác xây dựng và phát triển, dưới sự điều phối của Ban Giáo dục - OECD (Directorate of Education) Mục tiêu của Chương trình PISA là đánh giá mức độ tiếp thu kiến thức và kỹ năng cần thiết cho việc gia nhập xã hội tri thức của học sinh độ tuổi chuẩn bị kết thúc giáo dục bắt buộc.1

Chương trình PISA đánh giá sự thể hiện năng lực của học sinh ở 3 lĩnh vực trọng yếu là Toán học, Các môn khoa học và Đọc hiểu Bên cạnh bài thi, thông qua bảng hỏi và một số câu hỏi đánh giá thái độ trong đề thi, PISA còn khảo sát động cơ học tập của học sinh, những quan điểm, nhận thức của học sinh về bản thân mình cũng như những chiến lược học tập của các em Số liệu kết quả thi PISA có thể cho ta biết sự khác biệt về năng lực giữa hai giới, hay giữa những nhóm kinh tế - xã hội khác nhau, đồng thời, việc phân tích tương quan giữa dữ liệu thu thập từ bảng hỏi và kết quả thi PISA còn phát hiện những yếu tố tác động đến quá trình học tập, tích lũy và rèn luyện kiến thức, kỹ năng của học sinh Những phân tích này rất có ý nghĩa đối với công tác hoạch định chính sách của mỗi quốc gia/vùng lãnh thổ hay nhóm kinh tế - xã hội

1

OECD PISA 2006 Brochure: Retrieved from www.oecd.org

b Thiết kế và xây dựng công cụ đánh giá nhận thức – đề thi PISA

Công việc thiết kế đề thi PISA được đặc trưng bởi sự hợp tác của tất cả các nước tham gia (thành viên và không phải thành viên OECD) Sự hợp tác thể hiện đầu tiên ở việc các nước cùng tham gia thảo luận và đi đến thống nhất về khung thiết kế đề thi của mỗi lĩnh vực Thứ hai, các nước tự nguyện viết câu hỏi, đóng góp cho nguồn dữ liệu câu hỏi thi PISA của OECD theo tiêu chí do tổ chức này đặt ra Đồng thời, tất cả các nước tham gia được kêu gọi rà soát các câu hỏi thi do một tổ chức chuyên nghiệp nằm trong liên danh nhà thầu thay OECD tổ chức chương trình PISA, chịu trách nhiệm phần xây dựng đề thi gửi đến

Mỗi lĩnh vực trong đề thi PISA được xây dựng dựa trên một khung thiết

kế đã được thảo luận và thống nhất giữa các nước tham gia Khung thiết kế cho chúng ta biết những năng lực nào sẽ được đánh giá, giúp những người tham gia viết câu hỏi thi xác định các cấu trúc ẩn sau mỗi phần đánh giá Sau khi đã thống nhất khung thiết kế đề thi, nhóm chuyên gia bộ môn ở mỗi nước sẽ biên soạn câu hỏi thi gửi liên danh nhà thầu Nhóm chuyên gia bộ môn của từng quốc gia cũng được yêu cầu tham gia rà soát, đóng góp ý kiến cho các câu hỏi thi Đóng góp của các nước cho việc xây dựng câu hỏi thi được các chuyên gia xây dựng đề thi của liên danh nhà thầu sử dụng, thông qua những quy trình kỹ

thuật đặc biệt: quy trình thí nghiệm nhận thức (cognitive laboratory

procedure)2 Dạng thức câu hỏi trong đề thi PISA cũng rất đa dạng, không dừng lại ở những câu trắc nghiệm khách quan mà còn có cả những câu hỏi mở với kỹ thuật cho điểm từng phần Câu hỏi của đề thi PISA chính thức là kết quả của cả

sự rà soát bằng phương pháp chuyên gia (đóng góp ý kiến về nội dung, cấu trúc câu hỏi, những vấn đề tiềm ẩn liên quan đến dịch thuật hay văn hóa …), và đánh giá chất lượng câu hỏi thi thông qua thử nghiệm, sẽ đảm bảo thu thập thông tin khá chính xác về năng lực của học sinh

c Chọn mẫu trong Chương trình đánh giá PISA

Học sinh dự thi PISA là một mẫu ngẫu nhiên trong toàn bộ học sinh đủ điều kiện dự thi PISA của một nước Chương trình PISA sử dụng phương pháp chọn mẫu hai giai đoạn: giai đoạn 1 là chọn trường và giai đoạn 2 là chọn học sinh trong từng trường đã được chọn Ở giai đoạn 1, tất cả các trường có học sinh đủ điều kiện dự thi PISA (15 tuổi, từ lớp 7 trở lên) được chọn theo xác suất lựa chọn tỷ lệ với tổng số học sinh đủ điều kiện dự thi trong trường Khoảng

150 trường sẽ được chọn trong một quốc gia Giai đoạn 2 là lựa chọn ngẫu

nhiên khoảng 30 học sinh từ mỗi trường đã chọn ở giai đoạn 1

d Phân tích số liệu kết quả thi PISA và sử dụng kết quả phân tích

Turner (2009) mô tả vắn tắt bản chất của việc phân tích số liệu kết quả thi PISA như sau:

2

Turner, R (2009) PISA: An introduction and overview. In R Bybee & B McCrae (Eds), PISA Science 2006: Implications for

Science Teachers and Teaching, pp 3-14 Arlington, VA: NSTA Press.

Kỹ thuật đưa dữ liệu lên một thang đo đóng vai trò quan trọng hàng đầu, làm nòng cốt cho hầu hết các phân tích sử dụng dữ liệu kết quả thi PISA Sử dụng kỹ thuật này, người ta đặt một số giả thiết sau: mỗi năng lực mà chúng ta

cần đánh giá thể hiện dưới một số nét năng lực cụ thể đã được xác định trong khung thiết kế đề thi; những mức độ khác nhau của mỗi nét năng lực nằm trên

một đường liên tục, hay hình thành một thang đo Ta có thể thiết kế câu hỏi thi gắn với mỗi nét năng lực này, đòi hỏi học sinh phải sử dụng nét năng lực đó để trả lời các câu hỏi mà ta đã ngụ ý khi thiết kế Và như vậy, ta có thể phán đoán mức độ năng lực của một học sinh dựa trên mức độ thành công khi trả lời các câu hỏi ngụ ý đo năng lực đó

PISA sử dụng mô hình Rasch để đưa dữ liệu về từng học sinh lên thang

đo, từ đó có thể thực hiện nhiều phép so sánh Mô hình này sử dụng kết quả trả lời câu hỏi của học sinh để dự đoán độ khó của các câu hỏi và năng lực của học sinh có câu trả lời cho các câu hỏi đó Như vậy, cả câu hỏi và học sinh đều gắn với một thang đo trung gian được xác định bởi nét năng lực mà ta cần đánh giá

1.2 Tổng quan các nghiên cứu liên quan

Với sự phát triển của khoa học đo lường đánh giá, các cuộc đánh giá năng lực trên diện rộng ngày càng được quan tâm phát triển như một hệ quả tất yếu của tiến trình toàn cầu hóa Sự xuất hiện của Lý thuyết khảo thí hiện đại và các

mô hình thống kê của nó mang lại những ứng dụng hữu ích, đảm bảo xây dựng được những công cụ đánh giá đáp ứng cao nhất mục đích các cuộc đánh giá đặt

ra Những quy trình xây dựng công cụ đánh giá ngày càng được chuẩn hóa, độ giá trị, độ tin cậy của đề thi và từng câu hỏi thi được đặc biệt quan tâm Một trong những yêu cầu kỹ thuật như thế là vấn đề không cho phép câu hỏi thi mang lại kết quả đánh giá khác nhau một cách có hệ thống giữa các nhóm đối tượng được dự báo có mức năng lực tương đương nhau

Tuy ở hầu hết các cuộc đánh giá trên diện rộng, vấn đề câu hỏi thiên kiến

đã được đặt ra và giảm thiểu trong giai đoạn xây dựng công cụ khảo thí, nhiều nhà nghiên cứu vẫn rất quan tâm đến vấn đề này và tìm kiếm câu trả lời thông qua các nghiên cứu độc lập

Grisay và Monseur (2007)3 đã tiến hành những phân tích thống kê trên kết quả thi PISA năm 2000 – lĩnh vực đọc hiểu nhằm đo lường sự tương đương giữa 47 phiên bản (theo 47 ngôn ngữ) của đề thi Theo tác giả, sự tương đồng của các câu hỏi thi giữa các phiên bản có thể bị ảnh hưởng nặng nề từ công tác dịch thuật Khi đó, một câu hỏi có thể là khó hơn hoặc dễ hơn với một nhóm thí sinh này hay nhóm thí sinh khác, trong khi cấp độ năng lực đọc hiểu giữa các nước đó có thể không chênh nhau Khi có quá nhiều trường hợp như thế xuất hiện trong một chương trình đánh giá quốc tế, các quốc gia sẽ gánh hậu quả nặng nề khi sử dụng những kết quả đánh giá không chính xác, độ khó của câu

3 Grisay, A & Monseur, C (2007) Measuring equivalence of item difficulties in the various versions of an

international test Studies in Educational Evaluation, 33(1), 69-86

hỏi lúc này không phản ánh chính xác năng lực đọc hiểu của thí sinh trên thang năng lực

Sử dụng các phép phân tích hồi quy logit của Lý thuyết trả lời câu hỏi (Item Response Theory – IRT) để đánh giá độ khó của câu hỏi, dựa trên số liệu kết quả thi PISA, Grisay và Monseur (2007) đã chỉ ra một tỉ lệ nhất định các câu hỏi có tính chất DIF (câu hỏi thực hiện chức năng khác biệt) tồn tại giữa các quốc gia/nhóm quốc gia (phân chia theo tiêu chí của tác giả)

Từ những kết quả nghiên cứu, nhóm tác giả đưa ra một số đề xuất nhằm cải thiện, nâng cao tính tương đương của đề thi trong những kỳ thi tới, đặc biệt lưu ý tới công tác tổ chức dịch thuật và thích nghi hóa đề thi ở các quốc gia sử dụng chung một ngôn ngữ

Bên cạnh tác động của công tác dịch thuật, những nhân tố về văn hóa và thói quen sử dụng ngôn ngữ (một cách diễn đạt quen thuộc ở ngôn ngữ này nhưng lại không quen thuộc ở ngôn ngữ khác) cũng đã được phát hiện có thể là nguyên nhân làm cho câu hỏi thi PISA có độ khó khác nhau giữa một số quốc gia tham gia Wu (2009)4 trong một nghiên cứu nhằm so sánh mối tương đồng

về mặt nội dung của các bài thi toán giữa hai chương trình PISA và TIMSS (Chương trình đánh giá quốc tế năng lực toán học và khoa học), đã chỉ ra những

ví dụ cụ thể Quay trở lại phân tích ngôn ngữ sử dụng trong câu hỏi thi, tác giả

đã phát hiện, sở dĩ có kết quả trên là do sự chuyển tải ngôn ngữ từ tiếng Anh sang tiếng Trung Quốc của một cụm từ trong câu hỏi Việc dịch thuật hoàn toàn sát nghĩa, tuy nhiên cách diễn đạt đó không quen thuộc trong tiếng Trung Quốc

Tiến hành phân tích tương tự với hai nhóm quốc gia: phương Tây (bao gồm Úc, Anh, Mỹ) và phương Đông (bao gồm Hong Kong, Nhật Bản, Hàn Quốc), tác giả cũng tìm thấy một số câu hỏi có độ khó và độ phân biệt khác nhau giữa hai nhóm nước này Hơn nữa, độ phân biệt của câu hỏi này với học sinh ba nước phương Tây cũng thấp hơn học sinh ba nước phương Đông Trở lại với bối cảnh câu hỏi, tác giả bình luận: liệu bối cảnh có ảnh hưởng đến sự khác biệt về độ khó câu hỏi giữa hai nhóm học sinh này; phải chăng học sinh phương Tây làm đúng câu hỏi này không phải do kiến thức học được ở trường

mà do chủ đề này quen thuộc trong cuộc sống hàng ngày của chúng, còn với nhóm học sinh ba nước phương Đông thì ngược lại

Mở rộng nghiên cứu năm 2007 của mình, năm 2009, Grisay và Monseur

đã cùng với Gonzalez đánh giá sự tương đương về độ khó của các câu hỏi thi lĩnh vực đọc hiểu thuộc hai chương trình đánh giá quốc tế PIRLS và PISA, giữa các phiên bản dịch của các nước tham gia5 Lặp lại các bước phân tích với kết

4 Wu, M (2009) A critical comparison of the contents of PISA and TIMSS mathematics assessments Downloaded from the webite: www.edinformatics.com/timss/TIMSS_PISA_test.htm

5

Grisay, A Gonzalez, E & Monseur, C (2009) Equivalence of item difficulties across national versions of the PIRLS

and PISA reading assessment IERI monograph series: Issues and methodologies in large-scale assessment, Vol.2,

63-83

quả thi PIRLS6, các tác giả đã chỉ ra một kết quả tương tự như các câu hỏi thi đọc hiểu thuộc chương trình PISA: độ khó câu hỏi giữa các phiên bản không khác biệt nhau nhiều Tỷ lệ khác biệt còn lại gắn liền với ngôn ngữ sử dụng cho công cụ khảo sát Từ các lý giải liên quan đến ngôn ngữ và văn hóa được cho là nguyên nhân dẫn đến độ khó câu hỏi khác nhau giữa các nhóm quốc gia, các tác giả cho rằng các công cụ đánh giá trong các cuộc khảo sát trên diện rộng mang tầm quốc tế như PIRLS hay PISA vẫn cần tiếp tục hoàn thiện về phương diện nhạy cảm văn hóa và quy trình dịch thuật, đặc biệt đối với các phiên bản thuộc các nhóm ngôn ngữ khác biệt hoàn toàn so với ngôn ngữ gốc của công cụ đánh giá

Tại Hội đồng nghiên cứu giáo dục Úc – tổ chức chịu trách nhiệm xây dựng đề thi và phân tích kết quả đánh giá trong liên danh các nhà thầu quốc tế thực hiện Chương trình đánh giá quốc tế PISA, nhà nghiên cứu, TS Luc T Le

đã có những nghiên cứu và công bố khoa học quan trọng về câu hỏi thực hiện chức năng khác biệt - nguy cơ tiềm ẩn câu hỏi thi thiên kiến đối với một nhóm đối tượng nhất định, và tạo thuận lợi ghi điểm cho nhóm đối tượng khác Một trong số đó là nghiên cứu phát hiện câu hỏi trong lĩnh vực khoa học thực hiện chức năng khác biệt giữa hai giới ở một số nước và một số ngôn ngữ đánh giá7

Tác giả tính toán giá trị DIF giữa các hai nhóm nam và nữ của từng quốc gia và từng ngôn ngữ, tìm kiếm các câu hỏi có giá trị DIF đủ lớn và so sánh tỷ

lệ các câu hỏi có DIF đủ lớn giữa các nhóm ngôn ngữ và nhóm quốc gia Với các nhóm ngôn ngữ, nghiên cứu chỉ ra rằng: trung bình có 5,6% số câu hỏi khoa

học ưu ái nhóm học sinh nam và 2,8% câu hỏi ưu ái nhóm học sinh nữ Đi vào từng ngôn ngữ, tỷ lệ câu hỏi ưu ái nhóm học sinh nam hơn, hoặc ưu ái nhóm

học sinh nữ hơn càng tăng cao, cá biệt có những nhóm ngôn ngữ tỷ lệ này lên đến 49% Chỉ có khoảng 7% số câu hỏi hoàn toàn không bị ảnh hưởng bởi yếu

tố ngôn ngữ Tóm lại, ngôn ngữ sử dụng để đánh giá thực sự là một vấn đề cần lưu tâm đối với các chương trình đánh giá trên diện rộng để đảm bảo độ tin cậy

và độ giá trị của công cụ đánh giá năng lực

Chúng ta đã biết, trong các chương trình đánh giá quốc tế như PISA, TIMSS, PIRLS, bên cạnh bộ công cụ đánh giá năng lực học sinh, thông tin về phong cách học tập, thái độ làm bài thi của học sinh cũng được thu thập nhằm mang lại những kết luận đánh giá xác thực nhất về năng lực của học sinh Cũng giống như đề thi, những công cụ thu thập thông tin khảo sát này luôn được các

tổ chức khảo thí nghiên cứu xây dựng công phu để đảm bảo độ giá trị của công

cụ, giảm thiểu những thiên kiến của học sinh khi trả lời câu hỏi

6 PIRLS – Progress in International Reading Literacy Studies: Chương trình đánh giá kỹ năng đọc hiểu quốc tế, đối tượng khảo sát là học sinh lớp 4

7 Le, Luc T (2009) Investigating Gender Differential Item Functioning Across Countries and Test Languages for PISA

Science Items International Journal of Testing, 9:2, 122 – 133

Sử dụng mô hình Rasch và dữ liệu từ kỳ thi thử PISA 2006, Walker (2007)8 đã chỉ ra: tồn tại một mối tương quan giữa văn hóa và xu hướng trả lời các câu hỏi khảo sát thiết kế theo thang Likert ở học sinh dự thi PISA Một câu hỏi khảo sát về sự yêu thích các môn khoa học của học sinh, với thang đo từ

hoàn toàn không đồng ý, không đồng ý, phân vân, đồng ý, hoàn toàn đồng ý, thì

việc lựa chọn câu trả lời không hoàn toàn bị chi phối bởi niềm yêu thích môn khoa học của học sinh mà có phần nào từ yếu tố văn hóa nền của học sinh đó

Tóm lại, cho dù đã được xây dựng công phu, các công cụ đánh giá chuẩn hóa dùng trong các chương trình đánh giá năng lực học sinh quốc tế như TIMSS, PIRLS, PISA vẫn không thể không tránh khỏi nguy cơ gây nên hiện tượng thiên kiến, có thể dẫn tới kết quả đánh giá không phản ánh hoàn toàn chính xác năng lực của học sinh Hiện tượng này đặc biệt dễ xảy ra với các chương trình đánh giá quốc tế bởi sự tham gia của nhiều nước, nhiều vùng lãnh thổ, có các điều kiện kinh tế, chính trị, xã hội, văn hóa rất khác nhau, và hơn cả

là bởi công cụ đo được dịch thuật từ ngôn ngữ gốc sang các ngôn ngữ giảng dạy

ở các nước

Việt Nam năm 2012 lần đầu tiên tham gia Chương trình đánh giá học sinh quốc tế PISA Là một nước đang phát triển có chỉ số phát triển con người ở mức trung bình (theo số liệu thống kê của Chương trình phát triển Liên hợp quốc – UNDP), không thuộc khối OECD, và có nền văn hóa với nhiều đặc trưng khác biệt so với các nước phương Tây, một vấn đề cần quan tâm liên quan đến việc Việt Nam tham gia Chương trình PISA là liệu câu hỏi thi PISA

có tiềm ẩn những nguy cơ thiên kiến với các nhóm nước có điều kiện kinh tế -

xã hội, văn hóa, ngôn ngữ tương đồng với Việt Nam

Ở phạm vi thực hiện luận văn tốt nghiệp chương trình đào tạo Thạc sĩ

chuyên ngành Đo lường và Đánh giá trong Giáo dục, Đề tài có tên “Nghiên cứu mức độ đáp ứng của học sinh các nước không thuộc khối OECD và học sinh Việt Nam với Chương trình đánh giá quốc tế PISA” sẽ bước đầu

chỉ ra những dẫn chứng thống kê, chứng minh cho khả năng tồn tại hoặc không tồn tại những nguy cơ tiềm ẩn gây nên tính thiên kiến của các câu hỏi thi PISA với học sinh Việt Nam Kết quả nghiên cứu sẽ là cơ sở cho những nghiên cứu sâu và rộng hơn về tình trạng thiên kiến, nguyên nhân và giải pháp khắc phục, đặc biệt trong giai đoạn dịch thuật và thích nghi hóa tài liệu thi PISA

Chương II: LÝ THUYẾT ĐÁNH GIÁ

2.1 Khái niệm đánh giá trong giáo dục

Theo Griffin (1993)9, đánh giá là một sự mô tả, bao gồm các hoạt động

thu thập thông tin minh chứng về thành quả học tập của học sinh và diễn giải ý nghĩa thông tin minh chứng đó, MÔ TẢ thành quả học tập của học sinh dựa

trên sự diễn giải Định nghĩa này nói lên bản chất của hoạt động đánh giá mà không đề cập mục đích của hoạt động

Với tác giả Đỗ Công Tuất (2000)10

thì “đánh giá là quá trình hình thành những nhận định, phân đoán về kết quả của công việc, dựa vào sự phân tích những thông tin thu được, đối chiếu với những mục tiêu, tiêu chuẩn đã đề ra, nhằm đề xuất những quyết định thích hợp để cải tạo thực trạng, điều chỉnh nâng cao chất lượng và hiệu quả công việc” Định nghĩa này có lẽ đã nghiêng về khái

niệm đánh giá – evaluation, với bản chất nổi bật là nhận định và phán đoán Tác giả cũng đã đề cập mục tiêu cuối cùng của hoạt động đánh giá là điều chỉnh

nâng cao chất lượng và hiệu quả

Chương trình hiệu quả dạy học thuộc Trung tâm dạy và học, Đại học

Oregon11, Canada lại đưa ra định nghĩa: “đánh giá là quá trình thu thập và thảo luận về thông tin từ nhiều nguồn khác nhau nhằm có được một sự hiểu biết sâu sắc về những điều người học biết, hiểu và có thể làm với kiến thức của mình, như là kết quả của quá trình học tập của học; đỉnh điểm của quá trình đánh giá

là kết quả đánh giá được sử dụng để nâng cao chất lượng hoạt động học sẽ diễn

ra tiếp theo” Định nghĩa không đề cập bản chất của quá trình đánh giá là xử lý thông tin thu thập được, nhưng đã cho một khái niệm cụ thể, theo đó mục tiêu cuối cùng, cao nhất của hoạt động đánh giá đã được nêu rõ: nâng cao chất lượng học tập

Định nghĩa sau được cho là khá hoàn chỉnh khi đề cập tương đối đầy đủ những ý nghĩa trên của hoạt động đánh giá:

Đánh giá trong giáo dục được định nghĩa là quá trình thu thập thông tin để đưa ra những quyết định giáo dục liên quan tới học sinh, để phản hồi cho học sinh về sự tiến bộ, những điểm mạnh và điểm tồn tại trong học tập của chúng, để đưa ra phán quyết về hiệu quả của công tác giảng dạy và sự phù hợp của chương trình

đào tạo, và cuối cùng là để cung cấp thông tin xây dựng chính sách (AFT,

NCME, NEA, 1990: 1) 12

2.2 Các dạng thức đánh giá

2.2.1 Đánh giá tổng kết và đánh giá quá trình

Michael Scriven (1967) đưa ra các khái niệm đánh giá quá trình (formative assessment) và đánh giá tổng kết (summative assessment) Từ kinh

nghiệm nghiên cứu về tâm lý học, Scriven nhận thấy cốt lõi của hoạt động đánh giá đúng là đo lường, nhận xét về giá trị của một con người, một sự kiện, hiện tượng … Tuy nhiên, cách người ta sử dụng kết quả đánh giá thì hoàn toàn không giống nhau Gắn với hoạt động đánh giá trong dạy học, sau này nhiều nhà nghiên cứu khác như Reedy (1995)13

; Raths and Lyman (2003)14; Stiggins

10 Đỗ Công Tuất (2000) Giáo trình Đánh giá trong giáo dục Trường Đại học An Giang

11 http://tep.uoregon.edu/workshops/teachertraining/learnercentered/assessing/definition.html

12 AFT (Liên đoàn giáo viên Hoa Kỳ), NCME (Hội đồng quốc gia về đo lường trong giáo dục), NEA (Hiệp hội giáo dục quốc gia)

(1990) Teacher Competence in Educational Assessment of Students USA

13

Reedy, R (1995) Formative and Summative Assessment: A Possible Alternative to the Grading - Reporting Dilemma NASSP

Bullentin 79: 47 - 51.

(2005)15; Chappuis & Chappuis (2007; 2008)16; Taras (2008)17 đều thống nhất

rằng đánh giá quá trình hay đánh giá tổng kết, tên gọi của nó không phụ thuộc

bản thân hoạt động đánh giá mà phụ thuộc cách người ta sử dụng kết quả đánh

giá Một cách khái quát, có thể hiểu:

- Đánh giá tổng kết là khi kết quả đánh giá được sử dụng để đi đến một

nhận định mang tính đo lường, chẳng hạn như cho điểm người học, đo lường hiệu quả của chương trình đào tạo, hay mức độ thành công của nhà trường;

- Đánh giá quá trình diễn ra ngay trong quá trình đào tạo, cung cấp thông

tin cho người học và người dạy nhằm cải tiến, điều chỉnh hoạt động dạy

và học của họ cho phù hợp hơn

Một cách diễn đạt đơn giản hơn, đánh giá quá trình là đánh giá CHO hoạt

động học (assessment FOR learning), còn đánh giá tổng kết là đánh giá CHÍNH hoạt động học (assessment OF learning)

2.2.2 Đánh giá tham chiếu tiêu chí và đánh giá tham chiếu nhóm chuẩn

Lịch sử ngành khoa học đánh giá chứng kiến một cách phân loại các bài kiểm tra/thi đánh giá năng lực người học dựa trên sự tham chiếu nội dung khi

thiết kế đề thi/kiểm tra, đó là: đề thi/kiểm tra tham chiếu nhóm chuẩn

(norm-referenced tests) và đề thi/kiểm tra tham chiếu tiêu chí (criterion-(norm-referenced tests)

Theo Kubiszyn & Borich (2003)18, một bài thi tham chiếu nhóm chuẩn sẽ cung cấp cho ta thông tin về vị trí của một thí sinh so với các thí sinh khác, tức

là cho ta thông tin về thứ hạng của thí sinh

Với bài thi tham chiếu theo tiêu chí, kết quả đánh giá sẽ cho ta thông tin

về cấp độ một thí sinh làm chủ những kiến thức, kỹ năng nhất định mà cuộc đánh giá quan tâm Ở đây, năng lực của thí sinh không được so sánh với mức

độ trung bình của mẫu đánh giá mà so sánh với một chuẩn đã xác định – gọi là tiêu chí

2.2.3 Đánh giá dựa trên chương trình và Đánh giá dựa trên năng lực

Đánh giá dựa trên chương trình (CBA – Curriculum Based Assessment), theo Deno (1987) là “một tập hợp các quy trình đo lường, trong đó hoạt động học tập của học sinh trong một chương trình đào tạo được trực tiếp quan sát và ghi chép lại, và được sử dụng làm cơ sở để giáo viên đưa ra những quyết định trong quá trình dạy học” (in Hall & Mengel, 2002)19 Đánh giá dựa trên chương

Stiggins, R (December 2005) From Formative Assessment to Assessment FOR Learning: A Path to Success in Standards- Bases

Schools Phi Delta Kappan 87(4): 324-328.

Kubiszyn, T & Borich, G (2003) Educational Testing and Measurement: Classroom Application and Practice John Wiley &

Sons, Inc Singapore.

19

Hall, T & Mengel, M (June 2002) Curriculum-Based Evaluations NCAC Effective Classroom Practices NCAC USA

downloaded from NCAC website on 11 July 2010

trình là một hình thức đánh giá liên tục, trong đó hoạt động hàng ngày của học sinh liên quan đến nội dung giảng dạy được theo dõi định kỳ

Đánh giá dựa trên năng lực (Competence – based assessment), theo Grant

et al (1979) “là loại hình đánh giá được xây dựng dựa trên một bảng trọng số các kết quả đầu ra; các kết quả đầu ra mong đợi, khái quát và cụ thể được đề cập rõ ràng, giúp người đánh giá, học sinh và các đối tượng quan tâm đưa ra những phán quyết tương đối khách quan về việc học sinh đạt được hay không đạt được kết quả đầu ra mong muốn; đồng thời chứng nhận sự tiến bộ của học sinh thông qua việc học sinh thể hiện được đến đâu những kết quả mong đợi này

2.2.4 Hệ thống đánh giá và vai trò, vị trí của khảo sát/đánh giá trên diện

rộng

Hệ thống đánh giá đã được TS Anil Kanjee20

khái quát bao gồm 4 cấu phần: Đánh giá trong lớp học, các kỳ thi nội bộ, các kỳ thi bên ngoài, và các cuộc khảo sát/đánh giá trên diện rộng Các hoạt động đánh giá thuộc cả 4 cấu phần đều lấy việc thu thập và sử dụng thông tin minh chứng làm trung tâm

Đánh giá trên diện rộng không tập trung tìm kiếm thông tin về năng lực của từng thí sinh mà dựa trên kết quả đánh giá của toàn thể thí sinh trong mẫu đại diện, cuộc đánh giá cung cấp thông tin về trình độ năng lực hay kết quả học tập của cả một hệ thống (hay một bộ phận của hệ thống) giáo dục Kết quả những cuộc khảo sát/ đánh giá trên diện rộng như PISA, TIMSS, PIRLS, FASEC, SACMEQ21 là cơ sở quan trọng để chính phủ xem xét điều chỉnh, hoạch định chính sách giáo dục cho phù hợp

2.3 Lý thuyết khảo thí cổ điển và Lý thuyết trả lời câu hỏi

2.3.1 Lý thuyết khảo thí cổ điển

Lý thuyết khảo thí cổ điển giới thiệu ba khái niệm cơ bản: điểm đánh giá (là điểm số thu được căn cứ trên kết quả làm bài thi của một cá nhân), điểm thực (là điểm phản ánh năng lực của cá nhân) và điểm sai số (là một giá trị sai

số ngẫu nhiên, không liên quan đến năng lực của cá nhân) Với ba khái niệm về điểm số như trên, những mô hình lý thuyết khác nhau đã được phát triển, trong

đó có một mô hình phổ biến nhất, vẫn thường được gọi là “mô hình khảo thí cổ điển” Mô hình này giả định: điểm đánh giá (điểm thô, điểm mà ta quan sát được, ký hiệu X) bao gồm hai cấu phần: điểm thực (ký hiệu T) và điểm sai số (ký hiệu E):

Như vậy, với mỗi thí sinh, điểm thực (T) và điểm sai số (E) là các thành phần không thể xác định Để xác định T và E, người ta đặt ra ba giả thiết quan trọng:

- Điểm thực và điểm sai số không tương quan với nhau;