Đo lường và đánh giá hoạt động học tập trong các trường cao đẳng, đại học

Khác biệt về Đánh giá tiêu chuẩn hóa quy mô lớn Đánh giá ở lớp học Mục đích Hiểu và phân loại, giữ tiêu chuẩn Phạm vi Các năng lực tách biệt của SV Có thể kết hợp nhiều năng lực Liên

ĐO LƯỜNG VÀ ĐÁNH GIÁ

HOẠT ĐỘNG HỌC TẬP

trong các trường cao đẳng, đại học

LÂM QUANG THIỆP

Phone: 04.35146068 E-mail: lqthiep@gmail.com

4 Sơ bộ về phương pháp trắc nghiệm khách quan

5 Về 2 lý thuyết trắc nghiệm cổ đển và hiện đại

6 Đánh giá trong trường đại học, cao đẳng

7 Minh họa về việc áp dụng các phương pháp đánh giá

Kết luận

I MỘT SỐ CÁCH PHÂN LOẠI QUAN TRỌNG

ĐỐI VỚI ĐÁNH GIÁ TRONG GI ÁO DỤC

1 TRONG MỘT HỆ THỐNG GIÁO DỤC CÓ HAI

LOẠI HÌNH ĐÁNH GIÁ:

 Đánh giá tiêu chuẩn hóa quy mô lớn (large-scale

standardized assessment)

 Đánh giá ở lớp học (classroom assessment)

(Xem bảng sau đây)

Khác biệt

về Đánh giá tiêu chuẩn hóa quy mô lớn Đánh giá ở lớp học

Mục đích Hiểu và phân loại, giữ tiêu chuẩn

Phạm vi Các năng lực tách biệt của SV Có thể kết hợp nhiều năng lực

Liên tục, chủ quan và khách quan, việc đối sánh không quan trọng

Kết quả Điểm số Điểm số, mô tả, phán xét, đánh giá

khái quát

Người sử

dụng chính

Người làm chính sách, SV… Các nhà quản lý, SV, GV

2 DỰA VÀO MỤC ĐÍCH, ĐÁNH GIÁ CÓ THỂ ĐƯỢC CHIA 3 LOẠI LỚN

 Đánh giá chẩn đoán (Diagnostic assessment)

 Đánh giá trong tiến trình (Formative assessment - gọi

gần đúng là Assessment FOR learning)

 Đánh gía tổng kết (Summative Assassment - gọi gần

đúng là Assessment OF learning )

(Xem bảng sau đây)

Khác biệt

về

Assessment FOR Learning Assessment OF Learning

Mục đích Nhận thông tin phản hồi để cải iến

việc dạy và học, giúp SV tiến bộ. Đo trạng thái kết quả học tập ở một thời điểm để báo cáo, thực hiện

trách nhiệm giải trình

Tập trung

vào

Các mục tiêu tùy GV xác định Các mục tiêu học tập cụ thể - chuẩn

đầu ra do chương trình quy định

Thời điểm Cả quá trình trong khi học tập Một sự kiện sau khi học tập

II PHÂN LOẠI MỤC TIÊU GIÁO DỤC

 Ba lĩnh vực của mục tiêu giáo dục (B Bloom)

Benjamin Samuel Bloom

(1913-1999)

1 Lĩnh vực nhận thức

(Benjamin Bloom -1956)

Đánh giá (Evaluation )

Tổng hợp (Synthesis )

Phân tích (Analysis)

Áp dụng (Application) Hiểu

(Comprehension )

Biết (Knowledge )

1 Lĩnh vực nhận thức

(điều chỉnh bởi Anderson/Krathwohl-2001)

Sáng tạo (Create)

Đánh giá (Evaluate)

Phân tích (Analyse)

Áp dụng (Apply)

Hiểu (Understand) Biết

(Remember )

1 Lĩnh vực nhận thức

(2 chiều)

Loại kiến thức

2 Lĩnh vực tình cảm, thái độ

(Krathwohl-1964)

Đặc trưng hóa (Characterisati

on)

Tổ chức (Organisation)

Chấp nhận giá trị

(Valuing)

Đáp ứng (Responding) Tiếp nhận (Receiving)

3 Lĩnh vực vực kỹ năng

(R.H Dave -1970)

Tự nhiên hóa (Naturalization)

Biết phối hợp (Articulation)

Thực hiện đúng (Precision)

Biết thao tác (Manipulation)

Bắt chước (Imitation)

III CÁC PHƯƠNG PHÁP ĐÁNH GIÁ

 Đánh giá thực hành (performance assessment)

 Đánh giá qua giao tiếp (personal communication)

2 Các nhóm mục tiêu học tập cụ thể:

Từ các phân loại 3 lĩnh vực mục tiêu giáo dục theo Bloom, có thể gộp vào 5 nhóm mục tiêu học tập cụ thể (learning targets) như sau:

 Các mục tiêu cụ thể về nhận thức (Knowledge Targets)

 Các mục tiêu cụ thể về suy luận (Reasoning Targets)

 Các mục tiêu cụ thể về kỹ năng (Skill Targets)

 Các mục tiêu cụ thể về sản phẩm (Product Targets)

 Các mục tiêu cụ thể về tình cảm, thái độ (Dispositional

Targets)

3 Tương quan giữa phương pháp đánh giá

4 So sánh trắc nghiệm khách quan

và tự luận

 Chống các xu hướng cực đoan, cần có đủ hiểu biết

và giữ cân bằng giữa các phương pháp đánh giá

4 So sánh trắc nghiệm khách quan

và tự luận

5 Về chất lư ợng chung của việc đánh giá ư

bằng TNKQ và tự luận

- Nói chung chất l ượng của việc đánh giá bằng ư

TNKQ chủ yếu phụ thuộc vào đề, còn chất lượng của việc đánh giá bằng tự luận chủ yếu phụ thuộc

vào người chấm.

- Xu hư ớng tăng tính khách quan đối việc chấm ư bài tự luận nhờ các đáp án và thang điểm chi tiết

và hậu quả có thể xảy ra: biến đề tự luận thành một đề trắc nghiệm tồi.

IV SƠ BỘ VỀ PHƯƠNG PHÁP TRẮC

1 CÁC CHỈ SỐ (CỔ ĐIỂN) ĐỂ ĐÁNH GIÁ MỘT CÂU HỎI HOẶC MỘT ĐỀ TRẮC NGHIỆM

Độ khó

Độ phân biệt

Độ tin cậy (mức độ chính xác của phép đo)

Độ giá trị (mức độ đạt mục tiêu của phép đo: đo được cái cần đo)

2 QUY TRèNH RèNH XÂY DỰNG MỘT NHCH HOẶC MỘT ĐỀ TNKQ TIấU CHUẨN HểA

Đề trắc nghiệm và ngân hàng câu hỏi trắc nghiệm Xác định mục tiêu cụ thể (ma trận kiến thức);

Cá nhân tự viết câu hỏi;

Trao đổi trong nhóm;

Duyệt lại câu hỏi;

*Thí dụ về bảng đặc trưng của một đề thi Toán

*Mẫu bảng đặc trưng đề thi thường dùng

ở nước ta

Mục tiêu học tập cụ thể

Nội dung

Nhận biết Thông hiểu Vận dụng mức thấp Vận ụng mức cao Tổng cộng

abc

…

…

Tổng cộng

* CÊu tróc cña c©u tr¾c nghiÖm

1 LÝ THUYẾT TRẮC NGHIỆM CỔ ĐIỂN

(CLASICAL TEST THEORY - CTT):

Được xây dựng từ đầu thế kỷ 20 và hoàn thiện dần cho đến thập niên 1970

Gặp một số trở ngại, đặc biệt là do sự phụ thuộc của các đặc trưng của câu hỏi (CH) vào mẫu thử, gây

khó khăn cho việc xây dựng các đề trắc nghiệm

(ĐTN) thật sự tương đương và việc xác định sai số của phép đo

V VỀ HAI LÝ THUYẾT TRẮC NGHIỆM

CỔ ĐIỂN VÀ HIỆN ĐẠI

2 LÝ THUYẾT TRẮC NGHIỆM HIỆN ĐẠI

(Lý thuyết Ứng đáp Câu hỏi - Item Response Theory -

IRT):

Phát triển mạnh từ thập niên 1970 của thế kỷ 20, được hỗ trợ bởi công nghệ tính toán nhờ computers;

Đạt những thành tựu quan trọng tăng độ chính xác của

phép đo lường trong giáo dục

IRT là cơ sở của mọi phép đo lường trong khoa học hành

vi liên quan đến phản ứng của con người với phép thử, do

đó là chỗ dựa của một ngành công nghiệp về trắc nghiệm

rất đồ sộ ở Mỹ và một số nước khác

3 VỀ Lí THUYẾT TRẮC NGHIỆM HIỆN ĐẠI

(Lý thuyết Ứng đỏp Cõu hỏi - IRT)

1) Thiết kế một phép đo: lập thang đo và tạo thư ớc đo, định cỡ ư

thước đo.

Yêu cầu của một phép đo nói chung: mẫu để so không ảnh hưởng lên

việc định cỡ thước đo, m t thước đo cụ thể không ảnh hưởng lên ộ thuộc tính của đối tượng được đo

Đối với đề trắc nghiệm: mẫu thử khác nhau không làm thay đổi tham

số CH trắc nghiệm, các ĐTN khác nhau không ảnh hưởng lờn

kết quả năng lực đo được.

2) Cách tiếp cận của Rasch (Mô hình Rasch):

- Xác định các tương tác nguyên tố ‘thí sinh-câu hỏi’ (TS-CH)

- Xây dựng thang đo chung cho năng lực TS θ và độ khó CH b

- Xây dựng hàm ứng đáp câu hỏi (IRF) cho mối tương tác nguyên

tố TS-CH theo quan điểm xác suất

* Giả thiết cơ bản của Rasch để xây dựng hàm ứng

đáp câu hỏi (Item Response Function - IRT):

“Một người có năng lực hơn một người khác thì xác

suất trả lời đúng một câu hỏi bất kỳ của người đó phải

lớn hơn của người sau, cũng tương tự như vậy, một

câu hỏi khó hơn một câu hỏi khác thì xác suất để một

người bất kỳ trả lời đúng câu hỏi đó phải nhỏ hơn so

với câu hỏi sau" (Rasch, 1960).

Từ đó : Xác suất trả lời đúng một câu hỏi phụ thuộc hiệu

số năng lực thí sinh và độ khó câu hỏi, tức là hiệu số

(θ - b)

Đuờng cong đặc trưng câu hỏi (ICC)

(cho mô hình một tham số mô hình Rasch) ô hình một tham số mô hình Rasch)––

1

BiÓu thøc IRF cho m« h×nh mét tham sè:

1

] e

3) Các mô hình IRF 1, 2, 3 tham số

] e

[1

e )

- 2 tham số: ( )

e [1

e )

(

P

i i

i i

b a

b a

- 3 tham số: ( )

( ) ] e

[1

e )

(

P

i i

i i

b a

b a

i i

−

+

−+

4 Các hệ quả quan trọng của

Lý thuyết ứng đáp câu hỏi (IRT)

 Kết quả việc định cỡ không phụ thuộc vào mẫu thí sinh (sample-free ) và kết quả việc xác định năng lực không

phụ thuộc vào đề trắc nghiệm cụ thể (item-free) - đó là

các bất biến (invariance).

 Đây là tính chất rất quan trọng áp dụng cho phương pháp chọn mẫu (sampling), lập ngân hàng câu hỏi

(item-banking) và thiết kế các đề trắc nghiệm (test

design)

5 Về việc áp dụng IRT ở nước ta

Đường cong điểm

) ( 1

) ( θ θ

) ( )

(

)

( )

(

2 '

θ θ

θ θ

i i

i i

Q P

P

I =

 Các đặc trưng quan trọng của ĐTN:

Các đường cong đặc trưng CH và hàm thông tin tương ứng

- Ví dụ CH 9:

Toàn bộ các ICC của ĐTN

Hàm thông tin ĐTN

Tương quan năng lực TS – độ khó CH

V ĐÁNH GIÁ TRONG TRƯỜNG ĐH, CĐ:

1 SỬ DỤNG CÁC PHƯƠNG PHÁP ĐÁNH GIÁ

Ưu tiên dùng TNKQ đối với các học phần:

- Đông SV học, đông GV dạy.

- Các môn các năm dưới, chưa đòi hỏi nhiều tư duy sáng tạo ở mức độ cao.

- Khó hoàn thành chấm bài nhanh trong thời hạn cần thiết.

Ưu tiên dụng TL đối với các học phần:

- SV không quá đông;

- Đòi hỏi nhiều tư duy sáng tạo, giải quyết vấn đề đôi TNKQ

trong tiến trình (trắc nghiệm giảng viên dùng ở lớp học):

- Giảng viên đảm bảo chấm bài tốt.

Có thể kết hợp bài TNKQ và vài câu TL ngắn (hạn chế số từ) Đối với các học phần chuyên đề ít SV có thể dùng phương pháp đánh gía vấn đáp

2 TRẮC NGHIỆM KHÁCH QUAN TRONG

TRƯỜNG ĐH, CĐ

Với 2 loại đánh giá trong tiến trình và tổng kết có hai cách

áp dụng trắc nghiệm Đánh giá trong tiến trình cần đa dạng và

gắn với người dạy, đánh giá tổng kết cần chính xác và tách khỏi người dạy.

TNKQ trong tiến trình (trắc nghiệm giảng viên dùng ở lớp học):

- Các CH tự viết hoặc sưu tầm, có thể chưa định cỡ;

- ĐTN ngắn, kiểm tra một số ít chủ đề;

- Chủ yếu cung cấp thông tin phản hồi đề điều chỉnh việc dạy và

học, không xếp hạng, không cho điểm, không thu đề;

- Nên trả bài nhanh, chọn một số CH làm chung ở lớp;

- Phần mềm giúp phân tích và trả bài sinh động;

- Nếu cần đánh giá có thể dùng điểm thô.

2 TRẮC NGHIỆM KHÁCH QUAN TRONG

TRƯỜNG ĐH, CĐ TNKQ tổng kết (kiểu trắc nghiệm tiêu chuẩn hóa):

- NHCHTN phải được xây dựng đúng quy trình, được định cỡ…để kết quả đánh giá tổng kết chính xác;

- Nhà trường nên xây dựng NHCHTN một số môn sở

trường, nên phối hợp trao đổi nhiều trường hoặc mua các NHCHTN tiêu chuẩn hóa

- Thiết kế ĐTN đúng quy trình: theo ma trận kiến thức và theo các hàm thông tin mong muốn (phần mềm TESTPRO giúp thực hiện);

- Thiết kế các ĐTN tương đương cho nhiều khóa học;

- Phải giữ bí mật NHCHTN và thu lại ĐTN sau mỗi lần thi.

- Nên cho điểm tính theo giá trị chuyển đổi của năng lực θ

3 VỀ CÁC CÔNG CỤ VÀ DỊCH VỤ EDTECH-VN

CÓ THỂ HỖ TRỢ

Các phần mềm trắc nghiệm: TESTPRO,

TestSheetReader, VITESTA, các máy quét

quang học công suất khác nhau

Các ngân hàng CHTN tiêu chuẩn hóa cho các

kỳ thi tổng kết (chuyển giao, phối hợp xây

dựng).

Dịch vụ thi thử để tập dượt và công nghệ trả bài cho từng thí sinh

VII MINH HỌA VỀ VIỆC ÁP DUNG

2 TRấN THẾ GIỚI

TUYỂN SINH ĐAI HOC

Hoa kỳ: SAT và ACT

Nhật bản: Trung tâm quốc gia thi tuyển đại học với kỳ thi chung

31 môn bằng TNKQ

Hàn quốc: Từ 1980 thay việc thi tuyển đại học riêng rẻ ở các

Thái lan : Kỳ thi tuyển đại học liên kết trong cả nước và cải cách năm 1999: thi 2 lần trong một năm bằng TNKQ;

Trung quốc: Từ 1988 tổ chức thi tuyển đại học thống nhất cả nư

ớc vào đầu tháng 7 chủ yếu bằng TNKQ

Nga: Từ 2003 60% học sinh tốt nghiệp phổ thông trung học

tuyển đại học) trên cả liên bang sau lớp 11

VÝ dô vÒ kÕt qu¶ tr¾c nghiÖm SAT theo các nhóm chủng tộc ở Hoa Kỳ

VÝ dô vÒ kÕt qu¶ tr¾c nghiÖm ACT

theo các nhóm chủng tộc ở Hoa Kỳ, 2008

Sơ đồ Thế giới Việc làm theo ACT

3 Ở VIỆT NAM

TUYỂN SINH ĐẠI HỌC

1 Về chất lư ợng thi tuyển đại học bằng đề tự luận ư

2 Cải tiến thi tuyển đại học có sử dụng TNKQ ở Đà lạt 1996:

- Tiến trình chuẩn bị và thực hiện;

- Số thí sinh chọn TNKQ và lý do;

- Số trường hợp vi phạm quy chế thi.

- Kết luận của Hội nghị rút kinh nghiệm 9/1996 và sự trì trệ

Phụ lục: Về độ giá trị của kỳ thi tuyển đại học

và kỳ thi tốt nghiệp phổ thông trung học

( vài kết quả nghiên cứu thống kê)

Mẫu nghiên cứu: Tr ường ĐHKHTN ĐHQG HCM, ư

960 sv khóa tuyển 1995, 1986 sv khóa 1996.

Kết quả nghiên cứu:

-Tương quan giứa kết quả thi Tuyển sinh đại học với kết quả học tập GĐ1 là 0,257, thấp hơn nhiều so với thông lệ được quốctê quốc tế chấp nhận (0,5-0,6)

PHÂN BỐ ĐIỂM THI TUYỂN ĐẠI HỌC

NĂM 2002

(b¸o Tuæi trÎ 4/9/2003)

PHÂN BỐ ĐIỂM THI TUYỂN ĐẠI HỌC

NĂM 2003

(b¸o Tuæi trÎ 4/9/2003)

KẾT LUẬN

Có một khoa học trực tiếp liên quan đến giáo dục mà

ở nước ta dường như còn bỏ trống: khoa học về đo

lường trong giáo dục;

Giáo dục nước ta yếu về mọi mặt, muốn nâng giáo

dục lên toàn diện cấn rất nhiều tiền, mà ta “lực bất tòng tâm”…

Vậy phải chọn nơi nào để đầu tư không quá tốn kém mag khả dĩ có thể nâng cao nhanh chóng chất lượng giáo dục?

Tâm lý học sinh Việt Nam “thi thế nào học thế ấy” -> phải chăng nên chọn nút bấm ở việc cải cách thi cử

theo khoa học về đo lường trong giáo dục?

Sự trì trệ của hệ thống giáo dục và việc huy động

nguồn lực và trí tuệ của toàn xã hội đóng góp.