Lý thuyết ứng đáp câu hỏi

Tiếp đến, chọn một thuộc tính của CH để đối sánh với năng lực: tham số biểu diễn thuộc tính quan trọng nhất đó là độ khó b của CH cần lưu ý là đại lượng độ khó ở đây sẽ được xác định khá

Trang 1

Lý thuyết Ứng đáp Câu hỏi

Lý thuyết Ứng đáp Câu hỏi (Item Response eory

-IRT) là một lý thuyết của khoa học vềđo lường trong

giáo dục, ra đời từ nửa sau của thế kỷ 20 và phát

triển mạnh mẽ cho đến nay Trước đó,Lý thuyết Trắc

nghiệm cổ điển(Clasical Test eory – CTT), ra đời từ

khoảng cuối thế kỷ 19 và hoàn thiện vào khoảng thập

niên 1970, đã có nhiều đóng góp quan trọng cho hoạt

động đánh giá trong giáo dục, nhưng cũng thể hiện một

số hạn chế Các nhàtâm trắc học(psychometricians)

cố gắng xây dựng một lý thuyết hiện đại sao cho khắc

phục được các hạn chế đó Lý thuyết trắc nghiệm hiện

đại được xây dựng dựa trên mô hình toán học, đòi hỏi

nhiều tính toán, nhưng nhờ sự tiến bộ vượt bậc của

công nghệ tính toán bằng máy tính điện tử vào cuối

thế kỷ 20 – đầu thế kỷ 21 nên nó đã phát triển nhanh

chóng và đạt được những thành tựu quan trọng

Để đánh giá đối tượng nào đó CTT tiếp cận ở cấp độ

một đề kiểm tra, còn lý thuyết trắc nghiệm hiện đại tiếp

cận ở cấp độ từng câu hỏi, do đó lý thuyết này thường

được gọi là Lý thuyết Ứng đáp Câu hỏi Trong số các nhà

nghiên cứu có nhiều đóng góp ban đầu cho IRT có thể

kể các tên Lord, F.M.[1]; Rasch, G.[2], Wright, B.D.[3].v.v

đối với mô hình đơn chiều

Chúng ta sẽ quy ước gọi một con người có thuộc tính

cần đo lường là thí sinh (person -TS) và một đơn vị của

công cụ để đo lường (test) là câu hỏi (item –CH) Để

đơn giản hóa cho mô hình nghiên cứu xuất phát có thể

đưa ra các giả thiết sau đây:

- Năng lực tiềm ẩn (latent trait) cần đo chỉ có một chiều

(unidimensionality), hoặc ta chỉ đo một chiều của năng

lực đó

- Các CH là độc lập địa phương (local independence),

tức là việc trả lời một CH không ảnh hưởng đến các

CH khác

Khi thỏa mãn hai giả thiết nêu trên thì không gian năng

lực tiềm ẩn đầy đủ chỉ chứa một năng lực Khi ấy, người

ta giả định là có một hàm đặc trưng câu hỏi (Hàm ĐTCH

- Item Characteristic Function) phản ánh mối quan hệ

giữa các biến không quan sát được (năng lực của TS)

và các biến quan sát được (việc trả lời CH) Đồ thị biểu

diễn hàm đó được gọi là đường cong đặc trưng câu hỏi

(Đường cong ĐTCH - Item Characteristic Curve)

Đối với các cặp TS – CH, cần xây dựng một cái thang

chung để biểu diễn các mối tương tác giữa chúng Trước hết giả sử ta có thể biểu diễn năng lực tiềm ẩn của các

TS bằng một biến liên tục θ dọc theo một trục, từ –∞ đến +∞ Khi xét phân bố năng lực của một tập hợp TS nào đó, ta gán giá trị trung bình của phân bố năng lực của tập hợp TS đó bằng không (0), làm gốc của thang

đo năng lực, và độ lệch tiêu chuẩn của phân bố năng lực bằng 1 Tiếp đến, chọn một thuộc tính của CH để đối sánh với năng lực: tham số biểu diễn thuộc tính

quan trọng nhất đó là độ khó b của CH (cần lưu ý là

đại lượng độ khó ở đây sẽ được xác định khác với trong CTT) Cũng theo cách tương tự có thể biểu diễn độ khó của các CH bằng một biến liên tục dọc theo một trục,

từ –∞ đến +∞ Khi xét phân bố độ khó của một tập hợp

CH nào đó, ta chọn giá trị trung bình của phân bố độ khó đó bằng không (0), làm gốc của thang đo độ khó,

và độ lệch tiêu chuẩn của phân bố độ khó CH bằng 1 Chúng ta sẽ bắt đầu bằng cách xây dựng một hàm đáp ứng CH cho một CH nhị phân, tức là CH mà câu trả lời chỉ có 2 mức: 0 (sai) và 1 (đúng) Giả thiết cơ bản sau đây của George Rasch, nhà toán học Đan Mạch, được đưa ra làm cơ sở để xây dựng mô hình hàm đáp ứng CH một tham số:

Một người có năng lực cao hơn một người khác thì xác suất để người đó trả lời đúng một câu hỏi bất kì phải lớn hơn xác suất của người sau; cũng tương tự như vậy, một câu hỏi khó hơn một câu hỏi khác có nghĩa là xác suất để một người bất kì trả lời đúng câu hỏi đó phải bé hơn xác suất để trả lời đúng câu hỏi sau (Rasch, 1960, tr 117)[2] Với giả thiết nêu trên, có thể thấy xác suất để một TS trả lời đúng một CH nào đó phụ thuộc vào tương quan giữa năng lực của TS và độ khó của CH Chọn Θ để biểu diễn năng lực của TS, và β để biểu diễn độ khó của CH Gọi P là xác suất trả lời đúng CH, xác suất đó sẽ phụ thuộc vào tương quan giữa Θ và β theo một cách nào

đó, do vậy ta có thể biểu diễn:

f (P ) = Θ

trong đó f là một hàm nào đó của xác suất trả lời đúng.

Lấy logarit tự nhiên của (1):

ln f (P ) = ln(Θ

β) = ln Θ− ln β = (θ − b)

(2)

Tiếp đến, để đơn giản, khi xét mô hình trắc nghiệm nhị

phân, Rasch chọn hàm f chính là mức được thua (odds)

O, hoặc khả năng thực hiện đúng (likelyhood ratio), tức 1

Trang 2

O = (1−P ) P , biểu diễn tỉ số của khả năng trả lời đúng

và khả năng trả lời sai

Như vậy:

ln P

(1−P ) = θ − b (3),

ln P

(1−P ) được gọi là logit (log odds unit).

Từ đó:

ln P

(1− P ) = e

(θ −b)

và:

P (θ) = 1+e e (θ−b) (θ−b) (4)

Biểu thức (4) chính là hàm đặc trưng của mô hình ứng

đáp CH 1 tham số, hay còn gọi là mô hình Rasch, có thể

biểu diễn bằng đồ thị dưới đây (khi cho b = 0):

Hình 1 Đường cong ĐTCH một tham số

Tuy nhiên, như đã biết, trong CTT, người ta còn sử

dụng một tham số quan trọng thứ hai đặc trưng cho CH

là độ phân biệt, từ đó nhiều nhà nghiên cứu mong muốn

đưa đặc trưng đó vào mô hình đường cong ĐTCH

Muốn vậy, có thể đưa thêm tham số a liên quan đến

đặc trưng phân biệt của CH vào hệ số ở số mũ của hàm

e, kết quả sẽ có biểu thức:

P (θ) = e a(θ−b)

1+e a(θ−b) (5)

(5) chính là hàm ĐTCH 2 tham số Hệ số a biểu diễn độ

dốc của đường cong ĐTCH tại điểm có hoành độ θ= b

và tung độ P(θ) = 0,5

Hàm ĐTCH 2 tham số trình bày trên đây và hàm ĐTCH

1 tham số theo mô hình Rasch có cùng dạng thức, chỉ

khác nhau ở giá trị tham số a (đối với mô hình 1 tham

số a = 1) Hình 2 biểu diễn các đường cong ĐTCH theo

mô hình 2 tham số với b=0, và a lần lượt bằng 0,5; 1,0;

1,5; 2,0; 3,0 nên độ dốc của các đường cong ở đoạn giữa

tăng dần

Hình 2 Các đường cong ĐTCH hai tham số với các giá trị a khác nhau (b = 0)

Có thể thấy rằng tung độ tiệm cận trái của các đường cong ĐTCH 1 và 2 tham số đều có giá trị bằng 0, điều

đó có nghĩa là nếu TS có năng lực rất thấp, tức là Θ →

0 và θ = ln Θ → -∞, thì xác suất P(θ) trả lời đúng CH cũng bằng 0 Tuy nhiên, trong thực tế triển khai trắc nghiệm, chúng ta đều biết có khi năng lực của TS rất thấp nhưng do đoán mò hoặc trả lời hú hoạ một CH nên TS vẫn có một khả năng nào đó trả lời đúng CH Trong trường hợp đã nêu thì tung độ tiệm cận trái của đường cong không phải bằng 0 mà bằng một giá trị xác

định c nào đó, với 0 < c < 1 Từ thực tế nêu trên, người

ta có thể đưa thêm tham số c phản ánh hiện tượng đoán

mò vào hàm ứng đáp CH để tung độ tiệm cận trái của đường cong khác 0 Kết quả sẽ thu được biểu thức:

P (θ) = c + (1 − c) e a(θ−b)

1+e a(θ−b) (6)

(6) chính là hàm ĐTCH 3 tham số Rõ ràng khi θ → -∞, hàm P(θ)→ c Trong trường hợp hàm ĐTCH 3 tham số

khi θ = b sẽ có P(θ) = (1+c)/2

Hình 3 biểu diễn các đường cong ĐTCH theo mô hình

3 tham số với a = 2 và các tham số c có giá trị bằng 0,1

và 0,2

Hình 3: Các đường cong ĐTCH 3 tham số với a = 2, c = 0,1 và 0,2.

Mô hình đường cong ĐTCH 2 và 3 tham số do Allan

Trang 3

Birnbaum đề xuất đầu tiên[4], nên đôi khi được gọi là

các mô hình Birnbaum

nó

Chúng ta đã chọn mô hình một tham số, mô hình

Rasch, làm mô hình trình bày đầu tiên trong các mô

hình đường cong ĐTCH vì mô hình này đơn giản nhất

và phản ánh tường minh nhất mối quan hệ giữa TS và

CH Tuy nhiên, như đã nói trên đây, trong tiến trình

lịch sử hình thành IRT, không phải mô hình Rasch xuất

hiện trước các mô hình khác Nhà toán học và tâm lý

học người Đan Mạch, George Rasch, đã có ý tưởng xây

dựng “một mô hình cấu trúc cho các CH trong một

đề trắc nghiệm” từ thập niên 1950, đề xuất mô hình

xác suất logistic đó từ 1953, nhưng ở Mỹ, người ta biết

đến công trình của ông từ khi ông công bố chính thức

trong một cuốn sách xuất bản năm 1960[2] Động cơ

của Rasch muốn thể hiện qua mô hình của mình là hạn

chế việc dựa vào tổng thể TS khi phân tích các đề trắc

nghiệm (ĐTN) eo ông, phân tích trắc nghiệm chỉ

đáng giá khi dựa vào từng cá nhân TS, với các thuộc

tính của TS và CH được tách riêng Để biện minh cho

quan điểm của mình, ông thường dẫn lời nhà tâm lý học

Skinner, người rất ghét việc căn cứ vào thống kê dựa

trên tổng thể để kết luận và thường triển khai nghiên

cứu thực nghiệm trên từng cá thể an điểm của Rasch

đã đánh dấu sự chuyển tiếp từ CTT, dựa trên tổng thể

với việc nhấn mạnh đến biện pháp tiêu chuẩn hoá và

ngẫu nhiên hoá, sang IRT với mô hình xác suất tương

tác giữa một TS và một CH Sự tồn tại của các số liệu

thống kê đầy đủ của các tham số của CH trong mô

hình Rasch có thể được sử dụng vào việc điều chỉnh

ước lượng các tham số năng lực theo một cách thức đặc

biệt

Cùng trong khoảng thời gian công bố công trình của

mình, Rasch được mời sang cộng tác nghiên cứu 3

tháng tại Viện Đại học Chicago Tại đây, B Wright

đã có rất nhiều đóng góp để nâng cao và phát triển

mô hình Rasch eo Wright, ý tưởng của Rasch về

việc chọn mô hình logistic với chỉ một tham số là độ

khó đã giải phóng được bế tắc của việc phát triển IRT

trong nhiều thập niên, vì nhiều nhà tâm trắc học từ các

nghiên cứu của mình đã khẳng định rằng chỉ có độ khó

là có thể ước lượng được một cách ổn định và đầy đủ

qua số liệu quan sát đối với loại CH trắc nghiệm nhị

phân Do đó, hiện nay, tuy là mô hình ĐTCH đơn giản

nhất trong các mô hình IRT, và có lẽ cũng chính vì tính

đơn giản nhưng đầy đủ của nó, mô hình Rasch đã được

sử dụng nhiều nhất trong các nghiên cứu tâm lý và giáo

dục Cũng theo Wright, mô hình Rasch là mô hình duy

nhất thoả mãn các yêu cầu để xây dựng các phép đo

lường khách quan trong khoa học xã hội nói chung, và

Wright có ý kiến khá cực đoan rằng không nên sử dụng

các mô hình khác trong các phép đo lường khách quan

Một trong những ưu điểm lớn của mô hình Rasch là tách biệt được năng lực của TS và đặc trưng của CH (độ khó) trong phép đo lường ật vậy, nếu có hai TS

có năng lực θ1 và θ2 cùng ứng đáp một CH thì từ biểu thức (3) có thể thu được ln (O1/O2) = (θ1– θ2), tức là

có thể xác định các năng lực của TS không phụ thuộc

độ khó CH Vì tính đối xứng của biểu thức, cũng dễ thấy rằng, ngược lại, có thể xác định các độ khó của

CH không phụ thuộc năng lực TS Chính vì tính chất

cơ bản này nên có thể đặt năng lực của các TS và độ khó của các CH trên cùng một thang đo để so sánh chúng với nhau

Tuy nhiên, một số nhà nghiên cứu khác cho rằng về lý thuyết thì dạng toán học của mô hình Rasch có nhiều lợi thế, nhưng khi nói đến mô hình toán học, tức là nói đến một sự giả định, tiêu chuẩn để đánh giá hiệu quả của mô hình là sự phù hợp của chúng với số liệu thực nghiệm chứ không chỉ thuần túy ở dạng toán học Người ta thường gọi quan điểm của Wright là quan

điểm “dựa trên mô hình” (model–based), còn quan điểm ngược lại là quan điểm “dựa trên dữ liệu” (data–based).

3 Điểm thực và đường cong đặc trưng đề trắc nghiệm

Trong các phép đo lường, để xác định chính xác giá trị được đo và sai số của một phép đo người ta thường thực hiện phép đo đó nhiều lần Trong trắc nghiệm, thực tế không làm được như vậy, nhưng có thể quy ước định nghĩa về điểm trung bình của một TS qua hàng loạt phép đo bằng một ĐTN Điểm quan sát X của một ĐTN qua hàng loạt phép đo được xem là một biến ngẫu nhiên với một phân bố tần suất nào đó thường là không biết Giá trị trung bình (kì vọng toán học) của phân bố

đó được gọi là điểm thực τ của TS, có quan hệ như sau với các điểm quan sát X và sai số ε:

ε = X – τ. (7)

Trong CTT, điểm thực được định nghĩa trên đây là một

sự trừu tượng toán học, không có quy trình nào để xác định Cũng do đó, sai số của phép đo ε là một đại lượng

có tính chất trung bình đối với toàn bộ dải năng lực của

TS Tuy nhiên trong IRT, có thể chứng minh được rằng

điểm thực được xác định bởi một ĐTN gồm n CH có

thể tính theo biểu thức sau đây:

τ =∑n

j=1 P (θ j) (8)

Tức là: điểm thực của một TS có năng lực θ là tổng của các xác suất trả lời đúng của mọi CH của ĐTN tại giá trị θ Như vậy, đối với mọi giá trị θ, nếu chúng ta tiến hành cộng tất cả mọi đường cong ĐTCH trong ĐTN,

sẽ thu được đường cong đặc trưng của ĐTN, hoặc cũng gọi là đường cong điểm thực Đường cong đặc trưng

Trang 4

của ĐTN là quan hệ hàm số giữa điểm thực và thang

năng lực: cho trước một mức năng lực bất kì có thể tìm

điểm thực tương ứng qua đường cong đặc trưng ĐTN

Minh họa trên Hình 4 cho thấy một đường cong đặc

trưng ĐTN thu được bằng cách cộng 5 đường cong

ĐTCH Vì là chồng chất của các đường cong ĐTCH

nên đường cong đặc trưng ĐTN cũng có dạng một hàm

đồng biến Tiệm cận phải của đường cong khi θ → +∞

bằng điểm thực tối đa, n, tức là bằng tổng số CH trong

ĐTN Tung độ tiệm cận trái của đường cong khi θ tiến

đến θ → -∞ bằng 0 đối với các mô hình 1 và 2 tham số,

và bằng giá trị tổng cộng các tham số đoán mò Σc của

toàn bộ n CH trong ĐTN đối với mô hình 3 tham số.

Độ nghiêng của phần giữa đường cong đặc trưng ĐTN

liên quan đến độ phân biệt của ĐTN Mức năng lực ứng

với trung điểm của thang điểm thực (n/2) xác định vị

trí của ĐTN trên thang năng lực Hoành độ của điểm

đó xác định độ khó của ĐTN Hai yếu tố độ dốc và mức

năng lực ở trung điểm thang điểm thực mô tả khá rõ

đặc tính của một ĐTN

Hình 4 Đường cong đặc trưng của ĐTN gồm 5 CH và 5 đường

cong ĐTCH tương ứng.

Một điều khá lý thú là, khi biết năng lực θ của một TS,

nhờ đường cong điểm thực của một ĐTN cụ thể có thể

xác định được điểm thực của TS thu được từ ĐTN đó

mà TS không cần phải làm ĐTN Từ đó có thể tiên đoán

điểm thực của TS hoặc tình trạng TS đạt hay không đạt

điểm cần thiết đối với một ĐTN mới

đề trắc nghiệm

Mỗi một CH trắc nghiệm cung cấp một lượng thông

tin nào đó về năng lực cần đo của các TS Birnbaum A

đã đề xuất biểu thức hàm hàm thông tin của CH (item

information function) được biểu diễn như sau:

I i(θ) = [P i ′ (θ)]2

P i (θ)Q i (θ) (9)

trong đó I(θ) là thông tin cung cấp bởi CH thứ i ở mức

năng lực θ, Q(θ)=1- P(θ), P'(θ)là đạo hàm của P(θ) theo

θ

Từ biểu thức (9) có thể suy ra các biểu thức hàm thông tin tương ứng với các mô hình ứng đáp CH khác nhau Đối với mô hình tổng quát 3 tham số, ta có:

I i(θ) = a2i (P i (θ) −c i)2

(1−c i) 2

Q i (θ)

P i (θ) (10)

Vì tính độc lập địa phương của các CH trắc nghiệm, 'hàm thông tin của ĐTN' (Test information Function)

là tổng các hàm thông tin của các CH có trong ĐTN:

I(θ) =∑n

i=1 I i (θ) (11)

Ở Hình 5, đường cong nét đậm biểu diễn hàm thông tin của ĐTN, còn các đường cong nét nhạt là các hàm thông tin của các CH trắc nghiệm Mức thông tin chung của ĐTN cao hơn nhiều so với mức thông tin của từng

CH riêng rẽ, tức là một ĐTN sẽ đo năng lực chính xác hơn nhiều so với chỉ một CH trắc nghiệm Từ định nghĩa hàm thông tin theo công thức (11) có thể thấy rõ: ĐTN càng có nhiều CH thì giá trị của hàm thông tin càng cao, tức là một ĐTN dài thường đo năng lực chính xác hơn một ĐTN ngắn

Hình 5: Các đồ thị hàm thông tin của 5 CH trắc nghiệm và của ĐTN do 5 CH đó hợp thành

Tùy theo tính chất của các CH tạo nên ĐTN mà hàm thông tin sẽ có giá trị lớn (tức là đo chính xác) ở các khoảng năng lực xác định nào đó và giá trị bé (tức là đo kém chính xác) ở các khoảng năng lực khác Do những đặc điểm nêu trên, hàm thông tin là một công cụ cực

kì quan trọng của IRT, nó giúp thiết kế các ĐTN cho các phép đo theo các mục tiêu xác định Hàm thông tin

lý tưởng của một ĐTN là một đường nằm ngang, tức là phép đo có độ chính xác như nhau ở mọi khoảng năng lực Tuy nhiên, một ĐTN như vậy có thể không phải

là tốt nhất đối với các mục tiêu cụ thể Chẳng hạn, nếu muốn thiết kế một ĐTN để cấp học bổng, cần một ĐTN

đo rất chính xác trong một khoảng hẹp ở mức năng lực

là ranh giới giữa những TS được và không được học

Trang 5

bổng, tức là hàm thông tin có đỉnh cực đại ở điểm cắt

(cut–oﬀ score), vì rằng một sai số lớn trong phép đo ở

khoảng năng lực này có thể chuyển một TS từ loại được

sang loại không được học bổng hoặc ngược lại

Sai số tiêu chuẩn của ĐTN

Sai số tiêu chuẩn của việc ước lượng năng lực ở vị trí θ

bằng:

σ(θ) = √1

I(θ) (12)

Biểu thức (12) cho thấy hai đường cong hàm thông tin

và sai số tiêu chuẩn của một ĐTN có hình dạng gần

như đối xứng với nhau qua một đường nằm ngang Sự

phụ thuộc của sai số tiêu chuẩn vào năng lực θ có một

ý nghĩa quan trọng, chỉ rõ một trong những khác biệt

giữa CTT và IRT Biểu thức (7) cho thấy trong CTT sai

số ε của phép đo là một đại lượng không đổi chung cho

ĐTN đối với mọi TS có năng lực khác nhau Trong khi

đó, đối với IRT, sai số của phép đo bằng ĐTN thay đổi

theo các mức năng lực Đây cũng là một biểu hiện của

việc “cá thể hoá" phép đo lường của IRT mà chúng ta

đã đề cập khi bàn về mô hình Rasch trên đây

Sai số tiêu chuẩn (θ) của việc ước lượng năng lực θ

là độ lệch tiêu chuẩn của phân bố gần chuẩn khi ước

lượng giá trị năng lực theo biến cố hợp lý cực đại ở

một giá trị năng lực θ nào đó Phân bố sẽ tiến đến dạng

chuẩn khi ĐTN đủ dài Tuy nhiên, nhiều nghiên cứu

cho thấy rằng thậm chí các ĐTN ngắn cỡ 10 – 20 CH,

sự phân bố gần chuẩn cũng thoả mãn đối với một số

mục đích

Biên độ của hàm sai số tiêu chuẩn nói chung phụ thuộc

vào: 1) số CH trong ĐTN (số CH càng lớn sai số tiêu

chuẩn càng bé); 2) chất lượng các CH của ĐTN (nói

chung các CH càng có độ phân biệt cao và khả năng

đoán mò thấp sẽ tạo sai số tiêu chuẩn bé); 3) độ khó CH

gần với giá trị năng lực được đo (tức là ĐTN không quá

khó và không quá dễ) Việc tăng số CH trong ĐTN hoặc

chọn các CH với giá trị hàm thông tin lớn sẽ làm tăng

giá trị thông tin của ĐTN và giảm sai số tiêu chuẩn; tuy

nhiên khi hàm thông tin vượt quá một giá trị nào đó thì

sai số tiêu chuẩn sẽ trở nên ổn định và sự tăng tiếp tục

của hàm thông tin sẽ có tác động không lớn lên giá trị

của sai số tiêu chuẩn

Áp dụng hàm thông tin vào việc khảo sát và thiết kế ĐTN

Hàm thông tin của ĐTN có một số ứng dụng quan

trọng Trước hết, qua hàm thông tin có thể biết mức độ

chính xác của phép đo bằng ĐTN: Giá trị hàm thông

tin càng lớn ở khoảng năng lực nào thì độ chính xác

của phép đo ở khoảng năng lực đó càng cao, và ngược

lại Một ứng dụng khác rất quan trọng của hàm thông

tin là giúp thiết kế các ĐTN có mức tương đương cao

eo IRT, các ĐTN tương đương phải thoả mãn hai điều

kiện: 1) điều kiện về nội dung và mục tiêu, thể hiện ở

sự trùng hợp của các ma trận đặc trưng ĐTN (số lượng

câu hỏi trong các ô ứng với nội dung và mục tiêu học

tập cụ thể phải trùng nhau); 2) điều kiện về thống kê: các đường cong hàm thông tin của các ĐTN phải trùng khớp nhau trong một phạm vi sai số chấp nhận nào đó

5 Về việc ước lượng năng lực thí sinh và tham số câu hỏi

Như đã biết, các mô hình IRT xét mối tương tác của một

TS có năng lực θ với một CH có các tham số a, b, c Tuy

nhiên, trong hoạt động đánh giá thực tế, cái mà chúng

ta có thể thu được trực tiếp từ số liệu kiểm tra là việc trả lời các CH của các TS qua bài trắc nghiệm Từ các số liệu thu được trực tiếp đó làm sao xác định các tham số

a, b, c' của các CH và năng lực θ của các TS? Đó là bài

toán cơ bản và quan trọng nhất của IRT, vì năng lực của

TS là cái cuối cùng mà ta muốn biết, còn các tham số của CH là cần thiết để chúng ta có thể sử dụng các CH nhằm thiết kế các công cụ thích hợp để đo lường chính xác năng lực của TS Bài toán quan trọng đó được giải quyết bằng các thuật toán ước lượng năng lực TS và tham số CH, việc tìm ra các thuật toán tốt nhất để giải bài toán này là một trong các mục tiêu quan trọng của IRT, và có thể nói quyết định thành công của việc áp dụng IRT vào thực tế hoạt động đánh giá Tuy nhiên, muốn trình bày đầy đủ thuật toán đã nêu cần nhiều kiến thức về toán học và thống kê học Bạn đọc muốn

đi sâu vào những vấn đề đó có thể tìm hiểu sơ bộ ở[5],

và đầy đủ hơn trong[6] Ở đây chỉ xin giới thiệu khái quát bản chất của các thuật toán ước lượng nói trên, và

để dễ hiểu, phải hy sinh một phần tính chính xác khi trình bày

Giả sử chúng ta cần dùng một ĐTN gồm 100 CH để xác định năng lực tiếng Anh của 200 TS Khi cho 200

TS làm ĐTN, chúng ta sẽ thu được các bài làm chứa ứng đáp của mọi TS đối với mọi CH, kết quả đó được

gọi là số liệu thực nghiệm Giả sử là các ứng đáp của TS

tuân theo quy luật được xác định bởi mô hình Rasch,

biểu hiện ở công thức (5) Các giá trị năng lực θν của mỗi TS và độ khó b của mỗi CH trong (5) là cái mà

chúng ta muốn ước lượng Đầu tiên chúng ta chưa biết chúng, nhưng bằng đoán nhận, hãy gán cho chúng các giá trị nào đó gọi là giá trị tiên nghiệm (a priori), và tính 100x200=20.000 giá trị xác suất P theo công thức

(5); tập hợp các xác suất đó được gọi là số liệu lý thuyết.

Bằng các cách thức trong giải tích phiếm hàm, người

ta tìm một con số đại diện cho số liệu thực nghiệm và một con số tương ứng đại diện cho số liệu lý thuyết để

so sánh các con số này với nhau Với các giá trị được gán đầu tiên cho số liệu lý thuyết, độ chênh giữa (con

số đại diện cho) số liệu lý thuyết và (con số đại diện cho) số liệu thực nghiệm thường rất lớn uật toán

sẽ chỉ ra phương hướng điều chỉnh các giá trị θν và b

trong (5) sao cho sau lần tính lặp độ chênh giữa số liệu

lý thuyết và số liệu thực nghiệm bé hơn Nếu độ chênh

còn lớn, người ta lại điều chỉnh các giá trị θν và b trong

(5) và tính lặp lần thứ hai Có thể quy ước xem số liệu

Trang 6

lý thuyết là trùng hợp với số liệu thực nghiệm khi độ

chênh giữa chúng bé hơn một giới hạn nào đó, chẳng

hạn bé hơn một phần nghìn giá trị của chúng Khi độ

chênh chưa bé hơn giới hạn đó, người ta tiếp tục quá

trình tính lặp Việc tính lặp có thể thực hiện lần thứ ba,

thứ tư,… cho đến lần thứ hàng trăm, hàng nghìn sao

cho đạt được giới hạn quy định Khi đạt được giới hạn

quy định về độ chênh, chương trình sẽ ra lệnh dừng

tính, và các giá trị θν và b thu được ở lần tính lặp cuối

cùng chính là giá trị lý thuyết trùng hợp với giá trị thực

nghiệm theo mô hình Rasch

Với các mô hình IRT 2 và 3 tham số, quá trình ước lượng

cũng được thực hiện theo nguyên tắc tương tự như đã

mô tả trên đây, tuy số tham số tính toán nhiều hơn Một

trong các thuật toán thường được sử dụng cho quy trình

ước lượng nói trên là thuật toán biến cố hợp lý cực đại

và nhiều thuật toán khác được trình bày trong[6]

Vì việc thực hiện bài toán ước lượng giá trị năng lực của

TS và các tham số của CH khá phức tạp nên đa số bạn

đọc thông thường không cần phải bận tâm nhiều đến

các thuật toán cụ thể, bởi vì ngày nay đã có nhiều phần

mềm chuyên dụng được các chuyên gia tâm trắc học

xây dựng phục vụ các bài toán ước lượng đó Chẳng hạn

sau đây là một số phần mềm được sử dụng tương đối

phổ biến hiện nay: CONQUEST của Úc và WINSTEPS

của Mỹ cho mô hình Rasch (một tham số) nhị phân và

đa phân, BILOG–MG3 của Mỹ cho mô hình 1, 2, 3 tham

số nhị phân, PARSCALS, MULTILOG cho mô hình đa

phân,… Ở Việt Nam phần mềm đầu tiên phục vụ cho

bài toán này là VITESTA, cho các mô hình 1, 2, 3 tham

số nhị phân và đa phân, được công ty EDTECH–VN

xây dựng từ năm 2007[7]

Tính bất biến của năng lực thí sinh và tham số câu hỏi

Một trong các nhược điểm của CTT là có sự phụ thuộc

của tham số CH vào mẫu TS được sử dụng để xác định

chúng, cũng như sự phụ thuộc của năng lực đo được của

TS vào các CH, tức là vào ĐTN cụ thể được sử dụng để

đo lường năng lực ấy Một minh họa rõ ràng nhất là nếu

đưa cùng một CH trắc nghiệm cho hai nhóm TS làm,

một nhóm có nhiều TS giỏi hơn nhóm kia, thì độ khó

của CH xác định theo Lý thuyết trắc nghiệm cổ điển

(tỷ số TS làm đúng trên tổng số TS tham gia) tất yếu

sẽ khác nhau, tức là giá trị độ khó phụ thuộc vào mẫu

TS được dựa vào để xác định độ khó Nhược điểm này

củaLý thuyết Trắc nghiệm cổ điểngây khó khăn cho

việc thiết kế các ĐTN theo ý muốn, đặc biệt là thiết kế

các ĐTN tương đương Với IRT, có thể chứng minh từ

lý thuyết và kiểm chứng qua thực nghiệm rằng nhược

điểm đó được khắc phục, có nghĩa là không có sự phụ

thuộc của tham số CH vào mẫu TS được dùng để xác

định chúng (sample–free) cũng như không có sự phụ

thuộc của năng lực xác định được của TS vào ĐTN cụ

thể được dùng để đo năng lực ấy (item–free) Tổng quát

hơn, người ta có thể nói rằng các tham số của CH và giá

trị năng lực của TS là các bất biến (invariant).

Cần hiểu rõ tính bất biến ở đây là bất biến đối với các

phép đo để xác định các tham số đó Có thể nêu một ví

dụ đơn giản để minh họa: dùng một thước đo dài 1 mét (1 mét là thuộc tính của thước đo) để đo một cái bàn dài

6 mét (6 mét là thuộc tính của cái bàn) uộc tính của

thước đo và thuộc tính của cái bàn là các bất biến của

chúng, không được thay đổi khi thực hiện phép đo, tức

là khi áp cái thước vào để đo cái bàn

Hiển nhiên là năng lực của TS sẽ thay đổi qua một quá trình học tập; hiện tượng đó không liên quan đến tính bất biến được khẳng định trên đây

Cũng cần lưu ý rằng tính bất biến nói trên chỉ được tuân thủ khi có sự phù hợp giữa số liệu thực nghiệm và

mô hình; muốn vậy, các điều kiện được đề ra khi xây dựng mô hình cũng phải được thoả mãn (chẳng hạn, tính đơn chiều của năng lực, tính độc lập địa phương của các CH) Khi sự phù hợp giữa số liệu thực nghiệm

và mô hình bị vi phạm thì tính bất biến đó cũng không còn Hơn nữa, tính bất biến là đặc điểm của mô hình

trên cả tổng thể được nghiên cứu (bởi vì nó có liên quan

đến phép hồi quy thống kê trên toàn bộ tổng thể chứ không phải trên từng mẫu thử (có thể tìm hiểu ở[5]),

do đó trên các mẫu thử khác nhau, tính bất biến có thể

bị vi phạm ở các mức độ khác nhau

6 So bằng và kết nối các đề trắc nghiệm

eo IRT, về nguyên tắc, các tham số CH xác định được không phụ thuộc vào mẫu TS, và năng lực TS đo được không phụ thuộc vào ĐTN cụ thể Tuy nhiên đó là các tính chất lý tưởng, chỉ tuyệt đối đúng trong cả tổng thể khảo sát khi số liệu thực tế hoàn toàn phù hợp với mô hình giả định, và các giả thiết khác về mô hình được tuân thủ Khi các điều kiện đã nói phần nào bị vi phạm thì sẽ không có sự bất biến tuyệt đối của năng lực TS

và tham số CH nữa, do đó người ta phải có thao tác đưa các giá trị tham số CH cũng như năng lực TS về một thang đo chung để có thể so sánh chúng với nhau

ao tác đưa tham số của các CH cũng như năng lực

TS về thang đo chung gọi là so bằng (equating).

So bằng là yêu cầu rất quan trọng trong thực tiễn đánh giá Chẳng hạn, có hai mẫu TS khác nhau được đánh giá bằng hai ĐTN khác nhau, năng lực của mỗi mẫu

TS được một ĐTN đo lường và thu được một bộ điểm Muốn hai bộ điểm của hai mẫu TS thu được từ hai ĐTN

có thể so sánh được với nhau, người ta phải chuyển chúng về một thang đo chung, tức là so bằng Sau khi

so bằng, năng lực của mọi TS của hai mẫu được đặt trên cùng một thang đo nên có thể so sánh được với nhau,

và từ các giá trị năng lực đó có thể chuyển thành điểm trên một thang điểm chung mong muốn nào đó Cũng vậy, nếu hai ĐTN được triển khai trên hai nhóm

TS khác nhau để định cỡ (calibration) các CH trắc

nghiệm, tức xác định các tham số của chúng, từ mỗi ĐTN sẽ thu được một bộ tham số của các CH Muốn

Trang 7

tham số của các CH của ĐTN thu được từ hai mẫu TS

có thể so sánh được với nhau người ta cũng phải dùng

thủ thuật so bằng nhằm chuyển các tham số của CH về

một thang đo chung Sau khi so bằng, mỗi giá trị tham

số của CH từ hai ĐTN được đặt trên cùng một thang

đo nên có thể so sánh với nhau, chẳng hạn để lựa chọn

CH có tham số thích hợp nhằm thiết kế một ĐTN theo

yêu cầu xác định

Có nhiều thủ tục so bằng khác nhau Bạn đọc muốn tìm

hiểu có thể tham khảo trong[5], hoặc tỉ mỉ hơn trong

[8]

nghiệm đa chiều

Khi đặt vấn đề xây dựng mô hình toán phản ánh sự ứng

đáp CH ở phần đầu bài viết, để đơn giản cho mô hình,

chúng ta đã giả thiết là việc ứng đáp kiểu nhị phân (0,1)

Hơn nữa, đối với TS ta cũng giả thiết là năng lực có tính

đơn chiều (hoặc chỉ xét một chiều năng lực của TS)

Tuy nhiên, trong thực tế đánh giá người ta còn sử dụng

loại CH với kiểu ứng đáp đa phân (polytomous) hoặc

đánh giá một năng lực đa chiều (multidimentionality)

hay đánh giá đồng thời nhiều chiều của năng lực Dưới

đây sẽ giới thiệu khái quát về trắc nghiệm đa phân và

đa chiều

Về mô hình trắc nghiệm đa phân

Ngoài các loại trắc nghiệm nhiều lựa chọn mà trả lời

theo hai trạng thái nhị phân (0,1), người ta còn sử dụng

các loại bảng hỏi (questionaire) với kiểu trả lời theo

thang Likert: ‘’rất không đồng ý, không đồng ý, đồng

ý, rất đồng ý’’ trong các điều tra giáo dục hoặc xã hội

học nói chung, hoặc các câu hỏi tự luận bao gồm nhiều

phần, mỗi phần được định các mức điểm khác nhau,

có thể gọi chung là các câu hỏi với ứng đáp đa phân

(polytomous)

Trong thập niên 1970, các nghiên cứu về trắc nghiệm

chủ yếu tập trung vào việc triển khai ứng dụng mô

hình nhị phân, các số liệu liên quan đến tính đa phân

được nhị phân hoá để phân tích Tuy nhiên, một số nhà

nghiên cứu cũng đã lưu ý đến mô hình trắc nghiệm

đa phân từ cuối thập niên 1960 và tập trung mạnh mẽ

từ đầu thập niên 1980 Nhà nghiên cứu quan tâm đến

mô hình đa phân sớm nhất có lẽ là Samejima F., người

đã đưa vào mô hình ứng đáp đa cấp (graded response

model)[9] Sau đó có hàng loạt mô hình được đề xuất,

nhưng tổng quát nhất có lẽ là mô hình định giá từng

phần (Partial Credit Model – PCM) của Master, G.N.[10]

Các mô hình này cho phép thu được nhiều thông tin

hơn về năng lực của TS từ một CH so với mô hình nhị

phân

Vì PCM được ứng dụng nhiều nhất trong thực tế, và

một số mô hình khác chỉ là trường hợp riêng của PCM

nên ở đây chỉ giới thiệu sơ lược về PCM Để thiết lập

PCM, Masters xét một CH có nhiều hạng (category)

điểm để TS đạt được, và giả định rằng xác suất để TS

đạt hai hạng điểm kế tiếp nhau tuân theo quy luật của

mô hình Rasch nhị phân Dựa vào giả định nêu trên,

khi CH thứ i là đa phân với các hạng điểm 0, 1, 2,…, m thì Masters thu được xác suất để TS n đạt điểm x của

CH thứ i sẽ là:

∑x k=0 (θ n −δ ik)

∑mi h=0 exp∑h

k=0 (θ n −δ ik)

(12)

trong đó, để tiện trong việc ký hiệu, chúng ta quy định

exp∑0

k=0 (θn − δ ik) = 1

Lưu ý rằng trong biểu thức (13), δ đóng vai trò như

b trong mô hình Rasch nhị phân Với quan niệm của

Masters, chúng ta có thể mô tả diễn biến của xác suất trả lời đúng CH (đạt hạng điểm 1) theo năng lực θ của

mô hình Rasch nhị phân ứng bởi biểu thức (4) bằng đường cong P(X = 1) và xác suất trả lời sai CH (đạt hạng điểm 0) bằng đường cong P(X = 0) trên cùng một đồ thị

ở Hình 6

Hình 6 Các đường cong ĐTCH trắc nghiệm nhị phân ứng với xác suất trả lời sai P(X = 0) và xác suất trả lời đúng P(X = 1)

Tương tự, trong trường hợp CH có 3 hạng điểm 0, 1 và

2 các đường biểu diễn ứng với 3 hạng điểm có dạng như Hình 7

Hình 7 Các đường cong ĐTCH của một CH PCM có 3 hạng điểm (với δ1<δ2.

Về mô hình trắc nghiệm đa chiều

Trang 8

Khi xây dựng các mô hình ứng đáp CH, để đơn giản

hoá, chúng ta đã đặt điều kiện về tính đơn chiều

(unidimentionality) của CH, tức là CH chỉ đo một thứ

năng lực tiềm ẩn, hoặc ta chỉ đo một chiều (dimension)

của năng lực tiềm ẩn đa chiều (multidimentionality)

Tuy nhiên, trong thực tế, để thực hiện một ứng đáp

nào đó, TS thường phải có các chiều khác nhau của

năng lực, chẳng hạn để giải một bài toán, TS cần cả kĩ

năng đọc hiểu đề toán và các kĩ năng toán học Do đó

cần xây dựng mô hình trắc nghiệm với đa chiều năng

lực Ở đây chúng ta chỉ làm quen với một cách mở rộng

trắc nghiệm đơn chiều thành đa chiều đơn giản nhất

Reskase, M.D đã dựa vào trắc nghiệm nhị phân (0,1)

đơn chiều mở rộng ra mô hình trắc nghiệm nhị phân

đa chiều.[11] Với trường hợp TS có hai chiều năng lực

θ1và θ2, có thể vẽ được mặt cong đặc trưng CH như ở

Hình 8

Hình 8 Mặt ĐTCH với 2 chiều năng lực θ1,θ2

Về cách biểu hiện tính đa chiều, nhiều nhà nghiên cứu

đưa vào khái niệm tính đa chiều giữa các CH và trong

từng CH Một bài trắc nghiệm là đa chiều giữa các CH

nếu nó bao gồm nhiều bài trắc nghiệm con đơn chiều

Một bài trắc nghiệm là đa chiều trong từng CH nếu

mỗi CH đòi hỏi nhiều chiều năng lực tiềm ẩn để trả lời

Hai kiểu đa chiều của bài trắc nghiệm được minh hoạ

ở Hình 9 Ở nửa bên trái Hình 9 mô tả bài trắc nghiệm

3 chiều gồm 9 CH theo kiểu đa chiều giữa các CH, mỗi

chiều được đánh giá riêng biệt bởi 3 CH Nửa bên phải

của Hình 9 mô tả bài trắc nghiệm 3 chiều gồm 9 CH

với cả hai kiểu đa chiều giữa các CH và đa chiều trong

từng CH, trong đó 4 CH 1, 5, 8, 9 chỉ đo một chiều năng

lực, còn các CH khác đo đồng thời 2 hoặc 3 chiều năng

lực

Bạn đọc có thể tìm hiểu sâu hơn về Lý thuyết Ứng đáp

Câu hỏi trong các sách giáo khoa[1],[5],[12]và sách tổng

hợp[13]

Hình 9 Hai kiểu biểu hiện tính đa chiều của các câu hỏi trắc nghiệm.

8 Tài liệu dẫn

[1] Lord, F.M (1980) Applications of Item Response eory

to Practical Testing Problems Lawrence Erbaum Associates, Publishers

[2] Rasch, G (1960) Probablistic Models for Some Intelligence and Aainment Tests Copenhagen, Denmark: Danish Institute for Educational Research, [3] Wright, B D.; Mark H.S.(1979) Best Test Design, University of Chicago, MESA PRESS

[4] Birnbaum, A.(1968) Some latent trade models and their use in inferring an examinee’s ability Trong F.M Lord and M.R Novick (Eds), Statistical eories of Mental Test Scores Reading, M.A: Addison-Wesley

[5] Lâm ang iệp (2011) Đo lường trong Giáo dục – Lý thuyết và ứng dụng Nhà xuất bản Đại học ốc gia Hà Nội

[6] Barker, F.B.(1992)Item Response eory - Parameter Estimation Techniques, Marcel Dekker, Inc

[7] Lâm ang iệp, Lâm Ngọc Minh, Lê Mạnh Tấn, Vũ Đình Bổng (2007) - Phần mềm VITESTA và việc phân tích số liệu trắc nghiệm Tạp chí Giáo dục, số 176, 11/2007

[8] Kolen M.J., Brennan R.L.(2004) Test Equating, Scaling, and Linking - Methods and Practices, 2nd edision, Springer

[9] Samejima (1969) F Estimation of latent ability using response paern of graded scores Psychometric Monograph, No 17

[10] Master, G.N (1982) A Rasch model for partial credit scoring Psychometrica 47

[11] Van der Linden, W J.; Hambleton, R.K (editors)(1997) Handbook of Modern Item Response eory Springer

Trang 9

[12] Lâm ang iệp (1012) Đo lường và đánh giá hoạt

động học tập trong nhà trường Nhà xuất bản Đại học

Sư phạm Hà Nội

[13] Brenman R.L (2006) Educational Measurement, 4th

edition, ACE/PRAEGER series on Higher Education

9 Liên kết ngoài

• Lý thuyết Trắc nghiệm cổ điển

• Lý thuyết Ứng đáp Câu hỏi

Trang 10

10 Nguồn, người đóng góp, và giấy phép cho văn bản và hình ảnh

10.1 Văn bản

• Lý thuyết Ứng đáp Câu hỏi Nguồn:https://vi.wikipedia.org/wiki/L%C3%BD_thuy%E1%BA%BFt_%E1%BB%A8ng_%C4%91%C3%A1p_ C%C3%A2u_h%E1%BB%8Fi?oldid=26629938Người đóng góp: Lâm ang iện An, AlphamaBot, AlphamaBot2 và TuanminhBot

10.2 Hình ảnh

• Tập_tin:IRT1.jpg Nguồn:https://upload.wikimedia.org/wikipedia/commons/5/5f/IRT1.jpgGiấy phép: CC BY-SA 3.0 Người đóng góp:

Tác phẩm do chính người tải lên tạo ra Nghệ sĩ đầu tiên:Lâm ang iện An

• Tập_tin:IRT2.jpg Nguồn:https://upload.wikimedia.org/wikipedia/commons/e/ee/IRT2.jpgGiấy phép: CC BY-SA 3.0 Người đóng góp:

• Tập_tin:IRT3.jpg Nguồn:https://upload.wikimedia.org/wikipedia/commons/9/91/IRT3.jpgGiấy phép: CC BY-SA 3.0 Người đóng góp:

• Tập_tin:IRT5.jpg Nguồn:https://upload.wikimedia.org/wikipedia/commons/3/3e/IRT5.jpgGiấy phép: CC BY-SA 3.0 Người đóng góp:

• Tập_tin:IRT6.jpg Nguồn:https://upload.wikimedia.org/wikipedia/commons/f/f8/IRT6.jpgGiấy phép: CC BY-SA 3.0 Người đóng góp:

• Tập_tin:IRT7.jpg Nguồn:https://upload.wikimedia.org/wikipedia/vi/c/cc/IRT7.jpgGiấy phép: CC-BY-SA 3.0 Người đóng góp:

Tôi sáng tạo ra toàn bộ tác phẩm

Nghệ sĩ đầu tiên:

Lâm ang iện An ( thảo luận )

• Tập_tin:IRT9.png Nguồn:https://upload.wikimedia.org/wikipedia/commons/c/c9/IRT9.pngGiấy phép: CC BY-SA 3.0 Người đóng góp:

10.3 Giấy phép nội dung

• Creative Commons Aribution-Share Alike 3.0

Định dạng
Số trang	10
Dung lượng	333,71 KB