Ứng dụng công nghệ testing trong xây dựng ngân hàng đề thi (test items banking)

Một bài thi hoặc kiểm tra đánh giá TEST phải đạt các tiêu chí như: có độ tin cậy cao reliability và độ giá trị cao validity có khả năng đo lường những kiến thệc và kỹ năng cần đo, có khả

BỘ GIÁO DỤC V À ĐÀO TẠO TRƯỜNG ĐẠI HỌC NGOẠI T H Ư Ơ N G

Đ ế TÀI NGHIẾN CỨU KHOM HỌC CẤP BỘ

ỨNG DỤNG CÔNG NGHỆ TESTING TRONG XÂY DỰNG NGÂN HÀNG ĐẼ THI

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC NGOẠI THƯƠNG

ýfi ^ V %

Đế TÀI NGHIÊN CỨU KHOA HỌC CẤP BỘ

ỨNG DỤNG CÔNG NGHỆ TESTING TRONG XÂY DỰNG NGÂN HÀNG ĐÊ THI

(TESTITEMS BANKING)

MÃ SỐ: B98-40-02

Xác nhận của cơ quan chủ trì đề tài Chủ nhiệm đề tài

KT HIỆU TRƯỞNG

Mạc LỤC

NỘI DUNG Trang

M Ụ C L Ụ C » LỜI NÓI Đ Ầ U »

C H Ư Ơ N G ì: M Ú C TIÊU V À P H À M VI Á P DỤNG C Ủ A Đ Ể TÀI Ì

ỉ ĩ Mục tiêu và phạm vi áp dụng của đẽ tài 3

C H Ư Ơ N G l i : C ơ SỞ L Ý L U Ậ N V À P H Ư Ơ N G P H Á P N G H I Ê N c ứ u 6

2.1 Quan hệ giữa hoạt động giảng dạy và kiểm tra đánh giá 6

2.2 Các trường phái ngôn ngữ và lý thuyết về kiểm tra đánh giá ì

C H Ư Ơ N G ni: QUY TRÌNH X Â Y DỤNG M Ộ T N G Â N H À N G Đ Ể THI 15

3.1 Định nghĩa về ngân hàng đề thi (item bank) 15

3.2 Ý nghĩa của việc xây dựng ngân hàng đề thi 16

3.3 Thực tiễn áp dung ngân hàng đề thi trẽn thế giới li

3.4 Xây dựng tiểu mục (itemlquestion) 19 3.5 Quy trình xây dựng ngân hàng và làm đề thi 21

C H Ư Ơ N G IV: K H Ả N Ă N G TIN H Ọ C HOA K H Â U KIỂM TRA Đ Á N H GIÁ 40

4.1 Tính cẩn thiết của việc xác định thuộc tính 40

4.3 Tinh tương thích với chương trình phân tích, đánh giá kết quả 44 4.4 Giới thiệu phẩn mềm ứng dụng TESTPRO Ì 0 44

C H Ư Ơ N G V: K Ế T L U Ậ N V À K H U Y Ế N NGHỊ GIẢI P H Á P 50 Tài liệu tham khảo 53 Phụ lục 1: Kết quả phán tích tiểu mục

L Ờ I NỚI ĐẨU

Kiểm tra đánh giá (KTĐG/TESTING) là một kháu quan trọng trong giảng dạy

và học tập nói chung và trong giảng dậy và học liếng Anh nói riêng Kiểm tra đánh giá là công cụ quan trọng trong qua trình quản lý giáo dục, đặc biệt là trong quy trình bảo đảm chất lượng trong giáo dục và đào lạo N ó đám báo cho các nhà quản lý, giáo viên và người học đánh gia chính xác tính hiệu quả trong hoạt động đào tạo

Trên thế giới công nghệ K T Đ G hay TESTING đã được áp dụng rộng rãi và đã thu được nhiều thành tễu to lớn góp phần đáng kể nâng cao chất lượng đào tạo o Việt nam, cũng đã có nhiều công trình nghiên cứu và bài viết cả về phương diện lý thuyết và áp dụng thễc tiễn công nghệ K T Đ G trong đó có cả việc áp dụng tin học trong K T Đ G đặc biệt là áp dụng phần mềm chuyên dụng trong xây dễng, vận hành ngán hàng tiểu mục đề thi (gọi tất là ngân hàng đề thi (NHĐT))

N h ó m tác giả chúng tôi đã chọn đề tài nghiên cứu "ứng dụng công nghệ TESTING trong xây dễng ngân hàng đề t h i " nhằm mục đích nghiên cứu m ô hình và đánh aiá tính khả thi khi áp dụng phần mềm chuyên dụng trong xây dễng và vận hành một N H Đ T thông qua việc lập và cho vận hành thử nghiệm

ở quy mỏ nhỏ (trên 720 tiểu mục) Mục tiêu nghiên cứu của đề tài là xây dễng một ngân hàng đề thi cho môn học tiếng Anh Kinh doanh quốc tế đang dạy cho sinh viên năm thứ 3 hệ cử nhân chuyên ngành Tiếng Anh thương mại tại trường đại học ngoại thương và vận hành thử trên quy m ô thễc nghiệm (demonstration) một ngân hàng gồm trên 720 tiểu mục N h ó m tác giả hy vọng thành công của đề tài sẽ dẫn tới việc áp dụng trên quy m ô chính quy không những cho môn học này m à cả các môn học và ngành khác trong và ngoài trường

Trong quá trình thễc hiện đề tài chúng tôi đã nhận được sễ trợ giúp kinh phí quý báu của Bộ giáo dục và đào tạo thông qua Vụ Khoa học và Công nghệ, sễ

chỉ đạo sái sao và quan tâm cổ vũ lớn lao của ban giám hiệu n ường Đại học Ngoại thương, sự trự giúp và hợp lác nhiệt tình của cúc đồng nghiệp (rong và ngoài trường, các cán bộ các phòng, khoa Chúng tôi cũng nhận dược các ý

kiến góp ý quý báu của các nhà khoa héc và sự tham gia nhiệt tình của các

sinh viên Nhân dịp này chúng lồi xin bày tỏ lòng cảm ơn chán thành tới Bộ

GD ĐT và Ban giám hiệu nhà trường cùng tốt cả các tập thể và cá nhãn đã giúp đỡ chúng tôi hoàn thành công trình này Nhóm tác giả cũng xin cám ơn cône ty tin học EDTECH đã cộng tác và có nhã ý cho phép chúng tối sử dụng phần mềm chuyên dụng TestPro Ì 0 của công ty để thực hiện đề tài này

Các tác giả

C H Ư Ơ N G ì: MỤC TIÊU V À PHẠM VI ÁP DỰNG

CỦA Đ Ể TÀI

1.1 TÍNH CẤP THẾT CỦA ĐỀ TÀI Vấn đề đo lường và đánh giá chất lượng đào tạo là một vấn đề then chốt trong hoạt động dạy và học, quản lý giáo dục nói chung và trong hoạt động học tập, giảng dạy, và quản lý đào tạo ngoại ngữ nói riêng trong đó có tiếng Anh Hoạt động thi, kiểm tra đánh giá là một khâu quan trọng trong quá trình đó

Một bài thi hoặc kiểm tra đánh giá (TEST) phải đạt các tiêu chí như: có độ tin cậy cao (reliability) và độ giá trị cao (validity) có khả năng đo lường những kiến thệc và kỹ năng cần đo, có khả năng phân loại người học, an toàn và tiện lợi trong sử dụng, khách quan và công bằng trong đánh giá, đảm bảo tính khách quan cao, hạn chế đến mệc tối đa yếu tố chủ quan của người chấm

Từ lâu nay, việc kiểm tra theo phương pháp truyền thống chủ yếu dựa vào phương pháp đánh giá chủ quan (Subjective Tests) đã bộc l ộ một số nhược điểm Tuy có tiện lợi cho người ra đề, dễ điều hành song cũng có nhiều hạn chế như không bảo đảm bao phủ các mảng kiến thệc, tính chủ quan cao, khó bảo đảm độ đồng nhất về độ khó dễ giữa các bài TEST, giữa bài ra trong các năm khác nhau, việc chấm thi rất mất thời gian và không đảm bảo tính đồng nhất giữa các người chấm khác nhau

Tại khoa tiếng Anh trường Đ ạ i học Ngoại thương (ĐHNT), công nghệ kiểm tra đánh giá ( C N K T Đ G ) đã được bước đầu ệng dụng ở mệc độ nhất định, ví

dụ như các bài trắc nghiệm khách quan đã được các giáo viên sưu tầm, biên soạn để ệng dụng trong kiểm tra và đánh giá Song về cơ bản đây mới là hoạt động đơn lẻ, thiếu tính hệ thống và không dựa trên một quy trình công nghệ

và do vậy tuy đã có cải tiến so với các phương pháp truyền thống song vẫn chưa đáp ứng được các tiêu chí nêu trên Đ ề tài này đã chọn môn Tiếng Anh kinh doanh quốc tế để thử nghiệm quy trình ứng dụng phần mềm chuyên dụng trong kiểm tra đánh giá M ô n Tiếng Anh K D Q T là một môn đã được dạy qua hai khoa hệ cử nhân Tiếng Anh thương mại M ô n học đã có giáo trình ổn đữnh, có mục tiêu và thời lượng xác đữnh cho các chương Trong hai năm qua việc kiểm tra đánh giá vẫn thực hiện dưới hình thức kết hợp giữa đánh giá chủ quan thông qua bài tự luận, bài dữch ( 3 0 % tổng số điểm) và bài trắc nghiệm khách quan ( 7 0 % ) Các bài trắc nghiệm được giáo viên sưu tẩm và sửa đổi hoặc lấy từ trên mạng Các bài này tuy dưới hình thức trắc nghiệm khách quan song do không có phần mềm chuyên dụng nên chưa thể đữnh chuẩn theo các thông số như độ tin cậy, độ giá trữ, mức độ khó dễ của từng tiểu mục, từng bài test cụ thể so với mục tiêu và yêu cầu của môn học Nói tóm lại việc ra đề, chấm thi, xác đữnh kết quả và phân hạng sinh viền cũng như khả năng đánh giá mức độ tiến bộ, các kiến thức và kỹ năng còn yếu và thiêu còn mang tính chủ quan và không chính xác Kết quả là người học, thày dạy và người quản lý không có một công cụ đo lường nhất quán và chính xác

Từ nhiều năm nay, Bộ giáo dục và đào tạo, các cơ sở đào tạo đại học được chú trọng đến việc ứng dụng C N K T Đ G nhằm nâng cao hiệu quả và tính chuẩn xác trong đánh giá kết quả dạy và học đại học nói chung và trong dạy và học ngoại ngữ nói riêng Nhiều hội thảo, công trình nghiên cứu đã tập trung thảo luận các biện pháp nhằm nâng cao và hoàn thiện hơn nữa công tác đánh giá chất lượng trong giáo dục đại học, đặc biệt là việc ứng dụng C N K T Đ G trong

đó có việc áp dụng công nghệ thông tin trong C N K T Đ G và xây dựng Ngân hàng tiểu mục đề thi, sau đây gọi tắt là Ngân hàng đề thi (NHĐT)

Việc nghiên cứu m ô hình hoa quy trình C N K T Đ G dựa trên N H Đ T có sử dụng phần mềm chuyên dụng là một việc cấp thiết thực hiện mục tiêu của Bộ

G D Đ T nhằm ứng dụng tin học, và từng bước chuẩn hoa quy trình kiểm tra và

đánh giá trong giáo dục đại học Việc ứng dụng C N K T Đ G sẽ giúp nâng cao tính hiệu quả giảng dạy và học ngoại ngữ tại khoa Tiếng Anh nói riêng và có thể nghiên cứu ứng dụng cho các môn và ngành học khác trên nền tảng công nghệ chung tại trường Đ H N T N ó không những giúp nâng cao hiệu quả giảng dạy và học tập m à còn là một công cụ đắc lực cho các nhà quản lý giáo dục trong việc đánh giá hiệu quả và lập kế hoạch chiến lược trong đào tạo

1.2 M Ụ C TIÊU V À PHẠM VI ÁP DỤNG CỦA Đ Ể TÀI

1.2.1 Mục tiêu của đê tài:

Mục tiêu của đề tài này nhằm:

- Nghiên cứu đánh giá khả năng ứng dụng N H Đ T có sồ dụng phần mềm chuyên dụng trong kiểm tra đánh giá trong hoạt động giảng dạy tiếng Anh

- Khuyến nghị quy trình cồng nghệ và m ô hình ứng dụng N H Đ T trong giảng dạy tiếng Anh nói chung và tiếng A n h chuyên ngành nói riêng và các biện pháp và yêu cầu về hạ tầng cơ sở kỹ thuật, nguồn lực đề triển khai trên quy m ô rộng và bảo đảm tính bền vững của hệ thống

- Đưa ra một ngân hàng đề thi mẫu gồm trên 720 tiểu mục có sồ dụng phần mềm chuyền dụng Ngân hàng này gồm các tiểu mục và đề thi cho m ô n Tiếng

A n h kinh doanh quốc tế đang được giảng dạy cho hệ cồ nhân tiếng A n h thương mại tại Khoa tiếng Anh, trường Đ H N T Hà nội

kiểm tra đánh giá cho Gác m ô n học thuộc các lĩnh vực và chuyên ngành khác

1.2.3 Nội dung và sấn phẩm của đề tài:

Nội dung của đề tài gồm hai phần chính sau:

Ả ) Phần giới thiệu và thuyết minh để tài gồm 5 chương:

- Chương ì: Mục tiêu và phạm vì áp dụng cùa đề tài

Mục tiêu của đề tài nhằm nghiên cứu cơ sở lý luận và khả năng áp dụng công nghệ kiêm tra đánh giá hiện đại trong giảng dạy ngoại ncữ nói chung và tiếng Anh nói riêng nhìn tử giác độ lý thuyết về ngón ngữ, tâm lý và giáo học pháp ngoại ngũ Trên cơ sở trên đề tài khuyến nghị quy trình công nghệ trong quá trình lập, quản lý vận hành một ngân hàng đè thi có sử dụng phần m é m chuyên dụns

- Chương 2: Cơ sở lý luận và phương pháp nghiên cứu

Phần này xem xét các trường phái lý thuyết liên quan đến giảng dạy ngoại ngữ

và công nghệ kiểm tra đánh giá, các tiêu chí càn có của một ngán hàng đề thi

và một bài kiểm tra đánh giá (test)

- Chương 3: Quy trình xây dựng ngân hàng đề thi

Trong phần này tác giả xác định các quy trình lập ngân hàng đề t h i và khuyếnnghị một m ô hình Ún 2 dụng mang tính khả thi cao đáp ứng được những tiêu chí cần có

- Chương 4: Khả năng tin học hoa khâu kiểm tra và đánh giá

Trong phần này tác giả đã nghiên cứu khả năng áp dụng tin học trong kiểm tra

và đánh giá đặc biệt là nêu các yêu cầu cần có của một phần mềm ứng dụng

Phần này cũng giới thiệu các tính năng, công dụng của phần mềm chuyên dụng TestPro Ì 0 do công ty tin học Edtech phát triển Phần mềm này được sử dụng để chạy trên quy m ô thử nghiệm một ngán hàng tiểu mục đề thi gồm

trên 720 tiểu mục cho món Tiếng Anh Kinh doanh quốc lố đang dạy tại n ường Đại học Ngoại thương

- Chương 5: Kết luận và khuyên nghị lỊÌái pháp

Trên cơ sở đánh giá khả năng ứng dụng, m ô hình hoa và chạy thử nghiệm trên quỵ m ó nhỏ, đề tài khuyến nghị giải pháp triển khai trên quy m ó chính thức cho một số môn học đang dạy tại Khoa tiếng Anh và cho cả các môn học khác trong trường

B) Sản phẩm của đề tài:

Toàn bộ trên 720 tiểu mục thô đưẹc biên soạn, sưu tầm và phán loại sẽ đưẹc nạp vào một phần mềm ứng dụng do cóng ty Edtech phát triển Toàn bộ phần mềm ứng dụng và trên 720 tiểu mục đưẹc chứa trong Ì đĩa CD để dùng vào mục đích hoạt độn£ trên quy m ô thử nghiệm N ộ i dung kiểm tra đưẹc dựa trên mục tiêu và nội dung của 5 chương đầu thuộc môn học Tiếng Anh Kinh doanh quốc tế Phần mềm ứng dụng sử dụng trong đề tài này mang tính thử nghiệm Do kinh phí hạn hẹp của đề tài, phần mềm ứng dụng sẽ đưẹc chuyển giao trong giai đoạn triển khai một khi công trình đưẹc phép ứng dụng trên quy m ô lớn tại trường Đ H N T

C H Ư Ơ N G l i : C ơ S Ở L Ý L U Ậ N V À P H Ư Ơ N G P H Á P N G H I Ê N cứu

2.1 Quan hệ giữa hoạt động giảng dạy và kiểm tra đánh giá

Quá trình dạy là chu trình liên tục và khép kín bao gồm nhiều bước kế tiếp nhau, bổ sung cho nhau Xây dựng chương trình đào tạo theo hướng lấy người học làm trọng tám thường bắt đầu từ khâu phán tích yêu cầu, mục đích của người học Những yêu cầu và mục đích ấy được cụ thộ hoa thành mục tiêu chương trình đào tạo Mục tiêu chương trình đào tạo mang tính chỉ đạo quyết định nội dung chương trình nào, phương pháp nào, tài liệu dạy-học nào và phương thức kiộm tra-đánh giá nào là phù hợp độ đạt mục tiêu chương trình đề

ra Đ ộ có thộ đánh giá tổng thộ chất lượng của chương trình đào tạo, người ta cần đánh giá thành quả học tập của người học Những thông tin đánh giá tổng thộ giúp người quản lý và người làm chương trình rút ra được bài học cho những khoa học sau Quá trình dạy học có thộ m ô tả vắn tắt theo m ô hình sau (Hình 1):

Phân tích nhu cầu người

Chu trình trên, theo quan diêm phát triển trong giáo dục, là chu trình khép kín luôn luôn đổi mới theo nhu cầu và trình độ của người học Cũng như chương trình và phương pháp đào tạo, phương pháp và nội dung kiểm tra đánh giá cũng không ngừng được bổ sung và hoàn thiện

2.2 Các truồng phái ngôn ngữ và lý thuyết về kiểm t r a đánh giá Phương pháp luận đóng vai trò đựnh hướng cho quá trình dạy-học Lý luận về dạy và học ngoại ngữ đã trải qua nhiều thời kỳ phát triển và chựu sự chi phối của nhiều trường phái ngôn ngữ học, tâm lý học khác nhau Đ ã có lúc các nhà

khoa học đã cố gắng tìm ta một phương pháp dạy ngoại ngữ tốt nhất Nhưng

rốt cuộc, người ta phải đi đến kết luận rằng không có phương pháp nào là tốt nhất phù hợp với mọi đối tượng và mọi hoàn cảnh học tập Phương pháp kiểm tra/đánh giá cũng chựu sự chi phối của các trào lưu trên Tuy các trường phái thì có nhiều song trong phạm vi công trình này chúng tôi xin chỉ đề cập đến hai trường phái chính có ảnh hưởng sâu sắc nhất tới phương pháp giảng dạy và kiểm tra đánh giá hiện đại, đó là trường phái cấu trúc-hành v i (structural-behavourist approach) và trường phái giao tiếp (communicative approach)

Đ ể đảm bảo cho một bài test đáp ứng được những tiêu chí của nó, người soạn thảo phải hiểu rõ mình đựnh test cái gì Theo quan điểm giao tiếp, một bài test phải gồm những tập hợp những kỹ năng ngôn ngữ nguyên mẫu m à người học

có thể sử dụng trong những tình huống giao tiếp tương tự trong thực tế Vì vậy một N H Đ T phải được xây dựng trên nền tảng lý thuyết và một m ô hình về năng lực giao tiếp của người học Dưới đây là một số trường phái ngôn ngữ và tâm lý học chính là cơ sở lý luận chủ chốt của C N K T Đ G hiện đại

2.2.1 Trường phái cấu trúc và trắc nghiệm tâm lý (The structural approach)

psychometric-Có thể nói nguyên tắc chủ đạo để thiết kế các bài test dựa trên các chương trình hoặc giáo trình thiết kế theo trường phái cấu trúc là dựa trên trường phái

lúm lý hành vi và lý thuyết ngôn ngữ học cấu trúc thể hiện cụ thè trong các công trình của Lado (1961), Harris (1969) và Healon (1975) Các bài test thời

kỳ này gọi chung là bài test cấu trúc-lrấc nghiệm tám lý (The structural approach) với đặc trưng chính lù sự nhấn mạnh đến tính khách quan (objectivity) trona C N K T Đ G Hình thức bài icsl chủ yếu là dạng câu lựa chọn không cần ngữ cảnh (discrete-point multiple choice items), hình thức này thộm chí còn đùn" để kiểm tra cúc kỹ năng sản sinh (productive skills) như nói và viết

psychometric-Các bài test chủ yếu dựa trên sự phân chia nhỏ ngôn ngữ thành các bộ phộn cấu thành có trình tự từ thành phần nhỏ đến lớn, từ cao đến thấp: ám vị, ngữ vị đến từ vị và sau cùng là cáu Năng lực ngôn ngữ của một người được coi là quá trình nhớ và tích lũy và hình thành hệ thống thói quen trong giao tiếp từ đan giản đến phức tạp

Trường phái này rất được ưa chuộng và được áp dụna trong dạy ngoại ngữ trong thộp kỷ 60 và 70 và hiện nay vẫn được áp dụng khá rộng rãi tuy có được cải biên Tuy nhiên trường phái này cũng có những hạn chế nhất định Carrol (1961) nhộn xét các dạng test kiểu này chỉ có thể đo lường từng phần cấu thành nhỏ của ngôn ngữ không thể đánh giá tổng hợp quá trình vộn dụng cấu trúc trong giao tiếp trong những tình huống cụ thể và vì vộy cần thiết k ế test theo hướng tích họp có tính đến các yếu tố về tình huống siao tiếp cụ thể chứ không nén chia nhỏ kiến thức hoặc kỹ năng của người học Bài test không đủ khả năng đưa các yếu tố về chu cảnh giao tiếp vào nội dung test

Tuv còn những hạn chế trên song các bài test dựa trên trường phái cấu trúc và trác nghiệm tám lý đã có nhũng đóng góp đáng kể cho C N K T Đ G như:

• Đ ã chú trọng đến phương pháp phân tích thống kê và lượng hoa trong đánh

giá

• Đ ã dựa trên khái niệm về độ tin cộy (Reliability) và độ giá trị (Validity)

• Có sự gắn kết giữa nội dung test và nội dung chương trình giảng dạy

• Đ ể cao tính khách quan trong đánh giá

2.2.2 Trường phái giao tiếp

Trường phái trắc nghiệm dựa trên nàng lực giao tiếp (Communicative language testing) được phát triển trên cơ sở trào lưu chung (rong giảng dạy ngoại ngữ từ trường phái cấu trúc sang trường phái giao liếp nhấn mạnh đến việc vận dụns ngôn ngữ trons giao tiếp Hymes (1967) đưa ra khái niệm tình huống aiao tiếp để chỉ các hoạt đầng ngôn ngũ' chủ yếu chi phối bởi các quy tắc giao tiếp chứ không phải chỉ bởi các quy tắc ngữ pháp Hymes cũng đưa

ra khái niệm năng lực giao tiếp (communicative competence) Theo ông, năng lực giao tiếp không chỉ bao sòm các kiến thức về ngữ pháp m à còn liên quan đến các khả năng khác ngoài ngôn ngữ Các yếu tố giao tiếp thực tế cần phải đưa vào các bài test, các yếu tố đó phải phản ánh được các đặc trưng sau của giao tiếp:

• Giao tiếp phải mang tính tương tác, nghĩa là nầi dung người nói nói lệ thuầc vào nầi dung nghe được Quá rình giao tiếp là quá trình trao đổi linh hoạt luôn luôn phải phân tích tình huống và ý đồ của người đối thoại

• Giao tiếp đòi hỏi phải xảy ra trong ngữ cảnh cụ thể

• Giao tiếp đòi hỏi phải sử dụng r.cữ liệu thực và phải đạt tới mầt mục đích cụ thể như thông báo hay thuyết phục

Dựa trên cơ sở lý luận trên chúng ta thấy hiểu rõ nầi dung, kiến thức và kỹ năng cần phải đánh giá là điều kiên tiên quyết, là điểm bắt đầu để trên cơ sở

đó xác định tính (đầ) giá trị (validity) của mầt bài test hay mầt N H Đ T Nói tóm lại tính giá trị của mầt test nhằm trả lời cho câu hỏi liệu bài test có đo lường được cái người thiết kế test định đo hay không? Tuy nhiên, trên thực tế

khái niệm tính giá trị cũng như phương pháp nhằm đạt được tính giá trị cao của một test cũng còn có nhiều điều phải bằn trong giới khoa học

2.2.3 Loại hình kiểm tra đánh giá

Về tính chất, bài test có thể chia thành 2 loại hình chính kiểm tra quá trình (process) và kiểm tra sản phẩm cuối cùng (end-product) M ỗ i loại có tác dụng

riêng của nó, tuy thuộc vào mục đích sử dụng

Các bài test còn được chia thành các loại hình chính sau tuy mục đích test:

Ì) Kiểm tra kết quả (Achievement Test):

Kiềm tra kết quả dùng để đo kết quả người học đạt được sau một khoa học hoốc mức độ hoàn thành chương trình N ó nhất thiết phải lấy múc tiêu và nôi dung chương trình học làm cơ sở (syllabus-based), ví dụ như bài t h i tốt

nghiệp chương trình phổ thông trung học chẳng hạn Ngân hàng tiểu mục đề thi thuộc đè tài nghiên cứu này cũng thuộc loại hình này

2) Kiểm tra theo chuẩn thực tế(Proficiency Test)

Loại hình kiểm tra này đánh giá kỹ năng toàn diện về một ngôn ngữ nhất định của thí sinh trước những yêu cầu cụ thể cần phải hoàn thành N ộ i dung bài thi

thuôc loại hình đánh giá này không liên quan đến chương trình, n ộ i dung,

phương pháp học tập cụ thể của thí sinh, m à quan tâm đến yêu cầu thí sinh cần phải đạt được trong một tình huống nhất định (syllabus-independent) ví dụ như thi tuyển làm thông dịch viên cho Liên hơp quốc hoốc thi tuyển vào một trường đại học cụ thể nào đó chẳng hạn

3) Kiểm tra thăm dò (Diagnostic Test)

Kiểm tra thăm dò thường sử dụng trước khóa học để giúp giáo viên soạn

chương trình giảng dạy hợp với trình độ học sinh và phát hiện những khó khăn của người học

4) Kiểm tru xếp thứ bậc (Placement Tesl)

Loại hình kiểm tra này được sử dụng đổ xếp người học vào nhóm, lớp cho thích hợp với trình độ, dặc điểm văn hoa, tâm lý hoặc phục vụ nhũng mục đích khác

2.2.4 Những tiêu chí của một bài kiểm tra đánh giá (test)

Một bài đánh giá có tác dụng tích cực đối với quá trình dạy-học hay không

phụ thuộc vào những tiêu chí quan trong cần có, đó là độ rin cậy, tính giá trị, khả năng phân loại tích cực và tính thực tiễn của một bài bài test cụ thể Thiếu

những tiêu chí này, một bài test không những không cóp khệ năng đo lường chính xác m à còn có thể có tác dụng tiêu cực đối với quá trình dạy và học

ã) Độ tin cậy

Đ ộ tin cậy có liên quan đến mức độ chính xác của phương pháp đo về mặt lý thuyết, độ tin cậy có thể được coi là số đo mức độ sai lệch giữa điểm số quan sát được và điểm số thực (lý thuyết) Điểm số quan sát được là điểm số thực tế

m à người học có được và điểm số thực là điểm số lý thuyết m à ngươi học phệi đạt nếu không mắc lỗi Một bài thi/kiểm tra được coi là có độ tin cậy khi:

- trong hai lần kiểm tra khác nhau, cùng một học sinh đạt số điểm tương đương nhau hoặc trùng nhau nếu làm cùng một nội dung kiểm tra,

- ít có khệ năng học sinh gian lận trong khi kiểm tra,

- hai giáo viên chấm cùng một bài cho hai hai điểm sát hoặc trùng

dung bài test gây ra do chọn qua ít câu test Một bài test trên thực tế muốn bảo đảm độ tin cây phải có ít nhất là 30 câu Sai số cũng gây ra bởi việc lựa chọn lệch mẫu Ngay cả khi đã đủ về số lượng câu song nếu các câu không mang tính đại diện về nội dung cũng như tỷ lệ câu (trọng số) Khái niệm này gần với khái niệm về độ giá trị về nội dung bàn dưới đây Đ ỏ đánh giá mực độ tin cậy của một bài test Kuder và Richarson đã đưa ra công thức gọi là công thức K-R21 Công thức này đo độ phù hợp nội tại có nghĩa là các câu hỏi càng thuần nhất thì độ khó của chúng là thích hợp điều đó có nghiã là hệ số tin cậy cao

Đ ộ tin cậy cao cũng có nghĩa là tần suất phân bổ các câu có độ khó trung bình phải cao còn ở hai thái cực phải nhỏ Các câu hỏi hay tiỏu mục trong một bài test được xác đinh là có độ tin cậu cao khi có độ tương quan dương

Ngoài yêu cầu về độ tin cậy, bài thi/ kiỏm tra cần phản ánh đúng trình

độ của người học và đó được cái muốn đo - có nghĩa là đồng thời phải có tính giá trị

• Xác định được bài test đã phản ánh trung thực nguyên lý và lý thuyết về khả nàng thực hành của ngươi tham gia test

Trên cơ sở xác định nói trên, các học giả dã đi đến thống nhất về ít nhất là 4 phương diện thuộc tính giá trị bao gồm tính giá trị về nội dung (content validity), tính giá trị theo chuẩn (criterion-related validity), tính giá trị về cấu trúc hay thuộc tính (contruct validity), tính giá trị bề mặt hoặc hình thức (face validity)

Tính giá trị nội dung có liên quan đến độ bao phủ của một test đối với nội dung của một chương trình, tính giá trị nội dung rất cển thiết cho loại hình test về thành tích học tập ngược lại nội dung kiểu test về trình độ hoàn toàn do người thiết k ế lựa chọn thù thuộc vào quan niệm của người test về chuẩn đánh giá

Tính giá trị theo chuẩn đo lường độ dự báo và độ tương đương đồng thời của một test so vói các test khác đã được kiểm định làm chuẩn Phép đo này dựa vào tính tương đương giữa các bài test trên cơ sở so sánh kết quả test của các

cá thể và các bài test

Tính giá trị về cấu trúc hay thuộc tính có liên quan đến khả năng đo lường các thuộc tính cấu thành nên một kỹ năng cụ thể cển đo Phép đo này liên quan đến các thuộc tính thuộc hành vi, năng lực tư duy của người được test Thí dụ một bài test với mục đích đo lường khả năng tư duy phân tích của một người phải phản ánh tương đối trung thực các thuộc tính các khía cạnh thuộc về tư duy phân tích được thể hiện qua việc thực hiện bài test gồm khả năng phân tích, tổng hợp, phê phán V V v ề khía cạnh này tính giá trị về cấu trúc cũng trùng lặp với tính giá trị về nội dung

Cuối cùng là tính giá trị về bề mặt hay hình thức Tính giá trị hình thức liên quan đến sự tiếp nhận của nguôi được test, giáo viên và người tổ chức test về hình thức Ngày nay x u hướng chung là lựa chọn các dạng test thực hành

Đ ộ tin cậy và tính giá trị có quan hệ với nhau Trong thực tế có những tiểu mục có độ tin cậy nhưng lại không có tính giá trị Đ ó là trường hợp người viết tiểu mục định kiểm tra về lĩnh vực A nhưng thực tế lại đo một lĩnh vực nào đó khác Ví dụ, tiểu mục sau được viết nhằm kiểm tra kỹ năng đọc hoặc có thể là kiến thốc ngữ pháp

Ì Napoleon was

ứ French b German c Italian ả Russian

2 Bananas grow mostly in countries

a cold b tropical c temperate ả dry

Tiểu mục này nếu cho cùng một thí sinh làm nhiều lần có thể mang lại kết quả giống nhau Như vậy tiểu mục có độ tin cậy cao Nhưng nếu xét về tính giá trị thì chưa chắc vì nó không chắc chắn là đo được cái định đo: kỹ nâng đọc hay kiến thốc ngữ pháp hay thậm chí kiến thốc lịch sử (1) hoặc sinh học (2) Hiện tượng này gọi là test song trùng

c) Khả năng phân loại tích cực

Bài kiểm tra phải có khả năng phân loại tích cực Điều đó đơn giản có nghĩa

là người học có khả năng cao hơn phải đạt điểm cao hơn trong bài kiểm tra ấy

Điều này nghe thật đơn giản, nhưng trong thực tế lại có những trường hợp bài

thi phân loại tiêu cực đối với người học Ví dụ, một bài thi quá thấp so với

trình độ người học, người làm bài đều được điểm tuyệt đối hoặc gần tuyệt đối trong khi trình độ thực tế của họ rất khác nhau Bài thi ấy không có khả năng phân loại tích cực

C H Ư Ơ N G HI QUY TRÌNH XÂY DỤNG MỘT N G Â N H À N G

TIỂU MỤC ĐỂ THI (NHĐT)

Đ ể kiểm tra/đánh giá có thế làm đòn bẩy cho quá trình đào lạo và tự đào tạo,

nó phải đảm bảo được những tiêu chí quan trọng như độ liu cậy, lính giá trị, khờ năng phân loại, ván vân Trong (hực tế người ta có nhiều cách khác nhau

đẽ đám bảo các tiêu chí quan trọng trẽn cho kháu này Nhưng cũng qua thực thế, người ta thấy đề thi cho cùng một trình độ nếu do nhiều người soạn và không qua công đoạn sàng lọc, đối chiếu có thể khác nhau rất xa về độ khó

Điều đó không có gì ngạc nhiên vì những người soạn đề không có điều kiện và công cụ để khắc phục tình trạng đó Đ ể khắc phục tình trạng đó, người ta nghĩ đến việc sàng lọc, biên tập và có thể thi thủ các câu hỏi, và qua các phép thống

kê đưa ra các kết quả đo luông nhằm giúp lập các đề thi sao cho câu hói cho cùng một trình độ có cùng độ khó bảo đảm các thược tính càn thiết của một bài test Phương pháp đó là làm ngân hàng tiểu mục đề thi, ở đây gọi tắt là ngân hàng đề thi (NHĐT-tiếng Anh gọi là Item bank) Ngày nay với sự phát triển của công nghệ thông tin ngân hàng đề thi có thể được thiết lập sủ dụng các phần mềm chuyên dụng nhằm bảo đảm tính chính xác, tiện lợi trong các kháu biên soạn, thi thủ, thống kê, điều chỉnh bổ xung tiểu mục, lập đề test, tiến hành thi (trên máy hoặc trên giấy), chấm điểm (thủ công hay tự động), xếp hạng, bảo mật đề thi v.v

3.1 Định nghĩa về ngân hàng đề thi (item bank)

Ngán hàng đề thi là một tập hợp các tiểu mục đã được tuyển chọn, thi thử, phân tích, biên lập, điều chỉnh cho phù hợp với mục tiêu và nội dung của một

món học hay chương trình đào tạo theo '"ác tiêu chí đánh giá đã định trước để

từ đó lập lên đề thi/kiểm tra Tiểu mục (item) là đơn vị nhỏ nhất có giá trị sủ dụng để đo lường khả năng cụ thể nào đó của người học Tiểu mục còn được

coi là một yêu cầu/ nhiệm vụ cụ thể thí sinh phải hoàn thành (Henning, 1994)

Người ta còn đùng thuật ngữ cáu hỏi để chỉ cùng khái niệm này Do vậy, ngân

hàng đề thi còn có tên gọi là ngân hàng câu hỏi

Ngân hàng chứa các tiểu mục được xắp xếp theo những thuộc tính nhất đớnh

Các tiểu mục thuộc cùng chủng loại có độ khó trùng khớp bộ phận Ngán hàng

có thể lập bằng phiếu, trên computer hoặc có sử dụng phần mềm chuyên dụng

Như đã giới thiệu ở trên, Ngân hàng đề thi không phải là những "bộ đề" hoặc một tập hợp nhiều đề thi do nhiều người khác nhau viết sẵn không qua sàng lọc, điều chỉnh Tập hợp đề thi như vậy không có gì để đảm bảo rằng chúng có

cùng độ khó Đ ó chỉ là một thư viện đề thi thô Thực tế đã cho chúng ta những

ví dụ về đề thi cho trình độ thấp hơn lại khó hơn đề thi cho trình độ cao hơn, các bài thi cho cùng một trình độ lại khó hoặc dễ hơn nhau rất xa

Các tiểu mục trong Ngân hàng được sử dụng nhiều lần, có thể giữ nguyên để dùng lại hoặc có điều chỉnh, sửa đổi vì lý do bảo mật và an toàn hoặc để nâng cao chất lượng Chính vì lý do đó, việc tổ chức thi phải đảm bảo các tiểu mục được an toàn, không rò ri ra ngoài sau khi thi/kiểm tra

3.2 Ý nghĩa của việc xây dựng ngân hàng đề t h i

Một ngân hàng đề thi có thể giúp đảm bảo được các tiêu chí về chất lượng của

khâu kiểm tra/ đánh giá (Độ tin cậy, Tính giá trị, khả năng phân loại tích cực, vv) một cách nhất quán, công bằng, an toàn, khách quan và ổn đớnh Sự khác nhau cơ bản của một ngân hàng đề thi và một thư viện đề thi là ở chỗ mọi tiểu mục dùng để cấu thành một đề thi cụ thể đều được kiểm định, sàng lọc qua các công đoạn của quá trình xây dựng Ngân hàng đề thi (item bank) Từ một

ngân hàng m à các tiểu mục đã được chọn lọc xếp sắp theo những tiêu chí cụ thể, người ta có thể cấu tạo một số lượng đề thi gần như vô hạn N h ư vậy, ngân hàng đề thi không những mang ý nghĩa học thuật m à còn mang ý nghĩa kinh

tế Ngoài ra, một ngán hàng chỉ gồm các tiểu mục như vậy có thể hạn chế tối

đa được những rủi ro, và những việc làm tiêu cực trong khâu làm đề thi

Với những ý tưởng cơ bản như trên, hoạt động của Ngân hàng được m ô tả vắn tắt như sau:

- Ngân hàng sẽ thu nạp các tiểu mục do tất cả giáo viên viết theo những tiêu chí, quy ước thống nhất, theo quy trình xây dựng Ngân hàng;

- Các tiểu mục sẽ được một bộ phận chuyên m ô n làm đứu mối thường xuyên tổ chức rà soát để đảm bảo chúng đáp ứng được những yêu cứu

cơ bản trong kiểm tra/đánh giá;

- Ngân hàng sẽ đóng vai trò một nguồn cung cấp tiểu mục để những người được giao nhiệm vụ biên soạn đề thi/kiểm tra cấu tạo đề cho m ỗ i

kỳ thi/kiểm tra;

- Ngân hàng cũng có thể là nơi cho học sinh tham khảo và tự kiểm tra với

sự trợ giúp của vi tính khi điều kiện vật chất cho

phép Ngân hàng phải thường xuyên được bổ sung tiểu mục mới

3.3 Thực tiễn áp dụng ngân hàng đề thi trẽn thê giới

Trên thế giới đã có nhiều nước sử dụng N H Đ T cho nhiều m ô n học khác nhau, nhiều bậc học khác nhau, điển hình là ETS (Mỹ), UCLES (Anh), v.v Cho đến nay, các trung tâm này đã xây dựng được ngân hàng câu hỏi khổng l ồ phục vụ cho rất nhiều kỳ thi, kiểm tra khác nhau thuộc nhiều lĩnh vực chuyên m ô n và phục vụ nhiều mục đích, từ đánh giá giáo dục đến tuyển chọn nhân viên các ngành khác nhau (ETS) Riêng về lĩnh vực tiếng, ETS có ngân hàng câu hỏi phục vụ cho các bài thi S Á T (phục vụ cho kỳ sát hạch vào đại học ỏ M ỹ )

GRE, TOEIC, vân vân

UCLES của A n h cũng từ lâu xây dựng ngán hàng câu hỏi cho nhiều m ô n học

ình vực tiếng Anh, UCLES có thuộc chương trình giáo dục phÔỊ-tffôiỊgJ'Ẹ|J'

l i S U Ô N G OAI H Ó C

ngân hàng cho các bài thi PET , FCE, CAE, CPE, vân vân, và nổi tiếng thế giới là IELTS Ngoài tiếng Anh ra, UCLES cũng xây dựng ngân hàng cho nhiều ngoại ngữ khác như tiếng Pháp, Đức, Nga, ý, Tây Ban Nha, Nhật, ván vân

Khi chưa có sự hỗ trợ của công nghệ vi tính, ngân hàng được xây dựng

và lưu trữ trên giấy, dưới dạng thẻ, phiếu được phân loại theo thuộc tính, độ khó hoặc lĩnh vực chuyên môn Các tiểu mắc vẫn được trải qua tất cả các bước

có tính nguyên tắc của quy trình xây dựng N H Đ T Các bước có tính nguyên tắc này sẽ được trình bày kỹ ở những phần sau Ngày nay, với sự hỗ trợ của công nghệ vi tính việc lưu trữ tiểu mắc trên ngân hàng trở nén thuận tiện hơn nhiều nhưng nguyên tắc xây dựng ngân hàng vẫn không có gì thay đổi

Cho đến nay, người ta đã tiến xa hơn đến viêc xây dựng phần mềm chuyên dắng phắc vắ cho công đoạn làm ngân hàng Đây là nỗ lực của các nhà chuyên m ô n thuộc các chuyên ngành khác nhau và nỗ lực của chuyên gia viết phần mềm ví tính

Cho dù bằng phương tiện gì, các tiểu mắc của ngân hàng đều được sàng lọc, biên tập sau những lần thi thử và sau những lần thi thật sao cho chúng thoa mãn được các tiêu chí quan trọng như nêu ở trên về nguyên tắc và trong thực tế, các tiểu mắc sẽ được sử dắng nhiều lần cho các bài thi khác nhau Đ ể

có một tiểu mắc tốt thoa mãn được các yêu cầu quan trọng như độ tin cậy, tính giá trị và khả năng phân loại tích cực, người ta phải mất nhiều công sức và thời gian Do vậy các tiểu mắc nhất thiết phải được bảo mật trong k h i và sau khi sử dắng vào các bài thi Các tiểu mắc hoàn toàn có thể được sử dắng nhiều lần vì theo các nhà nghiên cứa, trong thực tế khả năng thí sinh nhớ toàn

bộ chi tiết tiểu mắc (dù là của một tiểu mắc) rất thấp, vả lại các tiểu múc thường được biên tập lại, thay đổi một chi tiết sau mỗi lần thi

Ở Việt nam, khái niệm về N H Đ T còn rất mới Cho đến nay, mới có mót vài đề tài xây dựng N H Đ T dựa trên nguyên tắc và khái niệm theo đúng nghĩa của thuật ngữ Gần đây, từ "ngân hàng dề thi" được nhiều người nói đến, nhưng có không ít sự nhầm lẫn N H Đ T với một tập hợp các đề thi do nhiều người khác nhau làm sẵn được niêm phong trong các phong bì Tập hợp những đề thi do nhiều người khác nhau biên soụn, như trên đã nói, không nằm trong khái niệm

N H Đ T trong bài này

3.4 Xây dựng tiểu mục (item/question)

Về cơ bản một tiểu mục chính là một vấn đề cần phải giải, (hoặc một bài tập người học phải làm trong quá trình học tập) N ó có thể dưới dụng một câu hỏi, một câu lửng cần hoàn thiện, hoặc một vấn đề cần lý giải, bình luận, w

a) Loại (chấm) chủ quan

Một tiểu mục cơ bản bao gồm vấn đề cần giải quyết, ví dụ như m ô tả, trần thuật, bình luận, tranh luận, lý giải, vân vân Loụi tiểu mục chấm chủ quan thường được sử dụng để kiểm tra về các kỹ năng sản sinh, nhất là kỹ năng viết hơn là với các kỹ năng đọc và nghe

Ví dụ: Anhlchị hãy bình luận câu " " trong bộ phim X

Loụi tiểu mục này có tên gọi như vậy vì trong khâu chấm, ý kiến phán xét chủ quan của người chấm can thiệp vào việc đánh giá Và do vậy, kết quả đánh giá của giám khảo khác nhau trên cùng một bài/tiểu mục cũng khác nhau Sự chênh lệch về điểm số giữa các giám khảo gần như là hiển nhiên Sự khác biệt trong kết quả đánh giá chủ quan đối với cùng một bài thi/tiểu mục không những chỉ xảy ra giữa các giám khảo khác nhau m à còn xảy ra giữa các lần chấm khác nhau do cùng một người chấm

Tuy vậy, trong thực tế, không thể đánh giá m ọ i khả năng hoặc kỹ năng bằng hình thức tiểu mục chấm khách quan, có những khả năng, kỹ năng phải đánh

giá chủ quan Ví dụ, cho đến nay người ta vẫn thấy đánh giá kỹ năng viết thông qua các tiểu mục chấm khách quan là vô cùng khó khăn Với tiểu mục/

bài thi chấm chủ quan, trong hướng dẫn chấm, người viết tiểu mục/bài thi thường chỉ nêu ra một số gợi ý cho người chấm, những chi tiết cẩn kiểm tra,

dự đoán hành vi của người làm bài và tỷ trồng điểm (weight) cho từng chi tiết của mục/bài thi

b) Loại (chấm) khách quan

Một tiểu mục cơ bản bao gồm vấn đề cần giải quyết được gồi là thân (stem)

và một số lời giải cho sẵn (choices/options - phổ biến nhất là 4 lưa chồn ) Ư u điểm của loại tiểu mục này là nó hạn chế tối đa sự can thiệp chủ quan của người chấm Một tiểu mục/bài thi cho dù do giám khảo nào chấm cũng cho cùng kết quả Ngày nay người ta còn dùng máy chấm là scanner quang hồc để chấm bài và có thể chấm hàng nghìn bài trong một, hai giờ

Nhược điểm của loại tiểu mục này là rất tốn công và thời gian biên soạn Đ ể

có được một tiểu mục có các yếu tố nhiễu tốt và đáp án đúng đôi khi đòi hỏi hàng giờ, và có những trường hợp phải bỏ tiểu mục đó vì không thể chồn được yếu tố nhiễu hợp lý Như vậy, khó khăn chính ở đây là soạn các yếu tố nhiễu

Người ta đã tổng kết được khoảng trên 100 nguyên tắc cụ thể để đảm bảo chất lượng của một tiểu mục loại này (đặc biệt là đối với các yếu tố nhiễu) Ngoài

ra, khâu tổ chức thi/kiểm tra cũng đòi hỏi nhiều đầu tư hơn so với loại bài chủ quan để đảm bảo kết quả phản ánh đúng trình độ thí sinh

c) Loại tiểu mục phi ngữ cảnh (text-freel discrete-point item)

Loại này bao gồm thân (stem) là phần nêu vấn đề hay phần dẫn (có thể

dưới nhiều dạng cú pháp khác nhau) cùng với một số lời giải (thường là 4 người ta thường gồi là tiểu mục có nhiều lựa chồn - Multiple choice questions MCQ), trong đó chỉ cồ một lựa chồn (lời giải) là đúng hoặc tối ưu Loại tiểu mục này thường đươc sử dụng để kiểm tra những chi tiết, thông tin cụ thể độc

-lập với các ngữ cảnh (bài/đoạn văn), không phụ thuộc vào một đoạn văn nào,

người ta thường gọi là tiểu mục phi ngữ cảnh (text-free/ discrete-point item),

thường được sử dụng cho kiểm tra kỹ năng đọc

3.5 Quy trình xây dựng Ngân hàng và làm đề thi

Quy trình xây dựng một ngân hàng đề thi là quy trình gồm nhiều bước khép lán và luôn được cập nhạt trên cơ sở các thông số thống kê cho phù hợp với mục tiêu đào tạo và bảo đảm những tiêu chí cỏn có cho một ngân hàng

Hình 2 dưới đây cho thấy các bước cỏn có trong quá trình xây dựng N H Đ T và các mối quan hệ tương hỗ giữa các bước:

- Xác định nhu cỏu test

Xác đinh nhu cẩu test

Láp quy trình

Thiết k ế

Điều chỉnh Xây dưng test

Quy trình xây dựng một N H Đ T như trên mang tính tuần hoàn và khép kín

Một khi đã xác định được nhu cầu xây dựng N H Đ T , trong bước xác định quy trình hay còn gọi là kế hoạch Bước này nhất thiết phải có điều tra về đặc điểm, trình độ đầu vào của học viên, nhu cẩu, cơ sở vật chất kụ thuật của người/ cơ quan sử dụng Trong cóng đoạn thiết kế bài thi, bước đầu tiên là phải xây dựng được tiêu chí đánh giá Tiêu chí đánh giá phải bao gồm những

kụ năng, nội dung, chủ điểm cần phải kiểm tra, cấu trúc độ dài, thời lượng của một bài test Bước này có thể gợi ý một số hình thức của bài test để thăm dò ban đầu Trong quy trình xâu dựng hay viết bài test, các bài test phải qua kháu thử nghiệm trên dân số mẫu Kết quả test sẽ dược phán tích và thống kê Công đoạn này cũng cần lấy ý kiến của người học, giáo viên về bài test Sau khi bài test đã được thử nghiệm và điều chỉnh các tiểu mục sẽ được nạp vào ngân hàng sẵn sàng để dưa vào sử dụng Trong quá trình sử dụng các khâu lại được

rà soát lại, bổ sung và điều chỉnh thông qua quy trình giám sát và sàng lọc Cứ như vậy quy trình sẽ thường xuyên được cập nhật bám sát yêu cầu phát triển trong từng kỳ học hay năm học Dưới đây chúng tôi xin trình bày chi tiết khâu quan trọng nhất đó là quy trình thiết kế và xây dựng / viết tiểu mục test

3.5.1 Bước 1: Xây dựng tiêu chí đánh giá

Việc đầu tiên là tiến hành định lượng , định tính và chuẩn hoa những yêu cầu

cụ thể m à người học đồng thời là đối tượng của bài thi phải đạt được đối với

mỗi kụ năng, mỗi trình độ Việc tiêu chuẩn hoa nội dung kiểm tra sẽ giúp cho việc đánh giá chất lượng chính xác và công bằng hơn, thực hiện chức năng đòn bẩy cho quá trình dạy/học

a) Xây dựng hệ thống chuẩn

Để có thông tin về hiệu quả quá trình đào tạo, người ta phải có một hệ thống

đo lường kết quả có tính nhất quán, tin cậy và ổn định trong khoảng thời gian nhất định Hệ thống chuẩn đó vừa là cơ sở cho việc xây dựng nội dung chương

trình vừa là đích cần vươn tới của người học và đồng thời là công cụ của người quản lý đào tạo theo dõi tiến độ và tiến bộ của quá trình đào lạo Cụ thể:

- Hệ thống tiêu chí đánh giá là cơ sở cho việc xây dựng chương trình đồng thời là cốt lõi m à quá trình dạy và học đối chiếu

- Hệ thống tiêu chí đánh giá là cơ sở cho việc biên soạn, chọn giáo trình học tữp

- Hệ thống tiêu chí đánh giá là mục tiêu vươn đến của người học và người dạy

- Hệ thống tiêu chí đánh giá là thước đo kết quả quá trình đào tạo Xác định và xây dựng hệ thống chuẩn là một trong những việc đầu tiên trong quy trình kiểm tra/đánh giá Bước đầu tiên này bao gồm việc chi tiết hoa những yêu cầu đối với cả quy trình, bài kiểm tra/thi và đến từng tiểu mục Đ ó

là lĩnh vực test, đối tượng, cấu trúc, loại hình tiểu mục, độ khó tiểu mục, số lượng tiểu mục cho từng mục của bài test w

Đối vái các bài thi đánh giá năng lực tổng hợp hoặc đánh giá khả năng để hoàn thành một nhiệm vụ cụ thể nào đó, tiêu chí đánh giá và nội dung bài thi phải dựa trên yêu cầu của công việc (ví dụ độ lưu loát về ngữ và về kiến thức chuyên ngành, vân ván) Đ ố i với các bài thi đánh giá mức độ hoàn thành

chương trình học tữp, các tiêu chí đánh giá phải lấy nội dung, chủ yếu là mạc tiêu của chương trình đào tạo làm cơ sở Tất cả những thông số liên quan đến

yêu cầu của tiêu mục được chuyển đến người viết tiểu mục

b) Đặc tính quan trọng của hệ thông chuẩn

Hệ thống chuẩn vừa phải đảm bảo tính ổn định, vừa đảm bảo tính linh hoạt

Tính ổn định có giá trị trong một khoảng thời gian nhất định, và tính linh hoạt gợi ý sự điều chỉnh theo thời gian, theo yêu cầu đào tạo Điêù đó có nghĩa là

hệ thống chuẩn có tính quy định bởi thời gian (time-bound) Vì chúng ta đều

biết khả năng sử dụng ngoại ngữ không tĩnh tại Trong suốt thời gian thực hiện, các chi tiết trong các mức chuẩn có thể được điều chỉnh cho phù hợp với tiến bộ cấa người học và yêu cầu ngày càng cao cấa người sử dụng sản phẩm đào tạo Sau một khoảng thòi gian nhất định (có thể sau 2-3 khoa học), cả hệ thống chuẩn cần được sửa đổi, bổ sung một cách toàn diện Như vậy, sự thay đổi điều chỉnh hệ thống chuẩn tất yếu vừa là động lực vừa là hệ quả cấa việc điều chỉnh chương trình, phương pháp dạy-học, w

Hệ thống chuẩn cần có một thang chuẩn có độ bao quát rộng từ thấp nhất đến cao nhất, được hiểu là mức chuẩn tối thiểu và mức chuẩn tối đa Các mức chuẩn này tham gia vào đánh giá ở các giai đoạn khác nhau, tuy thuộc mục đích cấa việc đánh giá; đánh giá trong quá trình đào tạo hoặc đánh giá kết quả cuối cùng Với việc đánh giá qua trình, một mức chuẩn có thể cho thông tin điều chỉnh (remedial), giúp người quản lý đào tạo hoặc trực tiếp dào tạo điều chỉnh những thành tố liên quan đến quá trình này, như phương pháp dạy-học, tài liệu học tập, môi trường học tập, w Nhưng với việc đánh giá sản phẩm cuối cùng (end-product), thông tin do mức chuẩn này cho biết sẽ giúp đưa ra quyết định "đỗ/trượt" đối với người học Như vậy mỗi mức chuẩn đều có thể

sử dụng vào những mục đích cụ thể nào đó

Giữa mức tối thiểu và tối đa trong hệ thống chuẩn có thể có nhiều bậc khác nhau Các bậc này có sò lượng càng lớn thì càng giúp cho đánh giá dược chính xác và công bằng hơn Người viêt thang chuẩn phải xác định được và m ô tả chi tiết các hành vi ngôn ngữ cho từng mức chuẩn M ỗ i mức trên thang chuẩn

có thể được chia nhỏ hơn thành một số bậc phụ trên và dưới mức Mục đích cũng nhằm giúp việc đánh giá chính xác hơn

Một điều quan trọng nữa là thang chuẩn càng gần với mục tiêu đào tạo bao nhiêu thì càng tốt bấy nhiêu

c) M ộ t sô phương tiện dùng để xây dựng hệ thống chuẩn và biên soạn bài test

Đ ể xây dựng một hệ thống thang chuẩn, người ta có thể xác định những yếu tố chính sử dụng một bảng đặc trưng hai chiều (two-way grid) hoặc còn gọi là

ma trận hai chiều Hai chiều cơ bản gớm một chiều đại diện cho các nội dung kiến thức hoặc kỹ năng có trong chương trình đào tạo, chiều kia đại diện cho các hành vi (phản ứng) của thí sinh đối với vấn đề cần kiểm tra (tiểu mục)

Theo Stadola và Stordahl, tác giả của phương pháp này, bảng đặc trưng hai chiều là công cụ hữu ích để làm cho các tiêu chí và tiểu mục phù hợp với mục tiêu đào tạo Cụ thể, bảng này có thể giúp hai đối tượng:

- người xây dựng thang chuẩn

- người biên soạn bài kiểm tra/thi cụ thể

- người dạy và người học Sau đây là một ví dụ về Bảng ma trận hai chiều sử dụng cho bốn kỹ năng

Trên cơ sở những yếu tố và yêu cầu hai chiều quan trọng nhất đối với từng kỹ năng, người ta xác định trọng số cho từng tiểu kỹ năng hoặc yếu tố hình thái ngôn ngữ Ma trận hai chiều này có tác dụng đối với người dạy, người soạn bài kiểm tra và người học

M A T R Ậ N H A I C H I Ể U CHO 4 K Ỹ N Ă N G

a Kỹ năng đọc

Skimminglscannìng (Đọc lưới)

Comprehensionl inỷerenee (Đọc hiểu 1 suy diễn)

Tom! Weighl (Trọng số)

Global Tổng quan

SpecỉTic Chi tiết

Totaì Weight Trọng số

* Chủ điểm: sinh hoạt

b Kỹ năng nghe

Recognition Nhận biết

Comprehension Hiểu

- Nội dung cần bao phủ (nằm trong mục tiêu của từng chương)

- Các hình thức test:

• Câu trắc nghiệm khách quan gấm các câu hỏi hai lựa chọn

(đúng/sai), câu nhiều lưa chọn (MCQs), Câu điền tò, câu phân tích tình huống có lựa chọn

• Câu chấm chủ quan: Bài tự luận có hạn chế số từ

- Trọng số và số câu cho mỗi loại hình và mỗi chương

4 0 % Bài luận 1 1

Chủ điểm:

Chương Ì: Bối cảnh kinh doanh quốc tế

- Hiểu được khái niệm kinh doanh quốc tế và quá trình toàn cầu hoa

- Hiểu các lý do khiến các công ty tham gia hoạt động kinh doanh quốc tế

- Hiểu các loại hình công ty và doanh nghiệp kinh doanh quốc tế

- Hiểu môi trường kinh doanh quốc tế và các yếu tố cần chú ý

Chương 2: Văn hoa trong kinh doanh quốc tế

- Hiểu khái niệm văn hoa

- Xác định các thành tố văn hoa và tác động của chúng đối với hoạt động kinh doanh quốc tế

- Hiểu được xu hướng thay đổi trong văn hoa và tác động qua lại giữa văn hoa và kinh doanh quốc tế

- Hiểu tác động của công nghệ và môi trường vật chất tới văn hoa

Chương 3: Môi trường chính trị và luật pháp trong kinh doanh

- Hiểu và phân biệt được các hệ thống chính trị thế giới

- Hiểu được nguồn gốc của các loại rủi ro chính trị và phương pháp hạn chế rủi ro

- Hiểu các hệ thống luật và sự khác biệt giữa các hệ thống

- Hiểu được các vấn đề pháp lý phát sinh m à các công ty thường gập

- Hiểu được tác động của quan hệ quốc tế tới hoạt động kinh doanh

Chương 4: Kinh doanh ở các hệ thống kinh tế khác nhau

- Hiểu 3 hệ thống kinh tế chính

- Định nghĩa về khái niệm phát triển kinh tế và phương pháp đo lường trình độ phát triển

- Miêu tả quá trình chuyển đẩi kinh tế

- Những khó khăn khihoạt động trong những nền kinh tế chuyển đẩi

- Những kinh nghiệm của các nước có nền kinh tế chuyển đẩi Chương 5: Thương mại quốc tế

- Hiểu được quan hệ giữa k i m ngạch thương mại và tẩng sản lượng toàn cầu và cơ cấu thương mại quốc tế

- Hiểu được chủ nghĩa trọng thương và tác động của nó

- Hiểu được sự khác biệt giữa lợi thế tuyệt đối và lợi thế so sánh

- Hiểu được khái niệm ưu thế về nhân tố sản xuất và vòng đời sản phẩm

- Hiểu các lý thuyết thương mại mới và lý thuyết về sức cạnh tranh quốc gia

3.5.2 Bước 2: Tìm, tuyển chọn và biên tập tư liệu

Bước này là công việc của người viết tiểu mục Người viết tiểu mục phải tìm, chọn tư liệu đảm bảo các yêu cầu đã được quy định của tiêu chí đánh giá đối với mọi tiểu mục (mục tiêu chương trình dạy/học, độ khó, vân vân) Đ ố i với môn ngoại ngữ, tư liệu có thể lựy từ báo, tạp chí, truyện, tờ rơi, quảng cáo, dài phát thanh, truyền hình, vân vân M ộ t trong những tiêu chí quan trọng đối với

tư liệu nguồn là tính sát thực Tư liệu sử dụng làm nguồn (đặc biệt là để kiểm tra các kỹ năng) nhựt thiết phải lựy từ nguồn do ngươi bản ngữ viết hoặc nói

Trong những trường hợp đào tạo đặc biệt người ta cần làm quen với nhiều

accent khác nhau trên t h ế giới nói cùng ngoại ngữ thì tư liệu dùng cho cả giảng dạy và kiểm tra/thi lại theo nguyên tắc khác, càng đa dạng về giọng điệu

- độ phù hợp với yêu cầu cần kiểm tra,

- tính thích hợp về văn hoa, giáo dục và tâm lý đối với đối tượng kiểm tra và môi trường kiểm tra

Mỗi vựn đề nêu ra ở đây cũng có thể là một chuyên đề lớn trong dạy và học ngoại ngữ

Như vậy, không phải bất kỳ tư liệu nào cũng có thể sử dụng để viết tiểu mục

Trong thực tế, khi tuyển chọn tư liệu người ta cũng mất nhiều thời gian vì có khả năng tư liệu nguồn hoàn toàn không thể sử dụng được và phải loại bỏ

3.5.3 Bước 3: Viết tiểu mục thô

Khi tư liệu đã qua Bước 2 ứ trên, người viết tiểu mục có thể bắt tay vào soạn các tiểu mục (bài tập/câu hỏi) Những câu hỏi/bài tập viết ứ công đoạn này

được gọi là tiểu mục thô Chúng được gọi là tiểu mục thồ vì chúng chưa qua

khâu thi thử để đảm bảo chúng đáp ứng được các yêu cầu của kiểm tra/đánh giá

Người viết tiểu mục thô luôn phải bám sát vào những tiêu chí đã được xác định cả khi tìm tư liệu và viết tiểu mục thô Người viết tiểu mục thô trong bước này phải ước lượng bằng chủ quan độ khó của các tiểu mục mình viết, thường xuyên đối chiếu vói các tiêu chí đã được xác định Những người viết tiểu mục cho cùng đối tượng, cùng độ khó và cùng lĩnh vực kiểm tra có thể trao đổi với nhau để có được những nhận xét sơ bộ về các tiêu chí của tiểu mục

Một trong những bước nhỏ quan trọng là trả lời thử những tiểu mục mình viết

ra với tư cách là thí sinh Đơn giản là trước hết người viết tiểu mục phải giải được tiểu mục do mình viết ra

3.5.4 Bước 4: Biên tập tiểu mục thô

Bước này tạo điều kiện cho những người viết tiểu mục xem lại tiểu mục của mình viết, trao đổi với đồng nghiệp để nâng cao chất lượng của tiểu mục qua những điều chỉnh, sửa đổi lần đầu K h i viết tiểu mục dựa trên ý kiến chủ quan của mình, người viết có thể không nhìn nhận, đánh giá tiểu mục do minh viết một cách đầy đủ và chính xác

Thông thường, khi viết xong người ta dể sau một thời gian mới tự mình xem lại Khi đó ấn tượng của lần viết trước có thể đã phai mờ, chính tác giả đọc lại với tư cách khách quan và có nhận xét phê phán Lúc đó có thể có những cải tiến đối với tiểu mục do chính mình viết ra

3.5.5 Bước 5: Thi thừ

Theo kinh nghiệm thực tế của nhiều nơi, một kỳ kiểm tra có thể vừa thực hiện chức năng thi thừ các tiểu mục đối với quy trình làm ngân hàng vừa là kỳ thi/kiểm tra thật đối với thí sinh Điều cốt yếu là ở chỗ phải xừ lý kết quả thi/kiểm tra đó sao cho cả hai mục đích đều đạt được

Mục đích của bước thi thừ:

- K i ể m định xem từng tiểu mục có đáp ứng được các yêu cầu về chất lượng tiểu mục hay không Kết quả (nếu sừ dụng phần mềm chuyên thống kê) sẽ cho người viết tiểu mục thông tin sau, ví dụ:

• độ khó của tiểu mục,

• khả năng phân loại,

- K i ể m tra lại đáp án đúng Có những trường hợp người soạn tiểu mục nhầm lẫn, hoặc do lý do nào đó cho đáp án sai Nếu đáp án đúng không có vấn đề gì thì có nghĩa là hành vi thí sinh có vấn đề;

có thể do việc học hoặc dạy, Như vậy những thông tin này phục

vụ cho nhiều mục đích khác nhau

3.5.6 Bước 6: Phân tích kết qua test

Những điều vừa bàn ở trên là phương pháp phân tích tiểu mục truyền thống

Trong những năm gần đây, phương pháp phân tích mới đã được áp dụng

Phương pháp này có tên chung là Lý thuyết về phản ứng với tiểu mục (Item

response theoryj và còn được gọi là "phán tích Rasch" Cơ sở của phương

(response) để đo được hành vi (behaviour) Nhưng để thực hiện hiệu quả được phương pháp này người ta cần máy vi tính mạnh

Phân tích kết quả theo phương pháp Rasch (gọi tắt là Phân tích Rasch) dựa trên giả thiết cho rằng một tiểu mục nhất thiết phải có độ khó nào đó và có thể được sắp xếp theo thứ tự độ khó tăng dần, và thí sinh có khả năng ổn đặnh nào

đó

Phân tích Rasch sẽ cho biết thí sinh nào có phản ứng không khớp với m ô hình;

và cho biết tiểu mục nao không khớp với m ô hình Lúc đó chúng ta có thể biết

tiểu mục nào cần điều chỉnh hoặc loại bỏ

Phân tích Rasch còn một số đặc tính khác khiến nó có sức hấp dẫn đối với công nghệ kiểm tra Loại hình phân tích này đang trở nén phổ biến, đặc biệt nhờ các lợi thế của nó và những thao tác toán học không phức tạp Nhưng phân tích Rasch không thay thế m à bổ sung cho phương pháp phân tích cổ điển, cả hai phương pháp đều nhằm giúp các nhà kiểm tra đi đến những quyết đặnh cần thiết

Bước này chủ yếu xem xét để hiểu ý nghĩa các con số thống kê về tiểu mục

Việc phân tích các con số thống kê của bước này nhằm hai mục đích chính:

Kiểm đặnh chất lượng của từng tiểu mục để có những điều chỉnh, sửa đổi, viết lại trước khi nạp vào Ngân hàng cho sử dụng chính thức Nếu tiểu mục nào có chất lượng quá kém có thể bặ loại bỏ Sau bước này, các tiểu mục trong ngân hàng có độ an toàn cao, tránh được những rủi ro, w

Cung cấp thông tin phản hồi về chất lượng dạy/học cho khâu đào tạo để có những điều chỉnh cần thiết

Những phân tích như vậy được thực hiện với mọi tiểu mục và như chúng ta thấy qua ví dụ trên ý nghĩa của những con số này thật không nhỏ