CÁC THANG ĐÁNH GIÁ TIÊU CHÍ PHI SO SÁNH
Như chúng ta đã biết, thang đánh giá tiêu chí phi so sánh có thể mang các hình thức rất khác nhau. Dưới đây chúng ta sẽ xem xét 6 quyết định chủ yếu mà nhà nghiên cứu có thể phải cân nhắc trong quá trình thiết kế thang đánh giá phi so sánh. .
- Quyết định số lượng các phạm trù (số các phương án trả lời) - Quyết định về việc sử dụng thang cân đối hay không cân đối.
- Quyết định về việc nên sử dụng số phạm trù chắn hay lẻ.
- Quyết định về việc nên sử dụng thang cưỡng ép hay không cưỡng ép.
- Quyết định về bản chất và cấp độ của sự mô tả bằng lời.
_- Quyết định về hình dạng của thang đo.
1. Số lượng các phạm trù của thang đo. Các phạm trù (phương án trả lời) càng nhiều thì các khách thể càng được phân biệt rạch ròi với nhau.
Song, mặt khác, phần lớn mọi người chỉ có khả năng thao tác một số ít các phạm trù. Theo các nhà tâm lý học thì số lượng các phạm trù thích hợp với khả năng trị giác của con người là vào khoảng 7 + 2 tức là từ 5 đến 9 phạm trù. Dưới đây là một số nguyên tắc cần tính toán trong việc ra quyết định về số lượng các phạm trù.
Nếu các cá nhân tham gia đánh giá các khách thể mà chúng ta quan tâm hào hứng với nhiệm vụ và am hiểu về các khách thể thì chúng ta có thể sử dụng một số lượng các phạm trù nhiều hơn. Trong trường hợp ngược lại thì chỉ nên sử dụng một số lượng ít các phạm trù. Hình thức thu thập cứ liệu cũng có ảnh hưởng đến quyết định về số lượng các phạm trù. Trong phỏng vấn theo điện thoại hay phỏng vấn qua bưu chính không nên sử dụng nhiều phạm trù.
Việc ra quyết định về số lượng các phạm trù còn tùy thuộc vào việc các cứ liệu sẽ được phân tích và sử dụng như thế nào. Trong trường hợp các tiêu chí đo lường riêng lẻ được tổng hợp cùng nhau để tạo ra một chỉ số đơn giản của mỗi cá nhân tham gia đánh giá thì số lượng các phạm trù ở đây chỉ _5 là đủ. Một số lượng các phạm trù như vậy cũng là hợp lý trong trường hợp nhà nghiên cứu muốn có những khái quát rộng, muốn có sự so sánh giữa các nhóm. Kích thước của hệ số tương quan cũng có ảnh hưởng đến quyết định về số lượng các phạm trù. Số lượng các phạm trù càng ít thì hệ số tương quan càng giảm...
2. Thang cân đối và thang không cân đối
Thang cân đối là thang có số các phương án (phạm trù) dương tính (tán thành, khẳng định...) và số các phạm trù âm tính (không tán thành, phủ định)... ngang nhau. Trong thang không cân đối thì cá số lượng đó không ngang bằng nhau. Nói chung thang đo nên có dạng cân đối. Trong trường _ hợp các câu trả lời có thể sử dụng thang không cân đối có số các phạm trù ở
phía phân số nghiêng theo nhiều hơn số các phạm trù phía kia.
3. Tổng số các phạm trù là một số chắn hay lẻ. Trong trường hợp tổng số các phạm trù là một số lẻ thì phạm trù đứng giữa là phạm trù trung bình. Thang Likert là thang đánh giá cân đối có tổng số các phạm trù là một số lẻ và có phạm trù đứng giữa là phạm trù trung tính.
Việc sử dụng thang đo có tổng các phạm trù là một số chắn hay một số lẻ phụ thuộc vào việc liệu có thể có một số thành viên trong mẫu có thái độ trung tính đối với vấn đề được nêu ra không. Nếu điều đó là có thể thì cần sử dụng thang có tổng số các phạm trù là một số lẻ. Trong trường hợp nhà nghiên cứu muốn cưỡng ép người trả lời không được đưa ra câu trả lời trung tính hoặc có tính mập mờ thì phải sử dụng thang có tổng số các phạm trù là một số chắn.
4. Thang cưỡng ép và thang không cưỡng ép. Thang đánh giá cưỡng ép là loại thang cưỡng ép người trả lời có khuynh hướng trả lời -_ không biết" hoặc "không có ý kiến" phải đưa ra những câu trả lời khác bằng cách loại trừ khỏi thang đo phương án "không biết" hoặc "không có ý kiến". Thang không cưỡng ép, ngược lại có phạm trù "không biết"
hoặc "không có ý kiến". Nếu theo dự đoán của chúng ta nhiều người có thể lợi dụng phương án "không biết" hoặc "không có ý kiến" để tránh đưa ra ý kiến đích thực của mình thì nên dùng thang đo cưỡng ép.
5. Bản chất và cấp độ của việc mô tả bằng lời. Bản chất và cấp độ của sự miêu tả bằng lời gắn với các phạm trù của thang đo có thể được chuyển dịch trong một phạm vi nhất định và điều đó có thể ảnh hưởng đến sự trả lời của các thành viên trong mẫu nghiên cứu. Các phạm trù của thang đo có thể được biểu thị bằng lời, bằng số, hoặc bằng biểu đồ. Thậm chí, nhà nghiên cứu có thể quyết định phải chăng mọi phạm trù đều cần
phải có một nhãn hiệu hay chỉ một số hoặc hai phạm trù ở hai cực có nhãn hiệu là đủ. Có trường hợp sự mô tả bằng lời đối với mỗi phạm trù không làm tăng được độ chính xác hoặc độ tin cậy của các cứ liệu. Sự mô tả bằng lời gắn với tất cả hoặc một số phạm trù phải sát thực với phương án trả lời của trong thực tế.
6. Hinh dang thang do
Thang đo có thể có những hình dạng rất khác nhau. Thang đo có thể trình bày theo tư thế nằm ngang hay nằm dọc. Các phạm trù có thể được biểu thị bằng các hình hộp, bằng các đường gián đoạn, các đơn vị trên một dải liên tục và có thể được ấn định hoặc không được ấn định bằng các con số. Nếu như các giá trị bằng số được sử dụng, thì chúng có thể là số dương số âm hoặc cả hai.
CÁC THANG ĐÁNH GIÁ ĐA TIÊU CHÍ
Để lập thang đánh giá đa tiêu chí, trước hết chúng ta cần khởi sự với lý luận về cấu trúc (đặc trưng) cần đo lường. Lý luận không chỉ cần thiết cho việc thiết kế thang đo mà còn cần thiết cho sự lý giải các điểm số kết quả. Bước tiếp theo là việc nêu ra quần thể các tiêu chí sơ khai ban đầu.
Công việc này được tiến hành dựa theo luận cứ của tác giả, các kết quả phân tích thong tin thứ cấp và nghiên cứu định tính. Trên cơ sở của quần thể (tập hợp) các tiêu chí sơ bộ ban đầu này, một tập hợp các tiêu chí nhỏ hơn được rút ra theo sự phán xét của nhà nghiên cứu hoặc của những cá nhân có
_hiểu biết khác. Việc phán xét có thể lấy chỗ dựa là một số tiêu chuẩn định
tính. Quần thể (tập hợp) các tiêu chí đã được thu gọn lần thứ nhất có thể vẫn con céng kénh vi thế có thể tiến hành tiếp các bước thu gọn nữa với sự giúp đỡ của các tiêu chuẩn định lượng.
Các cứ liệu của các tiêu chí tiểm tàng trong tập hợp các tiêu chí đã được
thu nhỏ sẽ được thu thập trên một mẫu tiền trắc nghiệm có kích thước lớn.
Các cứ liệu này được phân tích bằng các phương pháp phân tích tương quan, phân tích yếu tố, phân tích theo cụm, phân tích khác biệt, trắc nghiệm thống kê. Dựa theo kết quả của sự phân tích trên đây, một số tiêu _ chí riêng biệt được tách ra để hợp thành thang đo đã được chất lọc. Thang đo đã được chắc lọc được đánh giá theo tiêu chuẩn độ ổn định và độ sát thực bằng cách thu thập nhiều cứ liệu hơn từ các mẫu điều tra khác nhau.
Trên cơ sở đánh giá tính ổn định và tính sát thực, bộ tiêu chí quyết
định cuối cùng được xác định. Toàn bộ quá trình xây dựng thang đo đa tiêu chí có thể được trình bày thông qua sơ đồ sau:
Biéu 13:
4... Phát triển luận cứ
Đề xuất tập hợp các tiêu chí sơ bộ ban -——==~~~~~—= đầu trên cơ sở luận cứ, thông tin thứ cấp
và nghiên cứu định tính
Hình thành bộ tiêu chí được thu gọn po trên cơ sở phán xét định tính
Thu thập cứ liệu từ một mẫu tiền trắc nghiệm có kích thước lớn
a Tiến hành các phân tích thống kê
ơ----=--- m4 ._.ễ Hỡnh thành thang đo "Được chất lọc"
a Thu thập cứ liệu từ các mẫu khác nhau
Đánh giá tính ổn định (bền vững), tính
sát thực và tính khái quát của thang đo
mm. Hình thành thang đo chính thức ì
ĐÁNH GIÁ THANG ĐO
Thang đo cần phải được đánh giá dưới góc độ tính chính xác và tính phù hợp. Tính chính xác và tính phù hợp thể hiện thông qua tính ổn định, tính sát thực và tính khái quát của thang đo. Các cách tiếp cận trong đánh
giá tính ổn định là: Đánh giá tinh ổn định trắc nghiệm - tái trắc nghiệm, các hình thái đối lập của tính ổn định và tính ổn định nhất quán bên trong. Tính . sát thực được đánh giá thông qua sự giám định về tính sát thực nội dung, _ tính sát thực chuẩn mực, và tính sát thực cấu trúc.
TÍNH CHÍNH XÁC CỦA SỰĐO LƯỜNG
Chỉ số đo lường là con số phản ánh một đặc trưng nào đó của khách thể. Chỉ số đo lường chưa phải là trị số thực của đặc trưng đó, nó mới là tri số quan sát. Sự biến đổi của các yếu tố có thể tạo ra sai số đo lường. Sai số đo lường là sự khác biệt giữa trị số quan sát (đo lường) với trị số thực của đặc trưng được đo lường. Trị số thực của đặc trưng được đo lường có thể được trình bày bằng biểu thức sau:
Xo = X, + Xp + Xp Xo = Trị số quan sát hoặc đo lường - X, = Trị số đích thực của đặc trưng ÄXs = Sai số hệ thống
Xạ = Sai số ngẫu nhiên.
Sai số đo lường tổng hợp được cấu thành từ sai số hệ thống X; và sai số ngẫu nhiên Xạ. Sai số hệ thống tác động đến kết quả đo lường theo một phương thức không đổi. Sai số ngẫu nhiên ngược lại, không phải là một hằng số. Nó tiêu biểu cho các yếu tố nhất thời có ảnh hưởng đến chỉ số đo
lường theo nhiều cách khác nhau mỗi một khi chúng ta tiến hành đo lường.
Tính ổn định: Tính ổn định phản ánh cấp độ nhất quán của các kết quả đo lường lặp lại. Các nguồn sai số hệ thống không có ảnh hưởng đến tính ổn định bởi vì chúng tác động đến chỉ số đo lường theo một khoảng không đổi và vì thế không thể tạo ra các số liệu thiếu nhất quán. Ngược với sai số hệ thống, sai số ngẫu nhiên sản sinh ra sự thiếu nhất quán, tính ổn định thấp. Tính ổn định có thể được định nghĩa như là cấp độ tự do của các chỉ số đo lường đối với sai số ngẫu nhiên X„. Nếu Xạ = 0 chỉ số đo lường sẽ là chỉ số hoàn toàn ổn định.
Tính ổn định được đánh giá trên cơ sở xác định mối tương quan biến thiên hệ thống trên thang đo. Chúng ta phải xác định mối liên hệ giữa các chỉ số đo lường thu được từ các phương thức điều hành thang đo khác nhau.
Nếu mối liên hệ cao thì có nghĩa thang đo đã tạo ra các kết quả nhất quán và như vậy nó có tính ổn định. Các cách tiếp cận để đánh giá tính ổn định bao gồm cách tiếp cận để đánh giá tính ổn định bao gồm cách tiếp cận trắc nghiệm - tái trắc nghiệm, cách tiếp cận theo hai hình thức (phương án) thang đo; và các phương pháp xem xét tính nhất quán nội tại.