Bài giảng thiết kế công cụ đo lường và khảo sát cho nghiên cứu định lượng hay nhất

Việc phát triển công cụ đo phải được thực hiện gắn bó chặt chẽ với cac mục tiêu, câu hỏi và giải thuyết nghiên cứu. Câu hỏi nghiên cứu và câu hỏi thu thập thông trong công cụ khảo sát là KHAC NHAU, những câu hỏi khảo sát được dùng để tìm kiếm những câu trả lời cho câu hỏi nghiên cứu. Phải xác định rõ ràng đơn vị cần thu thập là cá nhân, hộ gia đình hay là một tổ chức

THIẾT KẾ CÔNG CỤ

ĐO LƯỜNG VÀ KHẢO SÁT CHO NGHIÊN CỨU ĐỊNH LƯỢNG

NỘI DUNG CHÍNH

 Xác định khái niệm

 Các loại câu hỏi

QUÁ TRÌNH XÂY DỰNG CÔNG CỤ ĐO

 Việc phát triển công cụ đo phải được thực

hiện gắn bó chặt chẽ với cac mục tiêu, câu hỏi và giải thuyết nghiên cứu

 Câu hỏi nghiên cứu và câu hỏi thu thập

thông trong công cụ khảo sát là KHAC

NHAU, những câu hỏi khảo sát được dùng

để tìm kiếm những câu trả lời cho câu hỏi nghiên cứu

 Phải xác định rõ ràng đơn vị cần thu thập là

cá nhân, hộ gia đình hay là một tổ chức

QUÁ TRÌNH ĐO ĐẠC

1 Xác định khái niệm cần đo

2 Xác định các đặc tính của khái niệm (thao

tác hoá)

3 Lựa chọn thang đo (loại dữ liệu)

4 Đặt câu hỏi

 Diễn đạt câu hỏi

 Đinh dạng các câu trả lời

5 Thiết kế và bố trí bảng hỏi

6 Thử nghiệm và hoàn chỉnh

THAO TÁC HOÁ KHÁI NIỆM (1/3)

 Có những khái niệm mang tính

trìu tượng hoặc có nội hàm quá

rộng như sự tri thức dân gian,

trung thành, hạnh phúc, sự hài

lòng v.v

 Có những khái niệm cụ thể như

các đặc điểm nhân khẩu học,

kiểu hành vi, số tiền chi trả v.v

Thao tác hoá (operationaliza tion) là quá trình then chốt trong việc xây dựng các công

cụ đo đạc và đánh giá

THAO TÁC HOÁ KHÁI NIỆM (2/3)

Khái niệm cần thao tác

Chỉ báo trung gian cấp độ i

(1)

Chỉ báo trung gian cấp độ i

(2)

Chỉ báo trung gian cấp độ i

THAO TÁC HOÁ KHÁI NIỆM (3/3)

 Các chỉ báo ở cấp độ dưới phải phản ánh tối ưu nội hàm của chỉ báo

được thao tác ở cấp độ trên.

 Các chỉ báo không được trùng lặp nhau về nội dung.

 Các chỉ báo cùng một cấp độ phải cùng một mức độ trừu tượng (hoặc cụ

thể).

 Số lượng các cấp độ thao tác có thể rất nhiều từ 1 đến n, số lượng các chỉ

báo trung gian và chỉ báo thực nghiệm cũng không giới hạn: dao động từ

1 đến n.

 Các chỉ báo thực nghiệm phải là những chỉ báo có thể đo được bằng các

thang đo của xã hội học: thang định danh, thang phân cấp, thang định khoảng và thang tỷ lệ.

 Quá trình thao tác hoá chấm dứt khi đạt đến cấp độ chỉ báo thực nghiệm.

BÀI TẬP

THAO TÁC HOÁ KHÁI NIỆM “THU

NHẬP”;”TRI THỨC DÂN GIAN”; “CÁC HIỆN TƯỢNG THỜI TIẾT’; “CHIẾN

LƯỢC PHÒNG CHỐNG THIÊN

TAI”;”HẠNH PHÚC”

Thao tác hóa khái niệm “Thu nhập”

- Lương cơ bản

- Thưởng

- Thu nhập làm thêm

- Đột xuất

Xây dựng bảng hỏi

 Bảng hỏi là gì? Các loại bảng hỏi

 Vai trò của bảng hỏi trong điều tra

 Số lượng bảng hỏi trong 1 điều tra

đánh giá

CHECKLIST VỚI CÂU HỎI (2/3)

 Câu hỏi có liên quan đến chủ đề khảo sát hay không?

 Câu hỏi có đa nghĩa hay không?

 Câu hỏi liên quan đến tất cả hay chỉ một bộ phận

người trả lời? Có cần câu hỏi lọc hay không?

 Câu hỏi có sự ám thị, gợi ý hay không?

 Câu hỏi có “thẳng” quá hay không?

 Các giải thích trong câu hỏi đã rõ ràng hay chưa?

 Nội dung câu hỏi và thang đo của câu hỏi có phù hợp

nhau không?

 Câu hỏi có vượt quá khả năng ghi nhớ, tri thức và

trình độ của người được học hay không? Có cần câu hỏi kiểm tra hay không?

CHECKLIST VỚI CÂU HỎI(3/3)

 Có những từ nào khó hiểu trong câu hỏi hay không?

 Các dạng phương án đ ặ c biệt như “không biết”, “khó

trả lời”, ý kiến khác” đã được tính toán đến hay chưa?

 Các phương án trả lời có loại trừ nhau hay không?

 Những phương án trà lời đầu và cuối có phải là những

phương án có khả năng được lựa chän nhiều nhất hay không?

 Các phương án có bằng nhau về độ dài hay không?

 Câu h ỏ i có chạm phải sự tự ái, xúc phạm ngư ờ i ftrả lời

hay gây ra sự lo ngại nào đó của người trả lời hay

không?

NHỮNG GỢI Ý (1/2)

 Đặt câu hỏi đơn giản, rõ ràng và trực tiếp

 Nhìn chung câu hỏi nên ngắn gọn, những khi cần thiết

cần có sự lặp lại, diễn giải lại để người trả lời hiểu rõ hơn

 Câu hỏi càng cụ thể càng tốt

 Không dùng dạng câu hai lần phủ định để hỏi

 Tránh dùng câu đa nghĩa

 Tránh dùng câu ghép nhiều ý, trừ câu ghép hợp lý

 Không dùng câu hỏi gợi ý (Ví dụ: Lương tăng sẽ làm

tăng giá tiêu dùng phải không?)

 Không dùng câu hỏi dựa trên giả định (

NHỮNG GỢI Ý (2/2)

 Tránh đưa ra quá nhiều phương án khiến người trả lời

bị rối

 Tránh đưa ra quá ít phương án khiến danh sách cách

câu trả lời thiếu hoàn chỉnh

 Trất tự các phương án trả lời nên bố trí từ ‘đồng ý’

sang ‘phản đối’, từ ‘hài lòng’ sang ‘không hài lòng’

v.v Khi cho đi ểm thì nên cho điểm tăng dần theo

mức độ ‘đồng ý’ hoặc ‘hài lòng’ v.v.

 Không nên để các thang đo đơn điệu một chiều sẽ dân

đến hiện tượng tạo thói quen (habituation) hoặc hiệu ứng ‘vâng’ (year effect)

Bài tập

 Cho ví dụ với các yêu cầu đối với câu

hỏi và các gợi ý

Xét theo nội dung

Theo chức năng

Câu hỏi mở Câu hỏi đóng Câu hỏi hỗn hợp

Câu hỏi lọc Câu hỏi kiểm tra Câu hỏi chức năng tâm lý

Câu hỏi sự kiện Câu hỏi đánh giá, thái độ

Câu hỏi gián tiếp Câu hỏi trực tiếp

CÂU HỎI MỞ - ĐỊNH NGHĨA

 Câu hỏi mở được soạn thảo ra không kèm

thêm những phương án trả lời định sẵn, nó

là dạng câu hỏi cho phép người được khảo sát trả lời bằng những ngôn từ, thuật ngữ của mình, cách đặt câu hỏi cũng tạo ra một

“độ mở” nhất định cho tư duy chứ không

giới hạn các kiểu trả lời

 Thí dụ: Anh chị hãy kể ra những thay đổi trong

cuộc s ố ng của gia đình anh chi kể từ khi dự án bắt đầu thực hiện

CÂU HỎI MỞ - ƯU VÀ NHƯỢC ĐIỂM

 Ghi nhận được sự đa dạng của ý kiến

 Không tạo ra một sự ép buộc nào đối với người

 Rất khó thực hiện việc thống kê các câu trả lời

Khi nào sử dụng câu hỏi mở?

BÀI TẬP

Đặt 1 câu hỏi mở liên quan đến chủ

đề khảo sát đã chọn

CÂU HỎI ĐÓNG - ĐỊNH NGHĨA

Câu hỏi đóng là dạng câu hỏi có kèm theo những phương án trả lời, nó cũng định hướng người trả

lời vào một số phương án có sẵn.

Thí dụ: ông/bà hài lòng hay không hài lòng với thái

độ phục vụ của điều dưỡng viên trực tiếp chăm sóc ông/bà?

 Hài lòng

 Không hài lòng

CÂU HỎI ĐÓNG – PHÂN LOẠI

trận)

Ví dụ câu hỏi đóng dùng thang định danh

Ông bà cho biết ở thời điểm hiện tại ông bà theo hoặc không theo tôn giáo nào?

 Thiên chúa giáo

 Hồi giáo

 Phật giáo

 Ấn độ giáo

 Tôn giáo khác

Câu hỏi đóng dạng thang định

khoảng

So với thời điểm trước khi thực

hiện dự án, khối lượng công việc của người vợ trong việc ‘cấy lúa’ tăng lên, vẫn như trước dự án hay giảm đi?

 (1) tăng lên,

 (2) như cũ hay

 (3) giảm đi

Câu hỏi đóng dạng thang định hạng

Nhiệm vụ của vợ/chồng ông/bà trong sản xuất nông nghiệp của gia đình

Nhiệm vụ của vợ/chồng ông/bà trong làm nghề phụ, sản xuất phi

nông nghiệp của gia đình

Nhiệm vụ của vợ/chồng ông/bà trong làm việc nhà (cơm nước, giặt

giũ, chăm sóc con cái, v.v.)

Chúng tôi đã hỏi ông bà về đánh giá về nhiệm vụ của chính ông bà Bây giờ, xin ông bà hãy cho chúng tôi biết những

đánh giá của ông bà về việc thực hiện nhiệm vụ của

chồng/vợ ông bà trong những công việc dưới đây? (Đề nghị

ông bà suy nghĩ và đánh giá theo thang điểm 10 Điểm 10 là cao nhất và điểm 0 là thấp nhất)

Mua máy móc sản xuất

Mua sắm tiện nghi đắt tiền trong gia

đình (xe máy, ti vi, tủ lạnh v.v.)

Các khoản chi tiêu hằng ngày

Trong gia đình ông bà, ai là người quyết định cuối cùng, nhất

là khi hai vợ chồng có những ý kiến khác nhau về những vấn

đề dưới đây? (đánh dấu X vào phương án tương ứng)

CÂU HỎI ĐÓNG – ƯU VÀ NHƯỢC ĐIỂM

 Phức tạp hơn trong việc thiết kế (tìm và

xây dựng thang đo)

Khi nào sử dụng câu hỏi đóng?

BÀI TẬP

Đặt 1 câu hỏi đóng liên quan đến chủ

đề khảo sát đã chọn

CÂU HỎI HỖN HỢP - ĐỊNH NGHĨA

Câu hỏi hỗn hợp là dạng câu hỏi vừa mang tính chất của câu hỏi đóng vừa

có tính chất của câu hỏi mở, dấu hiệu

để nhận biết là những từ “khác” trong phương án trả lời

THÍ DỤ VỀ CÂU HỎI HỖN HỢP

Hội (Chi Hội) của ông bà đã tổ chức những hoạt động gì trong vòng 1

năm vừa qua tính đến thời điểm khảo sát? (đánh dấu  vào tất cả các phương án phù hợp)

 Xe-mi-na về dự luật mới, về cải cách luật pháp cho hội viên 2

 Cung cấp các ấn phẩm, bản tin cho hội viên 3

 Thực hiện các hoạt động trợ giúp pháp lý 5

 Thực hiện các chương trình truyền thông về pháp luật 6

 Hoạt động khác (xin ghi rõ) 7

Khi nào sử dụng câu hỏi hỗn hợp?

BÀI TẬP

Đặt 1 câu hỏi đóng liên quan đến chủ

đề khảo sát đã chọn

Câu hỏi lọc

 Là câu hỏi để phân tách mẫu nghiên cứu

thành các tập con chứa đựng một đặc tính nào đó mà chúng ta quan tâm tìm hiểu

thêm

 Ví dụ: khi muốn tách ra một nhóm người đã

từng trải qua một thiên tai nào đó để tìm

hiểu sâu hơn, chung ta có thể hỏi ‘ông/bà

đã từng khi nào trả qua bão mạnh tới mức

đỗ nhà hay chưa’, sau đó sẽ hỏi tiếp với

những người trả lời là ‘đã từng’.

Câu hỏi sự kiện & câu hỏi đánh giá

 Là dạng câu hỏi để xác định về các

hành vị, các thực hành, về những

điều thực tế đã có (fact)

 Câu hỏi đánh giá là dạng câu hỏi về

quan điểm/ý kiến/sở thích của người trả lời

CÁC LOẠI BẢNG HỎI

trúc (qua điện thoại/trực tiếp)

cầu bằng an-két/trưng cầu bằng bảng hỏi tự ghi (self-administred

quesionaires)

Các cân nhắc khi thiết kế

 Các câu hỏi cần xắp xếp theo trật tự

thể nào?

 Bố trí của bảng hỏi có phục vụ tốt cho

mục đích nghiên cứu hay không?

(pretest) như thế nào?

hay không?

Phần đề dẫn

 Giới thiệu về cơ quan thực hiện khảo sát

 Nêu mục đích của khảo sát

 Ý nghĩa của kết quả khảo sát

 Nêu về tính khuyết danh của nghiên cứu

 Hướng dẫn cách trả lời

 Cảm ơn người trả lời

Phải tạo được hứng thú trả lời qua phần đề dẫn!

BÀI TẬP

Soạn thảo trang tiêu đề và phần đề dẫn cho bảng hỏi khảo sát

Phần nội dung chính

 C ó nhiều cách sắp xếp trật tự câu hỏi, những nguyên

tác cơ bản là: chung-riêng, khách quan-chủ quan,

theo thứ tự thời gian

 Trật tự câu hỏi n ên tr ình bày theo trật tự cuộc nói

 1/3 thứ hai là những câu hỏi khó nhất

 1/3 cuối là những câu hỏi về thông tin cá nhân

và kiểm tra

Sử dụng nguyên tắc “cái phễu”

 Hỏi tiếp các câu hỏi cụ thể

 Hỏi tập trung vào một khía canh hẹp

của chủ đề

Kỹ thuật của Gallup

1 Đặt câu hỏi lọc để xem khách thể có đặc

tính nhà nghiên cứu quan tâm hay không

2 Đặc câu hỏi mở để tìm hiểu thái độ chung

của khách thể

3 Đặt câu hỏi đóng để hỏi về những khía

cạnh cụ thể

4 Đặt câu hỏi hỗn hợp để tìm hiểu về nguồn

gốc của các quan điểm được đưa ra

5 Đặt câu hỏi đóng, thang thứ bậc hoặc

thang khoảng để tìm hiểu về cường độ của

ý kiến

Sắp xếp câu hỏi

 Sử dụng kỹ thuật “tạo khói”: câu hỏi

mở-câu hỏi đóng-câu hỏi mở

Phần kết thúc

 Các thông tin về cá nhân: Tuỳ theo

khảo để lấy thông tin (cơ bản nhất:

tuổi, giới tính, nghề nghiệp v.v.)

 Câu hỏi giải toả tâm lý (câu hỏi mở

về các ý kiến khác, đề xuất, kiến nghị v.v.)

Checklist để rà soát lại bảng hỏi

1 Tại sao lại hỏi câu hỏi này? Nó cần gì cho nghiên

cứu?thông tin gì sẽ thu nhận được từ đó.

2 Tại sao câu hỏi lại được trìnhbày theo cách đó? Có

thể trình bày theo cách khách không? Hình thức đó

có phù hợp với nội dung không? Ngôn từ sử dụng đã phù hợp chưa?

3 Tại sao câu hỏi đó lại được đặt ở chỗ này? Nếu

chuyến lên phía trên hoặc xuông phía dưới có tốt hơn hay không?

4 Số lượng câu hỏi có nhiều quá không? Chú ý thời

gian trảlời tối ưu là khoảng 40-50 phút

Một số lưu ý về kỹ thuật

 Tách biệt rõ ràng phần câu hỏi và phần thang đo

 Câu hỏi và phần thang đo phải cùng nằm trên 1 trang

 Việc lật giở các trang bảng hỏi phải thuận tiện

 Các thang đo cần nhất quán

 Bảng hỏi phát vấn phải có phần đề dẫn, bảng hỏi phỏng

vấn thì phần này trình bày bằng lời

 Bảng hỏi phát vấn thường ngắn hơn nhiều so với bảng

hỏi phỏng vấn

 Hạn chế tối đa câu hỏi mở trong bảng hỏi phát vấn

Thử nghiệm bảng hỏi

 Việc thử nghiệm bảng hỏi để xác định xem

khả năng làm việc của bảng hỏi thế nào

 Thử nghiệm được tiến hành với khoảng

10% dung lượng mẫu dự kiến

 Thử nghiệm không nhằm mục đích thu thập

thông tin từ các câu trả lời mà là thu thập các phản ứng với các câu hỏi: thí dụ về

mức độ khó/dễ; mức độ phù hợp, thời gian trả lời, sự từ chối trả lời, mức độ trung thực khi trả lời v.v.

MỘT SỐ TIÊU CHUẨN BẢNG HỎI TỐT

 Tỷ lệ từ chối của 1 câu hỏi không vượt quá

5%

 Tỷ lệ người trả lời ‘không biết’, ‘không rõ’,

‘không qua tâm’, ‘không ý kiến’ không quá 5-7%

 Không phát sinh nhiều phương án mới

 Không có nhiều câu hỏi bị bỏ qua và không

có sự trả lời lộn xônj ở câu hỏi mở

 Thời gian hoàn thành 1 bảng hỏi phủ hợp

(khoảng dưới 1 giờ với pphỏng vấn và dưới phút với phát vấn)

ĐỘ CHÍNH XÁC CỦA ĐO LƯỜNG

 Tại sao kết quả đo của một thang đo khác nhau?

 Đó là sự khác biệt đích thức của các đặc tính đặc đo

 Do yếu tố nhất thời của cá nhân (ví dụ: tâm trạng, do ít thời gian)

 Do yếu tố tình huống (ví dụ: bối cảnh xung quanh)

 Do những khác biệt trong phương pháp thực hiện khảo sát

 Thiếu sự rõ ràng trong công cụ đo

 Yếu tố máy móc hoặc công cụ làm ảnh hưởng đến việc trả lời

 Công cụ đo kém có thế làm cho kết quả thu được phản ánh sai lệch

phân bố tổng thể: tốt hơn hoặc kém hơn (một dạng sai số hệ thống)

Các vấn đề về độ giá trị (validity)

của kết quả đo

 Ai là người quyết định xem công cụ có

đo đúng cái cần phải đo hay không?

một công cụ đo đúng cái cần đo?

Các loại độ giá trị

 Độ giá trị bề mặt (face): Mỗi câu hỏi hoặc item phải có sự

liên quan/kết nối với mục tiêu/câu hỏi/giải thuyết NC

 Độ giá trị nội dung: Các câu hỏi và các item bao phủ toàn

bộ nội dung của vấn đề hoặc thái độ được đo lường

 Độ giá trị đồng quy (concurrent): được đánh giá theo mức

độ tôt của công cụ được sử dụng so với công cụ khác đồng thời được sử dụng

 Độ giá trị dự báo: Được đánh giá bằng mức dộ mà công cụ

có thể dự đoán một kết quả nào đó

 Độ giá trị cấu trúc (construct): được đánh giá bằng các thủ

tục thống kê Nó được xác định bằng sự đóng góp của từng cấu trúc đối với sự biến thiên tông thể quan sát được của hiện tượng

Độ chắc chắn/tin cậy (reliabilty) của công cụ (1/2)

Độ chắc chắn/tin cậy (reliabilty)

của công cụ (1/2)

của công cụ

 Độ chắc chắn ngoài

thử

 Độ chắc chắn nội tại