1.2 Mục đích Môđun này nêu ra các phương pháp có thể sử dụng để thu thập dữ liệu theo dõi và đánh giá chương trình, dự án ODA ở Việt Nam, trong đó thừa nhận các mục tiêu chiến lược quốc
Trang 1giá ở Việt Nam
Do VAMESP II soạn thảo theo yêu cầu của
Vụ Kinh tế Đối ngoại/Bộ Kế hoạch và Đầu tư
Số 2 Hoàng Văn Thụ
HÀ NỘI, VIỆT NAM
Hà Nội, Tháng 8/2005Lưu hành nội bộ
Trang 2MỤC LỤC
Danh mục từ viết tắt iii
1.1 Giới thiệu 4 1.2 Mục đích 4 1.3 Tài liệu tham khảo chính được sử dụng trong môđun này 4
4 Phỏng vấn bán cấu trúc 10
5 Chọn mẫu ngẫu nhiên và không ngẫu nhiên 12
5.1 Chọn mẫu ngẫu nhiên 13 5.2 Chọn mẫu không ngẫu nhiên 14
6 Bảng câu hỏi và điều tra 16
7 Phân tích SWOT 18
8 Nghiên cứu tình huống 20
9 Mô hình Kirkpatrick đánh giá đào tạo 23
10 Đo lường mức độ đạt mục tiêu 26
11 Khung lôgíc 29
CÁC VÍ DỤ
Bảng 1 Ví dụ sử dụng quan sát trực tiếp 5 Bảng 2 Tổng hợp và phân tích thông tin từ câu trả lời mở như thế nào 11 Bảng 3 Tổng hợp và phân tích thông tin từ câu trả lời mở như thế nào 14
Bảng 4 Sử dụng những đối tượng cung cấp thông tin chính trong chọn mẫu
có chủ đích 15 Bảng 5 Ví dụ so sánh câu hỏi đóng và câu hỏi mở 17 Bảng 6 Điểm mạnh, Điểm yếu, Cơ hội và Nguy cơ là gì? 18
Trang 3Bảng 7 Ví dụ phân tích SWOT cho một dự án tái trồng rừng đước 19
Bảng 8 Ví dụ mẫu nghiên cứu tình huống 22
Bảng 9 Biểu ma trận GAS 27
Bảng 10 Ví dụ về đầu ra của phân tích GAS 28
Bảng 11 Ví dụ khung lôgíc của một dự án 29
Bảng 12 Định nghĩa các thuật ngữ trong khung lôgíc 30
Môđun I – Danh mục thuật ngữ theo dõi và đánh giá được sử dụng ở Việt Nam Môđun II – Giới thiệu về Theo dõi và Đánh giá
Môđun III – Thực hành theo dõi
Môđun IV – Thực hành đánh giá
Môđun V – Các phương pháp theo dõi và đánh giá ở Việt Nam
Môđun VI – Các công cụ theo dõi và đánh giá ở Việt Nam
Môđun VII – Tài liệu đào tạo theo dõi và đánh giá ở Việt Nam
Môđun VIII – Các công cụ theo dõi và đánh giá ở Việt Nam
Trang 4Danh mục từ viết tắt
ADB Ngân hàng Phát triển Châu Á
AMC Nhà thẩu Quản lý Ôxtrâylia
AP Kế hoạch hàng năm
APD Giám đốc Dự án Ôxtrâylia
ATL Cố vấn trưởng Ôxtrâylia
AusAID Cơ quan Hợp tác và Phát triển quốc tế Ôxtrâylia
CCB Xây dựng năng lực toàn diện
CPRGS Chiến lược toàn diện về tăng trưởng và giảm nghèo
DNPD Phó Giám đốc Dự án quốc gia
FERD Vụ Kinh tế đối ngoại
GMED Phòng Tổng hợp Theo dõi và Đánh giá (Vụ Kinh tế đối ngoại)
GoV Chính phủ Việt Nam
HCMC Thành phố Hồ Chi Minh
HR Nguồn nhân lực
HRM Quản lý nguồn nhân lực
HSMS Hệ thống quản lý y tế và an toàn
ISP Nhà cung cấp dịch vụ internet
IT Công nghệ thông tin
ITA Chuyên gia tư vấn công nghệ thông tin
LMDG Nhóm các nhà tài trợ đồng chính kiến
MARD Bộ Nông nghiệp và Phát triển nông thôn
M&E Theo dõi và đánh giá
MEA Chuyên gia tư vấn theo dõi và đánh giá
MfDR Quản lý hướng tới các kết quả phát triển
MIS Hệ thống thông tin theo dõi
MPI Bộ Kế hoạch và Đầu tư
NPD Giám đốc Dự án quốc gia
ODA Hỗ trợ phát triển chính thức
OECD Tổ chức Hợp tác và Phát triển kinh tế
PCC Ban Điều phối dự án
PDD Tài liệu thiết kế dự án
PM Trưởng ban Quản lý dự án
PMC Ban Điều hành dự án
PMU Ban Quản lý dự án (dự án tài trợ bằng nguồn vốn ODA)
QA Đảm bảo chất lượng
RBM Quản lý gắn với kết quả
SMT Công cụ theo dõi đơn giản
TA Hỗ trợ Kỹ thuật
TAG Nhóm Cố vấn Kỹ thuật
TWG Nhóm Công tác Kỹ thuật
VAMESP Dự án tăng cường năng lực theo dõi và đánh giá dự án Việt Nam –
Ôxtrâylia - Giai đoạn I VAMESP II Dự án tăng cường năng lực theo dõi và đánh giá dự án Việt Nam –
Ôxtrâylia - Giai đoạn II VAWRMAP Dự án hỗ trợ quản lý nguồn nước Việt Nam – Ôxtrâylia
WB Ngân hàng Thế giới
Trang 51 Giới thiệu
1.1 Giới thiệu
Môđun này là sản phẩm của Dự án “Tăng cường Năng lực Theo dõi và Đánh giá Dự án Việt Nam – Ôxtrâylia” - Giai đoạn II Đây là một phần trong Cẩm nang Theo dõi và Đánh giá dự án ODA ở Việt Nam
1.2 Mục đích
Môđun này nêu ra các phương pháp có thể sử dụng để thu thập dữ liệu theo dõi và đánh giá chương trình, dự án ODA ở Việt Nam, trong đó thừa nhận các mục tiêu chiến lược quốc gia về sử dụng nguồn vốn ODA đã được nêu ra trong các tài liệu sau:
• Chiến lược phát triển kinh tế và xã hội 10 năm
• Kế hoạch phát triển 5 năm
• Chương trình tổng thể về ODA
• Chiến lược toàn diện về tăng trưởng và giảm nghèo
Môđun này chỉ được xem là có ích nếu góp phần nâng cao hiệu quả quản lý các chương trình, dự án ODA và cung cấp những kết quả đánh giá được sử dụng để quản lý các chương trình, dự án đầu tư phát triển mới cho Việt Nam
1.3 Tài liệu tham khảo chính được sử dụng trong môđun này
Đã có nhiều cuốn cẩm nang và sách về phương pháp theo dõi và đánh giá - được nêu cụ thể trong trang web theo dõi và đánh giá quốc gia (www.mpi.gov.vn/m&e) Một số tài liệu trong đó đã chứng tỏ vai trò đặc biệt hữu ích và thực tiễn cho cán bộ theo dõi và đánh giá của Việt Nam
Điển hình là các tài liệu sau:
• FASID (2000) Monitoring and evaluation based on the project cycle management method Foundation
for Advanced Studies on International Development Tokyo, Japan (see www.fasid.or.jp )
• FASID (2003) M&E on a shoestring – a manual Foundation for Advanced Studies on International
Development Tokyo, Japan (see www.fasid.or.jp )
• IFAD (2002) A guide for project monitoring and evaluation – managing for impact in rural
development International Fund for Agricultural Development Rome, Italy (see
• SIDA (2004) Looking back, moving forward – SIDA Evaluation Manual Swedish International
Development Agency Stockholm, Sweden (see www.sida.se/Sida/jsp/polopoly.jsp?d=1265&a=25624 )
• UNDP (2002) Handbook on M&E for Results United Nations Development Program, New York,
USA (see www.undp.org/eo/rbm/index.htm )
Trang 62 Quan sát trực tiếp
Mục đích:
Để thu được những thông tin hữu ích và kịp thời bằng cách quan sát công việc mọi người làm, giúp đưa ra các quyết định cải thiện tình hình thực hiện một dự án hay để có được những nhìn nhận sâu sắc và những phát hiện có thể sử dụng như những giả thiết cho các nghiên cứu sâu hơn Từ góc độ TD&ĐG, phương pháp này rất quan trọng bổ trợ cho các
dữ liệu thu thập được, có thể sử dụng để hiểu được bối cảnh thu thập thông tin và có thể giúp giải thích kết quả
Tiến hành quan sát trực tiếp như thế nào:
• Thống nhất về một khung khái niệm rõ ràng, cũng như hướng dẫn những gì cần được
quan sát và thông tin cần thu thập
• Lựa chọn một hay một nhóm quan sát viên phù hợp
Các thành viên của cộng đồng và cán bộ dự án, những người sống và làm việc
thường xuyên tại khu vực dự án (ví dụ, “những người cung cấp thông tin quan
trọng”) [Tham khảo Bảng 1]
Bảng 1: Những quan sát viên này cần được đào tạo về kỹ năng quan sát
Những người ngoài cộng đồng có cơ hội tham gia các cuộc quan sát đã được bố trí trong các chuyến thực địa Lưu ý rằng những người ngoài cộng đồng có thể cần thêm nhiều thời gian để biết được cái gì là quan trọng Mặt khác, đôi khi họ nhận thấy được những vấn đề quan trọng mà người địa phương không còn thấy hoặc cho là hiển nhiên
• Thu thập và ghi lại những dữ liệu như đã thống nhất Thu xếp thời gian để thảo luận
những quan sát đã được ghi lại, không chỉ với cán bộ dự án và đối tác thực hiện, mà cũng có thể với cả những bên liên quan chính
Bảng 1 Ví dụ sử dụng quan sát trực tiếp
Phương pháp quan sát trực tiếp đã được sử dụng để đánh giá một dự án về nước sinh hoạt tại Zăm-bi-a Các buổi đào tạo về vệ sinh đã được các cán bộ dự án tiến hành và phụ nữ và trẻ em trong các làng tham dự đã được quan sát Nghiên cứu này cho thấy cán
bộ dự án đã sử dụng quá nhiều thuật ngữ chuyên môn và ngồn ngữ có tính học thuật trong đào tạo về vệ sinh, làm cho buổi học vô ích vì những người dân ở làng không hiểu được Với thông tin này, các buổi đào tạo đã được điều chỉnh để trở nên phù hợp hơn với người dân địa phương
Gợi ý trong quan sát trực tiếp:
• Mọi người thường bỏ quên phương pháp đơn giản nhất trong tất cả các phương pháp
– đó là quan sát Mọi người đều quan sát một cách tự động Nhưng bạn có thể làm cho việc quan sát hiệu quả hơn bằng cách xem nó như một phương pháp chính và tổ chức sử dụng nó Có thể học được rất nhiều điều bằng cách quan sát mọi người thực
tế làm gì Thông tin hữu ích và những hiểu biết mới sâu sắc thường có thể thu được
từ việc quan sát như vậy mà bằng cách khác không thể thu được Nếu làm tốt, phương pháp này có thể cho phép hiểu sâu hơn về các mối quan hệ trong cộng đồng
Trang 7cũng như giữa cộng đồng với các tổ chức khác Nếu làm tốt, quan sát trực tiếp có thể giúp xây dựng lòng tin và mối quan hệ tốt đẹp với người dân địa phương và cán bộ
dự án Phương pháp này cũng được biết đến với tên gọi “quan sát có tham gia” và là một phương pháp nghiên cứu phổ biến cho các vấn đề và quá trình xã hội
• Quan sát trực tiếp là có ích cho việc xác nhận tính hợp lệ trong công tác theo dõi do
có thể được sử dụng để kiểm tra chéo các câu trả lời nhận được thông qua các phương pháp khác
• Luôn có nguy cơ gặp phải những sai lệch trong thông tin do: định kiến của bản thân
người quan sát, cách mà quan sát viên chi phối những gì được quan sát, hoặc tình huống quan sát cản trở tính khách quan của quan sát viên Những sai lệch này không bao có thể giờ loại bỏ được hoàn toàn Vì thế, quan sát trực tiếp là một phương pháp TD&ĐG có hệ thống chỉ nên bổ trợ cho các phương pháp khác Yêu cầu một số người tiến hành quan sát theo cùng một cách thức có thể giúp khẳng định những quan sát hoặc chỉ ra những chênh lệch và do đó tăng chất lượng của dữ liệu
Trang 83 Nhóm trọng tâm
Mục đích:
Sử dụng thảo luận nhóm để thu thập thông tin, làm rõ các chi tiết hoặc thu thập các ý kiến về một vấn đề từ một nhóm nhỏ những người được lựa chọn đại diện cho các quan điểm khác nhau Phương pháp này cũng có thể được sử dụng để xây dựng sự nhất trí Đối với TD&ĐG, các nhóm trọng tâm rất tốt cho đánh giá những ý kiến về thay đổi, đánh giá chất lượng của nhà cung cấp dịch vụ cho dự án, và chỉ ra các lĩnh vực để cải
tiến
Tiến hành nhóm trọng tâm như thế nào:
• Xác định số thành viên tham gia (4-8 người là lý tưởng) Phụ thuộc vào mục đích của
bạn, bạn có thể làm việc với một nhóm đồng nhất hoặc không đồng nhất Cách khác
là sử dụng một số nhóm trọng tâm, mỗi nhóm tương đối đồng nhất nhưng các nhóm phải khác nhau Điều này cho phép có được những so sánh thú vị
• Đưa ra cho nhóm một câu hỏi rộng (ví dụ, “Theo bạn, một can thiệp cụ thể có tác
động gì đến việc sử dụng đất bền vững?)
• Thảo luận câu hỏi này trong khoảng thời gian đã thống nhất từ trước, tối đa từ 1-2
giờ Người điều hành cuộc thảo luận nên giảm thiểu sự can thiệp của mình, chỉ nên đảm bảo cho tất cả mọi người đều phát biểu Bạn có thể cần nhắc lại câu hỏi với những từ khác nhau hoặc tìm hiểu xem liệu có gì đó không rõ
• Ghi lại chi tiết cuộc thảo luận Nhóm trọng tâm tốt nhất nên được điều hành bởi hai
người, một người điều hành và người kia ghi chép Bạn cũng có thể ghi âm cuộc thảo luận nhưng sẽ vấp phải vấn đề thường gặp là tốn thời gian chép lại từ băng và gây ức chế cho nhóm
• Một cách để đảm bảo sự tin cậy của thông tin là tiếp tục tiến hành các thảo luận
nhóm trọng tâm khác nhau cho tới khi có sự lặp lại của dữ liệu
Gợi ý đối với nhóm trọng tâm
• Nếu được dẫn dắt tốt, phương pháp này có thể thu được những thông tin cụ thể Cách
này thường khuyến khích những câu trả lời phong phú và cũng là một cơ hội quí giá
để quan sát những trao đổi và có được cái nhìn sâu hơn về hành vi, thái độ, ngôn ngữ
và tình cảm
• Tuy nhiên, việc điều hành một nhóm trọng tâm đòi hỏi phải có kỹ năng nhất định - cả
trong điều tiết nhóm cũng như trong ghi chép đầy đủ các câu trả lời Những động lực của nhóm bị kìm chế do các cá nhân quá e dè có thể gây cản trở cuộc thảo luận
• Phương pháp này có thể được sử dụng để đạt được một quan điểm nhất trí Tuy
nhiên, một nhóm nhỏ không thể đại diện cho tất cả các quan điểm, ví dụ của một tổ chức hoặc một cộng đồng Mặt khác, có thể xảy ra sự bất đồng lớn nếu nhóm không
đủ đồng nhất Vì vậy, hãy suy nghĩ cẩn thận về thành phần của nhóm
• Phương pháp nhóm trọng tâm có thể đem lại những hiểu biết sâu sắc nhanh hơn và
nhìn chung là chi phí thấp hơn so với một loạt những người cung cấp thông tin chủ chốt hay các cuộc điều tra xã hội chính thức
Trang 9Qui trình:
• Các hướng dẫn về cuộc thảo luận cần được thử nghiệm trước
• Tổ chức từ 2 nhóm trọng tâm trở lên
• Cần tập huấn cho người điều hành phỏng vấn và người ghi chép
• Quyết định trước thời gian và địa điểm
• Các nhóm thảo luận không quá 90 phút
• Ghi chép lại cuộc thảo luận bằng máy ghi âm hoặc ghi hình có ghi chú bổ sung
Hướng dẫn các thành viên tham gia:
• Các thành viên tham gia phải nói rõ ràng, từng người một
• Ý kiến của tất cả mọi người đều được hoan nghênh, không có ý kiến hay quan điểm
nào là sai hay đúng cả
• Các thành viên cần mạnh dạn đối với những lý lẽ thuyết phục của mình
Vai trò của người điều hành:
• Điều hành nhưng không làm chủ cuộc thảo luận
• Giới thiệu các vấn đề mới để thảo luận
• Theo dõi việc tham gia và sự trao đổi qua lại của các thành viên, khuyến khích các
thành viên tích cực tham gia
• Duy trì sự thảo luận liên tục, hướng vào trọng tâm nhưng cho phép sự linh hoạt
Vai trò của người ghi chép:
• Duy trì việc ghi lại những thông tin liên quan tới nhóm trọng tâm, bao gồm: ngày,
giờ và địa điểm tổ chức, số lượng và mô tả về thành viên tham gia, các vấn đề chính được đề cập, chi tiết về động lực thảo luận của nhóm
Phân tích
Dữ liệu định tính thu được từ các nhóm trọng tâm thường được phân tích thông qua sử
dụng qui trình 4 bước là: tổ chức, định hình, tóm tắt và giải thích
Trang 10• Tổ chức – Sắp xếp dữ liệu theo trật tự làm việc…sắp xếp những tờ giấy khổ to theo
thứ tự, chuyển đầy đủ nội dung các băng ghi âm thành văn bản…
• Định hình – Suy nghĩ xem dữ liệu đã gợi ý những hình thức và định dạng nào Ghi
những nhóm này ra và sắp xếp tất cả các nhóm (những nhóm này có hoặc không liên quan tới dự án mà bạn đang xem xét) Bắt đầu với nhiều nhóm để sử dụng tất cả các
dữ liệu và khi bạn đã hiểu biết hơn thì bạn có thể gộp các nhóm lại
• Tóm tắt – Tìm kiếm các quan điểm về những chủ đề đang được thảo luận Đừng cố
gắng định lượng….các nhóm trọng tâm không có giá trị về mặt thống kê Bạn đang tìm kiếm các quan điểm về một chủ đề mà sau này có thể định lượng thông qua một
nghiên cứu dựa trên tổng thể đầy đủ nếu cần thiết
• Giải thích – việc tóm tắt các dữ liệu phải nhất quán để giải thích dữ liệu của bạn Tại
điểm này bạn sẽ giới thiệu một viễn cảnh phát triển để cố gắng làm cho tài liệu bạn thu thập trở nên có nghĩa Tuy vậy, việc giới thiệu tài liệu đó phải rõ ràng với người đọc và không nên cho rằng nó bắt nguồn từ việc thu thập dữ liệu thực tế
Trang 114 Phỏng vấn bán cấu trúc
Mục đích:
Để lấy thông tin trực tiếp từ một cá nhân hoặc một nhóm nhỏ, sử dụng những bộ câu hỏi
có phạm vi rộng để hướng dẫn các cuộc trao đổi, cho phép đưa ra những câu hỏi mới phát sinh từ cuộc thảo luận Nhìn từ góc độ TD&ĐG, các cuộc phỏng vấn bán cấu trúc
có vai trò quan trọng, đặc biệt trong việc tăng cường sự hiểu biết sâu về những vấn đề mang tính định tính Vì những cuộc phỏng vấn có tính mở (mặc dù được hướng dẫn) nên rất hữu ích đối với việc đánh giá, ví dụ, những tác động ngoài dự kiến (tích cực & tiêu cực), những ý kiến về tính phù hợp và chất lượng của dịch vụ và sản phẩm, v.v
Tiến hành phỏng vấn bán cấu trúc như thế nào:
• Xác định mục đích và nhu cầu thông tin cần tìm hiểu để xây dựng một danh sách câu
hỏi mở cho phỏng vấn Các câu hỏi cần thiết kế để những người được hỏi có thể bày
tỏ ý kiến của họ qua cuộc thảo luận Trật tự lô-gíc của các câu hỏi sẽ hỗ trợ quá trình thảo luận [Tham khảo các Bảng câu hỏi và Điều tra về cách hành văn hiệu quả trong các câu hỏi]
• Thống nhất đối tượng sẽ được phỏng vấn, số người cần phỏng vấn và tiến hành
phỏng vấn riêng lẻ với từng cá nhân hay với cả nhóm
• Tập hợp và đào tạo một nhóm, đảm bảo họ hiểu được mục đích và phát triển những
kỹ năng phù hợp (làm thế nào để khuyến khích thảo luận, ghi chép những thông tin chính xác và hữu ích.v.v) Cách tốt nhất tiến hành phỏng vấn bán cấu trúc là có 2 người, một người thực hiện phỏng vấn và người kia ghi chép thông tin Tuy nhiên cách này có thể không khả thi Bạn có thể thử ghi âm cuộc phỏng vấn nhưng cách này tạo cảm giác rất ức chế và việc viết lại các thông tin sau đó sẽ vô cùng tốn thời gian
• Kiểm tra thử trước các câu hỏi phỏng vấn để đảm bảo phù hợp, chính xác và những
câu trả lời sẽ cho phép có được sự phân tích hữu ích
• Nếu bạn tiến hành phỏng vấn theo nhóm và có hơn một người phỏng vấn, có lẽ sẽ
hữu ích nếu ngay sau cuộc phỏng vấn có một cuộc thảo luận nội bộ ngắn gọn về động lực của cuộc phỏng vấn, đánh giá tính hợp lệ của các câu trả lời và quyết định xem có cần điều chỉnh phỏng vấn không
• Phân tích thông tin thu được từ các cuộc phỏng vấn [Xem bảng 2]
Trang 12Bảng 2 Tổng hợp và phân tích thông tin từ câu trả lời mở như thế nào
a) Tóm tắt ngắn gọn nội dung trả lời của từng người, bao gồm những điểm chính
b) Kiểm tra nhanh các câu trả lời Khi đã kiểm tra khoảng 25%, ghi chép những điểm được đề cập nhiều nhất Sau đó đọc lại tất cả các câu trả lời và ghi lại có bao nhiêu người được phỏng vấn đã trả lời cho từng điểm chính đó Cách khác là phân các câu trả lời thành nhóm “ủng hộ” và “phản đối” một vấn đề
cụ thể nào đó hoặc phân tách những câu trả lời đó theo những mức độ hào hứng khác nhau về một vấn
f) Dựa trên danh mục các điểm đã xây dựng trong bước (b) ở trên, đánh số các điểm chính Qua hệ thống
mã hoá này, lập thứ tự ưu tiên, tóm tắt và sau đó phân tích thông tin
Gợi ý cho sử dụng phỏng vấn bán cấu trúc:
• Phỏng vấn bán cấu trúc có thể dễ dàng kết hợp sử dụng với một phương pháp khác
Có thể đi cùng với những người nông dân và tiến hành phỏng vấn Rất nhiều phương pháp nhóm trực quan mang lại hiệu quả tốt nhất nếu được thực hiện theo kiểu phỏng vấn bán cấu trúc Phỏng vấn bán cấu trúc có thể dễ dàng nắm bắt những hiểu biết sâu hơn mà không thể có được từ bảng câu hỏi cấu trúc Một điều thú vị là những chủ đề không dự đoán trước cũng có thể xuất hiện trong phương pháp phỏng vấn kiểu này Tuy nhiên, những thông tin như thế có thể không đủ chi tiết để phân tích thống kê Khi cần phân tích kiểu như vậy nên sử dụng bảng câu hỏi điều tra
• Thông tin mở khó hơn và tốn thời gian hơn để có thể tổng hợp tốt nhằm thu được
những kết quả rõ ràng Khó có thể giữ cho các cuộc phỏng vấn được tập trung, do đó khó có thể so sánh một cách đúng đắn các cuộc phỏng vấn khác nhau Ghi chép chính xác đóng vai trò đặc biệt quan trọng để có thể diễn giải đúng đắn
• Dành thời gian và tiền để đào tạo các nhân viên làm nhiệm vụ phỏng vấn bán cấu
trúc Đào tạo cần đề cập tới việc chuẩn bị nhóm, bối cảnh phỏng vấn, nghe và hỏi một cách tế nhị, đánh giá các câu trả lời, ghi chép phỏng vấn và tự xem xét một cách nghiêm túc
• Phỏng vấn nhóm cần chú ý hơn về chi tiết, ví dụ như việc sử dụng ngôn từ đơn giản
và tránh các thuật ngữ hoặc thành ngữ để đảm bảo những người biết ít nhất trong nhóm vẫn có thể hiểu được các câu hỏi Cân nhắc trước những vấn đề nhậy cảm về chính trị hoặc văn hoá vì có thể gây phản ứng mạnh dẫn tới mẫu thuẫn trong nội bộ nhóm
Trang 135 Chọn mẫu ngẫu nhiên và không ngẫu nhiên
Một cuộc tổng điều tra thường không thể thu thập dữ liệu từ toàn bộ tổng thể như mong muốn nghiên cứu do nhóm có thể quá lớn hoặc thời gian, nguồn lực và ngân quĩ quá hạn hẹp để tiến hành một cuộc tổng điều tra Trong các trường hợp này, cần lựa chọn một mẫu càng điển hình cho toàn bộ tổng thể càng tốt nhằm đưa ra kết luận về đặc điểm của toàn bộ tổng thể
Vì thế, cần có một số công cụ thống kê để xác định tính đại diện trong dữ liệu, và từ đó xác định mức độ tin cậy của những thông tin rút ra từ nghiên cứu của bạn Việc chọn mẫu ra sao sẽ ảnh hưởng tới chất lượng kết quả cuối cùng của nghiên cứu TD&ĐG Nếu phương pháp lấy mẫu mang định kiến cá nhân hoặc mẫu quá nhỏ thì kết quả TD&ĐG sẽ
ít tin cậy hơn và thậm chí có thể không hợp lệ
Nếu chọn mẫu để TD&ĐG, cần xem cân nhắc đặc biệt 3 yếu tố dưới đây ảnh hưởng tới phương pháp lựa chọn cho hoạt động TD&ĐG và tính hợp lệ của những phát hiện
Làm rõ khung chọn mẫu Khung chọn mẫu là mô tả chung tất cả các phần tử có thể
chọn ra từ đó để làm mẫu Để làm được điều này, phải xác định phần tử cụ thể muốn nghiên cứu (ví dụ, tất cả hộ dân trong xã, một số hộ dân nhất định trong huyện hoặc một
số bản sống trong rừng) hoặc mô tả cụ thể về phần tử (ví dụ, ranh giới của rừng cần được nghiên cứu)
Quyết định kích thước mẫu phù hợp Qui mô của mẫu lựa chọn ảnh hưởng rất lớn đến
tính hợp lệ của những phát hiện Ngược lại với quan điểm thường thấy, qui mô tối ưu của mẫu không liên quan nhiều tới quy mô của tổng thể đang nghiên cứu Thực ra qui mô đó cần được xác định dựa trên ngân sách và nguồn lực sẵn có, số lượng tiểu nhóm cần phân tích, thời gian sẵn có và thời gian cần để tiến hành việc này một cách đúng đắn, sự biến động trong tổng thể về biến đang được thử nghiệm, độ tin cậy mong đợi, dự tính về độ biến thiên so với giá trị của tổng thể, và sai sót cho phép tối đa có thể chấp nhận được
Điểm cuối cùng về sai sót trong lấy mẫu là mức độ đảm bảo về tính đại diện của mẫu đối với tổng thể và xu hướng định kiến cá nhân khi chọn mẫu Mặc dù dữ liệu không cần phải chính xác 100%, nhưng cần phải làm rõ mức độ chắc chắn về các kết quả Kích thước mẫu hoặc sai số mẫu có thể được tính toán thông qua các công thức thống kê Để tính được kích thước mẫu phù hợp, hãy tham khảo trang web sau về cách tính kích thước mẫu
(http://ebook.stat.ucla.edu/calculators/samplesize.phtn-d )
Lựa chọn phương pháp lấy mẫu Khi đã chọn kích thước mẫu, có thể chọn một trong
2 phương pháp chọn mẫu chủ yếu là: chọn mẫu ngẫu nhiên và chọn mẫu không ngẫu nhiên Việc lựa chọn sẽ phụ thuộc vào loại thông tin cần có Lấy mẫu ngẫu nhiên thường liên quan tới thu thập và phân tích dữ liệu định lượng Phương pháp này cho phép tất cả phần tử trong tổng thể một cơ hội được lựa chọn như nhau và có những qui trình lựa chọn được xác định rõ ràng hơn, sử dụng các danh mục (hoặc tương tự) như là khung lấy mẫu và cho phép ước lượng sai số mẫu
Trang 14Lấy mẫu không ngẫu nhiên thường ít chính thống hơn, liên quan tới thu thập và phân tích
dữ liệu định tính và việc lấy mẫu từ tổng thể có chủ ý và trọng tâm hơn Cả hai phương pháp đều có một số rủi ro về định kiến cá nhân, mặc dù những câu trả lời có thể đáng tin cậy cho mục đích Rủi ro về định kiến cá nhân là một tính năng khác biệt chính giữa 2 phương pháp Trong lấy mẫu ngẫu nhiên, rủi ro được biết trước và có thể hạn chế tối đa - miễn là có sẵn nguồn lực Nhưng với phương pháp lấy mẫu không ngẫu nhiên, rủi ro về định kiến cá nhân thường lớn hơn và khó đánh giá hơn
5.1 Chọn mẫu ngẫu nhiên
Mục đích:
Chọn mẫu mà không biết trước hoặc không quan tâm đến các đặc tính cụ thể của tổng thể mà có thể đại diện cho các bên liên quan chính chịu ảnh hưởng của dự án Từ góc độ theo dõi và đánh giá, rất cần mẫu này để hướng dẫn cách sử dụng các phương pháp thu thập thông tin
Chọn mẫu ngẫu nhiên như thế nào:
• Trước hết xác định, đặt tên hoặc đánh số cho tất cả các phần tử của tổng thể mà bạn
muốn chọn mẫu (ví dụ: các làng, các ngôi nhà, các cá nhân, các gia đình) làm sao đảm bảo tất cả các phần tử đều có cơ hội như nhau được chọn vào mẫu Việc này gọi
là xây dựng khung chọn mẫu
• Xác định ai sẽ được phỏng vấn, có bao nhiêu người thuộc mẫu và phỏng vấn cá nhân
hay với nhóm
• Tập hợp và đào tạo một nhóm người, đảm bảo họ hiểu được mục đích chọn mẫu và
phát triển được những kỹ năng phù hợp (làm thế nào khuyến khích thảo luận, ghi chép chính xác và hữu ích…) Phỏng vấn bán cấu trúc tốt nhất khi có hai người, một người phỏng vấn và một người ghi chép nhưng cách này có thể sẽ không khả thi Có thể ghi âm cuộc phỏng vấn nhưng điều này sẽ gây ức chế và sau đó rất tốn thời gian viết lại thông tin
• Kiểm tra thử nghiệm trước các câu hỏi phỏng vấn để đảm bảo các câu hỏi là thích
hợp và chính xác ở mức cần thiết, và từ đó các câu trả lời sẽ cho phép có được các phân tích hữu ích
• Nếu bạn tiến hành phỏng vấn theo nhóm và có hơn một người phỏng vấn, có lẽ sẽ
hữu ích nếu ngay sau cuộc phỏng vấn có một cuộc thảo luận nội bộ ngắn gọn về động lực của cuộc phỏng vấn, đánh giá tính hợp lệ của các câu trả lời và quyết định xem có cần điều chỉnh phỏng vấn không
• Phân tích thông tin thu được từ cuộc phỏng vấn [xem Bảng 3]
Trang 15Bảng 3 Tổng hợp và phân tích thông tin từ câu trả lời mở như thế nào
a) Tóm tắt ngắn gọn nội dung trả lời của từng người, bao gồm những điểm chính
b) Kiểm tra nhanh các câu trả lời Khi đã kiểm tra khoảng 25%, ghi chép những điểm được đề cập nhiều nhất Sau đó đọc lại tất cả các câu trả lời và ghi lại có bao nhiêu người được phỏng vấn đã trả lời cho từng điểm chính đó Cách khác là phân các câu trả lời thành nhóm “ủng hộ” và “phản đối” một vấn đề
cụ thể nào đó hoặc phân tách những câu trả lời đó theo những mức độ hào hứng khác nhau về một vấn
f) Dựa trên danh mục các điểm đã xây dựng trong bước (b) ở trên, đánh số các điểm chính Qua hệ thống
mã hoá này, lập thứ tự ưu tiên, tóm tắt và sau đó phân tích thông tin
Gợi ý cho sử dụng phỏng vấn bán cấu trúc:
• Phỏng vấn bán cấu trúc có thể dễ dàng kết hợp sử dụng với một phương pháp khác
Có thể đi cùng với những người nông dân và tiến hành phỏng vấn Rất nhiều phương pháp nhóm trực quan mang lại hiệu quả tốt nhất nếu được thực hiện theo kiểu phỏng vấn bán cấu trúc Phỏng vấn bán cấu trúc có thể dễ dàng nắm bắt những hiểu biết sâu hơn mà không thể có được từ bảng câu hỏi cấu trúc Một điều thú vị là những chủ đề không dự đoán trước cũng có thể xuất hiện trong phương pháp phỏng vấn kiểu này Tuy nhiên, những thông tin như thế có thể không đủ chi tiết để phân tích thống kê Khi cần phân tích kiểu như vậy nên sử dụng bảng câu hỏi điều tra
• Thông tin mở khó hơn và tốn thời gian hơn để có thể tổng hợp tốt nhằm thu được
những kết quả rõ ràng Khó có thể giữ cho các cuộc phỏng vấn được tập trung, do đó khó có thể so sánh một cách đúng đắn các cuộc phỏng vấn khác nhau Ghi chép chính xác đóng vai trò đặc biệt quan trọng để có thể diễn giải đúng đắn
• Dành thời gian và tiền để đào tạo các nhân viên làm nhiệm vụ phỏng vấn bán cấu
trúc Đào tạo cần đề cập tới việc chuẩn bị nhóm, bối cảnh phỏng vấn, nghe và hỏi một cách tế nhị, đánh giá các câu trả lời, ghi chép phỏng vấn và tự xem xét một cách nghiêm túc
• Phỏng vấn nhóm cần chú ý hơn về chi tiết, ví dụ như việc sử dụng ngôn từ đơn giản
và tránh các thuật ngữ hoặc thành ngữ để đảm bảo những người biết ít nhất trong nhóm vẫn có thể hiểu được các câu hỏi Cân nhắc trước những vấn đề nhậy cảm về chính trị hoặc văn hoá vì có thể gây phản ứng mạnh dẫn tới mẫu thuẫn trong nội bộ nhóm
5.2 Chọn mẫu không ngẫu nhiên
Mục đích:
Xác định rõ, chính xác mẫu gồm các đối tượng nào dựa vào ý kiến chủ quan của người chọn Khi không thể chọn mẫu ngẫu nhiên, có thể chọn phương pháp lấy mẫu không ngẫu nhiên để phản ánh các bên liên quan chính đã bị ảnh hưởng bởi dự án như thế nào Một cách khác rất cụ thể là chủ động chọn những cá nhân và nhóm nhất định Đứng trên góc độ TD&ĐG, cũng như phương pháp lấy mẫu ngẫu nhiên, mẫu trong phương pháp này rất cần để hướng dẫn sử dụng các phương pháp thu thập thông tin
Chọn mẫu không ngẫu nhiên như thế nào:
Trang 16Có hai phương pháp chọn mẫu không ngẫu nhiên chính: chọn mẫu có chủ đích (còn gọi
là chọn mẫu có chủ định, thuận tiện hay có suy xét) và chọn mẫu có giới hạn
1 Chọn mẫu có chủ đích - Chọn mẫu dựa vào một hay một vài đặc tính đã được xác
định Phương pháp này có ích khi mô tả một hiện tượng hơn là để đưa ra các kết luận
thống kê về các phần tử trong tổng thể Ví dụ: nếu chỉ muốn nói chuyện với những người lớn tuổi để tìm hiểu quan điểm từng trải của họ về các thực hành nông nghiệp trong một vùng thì mẫu chủ đích của bạn sẽ chỉ chú trọng liệt kê danh sách những người lớn tuổi để tập trung các câu hỏi Để tìm hiểu thêm về cách liệt kê các đối tượng cung cấp thông tin kiểu này, tham khảo Bảng 4
Một loại lấy mẫu có chủ đích là lấy mẫu theo nhóm Một nhóm nhỏ và có thể điều khiển được gồm các cá nhân hay phần tử được lựa chọn từ các nhóm hoặc các cụm chứ không phải trên cơ sở cá nhân phần tử Ví dụ: đầu tiên chọn ngẫu nhiên một số nhất định các hộ gia đình, sau đó thêm những hộ gần nhất với những hộ đã chọn vào mẫu và cứ như thế tới khi đạt được kích thước mẫu cần thiết
Bảng 4 Sử dụng những đối tượng cung cấp thông tin chính trong
chọn mẫu có chủ đích
Làm việc với những đối tượng cung cấp thông tin chính có ích khi bạn tìm kiếm thông tin sâu về một chủ
đề chuyên biệt (với những kỹ năng, kiến thức cụ thể hay vai trò của lợi ích) trong vùng dự án, chẳng hạn,
để tiến hành các nghiên cứu tình huống hay nhóm trọng tâm
• Liệt kê những đối tượng cung cấp thông tin chính tiềm năng có thể trả lời những câu hỏi TD&ĐG cụ
thể đã được nghĩ tới Các đối tượng này bao gồm:
• Các chuyên gia đã được đào tạo làm việc trong vùng dự án (ví dụ; bác sĩ, chuyên gia kinh tế, chuyên
gia tín dụng và các nhà khoa học nông nghiệp)
• Các cán bộ chính phủ , như cán bộ khuyến nông và y tế
• Lãnh đạo địa phương; như già làng, trưởng bản
• Những người có hiểu biết; như người bán hàng, quản lý thị trường
• Sau đó lựa chọn những đối tượng thích hợp nhất với các câu hỏi đã chuẩn bị và có thể chọn thêm
người cung cấp thông tin nếu thấy cần trong quá trình phỏng vấn
2 Chọn mẫu có giới hạn - hữu ích khi so sánh và tách một khía cạnh cụ thể nào đó để
TD&ĐG Chọn mẫu có giới hạn bao gồm việc lựa chọn một số cố định và xác định trước các phần tử mang một đặc tính tiêu biểu, sau đó so sánh với cùng một số lượng phần tử như vậy nhưng không mang đặc tính tiêu biểu đó Ví dụ: để nghiên cứu phúc lợi, có thể
so sánh một nhóm dân làng có các kỹ năng tự giới thiệu tốt với một nhóm dân làng khác
yếu về các kỹ năng này
Gợi ý khi sử dụng chọn mẫu không ngẫu nhiên:
• Chọn mẫu không ngẫu nhiên thường hữu ích hơn khi sử dụng cho công tác theo dõi
và đánh giá có quy mô nhỏ và như vậy sẽ nhanh hơn Tuy nhiên, chọn mẫu không ngẫu nhiên có thể không đại điện đầy đủ cho những câu trả lời cần tìm kiếm vì nó được xác định trước và do vậy tiềm ẩn thành kiến trong thông tin Đó là bởi vì không thể đưa ra con số ước tính về sai sót mẫu Với những lựa chọn trên, chọn mẫu theo nhóm có thể rẻ hơn và thực hiện dễ hơn với đào tạo tối thiểu