Báo cáo nghiên cứu khoa học: " ĐÁNH GIÁ SỰ TÁC ĐỘNG CỦA MỘT DỰ ÁN HOẶC CHƯƠNG TRÌNH PHÁT TRIỂN: PHƯƠNG PHÁP " docx

Bài viết này sẽ trình bày một cách cô đọng việc đánh giá sự tác động bằng phương pháp Propensity Score Matching gọi tắt là phương pháp PSM, một phương pháp được đánh giá cao trong việc

ĐÁNH GIÁ SỰ TÁC ĐỘNG CỦA MỘT DỰ ÁN HOẶC CHƯƠNG TRÌNH PHÁT TRIỂN: PHƯƠNG PHÁP PROPENSITY SCORE MATCHING

IMPACT EVALUATION OF A DEVELOPMENT PROGRAM OR PROJECT: APPROACH PROPENSITY SCORE MATCHING

APPROACH

LƯƠNG VINH QUỐC DUY

Trường Đại Học Kinh Tế Tp Hồ Chí Minh

TÓM TẮT

Đánh giá tác động của dự án hoặc chương trình phát triển giúp cho chủ đầu tư hoặc nhà tài trợ xác định liệu dự án đã mang lại kết quả như mong muốn không,

và liệu những kết quả đó có thực sự do dự án mang đến hay không Bài viết này

sẽ trình bày một cách cô đọng việc đánh giá sự tác động bằng phương pháp Propensity Score Matching (gọi tắt là phương pháp PSM), một phương pháp được đánh giá cao trong việc đưa đến một kết quả có sức thuyết phục cao trong đánh giá sự tác động của dự án đối với người tham gia dự án

ABSTRACT

The impact evaluation of development projects or programs helps investors or donors determine whether the outcomes have been reached, or such outcomes really come from the projects This paper briefly introduces the Propensity Score Matching approach (PSM), an approach highly appreciated for showing rigorous results in evaluation of impact on participants

1 Giới thiệu

Thực chất của việc đánh giá sự tác động là so sánh lợi ích mà người tham

gia thu được sau khi dự án xuất hiện Sự so sánh có thể thực hiện theo thời gian hoặc theo không gian hoặc kết hợp cả hai Theo thời gian thì gọi là so sánh trước

và sau dự án còn theo không gian là so sánh giữa người tham gia và người không tham gia1, và khi kết hợp được cả không gian và thời gian thì sự so sánh sẽ phản ánh đầy đủ nhất tác động của dự án Nội dung trung tâm trong hoạt động đánh giá

sự tác động là tạo ra được sự tương đồng trong quá trình so sánh, nghĩa là việc so

sánh theo thời gian phải được thực hiện đối với cùng một người tham gia, còn so sánh theo không gian phải được diễn ra giữa những người tham gia và không tham gia có những đặc điểm tương tự nhau Cần phải có sự tương đồng trong so sánh, nếu không kết quả thu được có thể sẽ quá cao hoặc quá thấp so với tác động thực,

sự tương đồng trong so sánh giúp chúng ta có thể tiếp cận đến giá trị tác động đích thực của dự án Chẳng hạn, để so sánh năng suất của hai giống lúa khác nhau, người ta sẽ trồng cả hai loại trong một điều kiện tự nhiên và dưới sự săn sóc như

1

“Người không tham gia” là các tổ chức, hộ gia đình hoặc cá nhân không tham gia vào dự án

nhau, có như vậy thì sự khác biệt về năng suất sẽ thực sự xuất phát từ bản thân của giống lúa Tuy nhiên, trong lĩnh vực khoa học xã hội, việc tạo ra sự tương đồng trong so sánh không hề đơn giản Chẳng hạn, rất khó có thể tìm được những hộ gia đình có đặc điểm giống nhau hoàn toàn về nhân khẩu học, giá trị tài sản sở hữu, năng lực và kinh nghiệm trong sản xuất-kinh doanh Vì vậy, trên lý thuyết, các phương pháp đánh giá sự tác động hướng đến việc tạo ra sự tương đồng trong khi

so sánh

Có nhiều phương pháp để tạo ra sự tương đồng trong so sánh, bao gồm so sánh theo không gian, so sánh theo thời gian và so sánh kết hợp không gian và thời gian Trong đó phương pháp so sánh theo không gian mà cụ thể là phương pháp Propensity Score Matching (PSM) được đánh giá rất cao trong đánh giá tác động của dự án Tính ưu việt của phương pháp PSM chính là tính khả thi của nó Đối với các phương pháp so sánh có liên quan đến thời gian như so sánh phản thân (reflexive comparisons) và khác biệt kép (double difference), cần phải tổ chức

khảo sát trong nội bộ người tham gia trước và sau khi tham gia dự án, sau đó so

sánh kết quả của hai đợt khảo sát sẽ được so sánh để tìm ra tác động của dự án Yêu cầu cơ bản của phương pháp này là cả hai đợt khảo sát phải được thực hiện đối với cùng một người tham gia để tạo ra sự tương đồng trong so sánh Mặc dù phương pháp này không phức tạp về kỹ thuật nhưng không phải dự án nào cũng có

tổ chức khảo sát tiền dự án nên việc áp dụng phương pháp so sánh theo thời gian trở nên khó áp dụng Việc đánh giá sự tác động thông thường chỉ được đề cập đến sau khi dự án đã đi vào hoạt động, vì thế việc so sánh theo không gian bằng PSM trở nên khả thi hơn so với so sánh theo thời gian

Các bước cơ bản để thực hiện so sánh bằng PSM được tóm tắt như sau2

:

- Bước 1: Tiến hành điều tra chọn mẫu hai nhóm: nhóm người tham gia và

nhóm người không tham gia Cuộc điều tra này phải bảm bảo được tính tương đồng, chẳng hạn như cùng phiếu điều tra, cùng thời điểm, cùng người phỏng vấn, cùng địa bàn …

- Bước 2: Từ số liệu của cuộc điều tra, xây dựng mô hình logic trong đó

biến phụ thuộc là 0 cho người không tham gia và 1 cho người tham gia, còn biến độc lập là những nhân tố có thể ảnh hưởng đến khả năng tham gia vào dự án của

cả hai nhóm

- Bước 3: Tiến hành hồi quy cho mô hình logic rồi tính giá trị dự đoán hay

xác suất dự đoán (predicted propability) cho từng cá thể trong hai nhóm Giá trị xác suất dự đoán được gọi là propesity score, giá trị này sẽ nằm trong khoảng từ 0 đến 1

- Bước 4: Loại bớt những cá thể có xác suất dự đoán quá thấp hoặc quá cao

so với cả mẫu

- Bước 5: Tương ứng với mỗi cá thể trong nhóm người tham gia, chúng ta

tìm một hoặc một số cá thể trong nhóm người không tham gia mà có xác suất dự đoán gần giống nhau nhất rồi so sánh với nhau Chẳng hạn, so sánh thu nhập của

cá thể trong nhóm người tham gia với thu nhập bình quân của các cá thể trong nhóm người không tham gia mà có xác suất dự đoán gần giống nhau nhất Kết quả của những so sánh này là tác động của dự án đối với mỗi cá thể tham gia dự án, gọi là “individual gains”

- Bước 6: Cuối cùng tính trung bình của tất cả “individual gains” để được

giá trị trung bình chung, giá trị trung bình chung này chính là tác động của dự án đối với những người tham gia

Những bước cơ bản là như vậy, còn thực tế sẽ phức tạp hơn hay đơn giản hơn tùy từng dự án Trong các bước trên, hai bước đầu tiên là quan trọng nhất và khó nhất Nếu làm tốt hai bước này, việc tính toán còn lại chỉ đơn thuần là một bài tính trừ

2 Ứng dụng

Phương pháp PSM đã được tác giả áp dụng để đánh giá tác động của một

dự án phát triển đàn bò sữa đối với các hộ tham gia vào dự án tại huyện Củ Chi, TP.HCM năm 2003 Các bước tiến hành được tóm tắt như sau:

- Bước 1: Tiến hành điều tra chọn mẫu hai nhóm hộ: 150 hộ có tham gia

dự án và 150 hộ không tham gia dự án Cuộc điều tra này phải bảm bảo được tính tương đồng, chẳng hạn như cùng phiếu điều tra, cùng thời điểm, cùng người phỏng vấn, cùng địa bàn …

- Bước 2: Từ số liệu của cuộc điều tra, xây dựng mô hình logit trong đó

biến phụ thuộc là 0 cho hộ không tham gia dự án và 1 cho hộ có tham gia dự án, còn biến độc lập là những nhân tố có thể ảnh hưởng đến khả năng tham gia vào dự

án của cả hai nhóm, ví dụ: đặc điểm nhân khẩu học của hộ, đặc điểm về hoạt động chăn nuôi của hộ

- Bước 3: Tiến hành hồi quy cho mô hình logit rồi tính giá trị dự đoán hay

xác suất dự đoán cho từng hộ ở cả hai nhóm

- Bước 4: Loại bớt những hộ có xác suất dự đoán quá thấp hoặc quá cao so

với cả mẫu

- Bước 5: Tương ứng với mỗi hộ trong nhóm tham gia dự án, tìm một hoặc

một số hộ trong nhóm không tham gia dự án có xác suất dự đoán gần giống nhau nhất rồi so sánh với nhau Tổng cộng có 144 lượt so sánh được thực hiện, có 6 hộ tham gia bị loại khỏi so sánh vì có xác suất dự đoán quá cao so với mẫu

- Bước 6: Kết quả đánh giá tác động chung của dự án đối với thu nhập bình

quân đầu người/tháng của những hộ tham gia là gần 200.000 đồng Con số này có nghĩa là dự án đã có tác động tích cực đến thu nhập từ sữa của các hộ tham gia vào

dự án, và xét trên tổng thể, thu nhập bình quân đầu người/tháng từ sữa của những

hộ tham gia cao hơn những hộ không tham gia là gần 200.000 đồng

Để so sánh thu nhập giữa hai nhóm bất kỳ, người ta còn có thể áp dụng phương pháp so sánh giá trị trung bình giữa hai nhóm có kèm kiểm định T (Independent Sample T-test) Áp dụng phương pháp này vào dữ liệu khảo sát ở trên sẽ được kết quả như sau:

Bảng 1: Kết quả so sánh thu nhập bình quân đầu người

theo “Independent Sample T-Test”

Giá trị chênh

lệch thu nhập

bình quân

Sai số chuẩn

Trung bình sai số chuẩn t

Bậc

tự do

Mức ý nghĩa thống kê ở 95%

324.514 937.525 76.548 -4,239 149 0,000

Nguồn: Tính toán từ dữ liệu điều tra hộ nông dân nuôi bò sữa năm 2003

Bảng 1 cho thấy kết quả so sánh bằng phương pháp thông thường cho ra kết quả thu nhập bình quân đầu người của những hộ tham gia cao hơn những hộ không tham gia là gần 325.00 đồng, trong khi đó kết quả từ phương pháp PSM là gần 200.000 đồng Khoảng tin cậy cho giá trị tính toán về chênh lệch thu nhập giữa hai nhóm được tính toán từ công thức sau3

:

với

Kết quả khoảng tin cậy là (1 - 2) = 165.568 đến 483.461 đồng, nên cả hai kết quả tính toán về giá trị tác động của dự án đều có ý nghĩa về mặt thống kê, nhưng theo nhận xét của các chuyên gia trong lĩnh vực chăn nuôi bò sữa tại vùng nghiên cứu thì kết quả của phương pháp PSM có vẻ hợp lý hơn con số được tính theo cách so sánh thông thường

3 Gợi ý cho việc áp dụng phương pháp PSM

Phương pháp PSM giúp xác định và so sánh những đối tượng có nét tương đồng, vì vậy cần mẫu quan sát tương đối lớn Ngoài ra, cần nhận diện tốt những nhân tố có thể tác động đến khả năng tham gia và không tham gia vào dự án của các đối tượng nghiên cứu, làm cơ sở cho mô hình logic Với các dự án và chương

trình phát triển, các chủ đầu tư đôi khi miễn cưỡng tiến hành đánh giá tác động đối với đối tượng thụ hưởng vì quan ngại kết quả đánh giá tác động có thể không như

kỳ vọng, sẽ ảnh hưởng đến uy tín của chủ đầu tư Thêm vào đó, hoạt động đánh giá tác động cũng có thể chiếm một khoản kinh phí không nhỏ đối với chủ đầu tư (khảo sát dữ liệu, xử lý dữ liệu, thuê chuyên gia…) Vì vậy, với một nguồn lực hạn chế, hoạt động đánh giá tác động thường bị bỏ qua trong tiến trình của một dự án Tuy nhiên, nếu xét trong dài hạn, kết quả đánh giá tác động của dự án này sẽ là bài học kinh nghiệm quý giá cho những dự án tương tự sau đó, nhờ đó, hiệu quả của

dự án sẽ được cải thiện và nâng cao

Trong bối cảnh hiện nay khi hiệu quả của các dự án phát triển nhằm thực hiện mục tiêu phát triển kinh tế không cao và đang là một vấn đề quan tâm của chủ dự án – các tổ chức và chính quyền các địa phương Phương pháp PSM này có thể sử dụng tốt trong đánh giá tính hiệu quả của các dự án phát triển khi triển khai thực hiện ở các địa phương trước khi được tiến hành đại trà trên diện rộng Phương pháp này sẽ góp thêm một công cụ góp phần nâng cao hiệu quả các dự án qua đó góp phần phát triển kinh tế bền vững cho địa phương và được sử dụng bởi chính quyền các địa phương và các tổ chức tài trợ dự án

TÀI LIỆU THAM KHẢO

[1] Baker, J.L (2000) Direction in Development-Evaluating the Impact of Development Projects on Poverty-A Handbook for Practicioners, Ngân hàng Thế giới, Washington, D.C

[2] http://www.worldbank.org/poverty/library/impact.pdf, ngày truy cập: 20/10/2002

[3] Ravallion, M (2001) „The Mystery of the Vanishing Benefits: An

Introduction to Impact Evaluation‟, The World Bank Economic Review, quyển

15, số 1, từ trang 115 đến trang 140

[4] Wonnacott, T.H và Wonnacott, R.J (1990) Introductory Statistics New

York: John Wiley&Son, tái bản lần thứ 5