Nghiên cứu cơ sở khoa học và thực tiễn để xây dựng phương pháp, tiêu chí và quy trình đánh giá chương trình khoa học và công nghệ

Nhằm nâng cao hiệu quả của các chương trình KH&CN, thời gian qua, Bộ Khoa học và Công nghệ đã ban hành một số văn bản quy định về công tác quản lý chương trình, ví dụ : QĐ 18/2006/QĐ-BKH

TRÌNH KHOA HỌC VÀ CÔNG NGHỆ

Chủ nhiệm đề án: Nguyễn Thị Thu Oanh

8945

KHÁI QUÁT CHUNG VỀ ĐỀ ÁN

I Sự cần thiết của nghiên cứu

Nhận thức được tầm quan trọng của khoa học và công nghệ (KH&CN), Đảng và nhà nước ta đã có nhiều nghị quyết về KH&CN và khẳng định “Cùng với giáo dục đào tạo, khoa học và công nghệ là quốc sách hàng đầu, là động lực phát triển kinh tế - xã hội, là điều kiện cần thiết để giữ vững độc lập dân tộc và xây dựng thành công chủ nghĩa xã hội Công nghiệp hóa - hiện đại hóa đất nước dựa vào khoa học và công nghệ”

Thực hiện các nghị quyết trên, Chính phủ đã liên tục tăng đầu tư choKH&CN trong thập kỷ vừa qua (năm 1996 : 0,96% tổng chi Ngân sách; 1998 : 1,26%; 1999 : 1,28%; 2000- 2010 : 2%) Cùng với việc tăng đầu tư cho khoa học

và công nghệ, Chính phủ cũng quan tâm đến việc xây dựng và thực hiện các chương trình khoa học và công nghệ Các chương trình KH&CN bắt đầu được xây dựng và thực hiện từ những năm 80, cụ thể :

- Giai đoạn 1981-1985 : 76 chương trình tiến bộ khoa học-kỹ thuật trọng điểm nhà nước phục vụ các mục tiêu phát triển kinh tế quốc dân;

- Giai đoạn 1986-1990 : 56 chương trình tiến bộ khoa học-kỹ thuật cấp nhà nước;

- Giai đoạn 1991-1995 : 31 chương trình KH&CN cấp nhà nước;

- Giai đoạn 1996-2000 : 18 chương trình KH&CN cấp nhà nước;

- Giai đoạn 2001-2005 : 20 chương trình KH&CN trọng điểm cấp nhà nước;

- Giai đoạn 2006-2010 : 14 chương trình KH&CN trọng điểm cấp nhà nước Kết thúc mỗi giai đoạn thực hiện, Ban Chủ nhiệm chương trình và Bộ Khoa học và Công nghệ xây dựng báo cáo tổng kết các chương trình dựa vào kết quả đánh giá nghiệm thu các đề tài, dự án sản xuất thử nghiệm thuộc chương trình

Trong báo cáo tổng kết chương trình của từng giai đoạn, các nội dung chủ yếu tập trung vào việc tổng kết về tình hình thực hiện kế hoạch, sử dụng tài chính, liệt kê kết quả cụ thể của các đề tài, dự án Mặc dù báo cáo tổng kết có nêu được những thành công và tồn tại, tuy nhiên chưa phân tích, đánh giá một cách hệ thống, chủ yếu là những nhận xét, kiến nghị mang tính định tính

Nhằm nâng cao hiệu quả của các chương trình KH&CN, thời gian qua, Bộ Khoa học và Công nghệ đã ban hành một số văn bản quy định về công tác quản lý chương trình, ví dụ : QĐ 18/2006/QĐ-BKHCN về việc ban hành “Quy chế tổ chức quản lý hoạt động chương trình khoa học và công nghệ trọng điểm cấp nhà nước giai đoạn 2006-2010”; Thông tư 19/2011/TT-BKHCN về việc Quy định tổ chức quản lý hoạt động Chương trình KH&CN trọng điểm cấp nhà nước giai đoạn 2011-2015; Thông tư 20/2011/TT-BKHCN về Quy định tổ chức và hoạt động của Ban Chủ nhiệm Chương trình KH&CN trọng điểm cấp nhà nước giai đoạn 2011-2015; tuy nhiên chưa có văn bản quy định, hướng dẫn về đánh giá chương trình

Đặc thù của các chương trình KH&CN là có tính liên ngành, được đầu tư kinh phí trong một giai đoạn dài, tập hợp lực lượng từ nhiều cơ quan khoa học công nghệ để thực hiện các mục tiêu lớn về khoa học và công nghệ của đất nước,

do đó việc quản lý và đánh giá các chương trình đóng vai trò rất quan trọng Đánh giá chương trình sẽ giúp các nhà hoạch định chính sách, nhà quản lý biết : Liệu chương trình có đi đúng hướng không? Chương trình có đem lại hiệu quả mong đợi không? Những vấn đề nào còn tồn tại trong quá trình thực hiện và điều chỉnh chúng như thế nào? Kết quả chương trình được đo lường ra sao? Đâu là thành công, đâu là thất bại? Với lý do như vậy, Bộ Khoa học và Công nghệ đã phê duyệt và giao cho Trung tâm Hỗ trợ đánh giá khoa học và công nghệ thực hiện đề

án “Nghiên cứu cơ sở khoa học và thực tiễn để xây dựng phương pháp, tiêu chí và

quy trình đánh giá các chương trình KH&CN” làm cơ sở xây dựng văn bản quy phạm pháp luật về đánh giá chương trình KH&CN

II Mục tiêu của đề án

Xây dựng phương pháp, tiêu chí và quy trình đánh giá các chương trình KH&CN (bao gồm 4 giai đoạn đánh giá : thẩm định (đầu kỳ), giữa kỳ, cuối kỳ và tác động)

III Phạm vi và mục đích của đề án

- Phạm vi của đề án : Chương trình khoa học công nghệ đề cập trong đề án

này bao gồm các chương trình KH&CN trọng điểm cấp nhà nước (Chương trình

KC và KX do Bộ Khoa học và Công nghệ quản lý) và các chương trình khoa học

và công nghệ trọng điểm quốc gia (chương trình KH&CN thuộc các Bộ, ngành)

- Mục đích của đề án : Xây dựng tài liệu hướng dẫn đánh giá chương trình

KH&CN làm tài liệu tham khảo cho các chuyên gia đánh giá, nhà quản lý, hoạch định chính sách, các đối tượng có liên quan trong hệ thống KH&CN và làm cơ sở xây dựng văn bản quy phạm pháp luật về đánh giá chương trình KH&CN

IV Cách tiếp cận trong nghiên cứu

Hoạt động đánh giá KH&CN nói chung và đánh giá chương trình KH&CN nói riêng còn rất sơ khai ở Việt Nam, do đó nhóm thực hiện đề án chủ yếu phải nghiên cứu qua tài liệu của nước ngoài, học hỏi bài học kinh nghiệm và các sáng kiến có chọn lọc của một số đề tài, dự án đã thực hiện ở Việt Nam và của một số nước (những nước có nhiều điểm tương đồng với nước ta : Hàn Quốc, Trung Quốc

và những nước có truyền thống đánh giá lâu đời và trình độ đánh giá tiên tiến : Mỹ, Canada, Ủy ban Châu Âu) Đồng thời trong quá trình thực hiện nhóm tiến hành nghiên cứu hiện trạng, trình độ quản lý KH&CN để đề xuất phương pháp luận đánh giá phù hợp với hoàn cảnh của Việt Nam

V Phương pháp tiến hành

- Nghiên cứu văn bản pháp luật, tài liệu về đánh giá KH&CN và chương trình KH&CN của Việt Nam và của nước ngoài;

- Thảo luận nhóm;

- Tham vấn ý kiến chuyên gia;

- Hội thảo khoa học

VI Sản phẩm của đề án

Bộ tài liệu “Hướng dẫn đánh giá chương KH&CN” áp dụng đánh giá 4 giai đoạn : Đánh giá thẩm định (đầu kỳ); Đánh giá giữa kỳ; Đánh giá cuối kỳ và Đánh giá tác động, gồm những nội dung sau :

- Tiêu chuẩn đánh giá

- Phương pháp đánh giá

- Quy trình đánh giá

- Tiêu chí đánh giá

- Lựa chọn thành viên hội đồng đánh giá

- Các bảng biểu thực hiện đánh giá

B NỘI DUNG CHÍNH CỦA ĐỀ ÁN

I TỔNG QUAN TÌNH HÌNH NGHIÊN CỨU NGOÀI NƯỚC VÀ TRONG NƯỚC

1 Tổng quan tình hình nghiên cứu ngoài nước

Trong hai thập kỷ qua, việc đổi mới công nghiệp dựa trên nền tảng là khoa học và công nghệ được coi là động lực cho sự phát triển kinh tế-xã hội Vấn đề này

đã làm cho các nhà hoạch định chính sách nghiên cứu-phát triển (R&D) tại các nước phát triển và cả các nước đang phát triển phải tìm tòi hướng đi phù hợp nhằm

nâng cao hiệu quả và hiệu suất của các chương trình R&D của các quốc gia Trong một điều kiện ngân sách cũng như các nguồn lực khác (con người, hạ tầng cho nghiên cứu) là có hạn, đánh giá trở thành công cụ hữu hiệu và là tiêu chuẩn để xác định mục đích và kinh phí cho các chương trình R&D

Đánh giá là một công cụ thiết yếu cho thực tiễn quản lý hiệu quả Đánh giá không những là công cụ để đo lường sự thành công của chương trình mà còn góp phần vào thành công đó Đánh giá giúp cho những nhà quản lý chương trình lập kế hoạch, thẩm định, và thể hiện mục tiêu cần đạt là gì, quyết định phân bổ nguồn lực như thế nào, học làm thế nào để sửa đổi và thiết kế lại chương trình, và ước tính kết quả đầu ra dự kiến, hiệu quả và tác động của chương trình Đánh giá còn giúp cung cấp thông tin về mức độ tin cậy của chương trình bằng việc trả lời cho câu hỏi: liệu chúng ta đã làm những gì mà chúng ta nói là sẽ làm chưa?

1.1 Mỹ

Từ những năm 90, Mỹ đã ban bố một loạt các bộ luật và quy định pháp lý bắt buộc các cơ quan trong đó có các cơ quan về khoa học và công nghệ thực hiện việc đánh giá Nói cách khác, đánh giá ở Mỹ là một hoạt động bao trùm lên tất cả các hoạt động của chính phủ Mỹ Ví dụ như Luật về Thực hiện và Kết quả của

Chính phủ (Government Performance and Results Act - GPRA) ban hành năm

1993 yêu cầu tất cả các chương trình của chính phủ Liên bang phải tuân thủ các yêu cầu về việc đánh giá nhằm tăng tính trách nhiệm, tính hiệu suất và hiệu quả của các chương trình Căn cứ theo Luật này, việc đánh giá phải bắt đầu từ lập kế hoạch chiến lược, đặt ra mục tiêu và triển khai thực hiện Tất cả các cơ quan chính phủ Liên bang phải triển khai thực hiện đánh giá tuân thủ theo GPRA và báo cáo kết quả đánh giá cho Quốc hội

Văn phòng Quản lý và Ngân sách là cơ quan trực thuộc Tổng thống sẽ xem xét đánh giá các chương trình trong quá trình phân bổ kinh phí chủ yếu theo 3 tiêu

chí : sự phù hợp, chất lượng và kết quả Tuy nhiên, khi đánh giá các chương trình

R&D, các tiêu chí này bộc lộ một số bất cập, chẳng hạn việc đo lường nghiên cứu, đặc biệt là nghiên cứu cơ bản Nghiên cứu cơ bản là một quá trình, do đó việc đo lường kết quả nghiên cứu hàng năm một cách trực tiếp là không thực hiện được, vì lợi ích của các tri thức mới vốn dĩ khó đoán trước Lợi ích của nghiên cứu cơ bản cần phải được đo bằng cách theo dõi theo tiến trình lịch sử trong một thời gian dài Theo dõi tiền sử sẽ giúp nhận biết một cách rõ ràng qua các phép đo, rằng lợi ích đối với nước Mỹ trong việc dẫn đầu về nghiên cứu cơ bản là rất cao, chẳng hạn :

an toàn sự sống, phát triển các phát minh, tăng việc làm và phúc lợi Lịch sử cũng chỉ ra rằng nghiên cứu cơ bản trong khoa học và kỹ thuật đem đến những kết quả ngoài sự kỳ vọng, hoặc các kết quả có thể xuất hiện sau nhiều năm, thậm chí vài thập kỷ Đối với nghiên cứu ứng dụng thì vấn đề có thể đơn giản hơn : nghiên cứu ứng dụng thường xác định được các mốc thời gian để đạt được các kết quả và đóng góp hàng năm cũng như kết quả cuối cùng, do đó có thể đo lường kết quả hàng năm Ví dụ, Bộ Năng lượng đã xây dựng chương trình R&D với mục đích là sản xuất năng lượng mặt trời có giá rẻ hơn, như vậy có thể đo lường kết quả nghiên cứu cuối cùng một cách trực tiếp căn cứ vào giá thành của pin mặt trời và kết quả hàng năm căn cứ vào tiến độ đã xác định

Để giải quyết các vấn đề về đo lường nghiên cứu khi thực hiện đánh giá các chương trình R&D, Hội đồng Khoa học, Kỹ thuật và Chính sách công của Mỹ đã kiến nghị: đối với chương trình nghiên cứu ứng dụng, các tổ chức phải đo lường tiến bộ theo các kết quả thực tế, đối với chương trình nghiên cứu cơ bản, các tổ

chức phải đo lường sự phù hợp, chất lượng và sự dẫn đầu về trình độ nghiên cứu Đánh giá của chuyên gia cùng ngành được áp dụng rộng rãi, được sử dụng để

giúp các tổ chức trả lời ba loại câu hỏi cụ thể liên quan đến Luật về Thực hiện và Kết quả của Chính phủ (GPRA) :

1) Chất lượng của chương trình nghiên cứu là gì?

2) Chương trình nghiên cứu có tập trung vào nội dung phù hợp nhất đối với

PART được xây dựng nhằm cung cấp phương pháp phù hợp để đánh giá và xếp hạng chương trình thông qua chính phủ Liên bang PART xem xét đánh giá tổng thể chương trình, từ việc thiết kế đến thực hiện và kết quả đạt được

Các câu hỏi trong PART được chia thành 4 nhóm : 1 Mục tiêu và thiết kế chương trình, 2 Kế hoạch chiến lược, 3.Quản lý chương trình và 4 Kết quả chương trình Điểm đánh giá chương trình sẽ được chấm căn cứ vào từng câu hỏi, xếp hạng tổng thể về hiệu quả chương trình sẽ được ghi nhận Có 5 loại xếp hạng : rất hiệu quả, hiệu quả vừa phải, đạt (trung bình), không có hiệu quả và kết quả không rõ

Nội dung chấm điểm của PART gồm 25 câu hỏi Những câu hỏi này được phân thành 4 nhóm và mỗi nhóm được gán trọng số để tính điểm tổng thể :

1 Mục tiêu và thiết kế chương trình (5 câu hỏi) : 20%

2 Kế hoạch chiến lược (8 câu hỏi) : 10%

3 Quản lý chương trình (7 câu hỏi) : 20%

4 Kết quả chương trình (5 câu hỏi) : 50%

Ngoài 25 câu hỏi chính, tùy vào loại hình chương trình sẽ có các câu hỏi bổ sung liên quan đến đặc tính cụ thể của chương trình Đối với chương trình R&D, ngoài 25 câu hỏi chung phải trả lời thêm 3 câu hỏi bổ sung :

1 Nếu được ứng dụng, có thể đánh giá và so sánh về lợi ích và nỗ lực của chương trình với chương trình có cùng mục tiêu khác không?

2 Chương trình có sử dụng quá trình lựa chọn ưu tiên khi hướng dẫn kêu gọi tài trợ và quyết định phân bổ kinh phí không?

3 Đối với những chương trình R&D không tài trợ theo cạnh tranh, việc phân

bổ kinh phí và quá trình quản lý chương trình có đảm bảo duy trì chất lượng của chương trình không?

Mỗi câu hỏi trong 3 nhóm đầu của PART được trả lời theo dạng Có/Không Các câu hỏi ở nhóm 4 (Kết quả chương trình) có thể trả lời Có, Mức độ cao, Mức

độ thấp hoặc Không có Đi kèm mỗi câu trả lời phải có sự giải thích tóm tắt bao gồm cả việc diễn giải các bằng chứng phù hợp để chứng minh cho câu trả lời Câu hỏi trong mỗi nhóm được cho trọng số (chấm điểm) bằng nhau, trừ trường hợp chuyên gia đánh giá thay đổi trọng số để nhấn mạnh vào các nhân tố chính hoặc quan trọng đối với chương trình

Cấu trúc của PART được xây dựng rõ ràng, mỗi câu trả lời "Có" phải được làm rõ và phải phản ánh kết quả đạt tiêu chuẩn cao Câu trả lời đối với mỗi câu hỏi phải được giải thích rõ ràng và trích dẫn các bằng chứng phù hợp, chẳng hạn như thông tin hoạt động của tổ chức, các đánh giá độc lập, và thông tin về tài chính Các câu trả lời phải dựa vào bằng chứng và không dựa vào cảm tính hoặc những cái chung chung

Văn phòng phân bổ ngân sách chuyển đổi số điểm sang xếp hạng theo chất lượng như bảng sau :

Xếp hạng Khoảng điểm

Căn cứ vào xếp hạng để có quyết định phê duyệt cuối cùng

Tóm lại, các hoạt động đánh giá chương trình R&D ở Mỹ được thực hiện nghiêm ngặt và có hệ thống

1.2 Canada

Giới khoa học và công nghệ thuộc Chính quyền Liên bang Canada đang phải đối mặt với sức ép giống như chính quyền ở nhiều nước khác trên thế giới, đó là phải cung cấp thông tin có chất lượng hơn cho người dân về kết quả đạt được của các chương trình KH&CN

Ở Canada, chức năng đánh giá chương trình có vai trò và vị trí hết sức vững chắc trong chính phủ Liên bang Hệ thống đánh giá chương trình Liên bang của Canada được triển khai trong gần 20 năm Uỷ ban Ngân sách là cơ quan thiết lập chính sách của Chính phủ Liên bang về đánh giá chương trình Chính sách đầu tiên

về đánh giá chương trình được ban hành năm 1997, kêu gọi xây dựng năng lực đánh giá ở tất cả các tổ chức Liên bang và đề nghị các tổ chức đánh giá tất cả các chương trình của mình theo chu kỳ Mô hình đánh giá của Liên bang là mô hình phi tập trung Mỗi tổ chức chịu trách nhiệm đánh giá sáng kiến của mình theo

chính sách của Uỷ ban Ngân sách, độc lập với bộ phận quản lý, kết quả đánh giá phải được chia sẻ với các cơ quan bên ngoài có quan tâm, ví dụ như Uỷ ban Ngân sách, các Uỷ ban khác của Quốc hội Phần lớn, khung đánh giá được thiết lập ngay

từ khi chương trình khởi động

Là một lĩnh vực chuyên ngành, đánh giá chương trình KH&CN trong phạm

vi chính quyền Liên bang trở nên phổ biến vào đầu những năm 80, khoảng 5 năm sau khi đánh giá được thực hiện một cách nề nếp Chính sách đánh giá đòi hỏi việc đánh giá phải cung cấp thông tin về ba vấn đề cơ bản liên quan đến các chương trình, trong đó bao gồm cả chương trình R&D :

• Sự phù hợp của chương trình (liệu chương trình có phù hợp với các ưu tiên của tổ chức và chính phủ không, có đáp ứng được nhu cầu hiện hành không?)

• Thành công của chương trình (liệu các sáng kiến có đáp ứng được mục tiêu

và đạt kết quả như mong đợi không?)

• Hiệu quả chi phí (liệu chương trình có tập hợp được các thiết kế và cách thức thực hiện hiệu quả nhất không?)

Ở các tổ chức như Hội đồng Nghiên cứu Khoa học tự nhiên và kỹ thuật, Hội đồng Tài nguyên và Hội đồng Nghiên cứu Quốc gia Canada, phần lớn các nguồn lực là dành để thực hiện các chương trình R&D, do đó năng lực đánh giá KH&CN chuyên nghiệp đã được phát triển Đánh giá của chuyên gia cùng ngành (peer review) là phương pháp được sử dụng phổ biến khi đánh giá chất lượng R&D trong các tổ chức này từ những năm 60 Các phương pháp đánh giá bổ sung, ví dụ như các khảo sát về khách hàng, khách hàng tiềm năng và đội ngũ nhân viên bắt đầu được áp dụng cùng với những nghiên cứu tình huống và phân tích chi phí-lợi ích

Với vai trò là cơ quan điều phối trung ương, Ban Thư ký của Uỷ ban Ngân sách cung cấp sự hỗ trợ và các hướng dẫn đánh giá KH&CN cho các Bộ, ngành, nâng cao nhận thức của Bộ, ngành về sự cần thiết phải kết nối các vấn đề đánh giá với chính sách KH&CN của Chính phủ cũng như các mối quan tâm của riêng họ

Ví dụ, tài liệu thảo luận năm 1986 đã đưa ra phương pháp đánh giá R&D chung trong phạm vi của Chính phủ Tài liệu này mô tả về nghiên cứu cơ bản và nghiên cứu ứng dụng định hướng theo nhiệm vụ và phi nhiệm vụ, đề cập hàng loạt chủ đề

về đánh giá, các tiêu chuẩn đánh giá về tính xác đáng, quản lý chương trình, kết quả và sự lựa chọn

Kể từ khi hoạt động đánh giá được đưa vào thực hiện trong các cơ quan ở Canada, có nhiều nghiên cứu tập trung vào việc nâng cao hoạt động chương trình, giảm chi phí hoặc làm cho các chương trình hiệu quả hơn Thông tin thu được từ khảo sát khách hàng cho phép nhà quản lý nắm bắt được sâu hơn các mối quan tâm

và ý kiến khách hàng để có thể trợ giúp việc thiết kế lại chương trình phù hợp hơn với nhu cầu của khách hàng Các nghiên cứu cũng xác định những khó khăn của Ban quản lý và đội ngũ cán bộ trong phạm vi bộ máy chính phủ nhằm tạo ra môi trường tích cực và những ưu đãi thích hợp cho tiến bộ khoa học và chuyển giao công nghệ

Đánh giá đóng vai trò quan trọng trong quá trình quản lý của Chính phủ, ở Canada không một ai có thể nói đến kết quả mà không nói đến đánh giá

năm 90 việc đánh giá các chương trình R&D mới được bắt đầu, các Bộ ngành tự tổ chức điều phối thực hiện chương trình R&D do mình quản lý

Trong vòng 15 năm qua, ngân sách quốc gia của Hàn Quốc dành cho R&D tăng gấp 10 lần Với số tiền 8,9% ngân sách chi cho R&D lên đến 8,9 tỷ đôla Mỹ (năm 2006) và số lượng các chương trình cũng như số các đơn vị tham gia thực hiện nghiên cứu càng tăng thì yêu cầu bảo đảm tính hiệu quả và minh bạch trong việc phân bổ và sử dụng ngân sách R&D của chính phủ được chú trọng đặc biệt Yêu cầu đặt ra là phải tiến hành đánh giá quá trình thực hiện các chương trình R&D Đánh giá chương trình R&D ở Hàn Quốc được thực hiện hàng năm để kết luận về tính hợp lý và kết quả thực hiện chương trình trong năm qua, qua đó sẽ có định hướng tiếp tục đầu tư cho chương trình như thế nào trong năm tới, đưa ra những kiến nghị để cải tiến phương pháp thực hiện chương trình Ví dụ một chương trình mà 2 năm liền bị đánh giá là kém thì Hội đồng Khoa học và Công nghệ Quốc gia - NSTC (cơ quan quyền lực cao nhất về khoa học và công nghệ của Hàn Quốc) sẽ quyết định dừng chương trình, từ đó Bộ Kế hoạch và Ngân sách không cấp tiền tiếp

Tháng 5 năm 1997, Chính phủ Hàn Quốc đã ban hành “Luật về cải cách Khoa học và Công nghệ” và bắt đầu thực hiện công tác “điều tra, phân tích và đánh giá” các chương trình R&D quốc gia theo tinh thần của Bộ luật trên Năm 1999, thành lập Hội đồng Khoa học và Công nghệ Quốc gia - NSTC để chỉ đạo về khoa học & công nghệ, đặc biệt trong vai trò giám sát điều hành các hoạt động liên quan đến đánh giá và điều chỉnh trước đối với các chương trình R&D quốc gia có nguồn vốn từ ngân sách của nhà nước

Trong các quốc gia thuộc OECD, Hàn Quốc được coi là nước đang tiến vững chắc trên con đường đến giám sát đánh giá, có mô hình triển khai hoạt động

đánh giá các chương trình R&D đồng bộ và nhất quán Hệ thống đánh giá chương

trình R&D ở Hàn Quốc là duy nhất, không giống với hệ thống đánh giá của nước

nào, không có nước nào trên thế giới tập trung tất cả chương trình R&D để Hội

đồng cấp quốc gia đánh giá như ở Hàn Quốc Viện Đánh giá và Lập kế hoạch

khoa học và công nghệ Hàn Quốc (KISTEP) được thành lập năm 1998, có chức

năng lập kế hoạch và tổ chức điều tra, phân tích đánh giá các chương trình R&D

quốc gia

Các chương trình KH&CN ở Hàn Quốc được phân loại theo đặc tính kinh tế

xã hội (chứ không phân loại theo chuyên ngành công nghệ) và được chia thành

nhóm như sau :

Những chương trình hướng vào công

nghệ nền tảng, công nghệ công và bảo

- Công nghệ công nghiệp ngắn hạn

- Công nghệ công nghiệp trung hạn và dài hạn

Những chương trình xây dựng hạ tầng - Hợp tác quốc tế

- Phát triển nguồn nhân lực

- Cơ sở vật chất Những chương trình hỗ trợ cho các

viện nghiên cứu

- Các phòng thí nghiệm quốc gia

- Các viện nghiên cứu cơ bản

- Các viện nghiên cứu công nghệ công nghiệp

- Các viện nghiên cứu công nghệ phục vụ công ích

Hội đồng KH&CN quốc gia (NSTC) không đánh giá các chương trình:

• Khoa học xã hội & nhân văn, nghiên cứu chính sách

• Chương trình quốc phòng được xếp loại là bí mật

Các chương trình này do các cơ quan khác thực hiện đánh giá

Để tiết kiệm thời gian và đầu tư vào đánh giá chương trình, Hàn Quốc chỉ đánh giá những chương trình R&D đáp ứng 2 điều kiện sau:

• Kinh phí trên 10 triệu US$

• Có tầm quan trọng đặc biệt với chiến lược phát triển KHCN quốc gia Công tác đánh giá hàng năm các chương trình R&D ở Hàn Quốc được chia

ra làm 3 giai đoạn: a) lập kế hoạch và chuẩn bị; b) đánh giá; c) điều chỉnh và tổng hợp kết quả đánh giá

a) Giai đoạn chuẩn bị : (3 tháng)

• Tháng 12: Lập kế hoạch đánh giá cho năm sau

NSTC với sự trợ giúp của KISTEP và một cơ quan chuyên trách thuộc Bộ KH&CN lập kế hoạch tổng thể cho công tác đánh giá các chương trình R&D trong năm tới

• Cuối tháng 1: Thông báo kế hoạch đánh giá đến các Bộ ngành liên quan

• Giữa tháng 2: Thành lập các hội đồng đánh giá

KISTEP thành lập các hội đồng đánh giá dựa vào cơ sở dữ liệu các nhà khoa học (do KISTEP xây dựng, quản lý) và thành phần các hội đồng đánh giá của năm trước

• Cuối tháng 2: Hội đồng đánh giá Tổng hợp họp 1 ngày

Phổ biến các hướng dẫn về đánh giá cho 10 hội đồng đánh giá

b) Giai đoạn thực hiện đánh giá : (1 tháng)

• Đánh giá sơ bộ (3 ngày)

Trong 3 ngày làm việc chính thức đầu tiên, tất cả 10 hội đồng đánh giá chương trình tiến hành đọc/xem xét hồ sơ/tài liệu chương trình một cách kỹ lưỡng, sau đó đưa ra các câu hỏi và các yêu cầu bổ sung tài liệu nếu thấy cần thiết để các chủ nhiệm chương trình chuẩn bị

Đồng thời 8 Hội đồng tư vấn theo chuyên ngành công nghệ cũng xem xét toàn bộ các hồ sơ chương trình (2 ngày) để giám sát chéo (cross-checking) quá trình đánh giá, nắm tình hình thực hiện ở các chương trình trong từng lĩnh vực công nghệ để làm cơ sở điều chỉnh ngân sách và định hướng ưu tiên sau này

• Thuyết trình và hỏi đáp (3 ngày)

Trong 3 ngày làm việc tiếp theo, mỗi chủ nhiệm chương trình có khoảng 20 phút để trình bày trước hội đồng về nội dung, phương pháp tiến hành, kết quả hoạt động của chương trình trong năm qua và kế hoạch sơ bộ của chương trình trong năm tới Sau đó dành 30 phút để hỏi và trả lời đối với mỗi chương trình Các chủ nhiệm chương trình bổ sung các tài liệu được yêu cầu, trả lời các câu hỏi mà hội đồng đã nêu ra từ khoảng 10 ngày trước đó

• Đánh giá chính thức (3 ngày)

Mỗi hội đồng đánh giá sẽ đánh giá và chấm điểm các chương trình thuộc lĩnh vực mình theo các tiêu chí cơ bản sau :

1- Hiệu lực của chương trình

2- Hiệu quả quản lý chương trình

3-Kết quả và hiệu quả của chương trình (đầu ra và hiệu quả output & outcome)

Căn cứ vào bản chất và đặc tính của từng chương trình, các hội đồng sẽ xây dựng các câu hỏi cụ thể cho từng tiêu chí trên Ví dụ, câu hỏi đối với tiêu chí "hiệu quả quản lý chương trình" là :

- Kế hoạch triển khai thực hiện các hoạt động cụ thể của chương trình có được xây dựng một cách hệ thống và có chiến lược không?

- Quy trình thực hiện có nhất quán với kế hoạch thực hiện chương trình không?

- Chương trình có phối hợp với các bên có liên quan không?

- Kinh phí của chương trình có được phân bổ và sử dụng hiệu quả không?

- Những tồn tại nêu trong kết quả đánh giá và điều chỉnh kinh phí trước đây

có được khắc phục/sửa chữa không?

Về xếp hạng chương trình : Hội đồng đánh giá sử dụng phương pháp

"đánh giá tương đối", căn cứ vào phần trăm để chấm điểm và xếp hạng chương trình Việc xếp hạng được phân thành 3 hoặc 5 mức, cụ thể :

- 5 mức : A (cao nhất, số điểm > 90%); B (từ 70 - 90%), C (từ 30-70%), D (từ 10-30%) và E (dưới 10%)

- 3 mức : Xuất sắc (> 70%); Trung bình (30 - 70%); Kém (< 30%)

Ở bước này, mỗi hội đồng sẽ thảo luận về các chương trình do hội đồng mình đảm nhận đánh giá, điền các ý kiến đánh giá vào phiếu (trả lời các câu hỏi trong từng tiêu chí đánh giá), thống nhất xếp hạng chương trình theo 3/5 mức

• Tổng hợp kết quả đánh giá của 10 hội đồng

Hội đồng đánh giá tổng hợp họp để xem xét và thông qua kết quả đánh giá của 10 hội đồng đánh giá trực tiếp Sau khi thống nhất thông qua kết quả cuối cùng thì kết quả đánh giá và xếp loại chương trình sẽ được thông báo ngay cho các Bộ ngành chủ quản của các chương trình R&D tương ứng Trong vòng một tuần các

Bộ ngành chủ quản và chủ nhiệm chương trình có thể kiến nghị xem xét lại kết quả đánh giá nếu có thắc mắc về kết luận của hội đồng

• Lập hội đồng xem xét lại kết quả nếu có ý kiến không thống nhất từ các Bộ ngành

Khi có thắc mắc về kết quả đánh giá và xếp hạng từ các Bộ ngành thì một Hội đồng xem xét lại kết quả (Deliberation Committee) được thành lập gồm khoảng 10 thành viên, lựa chọn từ Hội đồng tổng hợp (2~5 người) và các Hội đồng đánh giá trực tiếp Hội đồng này sẽ xem xét lại hồ sơ chương trình cùng với các thắc mắc để cân nhắc và đưa ra kết luận

c) Giai đoạn điều chỉnh và tổng hợp kết quả đánh giá

• Họp thông qua kết quả đánh giá cùng đại diện các Bộ ngành

Sau khi các Hội đồng đánh giá chương trình đã đưa ra kết luận cuối cùng về kết quả đánh giá, thì đại diện của các Bộ ngành được mời tới họp cùng các chuyên gia đánh giá nhằm thu thập ý kiến của các Bộ ngành để bổ sung vào bản báo cáo kết quả đánh giá chương trình trước khi chuyển lên NSTC

• Tổng hợp các kết quả đánh giá khác

KISTEP tổng hợp các kết quả đánh giá khác (đánh giá các viện nghiên cứu, đánh giá các chương trình phát triển vùng, đánh giá các chương trình quốc phòng) cùng với kết quả đánh giá chương trình R&D thành một báo cáo tổng hợp kết quả đánh giá của năm để Hội đồng đánh giá tổng hợp thông qua và trình lên Hội đồng KHCN quốc gia

Tóm lại, Hàn Quốc vẫn luôn tìm cách cải tiến hệ thống đánh giá khoa học và công nghệ của mình, học tập kinh nghiệm của các nước phát triển, tham gia hiệp hội đánh giá nghiên cứu của thế giới (WREN=World Research Evaluation Network)… nhằm nâng cao hiệu quả hoạt động đánh giá nói chung và đánh giá chương trình R&D nối riêng

1.4 Trung Quốc

Năm 1994, Bộ Khoa học và Công nghệ Trung Quốc đã thành lập Trung tâm Đánh giá khoa học và công nghệ Quốc gia (NCSTE) Trung tâm đóng vai trò quan trọng trong việc cung cấp nội dung và đánh giá khách quan nhằm giúp các cơ quan

nhà nước, các công ty và các tổ chức đầu tư ra quyết định liên quan đến việc phát triển khoa học và công nghệ Một trong những nhiệm vụ chính của Trung tâm là đánh giá các đề tài, chương trình khoa học và công nghệ do Chính phủ tài trợ, bao gồm đánh giá thẩm định, đánh giá giữa kỳ và đánh giá kết thúc Trung tâm Đánh giá khoa học và công nghệ quốc gia Trung Quốc đã xây dựng bộ “Tiêu chuẩn để đánh giá KH&CN”, bộ Tiêu chuẩn được ban hành năm 2001, theo 3 cấp độ Cấp

độ đầu tiên là tiêu chuẩn cơ bản, bao gồm các nguyên tắc chính, quy tắc đạo đức và các thuật ngữ về đánh giá KH&CN Cấp độ thứ hai là các tiêu chuẩn kỹ thuật, bao gồm các quy trình, nghĩa vụ và quyền hạn chính của các bên liên quan trong đánh giá Cấp độ thứ ba, bao gồm các cam kết đối với tiêu chuẩn, như làm thế nào để duy trì tính độc lập, khách quan và công bằng Tiêu chí đánh giá theo bộ Tiêu chuẩn như sau :

• Tiêu chí về chính sách : Các hoạt động R&D có chú ý đến chính sách phát

triển của quốc gia không?

• Tiêu chí mục tiêu : Chương trình có phù hợp với mục tiêu R&D không?

• Tiêu chí kết quả : Các đầu ra/kết quả có theo đúng mục tiêu không?

• Tiêu chí hiệu suất : Các đầu ra có tối đa bởi đầu vào?

• Tiêu chí tác động : Tác động tích cực/tiêu cực dài hạn của R&D?

• Tiêu chí đổi mới : Loại hình/mức độ đổi mới công nghệ

• Tiêu chí hiệu quả : Hoạt động R&D có được hỗ trợ một cách hiệu quả

không?

• Tiêu chí công bằng : Hoạt động R&D có được phân bổ công bằng về

nguồn lực, lợi ích hoặc chi phí không?

NCSTE đã tiến hành đánh giá chương trình nghiên cứu phát triển công nghệ cao – 863 sau 15 năm thực hiện theo các lĩnh vực : công nghệ sinh học, công nghệ thông tin, năng lượng, vật liệu tiên tiến và hải dương Xác định và khai thác thông tin từ nhiều nguồn khác nhau là một nhân tố quan trọng trong việc đánh giá Thông tin thu thập được chia thành 3 loại :

Loại A : Thông tin nội bộ do các Văn phòng quản lý chương trình cung cấp Loại B : Thông tin do các nhóm đánh giá thu thập độc lập, gồm phiếu điều tra, thảo luận tại các hội thảo, điều tra hiện trường, hội nghị bàn tròn của các bên liên quan

Loại C : Thông tin và dữ liệu phù hợp với quy trình đánh giá và nghiên cứu Việc đánh giá chương trình 863 được tiến hành theo phương thức Hội nghị bàn tròn để thảo luận công khai trên cơ sở tìm kiếm để đi đến sự thống nhất, đồng thuận từ các quan điểm khác nhau thông qua đối thoại và tìm ra những sự khác nhau đó Thành phần chính tham gia vào Hội nghị bàn tròn là những người có liên quan, đó là những người chịu trách nhiệm quản lý chương trình hoặc những người liên quan trực tiếp đến chương trình

Nguyên tắc của Hội nghị bàn tròn là : (1) đối thoại bình đẳng giữa các bên tham gia, không phân biệt địa vị, chức danh; (2) Thảo luận những vấn đề đã được chuẩn bị trước; (3) Khuyến khích mọi người trao đổi với các quan điểm khác nhau; (4) Thảo luận kết quả, cả đồng thuận hoặc khác biệt, phải có Biên bản hội nghị Những nguyên tắc này phải được thông báo trước cho tất cả những người tham dự

Kết quả đánh giá cho thấy, chương trình 863 đã huy động được thế mạnh trong giới khoa học Trung Quốc, do đó hình thành nên được đội ngũ nghiên cứu phát triển công nghệ cao ở tầm quốc gia, tuy nhiên mới chỉ có các viện trong khu vực công và trường đại học tham gia là chủ yếu, khu vực doanh nghiệp tham gia

với mức độ rất thấp (chiếm 5%), lực lượng tham gia chủ yếu tập trung ở Bắc Kinh

và Thượng Hải Chương trình 863 đã đào tạo được một số lượng lớn các nhà khoa học công nghệ cao có năng lực, do đó đã xây dựng được đội ngũ cán bộ cốt lõi cho công tác nghiên cứu phát triển công nghệ cao của đất nước, đã thúc đẩy sự hợp tác

và trao đổi quốc tế về công nghệ cao của Trung Quốc

Điểm đặc biệt khi đánh giá chương trình 863 là đã tổ chức cho các nhà nghiên cứu sau tiến sĩ đưa ra các đề xuất cho việc đánh giá chương trình để nhằm thấy được quan điểm và dự báo của họ là gì đối với sự phát triển công nghệ cao ở Trung Quốc từ góc độ của các nhà khoa học trẻ Các điều tra khảo sát cho thấy chương trình 863 có ảnh hưởng khá đáng kể đối với nhóm sau tiến sĩ, họ thể hiện mong muốn mạnh mẽ rằng chính phủ sẽ tạo điều kiện để những nhà khoa học trẻ

và trung niên có thể đóng vai trò lớn hơn trong các chương trình R&D, tức là họ không chỉ đảm đương công tác nghiên cứu công nghệ cụ thể mà còn tham gia vào việc lựa chọn dự án và nghiên cứu chiến lược

Qua kết quả đánh giá, chính phủ cũng thấy cần phải cải tiến hơn nữa để mở rộng sự tham gia của các doanh nghiệp trong các kế hoạch công nghệ cao của chính phủ và tăng cường nhanh sự phát triển khoa học công nghệ tại các vùng miền trung và miền tây của Trung Quốc

Việc đánh giá tại Trung Quốc không những tác động nhiều đến việc lập kế hoạch và triển khai thực hiện các chương trình tiếp theo của chính phủ mà còn kích thích đối thoại và trao đổi thông tin giữa chính phủ với khối công nghiệp và khu vực nghiên cứu

Qua kinh nghiệm của một số nước, chúng ta có thể nhận thấy rằng, những nước có kinh nghiệm đáng kể về đánh giá chương trình KH&CN đều có một số điểm chung về mục đích, cách thức đánh giá; yêu cầu và nguồn kinh phí để tổ chức

và triển khai công tác đánh giá là từ chính phủ Điểm khác nhau cơ bản ở các nước này là về việc thực hiện và cơ quan chuyên trách đánh giá Chủ yếu có 3 dạng sau:

- Cơ quan chuyên trách là một cơ quan trong (inside government) chính phủ Điểm mạnh của một cơ quan trong chính phủ là cơ quan đánh giá có thể sẽ nắm bắt tốt hơn mục tiêu, mục đích, các yêu cầu của những nhà hoạch định chính sách và vì thế việc đánh giá sẽ sát với yêu cầu hơn Một điểm mạnh khác là những cơ quan đánh giá có thể dùng quyền lực của chính phủ trong việc yêu cầu cung cấp thông tin Điểm yếu của loại hình này là các phản ánh sai lệch có thể xuất hiện khi chính phủ can thiệp vào quá trình đánh giá

- Cơ quan chuyên trách là một Cơ quan tư vấn trung gian nằm ngoài (outside government) chính phủ Cơ quan nằm ngoài chính phủ có hai điểm mạnh Trước tiên, cơ quan tư vấn trung gian đóng vai trò bên thứ ba Và như vậy họ sẽ công bằng và khách quan hơn Thứ hai, các cơ quan tư vấn trung gian có chuyên môn hóa cao hơn, được đào tạo chuyên nghiệp hơn và thường có kinh nghiệm hơn Điểm bất lợi của mô hình này là có thể có khoảng cách giữa kết quả đánh giá và yêu cầu của chính phủ

- Hai hình thức trên có điểm mạnh và yếu của chúng Nếu có thể phối hợp lại thì chúng sẽ bổ xung cho nhau Loại hình thứ ba là một tổ chức bao gồm cả trong và ngoài chính phủ (the united group of inside and outside government) chuyên trách Loại hình này có nhiều ưu điểm nên ngày càng được nhiều quốc gia lựa chọn

2 Tổng quan tình hình nghiên cứu trong nước

Trong những năm gần đây, nhận thức được tầm quan trọng của việc đánh giá trong hệ thống quản lý KH&CN, Bộ Khoa học và Công nghệ đã phê duyệt một số nhiệm vụ nhằm nâng cao nhận thức, năng lực về đánh giá KH&CN và góp phần hỗ

trợ cho việc xây dựng chính sách KH&CN, nâng cao năng lực nghiên cứu Ví dụ các dự án sau:

2.1 Dự án VISION “Đánh giá hệ thống khoa học và công nghệ của Việt

Nam”do Viện Nghiên cứu Chiến lược, Chính sách KH&CN phối hợp với các chuyên gia Viện Nghiên cứu Hệ thống sản xuất và Công nghệ thiết kế Fraunhofer (Fraunhofer Institute for Production Systems and Design Technology - IPK) thực hiện năm 2004-2005 Mục tiêu của dự án là phân tích và đánh giá hệ thống KH&CN với việc xem xét mục tiêu ngắn hạn, trung hạn và dài hạn của hệ thống

Dự án thực hiện ba nội dung chính : 1) Phân tích nhu cầu của khu vực công nghiệp đối với khoa học và công nghệ; 2) Đánh giá kết quả hoạt động KH&CN hiện tại - đánh giá kết quả hoạt động của các tổ chức nghiên cứu trong các trường đại học và không thuộc đại học; 3) Đề xuất nguyên tắc thiết kế để cấu trúc lại hệ thống KH&CN

2.2 Nhiệm vụ KH&CN theo Nghị định thư “Xây dựng phương pháp, tiêu chí đánh giá chương trình, đề tài khoa học và công nghệ tại Việt Nam” do Viện Ứng

dụng phối hợp với Viện Lập kế hoạch và đánh giá KH&CN Hàn Quốc – KISTEP thực hiện từ năm 2004-2005 Kết quả của nhiệm vụ là phía đối tác Hàn Quốc đã chuyển giao kinh nghiệm về quản lý và đánh giá R&D của Hàn Quốc và thực hiện đánh giá thử nghiệm sử dụng mô hình của Hàn Quốc đối với một chương trình và một số đề tài của Việt Nam Kết quả cuối cùng của dự án là đã đề xuất các định hướng chính sách cho công tác quản lý R&D của Việt Nam trong tương lai

2.3 Nhiệm vụ hợp tác quốc tế theo Nghị định thư: "Nghiên cứu kinh nghiệm Trung Quốc trong công tác xây dựng hệ thống đánh giá KH&CN và đề xuất áp dụng cho Việt Nam", do Trung tâm Hỗ trợ đánh giá khoa học và công nghệ phối

hợp với Trung tâm Đánh giá KH&CN Quốc gia Trung Quốc, Viện Chính sách và Quản lý (IPM) thuộc Viện Khoa học Trung Quốc (CAS) thực hiện từ năm 2008-

2010 Kết quả của nhiệm vụ là : 1) Xây dựng mô hình triển khai công tác đánh giá KH&CN của Việt Nam; 2) Xây dựng khung chính sách danh mục và nội dung cơ bản của các văn bản quy phạm pháp luật về công tác đánh giá KH&CN của Việt Nam; 3) Xây dựng năng lực đánh giá cho Việt Nam đáp ứng nhu cầu hội nhập quốc tế

Kết quả của các nhiệm vụ trên đã đóng góp nhiều trong việc nâng cao nhận thức của cộng đồng khoa học về vai trò và ý nghĩa thiết thực của đánh giá KH&CN; đào tạo kiến thức ban đầu cho các cán bộ làm công tác hỗ trợ quá trình xây dựng chính sách KH&CN Tuy nhiên các kết quả hầu hết mới chỉ dừng ở mức học tập kinh nghiệm thực hành cụ thể của một số nước như : Hàn Quốc, Trung Quốc, CHLB Đức, chưa đi sâu vào nghiên cứu phương pháp luận nền tảng để xây dựng hướng dẫn cụ thể về phương pháp luận đánh giá chương trình KH&CN (bao gồm : phương pháp, quy trình, tiêu chí đánh giá) áp dụng cho Việt Nam

3 Bài học kinh nghiệm áp dụng cho đánh giá chương trình KH&CN của Việt Nam

Qua nghiên cứu hoạt động đánh giá chương trình KH&CN của một số nước

và thực tiễn về đánh giá chương trình KH&CN của Việt Nam, có thể rút ra một số bài học áp dụng cho Việt Nam trong bối cảnh hiện nay như sau :

- Với quy mô đầu tư cho các chương trình KH&CN, trình độ quản lý KH&CN của nước ta như hiện nay, bước đầu nên tập trung vào đánh giá thử một

số chương trình KH&CN có ý nghĩa quan trong đối với sự phát triển KH&CN và kinh tế-xã hội (chương trình nghiên cứu về nông nghiệp, nông thôn, nghiên cứu phát triển các ngành công nghiệp chủ chốt, nghiên cứu cơ bản );

- Mục đích của việc đánh giá nên hướng vào việc hỗ trợ quá trình ra quyết định và quản lý nhằm rút bài học kinh nghiệm và nâng cao hiệu quả cho các

chương trình KH&CN trong thời gian tới, chưa nên thực hiện đánh giá hiệu quả và tác động của các chương trình;

- Vì năng lực và kinh nghiệm đánh giá còn hạn chế, hệ thống quản lý thông tin KH&CN còn chưa phát triển đồng bộ và chưa minh bạch, đề nghị thực hiện đánh giá theo phương pháp, tiêu chí phù hợp, dễ áp dụng (chẳng hạn áp dụng theo cách thực hiện của Trung Quốc và Hàn Quốc) và mời chuyên gia nước ngoài, chuyên gia Việt Nam ở nước ngoài tham gia thực hiện để học hỏi và nâng cao năng lực trong quá trình thực hành;

- Tổng kết kinh nghiệm và bài học sau khi thực hiện đánh giá thử, xây dựng

mô hình đánh giá chương trình KH&CN áp dụng thống nhất trong cả nước

II NHỮNG NỘI DUNG ĐÃ THỰC HIỆN

Xây dựng “Hướng dẫn đánh giá chương trình khoa học và công nghệ” bao gồm những nội dung sau : (Xem phụ lục đính kèm báo cáo)

1 Giải thích từ ngữ

2 Mục đích đánh giá

3 Tiêu chuẩn đánh giá

4 Phương pháp, tiêu chí và quy trình đánh giá cho 4 giai đoạn: Đánh giá thẩm định (đầu kỳ); Đánh giá giữa kỳ; Đánh giá cuối kỳ và Đánh giá tác động

C KIẾN NGHỊ VÀ KẾT LUẬN

Hướng dẫn đánh giá chương KH&CN được xây dựng trên cơ sở nghiên cứu, tìm hiểu và học hỏi kinh nghiệm, bài học của một số nước có chọn lọc (những nước có nhiều điểm tương đồng với nước ta : Hàn Quốc, Trung Quốc và những nước có truyền thống đánh giá lâu đời và trình độ đánh giá tiên tiến : Mỹ, Canada,

Ủy ban Châu Âu) Trong quá trình nghiên cứu xây dựng hướng dẫn, nhóm thực

hiện thường xuyên trao đổi xin ý kiến các chuyên gia có liên quan, tổ chức hội thảo

để điều chỉnh, bổ sung các nội dung cần thiết

Phương pháp, quy trình, tiêu chí đánh giá được xây dựng trên nền tảng các phương pháp luận cơ bản về đánh giá KH&CN, có tiếp thu những kỹ thuật mới và tiên tiến nhất, đồng thời gạn lọc và điều chỉnh để phù hợp với điều kiện và bối cảnh của Việt Nam Các giai đoạn đánh giá được thiết kế có hệ thống và theo nguyên tắc đánh giá giai đoạn sau phải kế thừa kết quả của giai đoạn trước Đề án

đã cố gắng xây dựng phương pháp đánh giá theo cách dễ hiểu, tiêu chí và quy trình đánh giá rõ ràng Tuy nhiên, đây là lần đầu tiên chúng tôi xây dựng “Hướng dẫn đánh giá chương trình KH&CN” nên không thể tránh khỏi những khiếm khuyết

Để có thể điều chỉnh và hoàn thiện trước khi ban hành chính thức, đề nghị áp dụng đánh giá thử một số chương trình theo Hướng dẫn Thông qua việc áp dụng đánh giá thử nghiệm sẽ có cơ sở điều chỉnh các nội dung cho phù hợp với thực tiễn

Để các chương trình khoa học công nghệ hoạt động hiệu quả, cần xây dựng

hệ thống lập kế hoạch, giám sát thực hiện và đánh giá các chương trình một cách

rõ ràng Công tác đánh giá không thể tách rời công tác lập kế hoạch, giám sát và quản lý

Để đảm bảo thực hiện đánh giá chương trình khoa học công nghệ thành công cần phải :

1/ Đưa công tác đánh giá chương trình KH&CN vào các quy định bắt buộc của luật pháp : xây dựng và ban hành các văn bản quy phạm pháp luật về đánh giá : ví dụ Luật, Nghị định, thông tư;

2/ Xây dựng và phát triển nguồn lực phục vụ công tác đánh giá chương trình KH&CN : con người, tài chính và thông tin, dữ liệu;

3/ Phát triển hệ thống đánh giá KH&CN một cách tổng thể : xây dựng và phát triển mạng lưới các cơ quan đánh giá độc lập, chuyên nghiệp; tham gia vào mạng lưới đánh giá quốc tế;

Trong khi chưa kịp ban hành các quy định bắt buộc về đánh giá chương trình KH&CN, đề nghị Bộ Khoa học và Công nghệ xem xét kết hợp việc thực hiện đánh giá và phân bổ nguồn lực trong quá trình lập kế hoạch KH&CN

HƯỚNG DẪN ĐÁNH GIÁ CHƯƠNG TRÌNH KHOA HỌC VÀ CÔNG NGHỆ

Chương I GIẢI THÍCH TỪ NGỮ

1 Chương trình

Qua nghiên cứu tài liệu trong nước và quốc tế, nhóm thực hiện đề án tìm thấy nhiều định nghĩa về chương trình, tuy nhiên nhóm chọn 2 định nghĩa sát và phù hợp với điều kiện và hoàn cảnh Việt Nam:

- Theo “Cẩm nang Theo dõi và Đánh giá” do Bộ Kế hoạch và Đầu tư biên

soạn (năm 2007) “Chương trình là một tập hợp các hoạt động, các đề tài, dự án

có liên quan đến nhau và có thể liên quan đến một hoặc nhiều ngành, lĩnh vực, nhiều vùng lãnh thổ, nhiều chủ thể khác nhau nhằm đạt được một hoặc một số mục tiêu xác định, có thời hạn thực hiện tương đối dài hoặc theo nhiều giai đoạn, nguồn lực để thực hiện có thể được huy động từ nhiều nguồn ở những thời điểm khác nhau, với nhiều phương thức khác nhau”.

- Theo hướng dẫn giám sát và đánh giá đề tài, dự án nghiên cứu và phát

triển nông nghiệp (Nhà xuất bản Chính trị quốc gia - năm 2008) “Chương trình là một tập hợp các đề tài, dự án, hoặc các hoạt động hay các thí nghiệm được định hướng để đạt được mục tiêu cụ thể Một chương trình thường không giới hạn về thời gian cụ thể như đề tài, dự án; chương trình có thang bậc nghiên cứu cao hơn

đề tài, dự án”.

2 Chương trình khoa học và công nghệ

- Cho đến nay, nhóm thực hiện đề án chưa tìm thấy tài liệu nào của quốc tế định nghĩa về “Chương trình khoa học và công nghệ”;

- Theo khoản 4, Điều 15, Nghị định 81/2002/NĐ-CP của Chính phủ quy

định chi tiết thi hành một số điều của Luật khoa học và công nghệ, thì “Chương trình khoa học và công nghệ bao gồm một nhóm các đề tài, dự án khoa học và công nghệ, được tập hợp theo một mục đích xác định nhằm thực hiện mục tiêu phát triển khoa học và công nghệ cụ thể hoặc ứng dụng trong thực tiễn”

Từ việc nghiên cứu các định nghĩa về chương trình và chương trình

KH&CN, nhóm thực hiện đề án đưa ra định nghĩa “Chương trình KH&CN là một tập hợp các đề tài, dự án hoặc các hoạt động có liên quan đến nhau và có thể liên quan đến một hoặc nhiều ngành, lĩnh vực nhằm đạt được một hoặc một

số mục tiêu xác định, có thời hạn thực hiện tương đối dài hoặc theo nhiều giai đoạn, nguồn lực để thực hiện có thể được huy động từ nhiều nguồn ở những thời điểm khác nhau, với nhiều phương thức khác nhau”

3 Đánh giá

Michael Scriven, một trong những nhà sáng lập ra bộ môn đánh giá hiện đại, đã đưa ra nhận xét rằng có gần sáu mươi thuật ngữ khác nhau về đánh giá được áp dụng cho tình huống này hay tình huống khác Những thuật ngữ này gồm : adjudge (xét xử), appraise (đánh giá), analyze (phân tích), assess (đánh giá), critique (phê phán), examine (kiểm tra), grade (xếp hạng), inspect (kiểm định), judge (phán xử), rate (cho điểm), rank (xếp hạng), review (xem xét), test

(kiểm tra)… Theo từ điển Oxford “Đánh giá (Evaluation) là một hành động xác định, hoặc định giá (hàng hoá, v.v ), một sự tính toán hoặc tuyên bố về giá trị;

là một hoạt động nhằm nhận định, xác nhận giá trị thực trạng về : mức độ hoàn thành nhiệm vụ, chất lượng, hiệu quả công việc, trình độ, sự phát triển…

Trong khuôn khổ đề án, nhóm thực hiện sử dụng thuật ngữ đánh giá

“Evaluation” theo định nghĩa của Michael Scriven “Đánh giá chuyên nghiệp là

(Sciven, 1991) Chúng ta có thể (và phải) đánh giá một cách hệ thống những đối tượng sau :

- Đề tài, dự án hoặc chương trình;

- Cán bộ hoặc kết quả;

- Chính sách hoặc chiến lược;

- Sản phẩm hoặc dịch vụ;

- Quá trình thực hiện hoặc hệ thống;

- Đề xuất, hợp đồng đấu thầu

4 Đánh giá chương trình KH&CN

Đánh giá chương trình KH&CN là việc xem xét một cách có hệ thống và khách quan hoạt động của chương trình, bao gồm cả việc thiết kế, thực hiện và kết quả đạt được

Chuỗi kết quả trong đánh giá chương trình KH&CN như sau :

Đầu vào (Inputs): Là nguồn tài chính, nhân lực, nguyên vật liệu cần thiết

để thực thi đề tài, dự án, chương trình như: con người, kinh phí hoạt động, trang

thiết bị, thông tin và quản lý Đầu vào cũng có thể gồm cả mối quan hệ hợp tác và quyền tác giả

Đầu ra (Outpust) : Là các kết quả trực tiếp, có thể đo đếm được dễ dàng từ

các hoạt động của đề tài, dự án, chương trình như : các phát hiện, các xuất bản phẩm (sách, chương của sách, bài báo trên tạp chí trong và ngoài nước, báo cáo hội nghị khoa học); phần mềm, CSDL; bản vẽ kỹ thuật, thiết kế hoặc mẫu sản phẩm; mẫu thiết kế; sáng chế hoặc giống cây trồng; triển lãm hoặc trình diễn các tác phẩm nghệ thuật nguyên gốc; mục, thuật ngữ - nội dung được ghi vào từ điển; bản đồ

Tác động trước mắt (Outcomes/Results) : Là tác động đầu ra của một đề

tài, dự án, chương trình đến đời sống, sản xuất Tác động trước mắt thường là sự chấp nhận, sử dụng hoặc ứng dụng đầu ra bởi người sử dụng tiếp theo hoặc người

sử dụng cuối cùng Tác động trước mắt có thể là kết quả mong đợi hoặc không

mong đợi, tích cực hoặc tiêu cực, trung hạn hoặc ngắn hạn

Tác động lâu dài (Impacts) : Đề cập tới tác động lâu dài hoặc những thay

đổi do đề tài, dự án, chương trình mang lại, thường là những thay đổi về mặt kinh

tế, xã hội và môi trường Các tác động có thể là tác động đã dự kiến và không dự kiến, trực tiếp hoặc gián tiếp, tích cực và tiêu cực

Về nguyên tắc, đầu ra là nguyên nhân của tác động trước mắt, tác động trước mắt là nguyên nhân của tác động lâu dài (có đầu ra mới có tác động)

Chương II HƯỚNG DẪN CHUNG VỀ ĐÁNH GIÁ CHƯƠNG TRÌNH KH&CN

I MỤC ĐÍCH ĐÁNH GIÁ CHƯƠNG TRÌNH KH&CN

1 Hỗ trợ ra quyết định

Đánh giá cung cấp thông tin đầu vào dưới dạng kiến thức và bằng chứng

về hoạt động và những thực hành tốt cho những người ra quyết định, đặc biệt là trong các quyết định sử dụng và phân bổ ngân sách nhà nước dựa trên hiệu quả

Các chính phủ đều phải đối mặt với một khó khăn chung, đó là phân bổ các nguồn lực hạn chế (như nhân lực, ngân sách, hạ tầng…) như thế nào để đạt được hiệu suất cao hơn cho nền kinh tế Do những đặc thù khác nhau về nhiều mặt, như quy mô nền kinh tế, hạ tầng cơ sở, tài nguyên…mà không thể có câu trả lời chung cho mọi quốc gia Hơn nữa, tốc độ phát triển rất nhanh của KH&CN

làm cho vấn đề trở nên phức tạp hơn Trong bối cảnh như vậy, đánh giá có thể hỗ

trợ quá trình ra quyết định của Chính phủ bằng cách đưa ra những minh chứng về các chương trình hoạt động hiệu quả, giúp lựa chọn, xác định các hướng ưu tiên

và giải quyết vấn đề phân bổ ngân sách và nguồn lực cho KH&CN một cách hiệu quả

2 Hỗ trợ quản lý

Các nhà quản lý chương trình KH&CN thường xuyên tiếp xúc với các dự

án và hoạt động cụ thể của chương trình nên có thể liên hệ các thông tin đầu ra, đầu vào với các chi tiết nhỏ nhất của chương trình Mặc dù rất nỗ lực để đảm bảo việc triển khai thành công chương trình, họ thường thiếu các thông tin dưới dạng mẫu biểu cần thiết để mô tả và ghi nhận các lợi ích mà chương trình tạo ra, đặc biệt là vào giai đoạn giữa kỳ và giai đoạn sau này khi các tác động của tri thức hay của thị trường được ghi nhận

Việc đánh giá giúp các các nhà quản lý chương trình trả lời những câu hỏi sau:

- Các hoạt động nghiên cứu có được triển khai đúng không? (ví dụ: nghiên cứu có đạt hiệu quả và chất lượng cao không?)

- Các nội dung nghiên cứu và phát triển (R&D) của chương trình có tập trung vào đúng lĩnh vực nghiên cứu không?

- Làm thế nào để tri thức được tạo ra từ các chương trình có thể được ứng dụng và đem lại nhiều lợi ích cho quốc gia?

- Làm thế nào để các hoạt động do chương trình tạo ra góp phần nâng cao năng lực R&D của quốc gia?

- Các nỗ lực thực hiện chương trình trước đây và các sáng kiến mới có thỏa đáng không ?

Các thông tin nói trên luôn cần thiết và là điều kiện then chốt để đảm bảo cho sự thành công dài hạn của chương trình, đồng thời trang bị cho các nhà quản

lý chương trình những thông tin cần thiết để nâng cao hiệu quả chương trình, và nhận thức được một cách rõ ràng toàn bộ lợi ích từ các hoạt động R&D

Ngoài ra, trên cơ sở các đánh giá so sánh giữa hoàn cảnh hiện tại với mục tiêu đề ra ban đầu, cơ quan quản lý chương trình sẽ có những yêu cầu điều chỉnh cần thiết, phù hợp với sự thay đổi của hoàn cảnh thực tế, từ đó có thể sớm chấm dứt chương trình, thay đổi mục tiêu, hoặc phương pháp thực hiện

3 Cung cấp thông tin cho công chúng

Người dân nộp thuế vào ngân sách có quyền được biết Chính phủ của họ

sử dụng tiền thuế của dân như thế nào Thông qua đánh giá, Chính phủ có thể giải thích cho người dân hiểu về việc chi tiêu, đồng thời cũng chứng minh tính hiệu quả và sự minh bạch trong việc sử dụng ngân sách cho KH&CN, từ đó làm tăng

sự đồng thuận của xã hội và nâng cao nhận thức của cộng đồng về vai trò của Chính phủ trong hoạt động nghiên cứu khoa học và phát triển công nghệ

II TIÊU CHUẨN (NGUYÊN TẮC) ĐÁNH GIÁ CHƯƠNG TRÌNH KH&CN

Để có thể tác động tới việc ra quyết định, các kết quả đánh giá phải được thấy là phù hợp và hữu ích Kết quả đánh giá phải được thể hiện rõ ràng và xúc tích, phản ánh đầy đủ những mối quan tâm và các nhu cầu khác nhau của các bên tham gia

2 Tính khách quan và độc lập

Tính khách quan thể hiện ở sự không thiên vị trong suốt quá trình đánh giá,

sự chặt chẽ về phương pháp luận, suy luận cũng như cách trình bày các kết quả

và thách thức Khách quan đồng nghĩa với việc phải nhìn nhận đến quan điểm của tất cả các bên liên quan Khi các bên liên quan có quan điểm khác nhau thì các quan điểm đó phải được phản ánh trong phân tích và báo cáo đánh giá

Yêu cầu khách quan tồn tại ở mọi giai đoạn đánh giá, kể từ việc lập kế hoạch đánh giá, lựa chọn thành viên hội đồng, thực hiện đánh giá, phát hiện các vấn đề và khuyến nghị

Quy trình đánh giá phải độc lập với các quy trình liên quan tới việc thực

hiện và quản lý các nguồn lực

3 Tính tin cậy

Tính tin cậy của đánh giá phụ thuộc vào kỹ năng chuyên môn và sự độc lập của người đánh giá và mức độ minh bạch của quy trình đánh giá Tính tin cậy đòii hỏi việc đánh giá phải chỉ ra cả những thành công và thất bại của chương trình

4 Sự tham gia

Vì các kết quả đánh giá có liên quan tới nhiều bên nên các điều khoản tham chiếu về đánh giá phải giải quyết các vấn đề liên quan đến từng đối tượng, phản ánh được quan điểm của các bên tham gia về tính hiệu quả và tác động của các hoạt động liên quan Các đối tượng có quyền lợi liên quan phải được tham vấn khi lập kế hoạch, thiết kế, thực hiện và bám đuổi hoạt động đánh giá

5 Tính chuyên nghiệp

Hoạt động đánh giá phải được thiết kế và lên kế hoạch một cách chuyên nghiệp, với các điều khoản tham chiếu cụ thể được đưa ra nhằm :

- Xác định mục đích và phạm vi đánh giá, kể cả việc chỉ rõ đối tượng tiếp nhận các kết quả đánh giá;

- Mô tả các phương pháp được sử dụng trong đánh giá;

- Giải thích rõ tiêu chí đánh giá;

- Chỉ ra các tiêu chuẩn hoặc mục tiêu làm cơ sở đánh giá tình hình thực hiện;

- Quyết định các nguồn lực và thời gian để hoàn thành việc đánh giá

6 Tính hiệu quả

Tính hiệu quả thể hiện ở việc chi phí đánh giá phải thấp hơn những lợi ích mang lại từ việc sử dụng kết quả đánh giá Do công tác đánh giá có thể đòi hỏi chi phí rất cao nên nguyên tắc này nhấn mạnh tầm quan trọng của việc sử dụng chi phí một cách hiệu quả nhất Hiệu quả chi phí phụ thuộc rất lớn vào việc lập kế hoạch, thiết kế đánh giá, phương pháp đánh giá và số lượng các chỉ số được sử dụng trong đánh giá

III CÁC GIAI ĐOẠN ĐÁNH GIÁ CHƯƠNG TRÌNH KH&CN :

Đánh giá chương trình KH&CN thường được thực hiện theo 4 giai đoạn :

1) Đánh giá thẩm định (Ex-ante Evaluation) : Là đánh giá được tiến hành

trước khi thực hiện chương trình Giai đoạn này đánh giá tính khả thi và chất lượng thiết kế chương trình

2) Đánh giá giữa kỳ (Mid-term Evaluation) : Là đánh giá được tiến hành

vào giữa thời gian thực hiện chương trình nhằm xem xét quá trình thực hiện từ khi bắt đầu và đề xuất các điều chỉnh cần thiết

3) Đánh giá cuối kỳ (đánh giá kết thúc – Terminal Evaluation) : Là đánh

kết quả đạt được và tổng kết toàn bộ quá trình thực hiện, rút ra các kinh nghiệm cần thiết làm cơ sở lập báo cáo nghiệm thu chương trình

4) Đánh giá tác động (Impact Evaluation) : Là đánh giá được thực hiện

vào một thời điểm thích hợp, kể từ khi chương trình được đưa vào khai thác, sử dụng nhằm làm rõ hiệu quả, tính bền vững và tác động kinh tế-xã hội của chương trình

IV PHƯƠNG PHÁP ĐÁNH GIÁ CHƯƠNG TRÌNH KH&CN :

Có nhiều phương pháp định tính và định lượng để đánh giá chương trình KH&CN Phương pháp tổng hợp kết hợp cả định tính và định lượng được khai thác tốt nhất Việc lựa chọn phương pháp nào tuỳ thuộc vào đặc thù của từng chương trình Tuy nhiên, khi thiết kế và tổ chức đánh giá các chương trình KH&CN điểm mấu chốt là làm thế nào để thoả mãn tốt nhất yêu cầu về đánh giá trong điều kiện hạn chế nguồn lực Việc lựa chọn phương pháp đánh giá cần phải dựa trên mục tiêu, kinh phí và thời lượng tương ứng Các phương pháp thường sử dụng khi đánh giá chương trình KH&CN gồm :

• Phản biện (đánh giá) của chuyên gia cùng ngành (Peer review)

• Giám sát, tổng hợp số liệu và sử dụng các chỉ số

• Phân tích trắc lượng thư mục (Bibliometric analysis)

• Nghiên cứu điển hình (Case study)

• So sánh, đối chứng (Benchmaking)

• Điều tra khảo sát (Survey, questionnaire)

• Phân tích chi phí-lợi ích (Cost-benefit analysis)

• Theo dõi thương mại hoá công nghệ (Technology commercialization tracking)