Chuẩn đầu ra kỹ năng chuyển đổi CĐR KNCĐ Xác định CĐR KNCĐMa trận CĐR KNCĐ Đánh giá CĐR KNCĐ Nội dung... 1 Xác định chuẩn đầu ra kỹ năng chuyển đổi 2 Xây dựng ma trận môn học đảm nhiệm C
Trang 2NỘI DUNG CHƯƠNG TRÌNH TỌA ĐÀM KHOA HỌC
ĐẢM BẢO CHẤT LƯỢNG CÔNG TÁC KHẢO THÍ, KIỂM TRA ĐÁNH GIÁ
KẾT QUẢ HỌC TẬP ĐÁP ỨNG CHUẨN ĐẦU RA
(Ngày 28/10/2021, Trường ĐH KHXH&NV, ĐHQG-HCM, 10-12 Đinh Tiên Hoàng, Q1, TP.HCM)
8:00 – 8:15 Tổ Thư ký Đón tiếp đại biểu
8:15 – 8:30 Ban Tổ chức Phát biểu khai mạc Tọa đàm
8:30 – 9:00 TS Cao Thị Châu Thủy
Phó trưởng Phòng Khảo thí và Đảm bảo chất lượng, Trường ĐH KHXH&NV, ĐHQG- HCM
Báo cáo tham luận 1:
Cơ sở lý luận về kiểm tra, đánh giá, đo lường kết quả học tập đáp ứng chuẩn đầu ra
9:00 – 9:30 PGS.TS Phạm Văn Tuấn
Trưởng Phòng Khảo thí và Đảm bảo chất lượng giáo dục, Trường ĐH Bách Khoa, ĐH Đà Nẵng
Báo cáo tham luận 2:
Nguyên lý đo lường và đánh giá chuẩn đầu ra chương trình đào tạo bậc đại học và sau đại học theo Bộ Tiêu chuẩn AUN-QA phiên bản 4.0
9:30 – 10:00 PGS.TS Phạm Huy Tuân
Phó trưởng Phòng Đảm bảo chất lượng, Trường
ĐH Sư phạm Kỹ thuật TP Hồ Chí Minh
Báo cáo tham luận 3:
Kinh nghiệm đảm bảo chất lượng hoạt động kiểm tra, đánh giá kết quả học tập đáp ứng chuẩn đầu ra chương trình đào tạo
10:00 – 10:30 TS Nguyễn Hứa Phùng
Giảng viên chính, Trường ĐH Bách Khoa, ĐHQG-HCM
Báo cáo tham luận 4:
Liên tục cải thiện dựa vào đánh giá chuẩn đầu ra chương trình đào tạo
10:30 – 11:15 Ban Chủ tọa; Báo cáo viên; Đại biểu tham dự Trao đổi và thảo luận chung
11:15 – 11:30 Ban Tổ chức Tổng kết và bế mạc Tọa đàm
BAN TỔ CHỨC
Trang 3ĐÁNH GIÁ CHUẨN ĐẦU RA KỸ NĂNG CHUYỂN ĐỔI Ở CẤP ĐỘ CHƯƠNG TRÌNH ĐÀO TẠO
TS Cao Thị Châu Thủy Email: chauthuy@hcmussh.edu.vn
Trang 4Chuẩn đầu ra kỹ năng chuyển đổi (CĐR KNCĐ) Xác định CĐR KNCĐ
Ma trận CĐR KNCĐ
Đánh giá CĐR KNCĐ
Nội dung
Trang 5Kỹ phản biện
Kỹ năng giao tiếp
Kỹ năng giải quyết vấn đề
Kỹ năng dẫn dắt khởi nghiệp
Kỹ năng đánh giá chất lượng công việc
(Khung trình độ quốc gia Việt Nam, 2016)
KỸ NĂNG CHUYỂN ĐỔI LÀ GÌ?
(Tranferable skill, generic skill)
Trang 6Là những kỹ năng không chỉ sử dụng cho 1 lĩnh vực, ngành nghề cụ thể nào mà có thể được sử dụng cho các lĩnh vực, ngành nghề khác nhau
KỸ NĂNG CHUYỂN ĐỔI LÀ GÌ?
Trang 7Là những kỹ năng không chỉ dùng cho một nghề nghiệp cụ thể mà được người học thực hiện/thể hiện trong nhiều tình huống, bối cảnh công việc khác nhau khi kết thúc chương trình đào tạo ở một ngành CHUẨN ĐẦU RA KỸ NĂNG CHUYỂN
ĐỔI LÀ GÌ?
Trang 8Các chuẩn đầu ra kỹ năng chuyển đổi thường được tổ chức dạy học tích hợp trong các môn học/học phần cụ thể
(Erica Smith và Jackie Reid, 2018)
CHUẨN ĐẦU RA KỸ NĂNG CHUYỂN
ĐỔI LÀ GÌ?
Trang 9(1) Xác định chuẩn đầu ra kỹ năng chuyển đổi
(2) Xây dựng ma trận môn học đảm nhiệm CĐR KNCĐ
(3) Đánh giá CĐR KNCĐ
CĐR KNCĐ ĐƯỢC ĐÁNH GIÁ NHƯ
THẾ NÀO?
Trang 11CĐR KNCĐ ĐƯỢC ĐÁNH GIÁ NHƯ THẾ NÀO?
Xác định chuẩn đầu ra kỹ năng chuyển đổi
năng giao tiếp hiệu
quả với các đối tượng
khác nhau
Nói rõ ràng để truyền đạt thông tin tới
người nghe một cách tự tin;
Kết nối được suy nghĩ, ý tưởng và thông
điệp để giáo dục, truyền tải, thuyết phục;
Truyền tải ý tưởng và thông điệp bằng
văn bản rõ ràng, đúng ngữ pháp;
Thể hiện một tâm trí cởi mở và lắng
nghe tích cực để hiểu nội dung giao tiếp
Trang 12Thể hiện sự phân bổ CĐR CTĐT vào các môn học liên quan nhằm thể hiện rõ ràng những CĐR do từng môn học đảm trách
Ma trận đồng thời thể hiện trình tự học tập được hoạch định hay lộ trình phát triển các chuẩn đầu ra
(Đoàn Thị Minh Trinh và các tác giả, 2012)
CĐR KNCĐ ĐƯỢC ĐÁNH GIÁ NHƯ THẾ NÀO?
Xây dựng ma trận môn học đảm nhiệm CĐR KNCĐ
Trang 13- Tăng một bậc nhận thức trong phân loại Bloom, SV phải được dạy (T-teach)
- Đạt trình độ năng lực ở mức 3 (ứng dụng được) ít nhất phải được dạy (T) 3 lần trong các môn học
- Củng cố về chủ đề đó bằng cách sử dụng (U-utilize)
để học ở chủ đề khác (U) 3 lần trong các môn học
(Đoàn Thị Minh Trinh và các tác giả, 2012)
CĐR KNCĐ ĐƯỢC ĐÁNH GIÁ NHƯ THẾ NÀO?
Xây dựng ma trận môn học đảm nhiệm CĐR KNCĐ
Trang 14Môn nào có khả năng đảm nhiệm CĐR KNCĐ này, cho khía cạnh nào?
+đặc điểm môn học
+năng lực đối tượng người dạy
+thời gian tổ chức giảng dạy
CĐR KNCĐ ĐƯỢC ĐÁNH GIÁ NHƯ THẾ NÀO?
Xây dựng ma trận môn học đảm nhiệm CĐR KNCĐ
Trang 15Môn nào có khả năng đảm nhiệm CĐR KNCĐ?
Những môn học gắn với thực tiễn như: các môn học/học phần kiến tập, thực tập, đồ án, có hoạt động giải quyết vấn đề, học tập dựa trên tình
huống
( Đoàn Thị Minh Trinh và các tác giả, 2012 )
CĐR KNCĐ ĐƯỢC ĐÁNH GIÁ NHƯ THẾ NÀO?
Xây dựng ma trận môn học đảm nhiệm CĐR KNCĐ
Trang 16CĐR KNCĐ ĐƯỢC ĐÁNH GIÁ NHƯ THẾ NÀO?
Xây dựng ma trận môn học đảm nhiệm CĐR KNCĐ
Học
kỳ Tên môn học Kỹ năng giao tiếp Kỹ năng viết và xử lý
thông tin
Kỹ năng làm việc nhóm
Trang 17CĐR KNCĐ ĐƯỢC ĐÁNH GIÁ NHƯ THẾ NÀO ?
Đánh giá CĐR KNCĐ ở cấp độ Chương trình
Trang 18(1) Cộng kết quả học tập của các môn
học/học phần được phân công đảm nhiệm
(2) Thông qua các bài tập lớn: Đồ án, khóa luận, sản phẩm thực tập, kiến tập
Đánh giá CĐR KNCĐ ở cấp độ Chương trình
Trang 19- Đánh giá tổng thể bởi người dạy
- Đánh giá portfolios được tạo bởi người học
- Đánh giá dựa trên kinh nghiệm làm việc
Trang 20Minh chứng trực tiếp
Minh chứng gián tiếp
Rubric và minh chứng trực tiếp
CĐR KNCĐ ĐƯỢC ĐÁNH GIÁ NHƯ THẾ NÀO?
Đánh giá CĐR KNCĐ cấp độ môn học
Chứng minh CĐR
Trang 21CĐR KNCĐ ĐƯỢC ĐÁNH GIÁ NHƯ THẾ NÀO?
Đánh giá CĐR KNCĐ cấp độ môn học
Trang 22Cám ơn các Thầy/Cô đã lắng nghe
Trang 23Nguyên lý đo lường và đánh giá chuẩn đầu ra chương trình đào tạo bậc đại học và sau đại học theo Bộ Tiêu chuẩn AUN-QA phiên bản 4.0 Assoc.Prof.Dr Pham Van Tuan - AUN-QA Lead Assessor, Vietnam National Education Accreditor Co-Founder of L.Y.D.Edu Quality Assurance and Training Expert, L.Y.D.I.N.C Ltd Company
Love Your Design Lead Your Development
Trang 24Source: LYDEDU-QA
Trang 25OBE Design - Resource - Output & Outcomes
LYD Edu
Love Your Design Lead Your Development
Source: Tan Kay Chuan, AUN-QA
Trang 26Outcome Assessment Requirements
LYD Edu
Love Your Design Lead Your Development
1.5 The programme to show that the expected learning outcomes are
achieved by the students by the time they graduate.
Design-related Assessment
4.5 The assessment methods are shown to measure the achievement of
the expected learning outcomes of the programme and its courses.
Trang 27Outcomes are achieved by the students by the time they graduate
LYD Edu
Love Your Design Lead Your Development
- It is important that the data for the table are provided by the students
at the time of graduation.
- This gives a more reliable measure of PLO achievement It makes less sense for the data to
be provided by the programme administrators or the academic staff only.
- Alternatively, the data can be provided by alumni and employers within 6-24 months after
graduation.
Source: AUN-QA
Trang 28Assessment Process
LYD Edu
Love Your Design Lead Your Development
A The curriculum map must be revised to have
1 Course contribution to specified PIs at defined performance levels
2 Assessment schedule determined based on courses and learning opportunities where students are expected to possess a strong and advanced foundation in the knowledge, skill, attitude
B The assessment schedule includes:
1 Student performance indicator (and then outcome) that is to be measured;
2 Courses from which data will be collected (A - assessment);
3 Assessment instruments that will be used, and time to be assessed;
4 Performance standard or the threshold that the students must meet so that
the indicator (and then outcome) is considered met;
5 Faculty who will collect the data;
6 Repeated cycle year, when data are to be collected
Haidar M Harmanani (2017) An outcome-based assessment process for accrediting
computing programmes, European Journal of Engineering Education
Tuan Van Pham (2020), LYDEDU-QA
Trang 29Where and How to Collect Data - Curriculum Map
LYD Edu
Love Your Design Lead Your Development
https://www.iau.edu.sa/en/colleges/college-of-computer-science-and-information-tec
hnology/programs/bachelor-of-science-in-cyber-security-and-digital-forensics-cys
Trang 30Where and How to Collect Data - Curriculum Map
LYD Edu
Love Your Design Lead Your Development
Trang 31Outcomes - Performance Indicators
LYD Edu
Love Your Design Lead Your Development
- A performance indicator (PI) is a component of an outcome whose attainment is easier to measure than the attainment of the outcome as a whole.
- Producing a list of a few (3-5) PIs that
collectively measure the attainment level for an outcome can make the assessment
of that outcome much easier to manage, providing more reliable assessment data.
- A performance indicator (PI) represents a key measurable part of an outcome Together, the performance indicators define the outcome
Source: Daniel Scott, ASU - BUILD-IT Source: LYDEDU-QA
Trang 32ELOs & PIs - Good Practice
LYD Edu
Love Your Design Lead Your Development
https://www.hvnh.edu.vn/hvnh/vi/ban-tin-hoc-vien-ngan-hang/hoc-vien-ngan-hang-ban-hanh-muc-tieu-chuan-dau-ra-dieu-kien-tot-nghiep-chuong-trinh-dao-tao-dai-hoc-1665.html
Trang 33Performance Indicators - Good Practice
LYD Edu
Love Your Design Lead Your Development
https://www.hvnh.edu.vn/hvnh/vi/ban-tin-hoc-vien-ngan-hang/hoc-vien-ngan-hang-ban-hanh-muc-tieu-chuan-dau-ra-dieu-kien-tot-nghiep-chuong-trinh-dao-tao-dai-hoc-1665.html
Trang 34The Courses to be Assessed
LYD Edu
Love Your Design Lead Your Development
Haidar M Harmanani (2017) An outcome-based assessment process for
accrediting computing programmes, European Journal of Engineering Education
Trang 35The Courses to be Assessed
LYD Edu
Love Your Design Lead Your Development
Haidar M Harmanani (2017) An outcome-based assessment process for
accrediting computing programmes, European Journal of Engineering Education
● Course-embedded assessment (direct
assessment): This assessment method is used
to measure the CLOs of courses that serve to assess PIs of ELOs in the program
● Internship and/or Graduation project
assessment (direct assessment): Unlike others, this tool is conducted by external evaluators who are the instructors supervising the
student's internship in the enterprise or graduation project.
● Surveys (indirect assessment): This assessment
aims to get feedback from learners after they finish their graduation thesis.
Trang 36The Courses to be Assessed
LYD Edu
Love Your Design Lead Your Development
https://www.tandfonline.com/doi/abs/10.1080/03043797.2016.1226781
Trang 37The Courses to be Assessed
LYD Edu
Love Your Design Lead Your Development
For example, PLO: an ability to identify, formulate, and solve complex mechanical engineering
problems by applying principles of engineering, science, and mathematics
Source: Daniel Scott, ASU - BUILD-IT
Trang 38Achievement of Program Learning Outcomes
LYD Edu
Love Your Design Lead Your Development
Source: Daniel Scott, ASU - BUILD-IT
Trang 39Analysis and Improvement Plan
LYD Edu
Love Your Design Lead Your Development
Source: Daniel Scott, ASU - BUILD-IT
Trang 40Keys Take Away
LYD Edu
Love Your Design Lead Your Development
Source: Tuan Van Pham (2021), LYDEdu-QA
1 SMART Program Learning Outcomes and Performance Indicators;
2 Relevant Performance Levels (holistic rubrics) for each Performance Indicator
3 Constructively Aligned Curriculum Map ensures development of student learning opportunities across the program and a clear assessment plan
4 Full outcome-based assessment at the course level with analytical rubrics
5 Reform new OBE curriculum while trying outcome assessment methods on the existing curriculum
6 Training regulation, supporting resources, policies must be adjusted to OBE
7 Process and (digital) tools must be built, applied, checked and adjusted objecting to lecturer and student feedbacks
8 Academic and Support staff training is critically needed
Trang 41LYD Edu
Love Your Design Lead Your Development
- ASEAN University Network - Quality Assurance https://www.aunsec.org/
- Building University-Industry Learning and Development through Innovation and Technology https://builditvietnam.org/
- The CDIO™ INITIATIVE http://www.cdio.org/
- Education Quality International http://johnsonongcheebin.blogspot.com/
- LYDEdu - Quality Assurance Consultants, L.Y.D.I.N.C, https://www.lydinc.net/
Trang 42Assoc.,Prof Dr Pham Van Tuan
Director, Quality Assurance Department, UD-DUT
AUN-QA Lead Assessor, Vietnam Accreditor
Co-Founder of L.Y.D.Edu Quality Assurance and Training Expert, L.Y.D.I.N.C Ltd Email: pvtuan@dut.udn.vn | lydedu.qa@gmail.com
Website: https://www.lydinc.net/
Trang 44KINH NGHIỆM
ĐẢM BẢO CHẤT LƯỢNG HOẠT ĐỘNG KIỂM TRA,
ĐÁNH GIÁ KẾT QUẢ HỌC TẬP ĐÁP ỨNG CHUẨN ĐẦU RA
CHƯƠNG TRÌNH ĐÀO TẠO
B á o c á o : P G S T S P h ạ m H u y Tu â n
P h ó p h ụ t r á c h P Đ B C L
Trang 45KINH NGHIỆM
CHIA SẺ
3
ĐO LƯỜNG CĐR CTĐT
Trang 46GIỚI THIỆU
Trường Đại học Sư phạm Kỹ thuật TP.HCM
Quy mô đào tạo: 33.485 SV*
Số lượng CBVC: 800
4
* Tính đến tháng 12/2020
Trang 47Khoa Đại học ThS TS Accreditation
Trang 50Institutional Assessment
Program Assessment
Vision/
Mission (GA)
Expected Learning Outcomes (ELO)
Trang 51(Inter)national benchmarking requirements
• VQF
• Labour market
• Professional body
Expected Learning Outcomes (ELOs)
• What the student should be able to know, understand
and to do at the end of the programme
• Teaching and Learning Activities
• Student Assessment Schemes
• Quality of Support Services and Facilities
Input
• Academic Staff Quality
• Support Staff Quality
• Student Quality and Support
• Facilities and Infrastructure
Output
• Pass rates and dropout rates
• Average time to graduate
• Employability of the graduates
• Research activities
• Stakeholders’
satisfaction
P A
C D
Trang 521 DISCIPLINARY KNOWLEDGE AND REASONING
1.1 KNOWLEDGE OF UNDERLYING MATHEMATICS AND SCIENCES1.2 CORE ENGINEERING FUNDAMENTAL KNOWLEDGE
1.3 ADVANCED ENGINEERING FUNDAMENTAL KNOWLEDGE, METHODS AND TOOLS
2 PERSONAL AND PROFESSIONAL SKILLS AND ATTRIBUTES
2.1 ANALYTIC REASONING AND PROBLEM SOLVING2.2 EXPERIMENTATION, INVESTIGATION AND KNOWLEDGE DISCOVERY2.3 SYSTEM THINKING
2.4 ATTITUDES, THOUGHT AND LEARNING2.5 ETHICS, EQUITY AND OTHER RESPONSIBILITIES
3 INTERPERSONAL SKILLS: TEAMWORK AND COMMUNICATION
3.1 TEAMWORK3.2 COMMUNICATIONS3.3 COMMUNICATIONS IN FOREIGN LANGUAGES
4 CONCEIVING, DESIGNING, IMPLEMENTING AND OPERATING SYSTEMS IN THE ENTERPRISE, SOCIETAL AND ENVIRONMENTAL CONTEXT – THE INNOVATION PROCESS
4.1 EXTERNAL, SOCIETAL AND ENVIRONMENTAL CONTEXT4.2 ENTERPRISE AND BUSINESS CONTEXT
4.3 CONCEIVING, SYSTEM ENGINEERING AND MANAGEMENT4.4 DESIGNING
4.5 IMPLEMENTING4.6 OPERATINGExtended CDIO Syllabus
4.7 LEADING ENGINEERING ENDEAVORS4.8 ENGINEERING ENTREPRENEURSHIP
Trang 531 an ability to identify, formulate, and solve
complex engineering problems by applying
principles of engineering, science, and
mathematics
2 an ability to apply engineering design to
produce solutions that meet specified needs
with consideration of public health, safety,
and welfare, as well as global, cultural,
social, environmental, and economic factors
3 an ability to communicate effectively
with a range of audiences
4 an ability to recognize ethical and
professional responsibilities in engineering
situations and make informed judgments,
which must consider the impact of
engineering solutions in global, economic,
environmental, and societal contexts
5 an ability to function effectively on a
team whose members together provide
leadership, create a collaborative and
inclusive environment, establish goals, plan
tasks, and meet objectives
A
B
E
T
6 an ability to develop and conduct
appropriate experimentation, analyze and
interpret data, and use engineering
judgment to draw conclusions
7 an ability to acquire and apply new
knowledge as needed, using appropriate
learning strategies
1.1 Knowledge of underlying mathematics and sciences
1.2 Core engineering fundamental knowledge1.3 Advanced engineering fundamental knowledge, methods and tools
2.1 Analytical reasoning and problem solving2.2 Experimentation, investigation and knowledge discovery2.3 System thinking
2.4 Attitudes, thought and learning2.5 Ethics, equity and other responsibilities
3.1 Teamwork3.2 Communications3.3 Communications in foreign languages
4.1 External, societal and environmental context4.2 Enterprise and business context
4.3 Conceiving, system engineering and management
4.4 Designing4.5 Implementing4.6 Operating4.7 Leading engineering endeavors4.8 Engineering entrepreneurship
H C M U T E
1 Knowledge and engineering problem solving
1.1 an ability to identify, formulate, and solve complex engineering problems by applying principles of engineering, science, and mathematics
3 Interpersonal skills: teamwork and communication
3.1 an ability to function effectively on a team whose members together provide leadership, create a collaborative and inclusive environment, establish goals, plan tasks, and meet objectives
3.2 an ability to communicate effectively with a range of audiences, and to communicate in foreign languages
4 Conceiving, designing, implementing and operating systems in the enterprise, social and environmental context
4.1 an ability to apply engineering design to produce solutions that meet specified needs with consideration of public health, safety, and welfare, as well as global, cultural, social, environmental, and economic factors 4.2 an ability to implement engineering systems 4.3 an ability to operate and manage engineering systems
2 Personal and professional skills and attributes
2.1 an ability to develop and conduct appropriate experimentation, analyze and interpret data, and use engineering judgment to draw conclusions
2.2 an ability to recognize ethical and professional responsibilities in engineering situations and make informed judgments, which must consider the impact of engineering solutions in global, economic, environmental, and societal contexts
2.3 an ability to acquire and apply new knowledge as needed, using appropriate learning strategies
C D I O
11