Ứng dụng mạng Bayes xây dựng hệ thống đánh giá mức độ kiến thức năng lực người học

Một số mô hình TNTN đã được nghiên cứu và hiện thực hóa như: mô hình TNTN trên cơ sở lý thuyết đáp ứng câu hỏi, mô hình TNTN trên cơ sở lôgic mờ, … Tuy nhiên các mô hình TNTN kể trên vẫn

TRƯỜNG ĐẠI HỌC BÁCH KHOA

TRẦN THỊ TUYẾT MAI

ỨNG DỤNG MẠNG BAYES XÂY DỰNG HỆ THỐNG ĐÁNH GIÁ MỨC ĐỘ KIẾN THỨC NĂNG LỰC NGƯỜI HỌC

Chuyên ngành: Khoa học máy tính

Mã số : 8480101

TÓM TẮT LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH

Đà Nẵng – Năm 2019

TRƯỜNG ĐẠI HỌC BÁCH KHOA

Người hướng dẫn khoa học: Tiến sĩ Đặng Hoài Phương

Phản biện 1: TS Phạm Minh Tuấn

Phản biện 2: TS Đậu Mạnh Hoàn

Luận văn sẽ được bảo vệ trước Hội đồng chấm Luận văn tốt nghiệp thạc sĩ kỹ thuật họp tại Trường Đại học Bách

khoa vào ngày 25 tháng 8 năm 2019

Có thể tìm hiểu luận văn tại:

− Trung tâm Học liệu, Đại học Đà Nẵng tại Trường Đại học Bách khoa

− Thư viện Khoa công nghệ thông tin, Trường Đại học Bách khoa – ĐHĐN

Đà Nẵng – Năm 2019

MỞ ĐẦU

1 Lý do chọn đề tài

Kiểm tra đánh giá kết quả học học tập của học sinh là một khâu có vai trò quan trọng trong quá trình dạy học Nó đảm bảo mối liên hệ ngược trong quá trình dạy học bộ môn, giúp giáo viên điều chỉnh việc dạy và học sinh kịp thời điều chỉnh việc học của mình

Các phương pháp đánh giá truyền thống như: vấn đáp, tự luận,… thường cho kết quả có độ chính xác không cao, tốn thời gian, không khách quan và chỉ tập trung đánh giá được về mặt kiến thức, chưa chú

ý đến đánh giá năng lực của người học

Một mô hình trắc nghiệm đã và đang được nghiên cứu hiện nay là trắc nghiệm thích nghi (TNTN) trên máy tính (Computerized Adaptive Testing - CAT) Mô hình này cho phép lựa chọn câu hỏi tiếp theo phù hợp với mức kiến thức và năng lực hiện tại của thí sinh Năng lực thí sinh được cập nhật thường xuyên trong quá trình đánh giá và quá trình đánh giá sẽ kết thúc khi đưa ra được chính xác mức kiến thức và năng lực thực sự của thí sinh

Ngày nay, với sự phát triển vượt bậc của khoa học máy tính nên vấn đề triển khai các hệ thống TNTN dựa trên cơ sở các mô hình toán học là hoàn toàn khả thi Một số mô hình TNTN đã được nghiên cứu

và hiện thực hóa như: mô hình TNTN trên cơ sở lý thuyết đáp ứng câu hỏi, mô hình TNTN trên cơ sở lôgic mờ, … Tuy nhiên các mô hình TNTN kể trên vẫn còn tồn tại một số nhược điểm: chỉ đánh giá mức

độ năng lực của thí sinh theo chiều ngang kiến thức,… Vì vậy tôi đề xuất đề tài “Ứng dụng mạng Bayes xây dựng hệ thống đánh giá mức

độ kiến thức năng lực người học” để khắc phục các nhược điểm trên

11 của học sinh trường THPT Lê Quý Đôn - Quảng Bình

- Góp phần vào hướng nghiên cứu mô hình thích nghi, đặc biệt là TNTN nhằm ứng dụng cho thực tiễn giáo dục tại Việt Nam

2.2 Ý nghĩa khoa học và thực tiễn của đề tài

- Mô hình TNTN đề xuất là sự kết hợp giữa hai lĩnh vực nghiên cứu là trắc nghiệm thích nghi và lý thuyết mạng Bayes

3 Mục tiêu và nhiệm vụ

3.1 Mục tiêu

- Xây dựng mô hình TNTN trên cơ sở mạng Bayes & IRT;

- Hiện thực hóa hệ thống TNTN đánh giá mức độ năng lực người học dựa trên mô hình đề xuất

- Đánh giá kết quả theo yêu cầu của đề tài

4 Đối tượng và phạm vi nghiên cứu

Đối tượng nghiên cứu: Đề tài tìm hiểu về các phương pháp đánh giá kiến thức, nhận thức và kỹ năng; các mô hình và thuật toán trắc

nghiệm; lý thuyết mạng Bayes Từ đó dựa trên cơ sở lý thuyết mạng Bayes để xây dựng mô hình TNTN

Phạm vi nghiên cứu: Đề tài sử dụng lý thuyết mạng Bayes làm cơ

sở để xây dựng mô hình TNTN cho môn học Tin học lớp 11 tại trường

THPT Lê Quý Đôn – Quảng Bình

5 Phương pháp nghiên cứu

- Xây dựng hệ thống TNTN trên cơ sở mô hình đề xuất

- Xây dựng cơ sở dữ liệu ngân hàng câu hỏi môn Tin học lớp 11

- Triển khai và đánh giá hệ thống TNTN đã đề xuất trong thực tế

6 Cấu trúc luận văn

Luận văn gồm 3 chương

Chương 1: Cơ sở lý luận và thực tiễn

Chương 2: Xây dựng mô hình TNTN trên cơ sở mạng Bayes Chương 3: Xây dựng hệ thống trắc nghiệm thích nghi

CHƯƠNG I: CƠ SỞ LÝ LUẬN VÀ THỰC TIỄN

1.1 Tổng quan về trắc nghiệm thích nghi

1.2 Mô hình tổng quan TNTN

Về cơ bản TNTN cũng có các thành phần cơ bản như đối với hình thức trắc nghiệm khách quan: ngân hàng câu hỏi (Calibrated item bank), thuật toán lựa chọn câu hỏi (Item selection algorithm), thuật toán đánh giá (Scoring algorithm) và điều kiện dừng (Termination criterion) Tuy nhiên, các thành phần này có những điểm khác so với trắc nghiệm khách quan

Hình 1.1 Các thành phần cơ bản của mô hình TNTN

Hoạt động của TNTN hay thuật toán TNTN là một thuật toán lặp (hình 1.2), trong đó có các thao tác cơ bản như: Khởi tạo năng lực khởi đầu của thí sinh; Lựa chọn câu hỏi để chọn ra câu hỏi phù hợp nhất từ ngân hàng câu hỏi để cho thí sinh thực hiện; Nhận kết quả phản hồi để ghi nhận kết quả trả lời từ thí sinh: Ước lượng năng lực mới dùng để thực hiện các tính toán để ước lượng lại năng lực mới của thí sinh; Điều kiện dừng là tập các điều kiện để xác định việc tiếp tục lựa chọn câu hỏi hoặc kết thúc quá trình đánh giá

Hình 1.2 Mô tả hoạt động của TNTN

1.2.1 Mô hình TNTN trên cơ sở lý thuyết đáp ứng câu hỏi

Trắc nghiệm thích nghi dựa trên lý thuyết đáp ứng câu hỏi là phương pháp sử dụng lý thuyết đáp ứng câu hỏi để xây dựng hệ thống TNTN trong đó việc lựa chọn ra câu hỏi tiếp theo cho thí sinh (dựa trên các giá trị đặc trưng của câu hỏi) sao cho câu hỏi được lựa chọn

phải phù hợp với năng lực của từng thí sinh tại mỗi thời điểm trả lời xong một câu hỏi

Giá trị năng lực thí sinh 𝜃 và các giá trị tham số đặc trưng (độ khó,

độ phân biệt, độ đoán mò) cho các câu hỏi kết hợp với các công thức tính toán đã được chứng minh sẽ quyết định được câu hỏi tiếp theo được lựa chọn đưa ra đánh giá thí sinh

1.2.2 Mô hình thích nghi trên cơ sở chuỗi Markov

Mô hình trắc nghiệm thích nghi sử dụng lý thuyết đáp ứng câu hỏi không tính toán đến mối tương quan giữa các câu trả lời Mặt khác sự tương quan giữa các câu trả lời của thí sinh có thể cung cấp thông tin của chính câu hỏi cho phép khảo sát sự ảnh hưởng giữa các câu hỏi với nhau và sự ảnh hưởng này sẽ được thể hiện trong các câu trả lời Và mối tương quan này cho phép đánh giá một cách gián tiếp về chất lượng ngân hàng câu hỏi

Hiện nay một số tác giả đề xuất sử dụng chuỗi Markov để đánh giá mối tương quan giữa các câu trả lời trong mô hình TNTN Nếu xem rằng mô hình chuỗi các câu trả lời là một chuỗi Markov đồng nhất Theo luật số lớn trong định lý Poisson thì xác suất chuyển trạng thái không thay đổi với các giá trị xác suất khác nhau của mỗi bước chuyển trong điều kiện số lượng thử nghiệm là đủ lớn

Với việc sử dụng mô hình Markov thì hàm thông tin tối đa đánh giá mức độ kiến thức hiện tại của thí sinh trong trắc nghiệm thích nghi cũng sẽ thay đổi Nếu trong quá trình trắc nghiệm đánh giá thí sinh nhận được vector tập hợp các câu trả lời (𝑥0, 𝑥1, … , 𝑥𝑛) thì trong lý thuyết đáp ứng câu hỏi hàm tính khả năng tối đa được xem là xác suất không điều kiện

Điều này cho thấy mô hình trắc nghiệm thích nghi sử dụng chuỗi Markov để đánh giá năng lực người học sẽ chính xác hơn mô hình TNTN trên cơ sở lý thuyết đáp ứng câu hỏi

Mô hình trắc nghiệm thích nghi trên sử dụng mô hình xác suất dựa trên kết quả thống kê tập hợp tham số câu hỏi trong ngân hàng câu hỏi trắc nghiệm, do đó cho phép đánh giá mức độ năng lực thí sinh được khách quan và chính xác hơn Tuy nhiên, mô hình TNTN trên cơ sở IRT và chuỗi Markov vẫn còn tồn tại hạn chế là chỉ cho phép đánh giá mức độ năng lực thí sinh theo chiều ngang kiến thức cần đánh giá (dựa vào tập ngân hàng câu hỏi trắc nghiệm) Do đó tôi đề xuất ứng dụng Bayes Network (BN) để xây dựng hệ thống trắc nghiệm thích nghi cho phép đánh giá được mức độ kiến thức của thí sinh với các thành phần kiến thức của nội dung cần đánh giá

1.3 Kết chương

Chương này tiến hành nghiên cứu khái niệm trắc nghiệm thích nghi, phân tích mô hình TNTN trên cơ sở IRT và chuỗi Markov đối với các hệ thống TNTN phổ biến hiện nay Từ đó nêu lên hạn chế của các mô hình TNTN hiện tại là chỉ cho phép đánh giá mức độ năng lực thí sinh theo chiều ngang nội dung kiến thức và đề xuất áp dụng BN

để xây dựng hệ thống TNTN cho phép đánh giá mức độ kiến thức của thí sinh theo chiều sâu của nội dung kiến thức cần đánh giá

CHƯƠNG II: XÂY DỰNG MÔ HÌNH TNTN TRÊN CƠ SỞ

MẠNG BAYES 2.1 Mạng Bayes

2.1.1 Giới thiệu

2.1.2 Công thức Bayes

BBNs dựa trên lý thuyết xác suất có điều kiện của Thomas Bayes, ông đã đưa ra qui luật cơ bản của xác suất, do đó gọi là công thức Bayes [10] Công thức đơn giản nhất như sau:

𝑃(𝐴|𝐵) = 𝑃(𝐵|𝐴)𝑃(𝐴)

𝑃(𝐵) (2) Trong đó:

- 𝐴 và 𝐵 là hai sự kiện có thể xảy ra và phụ thuộc với nhau

- 𝑃(𝐴) là xác suất của sự kiện 𝐴;

- 𝑃(𝐵) là xác suất của sự kiện 𝐵;

- 𝑃(𝐵/𝐴) là xác suất có điều kiện của 𝐵 khi biết trước 𝐴 đã xảy ra;

- 𝑃(𝐴/𝐵) là xác suất có điều kiện của 𝐴 khi biết trước 𝐵 đã xảy ra

2.1.3 Cấu trúc mạng Bayes

Mạng Bayes là mô hình trực tiếp mà mỗi biến được đại diện bởi một nút (node), mối quan hệ nhân quả giữa hai biến đó được biểu thị bằng mũi tên được gọi “edge” Mũi tên hướng từ nút nguyên nhân

“parent node” đến nút kết quả “child node” Nút kết quả phụ thuộc có điều kiện vào nút nguyên nhân Mỗi nút (hay là biến) có một trạng thái (state) tùy thuộc đặc trưng của biến đó Cụ thể, theo hình 2.2, nút “tuyết rơi” là nút nguyên nhân ảnh hưởng đến nút kết quả “tình trạng con đường” và chúng có những trạng thái tương ứng [11]

Hình 2.1 Cấu trúc đơn giản của mạng Bayes trong tự nhiên

Hình 2.3 thể hiện cấu trúc của mạng BBNs tổng quát hơn, phức tạp hơn với nhiều nút (nodes) và nhiều cạnh liên kết (edges) [12]

Hình 2.2 Cấu trúc mạng Bayes tổng quát 2.1.4 Bảng xác suất có điều kiện (CPT)

Mỗi nút luôn được gắn với một bảng xác suất có điều kiện (Conditional Probability Table: CPT) dựa vào những thông tin ban đầu hay dữ liệu, kinh nghiệm trong quá khứ Ví dụ, mạng Bayes trong hình 2.2, CPT của các biến như sau (Bảng 1):

Bảng 1: CPT của các biến “Road Conditions” của mạng

Bayes theo hình 2.2

Parent node Child node

Precipitation Road Conditions

nút Precipitation được mô tả trong bảng 2

Bảng 2: CPT của các biến “Precipitation” trong mạng Bayes

theo hình 2.2 Precipitation

Như vậy có thế nói mạng Bayes là một đồ thị có hướng phi chu trình mà trong đó:

- Các nút biểu diễn các biến

- Các cung biểu diễn các quan hệ phụ thuộc thống kê giữa các biến

và phân phối xác suất địa phương cho mỗi giá trị nếu cho trước giá trị của các cha của nó

Nếu có một cạnh từ nút A tới nút B, thì biến B phụ thuộc trực tiếp vào biến A, và A được gọi là cha của B Nếu với mỗi biến 𝑋𝑖,𝑗 ∈

{1, , 𝑁} tập hợp các biến cha được ký hiệu bởi parents(Xi), thì phân phối có điều kiện phụ thuộc của các biến là tích của các phân phối địa phương

𝑃𝑟(𝑋1, … , 𝑋𝑛) = ∏𝑛𝑖=1𝑃𝑟(𝑋𝑖 │𝑃𝑟𝑎𝑟𝑒𝑛𝑡𝑠(𝑋𝑖)) (3)

Nếu 𝑋𝑖 không có cha, ta nói rằng phân phối xác suất địa phương của nó là không có điều kiện, nếu không, nó là có điều kiện Nếu biến được biểu diễn bởi một nút được quan sát, thì ta nói rằng nút đó là một nút hiển nhiên (evidence node)

2.2 Thuật toán TNTN tổng quát

Các mô hình thuật toán TNTN thường được xây dựng theo mô hình tổng thể gồm các bước như sau (Hình 2.4):

Bước 1: Xác định các câu hỏi còn lại trong ngân hàng câu hỏi trắc nghiệm chưa đưa ra đánh giá thí sinh Trong tập câu hỏi đó cần lựa chọn ra câu hỏi tốt nhất phù hợp với mức độ hiện tại (năng lực, kiến thức) của thí sinh nhất

Hình 2.3 Thuật toán tổng quát TNTN

Bước 2: Đề xuất câu hỏi cho TS trả lời và thu nhận kết quả trả lời Bước 3: Dựa vào kết quả câu trả lời của TS, tính toán lại mức độ kiến thức, năng lực của TS

Bước 4: Lặp lại các bước 1 đến 3 cho đến khi xác định được mức

độ năng lực, kiến thức của TS theo các điều kiện dừng

2.3 Xây dựng đồ thị kiến thức

Để áp dụng BN xây dựng mô hình TNTN theo mức độ kiến thức thí sinh, chúng ta cần xây dựng mô hình miền kiến thức cần đánh giá (cụ thể ở đây là mô hình kiến thức của 1 môn học) Nghĩa là cần xây dựng được đồ thị kiến thức bao gồm các đỉnh và cung Trong cách tiếp cận này tôi đề xuất chia làm 02 loại đỉnh như sau: đỉnh chứng cứ & đỉnh kiến thức

2.3.1 Đỉnh chứng cứ

Đỉnh chứng cứ (Evidential nodes) được định nghĩa là một câu hỏi trắc nghiệm trong ngân hàng câu hỏi trắc nghiệm Rõ ràng, muốn áp dụng mô hình BN trong hệ thống ta cần biết được xác suất trả lời đúng câu hỏi trắc nghiệm của mỗi thí sinh Theo IRT, xác suất trả lời đúng câu hỏi phụ thuộc vào mức độ năng lực hiện tại của thí sinh Các nút này được sử dụng để thu thập thông tin liên quan đến mức độ năng lực

của thí sinh đối với các thành phần kiến thức

2.3.2 Đỉnh kiến thức

Đỉnh kiến thức (Knowledge nodes) mô tả nội dung kiến thức cần đánh giá phân cấp từ mức độ tổng quát đến chi tiết Trong luận văn tôi chỉ đưa ra mô hình với 2 cấp độ mô tả nội dung cần đánh giá bao gồm: đỉnh môn học & đỉnh thành phần kiến thức

- Đỉnh môn học cho phép đánh giá mức độ kiến thức của thí sinh

có đáp ứng hay không, trong mô hình đề xuất thông thường chỉ tồn tại

01 đỉnh môn học

Quan hệ giữa đỉnh chứng cứ & đỉnh kiến thức trong mô hình TNTN:

- Quan hệ giữa đỉnh chứng cứ & đỉnh kiến thức, ở đây chỉ xét quan

hệ giữa đỉnh chứng cứ và đỉnh thành phần kiến thức Tôi áp dụng mạng Bayes nhân quả trong trường hợp này, có nghĩa là việc đánh giá mức

độ kiến thức của sinh viên đối với đỉnh thành phần kiến thức phụ thuộc vào kết quả câu trả lời của thí sinh đối với đỉnh chứng cứ (câu hỏi trắc nghiệm) Vì để trả lời được câu hỏi trắc nghiệm thì yêu cầu thí sinh phải nắm rõ một số đỉnh kiến thức liên quan

- Quan hệ giữa các đỉnh kiến thức được biểu diễn theo sơ đồ phân cấp bao gồm 2 mức: đỉnh môn học & đỉnh thành phần kiến thức Việc đánh giá thí sinh có kiến thức đối với môn học phải được đánh giá phụ thuộc vào mức độ kiến thức của thí sinh đối với tâp hợp đỉnh thành phần kiến thức của đỉnh môn học

2.4 Mô hình TNTN theo kiến thức trên cơ sở mạng Bayes và IRT

Giả sử đỉnh môn học S bao gồm tập hợp các đỉnh thành phần kiến thức 𝐾𝑁𝑖 trong đói 𝑖 = 1, … , 𝑚 (với 𝑚 là số lượng thành phần kiến thức của môn học S) Mức độ kiến thức của thí sinh đối với mỗi thành phần kiến thức 𝐾𝑁𝑖 sẽ được đánh giá bằng một tập các ngân hàng câu hỏi trắc nghiệm 𝑄𝑖𝑗 có liên quan đến thành phần kiến thức

𝐾𝑁𝑖 Tuy nhiên, trong thực tế, mỗi đỉnh thành phần kiến thức 𝐾𝑁𝑖 sẽ

có một mức độ ảnh hưởng khác nhau đến việc đánh giá thí sinh có hiểu được môn học hay không Do đó mỗi đỉnh thành phần kiến thức sẽ có một đại đượng để xác định mức độ quan trọng của đỉnh thành phần kiến thức đó đối với tổng thể môn học Do đó tôi đề xuất vector trọng

số để đo tầm quan trọng của mỗi thành phần kiến thức 𝐾𝑁𝑖 đối với môn học 𝑆 như sau: 𝑤 = {𝑤1, … , 𝑤𝑛} Trong đó hệ số wi tương ứng

với mức độ quan trọng của thành phần kiến thức KNi với môn học S Như vậy có thể biểu diễn môn học S là một cặp (𝐾𝑁𝑖, 𝑤𝑖), trong đó:

- 𝐾𝑁𝑖 tập hợp các thành phần kiến thức độc lập của môn học 𝑆, với

𝑖 = 1, … , 𝑛 (𝑛 là số lượng thành phần kiến thức của môn học 𝑆);

- 𝑤𝑖 là vector trọng số xác định mức độ cần thiết của mỗi thành phần kiến thức 𝐾𝑁𝑖 đối với môn học 𝑆, với 𝑖 = 1, … , 𝑛 & ∑𝑛𝑖=1𝑤𝑖 = 1

Để đánh giá mức độ kiến thức của một thí sinh đối với môn học S phụ thuộc vào xác suất thí sinh hiểu được môn học S như sau:

𝑃 (𝑆 | ({𝐾𝑁𝑖= 1}𝑖∈𝑆, {𝐾𝑁𝑗= 1}

𝑗∉𝑆)) =∑𝑖∈𝑆𝑤𝑖

∑𝑛𝑗=1𝑤𝑗Một thành phần kiến thức 𝐾𝑁𝑖 sẽ bao gồm một tập các câu hỏi trắc

nghiệm có liên quan đến thành phần kiến thức 𝐾𝑁𝑖 dùng để đánh giá

mức độ kiến thức của thí sinh đối với thành phần kiến thức 𝐾𝑁𝑖

Vấn đề đặt ra là làm sao đánh giá được mức độ kiến thức của thí sinh đối với mỗi đỉnh thành phần kiến thức Để đánh giá thí sinh có thông hiểu kiến thức tại một đỉnh thành phần kiến thức hay không cần phải tính được đại lượng mức độ kiến thức tại đỉnh thành phần kiến thức hiện tại của thí sinh Theo lý thuyết trắc nghiệm cổ điển, mức độ kiến thức của thí sinh tại mỗi đỉnh thành phần kiến thức được tính theo công thức (6)

𝐾𝑖 =𝑁1𝑖𝑁𝑖Trong đó:

- 𝐾𝑖 – mức độ kiến thức của thí sinh tại đỉnh kiến thức 𝑖;

- 𝑁1𝑖 – số câu trả lời đúng của thí sinh tại đỉnh kiến thức 𝑖;

- 𝑁𝑖– số câu hỏi đưa ra cho TS tại đỉnh kiến thức 𝑖

Với đề xuất với giá trị 𝐾𝑖 > 0.7 có thể hiểu rằng mức độ kiến thức

thí sinh đáp ứng đỉnh thành phần kiến thức 𝐾𝑁𝑖 (𝐾𝑁𝑖= 1) và ngược lại

(4)

(6)