Luận văn kết hợp giữa mô hình chủ Đề và mô hình Được huấn luyện trước cho bài toán tóm tắt văn bản

Pham Văn Hãi, giảng viên bộ môn Hệ thống Thông Tin, đưới sự quan làm, giúp đố, bưởng dẫn tận tỉnh của thay em đã tích ly được nhiều kiến thức về chuyên môn, dông thời thầy luôn tạo điều

TRƯỜNG ĐẠI HỌC BÁCH KIOA HÀ NỘI

LUẬN VĂN THẠC SĨ

Kết hợp giữa mô hình chủ đề và mô hình

được huần luyện trước cho bài toán tóm

tắt văn bản

TRỊNH TIỀN DAT

dat.I202653m(0)s1s hugl.edii vn Ngành Khoa học máy tính

Giảng viên hướng dẫn: PGS IS Phạm Văn Hải

Chữ ký của GVHD

Trường: Công nghệ thông lu và truyền thông,

HA NOT, 10/2022

CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM

Độc lập— Tự do— Hạnh phúc

BẢN XÁC NHẬN CHỈNH SỬA LUẬN VĂN THẠC SĨ

Họ và tên tác giả luận văn : Trịnh Tiên Dạt

2 tài luận văn: Xết hợp giữa mô hình chủ để và mô hình được huần luyện

trước cho bài toàn tóm tắt văn bán,

Chuyên ngành: Khoa học rnáy tính

Mã số SV: 20202653M

đông chấn luận văn xác

"Tác giá, Người hướng, dân khoa học và Hị

nhân tác giả đã sửa chữa, bỏ sung luận văn theo biên bản họp Hội dỏng ngày

39/10/2022 với các nội dung sau:

1

Câu tre lại các mục của luận văn: bỏ tên chương tại phần GIỚI THIẾU và KẾT LUẬN; chỉnh sửa cách đánh chi mục tại phần 3,3

Tổ sung và chỉnh sửa nội dung CHƯNG 1 GIỚI THIỆU:

- Thém cdc tich din can thiết trong phản này

Bo sung và chinh sita néi dung tong CHUONG 2 CO 86 LY THUYET

âu trúc lại các hướng tiếp cận

-_ Giải thích chỉ tiết vai trỏ của TE-TDF trong tóm tắt văn bản

-_ Đổ sung lý thuyết Cơ chế Tập trung và Cơ chế Tự Tập trung (Sclf

Attention),

- Dé sung ly thuyét vé Transformer,

Bổ sung và chính sửa nội dung trong CHƯƠNG 3 MÔ HÌNH ĐỀ

- Bé sung ly thuyét va minh hoa vé PEGASUS

- Hỗ sung lý thuyết và mỏ tả chỉ tiét hinh minh hoa vé CombinedTM

-_ Bế sung thông tin vé hàm mắt mát tổng thể của mê hình đề xuất

Đổ sung và chỉnh sửa nội dung ong CHƯƠNG 4 THỰC NGHIÊM VA DANH GIA:

- Bésung mé ta vé tap dit Ligu trong 4.1

- Bộ sung thêm cáp tham số quan lrọng trong 4.2

- _ Giải thịch tường minh phân 4.3.4

-_ Bể sung thêm ]ý do chỉ tỉnh chỉnh 2 siêu tham số K và ơ

Ngày l6 tháng 11 năm 2022

Giáo viên hưởng dẫn Tác giả luận văn

CHỦ TỊCH HỘI ĐÔNG

3343 Thực nghiệm với lượng dữ liệu hạn chế 42

3.34 Thực nghiệm đánh giá câu trúc đầu vào TM 42 3.3.5 Đánh giá ảnh hướng của mô hình được huấn luyện trước 42

3.3.6 Thực nghiệm mô phẻng kết quả tóm tat - 43

3.4 Danh giá kết quả thực nghiệm ì co đ KẾT LUẬN

3343 Thực nghiệm với lượng dữ liệu hạn chế 42

3.34 Thực nghiệm đánh giá câu trúc đầu vào TM 42 3.3.5 Đánh giá ảnh hướng của mô hình được huấn luyện trước 42

3.3.6 Thực nghiệm mô phẻng kết quả tóm tat - 43

3.4 Danh giá kết quả thực nghiệm ì co đ KẾT LUẬN

TOT CAM ON Loi dau lién, em xin duge gin loi cảm ơn chân thành ác thầy giáo, cô giáo

thuậc Trường Công nghệ Thông tin và Truyền thông nói riêng và thay giáo, cổ

giao thuộc trường Lại học Bach khoa 1a Ndi nói chung đã dạy đỗ, truyền đạt kiến

kiện cho em trong suốt quá trình học lập lại trường, Đặc biệt cm xin gửi lời cảm ơn sâu sắc nhất đến thây hướng dẫn PGS TS Pham

Văn Hãi, giảng viên bộ môn Hệ thống Thông Tin, đưới sự quan làm, giúp đố, bưởng dẫn tận tỉnh của thay em đã tích ly được nhiều kiến thức về chuyên môn, dông thời thầy luôn tạo điều kiện cho em trong suốt quả trình làm luận văn Những

thời điểm khó khăn nhá

thức và tạo điề

thay luôn giúp đỡ và động viên dễ crn hoàn thiện những

nghiên củu của luận văn

Em cũng xin được gửi lời căm ơn đên gia định, người thân, bạn bê và đồng nghiệp

đã luôn động viên tỉnh thần, chia sẽ và giúp đỡ em rất nhiêu trong học tập và trong cuộc sông

Do vốn kiến thức cỏn bạn chế, luận văn không thẻ trành khói những, thiểu sót, khiếm khuyết, kinh mong quý thầy

hoàn thiện hơn

Em xin chân thành cảm ơn!

TIọc viên: Trịnh Tiến Dat, 20202

ô xem xét và gớp ý để luận vẫn của em dược

3M, khoá 2020, lớp 20BKTTMT

LOT CAM DOAN Téi —Trith Tién Đại - cam kết luận vấn nảy là công trình nghiền cứu của bản than

tôi, đưới sự hướng đẫn của PGS.TS Phạm Văn Hải Các kết quả công bố trong

báo cáo này là trưng thục, không phải lả sao chép cúa bắt kỳ một cả nhân, hoặc tổ

chúc đã được công bố nào kháo Tải cả các trích đân được tham chiếu rõ rằng,

Ngày 12 tháng 1Ô năm 2022

Tác giá luận vẫn

Trịnh Tiền Đạt

Xác nhận cửa người hướng dẫn

TOT CAM ON Loi dau lién, em xin duge gin loi cảm ơn chân thành ác thầy giáo, cô giáo

thuậc Trường Công nghệ Thông tin và Truyền thông nói riêng và thay giáo, cổ

giao thuộc trường Lại học Bach khoa 1a Ndi nói chung đã dạy đỗ, truyền đạt kiến

kiện cho em trong suốt quá trình học lập lại trường, Đặc biệt cm xin gửi lời cảm ơn sâu sắc nhất đến thây hướng dẫn PGS TS Pham

Văn Hãi, giảng viên bộ môn Hệ thống Thông Tin, đưới sự quan làm, giúp đố, bưởng dẫn tận tỉnh của thay em đã tích ly được nhiều kiến thức về chuyên môn, dông thời thầy luôn tạo điều kiện cho em trong suốt quả trình làm luận văn Những

thời điểm khó khăn nhá

thức và tạo điề

thay luôn giúp đỡ và động viên dễ crn hoàn thiện những

nghiên củu của luận văn

Em cũng xin được gửi lời căm ơn đên gia định, người thân, bạn bê và đồng nghiệp

đã luôn động viên tỉnh thần, chia sẽ và giúp đỡ em rất nhiêu trong học tập và trong cuộc sông

Do vốn kiến thức cỏn bạn chế, luận văn không thẻ trành khói những, thiểu sót, khiếm khuyết, kinh mong quý thầy

hoàn thiện hơn

Em xin chân thành cảm ơn!

TIọc viên: Trịnh Tiến Dat, 20202

ô xem xét và gớp ý để luận vẫn của em dược

3M, khoá 2020, lớp 20BKTTMT

LOT CAM DOAN Téi —Trith Tién Đại - cam kết luận vấn nảy là công trình nghiền cứu của bản than

tôi, đưới sự hướng đẫn của PGS.TS Phạm Văn Hải Các kết quả công bố trong

báo cáo này là trưng thục, không phải lả sao chép cúa bắt kỳ một cả nhân, hoặc tổ

chúc đã được công bố nào kháo Tải cả các trích đân được tham chiếu rõ rằng,

Ngày 12 tháng 1Ô năm 2022

Tác giá luận vẫn

Trịnh Tiền Đạt

Xác nhận cửa người hướng dẫn

3343 Thực nghiệm với lượng dữ liệu hạn chế 42

3.34 Thực nghiệm đánh giá câu trúc đầu vào TM 42 3.3.5 Đánh giá ảnh hướng của mô hình được huấn luyện trước 42

3.3.6 Thực nghiệm mô phẻng kết quả tóm tat - 43

3.4 Danh giá kết quả thực nghiệm ì co đ KẾT LUẬN

TÓM TẢ

Ngày nay, cùng với sự phát 1 ông nghệ thông tin va mang

intemet, chững ta phải đối mặt với sự trùng nỗ dữ liệu, trong đó một phan không

hẻ nhỏ la đữ liệu đưới dạng văn bán được tạo ra với những mục đích khác nhau

Dữ liệu văn bản thì ngày càng lớn vả

(OT DUNG LUAN VAN

cửu để giải quyết vẫn đề nảy, nó là quả trinh tóm lược thông tin quan trọng nhất

toán tòm tắt hưởng tòm lược giứp cho mô hình có thể hiểu văn bản ở nhiều khía

cạnh khác nhau, từ dó đưa ra bản tôm tắt vừa phủ hợp với ngữ pháp vừa phủ hợp

với ngĩt cảnh trang văn bản Từ ý tưởng trên, luận văn đề xuất một phương pháp

kết hợp giữa mỏ hinh chủ đẻ và mô hình được đảo tạo trước cho bải toán Tỏm tắt văn bản Để kiểm chứng hiệu quả của phương pháp nảy, luận vẫn dã thực hiện một

sẽ các thực nghiệm và sử dụng độ đo ROUGE để đánh giá Trong các thực nghiệm

đỏ, phương pháp kết hợp có điểm ROUGT vượt trội hơn các mô hình được đào

tao trước và mô hình theo hướng kết hợp mỏ hình chú để và mô hinh được đào tạo trước khác, Điều này cho thay cách kết hợp được đẻ xuất trong luận vẫn dã hoạt

động hiệu quả và bố simg ngĩt nghĩa cho mô hình được đào tạo trước một cách đây

đủ hơn so với các phương pháp kết hợp trước đây

Kỹ và ghỉ rõ họ tên.

LOT CAM DOAN Téi —Trith Tién Đại - cam kết luận vấn nảy là công trình nghiền cứu của bản than

tôi, đưới sự hướng đẫn của PGS.TS Phạm Văn Hải Các kết quả công bố trong

báo cáo này là trưng thục, không phải lả sao chép cúa bắt kỳ một cả nhân, hoặc tổ

chúc đã được công bố nào kháo Tải cả các trích đân được tham chiếu rõ rằng,

Ngày 12 tháng 1Ô năm 2022

Tác giá luận vẫn

Trịnh Tiền Đạt

Xác nhận cửa người hướng dẫn

TOT CAM ON Loi dau lién, em xin duge gin loi cảm ơn chân thành ác thầy giáo, cô giáo

thuậc Trường Công nghệ Thông tin và Truyền thông nói riêng và thay giáo, cổ

giao thuộc trường Lại học Bach khoa 1a Ndi nói chung đã dạy đỗ, truyền đạt kiến

kiện cho em trong suốt quá trình học lập lại trường, Đặc biệt cm xin gửi lời cảm ơn sâu sắc nhất đến thây hướng dẫn PGS TS Pham

Văn Hãi, giảng viên bộ môn Hệ thống Thông Tin, đưới sự quan làm, giúp đố, bưởng dẫn tận tỉnh của thay em đã tích ly được nhiều kiến thức về chuyên môn, dông thời thầy luôn tạo điều kiện cho em trong suốt quả trình làm luận văn Những

thời điểm khó khăn nhá

thức và tạo điề

thay luôn giúp đỡ và động viên dễ crn hoàn thiện những

nghiên củu của luận văn

Em cũng xin được gửi lời căm ơn đên gia định, người thân, bạn bê và đồng nghiệp

đã luôn động viên tỉnh thần, chia sẽ và giúp đỡ em rất nhiêu trong học tập và trong cuộc sông

Do vốn kiến thức cỏn bạn chế, luận văn không thẻ trành khói những, thiểu sót, khiếm khuyết, kinh mong quý thầy

hoàn thiện hơn

Em xin chân thành cảm ơn!

TIọc viên: Trịnh Tiến Dat, 20202

ô xem xét và gớp ý để luận vẫn của em dược

3M, khoá 2020, lớp 20BKTTMT

Bài toán tém tắt van ban

1.1.1 Tổng quan về bải toán tóm tắt văn bản

1.1.2 Phan loai bai toan tom tit van ban

1.1.3 Các hướng tiếp cận bải toán tỏm tắt văn bản eevee

Phương pháp tòm tắt vẫn bân hướng tỏrn MC cesses 24

Mô hinh chủ đề trong tôm tắt văn bản hướng tôm lược 25

Phương pháp đánh giá mô hình - 7

141 Phương pháp đánh giá bên trong 3

Tướng tiếp cận bài toán

2.2.1 Môlrnh duce dao tao tide PEGE -

ANH MỤC HÌNH VẼ, 1ỉnh 1.1 Tổng quan các cách phân loại bài toản tẻm tắt văn bản Z Hình 1.2 Kiên trúc của hệ thông tom tit hướng trích chon

Hình 1.3 Kiên trúc của hệ thống tỏm tắt lướng tóm lược

Linh 1.4 Kiên trúc của hệ thống tom tắt hướng kết hợp,

Linh 1.9 Cơ chế Tập trung được giới thiệu trong [34] -.-.- 2Ó

Tỉnh 1.10 Kiển trúc tổng quan của mô hình Transformer

Ilinh 1.1] Tang Tập trung đa đầu trong Transformer

Hình 1.12 Tống quan phân loại đánh giá mô hình -

Tinh 2.1 Kiến trúc cơ bản của mô hình PEG ASUS - 33

Hình 2.2 Câu trúc của mô hình chủ đề CambinedTM: - 34

THỉnh 2.3 Kiên trúc tổng thé của mô hình đề xuất - - 35

Bài toán tém tắt van ban

1.1.1 Tổng quan về bải toán tóm tắt văn bản

1.1.2 Phan loai bai toan tom tit van ban

1.1.3 Các hướng tiếp cận bải toán tỏm tắt văn bản eevee

Phương pháp tòm tắt vẫn bân hướng tỏrn MC cesses 24

Mô hinh chủ đề trong tôm tắt văn bản hướng tôm lược 25

Phương pháp đánh giá mô hình - 7

141 Phương pháp đánh giá bên trong 3

Tướng tiếp cận bài toán

2.2.1 Môlrnh duce dao tao tide PEGE -

ANH MỤC HÌNH VẼ, 1ỉnh 1.1 Tổng quan các cách phân loại bài toản tẻm tắt văn bản Z Hình 1.2 Kiên trúc của hệ thông tom tit hướng trích chon

Hình 1.3 Kiên trúc của hệ thống tỏm tắt lướng tóm lược

Linh 1.4 Kiên trúc của hệ thống tom tắt hướng kết hợp,

Linh 1.9 Cơ chế Tập trung được giới thiệu trong [34] -.-.- 2Ó

Tỉnh 1.10 Kiển trúc tổng quan của mô hình Transformer

Ilinh 1.1] Tang Tập trung đa đầu trong Transformer

Hình 1.12 Tống quan phân loại đánh giá mô hình -

Tinh 2.1 Kiến trúc cơ bản của mô hình PEG ASUS - 33

Hình 2.2 Câu trúc của mô hình chủ đề CambinedTM: - 34

THỉnh 2.3 Kiên trúc tổng thé của mô hình đề xuất - - 35

LOT CAM DOAN Téi —Trith Tién Đại - cam kết luận vấn nảy là công trình nghiền cứu của bản than

tôi, đưới sự hướng đẫn của PGS.TS Phạm Văn Hải Các kết quả công bố trong

báo cáo này là trưng thục, không phải lả sao chép cúa bắt kỳ một cả nhân, hoặc tổ

chúc đã được công bố nào kháo Tải cả các trích đân được tham chiếu rõ rằng,

Ngày 12 tháng 1Ô năm 2022

Tác giá luận vẫn

Trịnh Tiền Đạt

Xác nhận cửa người hướng dẫn

LOT CAM DOAN Téi —Trith Tién Đại - cam kết luận vấn nảy là công trình nghiền cứu của bản than

tôi, đưới sự hướng đẫn của PGS.TS Phạm Văn Hải Các kết quả công bố trong

báo cáo này là trưng thục, không phải lả sao chép cúa bắt kỳ một cả nhân, hoặc tổ

chúc đã được công bố nào kháo Tải cả các trích đân được tham chiếu rõ rằng,

Ngày 12 tháng 1Ô năm 2022

Tác giá luận vẫn

Trịnh Tiền Đạt

Xác nhận cửa người hướng dẫn

ANH MỤC HÌNH VẼ, 1ỉnh 1.1 Tổng quan các cách phân loại bài toản tẻm tắt văn bản Z Hình 1.2 Kiên trúc của hệ thông tom tit hướng trích chon

Hình 1.3 Kiên trúc của hệ thống tỏm tắt lướng tóm lược

Linh 1.4 Kiên trúc của hệ thống tom tắt hướng kết hợp,

Linh 1.9 Cơ chế Tập trung được giới thiệu trong [34] -.-.- 2Ó

Tỉnh 1.10 Kiển trúc tổng quan của mô hình Transformer

Ilinh 1.1] Tang Tập trung đa đầu trong Transformer

Hình 1.12 Tống quan phân loại đánh giá mô hình -

Tinh 2.1 Kiến trúc cơ bản của mô hình PEG ASUS - 33

Hình 2.2 Câu trúc của mô hình chủ đề CambinedTM: - 34

THỉnh 2.3 Kiên trúc tổng thé của mô hình đề xuất - - 35

ANH MỤC HÌNH VẼ, 1ỉnh 1.1 Tổng quan các cách phân loại bài toản tẻm tắt văn bản Z Hình 1.2 Kiên trúc của hệ thông tom tit hướng trích chon

Hình 1.3 Kiên trúc của hệ thống tỏm tắt lướng tóm lược

Linh 1.4 Kiên trúc của hệ thống tom tắt hướng kết hợp,

Linh 1.9 Cơ chế Tập trung được giới thiệu trong [34] -.-.- 2Ó

Tỉnh 1.10 Kiển trúc tổng quan của mô hình Transformer

Ilinh 1.1] Tang Tập trung đa đầu trong Transformer

Hình 1.12 Tống quan phân loại đánh giá mô hình -

Tinh 2.1 Kiến trúc cơ bản của mô hình PEG ASUS - 33

Hình 2.2 Câu trúc của mô hình chủ đề CambinedTM: - 34

THỉnh 2.3 Kiên trúc tổng thé của mô hình đề xuất - - 35

ĐỂ TÀI ILUẬN VĂN

Điều mầu của Đ LàuÏ.uận vẫm l

nghiép theo qui đính của Viện, tuy nhiên can

đảm bão giáo viên giao để tải ký và ghỉ rõ họ và tên

Trường hợp có 2 giáo viên hướng dẫn thì sẽ cùng ký tên

Giáo viên hướng din

“Ký và phì rõ họ lên.

TOT CAM ON Loi dau lién, em xin duge gin loi cảm ơn chân thành ác thầy giáo, cô giáo

thuậc Trường Công nghệ Thông tin và Truyền thông nói riêng và thay giáo, cổ

giao thuộc trường Lại học Bach khoa 1a Ndi nói chung đã dạy đỗ, truyền đạt kiến

kiện cho em trong suốt quá trình học lập lại trường, Đặc biệt cm xin gửi lời cảm ơn sâu sắc nhất đến thây hướng dẫn PGS TS Pham

Văn Hãi, giảng viên bộ môn Hệ thống Thông Tin, đưới sự quan làm, giúp đố, bưởng dẫn tận tỉnh của thay em đã tích ly được nhiều kiến thức về chuyên môn, dông thời thầy luôn tạo điều kiện cho em trong suốt quả trình làm luận văn Những

thời điểm khó khăn nhá

thức và tạo điề

thay luôn giúp đỡ và động viên dễ crn hoàn thiện những

nghiên củu của luận văn

Em cũng xin được gửi lời căm ơn đên gia định, người thân, bạn bê và đồng nghiệp

đã luôn động viên tỉnh thần, chia sẽ và giúp đỡ em rất nhiêu trong học tập và trong cuộc sông

Do vốn kiến thức cỏn bạn chế, luận văn không thẻ trành khói những, thiểu sót, khiếm khuyết, kinh mong quý thầy

hoàn thiện hơn

Em xin chân thành cảm ơn!

TIọc viên: Trịnh Tiến Dat, 20202

ô xem xét và gớp ý để luận vẫn của em dược

3M, khoá 2020, lớp 20BKTTMT

Bài toán tém tắt van ban

1.1.1 Tổng quan về bải toán tóm tắt văn bản

1.1.2 Phan loai bai toan tom tit van ban

1.1.3 Các hướng tiếp cận bải toán tỏm tắt văn bản eevee

Phương pháp tòm tắt vẫn bân hướng tỏrn MC cesses 24

Mô hinh chủ đề trong tôm tắt văn bản hướng tôm lược 25

Phương pháp đánh giá mô hình - 7

141 Phương pháp đánh giá bên trong 3

Tướng tiếp cận bài toán

2.2.1 Môlrnh duce dao tao tide PEGE -

ANH MỤC HÌNH VẼ, 1ỉnh 1.1 Tổng quan các cách phân loại bài toản tẻm tắt văn bản Z Hình 1.2 Kiên trúc của hệ thông tom tit hướng trích chon

Hình 1.3 Kiên trúc của hệ thống tỏm tắt lướng tóm lược

Linh 1.4 Kiên trúc của hệ thống tom tắt hướng kết hợp,

Linh 1.9 Cơ chế Tập trung được giới thiệu trong [34] -.-.- 2Ó

Tỉnh 1.10 Kiển trúc tổng quan của mô hình Transformer

Ilinh 1.1] Tang Tập trung đa đầu trong Transformer

Hình 1.12 Tống quan phân loại đánh giá mô hình -

Tinh 2.1 Kiến trúc cơ bản của mô hình PEG ASUS - 33

Hình 2.2 Câu trúc của mô hình chủ đề CambinedTM: - 34

THỉnh 2.3 Kiên trúc tổng thé của mô hình đề xuất - - 35

Bài toán tém tắt van ban

1.1.1 Tổng quan về bải toán tóm tắt văn bản

1.1.2 Phan loai bai toan tom tit van ban

1.1.3 Các hướng tiếp cận bải toán tỏm tắt văn bản eevee

Phương pháp tòm tắt vẫn bân hướng tỏrn MC cesses 24

Mô hinh chủ đề trong tôm tắt văn bản hướng tôm lược 25

Phương pháp đánh giá mô hình - 7

141 Phương pháp đánh giá bên trong 3

Tướng tiếp cận bài toán

2.2.1 Môlrnh duce dao tao tide PEGE -

LOT CAM DOAN Téi —Trith Tién Đại - cam kết luận vấn nảy là công trình nghiền cứu của bản than

tôi, đưới sự hướng đẫn của PGS.TS Phạm Văn Hải Các kết quả công bố trong

báo cáo này là trưng thục, không phải lả sao chép cúa bắt kỳ một cả nhân, hoặc tổ

chúc đã được công bố nào kháo Tải cả các trích đân được tham chiếu rõ rằng,

Ngày 12 tháng 1Ô năm 2022

Tác giá luận vẫn

Trịnh Tiền Đạt

Xác nhận cửa người hướng dẫn

LOT CAM DOAN Téi —Trith Tién Đại - cam kết luận vấn nảy là công trình nghiền cứu của bản than

tôi, đưới sự hướng đẫn của PGS.TS Phạm Văn Hải Các kết quả công bố trong

báo cáo này là trưng thục, không phải lả sao chép cúa bắt kỳ một cả nhân, hoặc tổ

chúc đã được công bố nào kháo Tải cả các trích đân được tham chiếu rõ rằng,

Ngày 12 tháng 1Ô năm 2022

Tác giá luận vẫn

Trịnh Tiền Đạt

Xác nhận cửa người hướng dẫn

ANH MỤC HÌNH VẼ, 1ỉnh 1.1 Tổng quan các cách phân loại bài toản tẻm tắt văn bản Z Hình 1.2 Kiên trúc của hệ thông tom tit hướng trích chon

Hình 1.3 Kiên trúc của hệ thống tỏm tắt lướng tóm lược

Linh 1.4 Kiên trúc của hệ thống tom tắt hướng kết hợp,

Linh 1.9 Cơ chế Tập trung được giới thiệu trong [34] -.-.- 2Ó

Tỉnh 1.10 Kiển trúc tổng quan của mô hình Transformer

Ilinh 1.1] Tang Tập trung đa đầu trong Transformer

Hình 1.12 Tống quan phân loại đánh giá mô hình -

Tinh 2.1 Kiến trúc cơ bản của mô hình PEG ASUS - 33

Hình 2.2 Câu trúc của mô hình chủ đề CambinedTM: - 34

THỉnh 2.3 Kiên trúc tổng thé của mô hình đề xuất - - 35

Bài toán tém tắt van ban

1.1.1 Tổng quan về bải toán tóm tắt văn bản

1.1.2 Phan loai bai toan tom tit van ban

1.1.3 Các hướng tiếp cận bải toán tỏm tắt văn bản eevee

Phương pháp tòm tắt vẫn bân hướng tỏrn MC cesses 24

Mô hinh chủ đề trong tôm tắt văn bản hướng tôm lược 25

Phương pháp đánh giá mô hình - 7

141 Phương pháp đánh giá bên trong 3

Tướng tiếp cận bài toán

2.2.1 Môlrnh duce dao tao tide PEGE -

TOT CAM ON Loi dau lién, em xin duge gin loi cảm ơn chân thành ác thầy giáo, cô giáo

thuậc Trường Công nghệ Thông tin và Truyền thông nói riêng và thay giáo, cổ

giao thuộc trường Lại học Bach khoa 1a Ndi nói chung đã dạy đỗ, truyền đạt kiến

kiện cho em trong suốt quá trình học lập lại trường, Đặc biệt cm xin gửi lời cảm ơn sâu sắc nhất đến thây hướng dẫn PGS TS Pham

Văn Hãi, giảng viên bộ môn Hệ thống Thông Tin, đưới sự quan làm, giúp đố, bưởng dẫn tận tỉnh của thay em đã tích ly được nhiều kiến thức về chuyên môn, dông thời thầy luôn tạo điều kiện cho em trong suốt quả trình làm luận văn Những

thời điểm khó khăn nhá

thức và tạo điề

thay luôn giúp đỡ và động viên dễ crn hoàn thiện những

nghiên củu của luận văn

Em cũng xin được gửi lời căm ơn đên gia định, người thân, bạn bê và đồng nghiệp

đã luôn động viên tỉnh thần, chia sẽ và giúp đỡ em rất nhiêu trong học tập và trong cuộc sông

Do vốn kiến thức cỏn bạn chế, luận văn không thẻ trành khói những, thiểu sót, khiếm khuyết, kinh mong quý thầy

hoàn thiện hơn

Em xin chân thành cảm ơn!

TIọc viên: Trịnh Tiến Dat, 20202

ô xem xét và gớp ý để luận vẫn của em dược

3M, khoá 2020, lớp 20BKTTMT

Bài toán tém tắt van ban

1.1.1 Tổng quan về bải toán tóm tắt văn bản

1.1.2 Phan loai bai toan tom tit van ban

1.1.3 Các hướng tiếp cận bải toán tỏm tắt văn bản eevee

Phương pháp tòm tắt vẫn bân hướng tỏrn MC cesses 24

Mô hinh chủ đề trong tôm tắt văn bản hướng tôm lược 25

Phương pháp đánh giá mô hình - 7

141 Phương pháp đánh giá bên trong 3

Tướng tiếp cận bài toán

2.2.1 Môlrnh duce dao tao tide PEGE -

LOT CAM DOAN Téi —Trith Tién Đại - cam kết luận vấn nảy là công trình nghiền cứu của bản than

tôi, đưới sự hướng đẫn của PGS.TS Phạm Văn Hải Các kết quả công bố trong

báo cáo này là trưng thục, không phải lả sao chép cúa bắt kỳ một cả nhân, hoặc tổ

chúc đã được công bố nào kháo Tải cả các trích đân được tham chiếu rõ rằng,

Ngày 12 tháng 1Ô năm 2022

Tác giá luận vẫn

Trịnh Tiền Đạt

Xác nhận cửa người hướng dẫn

ANH MỤC HÌNH VẼ, 1ỉnh 1.1 Tổng quan các cách phân loại bài toản tẻm tắt văn bản Z Hình 1.2 Kiên trúc của hệ thông tom tit hướng trích chon

Hình 1.3 Kiên trúc của hệ thống tỏm tắt lướng tóm lược

Linh 1.4 Kiên trúc của hệ thống tom tắt hướng kết hợp,

Linh 1.9 Cơ chế Tập trung được giới thiệu trong [34] -.-.- 2Ó

Tỉnh 1.10 Kiển trúc tổng quan của mô hình Transformer

Ilinh 1.1] Tang Tập trung đa đầu trong Transformer

Hình 1.12 Tống quan phân loại đánh giá mô hình -

Tinh 2.1 Kiến trúc cơ bản của mô hình PEG ASUS - 33

Hình 2.2 Câu trúc của mô hình chủ đề CambinedTM: - 34

THỉnh 2.3 Kiên trúc tổng thé của mô hình đề xuất - - 35

LOT CAM DOAN Téi —Trith Tién Đại - cam kết luận vấn nảy là công trình nghiền cứu của bản than

tôi, đưới sự hướng đẫn của PGS.TS Phạm Văn Hải Các kết quả công bố trong

báo cáo này là trưng thục, không phải lả sao chép cúa bắt kỳ một cả nhân, hoặc tổ

chúc đã được công bố nào kháo Tải cả các trích đân được tham chiếu rõ rằng,

Ngày 12 tháng 1Ô năm 2022

Tác giá luận vẫn

Trịnh Tiền Đạt

Xác nhận cửa người hướng dẫn

Bài toán tém tắt van ban

1.1.1 Tổng quan về bải toán tóm tắt văn bản

1.1.2 Phan loai bai toan tom tit van ban

1.1.3 Các hướng tiếp cận bải toán tỏm tắt văn bản eevee

Phương pháp tòm tắt vẫn bân hướng tỏrn MC cesses 24

Mô hinh chủ đề trong tôm tắt văn bản hướng tôm lược 25

Phương pháp đánh giá mô hình - 7

141 Phương pháp đánh giá bên trong 3

Tướng tiếp cận bài toán

2.2.1 Môlrnh duce dao tao tide PEGE -

3343 Thực nghiệm với lượng dữ liệu hạn chế 42

3.34 Thực nghiệm đánh giá câu trúc đầu vào TM 42 3.3.5 Đánh giá ảnh hướng của mô hình được huấn luyện trước 42

3.3.6 Thực nghiệm mô phẻng kết quả tóm tat - 43

3.4 Danh giá kết quả thực nghiệm ì co đ KẾT LUẬN