CNN ỨNG DỤNG vào bài TOÁN PHÂN TÍCH cảm xúc TRONG NLP

Đề tài CNN ỨNG DỤNG VÀO BÀI TOÁN PHÂN TÍCH CẢM XÚC TRONG NLP. Trong thời đại số hóa hiện nay, việc thu thập và xử lý dữ liệu trở thành một thách thức lớn đối với các nhà nghiên cứu và các doanh nghiệp. Trong số đó, bài toán phân tích cảm xúc trên các nền tảng mạng xã hội như Twitter, Facebook, Instagram đang trở thành một trong những bài toán quan trọng và có nhiều ứng dụng thực tiễn. Để giải quyết bài toán này, các nhà nghiên cứu đã áp dụng nhiều kỹ thuật và phương pháp khác nhau, trong đó mạng neural tích chập (CNN) là một trong những phương pháp nổi bật và được sử dụng rộng rãi.Mạng neural tích chập là một dạng của mạng neural sử dụng một tầng tích chập để học các đặc trưng trên dữ liệu đầu vào. CNN đã được chứng minh là hiệu quả trong việc xử lý hình ảnh, âm thanh và văn bản. Với bài toán phân tích cảm xúc, CNN có thể học được các đặc trưng từ ngữ cảm xúc trong câu như từ loại, ngữ pháp, ngữ nghĩa, và sử dụng chúng để dự đoán cảm xúc của câu đó.Trong báo cáo này, chúng tôi sẽ trình bày chi tiết về việc sử dụng mạng neural tích chập trong bài toán phân tích cảm xúc. Chúng tôi sẽ đề xuất một kiến trúc mạng CNN đơn giản và hiệu quả để giải quyết bài toán này, và đánh giá độ chính xác của mô hình được đề xuất trên các tập dữ liệu phổ biến. Nhằm cho ra kết quả đánh giá có độ chính xác gần bằng với kết quả ban đầu đã được đánh giá bởi con người. Phạm vi nghiên cứu tập trung vào xây dựng các mô hình mạng neural trên Tensorflow và Python nhằm hiện thực hoá mô hình được nghiên cứu. Từ đó đánh giá độ chính xác của từng mô hình mạng neural được nghiên cứu dựa trên các dữ liệu thử nghiệm.

TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN & TRUYỀN THÔNG



BÁO CÁO THỰC TẬP CƠ SỞ

Đề tài:

CNN ỨNG DỤNG VÀO BÀI TOÁN PHÂN TÍCH CẢM XÚC TRONG NLP

Sinh viên thực hiện : Ngô Minh Hiếu

MỤC LỤC

LỜI MỞ ĐẦU 4

CHƯƠNG 1 : TỔNG QUAN VỀ BÀI TOÁN PHÂN TÍCH CẢM XÚC TRONG XỬ LÝ NGÔN NGỮ TỰ NHIÊN 5

1 Phân tích cảm xúc trong xử lý ngôn ngữ tự nhiên là gì? 5

2 Ứng dụng của phân tích cảm xúc văn bản 6

3 Bài toán phân tích cảm xúc 7

4 Các phương pháp giải quyết bài toán phân tích cảm xúc 8

CHƯƠNG 2 : MÔ HÌNH MẠNG NƠ-RON TÍCH CHẬP (CNN - CONVOLUTIONAL NEURAL NETWORK) TRONG BÀI TOÁN PHÂN TÍCH CẢM XÚC 12

1 Tổng quan về mạng nơ-ron tích chập (CNN) 12

2 Kiến trúc mạng nơ-ron tích chập (CNN) 12

3 Mô hình mạng nơ-ron tích chập (CNN) 14

4 Ứng dụng của mô hình CNN trong bài toán phân tích cảm xúc 20

5 Ưu điểm và nhược điểm của mô hình CNN 20

CHƯƠNG 3 : XÂY DỰNG CHƯƠNG TRÌNH 22

1 Cơ sở dữ liệu 22

2 Cài đặt công cụ và thiết lập trường 22

3 Quá trình huấn luyện 24

3.1 Tải lên tập dữ liệu IMDB 24

3.2 Kiểm tra bộ dữ liệu 25

3.3 Trực quan dữ liệu 25

3.4 Tiền xử lý văn bản 26

3.5 Xây dựng mô hình 29

3.6 Biên dịch chương trình và đào tạo mô hình 32

3.7 Dự đoán và đánh giá mô hình 32

3.8 Kết quả đào tạo 33

KẾT LUẬN 34

TÀI LIỆU THAM KHẢO 36

MỤC LỤC HÌNH ẢNH

Hình 1: Tích cực hay tiêu cực 5

Hình 2: Phân tích cảm xúc từ văn bản 5

Hình 3: Phương pháp Deep Learning Neural 9

Hình 4: Phương pháp kết hợp Rule-bases 10

Hình 5: Minh hoạ lớp tích chập 13

Hình 6: Minh hoạ lớp gộp 13

Hình 7: Minh hoạ lớp đầy đủ kết nối 14

Hình 9: Cách nhân tích chập giữa ma trận input với bộ lọc 16

Hình 10: Hàm softmax 18

Hình 11: Minh hoạ ma trận max-pooling trong CNN 19

Hình 12: Tập dữ liệu IMDB 24

Hình 13: Gán nhãn số cho sentiment 26

Hình 14: Số lượng mục tiêu của bài đánh giá 26

Hình 15: Kết quả đánh giá ngẫu nhiên 33

LỜI MỞ ĐẦU

Trong thời đại số hóa hiện nay, việc thu thập và xử lý dữ liệu trở thành mộtthách thức lớn đối với các nhà nghiên cứu và các doanh nghiệp Trong số đó, bàitoán phân tích cảm xúc trên các nền tảng mạng xã hội như Twitter, Facebook,Instagram đang trở thành một trong những bài toán quan trọng và có nhiều ứng dụngthực tiễn Để giải quyết bài toán này, các nhà nghiên cứu đã áp dụng nhiều kỹ thuật

và phương pháp khác nhau, trong đó mạng neural tích chập (CNN) là một trongnhững phương pháp nổi bật và được sử dụng rộng rãi

Mạng neural tích chập là một dạng của mạng neural sử dụng một tầng tíchchập để học các đặc trưng trên dữ liệu đầu vào CNN đã được chứng minh là hiệuquả trong việc xử lý hình ảnh, âm thanh và văn bản Với bài toán phân tích cảm xúc,CNN có thể học được các đặc trưng từ ngữ cảm xúc trong câu như từ loại, ngữ pháp,ngữ nghĩa, và sử dụng chúng để dự đoán cảm xúc của câu đó

Trong báo cáo này, chúng tôi sẽ trình bày chi tiết về việc sử dụng mạng neuraltích chập trong bài toán phân tích cảm xúc Chúng tôi sẽ đề xuất một kiến trúc mạngCNN đơn giản và hiệu quả để giải quyết bài toán này, và đánh giá độ chính xác của

mô hình được đề xuất trên các tập dữ liệu phổ biến

đã được đánh giá bởi con người Phạm vi nghiên cứu tập trung vào xây dựng các môhình mạng neural trên Tensorflow và Python nhằm hiện thực hoá mô hình đượcnghiên cứu Từ đó đánh giá độ chính xác của từng mô hình mạng neural được nghiêncứu dựa trên các dữ liệu thử nghiệm

CHƯƠNG 1 : TỔNG QUAN VỀ BÀI TOÁN PHÂN TÍCH CẢM XÚC TRONG

1 Phân tích cảm xúc trong xử lý ngôn ngữ tự nhiên là gì?

Hình 1: Tích cực hay tiêu cực

Phân tích cảm xúc (Sentiment analysis) là nhằm phát hiện ra thái độ mangtính lâu dài, màu sắc tình cảm, khuynh hướng niềm tin vào các đối tượng hay ngườinào đó

Phân tích cảm xúc là một lĩnh vực mới trong xử lý ngôn ngữ tự nhiên, sửdụng các kỹ thuật NLP để rút trích thông tin cảm xúc của con người từ một câu nóihay một văn bản, từ đó giúp đánh giá cảm xúc của con người là tích cực hay tiêucực Dựa vào mạng xã hội, sử dụng các kỹ thuật trong NLP có thể rút trích thông tin

và từ đó thống kê các mức độ quan tâm của người dùng đối với các sự kiện và thôngtin được chia sẻ, giúp việc tổng hợp đánh giá của người sử dụng cho các công ty và

tổ chức được tốt hơn

Hình 2: Phân tích cảm xúc từ văn bản

Các vấn đề xung quanh việc phân tích cảm xúc:

b Mục tiêu của cảm xúc

Bài toán phân tích cảm xúc thuộc dạng bài toán phân tích ngữ nghĩa văn bản

Vì vậy, ta cần phải xây dựng một mô hình để hiểu được ý nghĩa của câu văn, đoạnvăn để quyết định xem câu văn đó hoặc đoạn văn đó mang màu sắc cảm xúc chủ đạonào

Phát biểu theo góc nhìn của máy học (Machine Learning) thì phân tích cảmxúc là bài toán phân lớp cảm xúc dựa trên văn bản ngôn ngữ tự nhiên Đầu vào củabài toán là một câu hay một đoạn văn bản, còn đầu ra là các giá trị xác suất (điểm số)của N lớp cảm xúc mà ta cần xác định

Trong loại bài toán phân tích cảm xúc được phân thành các bài toán có độ khókhác nhau như sau:

tích cực (positive) và tiêu cực (negative)

loại cảm xúc (thái độ) phức tạp

Hiện tại thì cộng đồng khoa học mới chỉ giải quyết tốt bài toán phân tích cảmxúc ở cấp độ đơn giản, tức là phân tích cảm xúc với 2 lớp cảm xúc tiêu cực và tíchcực với độ chính xác hơn 85% Các cấp độ khó hơn chúng tôi cũng chưa biết cócông trình nào giải quyết hay chưa Nếu ai biết những công trình như vậy thì có thểgiới thiệu cho chúng tôi

2 Ứng dụng của phân tích cảm xúc văn bản.

Phân tích cảm xúc văn bản được áp dụng rộng rãi trong nhiều lĩnh vực khácnhau Dưới đây là một số ứng dụng phổ biến của phân tích cảm xúc văn bản:

nghiệp đánh giá hiệu quả của chiến dịch tiếp thị và quảng cáo Các công cụphân tích cảm xúc có thể xác định sự hài lòng của khách hàng với sản phẩm

hoặc dịch vụ của công ty và đưa ra các đề xuất để cải thiện trải nghiệmkhách hàng.

giá hiệu quả của sản phẩm của họ trong thị trường Các công cụ phân tíchcảm xúc có thể phát hiện được các vấn đề của sản phẩm và đưa ra các đềxuất để cải thiện chất lượng sản phẩm

nghiệp phát hiện và giải quyết các vấn đề của khách hàng Các công cụ phântích cảm xúc có thể phát hiện được các vấn đề khách hàng đang gặp phải vàđưa ra các giải pháp để giải quyết vấn đề đó

người dùng tìm kiếm và đánh giá thông tin trên mạng Các công cụ phân tíchcảm xúc có thể giúp người dùng đánh giá tính xác thực của các bài viết vàtin tức trên mạng

quyết các vấn đề về sức khỏe Các công cụ phân tích cảm xúc có thể pháthiện được các vấn đề của bệnh nhân và đưa ra các giải pháp để cải thiện chấtlượng chăm sóc sức khỏe

3 Bài toán phân tích cảm xúc

Bài toán phân tích cảm xúc (sentiment analysis) trong xử lý ngôn ngữ tự nhiên (NLP) là quá trình phân loại đoạn văn bản thành các lớp cảm xúc khác nhau, chẳng hạn như tích cực, tiêu cực hoặc trung lập Mục đích của bài toán phân tích cảm xúc là giúp máy tính có khả năng hiểu được ý nghĩa của các đoạn văn bản mà con người viết ra và phản hồi phù hợp

Ví dụ, nếu chúng ta muốn phân tích cảm xúc của khách hàng đối với sản phẩm của công ty, chúng ta có thể sử dụng bài toán phân tích cảm xúc để tự động phân loại các bình luận của khách hàng thành các lớp tích cực, tiêu cực hoặc trung

lập Kết quả từ bài toán này có thể giúp cho các nhà quản lý tiếp cận các vấn đề phảnhồi của khách hàng một cách hiệu quả hơn.

Phân tích cảm xúc trong NLP là một bài toán phức tạp do nhiều yếu tố có thể ảnh hưởng đến cảm xúc của một đoạn văn bản, bao gồm ngữ pháp, cú pháp, ngữ nghĩa, ngữ cảnh và kiểu văn phong của tác giả Để giải quyết bài toán này, các nhà nghiên cứu đã phát triển nhiều kỹ thuật và mô hình học máy như Naive Bayes, SVM, mạng neural, và kết hợp các kỹ thuật tiền xử lý dữ liệu để đạt được kết quả chính xác

4 Các phương pháp giải quyết bài toán phân tích cảm xúc

Hiện nay, bài toán phân tích cảm xúc có 1 số phương pháp giải quyết như sau:

pháp này có điểm hạn chế là thứ tự các từ bị bỏ qua và các thông tin quantrọng có thể bị mất Độ chính xác của mô hình phụ thuộc vào độ tốt của bộ

từ điển các từ cảm xúc Nhưng lại có ưu điểm là dễ thực hiện, chi phí tínhtoán nhanh, chỉ mất công sức trong việc xây dựng bộ từ điển các từ cảm xúc

mà thôi

Hình 3: Phương pháp Deep Learning Neural

Trong những năm gần đây, việc phát triển tốc độ xử lý của CPU, GPU vàgiảm chi phí phần cứng đã tạo điều kiện thuận lợi cho phương pháp học sâuDeep Learning Neural Network phát triển mạnh mẽ Trong lĩnh vực phân tíchcảm xúc, mô hình học sâu Recurrent Neural Network (RNN) với biến thể LongShort Term Memory Neural Network (LSTMs) đã được sử dụng rộng rãi và chokết quả chính xác trên 85% Mô hình này sử dụng mô hình vector hóa từWord2Vector với kiến trúc Continuous Bag-of-Words (CBOW) và có thể xử lýđầu vào là 1 câu hay 1 đoạn văn Để thực hiện mô hình này cần có nhiều dữ liệuvăn bản để tạo Word2Vector CBOW chất lượng cao và dữ liệu gán nhãn lớn đểhuấn luyện, xác minh và kiểm tra mô hình học có giám sát LSTMs Ngoài ra, môhình CNN cũng được sử dụng trong bài toán phân tích cảm xúc Mô hình này sửdụng lớp nhúng để biểu diễn từ với một vectơ đặc trưng, lớp tích chập để tìm cácđặc trưng trong câu và lớp đầy đủ kết nối để phân loại các câu vào các lớp cảmxúc khác nhau Mô hình này cũng đòi hỏi có nhiều dữ liệu gán nhãn để huấnluyện và đánh giá chất lượng mô hình Tuy nhiên, ưu điểm của CNN là tốc độhuấn luyện và dự đoán nhanh hơn so với RNN với LSTM

 Phương pháp kết hợp Rule-bases (dựa trên luật) và Corpus-bases (dựa trênngữ liệu):

Hình 4: Phương pháp kết hợp Rule-bases

Tiêu biểu cho phương pháp này là công trình nghiên cứu của RichardSocher thuộc trường đại học Stanford Phương pháp này kết hợp sử dụng môhình Deep Learning Recursive Neural Network với hệ tri thức chuyên gia trong

xử lý ngôn ngữ tự nhiên được gọi là Sentiment Treebank Sentiment Tree là câyphân tích cú pháp của 1 câu văn, trong đó mỗi nút trong cây kèm theo bộ trọng

số cảm xúc lần lượt là: rất tiêu cực (very negative), tiêu cực (negative), trungtính (neutral), tích cực (positive) và rất tích cực (very positive) Theo đó, trọng

số thuộc nhãn nào lớn nhất sẽ quyết định nhãn toàn cục của nút, như hình dướiđây Độ chính xác của mô hình khi dự đoán cảm xúc cho 1 câu đơn là 85,4%

Nhược điểm của phương pháp này ở chổ chỉ xử lý tốt cho dữ liệu đầu vào là mộtcâu đơn.

CHƯƠNG 2 : MÔ HÌNH MẠNG NƠRON TÍCH CHẬP (CNN

-CONVOLUTIONAL NEURAL NETWORK) TRONG BÀI TOÁN PHÂN

TÍCH CẢM XÚC

1 Tổng quan về mạng nơ-ron tích chập (CNN)

Mạng nơ-ron tích chập (Convolutional Neural Network - CNN) là một trongnhững mô hình học sâu (Deep Learning) phổ biến nhất được sử dụng trong nhiềulĩnh vực khác nhau, bao gồm xử lý ảnh, nhận dạng giọng nói, xử lý ngôn ngữ tựnhiên, và nhiều lĩnh vực khác CNN là một mô hình mạng nơ-ron có khả năng tự họcđược các đặc trưng cấu trúc từ dữ liệu đầu vào, điều này làm cho CNN trở thành mộtcông cụ hữu ích để giải quyết các bài toán có tính chất không cố định và phức tạp

CNN được phát triển dựa trên ý tưởng của bộ lọc tích chập (convolutionfilter) được sử dụng trong xử lý ảnh Bộ lọc tích chập giúp tìm ra các đặc trưng trongảnh bằng cách trượt qua bộ lọc trên khắp bức ảnh Ví dụ, nếu chúng ta muốn tìm cácđường nằm ngang trong ảnh, ta có thể sử dụng bộ lọc có trọng số được thiết kế đểphát hiện đường nằm ngang

Một CNN bao gồm nhiều lớp, bao gồm lớp đầu vào (input layer), các lớp tíchchập (convolutional layer), lớp gộp (pooling layer), lớp kết nối đầy đủ (fullyconnected layer) và lớp đầu ra (output layer) Các lớp tích chập và lớp gộp lặp lại vớinhau để tìm ra các đặc trưng cấu trúc của dữ liệu đầu vào, sau đó các lớp kết nối đầy

đủ được sử dụng để phân loại dữ liệu vào các lớp đầu ra tương ứng

2 Kiến trúc mạng nơ-ron tích chập (CNN)

Mạng nơ-ron tích chập (CNN) là một loại mạng nơ-ron được sử dụng rộng rãitrong xử lý ảnh, thị giác máy tính và cả trong xử lý ngôn ngữ tự nhiên Kiến trúc củamạng CNN gồm nhiều lớp, bao gồm lớp tích chập (convolutional layer), lớp gộp(pooling layer), lớp hoạt động phi tuyến (nonlinear activation layer), và lớp đầy đủkết nối (fully connected layer)

Hình 5: Minh hoạ lớp tích chập

Lớp tích chập là lớp đầu tiên của mạng CNN và được sử dụng để tìm các đặctrưng (features) của ảnh đầu vào Các đặc trưng này có thể là các cạnh, đường viền,hoặc các đặc tính phức tạp hơn của ảnh Lớp tích chập bao gồm các bộ lọc (filter)được áp dụng lần lượt trên toàn bộ ảnh đầu vào, tạo ra các đặc trưng tương ứng vớimỗi bộ lọc Kết quả của lớp tích chập là một bản đồ đặc trưng (feature map) ghi lạicác đặc trưng của ảnh

Hình 6: Minh hoạ lớp gộp

Sau khi các đặc trưng đã được tìm thấy bởi lớp tích chập, lớp gộp được sửdụng để giảm kích thước của bản đồ đặc trưng và giảm độ phức tạp của mô hình.Lớp gộp thực hiện việc chọn ra các giá trị lớn nhất (max pooling) hoặc các giá trị trung bình (average pooling) từ các vùng của bản đồ đặc trưng.

tuyến được sử dụng để giúp mô hình học được các đặc trưng phi tuyến tínhcủa ảnh Lớp này thường sử dụng các hàm kích hoạt phi tuyến như hàmReLU (Rectified Linear Unit) hoặc hàm sigmoid hoặc softmax

Hình 7: Minh hoạ lớp đầy đủ kết nối

Lớp đầy đủ kết nối được sử dụng để phân loại ảnh vào các lớp khác nhau Cácđặc trưng được trích xuất từ bản đồ đặc trưng bởi các lớp trước đó sẽ được đưavào lớp đầy đủ kết nối và được kết hợp để tạo

3 Mô hình mạng nơ-ron tích chập (CNN)

Thay vì sử dụng các pixel như trong xử lý ảnh, trong xử lý ngôn ngữ tựnhiên(NLP), ta biến đổi các câu hay văn bản thành một ma trận đầu vào Mỗi dòngcủa ma trận tương ứng với một token (một từ trong câu, nhưng cũng có thể là một ký

tự –character) Nghĩa là, mỗi dòng là một vector đại diện cho một từ Giả sử ta cómột câu gồm 10 từ được biểu diễn thành word embedding vector gồm 100 chiều, ta

sẽ có đầu vào là một ma trận 10×100, tương ứ ng trong xử lý ảnh, ta có một bức ảnh10×100 pixel.

Hình 8: Minh hoạ mạng neural CNN cho xữ lý ngôn ngữ tự nhiên

đó phụ thuộc vào việc nó có hữu dụng không Tức là nếu lấy dấu câu thì có giúp tăng

độ chính xác hay không Do vậy, có nhiều trường hợp dấu câu sẽ bị loại bỏ

#filters

Một tính chất mong muốn của thuật toán CNN bên xử lý ảnh là giữ được tínhkhông gian 2 chiều theo góc quan sát của máy tính Văn bản cũng có tính chất nàynhư ảnh Nhưng thay vì 2 chiều, văn bản chỉ có một chiều và đó là các chuỗi từ liêntiếp Ở ví dụ trên mỗi từ lại là một vector 5 chiều, do vậy ta cần cố định số chiều của

bộ lọc cho phù hợp với số chiều của từ Như vậy bộ lọc của chúng ta nên có kíchthước (? x 5) Dấu ? thể hiện số từ(số hàng) mà chúng ta muốn lấy vào

Ở bức hình trên, #filters là minh họa cho các bộ lọc Đây không phải là bộ lọc

để lọc bỏ các phần tử khỏi ma trận bị lọc Điều này sẽ được giải thích kỹ hơn ở đoạntiếp theo Ở đây, sử dụng 6 bộ lọc, các bộ lọc được sử dụng có kích thước (2, 3, 4)từ

#featuremaps

Trong đoạn này, chúng tôi sẽ từng bước giải thích cách bộ lọc nhân tíchchập(convolutions / filtering) Tôi sẽ làm với vài số đầu tiên và sau đó bạn có thể dễdàng hiểu và tự làm được

Hình 9: Cách nhân tích chập giữa ma trận input với bộ lọc

Ảnh phía trên thực hiện việc tính toán cho bộ lọc có kích thước là 2(2 từ) Vớigiá trị đầu tiên, bộ lọc màu vàng kích thước 2 x 5 thực hiện nhân từng thành phầnvới 2 hàng đầu tiên của văn bản(I, like)

Cứ như vậy, ma trận bộ lọc(màu vàng) sẽ lùi xuống một dòng cho đến khi hết

ma trận văn bản Như vậy ma trận kết quả sẽ có kích thước là (7-2 + 1 x 1) = (6 x 1)

Để bảo đảm giá trị của map đặc trưng, chúng ta cần sử dụng một activationfunction( vd ReLU) Áp dụng ReLU vẫn cho chúng ta ma trận có kích thước là 6x1

#1max

Lưu ý rằng kích thước của map đặc trưng phụ thuộc vào ma trận văn bản và

ma trận bộ lọc Nói cách khác, map đặc trưng sẽ có kích thước thay đổi chứ không

cố định Để đưa ma trận đặc trưng này về kích thước như nhau Hoặc trong nhiềutrường hợp người ta chỉ muốn giữ lại các đặc trưng tiêu biểu Chúng ta có thể sửdụng max-pooling để lấy ra các giá trị lớn nhất trong map đặc trưng Điều này giúpgiảm chiều dữ liệu, tăng tốc độ tính toán

Trong ví dụ này, tôi sử dụng 1-max-pooling Tức là lấy ra 1 giá trị lớn nhấttrong từng map đặc trưng Việc này giúp ta có ma trận output có cùng kích thước Ởđây kích thước sau khi áp dụng #1max là (1×1) Như vậy, ta chỉ lấy 1 đặc trưng trộinhất ở tất cả các lớp cnn để phục vụ cho bài toán

#concat1max

Sau khi áp dụng 1-max pooling, chúng ta đã có những vector có kích thước cốđịnh là 1×1 của 6 thành phần(bằng số bộ lọc) Vector cố định kích thước này sau đóđược đưa vào một hàm softmax(lớp fully-connected) để giải quyết việc phân loại

Hàm softmax:

Hàm Softmax được sử dụng để tính xác suất của mỗi lớp cảm xúc dựa trênđầu ra của mô hình Cụ thể, đầu ra của mô hình được chuyển qua hàm Softmax đểtạo ra một phân phối xác suất trên các lớp cảm xúc Các xác suất này được sử dụng

- P(y=j|x) là xác suất của lớp cảm xúc j cho đầu vào x

- zj là giá trị đầu ra của mô hình cho lớp cảm xúc j