(LUẬN văn THẠC sĩ) sử dụng kỹ thuật tương quan chéo, kỹ thuật phân tích nhân quả dự đoán xu hướng chỉ số chứng khoán dựa trên phân tích tâm trạng từ phương tiện xã hội

Tiếp theo, chúng tôi phân tích chỉ số tâm trạng trên miền dữ liệu Twitter hàng ngày cho thấy chỉ số tâm trạng của 1-2 ngày trước có ý nghĩa thống kê đáng kể trong việc dự đoán chỉ số chứ

TRƯỜNG ĐẠI HỌC CÔNG NGHỆ

NGUYỄN TIẾN TÙNG

SỬ DỤNG KỸ THUẬT TƯƠNG QUAN CHÉO,

KỸ THUẬT PHÂN TÍCH NHÂN QUẢ DỰ ĐOÁN

XU HƯỚNG CHỈ SỐ CHỨNG KHOÁN DỰA TRÊN PHÂN TÍCH TÂM TRẠNG TỪ PHƯƠNG TIỆN XÃ HỘI

LUẬN VĂN THẠC SỸ NGÀNH CÔNG NGHỆ THÔNG TIN

TRƯỜNG ĐẠI HỌC CÔNG NGHỆ

NGUYỄN TIẾN TÙNG

SỬ DỤNG KỸ THUẬT TƯƠNG QUAN CHÉO,

KỸ THUẬT PHÂN TÍCH NHÂN QUẢ DỰ ĐOÁN

XU HƯỚNG CHỈ SỐ CHỨNG KHOÁN DỰA TRÊN PHÂN TÍCH TÂM TRẠNG TỪ PHƯƠNG TIỆN XÃ HỘI

Ngành: Công nghệ thông tin Chuyên ngành: Hệ thống thông tin

Mã Số: 60480104

LUẬN VĂN THẠC SỸ NGÀNH CÔNG NGHỆ THÔNG TIN

NGƯỜI HƯỚNG DẪN KHOA HỌC: PGS.TS HÀ QUANG THỤY

Lời cam đoan

Tôi xin cam đoan luận văn với đề tài “Sử dụng kỹ thuật tương quan chéo, kỹ thuật phân tích nhân quả dự đoán xu hướng chỉ số chứng khoán dựa trên phân tích tâm trạng từ phương tiện xã hội” là do tôi thực hiện dưới sự hướng dẫn của PGS.TS Hà Quang Thụy Tất cả những tham khảo từ các nghiên cứu liên quan đều được nêu nguồn gốc một cách rõ ràng từ danh mục tài liệu tham khảo trong luận văn Trong luận văn, không có việc sao chép tài liệu, công trình nghiên cứu của người khác mà không chỉ rõ về tài liệu tham khảo

Luận văn được hoàn thành trong thời gian tôi là học viên tại Khoa Công nghệ Thông tin, Trường Đại học Công nghệ, Đại học Quốc gia Hà Nội

Lời cảm ơn

Lời đầu tiên, tôi xin gửi lời cảm ơn và lòng biết ơn sâu sắc nhất tới Phó Giáo sư Tiến sĩ Hà Quang Thụy đã tận tình chỉ bảo và hướng dẫn tôi trong suốt quá trình thực hiện luận văn tốt nghiệp

Tôi xin chân thành cảm ơn các thầy, cô đã tạo điều kiện thuật lợi nhất cho tôi để tôi học tập và nghiên cứu tại trường Đại học Công nghệ

Tôi cũng xin gửi lời cảm ơn tới các bạn trong lớp K18CHTTT đã ủng hộ, khuyến khích tôi trong suốt quá trình học tập tại trường

Tôi muốn gửi lời cảm ơn vô hạn tới gia đình và bạn bè, những người thân yêu luôn bên cạnh và động viên tôi trong suốt quá trình học tập và thực hiện luận văn tốt nghiệp Tôi xin chân thành cảm ơn!

Tóm tắt nội dung

Phân tích tâm trạng là việc khai thác tự động thông tin liên quan đến tình cảm từ

văn bản [TBP12] Phân tích tâm trạng ứng dụng nhiều cho bài các bài toán: đánh giá sản

phẩm, chất lượng dịch vụ; hỗ trợ người dùng đưa ra quyết định; đặc biệt là bài toán dự

báo trong lĩnh vực tài chính Theo Johan Bollen và cộng sự [BMZ11], kinh tế học hành vi

cho chúng ta biết rằng những cảm xúc sâu sắc có thể ảnh hưởng đến hành vi cá nhân và

đưa ra quyết định Các tác giả cũng đã chứng minh được giả thuyết “Tâm trạng của cộng

đồng có thể dự đoán được giá cả của thị trường chứng khoán”

Luận văn tập trung nghiên cứu các phương pháp dự báo xu hướng của thị trường

chứng khoán dựa trên phân tích tâm trạng trên miền dữ liệu của các trang tin tức về tài

chính chứng khoán, máy tìm kiếm và Twitter Chúng tôi sử dụng kỹ thuật về thống kê,

phân tích nhân quả Granger để phân tích dự báo.Thực nghiệm ban đầu trên CSDL thu

thập được từ các trang tin tức, máy tìm kiếm và Twitter: đầu tiên phân tích dữ liệu hàng

tuần cho thấy tồn tại mối quan hệ đáng kể giữa dung lượng tìm kiếm từ khóa liên quan

đến tài chính và chỉ số DJIA Sau khi kiểm định bằng nhân quả Granger cho thấy rằng

thực sự có thể dự đoán được chỉ số chứng khoán Tiếp theo, chúng tôi phân tích chỉ số

tâm trạng trên miền dữ liệu Twitter hàng ngày cho thấy chỉ số tâm trạng của 1-2 ngày

trước có ý nghĩa thống kê đáng kể trong việc dự đoán chỉ số chứng khoán ngày tiếp theo

Và chỉ số tâm trạng trên miền dữ liệu các trang tin tức về tài chính cũng có ý nghĩa thống

kê dự báo Kết quả này cho thấy hướng tiếp cận của chúng tôi có tính khả thi về việc làm

rõ mối quan hệ nhân quả giữa tình cảm và tâm trạng liên quan đến thị trường tài chính

Mở đầu

Phương tiện truyền thông xã hội bao gồm các ứng dụng tương tác và các nền tảng

để tạo, chia sẻ và trao đổi các nội dung người dùng tạo ra Mười năm qua đã mang lại tăng trưởng rất lớn trong phương tiện truyền thông xã hội, đặc biệt là các dịch vụ mạng xã hội trực tuyến, và nó đang thay đổi cách chúng ta tổ chức và giao tiếp [YK12] Nó tập hợp các ý kiến và cảm xúc của các nhóm đa dạng của người dân với chi phí thấp Khai thác các thuộc tính và nội dung của các phương tiện truyền thông xã hội cho chúng ta một

cơ hội để khám phá đặc tính cấu trúc xã hội, phân tích các mẫu hoạt động chất lượng và

số lượng, và đôi khi khả năng dự đoán các sự kiện liên quan đến con người trong tương lai

Trong thị trường chứng khoán, nghiên cứu dựa trên lý thuyết bước đi ngẫu nhiên

và giả thuyết thị trường hiệu quả (EMH) cho thấy giá cổ phiếu là không thể đoán trước Nhưng nghiên cứu gần đây, từ quan điểm của Lý thuyết kinh tế xã hội Tài chính và kinh

tế học hành vi, cho rằng giá cổ phiếu có thể được dự đoán đến mức độ nào đó [YK12] Số lượng lớn các thông tin đăng trên bảng thông tin tài chính, chẳng hạn như Yahoo! Tài chính, dự đoán lợi nhuận cổ phiếu tiếp theo Mối tương quan giữa chúng là có ý nghĩa thống kê Mặc dù hiệu quả kinh tế rất nhỏ nhưng số lượng những bài viết trên là hữu ích

để dự đoán sự biến động chứng khoán Đối với bài viết cụ thể bao gồm các từ cảm xúc như lo lắng, hy vọng và sợ hãi, tổng số người trong số họ đã tiên đoán chỉ số chứng khoán, thông tin tâm lý thị trường là có giá trị tiên đoán

Mục tiêu của luận văn này là khảo sát, tìm hiểu để đề xuất một mô hình dự đoán xu hướng chỉ số chứng khoán dựa trên phân tích tâm trạng từ dữ liệu máy tìm kiếm, tin tức

và Twitter Để tiếp cận mục tiêu này, luận văn nghiên cứu và giới thiệu một số phương pháp dự đoán chứng khoán đang được quan tâm hiện nay Từ đó, lựa chọn một mô hình phù hợp để dự đoán xu hướng chỉ số chứng khoán DJIA cho ngày tiếp theo trên miền dữ liệu máy tìm kiếm, tin tức và Twitter

Nội dung của luận văn được chia thành các chương như sau:

Chương 1:Trình bày về phân tích tâm trạng trên phương tiện truyền thông

Chương 2: Luận văn giới thiệu một số kỹ thuật dự đoán xu hướng chứng khoán trên miền dữ liệu Twitter

Chương 3:Luận văn đề xuất mô hình dự đoán xu hướng chỉ số chứng khoán dựa

trên phân tích tâm trạng từ phương tiện xã hội

Chương 4:Thực nghiệm, kết quả và đánh giá

Phần kết luận: Tóm lược kết quả đạt được của luận văn và định hướng phát triển

tiếp theo

Mục Lục

Lời cam đoan 3

Lời cảm ơn 4

Tóm tắt nội dung 5

Mở đầu 6

Mục Lục 7

Danh mục bảng biểu 8

Danh mục hình vẽ 9

Chương 1 Phân tích tâm trạng trên phương tiện truyền thông 10

1.1 Phân tích tâm trạng trên Twitter 10

1.2 Phân lớp tâm trạng trên Twitter dựa vào mục tiêu phụ thuộc 11

Chương 2 Một số kỹ thuật dự đoán xu hướng chứng khoán trên miền dữ liệu Twitter 14

2.1 Dự đoán thị trường chứng khoán dựa vào tâm trạng trên Twitter 14

2.2 Xác định cường độ tình cảm trên các trang mạng xã hội 15

2.3 Dự đoán chỉ số thị trường chứng khoán thông qua Twitter của nhóm tác giả Xue Zhang và cộng sự 15

2.4 Dự đoán thị trường tài chính: so sánh cuộc khảo sát, tin tức, Twitter và dữ liệu máy tìm kiếm 19

2.5 Dự báo biến động thị trường chứng khoán từ Twitter 19

Chương 3 Đề xuất mô hình dự đoán xu hướng chỉ số chứng khoán dựa trên phân tích tâm trạng từ phương tiện xã hội 23

3.1 Tư tưởng chính của giải pháp đề xuất 23

3.2 Mô hình đề xuất 25

Chương 4 Thực nghiệm và kết quả 31

Kết luận 39

Danh mục bảng biểu

Bảng 1: Số lượng các tweets chứa các từ tâm trạng “Fear”, “Worry”, “Hope”, … 16

Bảng 2: Kết quả phân tích mối tương quan với các chỉ số chứng khoán 17

Bảng 3: Kết quả phân tích mối tương quan follower với các chỉ số chứng khoán 18

Bảng 4: Số lượng retweets về một chủ đề nhất định trong một ngày 18

Bảng 5: Kết quả phân tích mối tương quan retweets với các chỉ số chứng khoán 19

Bảng 6 Cấu hình phần cứng sử dụng trong thực nghiệm 31

Bảng 7: Các công cụ phần mềm sử dụng 31

Bảng 8: Mối tương quan giữa DJIA và Volume tìm kiếm trên Google Trends 33

Bảng 9: Kết quả thu thập tweets trên Twitter 36

Danh mục hình vẽ

Hình 1: Biểu đồ sự gia tăng số lượng tweets mỗi ngày 17

Hình 2: Tương quan chéo giữa điểm số tâm trạng và giá chứng khoán cao nhất của người thắng cuộc 21

Hình 3: Tương quan chéo giữa điểm số tâm trạng và giá chứng khoán cao nhất của người thua cuộc 22

Hình 4: Số lượng truy vấn tìm kiếm từ khóa “Dow Jone” 26

Hình 5: Mở rộng từ khóa truy vấn 32

Hình 6: Biểu đồ dung lượng tìm kiếm từ khóa liên quan đến tài chính 32

Hình 7: Mối tương quan giữa DJIA và Volume tìm kiếm trên Google Trends 33

Hình 8: Chỉ số DJIA của các ngày từ 25/9/2014 đến 25/10/2014 34

Hình 9: Tiêu đề và đoạn tóm tắt của bài báo 35

Hình 10: Tần suất xuất hiện của một số từ tiêu cực trên các trang tin tức tài chính từ ngày 25/09/2014 đến 25/10/2014 36

Hình 11: Số lượng tweets thu thập trong mỗi ngày 37

Hình 12: Tần suất “Bullish” và “Bearish” thu thập trong mỗi ngày 37

Chương 1 Phân tích tâm trạng trên phương tiện truyền thông

1.1 Phân tích tâm trạng trên Twitter

Kumar và Sebastian [KS12] đã đề xuất một mô hình để khai thác tình cảm từ Twitter với thời gian thực, các tác giả tiếp cận theo hướng sử dụng kết hợp cả hai phương pháp dựa trên ngữ liệu và dựa trên từ điển để xác định ngữ nghĩa của các từ thể hiện quan điểm trong tweet Tweet có đặc điểm chính như sau:

- Độ dài tweet: Độ dài tối đa của một tweet là 140 ký tự Điều này khác với nghiên cứu trước đây chủ yếu tập trung vào phân lớp văn bản dài hơn

- Kỹ thuật viết tweet: Các tweet được đăng tải thường xuất hiện các từ không chính xác và tiếng lóng thường xuyên hơn so với các lĩnh vực khác Các thông điệp của người dùng thường nhanh, ngắn, sử dụng từ viết tắt, viết sai và sử dụng biểu tượng cảm xúc để truyền đạt ý nghĩa đặc biệt

- Tính sẵn sàng: Số lượng dữ liệu có sẵn là rất lớn Miền dữ liệu tweet của người dùng mở hơn so với Facebook (Facebook có nhiều cài đặt bảo mật) Twitter API thu thập sẵn dữ liệu tweets cho việc học mô hình

- Chủ đề: Người dùng twitter đăng tải thông điệp về một loạt các chủ đề không giống như các trang web khác được thiết kế riêng cho một chủ đề cụ thể Điều này khác với các nghiên cứu trước đây tập trung vào lĩnh vực cụ thể như: phim ảnh, chính trị, xã hội, …

- Thời gian thực: Các tweets bị giới hạn số ký tự và được cập nhật thường xuyên, điều này tạo ra một cảm giác thời gian thực và đại diện cho các phản ứng đầu tiên của sự kiện

Một số thuật ngữ cơ bản liên quan đến Twitter:

- Biểu tượng cảm xúc: Đây là những biểu tượng nét mặt sử dụng dấu chấm câu và chữ cái Mục đích của biểu tượng cảm xúc là để diễn tả tâm trạng của người dùng

- Mục tiêu: Người dùng Twitter sử dụng ký tự @ để đề cập những người dùng khác trên Twitter Người dùng sẽ được tự động thông báo đã được đề cấp đến trong thời gian này

- Hash tags: Người dùng sử dụng ký tự # để đánh dấu chủ đề Nó được sử dụng bởi người dùng Twitter để giúp một lượng lớn người dùng khác có thể nhìn thấy tweets của họ

- Ký tự đặc biệt: Ký tự “RT” được dùng để chỉ ra rằng đó là tweet lặp trước đó của người dùng khác

Từ thể hiện quan điểm (từ quan điểm) là từ mà mọi người sử dụng để bày tỏ ý kiến của mình (tích cực, tiêu cực hay trung tính) Để tìm ngữ nghĩa của các từ quan điểm trong

tweets, các tác giả đề xuất một phương pháp lai liên quan đến kỹ thuật áp dựa trên từ điển

và dựa trên tập dữ liệu corpus Để khám phá trực tiếp quan điểm, đầu tiên Kumar và cộng

sự thu thập các tweets từ Twitter, sau đó xem các tweets đó phản ánh một tâm trạng tích cực, hay tiêu cực hay trung tính Song song đó, họ kết hợp cả các tính từ, động từ và trạng

từ Sử dụng dữ liệu corpus để tìm ra tính từ mang xu hướng tâm trạng, sử dụng dữ liệu từ điển để tìm ra động từ và trạng từ mang xu hướng tâm trạng Tâm lý chung của tweet được tính bằng cách sử dụng phương trình tuyến tính trong đó có kết hợp bộ tăng cường tâm trạng:

NS biểu thị số lượng chữ cái lặp đi lặp lại

NX biểu thị số lượng dấu chấm than

S(AGi) biểu thị điểm số của nhóm tính từ thứ i

S(VGi) biểu thị điểm số của nhóm động từ thứ i

S(Ei) biểu thị điểm số của biểu tượng cảm xúc thứ i

Nei biểu thị số lượng các biểu tượng cảm xúc thứ i

PC, NS, NX đại diện cho bộ tăng cường tâm trạng Nếu điểm số của tweet lớn hơn 1 thì điểm số được thực hiện là 1, hoặc nhỏ hơn 1 thì điểm số được thực hiện là -1

Qua quá trình thử nghiệm sơ bộ, kết quả ban đầu cho thấy phương pháp tiếp cận của Kumar và cộng sự là khả thi và là một kỹ thuật mới, thúc đẩy các nghiên cứu về khai thác tâm trạng trên Twitter sau này

1.2 Phân lớp tâm trạng trên Twitter dựa vào mục tiêu phụ thuộc

Twitter cũng như micro-blogging, cho phép người dùng đăng tải các tweets với

140 ký tự để nói cho người khác biết họ đang làm gì, họ đang nghĩ gì hay những gì đang xảy ra xung quanh họ Trong vài năm trở lại đây, Twitter đã trở lên rất phổ biến với lượng người dùng trên 190 triệu người, hàng ngày có hơn 65 triệu tweets được đăng tải

Với số lượng tweets ngày càng tăng thì việc khai phá tâm trạng người dùng trên các tweets ngày càng được đề cập Trên thực tế, có nhiều trang web xây dựng mạng cung cấp dịch vụ tìm kiếm tâm trạng Twitter như Tweetfeel, Twendz, và Twitter Sentiment Trong những trang web trên, người dùng có thể nhập vào mục tiêu tâm trạng như là một truy vấn và tìm kiếm các tweets có tâm trạng tích cực hoặc tiêu cực đối với mục tiêu Vấn

đề cần được giải quyết, cụ thể là đưa ra một truy vấn, phân lớp tâm trạng của các tweets vào lớp tích cực, tiêu cực hay trung tính cho dù các tweets là bao gồm tâm trạng tích cực, tiêu cực hoặc trung tính về câu hỏi đó

Một hướng tiếp cận tiên tiến để giải quyết vấn đề này là sử dụng phân lớp cho phân loại tình cảm của văn bản, ví dụ như: Go và cộng sự - 2009[GBH09], Barbosa và Feng – 2010[BF10] Tuy nhiên, họ thực hiện phân lớp một cách độc lập với mục tiêu: tất cả các đặc trưng được sử dụng trong phân lớp không phụ thuộc vào mục tiêu, vì vậy quyết định tâm trạng không phụ thuộc vào mục tiêu Với bài toán đánh giá tình cảm về một bộ phim hay đánh giá sản phẩm thì áp dụng phân lớp không phụ thuộc vào mục tiêu là hợp lý Tuy nhiên, với phân lớp tâm trạng của tweets thì phương pháp tiếp cận đó không hợp lý [JYZ11] Bởi vì, mọi người có thể đề cập đến nhiều mục tiêu trong cùng một tweet hoặc nhận xét về một mục tiêu trong cùng một tweet trong khi chia sẻ nhiều thông tin khác không liên quan trong các tweet đó Cách tiếp cận mục tiêu độc lập có khả năng sẽ mang lại kết quả không cao, ví dụ:

- Tweets mà không thể hiện bất kỳ cảm xúc với mục tiêu đưa ra nhưng thể hiện tình

cảm với những thứ được coi là có liên quan đến mục tiêu Ví dụ: “People everywhere love Windows & vista.Bill Gates” tweet này không thể hiện tình cảm

với Bill Gates, nhưng rất có thể được phân lớp vào lớp tích cực về Bill Gates

- Chiều phân cực của một số tweets hướng tới mục tiêu nhất định bị phân lớp sai vì

có sự can thiệp từ tình cảm đối với các mục tiêu khác trong tweets Ví dụ:

“Windows 7 is much better than vista!” tweet này thể hiện tâm trạng tích cực cho

windows 7 và tiêu cực cho Vista, tuy nhiên với phân lớp mục tiêu độc lập thì cả hai

sẽ vào lớp tích cực

Trên thực tế, có rất nhiều trường hợp như vậy khi nhìn vào kết quả đầu ra của Twitter Sentiment hoặc các trang web phân tích tâm trạng Twitter khác Ngoài ra các tweets thường ngắn và mơ hồ nên sẽ khó khăn khi phân lớp tâm trạng của một tweet mà chỉ dựa

trên nội dung của nó Ví dụ: “First game: Lakers!” tweet này chỉ có ba từ, nó rất khó để

có thể đạt được kết quả chính xác cho bất kỳ phương pháp phân lớp tình cảm nào Tuy nhiên, mối quan hệ giữa các tweet là khá phổ biến Chúng ta có thể dễ dàng tìm thấy nhiều tweets có liên quan đến một tweet, chẳng hạn như các tweets được đăng tải bởi cùng một người, hoặc các tweets trả lời hoặc các retweets Những tweets liên quan cung cấp thông tin phong phú về những gì các tweet được thể hiện nên các tweets đó được xem xét để phân lớp tình cảm của tweet ban đầu

Để giải quyết vấn đề trên, Long Jiang và cộng sự [JYZ11] đã nghiên cứu và đề xuất phương pháp phân lớp tâm trạng trên Twitter dựa vào mục tiêu phụ thuộc, đưa ra truy vấn, họ phân lớp tâm trạng của tweets xem thuộc vào lớp tích cực, tiêu cực hay trung tính

Các tác giả cũng đã đề xuất phương pháp phân lớp tâm trạng sử dụng mục tiêu phụ thuộc

và ngữ cảnh để cải thiện kết quả phân lớp Cụ thể, hướng tiếp cận phụ thuộc mục tiêu đề cập đến việc kết hợp các đặc trưng được tạo ra bằng cách sử dụng cú pháp từ kết nối với các mục tiêu được đưa ra trong các tweets để đưa ra quyết định có hay không tâm lý thị trường về mục tiêu nhất định Như trong ví dụ trên, sử dụng phân tích cú pháp, như chúng

ta biết “Windows 7” kết nối với “better” bởi một liên từ, “Vista” kết nối với từ “better”

bởi một giới từ Bằng cách học dữ liệu huấn luyện, chúng ta có thể dự đoán rằng

“Windows 7” sẽ nhận được là tích cực và “Vista” sẽ nhận được là tiêu cực

Ngoài ra, các tác giả cũng đề xuất kết hợp ngữ cảnh tweet vào phân lớp Bằng cách xem xét các nhãn tâm trạng của các tweets liên quan, như vậy có thể tăng hiệu suất của

việc phân lớp tâm trạng, đặc biệt là cho các tweet ngắn và mơ hồ Như ví dụ “First game: Lakers!” nếu thấy các tweets trước và sau được đăng tải bởi cùng một người đều tích cực

về Lakers thì có thể phân loại tweet này là tích cực

Bài toán của Long Jiang và cộng sự được phát biểu như sau:

- Input: Tập các tweets có chứa mục tiêu

- Output: Nhãn được gán cho mỗi tweet

- Processing: Bao gồm 3 bước

+ Bước 1 - Phân lớp chủ quan: Xác định xem tweets là chủ quan hay trung tính + Bước 2 – Phân lớp phân cực: Quyết định xem tweet được phân lớp chủ quan trong bước 1 là tích cực hay tiêu cực

+ Bước 3 – Tối ưu hóa bằng biểu đồ cơ sở: Bằng cách xem xét các tweets liên quan

Trong bước 1 và bước 2, các tác giả sử dụng thuật toán SVM với nhân tuyến tính

để thực hiện phân lớp

Qua quá trình thực nghiệm, kết quả cho thấy độ chính xác của quá trình phân lớp được cải thiện đáng kể

Chương 2 Một số kỹ thuật dự đoán xu hướng chứng khoán trên miền dữ liệu Twitter

2.1 Dự đoán thị trường chứng khoán dựa vào tâm trạng trên Twitter

Kinh tế học hành vi cho chúng ta biết rằng những cảm xúc sâu sắc có thể ảnh hưởng đến hành vi cá nhân và đưa ra quyết định [BMZ11] Johan Bollen và cộng sự đưa ra giả

thuyết “Tâm trạng của cộng đồng có thể dự đoán được giá cả của thị trường chứng khoán” Để chứng minh giải thuyết này, các tác giả đã đề xuất và thực nghiệm mô hình

gồm 3 pha chính:

- Pha 1: Phân tích tâm trạng cộng đồng từ các tweets trên Twitter bằng cách sử dụng

công cụ phân tích tâm trạng OpinionFinder (OF) và Google-Profile of Mood States (GPOMS) Các tác giả thu thập dữ liệu tweets trong giai đoạn từ ngày 28/2/2008 đến 19/12/2008, sau đó tiến hành tiền xử lý dữ liệu Từ tập dữ liệu tweets thu được, đưa vào 2 công cụ trên để đánh giá tâm trạng Với công cụ OF, các tác giả phân tích các tweets thành 2 lớp: lớp tích cực và lớp tiêu cực, với mỗi tweet, xác định xem chúng chứa bao nhiêu từ tích cực và bao nhiêu từ tiêu cực, đối với mỗi lần xuất hiện thì tăng điểm số tích cực/tiêu cực tương ứng lên 1, sau đó, trong mỗi ngày, tính tỉ số tích cực/tiêu cực trên tổng các tweets thu thập được trong ngày Còn đối với công cụ GPOMS phân tích các tweets theo 6 chiều tâm trạng (Calm, Alert, Sure, Vital, Kind và Happy), điểm số của mỗi chiều tâm trạng được xác định

là tổng của các trọng số đồng xảy ra của mỗi từ trong tweet mà trùng với 1 từ trong

bộ từ điển POMS Song song với đó, các tác giả thu thập giá trị DJIA tương ứng với thời gian trên từ trang Yahoo! Finance

- Pha 2: Xét mối quan hệ giữa tâm trạng cộng đồng và chỉ số chứng khoán áp dụng

kỹ thuật phân tích nhân quả Granger Sau khi biểu diễn thành các chuỗi tâm trạng theo thời gian đối với những sự kiện văn hóa, xã hội, các tác giả đưa ra và xem xét giả thuyết “Tâm trạng của cộng đồng có ảnh hưởng đến giá cổ phiếu, cụ thể là giá trị đóng của chỉ số DJIA” Phân tích nhân quả Granger dựa trên giả thuyết rằng nếu biến X gây ra Y thì sự thay đổi của X sẽ xảy ra trước khi Y thay đổi Từ đó sẽ tìm được một giá trị độ trễ của X có ý nghĩa về mặt thống kê thể hiện sự tương quan với Y Qua thực nghiệm, dựa trên kết quả của phân tích nhân quả Granger, với chiều Calm có giá trị p-value < 0.05, từ đó có thể loại bỏ giải thiết rỗng: chuỗi tâm trạng theo thời gian không thể dự đoán giá trị của DJIA Điều đó có nghĩa là, tâm trạng cộng đồng có thể dự đoán được giá trị của chỉ số chứng khoán

- Pha 3:Tiến hành dự đoán chỉ số DJIA cho ngày tiếp theo bằng cách áp dụng thuật

toán phân lớp SOFNN Qua thực nghiệm, kết quả đạt độ chính xác lên tới 87.6%

2.2 Xác định cường độ tình cảm trên các trang mạng xã hội

Phân tích tâm lý là việc khai thác tự động thông tin liên quan đến tình cảm từ văn bản [TBP12] Mặc dù hầu hết các phân tích tâm lý giải quyết các nhiệm vụ thương mại, chẳng hạn như chiết xuất ý kiến đánh giá sản phẩm, có quan tâm đến chiều kích tình cảm của các trang web xã hội, và Twitter nói riêng

Hầu hết các thuật toán phân tích tình cảm không phù hợp với nhiệm vụ này bởi vì họ khai thác các chỉ số gián tiếp của tình cảm, có thể phản ánh thể loại và chủ đề để thay thế

Do đó, các thuật toán được sử dụng để xử lý văn bản web xã hội có thể xác định các mô hình tâm trạng giả mạo gây ra bởi chủ đề chứ không phải là hiện tượng tình cảm Thelwall và cộng sự [TBP12] đã đánh giá một phiên bản cải tiến của thuật toán SentiStrength để phát hiện cường độ tình cảm trên các trang web xã hội mà chủ yếu là sử dụng chỉ dẫn trực tiếp của tình cảm Kết quả từ sáu trang mạng xã hội phổ biến (MySpace, Twitter, YouTube, Digg, RunnersWorld, BBCForums) chỉ ra rằng SentiStrength cho kết quả tốt hơn so với một cách tiếp cận cơ bản đối với tất cả các dữ liệu trong cả hai trường hợp giám sát và không giám sát SentiStrength không phải lúc nào cũng tốt hơn so với phương pháp học máy tiếp cận khai thác các chỉ số gián tiếp của tình cảm Nhìn chung, kết quả cho thấy rằng SentiStrength đủ để áp dụng được cho một loạt các ngữ cảnh mạng xã hội khác nhau

2.3 Dự đoán chỉ số thị trường chứng khoán thông qua Twitter của nhóm tác

giả Xue Zhang và cộng sự

Xue Zhang và cộng sự [ZFG11] tiến hành phân tích các tweets trên Twitter, họ thu thập dữ liệu twitter trong 6 tháng và lấy mẫu con ngẫu nhiên trong tập dữ liệu các tweets

Họ đo độ hy vọng và sợ hãi tập hợp được mỗi ngày, sau đó phân tích mối tương quan giữa các chỉ số này và các chỉ số thị trường chứng khoán Họ thấy rằng tỷ lệ phần trăm các tweets mang tính tiêu cực tương quan với Dow Jones, Nasdaq và S & P 500, còn tweets mang tính tích cực thì tương quan đáng kể đến VIX

Đầu tiên các tác giả đo độ sợ hãi trong đầu tư bằng cách theo dõi từ “Fear”:

Khi người ta bi quan hoặc không chắc chắn về tương lai, họ sẽ thận trọng hơn để đầu

tư và thương mại Vì vậy, nắm bắt được tâm lý tập thể - đặc biệt là tâm trạng của con người có thể dự đoán diễn biến thị trường chứng khoán Twitter cũng như là một dịch vụ tiểu blog, trong đó người dùng gửi tin nhắn rất ngắn: ít hơn 140 ký tự, trung bình 11 từ mỗi tin nhắn (Connor 2010) Điều này có nghĩa rằng hầu hết các tweets có ý nghĩa đơn giản, và thậm chí chỉ cần một hoặc hai từ khóa có thể nắm bắt được chủ đề chính Từ

phân tích này, các tác giả quyết định sử dụng những từ tâm trạng, ví dụ như "fear" (sợ hãi), "worry" (lo lắng), "hope" (hy vọng), …của một tweet Sau đó, đo tâm trạng mỗi

ngày bằng cách đếm tất cả các tweets có chứa những từ như vậy Bảng 1 dưới đây tóm tắt kết quả của nhóm tác giả:

Bảng 1: Số lượng các tweets chứa các từ tâm trạng “Fear”, “Worry”, “Hope”, …

Những từ tâm trạng được chia thành hai nhóm: nhóm tích cực bao gồm tâm trạng hy vọng và hạnh phúc; nhóm tiêu cực bao gồm tâm trạng sợ hãi, lo lắng, hồi hộp, lo lắng và khó chịu Do sự khác nhau kích thước mẫu hàng ngày, số lượng hàng ngày của mỗi tâm

trạngcũng rất khác nhau Có 4-49 tweets "fear" và 5-51 tweets "worry" mỗi ngày , qua

đó, các tác giả cũng thấy rằng số lượng các tweets tích cực là cao hơn nhiều so với tiêu cực, trung bình tăng hơn gấp đôi, điều đó cho thấy con người thích lạc quan hơn bi quan Tiếp theo, các tác giả nghiên cứu số lượng tweets về một chủ đề nhất định Họ xem xét ba đường cơ sở khác nhau: (1) Số lượng tweets mỗi ngày, (2) Số người theo mỗi ngày, (3) Số retweets mỗi ngày Dưới đây là biều đồ về sự gia tăng số lượng tweets mỗi ngày trong những năm vừa qua:

Hình 1: Biểu đồ sự gia tăng số lượng tweets mỗi ngày

Trong tập dữ liệu mẫu, các tác giả sử dụng “public timeline”, thực hiện theo cách này

để cung cấp theo một dòng liên tục tweets mỗi ngày Dòng liên tục này cho phép đo phần

trăm tweets tâm trạng so với tất cả các tweets Ví dụ với từ “hope”, chúng ta định nghĩa hope% t là tỷ lệ giữa số lượng tweets “hope” của ngày t và tổng số lượng tweets thu thập

được trong ngày hôm đó, so sánh với các chỉ số của thị trường chứng khoán vào ngày t+1 Dưới đây là bảng kết quả phân tích tương quan:

Bảng 2: Kết quả phân tích mối tương quan với các chỉ số chứng khoán

Với đường cơ sở thứ hai, họ tiến hành khảo sát tổng số lượng người theo dõi trong mỗi ngày Người theo dõi là một khái niệm quan trọng trong Twitter, có khả năng là số lượng người theo dõi nhiều hơn người dùng Khi có một lượng lớn người dùng có tâm trạng tiêu cực thì khả năng có nhiều người theo dõi cũng sẽ bị ảnh hưởng theo và cũng có

tâm trạng tiêu cực Với trường hợp này, họ thêm số lượng tweets “worry” của người theo

dõi (worry-follower) trong ngày t và chia nó cho tổng số lượng tweets của người theo dõi

trong ngày hôm đó Sau đó so sánh với các chỉ số chứng khoán của ngày t+1 Dưới đây là bảng kết quả:

Bảng 3: Kết quả phân tích mối tương quan follower với các chỉ số chứng khoán

Cuối cùng, các tác giả xét retweets mỗi ngày, dựa trên giải thuyết là có hơn một chủ

để được chọn và các retweets là của người khác, càng nhiều người càng tốt Tổng số retweets là đại diện cho các hoạt động của người dùng Twitter trong một trường hợp cụ thể Bảng dưới đây thể hiện số lượng retweets về một chủ đề nhất định trong một ngày:

Bảng 4: Số lượng retweets về một chủ đề nhất định trong một ngày

Các tác giả phân tích mối tương quan giữa tỷ lệ phần trăm tâm trạng trên retweets với

các chỉ số thị trường chứng khoán Ví dụ, họ định nghĩa hope-retweet% t là tỷ lệ phần trăm

số lượng retweet “hope” trong ngày t với tổng số retweets trong ngày đó, sau đó họ so

sánh với chỉ số chứng khoán của ngày t+1 Dưới đây là kết quả so sánh với chỉ số chứng khoán:

Bảng 5: Kết quả phân tích mối tương quan retweets với các chỉ số chứng khoán

Khi những cảm xúc trên Twitter lên cao, thì đó là khi người dùng thể hiện rất nhiều

hy vọng, sợ hãi và lo lắng Chỉ số Dow Jones sẽ đi xuống vào ngày hôm sau Ngược lại, khi mọi người ít có hy vọng, sợ hãi và lo lắng thì chỉ số Dow Jones sẽ tăng lên vào ngày hôm sau Trong nghiên cứu của Xue Zhang và cộng sự đã đưa ra kết quả sơ bộ về việc phân tích tâm trạng trên Twitter để đưa ra một dự đoán về chỉ số chứng khoán vào ngày tiếp theo

2.4 Dự đoán thị trường tài chính: so sánh cuộc khảo sát, tin tức, Twitter và

dữ liệu máy tìm kiếm

Dự báo thị trường tài chính trên cơ sở theo dõi tâm trạng trực tuyến đã thu hút được nhiều sự chú ý gần đây Tuy nhiên, hầu hết các kết quả trong lĩnh vực đang phát triển này thường kết hợp các bộ dữ liệu và công cụ theo dõi tâm trạng Mao và cộng sự [MCB11] đã khảo sát một loạt các bộ dữ liệu trực tuyến (Twitter feeds, trang tin tức, và truy vấn từ máy tìm kiếm Google) và các phương pháp theo dõi tâm trạng (Twitter Investor Sentiment, Nagetive News Sentiment, Tweets và các điều khoản tài chính truy vấn trên Google), sau đó so sánh giá trị đó để dự đoán tài chính như: chỉ số chứng khoán DJIA, khối lượng giao dịch và biến động thị trường (VIX), giá vàng, … Các tác giả cũng

so sánh sức mạnh tiên đoán của nhà đầu tư truyền thống từ số liệu điều tra tâm lý, kết quả cho thấy rằng các cuộc điều tra truyền thống về các nhà đầu tư thông minh đang giảm chỉ

số của thị trường chứng khoán Tuy nhiên, hàng tuần thì dung lượng truy vấn tìm kiếm liên quan đến tài chính trên Google Insight Search đang tăng lại có giá trị tiên đoán Một chỉ số của Twitter Investor Sentiment và tần số xuất hiện các điều khoản tài chính trên Twitter trong 1-2 ngày trước đó cũng được tìm thấy, nó rất quan trọng và có ý nghĩa về mặt thống kê dự đoán thị trường hàng ngày.Mao và cộng sự đã nghiên cứu mối quan hệ giữa các chỉ số tâm trạng khác nhau và mối quan hệ của chúng để dự báo các chỉ số tài chính khác nhau, điều cần thiết là làm sáng tỏ mối quan hệ nhân quả giữa tình cảm và tâm trạng liên quan đến thị trường tài chính, đây cũng là điều rất quan trọng trong việc cải thiện mô hình dự báo tài chính Qua thực nghiệm, phương pháp của Mao và cộng sự đã làm rõ được mối quan hệ nhân quả giữa tình cảm và tâm trạng liên quan đến thị trường tài chính, đóng góp ban đầu vào lĩnh vực tính toán tài chính đang phát triển

2.5 Dự báo biến động thị trường chứng khoán từ Twitter

Sang Chung và Sandy Liu [CL11] đề xuất một phương pháp dự báo biến động thị trường chứng khoán bằng cách quan sát các mối quan hệ giữa xu hướng của mạng xã hội Twitter trên phương diện công nghệ và giá cổ phiếu theo thời gian của các mã chứng khoán tăng và giảm trên mười công ty hàng đầu trong lĩnh vực công nghệ Các tác giả đưa

ra giả thuyết rằng xu hướng tâm trạng trên Twitter về sự tăng giá mã chứng khoán của các công ty hàng đầu trong lĩnh vực công nghệ sẽ mang tâm trạng tích cực, ngược lại xu hướng giảm giá thì tâm trạng sẽ mang tính tiêu cực hơn so với một số đo cơ bản của xu hướng tâm trạng trong lĩnh vực công nghệ tổng thể

Về dữ liệu, Chung và cộng sự thu thập từ 3 nguồn dữ liệu khác nhau:

Thứ nhất, tiến hành 3 truy vấn riêng trên Twitter: (1) Top những người thắng cuộc

trong lĩnh vực công nghệ, (2) Top những người thua cuộc trong lĩnh vực công nghệ, và (3) tìm kiếm chung về công nghệ và giá cổ phiếu Các tìm kiếm được thực hiện bằng cách

sử dụng AND/OR và phương pháp tìm kiếm Boolean, cũng như sử dụng tìm kiếm chủ đề (hashtag) và các tweets đi/đến từ người sử dụng nhất định trên Twitter

Thứ hai, phân tích tâm trạng trên danh sách của Hu&Liu: Để định lượng các dữ

liệu thu thập từ Twitter.com, các tác giả thực hiện phân tích tâm trạng và sử dụng danh sách tâm trạng được xây dựng bởi Minqing Hu và Bing Liu Danh sách chứa khoảng 6800

từ phản ánh tình cảm tích cực và tiêu cực Họ so sánh từng tweet với danh sách này và đếm số từ tích cực sau đó tính điểm số tích cực, đếm số từ tiêu cực và tính điểm số tiêu cực Về lý thuyết, tweet mang tính tính cực nhiều hơn tiêu cực sẽ phản ánh điểm số tích cực lớn hơn điểm số tiêu cực và ngược lại

Thứ ba, giá của thị trường chứng khoán từ Google

Về phương pháp, các tác giả tiếp cận 2 phương pháp: phương pháp đồ thị và

phương pháp mối tương quan chéo (CCF)

Để xem điểm số tâm trạng Twitter có tương quan và có thẻ dự đoán giá cổ phiếu hay không, Chung và cộng sự quyết định vẽ đồ thị tương quan chéo giữa hai bộ dữ liệu