Tiểu luận cuối kì môn internet và giao thức (3)

Big Data là thuật ngữ dùng để chỉ một tập hợp dữ liệu rất lớn và rất phức tạp đến nỗi những công cụ, ứng dụng xử lý dữ liệu truyền thống không thể nào đảm đương được.. Định nghĩa '3Vs' c

HỌC VIỆN CÔNG NGHỆ BƯU CHÍNH VIỄN THÔNG

KHOA VIỄN THÔNG I

TIỂU LUẬN HỌC PHẦN INTERNET VÀ GIAO THỨC

ĐỀ TÀI: Ứng dụng của Big Data và giao thức ứng dụng mới

phục vụ cho xu hướng Big Data hiện nay

Giảng viên: Nguyễn Tiến Ban

2 Nguyễn Xuân Minh (C) B18DCVT294

3 Nguyễn Thị Diệu Linh B18DCVT247

HÀ NỘI – 2021

LỜI NÓI ĐẦU

Trong cuộc cách mạng công nghiệp 4.0 hiện nay, nguồn tài nguyên giá trị nhất của thế giới không còn là dầu mỏ, mà là kho dữ liệu số đang tăng lên với cấp độ lũy thừa mỗi ngày Và phần mềm quản lý Big Data là một yếu tố đóng vai trò then chốt Vậy Big Data thực chất là gì, và nó đang được ứng dụng như thế nào?

Chúng ta hãy hình dung rằng một khối dữ liệu khổng lồ được tạo ra từ các hoạt động trong lĩnh vực kinh doanh, giải trí, giáo dục, Và việc cập nhật, kiểm soát liên tục này bằng phương tiện truyền thông xã hội, ứng dụng kinh doanh, viễn thông và các lĩnh vực khác đang dẫn đến sự hình thành của Big data.

Big Data là thuật ngữ dùng để chỉ một tập hợp dữ liệu rất lớn và rất phức tạp đến nỗi những công cụ, ứng dụng xử lý dữ liệu truyền thống không thể nào đảm đương được Tuy nhiên, Big Data lại chứa trong mình rất nhiều thông tin quý giá mà nếu trích xuất thành công, nó sẽ giúp rất nhiều cho việc kinh doanh, nghiên cứu khoa học, dự đoán các dịch bệnh sắp phát sinh và thậm chí là cả việc xác định điều kiện giao thông theo thời gian thực Chính vì thế, những dữ liệu này phải được thu thập, tổ chức, lưu trữ, tìm kiếm, chia sẻ theo một cách khác so với bình thường.

Trong thực tế, Big Data (Dữ liệu lớn) được ứng dụng vào rất nhiều lĩnh vực, giúp doanh nghiệp ở mọi quy mô tạo nên biến chuyển ấn tượng, gia tăng tính hiệu quả, năng suất và lợi thế cạnh tranh so với đối thủ trong kỷ nguyên chuyển đổi số digital transformation.

Trên cơ sở làm rõ những vấn đề này, nhóm em xin được trình bày về đề tài “Ứng dụng của Big Data và giao thức ứng dụng mới phục vụ cho xu hướng Big Data hiện nay”.

MỤC LỤC

MỤC LỤC ii

DANH MỤC HÌNH ẢNH iiii

2.2.3 Thương mại điện tử 3

2.2.4 Điện toán đám mây 3

4 Xây dựng hệ thống lưu trữ phân tích dữ liệu Big Data 7

5 Giao thức ứng dụng mới phục vụ cho truyền tải dữ liệu Big Data 9

6 Mô phỏng sử dụng công cụ để tiếp cận Big Data 11

6.1 Lợi ích của việc crawler data và mô hình crawl 11

6.2 Demo sử dụng Python để Crawl Linkedin và công cụ phân tích xử lý dữ liệu Power BI 12

KẾT LUẬN 16

THUẬT NGỮ VIẾT TẮT

AI Artificial intelligence Trí tuệ nhân tạo

BI Business Intelligence Trí tuệ doanh nghiệp

CSS Cascading Style Sheets Ngôn ngữ lập trình

ETL Extra-Transform-Load Trích xuất-Biến đổi-TảGPS Global positioning Hệ thống định vị toàn cầuHDFS Hadoop Distributed File System Hệ thống tệp phân tán Hadoop

OLTP On-line transactional processing Xử lý giao dịch trực tuyếnOLAP Online Analytical Processing Xử lý phân tích trực tuyến

TCP Transmission Control Protocol Giao thức điều khiển truyền vậnWEF World Economic Forum Diễn đàn Kinh tế thế giới

IP Internet Protocol Địa chỉ giao thức InternetUDP User datagram protocol Giao thức dữ liệu người dùngHTML Hypertext Markup Language Ngôn ngữ lập trình web

DANH MỤC HÌNH ẢNH

Hình 1: Đặc tính của Big Data 2

Hình 2: Nguồn nhân lực phải được trang bị kiến thức nhiều lĩnh vực khác nhau 5

Hình 3: Sơ đồ tổng quát của một chu trình xử lý dữ liệu 6

Hình 4: Hệ thống lưu trữ Data Lake 7

Hình 5: So sánh tốc độ truyền tải dữ liệu TCP và MTP 9

Hình 6: Minh họa luồng dữ liệu TCP qua mạng WAN bị tắc nghẽn Sự dao động dòng chảy, các vấn đề về tỷ lệ và tắc nghẽn dẫn đến băng thông bị lãng phí 10

Hình 7: Minh họa luồng dữ liệu MTP qua cùng một mạng WAN như Hình 4 Khả năng mở rộng quy mô và thích ứng với lưu lượng của bên thứ ba làm tăng mức sử dụng lên gần 100%

11

Hình 8: Mô hình crawl data 12

Hình 9: Giao diện web khi chưa có dữ liệu 13

Hình 10: Ví dụ về dữ liệu cần crawl 13

Hình 11: Cơ sở dữ liệu MongoDB 14

Hình 12: Dữ liệu sau khi crawl được hiển thị lên web 14

Hình 13: Mô tả dữ liệu được crawl theo thời gian 15

Hình 14: Tỉ lệ phần trăm của bài viết được crawl theo từ khóa 15

lồ này trong việc tối ưu hóa mạng lưới kết nối, nâng cao trải nghiệm khách hàng, tăngcường bảo mật, phát triển các nguồn thu Tuy nhiên hiện nay không nhiều công ty làmđược điều này.

Trong những năm gần đây các công khác nhau đang tích cực triển khai ứngdụng Big Data trong hoạt dộng quản lý nhưng chưa đạt được kết quả như mong đợi.Theo khảo sát của MCKinsey đã thực hiện khảo sát riêng chỉ 80 công ty viễn thôngtrên toàn thế giới đãt đầu tư và khai thác Big Data nhưng chỉ 8% các công ty viễnthông được hỏi cho rằng họ đã khai thác hết được tiềm năng Big Data trong quản lý

Mục tiêu của bài tiểu luận này là tìm hiểu Big Data là gì và ứng dụng thực tiễnBig Data hiện nay như thế nào cũng như tìm hiểu các giao thức ứng dụng mới trongBig Data

2 Khái niệm và ứng dụng của Big Data

2.1 Khái niệm về Big Data?

Dữ liệu lớn thường bao gồm tập hợp dữ liệu với kích thước vượt xa khả năngcủa các công cụ phần mềm thông thường để thu thập, hiển thị, quản lý và xử lý dữ liệutrong một thời gian có thể chấp nhận được Kích thước dữ liệu lớn là một mục tiêu liêntục thay đổi Như năm 2012 thì phạm vi một vài tá terabytes tới nhiều petabytes dữliệu Dữ liệu lớn yêu cầu một tập các kỹ thuật và công nghệ được tích hợp theo hìnhthức mới để khai phá từ tập dữ liệu đa dạng, phức tạp, và có quy mô lớn

Trong báo cáo nghiên cứu năm 2001 và những diễn giả liên quan, METAGroup (bây giờ là Gartner) nhà phân tích Doug Laney định nghĩa những thách thức và

cơ hội tăng dữ liệu như là 3 chiều, tăng giá trị dữ liệu, tốc độ vào ra của dữ liệu(velocity), và khổ giới hạn của kiểu dữ liệu (variety) Gartner, và nhiều ngành côngnghiệp tiếp tục sử dụng mô hình '3Vs' để mô tả dữ liệu lớn Trong năm 2012, Gartner

đã cập nhật định nghĩa như sau: "Dữ liệu lớn là khối lượng lớn, tốc độ cao và/hoặc loại

hình thông tin rất đa dạng mà yêu cầu phương thức xử lý mới để cho phép tăng cường

ra quyết định, khám phá bên trong và xử lý tối ưu" Định nghĩa '3Vs' của Gartner vẫnđược sử dụng rộng rãi, và trong phù hợp với định nghĩa đồng thuận.là: "Dữ liệu lớntiêu biểu cho tập thông tin mà đặc điểm như khối lượng lớn (Volume), tốc độcao(Velocity) và đa dạng (Variety) để yêu cầu phương thức phân tích và công nghệriêng biệt để biến nó thành có giá trị" Thêm nữa, vài tổ chức đã thêm vào tính xácthực(Veracity) để mô tả về nó 3Vs đã được mở rộng để bổ sung đặc tính của dữ liệulớn

Hình 1: Đặc tính của Big Data

- Học máy AI, ML đang được các ngân hàng sử dụng để phát hiện các hoạt độnggian lận, cũng như dự đoán tỉ lệ nợ xấu của khách hàng từ đó đưa ra khuyễnnghị có nên tiếp tục cho vay hay không

- Khoa học dữ liệu hỗ trợ phân tích lượng dữ liệu khổng lồ từ các hoạt động hàngngày giúp tối ưu hóa quy trình, giảm thiểu chi phí

- Phân tích hành vi khách hàng từ đó nâng cao trải nghiệm của khách hàng

2.2.2 Trong lĩnh vực y tế

Theo báo cáo của IDC, dữ liệu lớn dự kiến sẽ tăng nhanh hơn trong lĩnh vựcchăm sóc sức khỏe so với các ngành công nghiệp khác như sản xuất, dịch vụ tài chínhhoặc truyền thông Dự kiến, dữ liệu chăm sóc sức khỏe sẽ có tốc độ tăng trưởng képhàng năm (CAGR) là 36% đến năm 2025.

Những lợi ích cụ thể của Big Data trong lĩnh vực y tế:

- Như trong đại dich covid, các dự đoán trước về tương lai trong tình hình dịchbệnh đã giúp cứu hàng triệu người ví dụ như afghanistan nhờ việc dự đoán số

ca nhiễm cũng như các ca tử vong đã giúp cho quốc gia này đã dồn sức chuẩn

bị cho cuộc thảm họa về y tế

- Theo dõi tình trạng bênh nhân bằng hồ sơ sức khỏe điện tử

- Big Data có thể đánh giá các triệu chứng và xác định nhiều bênh ở giai đoạnđầu

- Cảnh báo những khu vực có nguy cơ bùng phát dịch

2.2.3 Thương mại điện tử

Big Data tạo ra lợi thế cạnh tranh khổng lồ cho cách doanh nghiệp bằng cungcấp thông tin về các bản báo cáo thu, phân tích xu hướng

- Thu thập dữu liệu khách hàng để giới thiệu sản phẩm phù hợp ví dụ như kháchhàng mua điện thoại thì sẽ thường mua thêm phụ kiện như ốp lưng, cường lực …

- Tạo ra chiến lược maketting hiệu quả tiết kiệm chi phí nhưng mang về hiệu quảcao nhất

- Tạo ra các tiêu chí theo dõi như độ tuổi, báo cáo tài chính từ đó giới thiệu sảnphẩm phù hợp tăng khả năng mua của khách hàng

- Ứng dụng AI, ML trong việc quản lý kho bãi giảm lượng hàng tồn kho

2.2.4 Điện toán đám mây

Big Data là lượng dữ liệu khổng lồ kiến cho việc tổ chức lưu trữ phân tích dữliệu trở nên tốn kém, có một giải pháp có thể giải quyết vấn đề này đó là Cloud

- Cloud tăng tốc độ quản lý và truy cập cơ sở dữ liệu

- Cung cấp công cụ để tính toán, phân tích dữ liệu

2.2.5 Ngành bán lẻ

Phân tích dữ liệu lớn trong bán lẻ cho phép các công ty tạo đề xuất khách hàngdựa trên lịch sử mua hàng của họ, dẫn đến trải nghiệm mua sắm được cá nhân hóa và

dịch vụ khách hàng được cải thiện Những bộ dữ liệu siêu lớn này cũng giúp dự báo xuhướng và đưa ra quyết định chiến lược dựa trên phân tích thị trường.

- Dự đoán chi tiêu: Amazon sử dụng dữ liệu khách hàng để giới thiệu các mặthàng cho bạn dựa trên các tìm kiếm và mua hàng trong quá khứ của bạn Họ đãtạo ra 29% doanh số bán hàng thông qua công cụ đề xuất của họ, phân tích hơn

150 triệu tài khoản Điều này đã dẫn đến lợi nhuận lớn cho gã khổng lồ thươngmại điện tử

- Cá nhân hóa trải nghiệm khách hàng, mỗi khách hàng có một nhu cầu và xuhướng mua sắm riêng ví dụ như khách hàng nữ, độ tuổi từ 20 -25 tuổi sẽ có xuhướng mua sắm khác với nhóm tuổi từ 25-30

- Phân tích quá trình mua hàng của khách hàng Hành trình của khách hàngkhông phải là một đường thẳng Đó là một zig-zag trên các kênh từ nghiên cứuđến mua hàng Cách duy nhất để có được một xử lý trên hành trình của kháchhàng và tạo ra trải nghiệm tốt hơn là sử dụng dữ liệu lớn Các giải pháp phântích có thể giúp các nhà bán lẻ trả lời các câu hỏi như: Khách hàng thực sự tìmkiếm thông tin sản phẩm ở đâu? Chúng ta đang mất họ ở đâu? Những cách hiệuquả nhất để tiếp cận họ và buộc họ phải mua là gì?

3 Big Data – thách thức và công nghệ

3.1 Góc nhìn doanh nghiệp

Big Data là nhu cầu đang tăng trưởng lớn đến nỗi Software AG, Oracle, IBM,Microsoft, SAP, EMC, HP và Dell đã chi hơn 15 tỉ USD cho các công ty chuyên vềquản lí và phân tích dữ liệu Năm 2010, ngành công nghiệp Big Data có giá trị hơn 100

tỉ USD và đang tăng nhanh với tốc độ 10% mỗi năm, nhanh gấp đôi so với tổng ngànhphần mềm nói chung

Vậy Big Data tạo ra cái gì? Giá trị Nhưng chính xác là giá trị gì? Big Data vềbản chất không sản sinh ra bất kỳ giá trị gì, nó đơn giản chỉ là dữ liệu mà thôi

Việc tăng trưởng dữ liệu đặt ra một thách thức cho mọi công ty IT phải giảiquyết Các doanh nghiệp không chỉ cần lưu trữ dữ liệu mà còn phải tận dụng nó nhanhchóng và hiệu quả để đạt được giá trị kinh doanh

Giá trị chỉ đến từ thứ chúng ta suy luận được từ dữ liệu Đó chính là lý do chúng

ta cần phân tích Big Data Werner Vogels, CTO của Amazon định nghĩa phân tích Big

Data như sau: "trong thế giới cũ của phân tích dữ liệu, bạn biết chính xác câu hỏi bạn cần hỏi, sinh ra mô hình lưu trữ và tập dữ liệu có thể tiên đoán được Trong thế giới mới của việc phân tích dữ liệu, câu hỏi của bạn sẽ tiến triển và thay đổi qua thời gian

nguồn lực."

Tuy nhiên, hiện tại thì việc khai phá Big Data đang gặp một số hạn chế nhưthiếu nguồn nhân lực, thiếu kiến thức về thống kê, học máy, cơ sở hạ tầng lưu trữ vẫn

là một vấn đề lớn

Khó khăn trong phân cấp phân quyền

Dữ liệu rất nhạy cảm đặc biệt là các dữ liệu quan trọng như dữ liệu khách hàng,đối tác, hoạt động của doanh nghiệp Thông thường những dữ liệu này được tổ chứclưu trữ tại Data warehouse (DWH) các hoạt động truy cập vào cơ sở dữu liệu này phảiđược thông qua nhóm kỹ thuật duy nhất điều này dễn đến mỗi khi các nhóm khác cầntruy cập dữ liệu như team BI, DA, DS trong công ty phải được nhóm kỹ thuật chophép và chuẩn bị dữ liệu phù hợp

Thiếu hụt nguồn nhân lực

Nguồn nhân lực về công nghệ đủ điều kiện có thể làm việc với hệ thống BigData hiện nay rất ít do yêu cầu về kỹ năng, kinh nghiệm làm việc chuyên sâu Côngnghệ Big Data còn khá mới nên chỉ có một số ít trường đại học đưa Big Data vàochương trình giảng dạy

Hình 2: Nguồn nhân lực phải được trang bị kiến thức nhiều lĩnh vực khác nhau

để có thể ứng dụng Big Data để giải quyết vấn đề

3.2 Góc nhìn kỹ thuật

Một hệ thống Big Data trong thực tế có rất nhiều thách thừu về mặt kỹ thuật,như là khó khăn về mặt dữ liệu Doanh nghiệp phải đảm bảo dữ liệu nhiều, chính xác,không chỉ có thế dữ liệu phải được trích xuất, làm sạch, và tải vào hệ thống lưu trữData warehouse tiến trình này còn gọi là ETL viết tắt của extract, transform và load.

Tiếp theo là phải xử lý và quản lý dữ liệu Từ những dữ liệu thụ thập được sẽđược lưu vào cơ sở dữ liệu rồi từ đo sẽ được đưa lên các hệ thống phân tích, tranningmodel AI,ML, đưa vào hệ thống OLTP…

Hình 3: Sơ đồ tổng quát của một chu trình xử lý dữ liệu

3.3 Góc nhìn của xã hội

Rất ít người nhận ra Big Data có thể dùng để giải quyết các vấn đề xã hội, tạo racác tác động tích cực Hầu hết các ví dụ thực tiễn không đi theo hướng tiếp cận này.Gạt sang một bên các khía cạnh riêng tư, Big Data có thể được khai thác để phục vụhàng tỷ người đã tạo ra dữ liệu, và cả xã hội mà họ đang sống

Vào năm 2012, diễn đàn kinh tế thế giới (WEF) xuất bản một báo cáo với tiêu

đề “Big Data, Big Impact: New Possibilities for International Development.” Báo cáo

trình bày nhiều ý tưởng, cơ hội, thách thức trong thời đại bùng nổ dữ liệu, cũng như

việc khai thác Big Data để trích xuất kiến thức có thể dùng cho cộng đồng, đặc biệt làngười dân có thu nhập thấp.

Đã có rất nhiều dự án Big Data nhằm mục đích phục vụ cộng đồng dựa vào thuthập dữ liệu GPS, điện thoại di động, thiết bị y tế … như là:

- Dự đoán sự thiếu hụt thực phẩm dựa trên dữ liệu về sự biến động giá cả thịtrường, hạn hán, di cư …

- Cải thiện kết quả học tập trong trường học

- Mô hình dự báo phục vụ người dân sống ở các khu định cư và khu ổ chuột

- Quy hoạch giao thông

- Kết nối mối quan hệ giữa tội phạm và các địa điểm trong thành phố

4 Xây dựng hệ thống lưu trữ và phân tích Big Data

Một hệ thống dữ liệu lớn (BigData) ở mỗi doanh nghiệp sẽ được triển khai khácnhau, tuỳ thuộc vào mô hình kinh doanh của doanh nghiệp, đặc điểm dữ liệu, và phụthuộc vào đầu tư mà sẽ được thiết kế, xây dựng trên các bộ giải pháp công nghệ khácnhau Tuy vậy chúng ta có thể tham khảo chung 1 kiến trúc xây dụng hệ thống BigData

Hình 4: Hệ thống lưu trữ Data Lake

Đây là một kiến trúc xử lý chung cho các hệ thống Big Data Nó bao gồm cácthành phần:

Nguồn dữ liệu (Data Sources): nơi dữ liệu được sinh ra, bao gồm dữ liệu có

cấu trúc (structure), dữ liệu phi cấu trúc (un-structure) cũng như dữ liệu bán cấu trúc(semi-structure) Dữ liệu có thể đến từ rất nhiều nguồn khác nhau như dữ liệu từ các

ứng dụng, cơ sở dữ liệu quan hệ (giao dịch mua/ bán hàng từ một hệ thống bán lẻ, giaodịch gửi tiền vào ngân hàng…), hoặc dữ liệu file được tạo ra bởi các log của ứng dụng(dữ liệu log ghi lại thời gian xử lý của hệ thống…), hay dữ liệu thời gian thực từ cácthiết bị IoT (hình ảnh theo dõi từ camera, cảm biến nhiệt độ, độ ẩm…).

Lưu trữ dữ liệu (Data Storage): thành phần này được thiết kế để lưu trữ lại

khối lượng rất lớn các loại dữ liệu với các định dạng khác nhau được sinh ra bởi nguồn

dữ liệu (Data Source) trong mô hình xử lý dữ liệu theo lô (Batch Processing) Mô hìnhphổ biến cho thành phần này là các hệ thống lưu trữ file phân tán trên nhiều node khácnhau trong 1 cụm (cluster), đảm bảo cho khả năng xử lý lượng rất lớn các file dữ liệucũng như tính an toàn của dữ liệu (replica) Apache Hadoop HDFS đang được sử dụngphổ biến để implement thành phần này trong các hệ thống Big Data

Xử lý dữ liệu theo lô (Batch Processing): thành phần này cho phép xử lý một

lượng lớn dữ liệu thông qua việc đọc dữ liệu từ các file nguồn, lọc dữ liệu theo cácđiều kiện nhất định, tính toán trên dữ liệu, và ghi kết quả xuống 1 file đích Trongthành phần này bạn có thể sử dụng Spark, Hive, MapReduce … với nhiều ngôn ngữlập trình khác nhau như Java, Scala hoặc Python

Thu thập dữ liệu thời gian thực (Real-time Message Ingestion): như đã nói

ở trên, dữ liệu được sinh ra từ nguồn (Data Source) có thể bao gồm dữ liệu thời gianthực (ví dụ từ các thiết bị IoT) do đó thành phần này cho phép một hệ thống Big Data

có thể thu thập và lưu trữ các loại dữ liệu trong thời gian thực phục vụ cho việc xử lý

dữ liệu theo luồng (Streaming Processing) Công nghệ phổ biến nhất chắc các bạn haynghe đến Kafka, ngoài ra còn có những cái tên khác như RabbitMQ, ActiveMQ, … vàgần đây là Apache Pulsar với so sánh nhanh hơn 2.5 lần và độ trễ thấp hơn 40% so vớiKafka

Xử lý dữ liệu theo luồng (Stream Processing): tương tự như việc xử lý dữ

liệu theo lô (Batch Processing), sau khi thu thập dữ liệu thời gian thực, dữ liệu cũngcần phải được lọc theo các điều kiện nhất định, tính toán trên dữ liệu, và ghi kết quả dữliệu sau khi được xử lý Chúng ta có thể nhắc đến Apache Storm, Spark Streaming…

Lưu trữ dữ liệu phân tích (Analytical Data Store): chịu trách nhiệm lưu trữ

dữ liệu đã được xử lý theo định dạng có cấu trúc để phục vụ cho các công cụ phân tích

dữ liệu (BI Tools) Dữ liệu có thể được lưu trữ dưới dạng OLAP trong thiết kếKimball (cho bạn nào chưa biết thì Kimball là một trong 3 phương pháp luận khi thiết

kế 1 Data warehouse: Inmon, Kimball và Data Vault) hoặc dữ liệu có thể lưu trữ bằngcác công nghệ NoQuery như HBase, Cassandra…