ỨNG DỤNG BIG DATA TRONG CÔNG TY TNHH MASAN NUTRI SCIENCE VÀ MỘT SỐ CÔNG CỤ PHÂN TÍCH DỮ LIỆU

ỨNG DỤNG BIG DATA TRONG CÔNG TY TNHH MASAN NUTRI SCIENCE VÀ MỘT SỐ CÔNG CỤ PHÂN TÍCH DỮ LIỆU Phần 1: Sử dụng Meat Deli để quản lý dữ liệu thông tin số lượng thịt heo mà công ty bán ra trên cửa hàng trong toàn quốc Phần 2: Một số công cụ để phân tích Big Data như sau: Giải quyết vấn đề bằng công cụ là phần mềm VS CODE trên nền ANACONDA để dự báo giá nhà tại Thành phố Boston Giải quyết vấn đề bằng công cụ offline là phần mềm VOSVIEWER để ứng dụng trong việc phân tích TEXT MINNING Gỉai quyết vấn đề bằng công cụ online là phần mềm Voyant Giải quyết vấn đề bằng công cụ Weka để phân tích tỷ lệ ngƣời tử vong ở Singapore Giải quyết vấn đề bằng công cụ là phần mềm R studio trên nền Anaconda để dự đoán sự sống còn cho hành khách trên chuyến tàu Titanic

TỔNG LIÊN ĐOÀN LAO ĐỘNG VIỆT NAM TRƯỜNG ĐẠI HỌC TÔN ĐỨC THẮNG KHOA QUẢN TRỊ KINH DOANH



BÁO CÁO CUỐI KỲ MÔN ỨNG DỤNG PHÂN TÍCH DỮ LIỆU LỚN TRONG QUẢN LÝ

ĐỀ TÀI: ỨNG DỤNG BIG DATA TRONG CÔNG

TY TNHH MASAN NUTRI – SCIENCE VÀ MỘT

SỐ CÔNG CỤ PHÂN TÍCH DỮ LIỆU

Giảng viên hướng dẫn: TS Nguyễn Phan Anh Huy

Danh sách sinh viên: Nhóm 11_Ca chiều

1 Đỗ Thị Phương Dung 71506234

TP HỒ CHÍ MINH – NGÀY 17 THÁNG 7 NĂM 2019

NHẬN XÉT CỦA GIẢNG VIÊN HƯỚNG DẪN

Thành phố Hồ Chí Minh, ngày 17 tháng 7 năm 2019

Giảng viên

MỤC LỤC

LỜI MỞ ĐẦU 1

PHẦN 1: BIG DATA TRONG DOANH NGHIỆP THỰC TẾ 2

1.1 Giới thiệu sơ lược về doanh nghiệp 2

1.2 Phân tích nhu cầu sử dụng big data của họ (phỏng vấn) 4

1.3 Phân tích hạ tầng phần cứng 5

1.3.1 Dịch vụ Internet 5

1.3.2 Các thiết bị input, output, và máy chủ 5

1.4 Phân tích nền tảng phần mềm 6

1.4.1 Ứng dụng 6

1.4.2 Nhân lực để vận hành 8

1.4.3 Chi phí bảo trì 9

1.5 Cách thức họ thu thập, lưu trữ và xử lý dữ liệu như thế nào? 9

1.5.1 Kiến trúc 9

1.5.2 Scope of control 10

1.6 Phân tích ưu và nhược điểm của hệ thống đó và đề xuất các giải pháp 23

1.6.1 Ưu điểm 23

1.6.2 Nhược điểm 23

1.6.3 Giải pháp 24

PHẦN 2: PHÂN TÍCH DỮ LIỆU 25

2.1 Giải quyết vấn đề bằng công cụ là phần mềm VS CODE trên nền ANACONDA để dự báo giá nhà tại Thành phố Boston 25

2.2 Giải quyết vấn đề bằng công cụ offline là phần mềm VOSVIEWER để ứng dụng trong việc phân tích TEXT MINNING 33

2.3 Gỉai quyết vấn đề bằng công cụ online là phần mềm Voyant 44

2.4 Giải quyết vấn đề bằng công cụ Weka để phân tích tỷ lệ người tử vong ở Singapore 47

2.5 Giải quyết vấn đề bằng công cụ là phần mềm R studio trên nền Anaconda để dự đoán sự sống còn cho hành khách trên chuyến tàu Titanic 57

KẾT LUẬN 69 TÀI LIỆU THAM KHẢO 70

LỜI CẢM ƠN

Bài báo cáo này được thực hiện bởi nhóm gồm 6 thành viên thuộc chuyên ngành Kinh Doanh Quốc Tế - khoa Quản trị Kinh doanh của trường Đại học Tôn Đức Thắng

Đầu tiên, xin gửi lời cảm ơn chân thành đến Tiến sỹ Nguyễn Phan Anh Huy đã tận tình hướng dẫn, góp ý, chỉnh sửa nhiều sai sót giúp bài báo cáo của nhóm được hoàn thiện hơn Tiếp đến, cũng xin chân thành cảm ơn các bạn thành viên trong nhóm đã dành thời gian quý báu của bản thân cùng nhau hợp tác, góp sức, xây dựng, thảo luận và phân công công việc để bài báo cáo đạt hiệu quả cao nhất

Đồng thời, xin gửi lời cảm ơn đến các tác giả bài viết, các trang web đã góp phần cung cấp cho nhóm chúng tôi các tiện ích và thông tin cần thiết, phù hợp cho bài báo cáo

Cuối cùng, mặc dù nhóm đã rất cố gắng nhưng chắc chắn sẽ còn nhiều sai sót mà chưa thể khắc phục hết được vì vậy rất mong thầy đóng góp ý kiến chân thành, phê bình thẳng thắn để chúng em rút thêm nhiều kinh nghiệm cho những lần sau

Xin chân thành cảm ơn!

DANH MỤC BẢNG

Bảng 2.1: Bảng mô tả ngắn gọn thông tin các biến trong bộ dữ liệu 59

DANH MỤC HÌNH Hình 1.1: Biểu tượng của Tập đoàn Masan Group 2

Hình 1.2: Biểu tượng của Masan Nutri - Science 3

Hình 1.3: Tốc độ internet nhà cung cấp mạng FPT 6

Hình 1.4: Giao diện bên ngoài của phần mềm Meat Deli 7

Hình 1.5: Giao diện phân bố theo vùng của phần mềm Meat Deli 8

Hình 1.6: Danh mục các mặt hàng thịt của Masan 9

Hình 1.7: Quy trình xử lý data warehouse của Meat Deli 10

Hình 1.8: Tùy biến (customize) từ phần mềm Microsoft Dynamic 365 đến Power BI 10

Hình 1.9: Schedule time 11

Hình 1.10: Các bước hướng dẫn trên giao diện Data Management 12

Hình 1.11: Các bước chọn tập tin dữ liệu cần nhập trên ETL 17

Hình 1.12: Chọn dữ liệu Azure Data Factory 18

Hình 1.13: Nhập và xuất các trạng thái jobs 18

Hình 1.14: Monitor – check trạng thái jobs 19

DANH MỤC CÁC TỪ VIẾT TẮT

Na Người chết không phải trẻ sơ sinh

LỜI MỞ ĐẦU

Trong bối cảnh toàn cầu hóa gắn liền với sự phát triển của khoa học - kĩ thuật, kèm theo

đó là sự nhảy vọt của lực lượng sản xuất do phân công lao động diễn ra mạnh mẽ trên thế giới,

đã trở thành một trong những động lực chính đóng góp vào sự thay đổi cục diện thế giới trong vài thập kỷ trở lại đây, đó là tốc độ phát triển nhanh chóng của công cuộc cách mạng 4.0 Do đó, việc ứng dụng Big Data đã trở thành một phần không thể thiếu trong công cuộc thương mại hóa hiện giờ

Những mô hình kinh doanh mới dựa trên Big Data đang được hình thành để giúp các tổ chức, doanh nghiệp tận dụng dữ liệu một cách triệt để Big Data chứa trong mình rất nhiều thông tin quý giá mà nếu trích xuất thành công, nó sẽ giúp rất nhiều cho việc kinh doanh, nghiên cứu khoa học, dự đoán các xu hướng, trào lưu trong tương lai Chính vì thế, những dữ liệu này phải được thu thập, tổ chức, lưu trữ và tìm kiếm, chia sẻ theo một cách khác so với bình thường

Ngày nay, dữ liệu chính là tiền bạc của doanh nghiệp Bản thân các công ty, doanh nghiệp cũng đang sở hữu Big Data của riêng mình Big Data là một điều khoản trong công nghệ

có thể giúp hiểu khách hàng, phát triển sản phẩm, dịch vụ và thị trường, bên cạnh đó nâng cao hiệu quả hoạt động và điều chỉnh dự báo nhu cầu thị trường (Kotler & Keller, 2012, Isaca, 2013; Davenport & Dyché, 2013)

Chính vì vậy, để bắt kịp được những xu hướng trên, cũng như sẵn sàng cho việc bước chân vào môi trường làm việc mới trong thời gian sắp tới Nay nhóm chúng em quyết định thực

hiện đề tài “Ứng dụng Big Data trong Công ty TNHH Masan Nutri – Science và một số công

cụ phân tích dữ liệu”

Bài báo cáo gồm 2 phần chính:

Phần 1: Big Data trong doanh nghiệp thực tế

Phần 2: Phân tích dữ liệu

PHẦN 1: BIG DATA TRONG DOANH NGHIỆP

THỰC TẾ

1.1 Giới thiệu sơ lƣợc về doanh nghiệp

Masan Group là một trong những công ty lớn nhất trong khu vực kinh tế tư nhân Việt Nam, tập trung hoạt động trong ngành hàng tiêu dùng và tài nguyên của Việt Nam Công ty có nhiều thành tích trong hoạt động xây dựng, mua lại và quản lý các nền tảng hoạt động kinh doanh có quy mô lớn nhằm phát triển và khai thác các tiềm năng dài hạn trong lĩnh vực hàng tiêu dùng và tài nguyên Doanh nghiệp tin rằng có thể tạo ra phần lớn giá trị cho cổ đông thông qua đội ngũ quản lý chuyên nghiệp, các đối tác toàn cầu và sự cam kết phục vụ tầng lớp trung lưu ngày càng lớn mạnh ở Việt Nam

Tầm nhìn của công ty là trở thành một Tập đoàn lớn mạnh thuộc khu vực kinh tế tư nhân địa phương tại Việt Nam xét về quy mô, lợi nhuận và thu nhập cho cổ đông, và trở thành đối tác

có tiềm năng tăng trưởng và nhà tuyển dụng được ưa thích ở Việt Nam Để đạt được tầm nhìn này, Masan Group hiện đang hoạt động trong các lĩnh vực mà một công ty thuộc khu vực kinh tế

tư nhân địa phương có thể dẫn đầu thị trường, và họ phát triển quy mô thông qua đầu tư có chọn lọc và chiến lược hợp nhất

Đội ngũ quản lý của công ty bao gồm các chuyên gia có chuyên môn quốc tế về quản lý rủi ro và phân bổ nguồn vốn, các nhà quản lý người Việt với kinh nghiệm thực thi tại địa phương, và ở cấp độ công ty thành viên là những giám đốc chuyên ngành cao cấp có kinh nghiệm thực tiễn từ các tập đoàn đa quốc gia

Hình 1.1: Biểu tƣợng của tập đoàn Masan Group

Công ty cổ phần tập đoàn Masan (MSN) công bố tại đại hội đồng cổ đông thường niên diễn ra tại TPHCM về việc họ đã mua 52% và 70% cổ phần của Công ty cổ phần Việt Pháp sản xuất thức ăn gia súc (Proconco) và Công ty cổ phần dinh dưỡng nông nghiệp quốc tế (Anco) thông qua việc mua lại 99,99% số cổ phần này từ Công ty TNHH Sam Kim

Tập đoàn sau đó đã đổi tên đơn vị này thành Công ty TNHH Masan Nutri-Science Chủ tịch tập đoàn Masan, ông Nguyễn Đăng Quang, công bố thông tin này vào đầu phiên họp và chia

sẻ với cổ đông rằng việc mua các công ty trên là bước đi quan trọng để cải thiện và tăng năng suất của ngành sản xuất đạm động vật của Việt Nam

Hình 1.2: Biểu tƣợng của Masan Nutri-Sceince

Việc mua và thành lập Masan Nutri Science đem lại cho tập đoàn một vị thế mới trong ngành thức ăn chăn nuôi đang phát triển trị giá tới 6 tỷ đô la Mỹ tại Việt Nam Proconco và Anco kết hợp lại sẽ là công ty sản xuất thức ăn cho heo lớn nhất (không bao gồm trại gia công) và công

ty sản xuất thức ăn chăn nuôi nói chung lớn thứ hai Việt Nam, với sản lượng thức ăn chăn nuôi cung cấp cho thị trường năm 2014 trên 1,7 triệu tấn, bao gồm tất cả các loại sản phẩm thức ăn cho heo, gà, vịt, bò, thủy sản Công ty có mạng lưới phân phối lớn nhất với 2.000 đại lý trên toàn lãnh thổ Việt Nam

Tập đoàn có kế hoạch thay đổi toàn diện công ty bằng cách áp dụng các chiến lược tốt nhất của ngành hàng tiêu dùng nhanh, có mục tiêu xây dựng những thương hiệu mạnh phát triển mạng lưới phân phối có độ phủ cao và sản xuất các sản phẩm sáng tạo, theo thông cáo báo chí

ra giá trị cộng hưởng lớn và sẽ là yếu tố then chốt giúp Masan Nutri Science đạt được mục tiêu

2020 là chiếm 50% thị phần thức ăn chăn nuôi của Việt Nam

1.2 Phân tích nhu cầu sử dụng big data của họ (phỏng vấn)

Câu 1: Anh/chị có thể cho em biết big data là gì không?

 Là dữ liệu bên trong và bên ngoài của doanh nghiệp ghi nhận lại các số liệu, tiếp cận các thông tin bên ngoài để dễ ra các quyết định điều hành;

 Lấy dữ liệu từ các phần mềm đang quản lí để biết được sản phẩm bán được nhiều nhất, khách hàng thích mua loại sản phẩm nào, thu thập thông tin bên ngoài để biết được nhu cầu của khách hàng;

 Tổng hợp từ cả các nguồn có sẵn và thu thập được gọi là big data

Câu 2: Trong lĩnh vực công việc của anh/chị, anh/chị có thể cho em biết big data có vai trò gì trong công việc quản lí của chị?

 Dễ ra quyết định;

 Nắm được tình hình thực tế xuất tồn kho dữ liệu

Câu 3: Đối tượng sử dụng big data trong công ty anh/chị gồm những ai, phòng ban nào?

 Phòng phân tích dữ liệu;

 Phòng làm báo cáo chuyên gia xử lí dữ liệu;

 Người quản lí cấp cao

Câu 4: Mục đích sử dụng big data của anh/chị và những người trong công ty để làm gì?

 Phân tích hoạt động kinh doanh của công ty để đưa ra các giải pháp;

 Giúp người quản lí đưa ra các chiến lược kinh doanh phù hợp

Câu 5: Anh/Chị cảm thấy việc sử dụng big data có cần thiết cho công việc và mọi người trong công ty?

 Cần thiết nhằm để nâng cao doanh số và doanh thu của công ty;

 Khối lượng công việc nhiều hơn vì dữ liệu rất lớn

Câu 6: Phần mềm Meat Deli có sử dụng phân tích big data?

 Tổng hợp dữ liệu từ nhiều kho;

 Kiểm soát số liệu xuất tồn kho một cách nhanh chóng;

 Công ty sử dụng Big data trong Meat Deli để tối ưu hóa các dữ liệu

1.3 Phân tích hạ tầng phần cứng

1.3.1 Dịch vụ Internet

Bên công ty thường sử dụng dịch vụ internet của FPT, mỗi nhân viên dùng địa chỉ IP máy tính để kết nối wifi để tránh bị xao lãng trong công việc, quản lí mọi dữ liệu, hoạt động của nhân viên trên máy tính và khắc phục tình trạng virus nếu có Gói cước càng mạnh càng bảo mật thì chi phí càng đắt

Bộ phát wifi 3 râu được trang bị hơn 10 modern wifi trong công ty nhằm đảm bảo tốc độ truy cập internet tốt nhất và đường truyền ổn định cho từng bộ phận và toàn thể nhân viên trong công ty

Tại công ty, bên cạnh việc sử dụng dịch vụ internet của FPT, ngoài truy cập wifi thì công

ty còn cung cấp đường truyền cáp quang cho mỗi thiết bị cố định của các cấp quản lí nhằm đảm bảo đường truyền luôn ổn định, cập nhật các dữ liệu thông tin một cách nhanh chóng và kịp thời

Tuy nhiên, phần mềm cũng sẽ bị ảnh hưởng nếu không thể truy cập vào internet do các lỗi mất mạng, mất điện và hacker xâm nhập nên luôn được bảo mật liên tục và bảo trì thường xuyên từ công ty cung cấp internet FPT

1.3.2 Các thiết bị input, output, và máy chủ

Công ty có hệ thống máy chủ nhằm quản lí các địa chỉ IP máy tính cá nhân của nhân viên truy cập vào các trang website lạ và nhằm khắc phục các tình trạng bị hacker hay các trục trặc của các máy tính cá nhân khác trong công ty

Hình 1.3: Tốc độ internet nhà cung cấp mạng FPT

Mặt khác, ngoài giờ làm việc, phần mểm của công ty được đăng nhâp bằng địa chỉ trình duyệt trên web và bảo mật trên clould, không cố định tại một máy tính cho nhân viên Nhân viên vẫn có thể đăng nhập vào phần mềm để làm việc và quản lí, nhập xuất các dữ liệu ngay tại máy tính cá nhân tại nhà, giúp giảm bớt áp lực và tăng năng suất hoạt động cho mỗi nhân viên, kiểm soát được các số liệu một cách chi tiết, cụ thể và kịp thời

Các thiết bị phần cứng dùng để bắt được truyền mạng như máy tính để bàn tại công ty cho mỗi nhân viên, hoặc các thiết bị thông minh như Table, Ipad, smartphone, laptop có thể bắt được mạng thì đều có thể truy cập vào phần mềm một cách trực tuyến nhằm tiết kiệm thời gian

và đảm bảo thông tin luôn mạch lạc và rõ ràng

1.4 Phân tích nền tảng phần mềm

1.4.1 Ứng dụng

Phần mềm mà công ty Masan Nutri Scence (công ty con thuộc tập đoàn của Masan Group) hiện đang sử dụng là phần mềm Meat Deli - quản lí dữ liệu thông tin số lượng thịt heo

mà công ty bán ra tại các cửa hàng trên toàn quốc giúp cấp trên dễ theo dõi và xử lí

Phần mềm dễ sử dụng, không cần phải cài đặt, và có thể dùng trực tiếp trên website từ các thiết bị thông minh Là công ty đa lĩnh vực từ các ngành trong sản xuất thực phẩm là thịt heo, Masan Group sử dụng phần mềm trên nền tảng của Microsoft Dynamic 365 và được tùy biến thành phần mềm Meat Deli cho phù hợp với công ty

Hình 1.3: Giao diện bên ngoài của phần mềm Meat Deli

Hình 1.4: Giao diện phân bố theo vùng của phần mềm Meat Deli

Hình 1.5: Danh mục các mặt hàng thịt của Masan

Microsoft cung cấp gói chuẩn toàn cầu với cơ sở dữ liệu (database) trên cloud Sau đó được công ty chuyên phần mềm FPT nhận tùy biến (customize) theo nhu cầu của công ty Masan Phần mềm chủ yếu dùng Dynamic 365 để nhập liệu và Power Pi để phân tích

1.4.2 Nhân lực để vận hành

Mặc dù phần mềm rất tiện lợi, dễ sử dụng và không cần cố định một chỗ cho một thiết bị Song, mỗi nhân viên sử dụng phần mềm đều phải được training từ 2-3 buổi thì mới có thể sử dụng phần mềm bởi vì Microsoft là phần mềm nước ngoài, giao diện chính bằng tiếng anh và ít khi được tùy biến nên các bậc “tiền bối lão làng” có tuổi ít tiếp xúc với công nghệ và không thành thạo tiếng Anh thì cảm thấy rất khó để sử dụng

Phần mềm Meat Deli là phần mềm từ Microsoft Dynamic 365 nên phần mềm Meat Deli

là phần mềm tiên tiến nhất, vì vậy chỉ có các doanh nghiệp lớn mới sử dụng với mong muốn để niêm yết cổ phiếu của mình lên sàn chứng khoán và việc này tốn rất nhiều chi phí để vận hành, các doanh nghiệp quy mô vừa và nhỏ không thể triển khai

Công ty còn rất nhiều mềm khác như Oracle, EBS, Emobiz cho nhân viên kinh doanh đi bán hàng tiến hành nhập liệu rồi sau đó chuyển dữ liệu về công ty Các phần mềm hỗ trợ như SAP, Oracle, Microsoft chỉ có doanh nghiệp lớn mới có khả năng kiểm soát được và kiểm toán một cách dễ dàng hơn các doanh nghiệp vừa và nhỏ

1.4.3 Chi phí bảo trì

Trong quá trình triển khai cho nhân viên sử dụng, công ty phải trả phí triển khai cho phía công ty FPT trong quá trình sử dụng Mỗi năm, công ty phải trả phí bảo trì, sửa lỗi phần mềm và xây dựng thêm báo cáo với chi phí cho mỗi báo cáo khá cao

1.5 Cách thức họ thu thập, lưu trữ và xử lý dữ liệu như thế nào?

MSN RETAIL

Version Date Description Author

1.0 12-Mar-2018 First version LVTruong

1.5.1 Kiến trúc

Đây là kiến trúc chính, ngoài ra còn có Flow từ EBS > OMCS

Hình 1.6: Quy trình xử lý data warehouse của Meat Deli

Từ phần mềm Microsoft Dynamic 365 (Meat Deli): đó chính là giao diện để người sử dụng (user) nhập liệu vào > database (ở đây dùng Azure là database trên cloud) > sau đó dùng Microsoft Power BI cho việc vẽ biểu đồ

Hình 1.7: Tùy biến (customize) từ phần mềm Microsoft Dynamic 365 đến Power BI

1.5.2 Scope of control

Bao gồm: Dynamic 365 Retail, Azure, SFTP Server, OMCS và Power BI

Hình 1.8: Schedule time Tổng quan:

1 Data Extract từ D365 về Azure (Azure SQL Server Database)

2 Export – Import Data từ Azure SQL Server Database tới Azure BLOB, ngược lại

khi lấy dữ liệu từ OMCS lên để sử dụng với BLOB là một dịch vụ hay đơn giản là một công cụ

cho phép lưu trữ dữ liệu không cấu trúc trên cloud Mỗi dữ liệu đưa lên để lưu trữ thì ta coi đó

như một object, có thể là text, dữ liệu nhị phân, các document hay media file, hoặc là các file cài

đặt … Blob storage hay còn được gọi là Object storage Azure Blog Storage là NON-SQL

Database

3 Transfer Data từ Azure BLOB tới EC2 (10.1.241.195) và tới SFTP Server

i_msan01@vmsodmsan519.oracleoutsourcing.com), và ngược lại

4 ETL Data vào hệ thống OMCS, Src là file csv trên SFTP Server

5 Visualization: Power BI và OBIEE

1.5.2.1 Data Extract từ D365 về Azure (Azure SQL Server Database)

Bước 1: Đăng nhập vào phần mềm Microsoft Dynamic 365 bằng cách nhập vào địa chỉ

website: https://meathanam.operations.dynamics.com/?cmp=160&mi=DefaultDashboard

(Vì lí do bảo mật thông tin của công ty, nhân viên công ty không được phép tiết lộ hoặc cung cấp user và password cho bất kì ai để truy cập vào phân mềm của công ty)

Trên trang chủ là các Module sử dụng trong chương trình

Hoặc có thể vào Module bằng cách click vào Menu bên góc trái

Các tính năng chi tiết trong Module như sau:

Hình 1.9: Các tính năng chi tiết trong module Bước 2: Truy vấn danh mục sản phẩm cần tìm

Ở bước này có thẻ tìm tên sản phẩm theo từ khóa mình muốn tìm

Chọn tùy chọn click vào New/Delete ở góc màn hình :

 New : để thêm 1 sản phẩm mới

 Delete : để xóa sản phẩm đang chọn

Nhập vào Số hiệu sản phẩm, Tên, Từ khóa để tìm kiếm, chọn loại sản phẩm tương ứng Nhấn OK để lưu lại, hoặc Cancel nếu không muốn lưu nữa

Tiếp tục đăng nhập vào Microsoft Azure để xem dữ liệu trong database (database on cloud)

Bước 3: Vào Data Management để xem thiết lập job

Thời gian chạy hiện tại: Hourly – phút thứ 15 – request time 10p > phút 25 Run

Hình 1.10: Các bước hướng dẫn trên giao diện Data Management

1.5.2.2 Export – Import Data từ Azure SQL Server Database tới Azure BLOB

Sử dụng Azure Data Factory để thực hiện ETL Data từ Dynamic 365 (D365)  Oracle

(OMCS) là kho dataware house của doanh nghiệp

Bước 1: Truy cập vào Azure https://portal.azure.com

Bước 2: Viết các câu lệnh để truy vấn dữ liệu từ SQL của công ty

 Có thể tìm kiếm trực tiếp trên kết quả truy vấn

 Hoặc xuất dữ liệu ra thành file (csv, )

Bước 3: Quay trở lại phần mềm Meat Deli, kiểm tra một đơn hàng mới:

Với một đơn hàng gồm 2 phần :

 Master (hay Header) : Thông tin chung về đơn hàng

 Detail (hay Lines) : Thông tin về các sản phẩm trong đơn hàng (Tên SP, số lượng, đơn giá, )

Click :

 New : để thêm 1 đơn hàng mới

 Edit : để sửa đơn hàng đang chọn

 Delete : để xóa đơn hàng đang chọn

Từ dữ liệu đơn hàng có thể viết các câu truy vấn để thống kê 1 số thông tin cần biết như tổng số lượng bán, tổng thành tiền bán của từng mặt hàng trong cùng 1 tháng,

Bước 4: Chọn dữ liệu file cần thực hiện trên ETL và xuất dữ liệu

Hình 1.11: Các bước chọn tập tin dữ liệu cần nhập trên ETL Bước 5: Truy cập Azure Data Factory

Hình 1.12: Chọn dữ liệu Azure Data Factory Bước 6: Chọn export và import Job

Hình 1.13: Nhập và xuất các trạng thái jobs

Hình 1.14: Monitor – check trạng thái jobs Bước 7: Tổng quan job pipeline

1.5.2.3 Transfer Data từ Azure BLOB tới EC2 (10.1.241.195) và tới SFTP Server

ETLData vào hệ thống OMCS, Src là file csv trên SFTP Server

Bước 1: Vào Remote Prod: vmsodmsanp10.oracleoutsourcing.com

Bước 2: Mở ODI

1.5.2.4 Visualization

Bên cạnh đó cũng sử dụng thêm Microsoft Power BI để vẽ thành các chart, các dashboard để minh hoạ trực quan hơn về số liệu Từ đó hỗ trợ cho các cấp quản lý có cái nhìn tổng quát để dễ dàng ra quyết định hơn

 Trên PowerBI

Truy cập: https://powerbi.microsoft.com

a) Dashboard

2 dashboard: Nationwide – Sales and Inventory Retail (Direct to D365) và Vinmart

Analysis (Data to OMCS)

b) Report

c) Dataset

Expect! Mọi người dùng chung 1 dataset duy nhất để deploy report

 Trên OBIEE

Truy cập: https://prod-bi.mscapps2.net/analytics

a) Dashboard

b) Report

1.6 Phân tích ƣu và nhƣợc điểm của hệ thống đó và đề xuất các giải pháp

1.6.1 Ƣu điểm

 Dùng được mọi lúc, mọi nơi và sử dụng dữ liệu từ hệ thống đám mây Cloud

 Không cần phải cài đặt chương trình, hệ thống phần mềm sẽ tự update

 Không mất thời gian và chi phí để Update

 Phần mềm quản lí nhập xuất tồn dữ liệu về bán thịt heo => Kiểm soát số lượng tồn kho

để biết xuất hàng

 Cấp trên dễ quản lí các dữ liệu của các cửa hàng trên toàn hệ thống

 Truy vấn chỉ ra các file Excel (báo cáo) dạng đồ thị các dữ liệu cho công ty như Top 10 Customer mua gì hay Power BI

PHẦN 2: PHÂN TÍCH DỮ LIỆU

2.1 Giải quyết vấn đề bằng công cụ là phần mềm VS CODE trên nền ANACONDA để dự báo giá nhà tại Thành phố Boston

Bước 1: Mở folder lưu bộ dữ liệu cần chạy

Chọn This PC  New Volume (D:)  Data (Folder Data là nơi lưu bộ dữ liệu cần chạy)

Bước 2:

Bước 2.1: Click chuột vào dòng đường dẫn This PC  New Volume (D:)  Data

Bước 2.2: Sau đó g CMD thay thế cho dòng đường dẫn trên  Nhấn Enter

Bước 2.3: Thu được kết quả như sau

Bước 3:

Bước 3.1: Ngay con trỏ chuột ở bước 2.3, g “code ”  Enter

Bước 3.2: Thu được kết quả là bộ dữ liệu đã được nạp lên phần mềm VS Code

Bước 4:

Bước 4.1: Vào Search, g và chọn “Anaconda Prompt”

Bước 4.2: Thu được kết quả như sau

Bước 4.3: Ngay con trỏ chuột đang nhấp nháy trên cửa sổ Anaconda Prompt, g “D:” 

Enter

Bước 4.4: Vào lại đường dẫn chứa folder bộ dữ liệu  Chọn Back  Chọn Forward 

Nhấp vào đường dẫn This PC  New Volume (D:)  Data sẽ hiện ra dòng “D:\Data”  Copy

“D:\Data”

Bước 4.5: Mở lại cửa sổ Anaconda Prompt, ngay chỗ con trỏ chuột nhấp nháy, g

“cd D:\Data”  Enter

Bước 4.6: Ngay chỗ con trỏ chuột nhấp nháy tiếp theo, g “python”  khoảng trắng 

nhấn 2 lần phím Tab để hiện ra “regression.py”

Bước 4.7: Nhấn Enter, các dòng dữ liệu sẽ được xử lý trong khoảng 10 giây và cho ra kết

quả như sau