CHƯƠNG 1: MỞ ĐẦU 1.1. Lý do chọn đề tài Trước hết, công ty TNHH Thương mại và Dịch vụ Logistic Minh Quân hoạt động trong lĩnh vực giao thông vận tải, và hệ thống khách hàng của công ty chứa đựng một lượng lớn dữ liệu về khách hàng. Dữ liệu này bao gồm thông tin cá nhân, hành vi tiêu dùng, lịch sử mua hàng và phản hồi khách hàng. Qua việc phân tích dữ liệu này, chúng ta có thể nhận thấy giá trị và quan trọng của việc hiểu rõ hơn về đặc điểm và xu hướng của khách hàng. Điều này có thể giúp chúng ta xác định các nhóm khách hàng, sở thích, nhu cầu và hành vi tiêu dùng của họ, từ đó tạo ra những phản hồi và chiến lược kinh doanh phù hợp. Một lợi ích quan trọng khác của việc phân tích dữ liệu hệ thống khách hàng là khả năng tối ưu hóa quản lý khách hàng. Bằng cách hiểu rõ hơn về nhóm khách hàng và các yếu tố ảnh hưởng đến hài lòng của khách hàng, chúng ta có thể tăng cường sự tương tác và xây dựng mối quan hệ lâu dài với khách hàng. Việc cải thiện dịch vụ và tương tác khách hàng không chỉ giúp tăng cường sự hài lòng của khách hàng, mà còn đóng góp vào sự phát triển bền vững và tăng trưởng lâu dài của công ty. Ngoài ra, phân tích dữ liệu hệ thống khách hàng cũng giúp chúng ta tối ưu hóa chiến lược kinh doanh. Bằng cách đánh giá hiệu suất kinh doanh hiện tại và định hướng phát triển tương lai, chúng ta có thể xác định các khuynh hướng mua hàng, tiềm năng thị trường và đánh giá sự thành công của các chiến dịch tiếp thị và quảng cáo. Việc hiểu rõ về khách hàng và thị trường giúp chúng ta điều chỉnh chiến lược kinh doanh, tối ưu hóa nguồn lực và đạt được hiệu quả cao hơn trong hoạt động kinh doanh.
TỔNG QUAN VỀ ĐƠN VỊ THỰC TẬP
Thông tin về đơn vị thực tập
-Tên công ty: Công ty TNHH Thương Mại và Dịch Vụ Logistic Minh Quân
- Tên quốc tế: Minh Quan Logistic Trading and Services Company Limited
- Tên viết tắt: MINH QUAN LOGISTICS CO., LTD
- Địa chỉ: Số 6/26/133 Lương Khánh Thiện, Phường Cầu Đất, Quận Ngô Quyền, Thành phố Hải Phòng, Việt Nam
- Người đại diện: Thái Văn Quang
- Email: thaiquang.minhquanlogistics@gmail.com
- Quản lý bởi: Chi cục Thuế khu vực Ngô Quyền - Hải An
- Loại hình DN: Công ty trách nhiệm hữu hạn 2 thành viên trở lên ngoài NN
- Tình trạng: Đang hoạt động (đã được cấp GCN ĐKT)
Hình ảnh 1 Văn phòng làm việc của Công ty TNHH Minh Quân Logistic
Sơ lược về sự hình thành và phát triển
Công ty TNHH thương mại và dịch vụ logistic Minh Quân được thành lập vào ngày 31 tháng 08 năm 2022, nhanh chóng trở thành chuyên gia hàng đầu tại Việt Nam trong quản lý chuỗi cung ứng Chúng tôi cung cấp dịch vụ logistics toàn diện, bao gồm hậu cần ô tô, hàng dễ hư hỏng, xuyên biên giới và dịch vụ kho bãi Minh Quân Logistic cam kết thiết kế các giải pháp hậu cần thông minh và khả thi, đáp ứng linh hoạt từng yêu cầu của khách hàng.
Tổ chức và các lĩnh vực hoạt động
2.3.1 Mục tiêu hoạt động của Minh Quân Logistic
Chúng tôi hướng đến việc trở thành công ty hậu cần hàng đầu tại Việt Nam bằng cách cung cấp dịch vụ giá trị gia tăng cao, tạo ra lợi ích bền vững cho khách hàng, nhân viên và cổ đông Đồng thời, chúng tôi cam kết duy trì tốc độ cao và sự linh hoạt để thích ứng với những thay đổi trong môi trường kinh doanh.
2.3.2 Lĩnh vực hoạt động và ngành nghề kinh doanh của Minh Quân Logistic
- Bán buôn ô tô và xe có động cơ khác
- Đại lý, môi giới, đấu giá
- Bán buôn nông , lâm sản , nguyên liệu ( trừ gỗ, tre, nứa) và động vật sống
- Bán buôn vải, hàng may sẵn, giày dép
- Bán buôn đồ dùng khác cho gia đình
- Bán lẻ hàng hóa khác mới trong các cửa hàng chuyên doanh
- Vận tải hàng hóa đường sắt ( trừ hóa lỏng khí để vận chuyển )
- Vận tải hàng hóa bằng đường bộ (trừ hóa lỏng khí để vận chuyển)
- Kho bãi và lưu giữ hàng hóa
- Bốc xếp hàng hóa ( trừ bốc xếp hàng hóa cảng hàng không)
- Hoạt động dịch vụ hỗ trợ trực tiếp cho vận tải đường bộ (trừ hóa lỏng khí để vận chuyển)
- Hoạt động dịch vụ khác liên quan đến vận tải
- Lập trình máy tính ( sản xuất phần mềm )
Tầm nhìn và Sứ mệnh
Công ty chúng tôi tự hào là một trong những đơn vị hàng đầu trong lĩnh vực logistics và vận chuyển hàng hóa, cam kết cung cấp dịch vụ xuất sắc và tạo ra giá trị bền vững cho khách hàng và đối tác.
Công ty hướng tới việc xây dựng một mạng lưới toàn cầu, nhằm phục vụ khách hàng ở mọi quy mô và lĩnh vực Mục tiêu của công ty là trở thành đối tác tin cậy trong việc đáp ứng các yêu cầu phức tạp của khách hàng.
Tiếp tục đổi mới và áp dụng công nghệ tiên tiến nhằm nâng cao hiệu quả và tối ưu hóa quy trình chuyển giao công trình Đồng thời, duy trì và phát triển môi trường làm việc sáng tạo cùng đội ngũ nhân viên tài năng.
Tạo một môi trường đối tác lâu dài và tin tưởng với khách hàng, đối tác và nhà cung cấp.
Chúng tôi cam kết cung cấp dịch vụ vận chuyển hàng hóa và hậu cần chất lượng cao, đảm bảo an toàn và đáp ứng yêu cầu đặc thù của từng ngành Đội ngũ nhân viên được đào tạo bài bản và quy trình làm việc liên tục được cải thiện nhằm mang lại sự hài lòng cho khách hàng Bên cạnh đó, chúng tôi tận dụng công nghệ và đổi mới để phát triển các giải pháp chuyển đổi khí hậu và hậu cần bền vững, tìm kiếm những cách thức tối ưu hóa hoạt động và áp dụng công nghệ thông minh, giúp khách hàng nâng cao hiệu quả và khả năng cạnh tranh trên thị trường.
Sứ mệnh của chúng tôi là cung cấp dịch vụ vận chuyển và hậu cần hàng đầu, đồng thời hỗ trợ khách hàng và đối tác trong việc phát triển bền vững Chúng tôi cam kết giúp khách hàng tối đa hóa giá trị kinh doanh, nâng cao độ tin cậy và giảm thiểu rủi ro.
Bảo vệ môi trường: Chúng tôi cam kết hành động có trách nhiệm với môi trường.
Sứ mệnh của chúng tôi là giảm thiểu tác động tiêu cực đến môi trường bằng cách áp dụng các giải pháp xanh, sử dụng phương tiện chuyển đổi bền vững và thực hiện mô hình hoạt động có trách nhiệm.
Thông tin về vị trí sinh viên tham gia thực tập
- Vị trí thực tập: Data Analyst tại Công ty TNHH thương mại và dịch vụ logistic Minh Quân
- Đặc điểm: Xây dựng biểu đồ báo cáo doanh nghiệp
+ Có kiến thức cơ bản về Excel, SQL, Python, Data Visualization
+ Có kiến thức thống kê, kỹ năng viết và giao tiếp
+ Kiến thức cơ bản về Machine Learning, Deep learning.
TỔNG QUAN DATA ANALYST VÀ DATA WAREHOUSE
Giới thiệu về công việc Data Analyst
Chuyên viên phân tích dữ liệu là người chịu trách nhiệm thu thập và phân tích thông tin quan trọng từ dữ liệu Họ sử dụng các công cụ và kỹ thuật phân tích để tạo ra báo cáo và đề xuất hỗ trợ quyết định kinh doanh Nhà phân tích dữ liệu thường làm việc trong các lĩnh vực như tiếp thị, tài chính, y tế, và giáo dục, nơi dữ liệu đóng vai trò quan trọng trong hoạt động và quản lý.
3.1.2 Công việc của Data Analyst trong doanh nghiệp
Công việc của Data Analyst yêu cầu kiến thức vững về phân tích dữ liệu, cùng với sự thành thạo trong các công cụ và phương pháp phân tích Họ cũng cần biết sử dụng ngôn ngữ lập trình và phần mềm phân tích dữ liệu Ngoài ra, khả năng giao tiếp tốt, tư duy logic và phân tích là rất quan trọng, giúp họ đưa ra các giải pháp và quyết định dựa trên thông tin từ dữ liệu.
Hình ảnh 3 Quy trình làm việc của Data Analyst
Thu thập dữ liệu là quá trình lấy thông tin từ nhiều nguồn khác nhau, bao gồm cơ sở dữ liệu, dịch vụ đám mây, tập tin Excel và các hệ thống thông tin khác.
Xử lý và chuẩn hóa dữ liệu là bước quan trọng để đảm bảo tính nhất quán và chính xác của thông tin Quá trình này bao gồm việc loại bỏ dữ liệu trùng lặp, bổ sung các giá trị bị thiếu và kiểm tra tính toàn vẹn của dữ liệu.
Phân tích dữ liệu là quá trình sử dụng các công cụ và phương pháp để khám phá, hiểu rõ các mô hình và xu hướng, cũng như tìm ra những thông tin tiềm năng từ dữ liệu.
Dựa trên phân tích dữ liệu, chúng tôi tạo ra báo cáo và đề xuất hỗ trợ các bộ phận quản lý và nhóm thực hiện công việc trong việc ra quyết định Báo cáo có thể được trình bày dưới dạng biểu đồ, đồ thị hoặc tài liệu thông tin.
Theo dõi và đánh giá hiệu suất là quá trình quan trọng trong việc phân tích hiệu quả của các chiến dịch, sản phẩm hoặc dự án Qua việc xác định các chỉ số hiệu suất, chúng ta có thể đưa ra những đề xuất thiết thực nhằm cải thiện và tối ưu hóa kết quả.
Công cụ xử lý dữ liệu Visual Studio 2019
Visual Studio là một hệ thống toàn diện hỗ trợ phát triển ứng dụng, bao gồm trình chỉnh sửa mã, thiết kế, gỡ lỗi và viết code Phần mềm này giúp lập trình viên dễ dàng và nhanh chóng lập trình website, đồng thời cho phép người dùng thiết kế và trải nghiệm giao diện tương tự như khi phát triển ứng dụng.
Visual Studio 2019 hỗ trợ sử dụng trên nhiều nền tảng khác nhau.
Hình ảnh 4 Phần mềm Visual Studio
3.2.2 Đặc điểm nổi bật của Visual Studio
Visual Studio là công cụ hữu ích cho chuyên gia phân tích và quản lý dữ liệu trong việc chuẩn bị dữ liệu trước khi phân tích và trực quan hóa trong Tableau Dưới đây là những đặc điểm nổi bật của Visual Studio.
Hỗ trợ đa ngôn ngữ lập trình giúp dễ dàng phát hiện lỗi và tham chiếu ngôn ngữ chéo, nâng cao hiệu quả lập trình.
Tiện ích mở rộng của Visual Studio giúp tối ưu hóa quá trình phát triển ứng dụng mà không làm giảm hiệu suất của trình soạn thảo, mang lại trải nghiệm lập trình mượt mà và hiệu quả hơn.
+ Thiết kế đa dạng: Visual Studio cung cấp một số visual designer để trợ giúp trong việc phát triển các ứng dụng
Mapping Designer là công cụ được LINQ to SQL sử dụng để thiết kế mối quan hệ giữa các lược đồ thông tin, từ đó giúp các lớp (class) đóng gói và quản lý dữ liệu một cách hiệu quả.
Data Designer là công cụ quan trọng giúp chỉnh sửa lược đồ thông tin, bao gồm các bảng, khóa chính, khóa ngoại và các ràng buộc (constraint) trong cơ sở dữ liệu.
Công cụ trực quan hóa dữ liệu Tableau
Tableau là phần mềm mạnh mẽ dành cho phân tích và trực quan hóa dữ liệu, được sử dụng phổ biến trong lĩnh vực Business Intelligence (BI) Công cụ này giúp chuyển đổi dữ liệu từ các dãy số thành hình ảnh và biểu đồ trực quan, cho phép người dùng xây dựng dashboard và thực hiện các phân tích tự phục vụ hiệu quả.
Hình ảnh 5 Hình ảnh phần mềm Tableau
3.3.2 Các tính năng nổi bật của Tableau
- Quản lý siêu dữ liệu
- Hỗ trợ phân tích dữ liệu với Big Data.
- Dễ dàng xây dựng các Business Dashboard.
- Khám phá dữ liệu hoạt động của doanh nghiệp.
- Xây dựng các tài liệu về dữ liệu hoạt động (Data Stories).
- Tính năng mô phỏng dữ liệu (Data visualization).
- Phân tích dữ liệu của mạng xã hội.
- Hỗ trợ các thiết bị di động.
- Tích hợp với ngôn ngữ R.
- Phân tích theo thời gian.
3.3.3 Các loại biểu đồ thường dùng trong Tableau
Biểu đồ dạng thanh (bar chart) là một trong những loại biểu đồ phổ biến nhất, thường được sử dụng để so sánh giá trị của nhiều mục khác nhau thông qua sự chênh lệch độ dài của các thanh Ngoài ra, nó cũng được áp dụng để theo dõi sự khác biệt hoặc sự phát triển của một danh mục theo thời gian.
Hình ảnh 6 Minh họa biểu đồ dạng thanh (Bar Chart)
Biểu đồ đường là một công cụ phổ biến trong trực quan hóa dữ liệu, thường được sử dụng để thể hiện sự biến động của dữ liệu theo thời gian Loại biểu đồ này rất hữu ích khi làm việc với các bộ số liệu lớn hoặc liên tục.
Biểu đồ tròn, hay còn gọi là biểu đồ bánh, giống như một miếng pizza được chia thành nhiều phần Nó thể hiện dữ liệu dưới dạng các phần của hình tròn với kích thước và màu sắc khác nhau Mỗi phần đều được gán nhãn, và số liệu tương ứng có thể được hiển thị trong biểu đồ theo mong muốn.
Hình ảnh 8 Minh họa biểu đồ hình tròn (Pie Chart)
Biểu đồ Pareto là một công cụ trực quan bao gồm cột và đường thẳng, trong đó các giá trị độc lập được sắp xếp theo thứ tự giảm dần và các giá trị tổng tích lũy được thể hiện bằng đường thẳng Mục đích chính của biểu đồ này là xác định nguyên nhân quan trọng nhất trong một nhóm nguyên nhân, giúp tối ưu hóa quy trình và đưa ra quyết định hiệu quả hơn.
Hình ảnh 9 Minh họa biểu đồ Pareto
Biểu đồ donut là một biến thể của biểu đồ hình tròn (pie chart) và có thể dễ dàng tạo ra sau khi hoàn thành biểu đồ hình tròn.
Hình ảnh 10 Minh họa biểu đồ Donut Chart
Biểu đồ dumbbell, còn được gọi là biểu đồ DNA, là một lựa chọn hiệu quả để minh họa sự thay đổi giữa hai điểm dữ liệu thông qua các kết nối giữa chúng.
Hình ảnh 11 Minh họa biểu đồ Dumbbell Chart
Biểu đồ Gantt là công cụ phổ biến để thể hiện lịch trình dự án, giúp hiển thị thời gian diễn ra các sự kiện và hoạt động theo thứ tự thời gian.
Lý thuyết về xây dựng kho dữ liệu
3.4.1 Các khái niệm cơ bản về kho dữ liệu
3.4.1.1 Kho dữ liệu - Data Warehouse
Kho dữ liệu (Data Warehouse - DW) là tập hợp các cơ sở dữ liệu tích hợp theo chủ đề, nhằm hỗ trợ các quyết định kinh doanh Mỗi đơn vị dữ liệu trong kho lưu trữ này liên quan đến một khoảng thời gian cụ thể, giúp phân tích và đưa ra thông tin chính xác cho người dùng.
Công nghệ kho dữ liệu (Data Warehouse Technology) bao gồm các phương pháp, kỹ thuật và công cụ hỗ trợ lẫn nhau, giúp cung cấp thông tin cho người sử dụng từ nhiều nguồn dữ liệu và môi trường khác nhau, theo John Ladley.
Công nghệ Kho dữ liệu được thiết kế để đáp ứng nhu cầu thông tin của người dùng, hỗ trợ nhân viên tổ chức làm việc hiệu quả hơn Nó giúp đưa ra quyết định nhanh chóng, tăng doanh số bán hàng, năng suất sản xuất và lợi nhuận Hơn nữa, Kho dữ liệu cho phép tổ chức quản lý và điều hành dự án một cách chính xác, đồng thời tích hợp dữ liệu và siêu dữ liệu từ nhiều nguồn khác nhau.
Kho dữ liệu có kích thước lớn, từ hàng trăm gigabyte đến hàng terabyte, được thiết kế để dễ dàng truy cập từ nhiều nguồn và các loại dữ liệu khác nhau Mục tiêu của kho dữ liệu là kết hợp ứng dụng công nghệ hiện đại với các hệ thống kế thừa trước đó.
3.4.1.2 Đặc tính của kho dữ liệu
Quản lý dữ liệu tập trung vào tổ chức, lưu trữ và xử lý thông tin theo từng chủ đề cụ thể, giúp dễ dàng xác định thông tin cần thiết cho các hoạt động Mỗi chủ đề trong tổ chức được kết nối với các khóa đại diện và lưu trữ tại cùng một vị trí, tạo điều kiện thuận lợi cho việc truy xuất và sử dụng dữ liệu hiệu quả.
Kho dữ liệu có khả năng tích hợp dữ liệu từ nhiều nguồn khác nhau như cơ sở dữ liệu quan hệ, hệ thống tập tin và ứng dụng bên ngoài Điều này giúp tổng hợp thông tin từ các hệ thống giao dịch và tạo ra một tập dữ liệu toàn diện.
Chuẩn hóa dữ liệu là quy trình quan trọng trong kho dữ liệu, giúp đảm bảo tính nhất quán và đồng nhất của thông tin Quá trình này bao gồm việc loại bỏ dữ liệu trùng lặp, xử lý các trường hợp dữ liệu thiếu và điều chỉnh định dạng dữ liệu để phù hợp với yêu cầu phân tích.
Kho dữ liệu có khả năng lưu trữ lớn, được thiết kế để quản lý một khối lượng dữ liệu khổng lồ Nó thường áp dụng các phương pháp lưu trữ tối ưu hóa nhằm đảm bảo hiệu quả trong việc truy xuất dữ liệu và đạt được tốc độ xử lý cao.
Kho dữ liệu cho phép thực hiện các truy vấn phức tạp và phân tích dữ liệu hiệu quả Nó cung cấp các công cụ cần thiết để thực hiện các truy vấn OLAP (Online Analytical Processing), giúp người dùng phân tích dữ liệu từ nhiều góc độ khác nhau.
Kho dữ liệu được cập nhật thường xuyên từ nhiều nguồn khác nhau thông qua các quy trình ETL (Extract, Transform, Load), giúp trích xuất, biến đổi và chuẩn hóa dữ liệu trước khi tải vào kho.
Kho dữ liệu cho phép xử lý và phân tích quy mô lớn, hỗ trợ thực hiện các phân tích phức tạp như khai phá dữ liệu, phân tích đa chiều, dự đoán và khám phá tri thức.
Bảo mật và quản lý dữ liệu là yếu tố quan trọng trong kho dữ liệu, với các chính sách được thiết lập nhằm đảm bảo tính bảo mật, riêng tư và tuân thủ quy định Để bảo vệ dữ liệu, kho dữ liệu áp dụng các biện pháp bảo mật như mã hóa, kiểm soát truy cập và giám sát liên tục.
Kho dữ liệu cho phép lưu trữ một khối lượng lớn dữ liệu lịch sử dưới dạng các bản sao, mỗi bản sao tương ứng với giá trị của dữ liệu tại một thời điểm nhất định Điều này mang lại cái nhìn rõ ràng về một chủ đề trong một giai đoạn cụ thể và cho phép khôi phục dữ liệu lịch sử, so sánh các giai đoạn khác nhau một cách chính xác Yếu tố thời gian đóng vai trò quan trọng như một phần của khóa, đảm bảo tính duy nhất của mỗi bản ghi và cung cấp thông tin về thời gian cho dữ liệu Dữ liệu không cần phải chính xác tại thời điểm truy cập mà chỉ cần có hiệu lực trong khoảng thời gian nhất định, thường từ 5 đến 10 năm hoặc lâu hơn Dữ liệu từ hệ thống quản lý cơ sở dữ liệu tác nghiệp sẽ trở thành dữ liệu lịch sử và được chuyển vào kho dữ liệu, đảm bảo lưu trữ hợp lý theo các chủ đề cần thiết.
3.4.1.3 Các yêu cầu chức năng của kho dữ liệu
Kho dữ liệu có khả năng mở rộng linh hoạt, cho phép lưu trữ và quản lý khối lượng lớn giao dịch và dữ liệu tổng hợp Nó có thể dễ dàng mở rộng theo thời gian, bổ sung dữ liệu mới hoặc lưu trữ dữ liệu lịch sử trong thời gian dài mà không gặp phải vấn đề về tải trọng, đồng thời vẫn duy trì tính ổn định trong hoạt động.
Khả năng quản trị: Kho dữ liệu có khả năng quản trị để đưa ra các quyết định liên quan.
Kho dữ liệu luôn sẵn sàng sử dụng bất kỳ lúc nào, đảm bảo khả năng sẵn sàng cao Bên cạnh đó, kho dữ liệu cũng dễ dàng mở rộng để tích hợp thêm các loại dữ liệu mới, dữ liệu kết hợp và dữ liệu tổng hợp, giúp tối ưu hóa hiệu suất và tính linh hoạt trong quản lý thông tin.
Khả năng linh hoạt: Hỗ trợ nhiều phương pháp truy cập vào dữ liệu chi tiết và dữ liệu tổng hợp để phân tích theo nhiều chiều.
TRIỂN KHAI KHO DỮ LIỆU
Thực trạng hiện nay của doanh nghiệp
Trong bối cảnh hội nhập kinh tế quốc tế, ngành Logistics đã khẳng định vai trò quan trọng trong việc tạo ra giá trị gia tăng cao Ngành này không chỉ liên kết chặt chẽ với sản xuất hàng hóa, xuất nhập khẩu và thương mại nội địa, mà còn góp phần phát triển hạ tầng giao thông vận tải và công nghệ thông tin.
Hiện tại, ứng dụng công nghệ thông tin tại công ty đang gặp khó khăn do tính không đồng bộ và phân tán, ảnh hưởng đến công tác báo cáo và ra quyết định kinh doanh Công ty đang sử dụng nhiều hệ thống khác nhau như Tài chính, Nhân sự, Tài sản thị trường và Khách hàng, dẫn đến sự bất nhất trong kết quả thông tin và gây khó khăn trong việc tổng hợp báo cáo Đặc biệt trong ngành Logistics, sự phức tạp của các hệ thống như DATA, PAYMENT, GMAIL khiến việc theo dõi tổng thể trở nên khó khăn Do đó, công ty cần một hệ thống tích hợp dữ liệu thống nhất, giúp lưu trữ, tổ chức và liên kết thông tin sản xuất kinh doanh một cách hiệu quả và theo dõi theo chu kỳ thời gian.
Mục tiêu của đề tài là xây dựng kho dữ liệu tích hợp, tập hợp các dữ liệu khách hàng của công ty nhằm phục vụ cho phân tích kinh doanh, đảm bảo đáp ứng các tiêu chí đã đề ra.
- Khả năng tích hợp dữ liệu từ nhiều hệ thống nghiệp vụ khách nhau trong lĩnh vực Logistics.
- Nâng mức tiêu dùng của khách hàng sao cho lợi nhuận mang lại lớn nhất.
- Đưa ra chiến lược kinh doanh.
Xác định xu hướng hiện tại là bước quan trọng để phát triển các dịch vụ mới và cải thiện chất lượng dịch vụ, nhằm đáp ứng nhu cầu trong tương lai.
- Nâng cao chất lượng dịch vụ hiện Công ty đang cung cấp.
- Kiểm soát được tình hình phát triển dịch vụ.
- Các hệ thống thông tin được tích hợp chặt chẽ với nhau.
- Phân tích nắm bắt được hành vi, thói quen của khách hàng để nâng cao dịch vụ chăm sóc khách hàng.
- Xác định được tương đối chính xác thị trường của đối thủ cạnh tranh.
- Hỗ trợ lãnh đạo ra quyết định nhanh và chính xác trong kinh doanh.
4.1.2 Các hệ thống hiện tại được Công ty sử dụng
Trong lĩnh vực CNTT, Công ty đã đầu tư mạnh tay vào các sản phẩm hỗ trợ tích hợp và xử lý dữ liệu, bao gồm ZSMART BI của ZTE, Power BI của Microsoft, NetWeaver BI của SAP, SAS Enterprise BI Server của SAS, Cognos của IBM và Oracle EPM của Oracle.
Quy trình hoạt động hệ thống phân tích kinh doanh của Minh Quân Logistic:
Toàn bộ dữ liệu khách hàng của Công ty sẽ được chuyển đến trung tâm dữ liệu tập trung (Data Center) để tiến hành phân tích theo một quy trình khép kín, đảm bảo tính chính xác và hiệu quả trong việc quản lý thông tin.
Hình ảnh 16 Tổng quan về quy trình lấy và phân tích dữ liệu khách hàng
Hình ảnh 17 Tổng quan luồng dữ liệu của hệ thống
- Toàn bộ dữ liệu khách hàng từ các hệ thống nghiệp vụ được chuyển về Data Center.
- Dữ liệu được làm sạch và được chuyển vào Data Warehouse để tính toán số liệu.
- Sau khi tính toán xong theo yêu cầu thì sẽ được đồng bộ hóa với hệ thống phân tích lớp trên và trình diễn.
Phân tích bài toán
4.2.1 Mô hình hóa các yêu cầu của bài toán
4.2.1.1 Phân tích về mô hình quản lý dữ liệu hiện tại của doanh nghiệp
Dữ liệu trong logistics là nguồn tài nguyên quan trọng, và quản lý hiệu quả là cần thiết để đảm bảo hoạt động doanh nghiệp Mô hình quản lý dữ liệu của Công ty Cổ phần Headway được chia thành các giai đoạn chính.
Doanh nghiệp logistic cần thu thập dữ liệu từ nhiều nguồn khác nhau, bao gồm hệ thống quản lý kho, vận chuyển, quản lý đơn hàng, thiết bị theo dõi vị trí và các nguồn dữ liệu khác Quá trình thu thập này có thể thực hiện qua máy chủ điện tử, cảm biến, đầu đọc mã vạch hoặc nhập liệu thủ công.
Lưu trữ dữ liệu là một yếu tố quan trọng trong quản lý thông tin của doanh nghiệp logistics Sau khi thu thập, dữ liệu cần được bảo quản an toàn và có hệ thống Doanh nghiệp có thể lựa chọn lưu trữ dữ liệu trên máy chủ nội bộ hoặc sử dụng dịch vụ đám mây để đảm bảo việc xử lý và quản lý dữ liệu hiệu quả.
Xử lý dữ liệu là bước quan trọng sau khi lưu trữ, giúp doanh nghiệp logistic tạo ra thông tin hữu ích cho các quy trình kinh doanh Các công cụ và phần mềm quản lý dữ liệu hỗ trợ trong việc tổ chức, làm sạch, chuyển đổi dữ liệu thành định dạng phù hợp, phân tích và tạo báo cáo.
Bảo mật dữ liệu là yếu tố thiết yếu trong quản lý dữ liệu của doanh nghiệp logistics Để bảo vệ dữ liệu khỏi các mối đe dọa như vi phạm thông tin cá nhân, tấn công mạng và truy cập trái phép, doanh nghiệp cần áp dụng các biện pháp bảo mật như mã hóa dữ liệu, kiểm tra danh tính và kiểm soát quyền truy cập.
Tích hợp dữ liệu là quá trình kết hợp thông tin từ nhiều nguồn khác nhau, nhằm tạo ra cái nhìn tổng thể về hoạt động logistics của doanh nghiệp Việc này không chỉ giúp cải thiện hiệu suất vận hành mà còn hỗ trợ quản lý trong việc đưa ra quyết định chính xác hơn.
Phân tích dữ liệu là bước quan trọng trong mô hình quản lý dữ liệu của doanh nghiệp logistic, giúp khám phá xu hướng và thông tin quý giá từ dữ liệu thu thập Áp dụng các kỹ thuật như khai thác dữ liệu, machine learning và trực quan hóa dữ liệu, doanh nghiệp logistic có thể hiểu rõ hơn về hoạt động của mình và tìm ra những cách cải thiện hiệu quả.
Mô hình quản lý dữ liệu này giúp doanh nghiệp thu thập, lưu trữ, xử lý, bảo mật và phân tích dữ liệu, từ đó tối ưu hóa quy trình vận hành và hỗ trợ ra quyết định chiến lược hiệu quả.
- Các dịch vụ vận chuyển cơ bản (Road Freight, Ocean Freight, Air Freight, Ocean-Air Freight)
- Các dịch vụ tích hợp bổ sung (Automotive Logistics, Perishable Logistics, Cross Border Logistics, Warehouse Logistics, Customs Service, Reefer Depot Service)
- Các dịch vụ đại lý (Shipping, NVOCC, ECTN, Cargo Insurance)
- Dữ liệu các chi cục hải quan
- Dữ liệu khách hàng xuất, nhập khẩu
- Dữ liệu hàng hóa xuất nhập khẩu
- Dữ liệu trị giá thuế (Mã sắc thuế 1, Mã sắc thuế 2, Mã sắc thuế 3, )
- Dữ liệu trị giá hàng hóa
- Dữ liệu trị giá hóa đơn (Tính bằng tổng trị giá hàng hóa và trị giá thuế)
- Dữ liệu thanh toán (Các phương thức thanh toán)
- Dữ liệu thời gian (Giờ, phút, ngày, tháng, năm)
Khảo sát phân tích quá trình tiếp nhận dữ liệu của Minh Quân Logistic:
STT Giai đoạn Mô tả
1 Đồng bộ dữ liệu với hệ thống nghiệp vụ
Tất cả dữ liệu được hệ thống nghiệp vụ tạo ra theo thời gian thực sẽ được chuyển đến hệ thống để tiến hành tiền xử lý và lưu trữ, bao gồm hai bước chính.
- Bước 1.1: Tải dữ liệu từ hệ thống nghiệp vụ về hệ thống
Bước 1.2 bao gồm việc thực hiện các bước tiền xử lý dữ liệu như xóa đầu số, đánh partition dữ liệu và phân biệt chiều vận chuyển, bao gồm xuất khẩu, nhập khẩu, cũng như vận chuyển trong nước và quốc tế Cuối cùng, lưu trữ kết quả vào file text.
2 Xử lý dữ liệu vào
Data Warehouse, và tạo báo cáo ngày
Bước 2.1: Cập nhật bảng dimension bằng cách thêm các dữ liệu quan trọng như phân loại hàng hóa vận chuyển, phương thức vận chuyển, danh mục cell, danh mục tỉnh/thành, cũng như danh mục khách hàng xuất, nhập khẩu từ bảng dữ liệu doanh nghiệp đã thu thập.
- Bước 2.2: Tạo bảng fact thông tin khách hàng, lưu dạng file text vào file storage
Bước 2.3: Tạo dữ liệu fact chi tiết về các dịch vụ vận chuyển, phương thức vận chuyển và vùng vận chuyển từ dữ liệu đã được tiền xử lý ở giai đoạn 1 cùng với bảng thông tin khách hàng mới tạo, sau đó lưu trữ dưới dạng file text trong hệ thống lưu trữ.
- Bước 2.4: Tạo dữ liệu fact tổng doanh thu theo ngày từ dữ liệu đã tạo trong bước 3, lưu dạng file text vào file storage
- Bước 2.5: Tạo dữ liệu analysis về doanh thu từ dữ liệu fact tổng doanh thu đã tạo trong bước 4, lưu vào data warehouse
- Bước 2.6: Tạo bảng analysis về khách hàng từ bảng fact thông tin khách hàng đã tạo ở bước 2, lưu vào data warehouse
- Bước 2.7: Tạo file OLAP Cube từ các bảng analysis đã tạo ở bước 5, bước 6
- Bước 2.8: Ghi dữ liệu fact từ file text đã sinh ra trong các bước 2, 3, 4 vào data warehouse
Bước 3.1 trong việc tạo báo cáo tháng là sinh dữ liệu fact tổng tiêu dùng thuê bao hàng tháng từ tổng doanh thu hàng ngày và dữ liệu khách hàng Dữ liệu này cần được lưu trữ dưới dạng file text trên hệ thống lưu trữ.
- Bước 3.2: Tạo các bảng analysis về khách hàng từ bảng fact doanh thu tháng (bước 3.1), lưu vào data warehouse
- Bước 3.3: Tạo file OLAP Cube từ bảng analysis vừa tạo (bước 3.2)
- Bước 3.4: Ghi dữ liệu text từ bước 3.2 vào data warehouse
4.2.1.2 Quy trình hoạt động hệ thống phân tích kinh doanh của Công ty Minh Quân Logistic
Toàn bộ dữ liệu khách hàng của Công ty sẽ được chuyển đến trung tâm dữ liệu tập trung (Data Center) và sẽ được phân tích theo một quy trình khép kín.
Hình ảnh 18 Tổng quan luồng dữ liệu của hệ thống
Toàn bộ dữ liệu khách hàng từ các hệ thống nghiệp vụ được chuyển về Data
Dữ liệu được làm sạch và chuyển vào Data Warehouse để thực hiện tính toán Sau khi hoàn tất quá trình tính toán theo yêu cầu, dữ liệu sẽ được đồng bộ hóa với hệ thống phân tích lớp trên và trình diễn kết quả.
4.2.2 Thiết kế Data Warehouse ứng dụng cho lĩnh vực logistic của doanh nghiệp
PHÂN TÍCH DỮ LIỆU VÀ XÂY DỰNG MÔ HÌNH KHÁCH HÀNG39 5.1 Phân tích dữ liệu
Data visualization
Trong tháng 1 năm 2023, hình ảnh 20 cho thấy thống kê tổng trị giá hóa đơn và thuế của từng loại phương thức vận chuyển, được phân loại theo từng vùng của cơ quan hải quan doanh nghiệp.
Biểu đồ trên tổng hợp dữ liệu từ các cột AE (Tổng trị giá hóa đơn), AF (Tổng trị giá tính thuế), AG (Tổng tiền thuế phải nộp), D (Phương thức vận chuyển) và H (Tên cơ quan hải quan), thể hiện tổng giá trị hóa đơn và thuế của từng loại sản phẩm theo từng vùng trong tháng, đồng thời dự báo doanh thu và thuế cho những tháng tiếp theo trong năm 2023 Qua phân tích, phương thức vận chuyển S cho thấy sự ổn định và xu hướng phát triển, trong khi phương thức L và A có nguy cơ giảm mạnh và có thể dẫn đến âm lợi nhuận Do đó, doanh nghiệp cần điều chỉnh dịch vụ vận chuyển hàng hóa và áp dụng chính sách giảm giá khuyến mãi để kích thích tiêu thụ.
Trong tháng 1 năm 2023, thống kê tổng doanh thu của từng loại phương thức vận chuyển được phân tích theo từng vùng vị trí của khách hàng xuất khẩu của doanh nghiệp.
Biểu đồ trên tổng hợp dữ liệu từ cột AH (Tổng doanh thu), cột R (Country Code) và cột D (Phương thức vận chuyển), phản ánh tổng doanh thu của từng loại sản phẩm theo từng vùng trong tháng 1 năm 2023 Đặc biệt, nó còn dự báo doanh thu và lợi nhuận trong các tháng tiếp theo của năm 2023 Qua biểu đồ, phương thức vận chuyển S cho thấy sự phát triển mạnh mẽ, trong khi phương thức A và L có nguy cơ giảm sút và âm lợi nhuận Do đó, doanh nghiệp cần điều chỉnh dịch vụ vận chuyển và áp dụng các chính sách khuyến mãi để tăng cường tiêu thụ Phương thức S đạt tổng doanh thu cao và ổn định nhất, trong khi A và L tuy ổn định nhưng vẫn thấp Biểu đồ cũng giúp xác định loại sản phẩm nào có tổng doanh thu cao nhất và thấp nhất, đồng thời theo dõi sự biến động doanh thu của từng sản phẩm trong tháng, từ đó hỗ trợ doanh nghiệp đưa ra quyết định phù hợp với nhu cầu khách hàng.
Hình ảnh 22 Tổng doanh thu của từng phương thức vận chuyển theo khu vực trong tháng 1 năm 2023
Biểu đồ dạng bản đồ (Hình 22) thể hiện tổng doanh thu của từng loại hàng theo khu vực, cho phép doanh nghiệp xác định khu vực nào có doanh thu cao nhất và thấp nhất cho phương thức vận chuyển S Tương tự, với các phương thức vận chuyển A và L, doanh nghiệp có thể nắm bắt nhu cầu tiêu thụ ở từng khu vực Điều này giúp doanh nghiệp đưa ra chính sách phân phối hợp lý, giảm thiểu tình trạng tồn kho và thiếu hụt sản phẩm cung cấp cho khách hàng.
Hình ảnh 23 Số lượng hàng hóa và chi phí vận chuyển của từng loại phương thức giao hàng theo khu vực
Biểu đồ cột thể hiện số lượng hàng hóa và chi phí vận chuyển của từng khu vực theo loại hình giao hàng Qua đó, loại hình vận chuyển S nổi bật với số lượng đặt hàng cao, trong khi chi phí vận chuyển tương đương với loại hình L Điều này cho phép công ty lựa chọn phương thức giao hàng tối ưu, giảm chi phí cho khách hàng, từ đó giữ chân khách hàng cũ và thu hút khách hàng mới.
Hình ảnh 24 Đo lường mức độ trung thành của khách hàng xuất khẩu đối với doanh nghiệp
Hình ảnh 25 Đo lường mức độ trung thành của khách hàng nhập khẩu đối với doanh nghiệp
Hình ảnh 26 Đo lường mức độ trung thành của khách hàng nhập khẩu đối với doanh nghiệp
Biểu đồ phân tán trong các hình (24), (25), và (26) minh họa mối quan hệ giữa độ trung thành của khách hàng và doanh nghiệp, giúp xác định tệp khách hàng tiềm năng Điều này cho phép doanh nghiệp đưa ra các ưu đãi khuyến mãi phù hợp và xây dựng chiến lược marketing hiệu quả để giữ chân khách hàng cũ cũng như thu hút khách hàng mới.
Hình ảnh 27 Thống kê phương tiện vận chuyển theo loại hàng hóa vận chuyển và phương thức vận chuyển theo khu vực
Biểu đồ giúp doanh nghiệp xác định loại phương tiện vận chuyển phù hợp nhất cho từng mặt hàng và khu vực Qua đó, doanh nghiệp có thể nắm bắt xu hướng tiêu dùng, đặc điểm và thói quen của khách hàng theo vùng miền, từ đó triển khai các hoạt động marketing hiệu quả và bổ sung các phương tiện vận chuyển cần thiết.
KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN ĐỀ TÀI
Qua quá trình thực tập tại Công ty TNHH Thương mại và Dịch vụ Logistic Minh Quân , đề tài đã đạt được các mục tiêu đề ra:
Nghiên cứu và tổng hợp thông tin về Data Analyst, nắm vững các nhiệm vụ liên quan đến vị trí này, cùng với việc sử dụng các công cụ phân tích và xử lý dữ liệu như Tableau để xây dựng mô hình dữ liệu hiệu quả.
OLAP (Online Analytical Processing) là một công nghệ phân tích dữ liệu mạnh mẽ, cho phép người dùng truy cập và phân tích thông tin từ nhiều nguồn dữ liệu khác nhau Các tính năng cơ bản của OLAP bao gồm khả năng xử lý truy vấn nhanh chóng và hỗ trợ phân tích dữ liệu đa chiều Có nhiều loại thiết kế mô hình dữ liệu đa chiều, bao gồm mô hình sao (Star Schema), mô hình bông hoa (Snowflake Schema) và mô hình lưới (Galaxy Schema), mỗi loại có những ưu điểm riêng Các mô hình dữ liệu này được sử dụng rộng rãi trong OLAP để tối ưu hóa việc truy xuất và phân tích dữ liệu, giúp doanh nghiệp đưa ra quyết định thông minh hơn.
Cài đặt thành công và sử dụng thành thạo công cụ hỗ trợ trong việc trực quan hóa dữ liệu
Trong bài toán "Phân tích dữ liệu khách hàng", nghiên cứu ứng dụng đóng vai trò quan trọng Việc thực hiện các mô hình dự đoán thông qua công cụ như Dashboard giúp chuyển đổi dữ liệu thành thông tin có ý nghĩa, từ đó đánh giá độ tin cậy và mức độ chính xác của các mô hình Những kết quả này được áp dụng trong việc khai phá dữ liệu, hỗ trợ ra quyết định cho doanh nghiệp trong quản lý dự án.
Làm việc trong một môi trường doanh nghiệp chuyên nghiệp giúp tôi tiếp cận văn hóa doanh nghiệp và phát triển kỹ năng cá nhân.
Nâng cao được kiến thức chuyên môn, học thêm được các công cụmới.
Tích lũy và học hỏi được nhiều kiến thức mới để vận dụng chúng vào thực tế một cách hiệu quả.
Nâng cao kỹ năng mềm là điều cần thiết, bao gồm khả năng giải quyết vấn đề phát sinh, giao tiếp hiệu quả với mọi người và quản lý thời gian một cách hợp lý hơn.
Do thời gian nghiên cứu hạn chế và lĩnh vực nghiên cứu quá rộng, bài báo cáo này chủ yếu dựa trên quan điểm cá nhân.
Chưa đưa ra được một báo cáo hay thử nghiệm hoàn chỉnh để từ đó đưa ra những giải pháp hoàn chỉnh trong lĩnh vực Logistics.
Dữ liệu hiện đang chỉ lấy theo một lượng khách hàng cố định để xử lý nên chưa đề
Tiếp tục phát triển mô hình khai thác dữ liệu trong phân tích khách hàng bằng các công cụ đa dạng nhằm cung cấp thông tin hữu ích, hỗ trợ tối ưu hóa quá trình ra quyết định.
1 Khái niệm kho dữ liệu https://viblo.asia/p/kho-du-lieu-data-warehouse-la-gi-phan-biet-kho-du-lieu-va-co-so-du- lieu-obA466mX4Kv
2 Lý thuyết về Data Mart https://viblo.asia/p/data-mart-la-gi-cac-kieu-types-va-vi-du-Qbq5QjrGKD8
3 Lý thuyết về Metadata https://bizflycloud.vn/tin-tuc/metadata-la-gi-9-vi-du-ve-metadata-
4 Mô hình ngôi sao (Star Schema) https://tedu.com.vn/co-so-du-lieu/mo-hinh-data-warehouse-so-do-ngoi-sao-148.html
5 Mô hình tuyết rơi (Snowflake) https://www.google.com/url?sa=t&rct=j&q=&esrc=s&source=web&cd=&cad=rja&uact 8&ved*hUKEwj6hMGUpoiAAxV_iFYBHTGNAf4QFnoECA0QAQ&url=https%3A
%2F%2Findaacademy.vn%2Fdwh%2Fsnowflake-schema-la- gi%2F&usg=AOvVaw0xlSPbNp4btiYb83o8sZq-&opi978449
