Ứng dụng camera AI vào nhận diện phong cách thời trang (giày) của khách hàng tại vincom center

HỌC VIỆN NGÂN HÀNG KHOA HỆ THỐNG THÔNG TIN QUẢN LÍBÀI TIỂU LUẬN BỘ MÔN: TRÍ TUỆ NHÂN TẠO TRONG KINH DOANH Ứng dụng camera AI vào nhận diện phong cách thời trang giày của khách hàng tại V

HỌC VIỆN NGÂN HÀNG KHOA HỆ THỐNG THÔNG TIN QUẢN LÍ

BÀI TIỂU LUẬN

BỘ MÔN: TRÍ TUỆ NHÂN TẠO TRONG

KINH DOANH

Ứng dụng camera AI vào nhận diện phong cách thời trang (giày) của khách hàng

tại Vincom Center

Đỗ Thị Thủy -22A4050512 Nguyễn Đình Huy Hào-22A4030442

Hà nội 10/4/2022TIEU LUAN MOI download : skknchat@gmail.com

MỤC LỤC

Lời nói đầu 2

1.ĐẶT VẤN ĐỀ 3

1.1 Giới thiệu chung về tập đoàn VinGroup 3

1.2 Các vấn đề tồn tại ở Vincom Center trong tình hình dịch bệnh covid 19 4 1.3 Định hướng Vincom Center trong và sau đại dịch 5

2 LẬP KẾ HOẠCH : 5

2 1 Giới thiệu về hệ thống camera AI: 5

2.2 Các tính năng chính của giải pháp 6

2.3 Giới thiệu về giải pháp camera an ninh sử dụng AI 6

2.4 Ý tưởng tích hợp Camera AI với nhận diện quần áo, trang phục của khách hàng từ đó đưa ra những gợi ý chương trình giảm giá phù hợp. 8

3 XÂY DỰNG MÔ HÌNH 9

3.1 Phương pháp nghiên cứu Python 9

3.2 Bài toán ứng dụng 9

3.3 Chuẩn bị dữ liệu. 10

3.4 Xây dựng mô hình nhận ảnh sử dụng mạng nơ-ron học sâu CNN trên Google Colab 11

3.4.1 Mô hình nhân dạng hình ảnh. 11

3.4.2 Các bước xây dựng mô hình. 12

3.4.3 Đánh giá độ chính xác của mô hình 20

4 KẾT LUẬN 21

LỜI NÓI ĐẦU

Đầu tiên, nhóm muốn gửi lời cảm ơn chân thành và sâu sắc nhát đến

cô Bùi Thị Hồng Nhung – giảng viên khoa Hệ thống thông tin quản lý của Học Viện Ngân Hàng Cảm ơn sự tận tình giảng dạy, và hỗ trợ sinh viên trong quá trình học tập cũng như có những hướng dẫn cụ thể đế chúng em hoàn thiện bàitập một cách tốt nhất

Bài tập này hoàn toàn là bài tập do nhóm chúng em tự lên ý tưởng, vàthực hiện bằng năng lực của mỗi thành viên trong nhóm Các nguồn thamkhảo đều đã được nhóm dẫn đầy đủ

Bài làm của nhóm không tránh khỏi những thiếu sót, vì vậy chúng em mong có thể nhận được những sự góp ý, nhận xét để bài tập của chúng em có

sự hoàn thiện cao hơn

Cả nhóm chân thành cảm ơn và chúc cô có nhiều sức khỏe, ngày càng nhiệt huyết trong công việc

TIEU LUAN MOI download : skknchat@gmail.com

BẢNG PHÂN CHIA CÔNG VIỆC VÀ ĐÓNG GÓP CỦA CÁC THÀNH VIÊN

tham gia

❖ Khảo sát thực tế

❖ Hoàn thành bản word cuối cùng

Đỗ Thị Thủy 22A4050512 ❖ Chạ y và thực thi mô hình 33,33%

❖ Hoàn thiện mô hình tăng độ chính xác

❖ Viết bản word

1.ĐẶT VẤN ĐỀ

1.1 Giới thiệu chung về tập đoàn VinGroup

Vingroup là một trong những Tập đoàn kinh tế tư nhân đa ngành lớn nhất châu

Á với giá trị vốn hóa thị trường đạt gần 16 tỷ đô la Mỹ Tập đoàn hoạt động trong 3 lĩnh vực kinhdoanh cốt lõi, bao gồm: công nghệ, công nghiệp, thương mại dịch vụ

Tên giao dịch Vingroup Joint Stock Company

Loại hình hoạt động Công ty cổ phần ngoài nhà nước

Mã số thuế 0101245486

Địa chỉ Số 7 Đường Bằng Lăng 1, Phường Việt Hưng, Quận Long Biên, Hà Nội

Đại diện pháp luật

Nguyễn Việt Quang

ty CP Vinpearl sáp nhập, chính thức hoạt động dưới mô hình Tập đoàn với têngọi Tập đoàn Vingroup - Công ty CP

Vingroup là một trong những Tập đoàn kinh tế tư nhân đa ngành lớn nhất châu

Á với giá trị vốn hóa thị trường đạt gần 16 tỷ đô la Mỹ Tập đoàn hoạt động trong 3lĩnh vực kinh doanh cốt lõi, bao gồm: công nghệ, công nghiệp, thương mại dịch vụ Vớimong muốn đem đến cho thị trường những sản phẩm - dịch vụ theo tiêu chuẩn quốc tế vànhững trải nghiệm hoàn toàn mới về phong cách sống hiện đại, ở bất cứ lĩnh vực nàoVingroup cũng chứng tỏ vai trò tiên phong, dẫn dắt sự thay đổi xu

hướng tiêu dùng

1.2 Các vấn đề tồn tại ở Vincom Center trong tình hình dịch bệnh covid 19

Covid-19 ảnh hưởng đến nhiều doanh nghiệp

Năm 2020, sự bùng phát của Covid-19 đã gây nên cuộc khủng hoảngtrên mọi lĩnh vực của đời sống Không nằm ngoài tác động này, ngành côngnghiệp bán lẻ đang phải đối mặt với nhiều khó khăn, đặc biệt là các siêu thịhay trung tâm thương mại

Theo đại diện tập đoàn Vingroup, tại Hà nội, giai đoạn tháng 4-5 và đầu tháng

8 năm 2020 lượng khách đến các trung tâm thương mại, siêu thị sụt giảm sâu Điềunày cũng ảnh hưởng đến doanh thu tại các cửa hàng tiện lợi, trung tâm thương mại

Lượng khách hàng sụt giảm khiến doanh thu của nhiều doanh nghiệp lao dốc

Sau khi Covid-19 được kiểm soát, nhiều trung tâm thương mại dần khởisắc với lượt khách đến mua sắm cải thiện.

Hướng đi cho các trung tâm thương mại

Trong bối cảnh Covid-19 vẫn đang được dự đoán chưa có hồi kết, nhiềutrung tâm thương mại đều có chính sách hỗ trợ khách thuê với việc giảm giámặt bằng thuê 30 - 80%

Mặc dù xu hướng thay đổi thói quen sang mua sắm trực tuyến, nhưngkhông thể phủ định rằng, mua sắm trực tiếp vẫn còn là thói quen khó thay đổicủa nhiều người dân, nhờ được trải nghiệm thực tế, được chăm sóc - tư vấn Những chiến lược kinh doanh, hướng đi khác biệt, bắt đầu từ việc định vịkhách hàng mục tiêu, xác định vị thế, nâng cao chất lượng trải nghiệm của kháchhàng là điều cần thiết trong bối cảnh này

1.3 Định hướng Vincom Center trong và sau đại dịch

Nắm bắt nhu cầu của khách hàng, không ngừng đổi mới, nâng cao chất lượng

dịch vụ, đa dạng ngành hàng, lĩnh vực kinh doanh

Bên cạnh áp dụng các biện pháp phòng dịch, thì tăng doanh số của từng nhãnhàng cũng là một vấn đề cấp thiết Chỉ khi lượng tham quan chuyển hóa thành lượtmua sắm tăng lên thì các trung tâm thương mại mới có thể hoạt động thực sự lâubền và hiệu quả Tình hình u ám chung sẽ được cải thiện và từ đó xoay vòng vốncho các chương trình khuyến mãi, quảng bá tiếp theo trong tương lai

2 LẬP KẾ HOẠCH :

2 1 Giới thiệu về hệ thống camera AI:

Camera AI là giải pháp tích hợp, cung cấp hệ thống camera thông minh sửdụng trí tuệ nhân tạo tự động nhận dạng, phát hiện sự kiện, hành vi một cách chínhxác… Nhằm đáp ứng các nhu cầu về kiểm soát an ninh, phân tích dữ liệu và cung

cấp thông tin cho các cá nhân, doanh nghiệp, tổ chức,…

TIEU LUAN MOI download : skknchat@gmail.com

2.2 Các tính năng chính của giải pháp

▪ Phân tích chính xác, liên tục và tự động cải tiến dựa trên công nghệ DeepLearning

▪ Đa chức năng trên cùng camera

▪ Giám sát đa đối tượng

▪ Chạy trực tiếp hoặc trên nền tảng Cloud

▪ Dễ dàng tích hợp với những camera sẵn có

2.3 Giới thiệu về giải pháp camera an ninh sử dụng AI

Trên cùng một camera, mình có thể phục vụ cho nhiều nghiệp vụ chứcnăng khác nhau như giám sát, đo đếm người, phân tích mật độ phân bố theothời gian của khách hàng, nhận dạng mặt người và định danh người đó là ai(người quen, người lạ, tội phạm, khách hàng VIP)

Từ đó, hệ thống có thể giám sát và nhận dạng được nhiều đối tượng khácnhau, có thể xem trên thiết bị mobile, máy tính PC, màn hình tường… sử dụngcông nghệ streaming video để đảm bảo có thể đáp ứng được nhiều người truycập xem camera trực tiếp tại cùng một thời điểm

Với tính năng giải pháp cung cấp trên nền tảng cloud khách hàng được sử

dụng một dịch vụ mạnh mẽ, nhanh chóng, ổn định, bảo mật mà không cần phảitốn bất kì chi phí đầu tư, bảo trì về mặt hạ tầng, hệ thống;

Hơn nữa, đội dự án còn dễ dàng triển khai, update hệ thống, dễ dàng nhânrộng, monitor hệ thống, và giải quyết sự cố nhanh chóng

Tuy nhiên, điều này cũng gặp phải một số khó khăn như việc phát triển, triểnkhai đòi hỏi nhiều kiến thức và kinh nghiệm trong việc phát triển hệ thống trênnền tảng cloud

Một số ứng dụng của Camera AI:

2.4 Ý tưởng tích hợp Camera AI với nhậ n diện quần áo, trang phục của

khách hàng từ đó đưa ra những gợi ý chương trình giảm giá phù hợp.

đó, nhưng khi đến nơi thấy món đồ đó được trưng bày thì lại mua về thậm chí muanhiều hơn số lượng mà bạn cần, hoặc mua một món đồ với số lượng nhiều hơnbạn dự tính ban đầu chỉ vì nó sale hoặc bán theo combo Nắm được tâm lí đó củakhách hàng, nhóm chúng em đưa ra ý tưởng dùng công nghệ camera AI để nhậndiện đôi giày mà mỗi khách hàng đang đi thuộc phong cách nào để từ đó gửi đếnkhách chương trình khuyến mại, giảm giá phù hợp, tăng lượt ghé thăm store từ đótăng tỉ lệ chuyển đổi thành đơn hàng , tăng lượt bán và doanh thu cho cửa hàng

Khái quát bài toán:

Bài toán nhận diện đôi giày khách đang đi được chia thành hai bài toán conBài toán con thứ nhất: Xác định vùng chứa hình ảnh khách muốn vào TTTM và tách phần dưới đôi giày khách đang đi để quét

Bài toán con thứ hai: Trích chọn đặc trưng từ đó nhận dạng khách đeogiày cao gót, giày thể thao, sandal hay giày thể thao từ đó gửi chương trìnhkhuyến mại phù hợp đến điện thoại của khách ( thông tin lấy từ bước check-in

ở cửa qua quét QR code)

3 XÂY DỰNG MÔ HÌNH

3.1 Phương pháp nghiên cứu Python

a Giới thiệu về GG Colab

Google Colab (Google Colaboratory) là một dịch vụ đám mây miễn phí của Google nhằm hỗ trợ cộng đồng nghiên cứu AI phát triển các ứng dụng học sâu (deep learning) bằng việc cung cấp GPU và TPU miễn phí

Google Colab được cài đặt sẵn những thư viện rất phổ biến trong nghiên cứu Deep Learning như PyTorch, TensorFlow, Keras và OpenCV

Colab dựa trên Jupyter Notebook, người dùng có thể viết và thực thi đoạn mã python thông qua trình duyệt và đặc biệt rất phù hợp với data analysis, machine learning và giáo dục

b Giới thiệu ngôn ngữ lập trình Python.

Python là một ngôn ngữ lập trình bậc cao cho các mục đích lập trình đanăng, do Guido van Rossum tạo ra và lần đầu ra mắt vào năm 1991

Python được thiết kế với ưu điểm mạnh là dễ đọc, dễ học và dễ nhớ

Python hoàn toàn tạo kiểu động và dùng cơ chế cấp phát bộ nhớ tự động; dovậy nó tương tự như Perl, Ruby, Scheme, Smalltalk, và Tcl Python được pháttriển trong một dự án mã mở, do tổ chức phi lợi nhuận Python Software Foundation

quản lý

Với khả năng xử lý các phép toán phức tạp, Python được sử dụng

nhiều trong việc phát triển các ứng dụng trong lĩnh vực trí tuệ nhân tạo

3.2 Bài toán ứng dụng

TIEU LUAN MOI download : skknchat@gmail.com

Cho một tậ p dữ liệu ảnh về 4 loạ i giày dép bao gồ m : giày cao gót, giày thể thao, giày tây, và Sandal trong AmazonGo Xây dựng mô hình có khả năng nhận dạng được 4 loại giày dép trên Bài toàn nhận diện hình ảnh giày dép của khách hàng tại các khu trung tâm thương mại lớn, cụ thể là bài toán ứng dụng với Vincom Nghiên cứu thói quen của khách hàng ngày nay là cực kỳ quan trọng Việc nhận biết được thói quen mang giày dép của những người ra vào trung tâm thương mại có thể giúp những nhà phân phối gửi đi các quảng cáo thích hợp nhất đến từng khách hàng, thông qua kết nối intenet miền phí tại trung tâm thương mại đến từng thiết bị di động của khách hàng Chúng ta sẽ tích hợp camera AI vào hệ thống cửa ra vào tự động của siêu thị cũng như các camera có trong trung tâm để có thể kiểm soát được tốt hơn, đồng thời cũng tiết kiệm chi phí lắp đặt cho hệ thống khi không phải mua thêm camera

3.4 Xây dự ng mô hình nhận ảnh sử dụng mạng nơ-ron học sâu CNN

trên Google Colab

3.4.1 Mô hình nhân dạng hình ảnh.

Nhóm chúng em đã tiến hành một mô hình CNN để tiến hành trích xuất các đặctrưng của hình ảnh và phân loại chúng Mô hình được thiết kế với số Filters tăngdần Số Filters phụ thuộc vào độ phức tạp của dữ liệu Cuối cùng là chúng ta có thể

dùng một layer Flatten và một activation softmax để phân loại

- Đâu vào của model là một bức ảnh có shape (150,150.3)

- Hàm kích hoạt relu để loai đi các giá trị âm

- Flatten để chuyển ảnh tử dạng ma trận về mảng 1 chiều

- Sau khi ảnh được truyền qua nhiều lớp CNN thì mô hình đã học được các đặcđiểm của ảnh, khi đó output của lớp CNN cuối cùng là một ma trận, sẽ

được chuyển về 1

- Vector một chiều

Ưu điểm của mô hình : Mạng CNN có ít tham số hơn so với nhiều các

mạng phổ biến hiện nay nên tốc độ xử lý nhanh hơn đáng kể Điều này giúp tiết kiệm thời gian rất tốt

Nhược điểm của mô hình : Vì bộ dữ liệu là do nhóm tự xây dựng nên chưa thể

bao quát được hết, vì vậy khi nhận diện hình ảnh vẫn còn những sai sót trong kết

TIEU LUAN MOI download : skknchat@gmail.com

quả Ngoài ra cũng có một vài dữ liệu chưa hoàn toàn đáp ứng được đầy đủ các yêu cầu.

3.4.2 Các bước xây dựng mô hình.

Bước 1: Tạo thư mục mô hình

- Đăng nhập Gmail, truy cập vào Drive

- Kích chọn My Drive/ chọn New folder

- Đặt tên thư mục là ComputerVision-AmazonGo, chọn CREATE

Bước 2: Upload tập dữ liệu ảnh

- Kích đúp chuột mở thư mục ComputerVision-AmazonGo

- Kích chuột phải tại vùng trống của thư mục, chọn Upload folder

TIEU LUAN MOI download : skknchat@gmail.com

Chọn đường dẫn tới thư mục đã tạo ra ở Phần III – Chuẩn bị dữ liệu, chọn thư mục, kích chọn Tải lên.

- Kết quả tất cả các thư mục và ảnh chứa trong thư mục tạo ra ở phần III

được tải lên Drive, trong thư mục ComputerVision-AmazonGo

Bước 3: Tạo file Colab notebook trên Google Drive

- Kích chọn My Drive/ chọn More/ chọn Colaboratory

- Đặ t tên cho tệ p colab mớ i là AmazonGo-CNN.ipynb, giao diện và cách thức thực hiện tương tự như file ipynb trong Jupyter notebook.

Bước 4 : Viết Code

1 Khai báo các thư viện sử dụng

2 Kết nối với gg drive để đọc và lưu dữ liệu

3 Khai báo đường dẫn thư mục chứa dữ liệu ảnh.

- Khai báo đường dẫn đến thư mục chứa ảnh để Huấn luyện và Kiểm định mô hình

4 Gán nhãn dữ liệu.

TIEU LUAN MOI download : skknchat@gmail.com

Phân loại ả nh là bài toán học có giám sát và theo dõi, vì vậy dữ liệ u huấn luyện và kiểm định phải được gán nhãn Ảnh được gán nhãn dựa theo tên thư mục chứa nó, ta có tên và thứ tự các nhãn tương ứng với tên và thứ tự các thưmục chứa ảnh huấn luyện và hình ảnh kiểm định như sau :

5 Tiền xử lý dữ liệu ảnh với ImageDataGenerator

- Tham số rescale=1/255 có tácdụng chuẩn hóa dữ liệu ảnh về các giá trị nằm trong khoảng [0, 1]

6 Đọc dữ liệu train và dữ liệu validation

Sau khi chạy ta thu được kết quả như hình trên.

7 :Xây dựng mô hình.

Mô hình được thiết lập bao gồm 5 tầng Đầu tiên là Input Image, tiếp theo

là CNN1, rồi đến CNN2, sau đó là Fully connected layer, cuối cùng là Output

TIEU LUAN MOI download : skknchat@gmail.com

8: Thiế t lập các tham số để huấn luyện mô hình

9 Huấ n luyện mô hình

Kết quả chạy huấ n luyện mô hình

10 Sử dụng mô hình

- Chạy đoạn code, xuất hiện kết quả yêu cầu chọn hình ảnh để phân loại, kích chọn nút Chọn tệp, xuất hiện hộp thoại Open, chọn một ảnh để phân loại Ta

sẽ chọn một tệptrong máy để kiểm tra, và kết quả cho ra là:

TIEU LUAN MOI download : skknchat@gmail.com

Đây là link mô hình chạy thử mà nhóm em đã xây dựng :

https://colab.research.google.com/drive/1sJBLKeWlcfX310u4eVKNYx2GYQ3DxfDW?usp=sharing&fbclid=IwAR0r5MsdFLD7QfonT1GaTYs0xLhdHYxu7urNrTcROgKos9sJmOWCOOyBKqE

3.4.3 Đánh giá độ chính xác của mô hình

Mô hình đã hoàn thành và có thể chạy được nhưng độ chính xác chưađược cao, chỉ rơi vào mức độ khá khoảng hơn 80% Nguyên nhân chủ yếu là do

bộ dữ liệu chưa thật sự đủ chất lượng, do nhóm tự xây dựng nên vẫn còn thiết sót

3.4.4 Các phương pháp nhóm đã làm để tăng độ chính xác của mô hình

Tăng độ rõ nét của hình ảnh, ban đầu nhóm chọn ảnh chưa chất lượng chưacao, các ảnh chưa có sự đồng đều về kích thước khiến cho mô hình chỉ chính xác

đượ c khoảng 50% Sau đó nhóm đ ã tiế n hành chuẩ n hóa hình ả nh => Kế t quả đạt được tới hơn 80%.

=> Ứng dụng vào thực tế : Nên quét hình ảnh chân khách từ khi kháchbước vào và dừng lại quét QR để có hình ảnh rõ ràng nhất

Ban đầu nhóm xây dựng bài toán về nhận diện người đội mũ bảo hiểm trên đường khi tham gia giao thông, nhưng nhận thấy ảnh chụp người khi tham gia giao thông sẽ bị nhanh và mờ, đường rộng khó kiểm soát và các yếu tố thời tiết ngoại cảnh khiến cho độ chính xác của mô hình thấp và không khả thi

Nhóm đã nhanh chóng đổi sang chủ đề có tính ứng dụng cao hơn

4 KẾT LUẬN

Tiến hành ứng dụng nhận diện về thói quen mang giày dép của khách hàng tại các trung tâm thương mại Vincom là một bước đi mới lạ, sáng tạo và có thể mang lại nhiều lợi ích cho các nhà phân phối Ngoài Vincom, mô hình còn có thể ứng dụng rộng rãi với các loại hàng hóa khác như quần áo tại các shop thời trang

Mô hình nhận diện cho kết quả nhanh chóng việc nhận biết về giày dép mà

mỗi người trong trung tâm thương mại đang mang, nó sẽ làm tăng cơ sở giúpnhững nhà phân phối trong trung tâm thương mại đưa ra các chương trình quảng bá

cho sản phẩm của mình

Trong thời đại ngày nay, việc nhanh chân nghiên cứu khách hàng ngay từ khi họ chưa quan tâm tới sản phẩm là một yếu tố quyết định để tìm kiếm nhữngkhách hàng mới, tạo tra doanh số tốt hơn cho doanh nghiệp Đây là một cách tiếp cận khách hàng mới và hứa hẹn là sẽ phổ biến hơn trong tương lai

5 TÀI LIỆU THAM KHẢO

TIEU LUAN MOI download : skknchat@gmail.com