Báo cáo môn học máy học đề tài fashion classification

Trang phục ở nhiều nền văn hóa phản ánh các đặc điểm như tuổi tác, địa vị xã hội, lối sống và giới tính. Trang phục cũng là một bộ mô tả quan trọng trong việc xác định con người, ví dụ: “Người đàn ông mặc một chiếc áo khoác màu cam “hoặc” người phụ nữ đi giày cao gót màu đỏ”. Với vai trò của trang phục trong xã hội, “phân loại thời trang” có rất nhiều ứng dụng. Ví dụ: dự đoán chi tiết quần áo trong một hình ảnh không được gắn nhãn có thể tạo điều kiện việc khám phá các mặt hàng thời trang giống nhau nhất trong một cơ sở dữ liệu thương mại điện tử. Tương tự, phân loại của người dùng hình ảnh thời trang được yêu thích có thể thúc đẩy thời trang tự động nhà tạo mẫu, sẽ cung cấp các đề xuất trang phục dựa trên về phong cách dự đoán của người dùng. Nhận dạng quần áo theo thời gian thực có thể hữu ích trong việc tìm kiếm thông tin, xác định các nghi phạm tội phạm. Tùy thuộc vào ứng dụng cụ thể của phân loại thời trang, các vấn đề cần giải quyết sẽ khác nhau. Chúng em sẽ tập trung vào việc tối ưu hóa phân loại thời trang cho mục đích khám phá nhiều nhất các mặt hàng thời trang tương tự với một mặt hàng thời trang trong hình ảnh truy vấn và đề xuất ra nhưng mặt hàng tương tự. Lý do lớn nhất để chúng tôi chọn đề tài này là vì sự phát triển vượt bậc của hệ thống kinh doanh online và nhu cầu mua bán online. Các sản phẩm đa số được tìm kiếm qua tiêu đề hoặc mô tả chứ không qua các hình ảnh liên quan. Vì thế chúng em phát triển hệ thống “Fashion Classification” này để làm điều đó.

TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT TP HỒ CHÍ MINH

KHOA CHẤT LƯỢNG CAO

BỘ MÔN KỸ THUẬT MÁY TÍNH - VIỄN THÔNG

BÁO CÁO MÔN HỌC MÁY HỌC

TÊN ĐỀ TÀI Fashion Classification

NGÀNH CÔNG NGHỆ KỸ THUẬT MÁY TÍNH

GVHD: TRẦN VŨ HOÀNG

TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT TP HỒ CHÍ MINH

KHOA CHẤT LƯỢNG CAO

BỘ MÔN KỸ THUẬT MÁY TÍNH - VIỄN THÔNG

BÁO CÁO MÔN HỌC MÁY HỌC

TÊN ĐỀ TÀI Fashion Classification

NGÀNH CÔNG NGHỆ KỸ THUẬT MÁY TÍNH

GVHD: TRẦN VŨ HOÀNG

BẢN NHẬN XÉT CỦA GIÁO VIÊN HƯỚNG DẪN

Điểm….….….….…………

LỜI CẢM ƠN

Để hoàn thành để tài nghiên cứu này, lời đầu tiên nhóm thực hiện để tài xin chân thành cảm ơn các thầy cô giáo Trường Đại Học Sư Phạm Kỹ Thuật TP.HCM nói chung và các thầy cô trong Khoa Đào Tạo Chất Lượng Cao nói riêng, những người đã dạy dỗ, trang bị cho nhóm thực hiện đề tài những kiến thức nền tảng và chuyên ngành

bổ ích, giúp nhóm thực hiện có được cơ sở lý thuyết vững vàng và tạo điều kiện giúp

đỡ nhóm trong quá trình học tập.

Đặc biệt, nhóm thực hiện để tài xin chân thành cảm ơn thầy Trần Vũ Hoàng đã

tận tình giúp đỡ, trực tiếp chi bảo, đưa ra những định hướng nghiên cứu cũng như hướng giải quyết một số vấn đề cho nhóm thực hiện trong suốt thời gian nghiên cứu

đề tài Trong thời gian làm việc với thấy, nhóm không ngừng tiếp thu thêm nhiều kiến thức, thái độ nghiên cứu khoa học nghiêm túc, hiệu quả, đây là điều rất cần thiết trong quá trình học tập và công tác sau này.

Đồng thời nhóm thực hiện cũng gửi lời càm ơn tới bạn bè, các anh chị trong Khoa Đào Tạo Chất Lượng Cao đã góp ý, chia sẻ kinh nghiệm, hỗ trợ trong quá trình nghiên cứu và thực hiện để tài môn học.

Nhóm thực hiện đề tài xin chân thành cảm ơn!

MỤC LỤC

CHƯƠNG 1 TỔNG QUAN 1

CHƯƠNG 2 MỤC TIÊU 2

CHƯƠNG 3 THÁCH THỨC 3

CHƯƠNG 4 PHƯƠNG PHÁP GIẢI QUYẾT 5

CHƯƠNG 5 BỘ DATA SỬ DỤNG 12

CHƯƠNG 6 KẾT QUẢ ĐẠT ĐƯỢC 15

CHƯƠNG 7 KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 18

Chương 1 TỔNG QUAN

1.1 Đặt vấn đề

Trang phục ở nhiều nền văn hóa phản ánh các đặc điểm như tuổi tác, địa vị xã hội, lốisống và giới tính Trang phục cũng là một bộ mô tả quan trọng trong việc xác định conngười, ví dụ: “Người đàn ông mặc một chiếc áo khoác màu cam “hoặc” người phụ nữ đigiày cao gót màu đỏ” Với vai trò của trang phục trong xã hội, “phân loại thời trang” có rấtnhiều ứng dụng Ví dụ: dự đoán chi tiết quần áo trong một hình ảnh không được gắn nhãn cóthể tạo điều kiện việc khám phá các mặt hàng thời trang giống nhau nhất trong một cơ sở dữliệu thương mại điện tử Tương tự, phân loại của người dùng hình ảnh thời trang được yêuthích có thể thúc đẩy thời trang tự động nhà tạo mẫu, sẽ cung cấp các đề xuất trang phục dựatrên về phong cách dự đoán của người dùng Nhận dạng quần áo theo thời gian thực có thểhữu ích trong việc tìm kiếm thông tin, xác định các nghi phạm tội phạm Tùy thuộc vào ứngdụng cụ thể của phân loại thời trang, các vấn đề cần giải quyết sẽ khác nhau Chúng em sẽtập trung vào việc tối ưu hóa phân loại thời trang cho mục đích khám phá nhiều nhất các mặthàng thời trang tương tự với một mặt hàng thời trang trong hình ảnh truy vấn và đề xuất ranhưng mặt hàng tương tự

Lý do lớn nhất để chúng tôi chọn đề tài này là vì sự phát triển vượt bậc của hệ thống kinhdoanh online và nhu cầu mua bán online Các sản phẩm đa số được tìm kiếm qua tiêu đềhoặc mô tả chứ không qua các hình ảnh liên quan Vì thế chúng em phát triển hệ thống

“Fashion Classification” này để làm điều đó.

Chương 2 MỤC TIÊU

2.1 Mục tiêu chính của đề tài

- Hệ thống có thể trích xuất được đặt trưng của ảnh

- Có thể phân loại sản phẩm thời trang thông qua các đặc trưng đó

- Có thể gợi ý được các sản phẩm thời trang tương tự sau khi phân loại

2.2 Tiêu chí đánh giá của đề tài

- Mô hình không quá nặng

- Độ chính xác của hệ thống cao

- Dễ tiếp cận và tìm hiểu

- Giả sử một ảnh có pixel là 600*800 thì trong máy tính sẽ lưu dưới dạng ma trận600*800*3 ~ 1440000 điểm dữ liệu.

- Như vậy, số chiều dữ liệu sẽ rất lớn, việc trích xuất và học được các đặc trưng rấtkhó

- Chúng ta cần một mô hình có thể trích xuất các đặc trưng của ảnh một cách tối ưu

Hình 1 Thách thức 1

3.2 Thách thức 2

- Quần áo có thể có các đặc điểm tương tự

- Quần áo có thể dễ dàng biến dạng do chất liệu của chúng

- Các loại quần áo có thể trông rất khác nhau tùy thuộc vào về tỷ lệ khung hình và góc

- Quần áo thì đa dạng về mẫu mà và màu sắc

 Rất khó để có thể lấy đúng đặc trưng của chúng

Hình 2 Thách thức 2

Chương 4 PHƯƠNG PHÁP GIẢI QUYẾT

4.1 Vấn đề được đặt ra

- Làm cách nào có thể lấy được đặc trưng của ảnh

- Thông qua đó có thể phân loại được hình ảnh

- Đề xuất ra những sản phẩm tương tự như ảnh đầu vào

Hình 3 Các vấn đề được đưa ra

Ảnh đầu

4.2 Giải quyết vấn đề

- Có rất nhiều phương pháp để thực hiện việc phân loại quần áo nhưng chúng em lựachọn model CNN cho đề tài này

4.2.1 Convolutional Neural Network

- Convolutional Neural Network (CNNs – Mạng nơ-ron tích chập) là một trong những

mô hình Deep Learning tiên tiến Nó giúp cho chúng ta xây dựng được những hệ thốngthông minh với độ chính xác cao như hiện nay

- CNN được sử dụng nhiều trong các bài toán nhận dạng các object trong ảnh Để tìmhiểu tại sao thuật toán này được sử dụng rộng rãi cho việc nhận dạng (detection), chúng tahãy cùng tìm hiểu về thuật toán này

Hình 4 Cấu trúc của CNN

- Một mô hình mạng nơ ron cơ bản: Layer đầu tiên là input layer, các layer ở giữa đượcgọi là hidden layer, layer cuối cùng được gọi là output layer Các hình tròn được gọi là node.

Hình 5 Mô hình mạng nơ ron cơ bản

- Mỗi mô hình luôn có 1 input layer, 1 output layer, có thể có hoặc không các hiddenlayer Tổng số layer trong mô hình được quy ước là số layer – 1 (Không tính input layer).(Ví dụ như ở hình trên có 1 input layer, 2 hidden layer và 1 output layer Số lượng layer của

mô hình là 3 layer)

- Mỗi node trong hidden layer và output layer:

+ Liên kết với tất cả các node ở layer trước đó với các hệ số w riêng

+ Mỗi node có 1 hệ số bias b riêng

+ Diễn ra 2 bước: tính tổng linear và áp dụng activation function

- Vì vấn đề của xử lý ảnh là số lượng chiều dữ liệu đầu vào rất lớn, khiến cho việc đưavào mạng nơ-ron khiến cho số lượng layer to một cách khổng lồ

- Giả sử: Một ảnh màu 64*64 được biểu diễn dưới dạng 1 tensor 64*64*3 Nên đểbiểu thị hết nội dung của bức ảnh thì cần truyền vào input layer tất cả các pixel (64*64*3 =12288) Nghĩa là input layer bây giờ có 12288 nodes.

Hình 7 Chuyển đổi mảng sang hình ảnh

- Khi cuộn ảnh, số lượng chiều của ảnh có thể bị giảm một cách đáng kể, để tránh mấtmát thông tin, chúng ta cần 2 kỹ thuật khác: Padding và Pooling

4.2.3 Padding

- Padding hiểu 1 cách đơn giản thì thuộc tính là khoảng trống nằm giữa nội dung vàviền Chúng ta sẽ có 4 khoảng cách giữa nội dung với viền và bên trái, bên phải, phía trên vàphía dưới tương ứng là padding-top, padding-left, padding-right và padding-bottom

- Như ở trên thì mỗi lần thực hiện phép tính convolution xong thì kích thước ma trận Yđều nhỏ hơn X Tuy nhiên giờ ta muốn ma trận Y thu được có kích thước bằng ma trận X =>Tìm cách giải quyết cho các phần tử ở viền => Thêm giá trị 0 ở viền ngoài ma trận X

- Thêm giá trị 0 ở ngoài viền của ma trận ảnh, ma trận con thu được sẽ có số chiều giữnguyên so với ban đầu  Học được nhiều đặc trưng hơn của ảnh

Hình 8 Padding

4.2.4 Pooling

- Có 2 kỹ thuật Pooling là Max pooling và Average Pooling

- Mục đích chính để giảm kích thước dữ liệu nhưng vẫn giữ được các thuộc tính quantrọng Kích thước dữ liệu giảm giúp giảm việc tính toán trong model

Hình 9 Pooling

- Từ đó ta đưa ra model CNN đơn giản nhất để giải quyết bài toán này:

Hình 10 Model sẽ sử dụng

- Từ model trên ta có thể hiểu:

+ Khi đưa ảnh đầu vào ảnh sẽ qua lớp convolution + relu đầu tiên để xử lý ảnh về dạng

+ Sau đó sẽ qua tiếp 1 lớp convolution + relu thứ 2 để có kích thước là [45,32,32] vàcuối cung là ra được vector có kích thước là 10x1

Hình 11 Model thực tế

Hình 13 143 lớp

- 23gb ảnh ta sẽ resize nhỏ lại, bỏ những cái label ít dữ liệu, thì dữ liệu sẽ còn lại150mb ảnh data Sau đó ta chỉ lấy top 10 các label có số lượng nhiều nhất thì ta còn lạikhoảng hơn 25.000 ảnh

Hình 14 Top 10 label có số lượng nhiều nhất

- Vì dữ liệu thu thập được quá lớn, và có quá nhiều cột dữ liệu không được sử dụng tới,

vì thế chúng tôi sử dụng 2 cột có liên quan để phân lớp: Là ID và articleType

Hình 15 Cột số liệu

- 25.000 ảnh ta chia ra 20% khoảng hơn 5000 ảnh để test và 80% khoảng 20.000 đểtrain với model

Chương 6 KẾT QUẢ ĐẠT ĐƯỢC

6.1 Phương pháp đánh giá

- Sử dụng phương pháp Accuracy (độ chính xác) để đánh giá model

- Phương pháp accuracy: đây là cách đơn giản và hay được sử dụng nhất Cách đánhgiá này đơn giản tính tỉ lệ giữa số điểm được dự đoán đúng và tổng số điểm trong tập dữ liệukiểm thử

- Sau khi đánh giá mô hình có độ chính xác khá cao khoảng 89%

Hình 16 Kết quả đánh giá model 6.2 Kết quả khi chạy hệ thống

- Hệ thống chạy ổn định

- Phân loại được các sản phẩm thời trang và gợi ý các sản phẩm tương tự cho kết quả tìmkiếm

- Hình ảnh khi chạy hệ thống:

+ Khi Crop and upload hình ảnh ta muốn tìm kiếm.

+ Kết quả tìm kiếm được đưa ra:

Chương 7 KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN

7.1 Những vấn đề giải quyết:

- Chưa nhận diện phân loại được sản phẩm khi trong khung ảnh có nhiều kiểu sảnphẩm

- Không nhận diện được khi ảnh mờ hay background không rõ

7.2 Đánh giá kết quả thực hiện

- Đã phân loại được sản phẩm thời trang

- Đưa ra hệ thông gợi ý sản phẩm tương tự cho người dùng

7.3 Hướng phát triển

- Thêm dữ liệu đầu vào để nhận diện nhiều hơn và chính xác hơn

- Nhận diện được nhiều loại trong một bức ảnh

- Phát triển thành 1 web bán hàng