x2z2x2x2 / wonderobe_clothes_test

Clothes Classification

Clothes Detection

Dataset

Во-первых был подобран датасет: DeepFashion2 (https://github.com/switchablenorms/DeepFashion2). Объёмный, свежий, с хорошей разметкой - идеально для нашей задачи (за исключением малости категорий, всего 13). Статистика датасета:

Плюсом к датасету была статья (https://arxiv.org/pdf/1901.07973.pdf) содержащая много полезного: предлагаласть метрика + opensourse код для неё, также описывалось решение нашей задачи архитектурой Mask R-CNN и получение данных результатов:

Table 1: Clothes detection trained with released DeepFashion2 Dataset evaluated on validation set.

AP	AP50	AP75
0.638	0.789	0.745

Table 2: Clothes detection on different validation subsets, including scale, occlusion, zoom-in, and viewpoint.

		Scale			Occlusion			Zoom_in			Viewpoint		Overall
	small	moderate	large	slight	medium	heavy	no	medium	large	no wear	frontal	side or back
AP	0.604	0.700	0.660	0.712	0.654	0.372	0.695	0.629	0.466	0.624	0.681	0.641	0.667
AP50	0.780	0.851	0.768	0.844	0.810	0.531	0.848	0.755	0.563	0.713	0.832	0.796	0.814
AP75	0.717	0.809	0.744	0.812	0.768	0.433	0.806	0.718	0.525	0.688	0.791	0.744	0.773

Solution

Конечно, можно просто пойти по стопам составителей датасета, но мы всё-таки используем инновационные технологии) Воспользуемcя архитектурой YOLO и мы получим более быстрое и точное решение. Преобразовав датасет в COCO Data, модифицировав cfg для COCO (config можно найти в https://github.com/AlberetOZ/WondeRobe_Clothes_test/tree/master/yolo/df2cfg), переходим к обучению с помощью фреймворка Darknet: ./darknet detector train cfg/coco.data cfg/yolov3.cfg darknet53.conv.74

Полученные веса (checkpoints) лежат в https://drive.google.com/drive/folders/1bKmHJyScpTRlWuVS4Uy6qh1DYhqy8zaf?usp=sharing

Result

Мы получили неплохую демо версию Детектрона атрибута одежды (Примеры работы можно найти в https://github.com/AlberetOZ/WondeRobe_Clothes_test/tree/master/output). В перспективе этот проект можно оптимизировать (тем более если потребуется работа с видеопотоком), расширить количество категорий одежды, модифицировать сетку и многое другое, + определять также цвет/стиль и др. По времени было затрачено ~20 часов.

That's all