hecforga / cocum

COCUM

Dataset

Existe un dataset con imágenes de prendas de ropa de diferentes tiendas online. Está estructurado por categorías (camisetas, pantalones, vestidos, etc.) y tiendas (pullandbear, zara, mango, etc.). Además de las imágenes, también contiene información adicional de cada prenda, como la url de compra del producto o su precio.

El dataset se encuentra en esta carpeta compartida de Google Drive. (Descargar en ~/<my-working-directory>/cocum/), y debe mantenerse actualizado de forma manual tras la ejecución de los web crawlers.

Object detection

Instalación

dlib

Instalar dependencias (CMake, Boost, Boost.Python y X11):

sudo apt-get install build-essential cmake
sudo apt-get install libgtk-3-dev
sudo apt-get install libboost-python-dev

Instalar pip:

wget https://bootstrap.pypa.io/get-pip.py
sudo python get-pip.py

Instalar NumPy, SciPy y scikit-image

pip install numpy
pip install scipy
pip install scikit-image

Y finalmente instalar dlib (desde el fork de hecforga):

cd ~/<my-working-directory>
git clone https://github.com/hecforga/dlib.git
cd dlib
sudo python setup.py install

opencv

Instalar dependencias:

sudo apt-get install libgtk2.0-dev pkg-config libavcodec-dev libavformat-dev libswscale-dev
sudo apt-get install libtbb2 libtbb-dev libjpeg-dev libpng-dev libtiff-dev libjasper-dev libdc1394-22-dev

Instalar opencv:

cd ~/<my-working-directory>
git clone https://github.com/opencv/opencv.git
cd opencv
mkdir release
cd release
cmake -D CMAKE_BUILD_TYPE=RELEASE -D CMAKE_INSTALL_PREFIX=/usr/local ..
make
sudo make install

¿Todo correcto?

Para comprobar que dlib y opencv se han instalado correctamente:

cd ~/<my-working-directory>/cocum/object_detection
./shape_predictor_single.py t-shirts/pullandbear/detector_t-shirts_pullandbear_products_squares10x12_53560c1.svm t-shirts/pullandbear/predictor_t-shirts_pullandbear_products_squares10x12.dat ../dataset/t-shirts/pullandbear/products/5237502800_2_1_2/5237502800_2_1_2.jpg ../dataset/t-shirts/pullandbear/products/5237528800_2_6_2/

Debería ejecutarse sin errores y crear una imagen PNG con la camiseta recortada en la carpeta ~/<my-working-directory>/cocum/dataset/t-shirts/pullandbear/products/5237528800_2_6_2/.

Entrenamiento

TODO

Actualizar índices

Scrapear

Ejecutar scrapers:

scrapy crawl scraper_name

Después de scrapear, ejecutar "python_utilities/remove_old_products.py" para las tiendas / categorías que se hayan scrapeado.

Recortar

Antes de recortar, eliminar las imágenes (CTRL+F ".jpg") que se hayan descargado mal. Después de esto, ejecutar "python_utilities/remove_product_folder_if_no_image.py" con los argumentos apropiados.

python main_cropper.py --shops varias tiendas o all --categories varias categorías o all

Después de recortar, eliminar de CROPPED las imágenes que se hayan recortado mal. Después de esto, ejecutar "python_utilities/remove_product_folder_if_not_in_cropped.py" con los argumentos apropiados.

Añadir a Graphcool

(Si se han añadido/eliminado tiendas/categorías, editar el archivo graphcool_creator.js con dichas modificaciones antes de ejecutarlo.)

node graphcool_creator.js mujer category/all shop/all

Actualizar Graphcool

(Si se han añadido/eliminado tiendas/categorías, editar el archivo graphcool_updater.js con dichas modificaciones antes de ejecutarlo.)

node graphcool_updater.js mujer category/all shop/all

Calcular y subir índices a LireSolr

Abrir el proyecto my-liresolr en IntelliJ y ejecutar ParallelSolrIndexer.java. (Si se han añadido/eliminado tiendas/categorías, editar el archivo ParallelSolrIndexer.java con dichas modificaciones antes de ejecutarlo.)

Argumentos: /path/to/dataset mujer category/all shop/all

Eliminar de Grapcool

(Si se han añadido/eliminado tiendas/categorías, editar el archivo graphcool_deleter.js con dichas modificaciones antes de ejecutarlo.)

node graphcool_deleter.js mujer category/all shop/all

cocum's Issues

Eliminar "hardcoded" || 'Punto' y 'imageUrl' al actualizar Graphcool

Registro de usuarios

Graphcool
Facebook
Saldo invitaciones

Mover cocumapp bucket de Frankfurt a Irlanda

Habrá que configurar el nuevo bucket para poder subir archivos desde React Native.

updateMyQuery después de calcular los resultados

Cuando status de QueryResultsContainer es 'results_computed', ejecutar la mutación updateMyQuery para subir la información de la query a Graphcool.

Push-up notifications

Firebase o OneSignal?
Deep linking

Crear un middleware de redux para hacer el 'screen tracking' de analytics

https://reactnavigation.org/docs/guides/screen-tracking

Use Oplog in Meteor again

After deploying the db to MongoDB Atlas, Meteor started giving some errors related to the oplog tailing. It seems to be a problem with the free tier of MongoDB Atlas.

For now, instead of paying in MongoDB Atlas, I removed the MONGO_OPLOG_URL variable from package.json to disable the oplog tailing, but we should get it working again as it implies performace improvements.

Here it is the MONGO_OPLOG_URL that should work with a MongoDB Atlas non-free tier:
MONGO_OPLOG_URL='mongodb://oplogger:[email protected]:27017,cluster1-shard-00-01-dmovm.mongodb.net:27017,cluster1-shard-00-02-dmovm.mongodb.net:27017/local?ssl=true&replicaSet=Cluster1-shard-0&authSource=admin'

Scroll infinito

http://dev.apollodata.com/react/pagination.html
https://dev-blog.apollodata.com/understanding-pagination-rest-graphql-and-relay-b10f835549e7

canGoNext diferente para cada Tab

canGoNext = { HomeTab: true, TrendigTab: true, CatalogueTab: true }

Si un container lo modifica condicionalmente, implementar un método updateCanGoNext que calcula el nuevo estado a partir de las props. Se llama desde componentWillUpdate y se utiliza nextProps.

Mover queries y mutations a un archivo independiente?

Mover queries y mutations a un archivo independiente y importarlos desde los containers.

¿Tiene sentido 'Lo más buscado' en TrendingTab?

Ahora timesVisited no se actualiza, por lo que en 'Lo más buscado' siempre se muestran los mismos productos.