Este sistema de webcrawler obtiene información de accesorios de la página de mercado libre de argentina.
- Tener Python instalado (obviamente)
- Tener instalada la librería Scrapy
- Tener instalada la librería BeautifulSoup4
- (OPCIONAL) instalar el prompt de miniconda (en caso de que de algún error las librerías anteriores).
- Clonar el proyecto.
- Entrar a la consola de comandos.
- Entrar a la carpeta "webcrawler"
- Ejecutar el siguiente comando:
- scrapy crawl accesorios -o data.csv -t csv
- donde "accesorios" es el nombre del spider, "data" es el nombre del archivo que guardará los datos, y "csv" el nombre del formato que se guardará el archivo.
- Para detener el webcrawler se debe presionar ctrl+C.
- El archivo con los datos se creará dentro de la carpeta "webcrawler".