alvrogd / gradox-scraper Goto Github PK

Cuando el script finalice la espera como consecuencia de estar descargando un archivo, debería verificar que el fichero descargado presenta un tamaño mayor a 0 bytes, para identificar descargas fallidas. En dicho caso, debería repetirse la descarga del fichero.

Para optimizar la espera activa presente mientras se espera a que un fichero sea descargado, podría incrementarse gradualmente el tiempo del sleep.

Existen ficheros que el script no es capaz de descargar/identificar correctamente. Posiblemente se deba a la presencia de caracteres poco comunes en dichos nombres (acentos, espacios, signos de puntuación...)

Dado que el script simplemente tiene en cuenta el tiempo que lleva descargando un fichero, en lugar de valorar también el tamaño de este, la descarga de los ficheros de gran tamaño resultará fallida a ojos del script (realmente, el fichero acabará descargándose, pero no se organizará).

Debería tenerse también en cuenta el tamaño de un fichero para evitar este tipo de problemas.