Crawling
Fait partie du projet Zapking, dont l'objectif est de construire un plug-in permettant à l'internaute d'accéder à des urls suceptibles de lui plaire lors du clic sur le logo du plug-in. Cet algorithme permet de récupérer des urls de site internet dans une base de données. En fonction de leur contenu et de certains attributs, il permet de les catégoriser et de leur mettre un quality score.
Il faut lancer le script qui comporte le nom du site que vous voulez crawler. Vous arriver sur un menu principal qui vous demande ce que vous voulez faire : mode.
- Wikipedia
Ecrit en python 2.7