darcosion / limier

Limier est un petit outil en CLI permettant de trouver un flux RSS quand il est planqué sur un site.

(for english people, I've made a quick README, but I don't want to do many support in english, so you can improve with pull request if you want)

limier

Limier est un petit outil en CLI permettant de trouver un flux RSS quand il est planqué sur un site.

fonctionnalités

• obtention de flux rss visuellement caché mais dont le lien existe
• bruteforce de chemins possible de flux rss
• détection de framework et énumération de flux possible par framework (drupal, spip, RS, etc...)
• recherche de flux rss via sitemap

installation

git clone  https://github.com/darcosion/limier
cd limier 
pip3 install -r requirements.txt

Usage

Exemple :

TODO :

• Identification des forums
• Vérification de cohérence des feed rss

limier's Issues

TODO ajouter une fonction de recherche de flux rss purement textuelle

Actuellement, sur la page scanné, un lien RSS qui n'est pas indiqué comme tel car mal foutu ne sera pas détecté.

Il semble intéressant de travailler à la détection de ce genre de lien pour :

• les détecter
• vérifier que ce sont des liens RSS
• si oui, les ajouters à la liste de lien traités
• si non, aller dessus pour voir si c'est pas une page qui réunit tout les liens RSS du site, si ledit site est large

exemple : https://rusi.org/

request: translate the readme to English

export CSV

Les flux rss de limier pourraient être exportés en CSV, ça mangerait pas de pain

oubli URI

python3 limier.py -d www.courrierdesbalkans.fr -f

Gérer les URI sans domain.

the 'google' package in requirements.txt

https://github.com/darcosion/limier/blob/master/requirements.txt

robobrowser
google

Fedora wasn't able to install the dependencies:

ERROR: Could not find a version that satisfies the requirement requirements.txt (from versions: none)
ERROR: No matching distribution found for requirements.txt

I assume that you're using a googlesearch package from the Python index?

robobrowser I installed with pip: https://pypi.org/project/robobrowser/

détecter flux rss sous la forme de xml avec uniquement un title proposé

Ce blog semble avoir un template et un modèle spécifique de flux :
https://www.n4r1b.com/

Il prend cette forme :

<a href=https://n4r1b.com/posts/index.xml target=_blank title=rss>

A investiguer.

variation de user-agent pour le bypass d'accès

Il arrive parfois que les sites ne fournissent leurs flux rss qu'à des bot de crawling de moteur de recherche, afin d'être bien référencés sur les moteurs de recherche, mais pas collectable par le particulier ou l'entreprise.

Une solution de bypass serait de modifier le useragent afin de se faire passer pour le googlebot.

TODO : ajouter un parcour du site pour trouver des fluxs rss embarqués dans des sections

Actuellement, limier fonctionne mal sur les forums comme le montre l'exemple de https:/community.mybb.com où les sections et les topics ont des flux rss qui ne sont pas catchés par limier.

Pour accéder à ce genre de chose, en premier lieu, de l'identification de framework fonctionnerait, mais au delà de l'identification des frameworks de forum, il faut une méthodologie pour repérer les sites qui fonctionnent avec une arborescence et ceux qui cachent leur arborescence (comme amazon).
Et lorsque arborescence il y a, il faut une limite de profondeur (option depth ?) pour s'assurer que limier n'en souffre pas et ne génère pas de trafic plus que nécessaire.

traiter les redirection 301 et 302

exemple avec mdk[useless]solutions[.]com

$ wget useless.com
--2020-07-01 17:02:04--  http://.com/
Résolution de .com (.com)… 213.186.33.17
Connexion à .com (.com)|213.186.33.17|:80… connecté.
requête HTTP transmise, en attente de la réponse… 301 Moved Permanently
Emplacement : https://www..com/ [suivant]
--2020-07-01 17:02:04--  https://www..com/
Résolution de www..com (www..com)… 213.186.33.17
Connexion à www..com (www..com)|213.186.33.17|:443… connecté.
requête HTTP transmise, en attente de la réponse… 200 OK
Taille : non indiqué [text/html]
Enregistre : «index.html»

index.html              [  <=>               ]  38,11K   102KB/s    ds 0,4s    

2020-07-01 17:02:06 (102 KB/s) - «index.html» enregistré [39026]

Pour le moment, il donne toujours ça :

    raise TooManyRedirects('Exceeded %s redirects.' % self.max_redirects, response=resp)