afpy / infra Goto Github PK

View Code? Open in Web Editor NEW

2.0 2.0 3.0 290 KB

The AFPy infra. Moved to https://git.afpy.org/AFPy/infra

Jinja 64.64% HTML 35.36%

infra's People

Contributors

Stargazers

Watchers

Forkers

pilou- dancergraham

infra's Issues

Combattre le spam à l'inscription

On se prend des milliers de demandes d'inscriptions à afpy-web, pour rien.

On est pas les seuls :

J'ai configuré SUBSCRIBE_FORM_SECRET aujourd'hui.

Mirroir des archives

Dans l'idée de ne pas tout détruire d'un coup, je n'ai rien contre garder les archives en ligne, en statique ça ne coûte pas grand chose en maintenance.

wget --mirror --no-parent https://lists.afpy.org/pipermail/zope3-french-user/

fait très bien le travail par exemple.

Voici nos listes (publiques et privées) :

Nom de la liste	Active ?	Archives publiques / privées	Mail annoncant la fermeture
AFPy-bureau	Peu	Privées
Afpy-cd	Un peu	Privées
AFPy-membres	Un peu	Privées
AFPy-web	Mort mais attention c'est celle du compte letsencrypt	Pas d'archive
django	0 mail en 2020	Publiques	Envoyé le 2020-12-07
djangocong-orga	3 mails en 2020	Privées	Envoyé le 2020-12-07
entreprises	0 mails 2014	Publiques	Envoyé le 2020-12-07
Lyon	0 mails depuis 2017	Publiques	Envoyé le 2020-12-07
Mentor	0 mails depuis 2016	Publiques	Envoyé le 2020-12-07
Nantes	4 mails en 2020	Publiques	Envoyé le 2020-12-07
OpenERP	0 mails depuis 2017	Publiques	Envoyé le 2020-12-07
Pyconfr-orga	Utilisée tous les ans	Privées
Pyuggre	0 mails depuis 2018	Publiques	Envoyé le 2020-12-07
Rennes	0 mails depuis 2017	Publiques	Envoyé le 2020-12-07
Salt-fr	0 mails depuis 2019	Publiques	Envoyé le 2020-12-07
Strasbourg	Uniquement actif en janvier 2020	Publiques	Envoyé le 2020-12-07
Testafpy	Uniquement actif en 2008	Privées
Traductions	Un seul mail en 2020, 0 en 2019	Publiques	Envoyé le 2020-12-07
zope3-french-user	Un seul mail en 2019 depuis 2014	Publiques	Envoyé le 2020-12-07

Password sent in clear text

The following page uses HTTPS:
https://lists.afpy.org/mailman/private/afpy-membres/
But the form send the password using HTTP.

Un TURN serveur pour le BBB?

J'ai parfois cette erreur lorsque quelqu'un partage son écran :

[19:42:55:0008] DEBUG: clientLogger: Start request accepted for screenshare https://bbb.afpy.org/html5client/09b74f699593b5f5d34236c2e5df292615124d35.js?meteor_js_resource=true:329:1295014 09b74f699593b5f5d34236c2e5df292615124d35.js:141:12635
WebRTC: ICE failed, add a TURN server and see about:webrtc for more details
[19:43:07:0893] ERROR: clientLogger: Screenshare broker failure https://bbb.afpy.org/html5client/09b74f699593b5f5d34236c2e5df292615124d35.js?meteor_js_resource=true:329:1340246 09b74f699593b5f5d34236c2e5df292615124d35.js:141:12635
[19:43:15:0494] DEBUG: clientLogger: Stopped broker session for screenshare https://bbb.afpy.org/html5client/09b74f699593b5f5d34236c2e5df292615124d35.js?meteor_js_resource=true:329:1296957

Remove toutes les listes innutilisées

ns1.afpy.org seems down since 09-Oct-2018

It's a jail on storage.afpy.org.

Migration de dl.afpy.org

Le plan :

Après la fin du rsnapshot de videospyconfr2015
Faire une copie du backup
Préparer le playbook Ansible
Installer une Debian via l'interface d'online sur la même machine
Lancer le playbook Ansible
Restaurer le backup

(tester libnginx-mod-http-fancyindex ? Vu que la machine ne sert qu'a ça ..)

augmenter la limite d'upload du site

Essayer de faire un article avec une photo de 1,1 Mo a trigger une 413 Entity Too Large. Ça me parait assez injuste en 2019. Une limite de 5 Mo ne me paraitrait pas déconnant.

fr.pycon.org is a cname to pycon.fr.

But pycon.fr don't have an SSL certificate for fr.pycon.org so the browser are whining when using https. We could simply get a letsencrypt one for fr.pycon.org as the cname points to us.

gitea backup

Il faudra rajouter un cron de sauvegarde, cf. https://docs.gitea.io/en-us/backup-and-restore/, àla :

rm -fr /var/backups/gitea
mkdir /var/backups/gitea
systemctl stop gitea 
chown git:git /var/backups/gitea/
GITEA_WORK_DIR=/var/lib/gitea sudo -u git --preserve-env=GITEA_WORK_DIR gitea dump -c /etc/gitea/app.ini --file /var/backups/gitea/gitea.zip
sudo -u git pg_dump gitea > /var/backups/gitea/gitea.sql
chown root:root /var/backups/gitea/
chmod 700 /var/backups/gitea/
systemctl start gitea

Puis demander à rsnapshot de passer les prendre.

Innutile de faire des rotations par date, rsnapshot s'en occupe.

Il manque des vidéos sur dl.afpy.org

Certbot hook never ends on smtp jail

/root/certbot_hook.sh on the smtp jail never ends, I spotted one process running for 3 months leading to a certificate being expired... had to kill the process manually and run certbot renew manually (which ALSO never ends as it calls the hook :))

Les sed (de la CI d'alain) interfèrent avec ansible (qui clone)

Le clone du repo pose un alain.ini

Mais la CI d'alain fait un sed sur le alain.ini pour les secets.

Donc il faudrait git pull --force, mais c'est moche, ou il faudrait stocker les secrets ailleurs (ce qui est moins moche !).

dl.afpy.org down

8h12 mon monitoring qui se plaint :

08:12:43 | <irker628> | mdk: dl.afpy.org: [Errno 111] Connection refused

10h17 je me ssh pour voir :

root@storage:~ # uptime
10:17AM  up 388 days,  9:17, 1 user, load averages: 354.53, 630.07, 488.99

Selon un ps ce sont des milliers de connexions ssh depuis rainette, probablement un script de backup.

[email protected] devrait être un alias vers la liste pycon-orga

afpy-membres gz archives are not gz

https://lists.afpy.org/mailman/private/afpy-membres/2006-February.txt.gz → is text/plain, not gz.

Documenter l'utilisation du Vault Ansible

J'ai essayé de déployer #31 à l'aide de la commande suivante:

$ ansible-playbook -l bbb2.afpy.org backup.yml -t common -vv --diff
[...]
ERROR! The vault password file /home/pilou/.ansible-afpy-vault was not found

j'ai essayé d'ignorer le vault d'ansible, sans succès:

ANSIBLE_VAULT_PASSWORD_FILE="/bin/uname"  ANSIBLE_VAULT_IDENTITY_LIST="test@/bin/uname" ansible-playbook -l bbb2.afpy.org backup.yml -t common -vv --diff
[...]
ERROR! Decryption failed (no vault secrets were found that could decrypt) on /home/pilou/src/afpy-infra/group_vars/all/vault

Comme le fichier en question est chiffré dans son intégralité plutôt que variable par variable, il n'est pas possible d'évaluer les conséquences à l'ignorer totalement :)

@JulienPalard: comment est transmis le mot de passe du Vault Ansible ? Au cas où ma clef GPG.

Comment un site peut améliorer la traduction?

vitesse
contribution par mobile
motivation

Choix site:

Plantoon: https://github.com/mozilla/pontoon
Site custom

FaQ

Sur Github on peut filtrer les PR

On doit avoir un système de modération sur le site avec option rejet avec message

bbb2.afpy.org: le service certbot est en erreur

# systemctl status --no-pager --full certbot 
● certbot.service - Certbot
   Loaded: loaded (/lib/systemd/system/certbot.service; static; vendor preset: enabled)
   Active: failed (Result: exit-code) since Mon 2022-03-21 02:31:06 UTC; 4min 2s ago
     Docs: file:///usr/share/doc/python-certbot-doc/html/index.html
           https://letsencrypt.readthedocs.io/en/latest/
  Process: 8643 ExecStart=/usr/bin/certbot -q renew (code=exited, status=1/FAILURE)
 Main PID: 8643 (code=exited, status=1/FAILURE)

Mar 21 02:24:50 bbb2 systemd[1]: Starting Certbot...
Mar 21 02:31:00 bbb2 certbot[8643]: Attempting to renew cert (bbb2.afpy.org) from /etc/letsencrypt/renewal/bbb2.afpy.org.conf produced an unexpected error: Failed authorization procedure. bbb2.afpy.org (http-01): urn:ietf:params:acme:error:unauthorized :: The client lacks sufficient authorization :: Invalid response from http://bbb2.afpy.org/.well-known/acme-challenge/JoxavsOZNDiMgrarb33J-8ggZyouPytJr1LkU66rJ5w [2001:4b98:dc0:43:f816:3eff:feec:dcc7]: 404. Skipping.
Mar 21 02:31:06 bbb2 certbot[8643]: Attempting to renew cert (sd-106563.dedibox.fr) from /etc/letsencrypt/renewal/sd-106563.dedibox.fr.conf produced an unexpected error: Failed authorization procedure. sd-106563.dedibox.fr (http-01): urn:ietf:params:acme:error:unauthorized :: The client lacks sufficient authorization :: Invalid response from http://sd-106563.dedibox.fr/.well-known/acme-challenge/Mtg7nJEDpFwPykvIHhIpvp85svDVZrZ-VIGXYTn9vkw [163.172.63.21]: 401. Skipping.
Mar 21 02:31:06 bbb2 certbot[8643]: All renewal attempts failed. The following certs could not be renewed:
Mar 21 02:31:06 bbb2 certbot[8643]:   /etc/letsencrypt/live/bbb2.afpy.org/fullchain.pem (failure)
Mar 21 02:31:06 bbb2 certbot[8643]:   /etc/letsencrypt/live/sd-106563.dedibox.fr/fullchain.pem (failure)
Mar 21 02:31:06 bbb2 certbot[8643]: 2 renew failure(s), 0 parse failure(s)
Mar 21 02:31:06 bbb2 systemd[1]: certbot.service: Main process exited, code=exited, status=1/FAILURE
Mar 21 02:31:06 bbb2 systemd[1]: certbot.service: Failed with result 'exit-code'.
Mar 21 02:31:06 bbb2 systemd[1]: Failed to start Certbot.

Clear des ex membres dans les listes + clear des modos

Les enregistrements bbb ne fonctionnent pas

Pour reproduire:

s'authentifier au https://bbb.afpy.org/
démarrer une conf
démarrer l'enregistrement
patienter une dizaine de seconde, par exemple en utilisnant l'outil de dessin
arrêter l'enregistrement
mettre fin à la réunion

Dans les logs du serveur bbb2.afpy.org:

# systemctl --failed
  UNIT                     LOAD   ACTIVE SUB    DESCRIPTION                                                                                                                 
● certbot.service          loaded failed failed Certbot                                                                                                                     
● [email protected] loaded failed failed Grow File System on /                                                                                                       
● tomcat8.service          loaded failed failed LSB: Start Tomcat.

# journalctl -S -1h | grep -iP "(warn|error)"
Mar 21 02:01:54 bbb2 bbb-webrtc-sfu[2604]: 2022-03-21T02:01:54.282Z - error: [mcs-media] Failed to run underlying _connect procedure due to MEDIA_NOT_FOUND sourceId=autumn-brook-SFlbOb3, sourceAdapterElementId=shy-dream-2T_YDxP, sinkId=green-sunset-d2RT74n, sinkAdapterElementId=20697a7d-906f-4908-83f0-db9944614aea_kurento.MediaPipeline/4b2bce2e-ee19-4a8f-b986-b90096a60fff_kurento.RtpEndpoint/aged-star-y~_kH64, connectionType=AUDIO, code=2201, message=MEDIA_NOT_FOUND
Mar 21 02:01:54 bbb2 bbb-fsesl-akka[1013]: 2022-03-21T02:01:54.344Z WARN  o.b.f.v.freeswitch.ESLEventListener - Unknown conference Action [floor-change]
Mar 21 02:01:54 bbb2 bbb-apps-akka[1011]: 2022-03-21T02:01:54.645Z WARN  o.b.core.running.MeetingActor - ***** Cannot handle PresentationConversionRequestReceivedSysMsg
Mar 21 02:02:57 bbb2 systemd_start_frontend.sh[1117]: warn: Meeting '2047425b6ad1f7222c633595189040bcb64c6bbd-1647828109542' is destroyed by 'w_wzum3c2mqqfp'
Mar 21 02:02:57 bbb2 run-prod.sh[994]: 2022-03-21T02:02:57.568Z ERROR o.b.api.RecordingService - Exception occured when trying to create /var/bigbluebutton/recording/status/recorded/2047425b6ad1f7222c633595189040bcb64c6bbd-1647828109542.done file.
Mar 21 02:02:57 bbb2 bbb-apps-akka[1011]: 2022-03-21T02:02:57.571Z WARN  o.b.core.BigBlueButtonActor - Cannot handle DestroyMeetingSysCmdMsg
Mar 21 02:02:57 bbb2 bbb-fsesl-akka[1013]: 2022-03-21T02:02:57.592Z WARN  o.b.f.v.freeswitch.ESLEventListener - Unknown conference Action [floor-change]
Mar 21 02:02:57 bbb2 bbb-webrtc-sfu[2604]: 2022-03-21T02:02:57.650Z - warn: [mcs-freeswitch] _stopUserAgent: SIP.js UA disconnected elementId=shy-dream-2T_YDxP
Mar 21 02:02:57 bbb2 bbb-webrtc-sfu[2604]: 2022-03-21T02:02:57.650Z - warn: [mcs-freeswitch] _stopUserAgent: SIP.js UA disconnected elementId=shy-dream-2T_YDxP
Mar 21 02:03:07 bbb2 systemd_start.sh[1044]: warn: Removing ConnectionStatus nonaffected
Mar 21 02:03:07 bbb2 systemd_start_frontend.sh[1117]: warn: Removing ConnectionStatus nonaffected
Mar 21 02:03:07 bbb2 systemd_start_frontend.sh[1090]: warn: Removing ConnectionStatus nonaffected

Configuration postfix

(ou on repasse sur exim4, je n'ai pas d'avis là dessus)

Il semble que deb.afpy.org s'annonce en temps que sd-160097.dedibox.fr lorsqu'il envoie un mail.

C'est pas super, il me semble pour que le serveur en face ai confiance.

On a :

$ dig afpy.org +short
51.159.55.117
$ dig -x $(dig afpy.org +short) +short
afpy.org.

qui est propre, reste plus qu'a s'annoncer en temps que afpy.org ?

Aussi on pourrait signer nos mails avec DKIM, ça améliore un peu la confiance à la reception.

Le certificat pour l’IMAP de mail.afpy.org est à jour

Merci 😄.

Deployer makemake

Dans sa version statique.

On pourait l'héberger sur planet.afpy.org, et rediriger afpy.org/planet (le RSS) vers le flux généré par makemake.