sogis / docker-mapcache

Docker image for MapCache WMTS. Image is available at https://hub.docker.com/r/sogis/docker-mapcache.

Right now this repository is being used for learning GIT

docker-mapcache's Issues

make background transparent

Is there a reason we do not have a transparent background? Can we try to add the transparent=true (since we use png) query param in the mapcache.xml?

Volume _docker-mapcache-tiles_ in den WMTS-Container nur Readonly mounten

Das ist kein Muss, aber im Prinzip müssen ja nur die Seeder-Jobs schreiben können. Der eigentliche WMTS liefert ja nur aus. Und so kan man gleich noch verhindern, dass er versucht, die Kachel on the fly zu generieren, falls eine Kachel fehlt.

Dies kann vermutlich nur durch Umstellen auf Verwendung eines OpenShift-Templates erreicht werden.

Gute Lösung für mapcache.xml für Entwicklung, Test- und Produktionsumgebung suchen

Im Moment existieren 3 mapcache.xml: Eines pro "erwarteter Umgebung". Das ist für die Nachführung nicht ideal.

Beim "MapCache-Guru" nachfragen, was es hier für Lösungen gäbe. U.U. etwas entwickeln lassen.

Solange das nicht eleganter gelöst ist, wären noch folgende Anpassungen sinnvoll:

• Die Umgebungsvariable ENVIRONMENT direkt im Dockerfile auf leeren String setzen. Dann kann man den Container lokal ohne --e ENVIRONMENT='' starten, was im Moment recht unschön ist. (Siehe https://github.com/sogis/docker-mapcache/blob/master/README.md#run)
• Das Default-mapcache.xml soll vielleicht besser auf localhost oder so zeigen
• Das mapcachetest.xml und mapcacheproduction.xml in der ersten Zeile mit einem Kommentar versehen, dass sie abgeleitet werden sollen von mapcache.xml; entsprechenden Befehl mit angeben.

Streifen in den Orthofoto-Kacheln

Einfach nur so als Idee, falls wir ratlos dastehen sollten: Falls die Streifen in den Orthotofo-Kacheln auch nach den Anpassungsarbeiten am WMS noch bestehen, könnte man probieren, das Image komplett umstellen auf debian:stretch-backports

Log Rotation für access.log einrichten

Die Zugriffe auf Apache werden im Moment in /var/log/apache2/other_vhosts_access.log geloggt, das grösser und grösser wird. (Nach ca. 1 Woche in Betrieb 100MB.) Nicht gerade ideal.

Meine anvisierte Lösung:
/etc/apache2/conf-available/other-vhosts-access-log.conf so anpassen, dass dort die Zeile CustomLog ... ungefähr so lautet:

CustomLog |/usr/bin/rotatelogs -t ${APACHE_LOG_DIR}/other_vhosts_access.log 604800 vhost_combined

(Vielleicht braucht es hier noch das eine oder andere Anführungszeichen.)

Damit auch für das ErrorLog die gleiche Lösung im Einsatz ist, würde ich dies ebenfalls in diesem File aufnehmen, ungefähr so:

ErrorLog |/usr/bin/cat

Dann könnte man dies entsprechend wieder herausnehmen aus

docker-mapcache/Dockerfile

Line 26 in 6ceb1f7

CMD ["/usr/sbin/apache2ctl", "-D", "FOREGROUND", "-c", "ErrorLog |/usr/bin/cat"]

Container soll auch https anbieten

Im Moment wird die SSL-Verschlüsselung auf der Route terminiert. Hierzu ist auf der Route das Zertifikat für *.so.ch nötig, das aber irgendwann abläuft und erneuert werden muss.

Andere Variante wäre, die SSL-Verbindung bis zum Container durchzureichen. OpenShift kann in diesem Fall ein Zertifikat generieren, das man in den Pod einbinden kann. Dies wurde auch für andere Pods im Projekt gdi so gelöst. Anleitung: https://torstenwalter.de/openshift/nginx/sidecar/tls/encryption/certificates/2017/08/07/nginx-as-sidecar-container-to-secure-openshift-traffic.html

Damit das alles geht, muss der Container neben dem Port 8080 auch 8443 exposen, und die ganze Apache-Konfiguration muss SSL-tauglich gemacht werden.

Weiter muss dann das Deployment in OpenShift vermutlich über ein OpenShift-Template erfolgen, wie in der verlinkten Anleitung beschrieben.

https ist übrigens deshalb nötig, weil die Anfragen auf den WMTS über den API Gateway geschlauft werden. Der Reverse Proxy von nginx will https-Verbindungen nicht auf http weiterleiten.

Error in Dockerfile

Line

docker-mapcache/Dockerfile

Line 44 in 225d62b

ADD dockerlog-run.sh /etc/service/dockerlog/run

is not working:

Step 20/26 : ADD dockerlog-run.sh /etc/service/dockerlog/run
ADD failed: stat /var/lib/docker/tmp/docker-builder483136800/dockerlog-run.sh: no such file or directory

Use rsync instead of scp

Use rsync instead of scp: https://github.com/sogis/docker-mapcache/tree/master/seed#bereitstellen-der-geodaen-auf-einer-lokalen-maschine-im-agi

Seeding instructions: Check oc rsync option `--include`

Check if the --include really does what it should do, or if this maybe doesn't work on all systems/oc versions: https://github.com/sogis/docker-mapcache/blob/master/seed/README.md#kacheln-in-openshift-publizieren

Performance Seeder verbessern

Der Seeder Cron Job braucht 10 Stunden und mehr. Diese Zeit muss kürzer werden.

Mögliche Ansätze:

• Testen mit GlusterFS
• Testen, die Tiles zuerst irgendwo auf das Filesystem des Containers zu schreiben und erst danach aufs Volume docker-mapcache-tiles zu verschieben
• Eigenen QGIS Server im OpenShift-Projekt betreiben; hier ist dann jedoch daran zu denken, dass QGIS Server Zugriff auf die Rasterdaten benötigt
• Nur neu gelieferte Gemeinden neu kacheln
• Es gibt bestimmt weitere Möglichkeiten

mapcache.xml: Klären, ob es das `auto_expire` braucht

Klären, ob es das auto_expire braucht. Auf dem Hetzner-Server ist es, soviel ich weiss, auskommentiert.

"Apache Default Page" abschalten

Vermutlich durch Löschen des index.html. Oder die Datei durch eine andere ersetzen, die einen Link auf WMTSCapabilities.xml enthält.

Include rsync in container

Helpful for publishing externally generated tiles.

Umask setzen

Umask auf 0007 setzen (zumindest für den Seeder). So hat weiterhin auch die Gruppe Schreibrechte, alle anderen aber nicht. (Bzw. dann auch prüfen, ob der Seeder tatsächlich die umask berücksichtigt beim Anlegen von neuen Files.)

Betriebshandbuch schreiben

• Inkl. Doku, wie nginx (API Gateway) konfiguriert werden muss
• Inkl. Doku, was das AIO machen musste (der DNS der public-Zone muss geo-wmts.so.ch und geo-wmts-t.so.ch auflösen können); wurde ausgeführt durch Pascal Aeby.
• Ebenfalls nicht vergessen: Umgebungsvariablen, SSL-Zertifikat auf der Route

Health Checks einrichten

Für die Überwachung der Pods. Am besten direkt einen GetTile-Aufruf dafür verwenden.

use oc create instead of oc apply

Manual seed job instructions (https://github.com/sogis/docker-mapcache/tree/master/openshift#run-mapcache-seeder-jobs-that-need-to-run-on-demand-only): use oc create instead of oc apply

Seeder: Evtl. Neustart verhindern

Wenn der Seeder-Befehl fehlschlägt, weil z.B. der WMS etwas Ungültiges liefert oder gerade ein Problem hat, startet er nochmal von vorne. Ich war der Meinung, dass dies durch

docker-mapcache/openshift/seeder-cronjob-template.yaml

Line 30 in 6ceb1f7

restartPolicy: Never

verhindert wird. Es scheint aber nicht der Fall zu sein.

Vielleicht ist es aber auch genau richtig, dass er einfach neu startet. Wenn das Seeden nicht mehr so lange geht, ist es auch kein so grosses Problem mehr.

Cron Job: `concurrencyPolicy` richtig setzen

concurrencyPolicy auf forbid ("forbids concurrent runs, skipping the next run if the previous has not finished yet") oder replace ("cancels the currently running job and replaces it with a new one") setzen. Jetzt ist es gar nicht gesetzt und dadurch auf dem Standard allow ("allows Cron Jobs to run concurrently").

Doku siehe https://docs.openshift.com/container-platform/3.7/dev_guide/cron_jobs.html#creating-a-cronjob.

Hängt irgendwie auch mit #6 zusammen.

mapcache.xml: Service "demo" abschalten

docker-mapcache/mapcache.xml

Line 121 in 6ceb1f7

<service type="demo" enabled="true"/>

Ist nur der Vollständigkeit halber. Braucht es in Production und wohl auch in Test nicht.