FREIFUNK - MÜNCHEN
Die Automatisierung der Infrastruktur basiert zum Großteil auf Saltstack. Ein Salt-Master verwaltet alle Server (Gateways, Docker-Hosts, Webfrontends, Hypervisoren, Meet-Server usw.) und rollt die Konfiguration per Pull-Request-Workflow aus.
Nach dem initialen Setup eines Servers verwenden wir noch ein Ansible Playbook um SSH Keys zu deployen und Saltstack zu installieren. Im Grunde könnte dies aber durch ein pre-seed File gelöst werden.
Die Entscheidung für Saltstack fiel, da andere Communities dies sehr erfolgreich einsetzen und das Konzept von Freifunk Hochstift sehr durchdacht und zukunftssicher klang.
Unsere Source-of-Truth ist dabei Netbox, alle zu Fakten zu den Konfigurationen kommen aus dieser.
Dies ist nur ein winziger Einblick in unseren Saltstack und welche Komponenten er benötigt. Geheimnisse (Passwörter, Schlüssel, Tokens) liegen nie im Repository, sondern im nicht öffentlichen Salt-Pillar.
init.sls, zum Beispiel wgkex, haproxy, bird2, nebula oder telegraf.top.sls steht, welche Formulas auf welche Server kommen: einige für alle Minions (SSH, sudo, Monitoring, Updates, Zeitzone usw.), weitere je nach Hostname (z. B. gw* für die Gateways, webfrontend* für HAProxy und DNS, docker0* für die Docker-Hosts).stacks/<host>/<projekt>/. Sie werden mit Komodo ausgerollt; Salt kümmert sich nur um den Host selbst (Docker, Firewall, Komodo Periphery). Images sind per Version und Digest festgelegt.black, yamllint, salt-lint, shellcheck).state.apply <formula> test=True (nur Vorschau) und wendet sie dann an. Bei Änderungen, die viele Server betreffen oder einen Dienst neu starten, geht man Host für Host vor.highstate (18:00 Uhr) auf allen Servern aus. Manuelle Änderungen direkt auf einem Server werden dabei überschrieben.Netbox wird beim Rendern der Konfiguration zwingend gebraucht: Ist sie nicht erreichbar, bricht der Lauf bewusst ab, statt eine Konfiguration ohne Präfixe oder DNS-Einträge zu erzeugen.
Wie man sieht, wird in unserer Netbox alles gepflegt was mit unseren PoPs (Point-of-Presence) zu tun hat.
Von einem Server werden alle IP-Adressen, Interfaces, Rollen und extra Konfigurationssnippets in der Netbox gepflegt.
Hier ein Screenshot von unserem GW01, wie man sieht ist es in der Rolle „gateway“ und alle Interfaces sind in der Netbox angelegt. Außerdem sieht man, auf welchem physikalischen Host die VM läuft. (Die Screenshots stammen von 2019; Rollen und Namen haben sich seither geändert, das Prinzip nicht.)
Neben den vorgegebenen Feldern von Netbox benutzen wir außerdem stark die Config Contexte, welche einfach JSON Input erwarten. Hier mit lassen sich noch komplexere Probleme lösen, wie zum Beispiel die Zuweisung welche Segmente (Domains) auf dem Gateway existieren sollen, welche Rollen ein Server hat (z. B. Backup- oder Icinga-Client) und welche Docker-Dienste auf einem Host laufen.
Die Gateways bekommen über die Formula wgkex den Worker des WireGuard-Schlüsselaustauschs, siehe wgkex.
Unseren kompletten Saltstack findet ihr auf Github. Die README.md und die READMEs in einzelnen Verzeichnissen (z. B. wgkex/, bird2/, stacks/) erklären Details.
Solltet ihr Fragen dazu haben sprecht uns beim nächsten Treffen an oder kommt in den Chat :).