Monitoring und Alarme

Warum

Auslöser war eine volle Festplatte auf einem Build-Rechner, die erst auffiel, als nichts mehr ging. Ich wollte wissen, dass etwas klemmt, bevor es klemmt.

Aufbau

kube-prometheus-stack im eigenen Namespace, verwaltet wie alles andere über Argo CD. Die Historie ist bewusst auf etwa einen Tag begrenzt: Für Alarme und «was war heute Nacht los» reicht das, und der Arbeitsspeicher im Cluster ist knapp.

Alertmanager schickt an einen eigenen Telegram-Bot, getrennt von anderen Bots. Eine Nachricht pro Alarm, eine Zeile, ohne Vorlage-Prosa.

Nebeneffekt

Weil Alertmanager ohnehin Nachrichten verschickt, nutzen ihn auch kleine Anwendungen als Meldeweg: Sie stellen eine Metrik bereit, eine Regel macht daraus einen Alarm. So braucht ikea-watch keinen eigenen Code für Benachrichtigungen.

Offen

Vorher mussten die Ressourcen-Anforderungen anderer Dienste sinken, damit der Stack Platz hat. Neue Anwendungen bekommen seither von Anfang an knappe Requests.