Proxmox VE 9 ersetzt HA-Gruppen durch flexible Platzierungsregeln

Proxmox VE 9 hat seine Hochverfügbarkeitsarchitektur aktualisiert, indem es die bisherigen HA-Gruppen durch granularere HA-Regeln ersetzt hat. Diese Änderung wirkt sich darauf aus, wie Administratoren definieren, wo virtuelle Maschinen und Container im normalen Betrieb sowie nach einem Knotenausfall ausgeführt werden. Das Update erfordert eine sorgfältige Konfiguration der Knotenaffinität und der Ressourcenplatzierung, um einen zuverlässigen Failover ohne manuelle Eingriffe sicherzustellen.

Was ist passiert?

Die neueste Version von Proxmox VE verlagert den Mechanismus zur Steuerung der Gastplatzierung von einfachen HA-Gruppen zu einem regelbasierten System, das in /etc/pve/ha/rules.cfg gespeichert wird. In früheren Releases verwendeten Administratoren Gruppen, um Präferenzen dafür anzugeben, welche Knoten bestimmte Gäste hosten sollten. Proxmox VE 9 stellt diese Gruppen zugunsten expliziter Regeln für Knotenaffinität und Ressourcenaffinität als veraltet (deprecated) ein. Bestehende Konfigurationen werden automatisch auf Knotenaffinitätsregeln migriert, sobald jeder Knoten im Cluster die Version 9 ausführt. Administratoren müssen jedoch die resultierende Logik überprüfen, um unerwartetes Verhalten zu vermeiden.

Diese strukturelle Änderung ist Teil einer breiteren Betonung robuster Hochverfügbarkeitssetups, die auf korrektem Quorum und Fencing basieren. Das System nutzt zwei primäre Daemons: den lokalen Ressourcenmanager (pve-ha-lrm) und den Cluster-Ressourcenmanager (pve-ha-crm). Diese Komponenten koordinieren mit einem Watchdog-Timer, um sicherzustellen, dass ein Knoten, wenn er ausfällt oder die Netzwerkverbindung verliert, zwangsweise zurückgesetzt wird, bevor seine Gäste an anderer Stelle neu gestartet werden. Dies verhindert Datenkorruption auf Shared Storage, indem sichergestellt wird, dass nicht zwei Knoten gleichzeitig auf dieselbe Disk schreiben.

Wichtige Details

• HA-Regeln ersetzen Gruppen: Knotenaffinitätsregeln definieren, wo ein Gast laufen kann, während Ressourcenaffinitätsregeln Gäste zusammenhalten oder trennen. Regeln sind standardmäßig nicht strikt, es sei denn, sie werden explizit konfiguriert.
• Watchdog-Fencing: Proxmox VE verwendet einen Watchdog-Timer, um ausgefallene Knoten zu isolieren (Fencing). Wenn ein Knoten sein Quorum verliert, kann er den Timer nicht mehr zurücksetzen, was einen Hardware- oder Soft-Reset auslöst, um die Integrität des Shared Storage zu schützen.
• Quorum-Anforderungen: Zuverlässige Hochverfügbarkeit erfordert mindestens drei Cluster-Knoten oder zwei Knoten plus ein QDevice. Zwei-Knoten-Cluster ohne QDevice riskieren Split-Brain-Szenarien, in denen kein Knoten sicher übernehmen kann.
• Shutdown-Richtlinien: Administratoren können zwischen den Richtlinien conditional, migrate, failover oder freeze für geplante Wartungsarbeiten wählen. Die Standardrichtlinie conditional stoppt Gäste beim Herunterfahren, während migrate zuerst versucht, Live-Migration durchzuführen.
• Wartungsmodus: Ein dediziertes Kommando für den Wartungsmodus migriert HA-Gäste vom Zielknoten weg und hält sie dort fern, bis der Modus deaktiviert wird. Dies vereinfacht Hardware-Reparaturen oder Updates.
• Testanforderung: Der Autor betont, bei einem Testknoten den Stromstecker zu ziehen, um den Failover zu verifizieren, da sauberes Herunterfahren nicht dieselben Fencing- und Wiederherstellungsmechanismen auslöst wie tatsächliche Hardwareausfälle.

Hintergrund

Hochverfügbarkeit in Virtualisierungsumgebungen basiert auf dem Konzept des Quorums, das sicherstellt, dass die Mehrheit der Knoten sich über den Cluster-Zustand einig ist. Ohne Quorum kann ein Cluster nicht zwischen einem Knotenausfall und einer Netzwerkpartition unterscheiden, was zu potenzieller Datenkorruption führen kann, wenn mehrere Knoten versuchen, als Primärknoten zu agieren. Proxmox VE adressiert dies, indem es eine ungerade Anzahl von Stimmrechtsmitgliedern oder ein tie-breaking QDevice vorschreibt.

Fencing ist der Prozess der Isolierung eines ausgefallenen Knotens, um zu verhindern, dass er auf gemeinsame Ressourcen zugreift. In Proxmox VE wird dies durch Watchdog-Timer erreicht. Wenn ein Knoten nicht mehr reagiert oder den Kontakt zur Mehrheit des Clusters verliert, läuft sein Watchdog-Timer ab, was einen Neustart erzwingt. Dieser harte Reset stellt sicher, dass alle vom ausgefallenen Knoten gehaltenen Sperren freigegeben werden, sodass der Cluster-Ressourcenmanager die betroffenen Gäste sicher auf gesunden Knoten neu starten kann.

Warum ist das wichtig?

Für Teams, die Self-Hosted-Infrastruktur betreiben, bietet die Umstellung auf HA-Regeln mehr Kontrolle über die Ressourcendistribution, bringt aber auch Komplexität in die Konfiguration mit sich. Fehlkonfigurierte Affinitätsregeln können dazu führen, dass Gäste während eines Ausfalls nicht starten, wenn die bevorzugten Knoten nicht verfügbar sind. Es ist entscheidend, den Unterschied zwischen strikter und nicht-strikter Affinität zu verstehen, um sicherzustellen, dass essenzielle Dienste online bleiben, selbst wenn die bevorzugte Hardware offline ist.

Die Abhängigkeit von Watchdogs und Quorum bedeutet, dass Hardwareauswahl und Netzwerkzuverlässigkeit wichtiger denn je sind. Die Verwendung des Standard-Software-Watchdogs (softdog) ist bequem, aber weniger zuverlässig als ein dediziertes Hardware-Watchdog-Modul. Teams müssen sicherstellen, dass ihre Serverhardware diese Module unterstützt und aktiviert, um zu garantieren, dass Fencing bei realen Ausfällen wie Stromverlust oder Kernel-Panics zeitnah erfolgt.

Darüber hinaus bleibt die Unterscheidung zwischen Hochverfügbarkeit und Backups eine häufige Falle. HA stellt die Dienstkontinuität sicher, indem Gäste auf anderen Knoten neu gestartet werden, schützt aber nicht vor Datenkorruption oder logischen Fehlern innerhalb des Gastes selbst. Administratoren müssen separate Backup-Strategien pflegen und sicherstellen, dass Shared-Storage-Lösungen wie Ceph oder ZFS-Replikation korrekt konfiguriert sind, um Datenverlustfenster während Failover-Ereignissen zu minimieren.

Was Sie tun können

• Quorum-Setup überprüfen: Stellen Sie sicher, dass Ihr Cluster mindestens drei Knoten oder zwei Knoten mit einem QDevice hat, um das Quorum während eines einzelnen Knotenausfalls aufrechtzuerhalten.
• HA-Regeln prüfen: Überprüfen Sie /etc/pve/ha/rules.cfg nach dem Upgrade auf Proxmox VE 9, um zu bestätigen, dass die migrierten Knotenaffinitätsregeln Ihrer beabsichtigten Platzierungsstrategie entsprechen.
• Hardware-Watchdogs konfigurieren: Aktivieren Sie Hardware-Watchdog-Module in /etc/default/pve-ha-manager, anstatt sich nur auf den Software-softdog für zuverlässigeres Fencing zu verlassen.
• Failover sicher testen: Führen Sie einen kontrollierten Test durch, indem Sie eine Wegwerf-VM zu HA hinzufügen und ihrem Host-Knoten physisch den Strom entziehen, um den Wiederherstellungsprozess und die Timing zu beobachten.
• Shutdown-Richtlinie festlegen: Legen Sie die Shutdown-Richtlinie in datacenter.cfg explizit auf migrate fest, wenn Sie Live-Migration während geplanter Neustarts bevorzugen, statt des Standard-Stop-and-Restart-Verhaltens.
• Wartungsmodus nutzen: Verwenden Sie die Funktion ha-manager crm-command node-maintenance, wenn Sie Arbeiten an einem bestimmten Knoten durchführen, um Gäste automatisch wegzumigrieren und zu verhindern, dass sie zurückkehren, bis die Arbeit abgeschlossen ist.