Proxmox HA con Ceph: quorum, fencing y recuperación de nodos
Montar un clúster de Proxmox VE con almacenamiento Ceph es una de las configuraciones más habituales en entornos de virtualización modernos. La promesa es atractiva: máquinas virtuales que migran solas cuando un nodo falla, almacenamiento replicado y sin puntos únicos de fallo. Sin embargo, la realidad operativa es más matizada. La alta disponibilidad (HA) en Proxmox no es magia: depende de un quorum sano, de un mecanismo de fencing que funcione y de saber interpretar lo que ocurre cuando un nodo se cae a las 3 de la mañana.
Quorum: el árbitro silencioso del clúster
Proxmox VE utiliza Corosync para la comunicación entre nodos y pmxcfs para sincronizar la configuración. La HA Manager (pve-ha-lrm y pve-ha-crm) solo actúa cuando el clúster tiene quorum. El quorum se calcula como mayoría simple: con N nodos, se necesitan floor(N/2) + 1 votos.
En un clúster de 3 nodos, dos son suficientes. En uno de 2 nodos, ambos son necesarios, lo que convierte cualquier caída en una pérdida de quorum total. Por eso, en producción, los clústeres de 2 nodos se complementan con un QDevice externo que actúa como voto de desempate.
# Ver estado del quorum
pvecm status
# Añadir un QDevice externo (en otro host)
pvecm qdevice setup 10.0.0.50
# Comprobar votos actuales
corosync-quorumtool -s
Cuando se pierde el quorum, la HA Manager se detiene. Esto es intencional: sin quorum no hay forma segura de decidir qué nodo debe asumir las VMs, y reiniciar máquinas en dos particiones distintas produciría split-brain con corrupción de disco garantizada en Ceph.
Ceph y el quorum de los OSD/MON
Es importante no confundir dos quorums distintos que conviven en la misma infraestructura. Por un lado está el de Corosync (Proxmox). Por otro, Ceph tiene su propio quorum basado en los monitores (MON). Si los MON pierden mayoría, el clúster Ceph pasa a estado HEALTH_ERR y bloquea escrituras, aunque Proxmox siga pensando que todo está bien.
# Estado general del clúster Ceph
ceph -s
# Estado del quorum de monitores
ceph mon stat
# Detalle de un OSD problemático
ceph osd tree
ceph osd df
Una regla práctica: despliega siempre un número impar de MON (3 o 5) y repártelos en nodos distintos. Con 3 MON puedes perder uno sin perder el quorum. Con 2 MON, la caída de cualquiera deja el clúster Ceph en read-only.
Fencing: cuando hay que matar para curar
El fencing (o STONITH, Shoot The Other Node In The Head) es el mecanismo que garantiza que un nodo sospechoso de haber muerto está realmente muerto antes de que otro asuma sus recursos. Sin fencing, un nodo que solo está "lento" pero sigue vivo podría seguir escribiendo en el mismo volumen Ceph, causando corrupción.
Proxmox VE no incluye fencing por hardware por defecto, pero sí ofrece varias vías:
- Watchdog por software (softdog): el propio nodo se reinicia si pierde contacto con el clúster durante más de
tokenmilisegundos. - Fencing externo: mediante scripts que apagan el nodo por IPMI, PDU o API del hipervisor.
- Fencing por hardware: tarjetas watchdog físicas.
# Ver configuración del watchdog activo
cat /etc/default/pve-ha-manager
# Comprobar el watchdog cargado
lsmod | grep -E 'softdog|ipmi_watchdog'
# Forzar carga del softdog al arrancar
echo "softdog" >> /etc/modules
El archivo /etc/pve/ha/resources.cfg define los recursos HA, y /etc/pve/ha/manager_status refleja el estado actual. Un error frecuente es tener máquinas en modo HA sin fencing funcional: el LRM detecta el fallo, intenta recuperar, pero no puede garantizar que el nodo original esté muerto, y la operación queda bloqueada.
Recuperación de un nodo caído: flujo real
Imaginemos un clúster de 3 nodos (pve1, pve2, pve3) con Ceph. pve2 se apaga por un fallo de PSU. El flujo es el siguiente:
- Corosync detecta la pérdida de pve2 tras el
token timeout(por defecto 1000 ms, ajustable). - El clúster mantiene quorum (2 de 3 votos).
- La HA Manager marca pve2 como fenced si no responde al watchdog.
- Las VMs de pve2 se reinician en pve1 o pve3 según las reglas de afinidad.
- Ceph detecta la caída de los OSD de pve2 y comienza a reconstruir réplicas en los OSD restantes.
# Forzar el reintento de recuperación HA
ha-manager crm-command node-maintenance enable pve2
ha-manager status
# Ver recursos HA y su nodo actual
ha-manager config
# Migrar manualmente una VM HA
ha-manager migrate vm:100 pve3
Cuando el nodo vuelve, no lo reintegres a ciegas. Primero verifica el estado de Ceph: si los OSD están en down o out, la reinserción puede saturar la red de replicación. Es recomendable poner el nodo en mantenimiento HA antes de arrancarlo:
# Poner nodo en mantenimiento (evita que reciba VMs HA)
ha-manager crm-command node-maintenance enable pve2
# Tras validar Ceph, sacarlo de mantenimiento
ha-manager crm-command node-maintenance disable pve2
Buenas prácticas aprendidas a golpes
- Nunca 2 nodos sin QDevice. El ahorro de un host no compensa un split-brain.
- Red dedicada para Corosync y otra para Ceph. Compartir la misma NIC es pedir latencia y jitter.
- Watchdog siempre activo. Un nodo sin watchdog es un nodo que puede quedar zombie.
- Prueba el fencing. Apaga un nodo a propósito en un entorno de laboratorio y observa el comportamiento real. La documentación miente menos que tu producción, pero solo si la pruebas.
- Monitoriza Ceph aparte. El dashboard de Proxmox no siempre refleja el estado real de
ceph -s. - Ajusta los timeouts con criterio. Reducir el
tokena 500 ms en una red con jitter provocará falsos positivos constantes.
Proxmox HA con Ceph funciona muy bien cuando se respetan las reglas básicas: quorum impar, fencing real, red separada y disciplina operativa. Cuando falla, casi siempre es porque algún humano decidió saltarse una de esas reglas "solo por esta vez". El clúster no perdona.
comentarios(0)
$ dejar comentario