← volver

Configuración avanzada de Alertmanager: rutas, inhibiciones y silencios multi‑tenant

Por · · [Admin-Sistemas] · lectura estimada: ~5 min

Introducción

Alertmanager es el componente que se encarga de recibir, agrupar y enrutar las alertas generadas por Prometheus. En entornos multi‑tenant (varios equipos, proyectos o clientes) la simple configuración por defecto no es suficiente: necesitamos rutas que separen las alertas por dominio, reglas de inhibición que eviten notificaciones redundantes y silencios que permitan a los equipos pausar alertas durante mantenimientos.

En este artículo detallaremos una configuración avanzada de Alertmanager que cubre:

  • Definición de receivers por tenant.
  • Creación de rutas (routing) basadas en etiquetas.
  • Implementación de inhibiciones (inhibitions) para suprimir alertas derivadas.
  • Uso de silencios (silences) vía API y UI.
  • Procedimientos de troubleshooting y buenas prácticas.

1. Arquitectura básica y requisitos previos

1.1. Componentes involucrados

Para seguir este tutorial necesitas:

  • Un clúster de Prometheus configurado para enviar alertas a Alertmanager.
  • Una instancia de Alertmanager (versión 0.25 o superior).
  • Grafana conectado a Prometheus para visualizar métricas.
  • Acceso a los puertos 9093 (Alertmanager) y 9090 (Prometheus).

1.2. Etiquetado de alertas en Prometheus

El etiquetado correcto es la base de la segmentación. Añade al menos una etiqueta tenant que identifique al propietario de la alerta:

# ejemplo de regla de alerta en prometheus.yml
groups:
  - name: example
    rules:
      - alert: HighCPUUsage
        expr: 100 - (avg by (instance) (rate(node_cpu_seconds_total{mode="idle"}[5m])) * 100) > 80
        for: 2m
        labels:
          severity: critical
          tenant: "finance"
        annotations:
          summary: "CPU alto en {{ $labels.instance }}"
          description: "Uso de CPU > 80% en {{ $labels.instance }} durante 2 minutos."

2. Configuración de receivers por tenant

2.1. Definir canales de notificación

Alertmanager soporta múltiples tipos de notificación (Slack, PagerDuty, email, webhook…). Crearemos un receiver por tenant:

# alertmanager.yml – sección receivers
receivers:
  - name: "finance-slack"
    slack_configs:
      - channel: "#finance-alerts"
        api_url: "${SLACK_WEBHOOK_FINANCE}"
        title: "{{ .CommonAnnotations.summary }}"
        text: "{{ .CommonAnnotations.description }}"

2.2. Asociar receivers a rutas

En la sección route definimos una regla base y luego sub‑rutas por tenant. La ruta raíz debe contener continue: true para que las sub‑rutas puedan heredar configuraciones comunes.

# alertmanager.yml – sección route
route:
  receiver: "ops-email"
  group_by: ['alertname', 'tenant']
  group_wait: 30s
  group_interval: 5m
  repeat_interval: 4h
  routes:
    - match:
        tenant: "finance"
      receiver: "finance-slack"
      group_interval: 2m
      repeat_interval: 1h
    - match:
        tenant: "infra"
      receiver: "ops-email"
      group_wait: 10s

3. Inhibiciones (Inhibitions) para evitar ruido

3.1. ¿Cuándo usar inhibiciones?

Una inhibición suprime una alerta cuando otra alerta “más importante” está activa. En entornos multi‑tenant es útil para:

  • Silenciar alertas de nivel warning cuando ya hay una critical del mismo recurso.
  • Evitar notificaciones de dependencias cuando el servicio primario ya ha disparado una alerta.

3.2. Definir reglas de inhibición

Ejemplo: silenciar cualquier alerta warning del tenant “finance” cuando exista una critical con la misma instance:

# alertmanager.yml – sección inhibit_rules
inhibit_rules:
  - source_match:
      severity: "critical"
      tenant: "finance"
    target_match:
      severity: "warning"
      tenant: "finance"
    equal: ["instance"]

La clave equal indica que la regla solo se aplica cuando los valores de instance coinciden, evitando inhibiciones cruzadas entre servidores diferentes.

3.3. Inhibiciones cruzadas entre tenants (opcional)

Si deseas que una alerta crítica de infra suprima alertas de cualquier otro tenant que dependan del mismo host, puedes crear una regla genérica:

- source_match:
    severity: "critical"
    tenant: "infra"
  target_match_re:
    tenant: ".*"
  equal: ["instance"]

4. Silencios (Silences) operacionales

4.1. Creación manual vía UI

Grafana (a partir de la versión 9) incluye un panel de Alertmanager. Desde allí puedes:

  1. Ir a Alerting → Alertmanager → Silences.
  2. Click en Create Silence.
  3. Definir un matcher (por ejemplo tenant=finance y severity=warning).
  4. Establecer el periodo (p.ej. 2h) y una descripción.

4.2. Automatización con la API REST

Para integraciones CI/CD o scripts de mantenimiento, usa la API /api/v2/silences. Ejemplo en Bash:

# crear un silencio de 1 hora para el tenant "finance"
read -r -d '' PAYLOAD <<EOF
{
  "matchers": [
    {"name":"tenant","value":"finance","isRegex":false},
    {"name":"severity","value":"warning","isRegex":false}
  ],
  "startsAt": "$(date -u +"%Y-%m-%dT%H:%M:%SZ")",
  "endsAt": "$(date -u -d "+1 hour" +"%Y-%m-%dT%H:%M:%SZ")",
  "createdBy": "automation",
  "comment": "Mantenimiento programado"
}
EOF

curl -XPOST -s -H “Content-Type: application/json”
-d “$PAYLOAD” http://alertmanager.example.com:9093/api/v2/silences

4.3. Buenas prácticas de silencios

  • Taguear siempre el silencio con createdBy y comment claros.
  • Limitar la TTL máxima (p.ej. 24h) para evitar que un silencio quede indefinido.
  • Auditar silencios periódicamente: curl http://alertmanager:9093/api/v2/silences.

5. Troubleshooting y errores comunes

5.1. Alertas no llegan al receiver esperado

Posibles causas:

  • Etiqueta faltante: Verifica que la alerta contenga tenant. Usa curl -s http://alertmanager:9093/api/v2/alerts | jq . para inspeccionar.
  • Orden de rutas: Alertmanager evalúa la primera coincidencia. Asegúrate de que las rutas más específicas estén antes que las genéricas.
  • Problemas de conectividad: Revisa los logs de Alertmanager (/var/log/alertmanager/alertmanager.log) por errores de webhook o SMTP.

5.2. Inhibiciones no se disparan

Verifica:

  • Los campos source_match y target_match coinciden exactamente (mayúsculas/minúsculas importan).
  • El atributo equal contiene las etiquetas correctas; de lo contrario la regla se ignora.
  • Que ambas alertas (source y target) estén activas al mismo tiempo.

5.3. Silencios persisten después del tiempo configurado

Esto suele deberse a:

  • Reloj del servidor fuera de sincronía (usa timedatectl status).
  • Formato de fecha incorrecto en la carga JSON. Usa siempre el formato ISO8601 UTC.

5.4. Comando rápido de diagnóstico

# Verificar configuración cargada
curl -s http://localhost:9093/api/v2/status | jq .data.config

Listar rutas y sus receivers

grep -A5 “routes:” /etc/alertmanager/alertmanager.yml

Ver alerts agrupadas por tenant

curl -s http://localhost:9093/api/v2/alerts | jq ’.[] | {alertname:.labels.alertname, tenant:.labels.tenant, severity:.labels.severity}’ | sort | uniq -c

Conclusión

Una gestión de alertas robusta en entornos multi‑tenant requiere más que una simple lista de receptores. Al combinar rutas segmentadas, reglas de inhibición bien pensadas y silencios controlados, puedes reducir significativamente el ruido, garantizar que cada equipo reciba la información pertinente y mantener la operatividad durante mantenimientos planificados.

Recuerda:

  • Etiquetar de forma consistente en Prometheus.
  • Ordenar las rutas de la más específica a la más genérica.
  • Probar las inhibiciones con casos reales antes de desplegarlas en producción.
  • Automatizar la creación y expiración de silencios para evitar olvidos.

Con estas prácticas, tu stack de Prometheus + Alertmanager + Grafana será capaz de escalar de manera segura y eficiente, ofreciendo a cada tenant la visibilidad y el control que necesita.

comentarios(0)

$ dejar comentario

סHola! Soy SylonBot. Si te pierdes en el artículo, pregúntame 👋
☕ invítame a un café Si el contenido te fue útil · via PayPal