Configuración avanzada de Alertmanager: rutas multicanal, silencing e inhibitions
Introducción
Alertmanager es el componente de Prometheus responsable de agrupar, deduplicar y reenviar alertas a los canales de notificación adecuados. En entornos híbridos (on‑premise + cloud) es frecuente requerir una estrategia multicanal que incluya PagerDuty para la gestión de incidentes, Slack para la comunicación interna y correo electrónico como respaldo.
Este artículo detalla paso a paso la configuración de rutas (routing) avanzadas, la creación de silences e inhibitions, y brinda ejemplos reales de archivos alertmanager.yml adaptados a entornos híbridos.
1. Preparación del entorno
1.1 Instalación de Alertmanager
En la mayoría de los casos Alertmanager se despliega junto a Prometheus mediante docker o como binario. Aquí un ejemplo con Docker:
docker run -d \
--name alertmanager \
-p 9093:9093 \
-v /etc/alertmanager:/etc/alertmanager \
prom/alertmanager:v0.27.0 \
--config.file=/etc/alertmanager/alertmanager.yml
El directorio /etc/alertmanager contendrá el archivo de configuración y los templates de notificación.
1.2 Generación de credenciales
- PagerDuty: crea un service integration key (tipo Events API V2).
- Slack: genera un Incoming Webhook URL en el workspace deseado.
- Correo: define un servidor SMTP accesible desde el host de Alertmanager.
Guarda estas credenciales en archivos seguros (por ejemplo, /etc/alertmanager/secret.yml) y usa --web.config.file para cargar basic_auth si es necesario.
2. Configuración de rutas multicanal
2.1 Estructura básica del archivo alertmanager.yml
Alertmanager procesa la configuración en tres bloques principales: global, receivers y route. A continuación, un esquema simplificado:
global: resolve_timeout: 5m smtp_smarthost: smtp.example.com:587 smtp_from: alertmanager@example.com smtp_auth_username: alertmanager smtp_auth_password: ${SMTP_PASSWORD}receivers:
- name: ‘pagerduty’ pagerduty_configs:
- service_key: ${PD_SERVICE_KEY}
- name: ‘slack’ slack_configs:
- api_url: ${SLACK_WEBHOOK} channel: ‘#alerts’ title: ’{{ template “slack.title” . }}’ text: ’{{ template “slack.text” . }}’
- name: ‘email’ email_configs:
- to: ‘ops@example.com’ send_resolved: true
route: receiver: ‘email’ # fallback group_by: [‘alertname’, ‘cluster’] group_wait: 30s group_interval: 5m repeat_interval: 12h routes: - receiver: ‘pagerduty’ match: severity: ‘critical’ - receiver: ‘slack’ match_re: severity: ‘warning|info’
2.2 Enrutamiento por etiquetas y prioridades
En entornos híbridos, utilizamos etiquetas (labels) como environment (prod, staging) o cloud_provider (aws, gcp). Así podemos dirigir alertas de producción a PagerDuty y las de staging solo a Slack.
route:
receiver: 'email'
routes:
- receiver: 'pagerduty'
match:
severity: 'critical'
environment: 'prod'
- receiver: 'slack'
match:
environment: 'staging'
- receiver: 'slack'
match:
severity: 'warning'
cloud_provider: 'aws'
2.3 Configuración de plantillas (templates)
Las plantillas permiten personalizar el contenido según el canal. Guardamos alert.tmpl en el mismo directorio:
{{ define "slack.title" }}[{{ .Status | toUpper }}] {{ .CommonLabels.alertname }}{{ end }}{{ define “slack.text” }} Summary: {{ .CommonAnnotations.summary }} Description: {{ .CommonAnnotations.description }} Instance: {{ .CommonLabels.instance }} Runbook: {{ .CommonAnnotations.runbook_url }} {{ end }}
{{ define “email.subject” }}[{{ .Status }}] {{ .CommonLabels.alertname }}{{ end }}
{{ define “email.body” }} Alerta: {{ .CommonLabels.alertname }} Estado: {{ .Status }} Instancia: {{ .CommonLabels.instance }} Resumen: {{ .CommonAnnotations.summary }}
{{ .CommonAnnotations.description }}
{{ if .CommonAnnotations.runbook_url }}Runbook: {{ .CommonAnnotations.runbook_url }}{{ end }} {{ end }}
Referenciamos la plantilla en el bloque receivers usando title: y text: para Slack, subject: y text: para correo.
3. Silencing (silencios)
3.1 ¿Qué es un silencing?
Un silence impide que Alertmanager envíe notificaciones de una o varias alertas durante un intervalo de tiempo. Es útil durante mantenimientos planificados o despliegues.
3.2 Creación manual mediante la UI
Accede a http:// y completa los campos:
- Matcher:
environment=prod - Starts at: ahora
- Ends at: 2h después
- Creator: tu usuario
- Comment: "Mantenimiento de base de datos"
3.3 Automatización con la API
Puedes crear silences desde scripts o CI/CD. Ejemplo con curl:
cat > silence.json <<EOF { "matchers": [ { "name": "environment", "value": "prod", "isRegex": false }, { "name": "alertname", "value": "HighCPU", "isRegex": false } ], "startsAt": "$(date -u +"%Y-%m-%dT%H:%M:%SZ")", "endsAt": "$(date -u -d "+1 hour" +"%Y-%m-%dT%H:%M:%SZ")", "createdBy": "ci-pipeline", "comment": "Deploy rolling update" } EOF
curl -XPOST -d @silence.json http://localhost:9093/api/v2/silences
4. Inhibitions (inhibiciones)
4.1 Concepto
Una inhibition suprime notificaciones de alertas de menor gravedad cuando ya hay una alerta más crítica activa. Por ejemplo, si NodeDown está disparada (critical), no queremos que DiskSpaceLow (warning) siga generando ruido.
4.2 Configuración en alertmanager.yml
inhibit_rules:
- source_match:
severity: 'critical'
target_match:
severity: 'warning'
equal: ['alertname', 'instance', 'environment']
- source_match:
alertname: 'HighMemoryUsage'
target_match:
alertname: 'MemoryLeak'
equal: ['instance']
El campo equal indica las etiquetas que deben coincidir para que la inhibición sea válida.
4.3 Verificación
Utiliza la API /api/v2/alerts para inspeccionar el estado de las alertas y comprobar que las de menor severidad aparecen con silenced_by apuntando al ID de la alerta crítica.
5. Adaptación a entornos híbridos
5.1 Separación de rutas por zona geográfica
En un despliegue híbrido, podemos diferenciar alertas según la etiqueta region (e.g., us-east-1, eu-west-1) y enviar a diferentes canales de Slack o a diferentes equipos de PagerDuty.
route:
routes:
- receiver: 'pagerduty-us'
match:
region: 'us-east-1'
- receiver: 'pagerduty-eu'
match:
region: 'eu-west-1'
- receiver: 'slack-global'
match:
environment: 'staging'
5.2 Redundancia de correo con fallback
Definimos dos receptores de correo (primario y secundario) y los encadenamos usando continue: true para que, si el primero falla, se intente el segundo.
receivers: - name: 'email-primary' email_configs: - to: 'ops-primary@example.com' send_resolved: true html: '{{ template "email.body" . }}' - name: 'email-secondary' email_configs: - to: 'ops-secondary@example.com' send_resolved: true html: '{{ template "email.body" . }}'
route: routes: - receiver: ‘email-primary’ continue: true - receiver: ‘email-secondary’
6. Troubleshooting
6.1 Errores comunes
- Alertmanager no arranca: Revisar
syntax erroren YAML. Useyamllintopython -c 'import yaml,sys; yaml.safe_load(sys.stdin)' < alertmanager.yml. - Notificaciones a Slack fallan: Verificar que la URL del webhook no tenga espacios y que el canal exista.
- PagerDuty devuelve 400: Asegúrese de usar una integration key del tipo Events API V2, no la del servicio.
- Correo no se envía: Comprobar conectividad al
smtp_smarthost, credenciales y que el puerto (587/465) sea el correcto. - Silences no se aplican: Verifique que los matchers coincidan exactamente con las etiquetas de la alerta (mayúsculas/minúsculas).
6.2 Herramientas de diagnóstico
# Ver estado de Alertmanager curl http://localhost:9093/api/v2/statusListar alertas actuales
curl http://localhost:9093/api/v2/alerts | jq .
Ver silences activos
curl http://localhost:9093/api/v2/silences | jq .
Ver reglas de inhibición
curl http://localhost:9093/api/v2/inhibitions | jq .
6.3 Logs
Los logs de Alertmanager se encuentran en /var/log/alertmanager/alertmanager.log (o el stdout del contenedor). Busque líneas con level=error y msg="failed to send" para identificar el canal problemático.
Conclusión
Una configuración avanzada de Alertmanager que combine PagerDuty, Slack y correo, junto con silences e inhibitions, permite a los equipos de operaciones reducir el ruido, priorizar incidentes críticos y adaptarse a arquitecturas híbridas complejas. Siguiendo los ejemplos proporcionados, podrás crear rutas basadas en etiquetas, automatizar silencios mediante la API y garantizar que las alertas menos relevantes se supriman cuando existan incidentes de mayor gravedad. No olvides validar la sintaxis, probar cada receptor de forma aislada y monitorizar los logs para una operatividad sin interrupciones.
comentarios(0)
$ dejar comentario