Grafana alertas con Loki: detección de anomalías en logs SSH
Introducción: por qué monitorear logs SSH con Loki
Los logs de autenticación SSH son una fuente crítica de información para cualquier administrador de sistemas. Cada intento de inicio de sesión, exitoso o fallido, queda registrado en archivos como /var/log/auth.log (Debian/Ubuntu) o /var/log/secure (RHEL/CentOS). Sin embargo, revisar manualmente estos archivos es inviable en entornos con múltiples servidores. Aquí entra Loki, el sistema de agregación de logs horizontalmente escalable de Grafana Labs, diseñado para trabajar con altos volúmenes de datos y consultas rápidas.
Combinar Loki con Grafana permite no solo visualizar logs en tiempo real, sino también disparar alertas cuando se detectan patrones sospechosos: múltiples fallos de autenticación desde una misma IP, intentos con usuarios inexistentes, o accesos en horarios inusuales. En este artículo técnico, exploraremos cómo configurar alertas en Grafana utilizando Loki como fuente de datos, con un enfoque práctico en la detección de anomalías SSH.
Arquitectura básica de la solución
Antes de escribir consultas, es importante entender los componentes involucrados:
- Loki: almacena y etiqueta los logs. Se alimenta de agentes como Promtail o Grafana Agent, que envían líneas desde
/var/log/auth.log. - Grafana: consume los datos de Loki, los visualiza en paneles y evalúa reglas de alerta.
- Alertmanager: gestiona el enrutamiento de notificaciones (Slack, correo, PagerDuty, etc.).
Asumiremos que ya tienes Loki y Grafana funcionando, y que Promtail está recolectando logs SSH. Si no es el caso, la configuración básica de Promtail para logs de autenticación podría verse así:
scrape_configs:
- job_name: syslog
static_configs:
- targets: [localhost]
labels:
job: varlogs
__path__: /var/log/auth.log
Etiquetado efectivo para consultas LogQL
Loki funciona con etiquetas (labels) que permiten filtrar rápidamente. Para logs SSH, es recomendable extraer campos relevantes como username, ip o status usando etiquetas de pipeline en Promtail. Ejemplo de configuración en Promtail para parsear líneas SSH:
pipeline_stages:
- regex:
expression: '^(?P<timestamp>\w{3}\s+\d{1,2}\s+\d{2}:\d{2}:\d{2})\s+(?P<hostname>\S+)\s+sshd\[(?P<pid>\d+)\]:\s+(?P<message>.*)$'
- regex:
source: message
expression: '(?P<action>Failed password|Accepted password|Invalid user)\s+for\s+(?P<username>\S+)\s+from\s+(?P<ip>\d+\.\d+\.\d+\.\d+)'
- labels:
action:
username:
ip:
Este parseo crea etiquetas como action="Failed password" o username="root", facilitando consultas precisas.
Consultas LogQL clave para detectar anomalías
LogQL (Log Query Language) combina el filtrado de logs con métricas agregadas. A continuación, las consultas más útiles para detectar anomalías SSH:
1. Conteo de fallos de autenticación por IP en ventana de tiempo
Esta consulta cuenta cuántos intentos fallidos ha generado cada IP en los últimos 15 minutos:
sum by (ip) (count_over_time({job="varlogs"} |= "Failed password" [15m]))
Si el resultado supera un umbral (por ejemplo, 10), es probable que sea un ataque de fuerza bruta.
2. Detección de usuarios inexistentes
Los intentos con usuarios inexistentes generan logs como "Invalid user". Para monitorizarlos:
sum by (ip, username) (count_over_time({job="varlogs"} |= "Invalid user" [5m]))
Un valor alto desde una misma IP sugiere un escaneo automatizado de usuarios.
3. Anomalías en horarios de acceso
Para detectar accesos exitosos en horas no laborables (por ejemplo, entre 0:00 y 6:00):
sum by (username, ip) (count_over_time({job="varlogs"} |= "Accepted password" [1h]))
Combinando esta consulta con filtros de hora en Grafana, puedes alertar sobre accesos fuera del horario habitual.
Configuración de alertas en Grafana
Grafana permite crear alertas directamente desde el panel de exploración o desde la sección de "Alerting". Sigue estos pasos:
- Ve a Alerting > Alert rules y haz clic en New alert rule.
- Selecciona la fuente de datos Loki.
- Escribe una consulta LogQL. Por ejemplo, para detectar más de 10 fallos en 5 minutos:
sum by (ip) (count_over_time({job="varlogs"} |= "Failed password" [5m])) > 10
- Configura el evaluation interval (por ejemplo, cada 1 minuto) y la pending period (por ejemplo, 1 minuto para evitar falsos positivos).
- Define el contact point (Slack, correo, webhook).
- Guarda la regla.
Ejemplo de regla completa en formato JSON (se puede importar como regla de alerta):
{
"alert": "SSH_BruteForce",
"expr": "sum by (ip) (count_over_time({job=\"varlogs\"} |= \"Failed password\" [5m])) > 10",
"for": "1m",
"labels": {
"severity": "critical"
},
"annotations": {
"summary": "Alto número de fallos SSH desde {{ $labels.ip }}",
"description": "IP {{ $labels.ip }} ha generado {{ $value }} fallos en 5 minutos."
}
}
Manejo de falsos positivos y ajuste de umbrales
Ninguna alerta es perfecta. Los falsos positivos pueden saturar al equipo. Para minimizarlos:
- Usa rangos de tiempo adecuados: ventanas de 5 a 15 minutos suelen ser efectivas para ataques de fuerza bruta.
- Combina condiciones: por ejemplo, alerta solo si el mismo IP supera 10 fallos y no hay un acceso exitoso.
- Excluye IPs internas: si tu red usa VPN o jump hosts, agrega filtros como
!= "192.168.0.0/16"en LogQL. - Usa promedios móviles: en lugar de un umbral fijo, puedes calcular la media histórica con
avg_over_timey alertar cuando el valor se desvíe significativamente.
Ejemplo de consulta con umbral dinámico (compara el conteo actual con la media de la última hora):
sum by (ip) (count_over_time({job="varlogs"} |= "Failed password" [5m]))
/ avg by (ip) (count_over_time({job="varlogs"} |= "Failed password" [1h])) > 3
Visualización avanzada: paneles de dashboards
Las alertas no existen en el vacío. Un buen dashboard permite contextualizar las anomalías. Crea un panel en Grafana con las siguientes consultas:
- Mapa de calor de IPs atacantes: usando
topk(10, sum by (ip) (rate({job="varlogs"} |= "Failed password" [5m]))). - Serie temporal de fallos por usuario:
sum by (username) (rate({job="varlogs"} |= "Failed password" [1m])). - Tabla de últimas anomalías: consulta en tiempo real
{job="varlogs"} |= "Failed password" | logfmtordenado por timestamp.
Recuerda añadir enlaces a las alertas desde el dashboard para facilitar la investigación.
Integración con sistemas de respuesta (IRM)
Una vez que la alerta se dispara, el siguiente paso es la acción. Con Grafana OnCall o webhooks, puedes automatizar respuestas:
- Ejecutar un script: mediante un webhook a un servicio como n8n o Node-RED,
comentarios(0)
$ dejar comentario