VXLAN con EVPN en Linux: overlay L2 multi-rack con FRR y troubleshooting
El crecimiento de las infraestructuras multi-rack en entornos on-premise y edge ha devuelto el protagonismo a las redes overlay. VXLAN resolvió hace años el problema de escalar dominios L2 sobre una red IP, pero su talón de Aquiles fue siempre el plano de control: inundar el tráfico desconocido mediante multicast o head-end replication es ineficiente y difícil de operar. EVPN (Ethernet VPN, RFC 7432) cambia las reglas del juego al convertir BGP en el mecanismo de señalización de las direcciones MAC e IP, eliminando la inundación y habilitando un control granular del forwarding.
Este artículo no es un tutorial de copiar y pegar. Es una guía de diseño y operación para administradores de sistemas que ya manejan Linux y quieren montar un fabric VXLAN/EVPN real sobre FRR, con criterio para diagnosticar cuando algo deja de funcionar en producción.
Por qué EVPN y no VXLAN multicast
En un VXLAN clásico, cada VTEP necesita descubrir las MAC remotas. Sin un plano de control, la única opción es inundar BUM (broadcast, unknown unicast, multicast) por los túneles. Con EVPN, los VTEPs intercambian rutas tipo 2 (MAC/IP) y tipo 3 (inclusive multicast) mediante BGP. El resultado:
- No hay inundación de unknown unicast: el VTEP origen ya conoce el VTEP destino.
- ARP/ND se puede suprimir con ARP suppression, reduciendo el ruido en el fabric.
- Multitenancy limpia usando VRFs y Route Targets.
- Integración natural con cualquier underlay IP, incluido un routed fabric sin spanning tree.
La contrapartida es la complejidad operativa: ahora dependes de BGP, de las route targets y de que la underlay tenga alcanzabilidad entre loopbacks. Si BGP se cae, el overlay se cae contigo.
Diseño multi-rack: underlay e overlay
La regla de oro es separar planos. La underlay debe ser una red IP enrutada, típicamente eBGP entre leafs y spines, con las loopbacks /32 anunciadas. Sobre esa base, la overlay VXLAN/EVPN se construye entre loopbacks de los VTEPs. En un escenario multi-rack con dos o tres racks conectados a un par de spines, el esquema habitual es:
- Spines: solo enrutan. No son VTEPs. Hablan eBGP con los leafs.
- Leafs: son los VTEPs. Mantienen iBGP o eBGP EVPN entre ellos (o hacia route reflectors).
- Servidores: conectados a los leafs con bond LACP o EVPN-MH (multihoming) si se busca redundancia activa-activa.
- VNI: un VNI por VLAN/tenant. Mapeo 1:1 simplifica la vida.
La MTU es crítica. VXLAN añade 50 bytes de overhead (outer IP + UDP + VXLAN). Si tus servidores usan MTU 9000, la underlay debe soportar al menos 9050. Si no puedes garantizarlo, baja la MTU de los hosts a 1450 y olvídate de los fragmentos.
Configuración de FRR: lo esencial
FRR es la pieza que convierte Linux en un VTEP EVPN funcional. Necesitas el kernel con soporte VXLAN (módulo vxlan) y FRR 7.x o superior para una experiencia estable. El esqueleto en /etc/frr/frr.conf para un leaf sería:
frr version 8.5
frr defaults traditional
hostname leaf01
log syslog informational
service integrated-vtysh-config
!
router bgp 65001
bgp router-id 10.0.0.11
no bgp default ipv4-unicast
neighbor SPINES peer-group
neighbor SPINES remote-as external
neighbor 10.0.0.1 peer-group SPINES
neighbor 10.0.0.2 peer-group SPINES
neighbor 10.0.0.21 remote-as 65001
neighbor 10.0.0.21 update-source lo
!
address-family ipv4 unicast
network 10.0.0.11/32
neighbor SPINES activate
exit-address-family
!
address-family l2vpn evpn
neighbor 10.0.0.21 activate
neighbor 10.0.0.21 route-reflector-client
advertise-all-vni
exit-address-family
!
El bloque clave es address-family l2vpn evpn con advertise-all-vni. Esto hace que FRR anuncie automáticamente todas las VNIs configuradas en el kernel, sin tener que listarlas a mano. La sesión con el route reflector (10.0.0.21) transporta las rutas EVPN tipo 2 y 3.
Creando el VXLAN en el kernel
La interfaz VXLAN se crea fuera de FRR, con iproute2. Ejemplo para una VNI 100 asociada a la VLAN 100:
ip link add vxlan100 type vxlan \
id 100 \
local 10.0.0.11 \
dstport 4789 \
nolearning \
dev eth0
ip link add br100 type bridge
ip link set vxlan100 master br100
ip link set br100 up
ip link set vxlan100 up
bridge vlan add dev vxlan100 vid 100
El flag nolearning es obligatorio en EVPN: el aprendizaje lo hace BGP, no el data plane. Si lo dejas en modo learning, tendrás entradas duplicadas y comportamiento errático. El dev eth0 indica la interfaz física por la que se encapsula; en fabrics con ECMP conviene usar una loopback de transporte separada y anunciarla por la underlay.
Troubleshooting: dónde mirar y en qué orden
Cuando un host de un rack no alcanza a otro en un rack distinto, el diagnóstico debe ser metódico. Saltarse pasos lleva a perder horas persiguiendo fantasmas.
1. Underlay primero
vtysh -c "show ip bgp summary"
ping -c3 -I 10.0.0.11 10.0.0.21
ip route get 10.0.0.21
Si las loopbacks no se ven entre sí, el overlay es irrelevante. Verifica que las sesiones BGP underlay estén Established y que las /32 de las loopbacks estén en la tabla de rutas.
2. Sesión EVPN
vtysh -c "show bgp l2vpn evpn summary"
vtysh -c "show bgp l2vpn evpn"
Busca rutas tipo 2 ([2]:[0]:[MAC]:[IP]) de los VTEPs remotos. Si solo ves rutas tipo 3, el plano de control funciona pero no hay MACs aprendidas. Si no ves ninguna, la sesión EVPN no está activa o advertise-all-vni no está aplicado.
3. Estado local de VXLAN
bridge fdb show dev vxlan100 | grep dst
ip -d link show vxlan100
bridge link show
Las entradas FDB con dst <IP remota> y flag extern_learn son las que instala FRR desde BGP. Si faltan, el problema está en el plano de control. Si están pero el tráfico no fluye, el problema es de forwarding o MTU.
4. MTU y fragmentación
ping -M do -s 8972 10.0.0.21
ip link show vxlan100 | grep mtu
Un ping con DF de 8972 bytes (9000 - 28 de cabeceras IP/ICMP) entre VTEPs te dice si la underlay soporta jumbo. Si falla, ajusta MTU en los hosts o habilita ip link set vxlan100 mtu 1450.
5. Contadores y drops
ip -s link show vxlan100
nstat -az | grep -i vxlan
ethtool -S eth0 | grep -i drop
Los contadores de la interfaz VXLAN revelan drops por MTU, errores de checksum o problemas de encapsulación. Combínalos con tcpdump en la interfaz física filtrando por UDP 4789 para ver si el paquete sale encapsulado correctamente.
tcpdump -ni eth0 -vvv udp port 4789 and host 10.0.0.21
Operación y consideraciones finales
Un fabric VXLAN/EVPN con FRR es robusto, pero exige disciplina. Automatiza la creación de VNIs y bridges con systemd-networkd o un rol de Ansible, porque hacerlo a mano en decenas de leafs es garantía de errores. Versiona la configuración de FRR y trata los cambios de route-target como cambios de producción.
Recuerda que EVPN no es magia: hereda los problemas de BGP. Un flap de sesión, una route-target
comentarios(0)
$ dejar comentario