← volver

OVS-DPDK: Tuning de colas y NUMA para forwarding de máximo rendimiento

Por · · [Admin-Sistemas] · lectura estimada: ~5 min

Introducción: El cuello de botella ya no es el kernel

Cuando se busca forwarding de paquetes a velocidades de 10, 40 o 100 Gbps, el stack de red del kernel Linux se convierte en un lastre. Interrupciones constantes, copias de memoria y el softirq limitan el rendimiento a pocos millones de paquetes por segundo. Open vSwitch (OVS) con DPDK (Data Plane Development Kit) resuelve esto moviendo el procesamiento de paquetes al espacio de usuario, mediante polling directo de los NICs y memoria hugepages. Pero instalar OVS-DPDK no es suficiente: sin un tuning fino de colas y una correcta distribución NUMA, el rendimiento se desploma. Este artículo cubre las técnicas y comandos reales para extraer el máximo rendimiento.

Arquitectura básica y dónde se pierde el rendimiento

OVS-DPDK se compone de vswitchd (plano de control) y de dpdkvhostuser o dpdkvhostuserclient (puertos virtuales). Los puertos físicos se manejan mediante PMDs (Poll Mode Drivers) de DPDK. Cada PMD corre en un hilo dedicado que hace polling continuo a una cola de recepción del NIC. El rendimiento depende de tres factores críticos:

  • Distribución de colas RSS (Receive Side Scaling): el NIC debe repartir los flujos entre múltiples colas para que varios PMDs trabajen en paralelo.
  • Afinidad de PMDs y NUMA: cada PMD debe ejecutarse en un core del mismo socket NUMA que el NIC y que la memoria de las hugepages.
  • Tamaño de colas y burst: colas pequeñas provocan drops; burst mal configurado incrementa la latencia.

Paso 1: Configuración base de OVS-DPDK

Primero, asumimos que ya tienes OVS compilado con DPDK y los módulos cargados. La configuración inicial se realiza con ovs-vsctl:

ovs-vsctl set Open_vSwitch . other_config:dpdk-init=true
ovs-vsctl set Open_vSwitch . other_config:dpdk-lcore-mask=0x2
ovs-vsctl set Open_vSwitch . other_config:dpdk-socket-mem=1024,1024
ovs-vsctl set Open_vSwitch . other_config:dpdk-hugepage-dir=/dev/hugepages

El parámetro dpdk-lcore-mask reserva cores exclusivamente para DPDK. En el ejemplo, 0x2 (core 1) se usa para el hilo de control de DPDK. Los PMDs se asignarán después. dpdk-socket-mem define las hugepages por socket NUMA (1 GB en cada socket). Debes asignar memoria solo en los sockets donde tengas NICs, para evitar desperdicio.

Paso 2: Crear puertos y asignar colas RSS

Supongamos un bridge br0 con dos puertos físicos p0 y p1 (NICs de 40 Gbps) y un puerto virtual para una VM. El comando para agregar el bridge y los puertos:

ovs-vsctl add-br br0 -- set bridge br0 datapath_type=netdev
ovs-vsctl add-port br0 p0 -- set Interface p0 type=dpdk options:dpdk-devargs=0000:02:00.0
ovs-vsctl add-port br0 p1 -- set Interface p1 type=dpdk options:dpdk-devargs=0000:02:00.1

Ahora, el ajuste crítico: número de colas RSS. Si tienes 4 PMDs, necesitas al menos 4 colas por puerto. Pero el NIC y el driver DPDK deben soportarlo. Verifica con:

dpdk-devbind.py --status

Para ver el número máximo de colas del NIC, usa ethtool -l p0 (aunque esté en DPDK, el driver bindea el NIC). Luego, configura el número de colas en OVS:

ovs-vsctl set Interface p0 options:n_rxq=4
ovs-vsctl set Interface p1 options:n_rxq=4

Esto crea 4 colas de recepción por cada puerto. Si el NIC soporta RSS, el hardware repartirá los flujos automáticamente. Importante: si no usas RSS (por ejemplo, con NICs virtuales), deberás implementar un hash en el propio OVS, pero es menos eficiente.

Paso 3: Tuning de PMDs y afinidad NUMA

Los PMDs son los hilos que hacen polling a las colas. Por defecto, OVS asigna un PMD por cada cola, pero los cores los elige de forma automática (a menudo mal). Para un control total, usa pmd-cpu-mask. Ejemplo: queremos 4 PMDs en los cores 2, 4, 6 y 8 del socket 0 (asumiendo CPU 0-7 en socket 0, 8-15 en socket 1). La máscara es 0x154 (bits 2,4,6,8). Aplicamos:

ovs-vsctl set Open_vSwitch . other_config:pmd-cpu-mask=0x154

Ahora, la parte NUMA: cada PMD debe estar en el mismo socket que el NIC que atiende. Para verificar la ubicación NUMA de tu NIC, usa lstopo o cat /sys/bus/pci/devices/0000:02:00.0/numa_node. Si el NIC está en el socket 0, los PMDs deben estar en cores del socket 0. Si tienes NICs en ambos sockets, debes usar el parámetro pmd-rxq-affinity para asignar colas específicas a PMDs concretos:

ovs-vsctl set Interface p0 options:pmd-rxq-affinity=0:2,1:4,2:6,3:8

Esto asigna la cola 0 al core 2, cola 1 al core 4, etc. Nunca mezcles colas de un NIC del socket 0 con PMDs del socket 1: la memoria del NIC se accede vía QPI/UPI, añadiendo latencia y reduciendo el throughput hasta un 30%.

Paso 4: Ajuste de profundidad de colas y burst

La profundidad de cola (n_rxq_desc y n_txq_desc) determina cuántos descriptores hay por cola. Valores típicos: 1024 o 2048. Si ves drops en ovs-vsctl get Interface p0 statistics, aumenta la profundidad:

ovs-vsctl set Interface p0 options:n_rxq_desc=2048
ovs-vsctl set Interface p0 options:n_txq_desc=2048

El burst por PMD se controla con other_config:pmd-rx-burst. Por defecto es 32. Para forwarding de alto rendimiento, 32 es correcto; valores mayores (64) reducen el overhead de llamadas al sistema, pero aumentan la latencia. Prueba:

ovs-vsctl set Open_vSwitch . other_config:pmd-rx-burst=64

También existe pmd-rx-qdrops (por defecto, 0 = sin límite). Si quieres evitar que un PMD se sature y bloquee otros, establece un máximo de paquetes por poll:

ovs-vsctl set Open_vSwitch . other_config:pmd-rx-qdrops=128

Paso 5: Verificación y monitorización en caliente

Una vez configurado, reinicia OVS para aplicar los cambios:

systemctl restart openvswitch-switch

Luego, verifica la asignación de PMDs y colas con el comando más útil de OVS-DPDK:

ovs-appctl dpif-netdev/pmd-rxq-show

La salida te mostrará qué core está atendiendo cada cola. Un ejemplo de salida correcta:

pmd thread numa_id 0 core_id 2:
  isolated : false
  port: p0              queue-id: 0 (enabled)
  port: p1              queue-id: 0 (enabled)
pmd thread numa_id 0 core_id 4:
  isolated : false
  port: p0              queue-id: 1 (enabled)
  port: p1              queue-id: 1 (enabled)

Si ves que una cola está en un core del socket

comentarios(0)

$ dejar comentario

סHola! Soy SylonBot. Si te pierdes en el artículo, pregúntame 👋
☕ invítame a un café Si el contenido te fue útil · via PayPal