← volver

Implementación paso a paso de CephFS como backend para Persistent Volumes en Kubernetes

Por · · [Admin-Sistemas] · lectura estimada: ~6 min

Introducción

En entornos de contenedores, la necesidad de un storage persistente, escalable y de alto rendimiento es crítica. CephFS brinda un sistema de archivos distribuido que se integra de forma nativa con Kubernetes mediante Persistent Volumes (PV) y StorageClasses. Este artículo muestra, paso a paso, cómo:

  • Desplegar un clúster Ceph (monitores y OSDs).
  • Crear un pool dedicado para CephFS.
  • Configurar snapshots automáticos.
  • Provisionar un StorageClass y un PersistentVolumeClaim (PVC) en Kubernetes.
  • Realizar pruebas de rendimiento con fio y dd.

Todo el proceso está pensado para sysadmins que ya tienen una base de Kubernetes (v1.24+) y acceso a máquinas Linux (CentOS 8/ Rocky 9 o Ubuntu 22.04).

Despliegue del clúster Ceph

1. Preparación de los nodos

Se recomiendan al menos tres nodos para monitores (mon) y dos nodos para OSDs. Cada nodo debe tener:

  • CPU: 2 vCPU mínimo.
  • RAM: 4 GB.
  • Red: 10 Gbps (ideal) y conectividad de baja latencia.
  • Al menos 2 discos: uno para el sistema operativo y otro para OSD.

Instale los paquetes necesarios:

# En Ubuntu
apt update && apt install -y ceph ceph-mgr ceph-mon ceph-osd

En CentOS/Rocky

yum install -y epel-release yum install -y ceph ceph-mgr ceph-mon ceph-osd

2. Inicializar el monitor

En el primer nodo (mon1) ejecute:

mkdir -p /var/lib/ceph/mon/ceph-$(hostname)
ceph-authtool --create-keyring /etc/ceph/ceph.mon.keyring --gen-key -n mon. --cap mon 'allow *'
ceph-authtool --create-keyring /etc/ceph/ceph.client.admin.keyring --gen-key -n client.admin --cap mon 'allow *' --cap osd 'allow *' --cap mgr 'allow *'
ceph-mon --mkfs -i $(hostname) --keyring /etc/ceph/ceph.mon.keyring
systemctl enable ceph-mon@$(hostname) && systemctl start ceph-mon@$(hostname)

Repita en los demás monitores (mon2, mon3) cambiando el nombre del host.

3. Configurar OSDs

En cada nodo OSD, prepare el disco (ej. /dev/sdb) y añádalo al clúster:

ceph-volume lvm create --data /dev/sdb
systemctl enable ceph-osd@$(hostname) && systemctl start ceph-osd@$(hostname)

Verifique el estado:

ceph -s

Debería mostrar HEALTH_OK y un número de OSDs activos.

Creación y configuración del pool CephFS

1. Crear el pool de datos y el pool de metadatos

CephFS necesita dos pools separados. Usaremos cephfs-data y cephfs-metadata:

ceph osd pool create cephfs-data 128
ceph osd pool create cephfs-metadata 32

Configure la replicación (por ejemplo, 3 copias):

ceph osd pool set cephfs-data size 3
ceph osd pool set cephfs-metadata size 3

2. Crear el filesystem CephFS

Con los pools listos, cree el filesystem:

ceph fs create mycephfs cephfs-metadata cephfs-data

Compruebe que el FS está activo:

ceph fs ls

3. Habilitar snapshots automáticos

CephFS soporta snapshots a nivel de directorio. Para habilitar la retención automática mediante crontab:

# Editar crontab del usuario ceph
crontab -u ceph -e

Añadir línea (ej. cada domingo a las 02:00)

0 2 * * 0 /usr/bin/ceph fs snapshot create mycephfs /snapshots/weekly-$(date +%Y%m%d)

Los snapshots pueden ser listados y eliminados con:

ceph fs snapshot ls mycephfs
ceph fs snapshot rm mycephfs /snapshots/weekly-20240624

Integración con Kubernetes

1. Instalar el CSI de Ceph

Utilizaremos ceph-csi. Aplique los manifests oficiales:

kubectl apply -f https://raw.githubusercontent.com/ceph/ceph-csi/master/deploy/rbd/kubernetes/csi-rbdplugin-provisioner.yaml
kubectl apply -f https://raw.githubusercontent.com/ceph/ceph-csi/master/deploy/cephfs/kubernetes/csi-cephfsplugin-provisioner.yaml

2. Crear el Secret con las credenciales del cliente

Genere un usuario Ceph dedicado para Kubernetes:

ceph auth get-or-create client.k8s mon 'allow r' osd 'allow rwx' mgr 'allow rw' -o /tmp/client.k8s.keyring

Extraiga la clave y cree el secret:

CLIENT_KEY=$(grep key /tmp/client.k8s.keyring | awk '{print $3}')
kubectl create secret generic ceph-secret \
  --from-literal=key=$CLIENT_KEY \
  --namespace=default

3. Definir el StorageClass

cat > storageclass-cephfs.yaml <<EOF
apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
  name: cephfs-sc
provisioner: ceph.com/cephfs
parameters:
  monitors: mon1:6789,mon2:6789,mon3:6789
  fsName: mycephfs
  pool: cephfs-data
  csi.storage.k8s.io/provisioner-secret-name: ceph-secret
  csi.storage.k8s.io/provisioner-secret-namespace: default
  csi.storage.k8s.io/node-stage-secret-name: ceph-secret
  csi.storage.k8s.io/node-stage-secret-namespace: default
reclaimPolicy: Delete
mountOptions:
  - debug
  - noatime
EOF

kubectl apply -f storageclass-cephfs.yaml

4. Crear un PersistentVolumeClaim (PVC)

cat > pvc-cephfs.yaml <<EOF
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: cephfs-pvc
spec:
  accessModes:
    - ReadWriteMany
  resources:
    requests:
      storage: 10Gi
  storageClassName: cephfs-sc
EOF

kubectl apply -f pvc-cephfs.yaml

5. Consumir el PVC en un Pod

cat > pod-cephfs.yaml <<EOF
apiVersion: v1
kind: Pod
metadata:
  name: cephfs-test
spec:
  containers:
  - name: app
    image: ubuntu
    command: ["/bin/bash", "-c", "sleep infinity"]
    volumeMounts:
    - mountPath: /data
      name: cephfs-vol
  volumes:
  - name: cephfs-vol
    persistentVolumeClaim:
      claimName: cephfs-pvc
EOF

kubectl apply -f pod-cephfs.yaml

Verifique que el pod está corriendo y que el montaje es de tipo ceph:

kubectl exec -it cephfs-test -- mount | grep ceph

Pruebas de rendimiento

1. Preparar el entorno de pruebas

Instale fio dentro del pod:

kubectl exec -it cephfs-test -- apt update && apt install -y fio

2. Test de escritura secuencial (100 MiB de bloque)

kubectl exec -it cephfs-test -- fio --name=seqwrite --filename=/data/file.seq --bs=1M --size=2G --rw=write --ioengine=sync --direct=1

Observe los valores de IOPS y throughput (MB/s).

3. Test de lectura aleatoria de 4 KB

kubectl exec -it cephfs-test -- fio --name=randread --filename=/data/file.rand --bs=4k --size=1G --rw=randread --ioengine=libaio --direct=1 --numjobs=4

4. Comparativa con dd

# Escritura
kubectl exec -it cephfs-test -- dd if=/dev/zero of=/data/dd.test bs=1M count=1024 oflag=direct conv=fdatasync

Lectura

kubectl exec -it cephfs-test — dd if=/data/dd.test of=/dev/null bs=1M count=1024 iflag=direct

Estos resultados son útiles para validar que el rendimiento está dentro de los límites esperados (≈ 300 MiB/s escritura, > 500 MiB/s lectura en hardware típico).

Sección de Troubleshooting

Errores comunes y soluciones

  • Pod en estado CrashLoopBackOff al montar CephFS
    • Verifique que el secret ceph-secret contiene la clave correcta.
    • Compruebe la conectividad a los monitores (puerto 6789).
    • Revisa los logs del driver CSI: kubectl logs -n kube-system -l app=cephcsi-cephfs -c csi-provisioner.
  • El comando ceph -s muestra HEALTH_WARN por “MDS down”
    • Inicie al menos un daemon MDS: systemctl enable ceph-mds@mycephfs && systemctl start ceph-mds@mycephfs.
    • Confirme que el pool de metadatos está activo.
  • Al crear el PVC aparece Insufficient capacity
    • Revise el pool cephfs-data con ceph df y asegúrese de que haya espacio libre.
    • Si el pool está casi lleno, aumente su tamaño o añada OSDs.
  • Snapshots no se crean automáticamente
    • Confirme que el cron está activo para el usuario ceph (crontab -u ceph -l).
    • Ejecute manualmente el comando de snapshot para validar permisos.
  • Rendimiento bajo (menos de 100 MiB/s)
    • Compruebe la configuración de crush y asegúrese de que los OSDs estén en diferentes hosts.
    • Habilite la compresión o erasure coding solo si es necesario; pueden introducir latencia.
    • Use discos SSD para el pool de metadata, ya que afecta a la latencia de operación de directorios.

Conclusión

Implementar CephFS como backend para Persistent Volumes en Kubernetes brinda una solución de storage distribuido, altamente disponible y con capacidades nativas de snapshots. Siguiendo los pasos descritos—despliegue del clúster Ceph, configuración de pools, integración vía CSI y pruebas de rendimiento—los administradores pueden ofrecer a sus aplicaciones contenedorizadas un almacenamiento robusto y escalable.

Recuerde que la clave del éxito está en la planificación de la topología CRUSH, el monitoreo constante del health del clúster y la automatización de snapshots para proteger los datos críticos. Con estas buenas prácticas, CephFS se convierte en una pieza central de cualquier infraestructura Kubernetes moderna.

comentarios(0)

$ dejar comentario

סHola! Soy SylonBot. Si te pierdes en el artículo, pregúntame 👋
☕ invítame a un café Si el contenido te fue útil · via PayPal