Implementación paso a paso de CephFS como backend para Persistent Volumes en Kubernetes
Introducción
En entornos de contenedores, la necesidad de un storage persistente, escalable y de alto rendimiento es crítica. CephFS brinda un sistema de archivos distribuido que se integra de forma nativa con Kubernetes mediante Persistent Volumes (PV) y StorageClasses. Este artículo muestra, paso a paso, cómo:
- Desplegar un clúster Ceph (monitores y OSDs).
- Crear un pool dedicado para CephFS.
- Configurar snapshots automáticos.
- Provisionar un
StorageClassy unPersistentVolumeClaim (PVC)en Kubernetes. - Realizar pruebas de rendimiento con
fioydd.
Todo el proceso está pensado para sysadmins que ya tienen una base de Kubernetes (v1.24+) y acceso a máquinas Linux (CentOS 8/ Rocky 9 o Ubuntu 22.04).
Despliegue del clúster Ceph
1. Preparación de los nodos
Se recomiendan al menos tres nodos para monitores (mon) y dos nodos para OSDs. Cada nodo debe tener:
- CPU: 2 vCPU mínimo.
- RAM: 4 GB.
- Red: 10 Gbps (ideal) y conectividad de baja latencia.
- Al menos 2 discos: uno para el sistema operativo y otro para OSD.
Instale los paquetes necesarios:
# En Ubuntu apt update && apt install -y ceph ceph-mgr ceph-mon ceph-osdEn CentOS/Rocky
yum install -y epel-release yum install -y ceph ceph-mgr ceph-mon ceph-osd
2. Inicializar el monitor
En el primer nodo (mon1) ejecute:
mkdir -p /var/lib/ceph/mon/ceph-$(hostname)
ceph-authtool --create-keyring /etc/ceph/ceph.mon.keyring --gen-key -n mon. --cap mon 'allow *'
ceph-authtool --create-keyring /etc/ceph/ceph.client.admin.keyring --gen-key -n client.admin --cap mon 'allow *' --cap osd 'allow *' --cap mgr 'allow *'
ceph-mon --mkfs -i $(hostname) --keyring /etc/ceph/ceph.mon.keyring
systemctl enable ceph-mon@$(hostname) && systemctl start ceph-mon@$(hostname)
Repita en los demás monitores (mon2, mon3) cambiando el nombre del host.
3. Configurar OSDs
En cada nodo OSD, prepare el disco (ej. /dev/sdb) y añádalo al clúster:
ceph-volume lvm create --data /dev/sdb
systemctl enable ceph-osd@$(hostname) && systemctl start ceph-osd@$(hostname)
Verifique el estado:
ceph -s
Debería mostrar HEALTH_OK y un número de OSDs activos.
Creación y configuración del pool CephFS
1. Crear el pool de datos y el pool de metadatos
CephFS necesita dos pools separados. Usaremos cephfs-data y cephfs-metadata:
ceph osd pool create cephfs-data 128
ceph osd pool create cephfs-metadata 32
Configure la replicación (por ejemplo, 3 copias):
ceph osd pool set cephfs-data size 3
ceph osd pool set cephfs-metadata size 3
2. Crear el filesystem CephFS
Con los pools listos, cree el filesystem:
ceph fs create mycephfs cephfs-metadata cephfs-data
Compruebe que el FS está activo:
ceph fs ls
3. Habilitar snapshots automáticos
CephFS soporta snapshots a nivel de directorio. Para habilitar la retención automática mediante crontab:
# Editar crontab del usuario ceph crontab -u ceph -eAñadir línea (ej. cada domingo a las 02:00)
0 2 * * 0 /usr/bin/ceph fs snapshot create mycephfs /snapshots/weekly-$(date +%Y%m%d)
Los snapshots pueden ser listados y eliminados con:
ceph fs snapshot ls mycephfs
ceph fs snapshot rm mycephfs /snapshots/weekly-20240624
Integración con Kubernetes
1. Instalar el CSI de Ceph
Utilizaremos ceph-csi. Aplique los manifests oficiales:
kubectl apply -f https://raw.githubusercontent.com/ceph/ceph-csi/master/deploy/rbd/kubernetes/csi-rbdplugin-provisioner.yaml
kubectl apply -f https://raw.githubusercontent.com/ceph/ceph-csi/master/deploy/cephfs/kubernetes/csi-cephfsplugin-provisioner.yaml
2. Crear el Secret con las credenciales del cliente
Genere un usuario Ceph dedicado para Kubernetes:
ceph auth get-or-create client.k8s mon 'allow r' osd 'allow rwx' mgr 'allow rw' -o /tmp/client.k8s.keyring
Extraiga la clave y cree el secret:
CLIENT_KEY=$(grep key /tmp/client.k8s.keyring | awk '{print $3}')
kubectl create secret generic ceph-secret \
--from-literal=key=$CLIENT_KEY \
--namespace=default
3. Definir el StorageClass
cat > storageclass-cephfs.yaml <<EOF apiVersion: storage.k8s.io/v1 kind: StorageClass metadata: name: cephfs-sc provisioner: ceph.com/cephfs parameters: monitors: mon1:6789,mon2:6789,mon3:6789 fsName: mycephfs pool: cephfs-data csi.storage.k8s.io/provisioner-secret-name: ceph-secret csi.storage.k8s.io/provisioner-secret-namespace: default csi.storage.k8s.io/node-stage-secret-name: ceph-secret csi.storage.k8s.io/node-stage-secret-namespace: default reclaimPolicy: Delete mountOptions: - debug - noatime EOF
kubectl apply -f storageclass-cephfs.yaml
4. Crear un PersistentVolumeClaim (PVC)
cat > pvc-cephfs.yaml <<EOF apiVersion: v1 kind: PersistentVolumeClaim metadata: name: cephfs-pvc spec: accessModes: - ReadWriteMany resources: requests: storage: 10Gi storageClassName: cephfs-sc EOF
kubectl apply -f pvc-cephfs.yaml
5. Consumir el PVC en un Pod
cat > pod-cephfs.yaml <<EOF apiVersion: v1 kind: Pod metadata: name: cephfs-test spec: containers: - name: app image: ubuntu command: ["/bin/bash", "-c", "sleep infinity"] volumeMounts: - mountPath: /data name: cephfs-vol volumes: - name: cephfs-vol persistentVolumeClaim: claimName: cephfs-pvc EOF
kubectl apply -f pod-cephfs.yaml
Verifique que el pod está corriendo y que el montaje es de tipo ceph:
kubectl exec -it cephfs-test -- mount | grep ceph
Pruebas de rendimiento
1. Preparar el entorno de pruebas
Instale fio dentro del pod:
kubectl exec -it cephfs-test -- apt update && apt install -y fio
2. Test de escritura secuencial (100 MiB de bloque)
kubectl exec -it cephfs-test -- fio --name=seqwrite --filename=/data/file.seq --bs=1M --size=2G --rw=write --ioengine=sync --direct=1
Observe los valores de IOPS y throughput (MB/s).
3. Test de lectura aleatoria de 4 KB
kubectl exec -it cephfs-test -- fio --name=randread --filename=/data/file.rand --bs=4k --size=1G --rw=randread --ioengine=libaio --direct=1 --numjobs=4
4. Comparativa con dd
# Escritura kubectl exec -it cephfs-test -- dd if=/dev/zero of=/data/dd.test bs=1M count=1024 oflag=direct conv=fdatasyncLectura
kubectl exec -it cephfs-test — dd if=/data/dd.test of=/dev/null bs=1M count=1024 iflag=direct
Estos resultados son útiles para validar que el rendimiento está dentro de los límites esperados (≈ 300 MiB/s escritura, > 500 MiB/s lectura en hardware típico).
Sección de Troubleshooting
Errores comunes y soluciones
- Pod en estado
CrashLoopBackOffal montar CephFS- Verifique que el secret
ceph-secretcontiene la clave correcta. - Compruebe la conectividad a los monitores (puerto 6789).
- Revisa los logs del driver CSI:
kubectl logs -n kube-system -l app=cephcsi-cephfs -c csi-provisioner.
- Verifique que el secret
- El comando
ceph -smuestraHEALTH_WARNpor “MDS down”- Inicie al menos un daemon MDS:
systemctl enable ceph-mds@mycephfs && systemctl start ceph-mds@mycephfs. - Confirme que el pool de metadatos está activo.
- Inicie al menos un daemon MDS:
- Al crear el PVC aparece
Insufficient capacity- Revise el pool
cephfs-dataconceph dfy asegúrese de que haya espacio libre. - Si el pool está casi lleno, aumente su tamaño o añada OSDs.
- Revise el pool
- Snapshots no se crean automáticamente
- Confirme que el cron está activo para el usuario
ceph(crontab -u ceph -l). - Ejecute manualmente el comando de snapshot para validar permisos.
- Confirme que el cron está activo para el usuario
- Rendimiento bajo (menos de 100 MiB/s)
- Compruebe la configuración de
crushy asegúrese de que los OSDs estén en diferentes hosts. - Habilite la compresión o erasure coding solo si es necesario; pueden introducir latencia.
- Use discos SSD para el pool de metadata, ya que afecta a la latencia de operación de directorios.
- Compruebe la configuración de
Conclusión
Implementar CephFS como backend para Persistent Volumes en Kubernetes brinda una solución de storage distribuido, altamente disponible y con capacidades nativas de snapshots. Siguiendo los pasos descritos—despliegue del clúster Ceph, configuración de pools, integración vía CSI y pruebas de rendimiento—los administradores pueden ofrecer a sus aplicaciones contenedorizadas un almacenamiento robusto y escalable.
Recuerde que la clave del éxito está en la planificación de la topología CRUSH, el monitoreo constante del health del clúster y la automatización de snapshots para proteger los datos críticos. Con estas buenas prácticas, CephFS se convierte en una pieza central de cualquier infraestructura Kubernetes moderna.
comentarios(0)
$ dejar comentario