Kubernetes: Orchestrating Containers at Scale

Docker gave you containers. Kubernetes gives you control. It schedules containers across machines, restarts failed ones, scales services automatically, and exposes them to the network. When you move from running one model to running dozens of services across hundreds of nodes, Kubernetes is the control plane that makes it manageable.

Docker te dio contenedores. Kubernetes te da control. Programa contenedores a través de máquinas, reinicia los que fallan, escala servicios automáticamente y los expone a la red. Cuando pasas de correr un modelo a correr decenas de servicios a través de cientos de nodos, Kubernetes es el panel de control que lo hace manejable.

The resource model is declarative. You define a Deployment describing desired state—three replicas of your serving container, image version, resource limits, environment variables. Kubernetes reconciles reality to match your specification. A node fails? Pods reschedule automatically. Traffic spikes? Horizontal Pod Autoscaler adds replicas. You describe intent, K8s handles execution.

El modelo de recursos es declarativo. Defines un Deployment describiendo el estado deseado—tres réplicas de tu contenedor de serving, versión de imagen, límites de recursos, variables de entorno. Kubernetes reconcilia la realidad para igualar tu especificación. ¿Falla un nodo? Los Pods se reprograman automáticamente. ¿Pico de tráfico? Horizontal Pod Autoscaler agrega réplicas. Describes la intención, K8s maneja la ejecución.

Pods are the atomic unit—co-located containers sharing network and storage. A pod might run your model server and its sidecar for logging. Services expose pods with stable IP addresses and load balancing. Ingress manages external HTTP access with routing rules, TLS termination, and host-based routing. ConfigMaps and Secrets inject configuration and sensitive data without rebuilding images.

Los Pods son la unidad atómica—contenedores co-localizados compartiendo red y almacenamiento. Un pod podría correr tu servidor de modelos y su sidecar para logging. Los Services exponen pods con direcciones IP estables y balanceo de carga. Ingress maneja acceso HTTP externo con reglas de routing, terminación TLS y routing basado en host. ConfigMaps y Secrets inyectan configuración y datos sensibles sin reconstruir imágenes.

Self-healing is built-in, not bolted on. Liveness probes detect crashed processes—Kubernetes restarts them. Readiness probes signal when a pod is ready to serve traffic—backends receive requests only when healthy. Startup probes give slow-initializing applications time to boot before liveness checks trigger. These probes prevent traffic from routing to broken pods automatically.

Self-healing viene integrado, no pegado después. Los liveness probes detectan procesos crashed—Kubernetes los reinicia. Los readiness probes señalan cuándo un pod está listo para servir tráfico—los backends reciben requests solo cuando están healthy. Los startup probes dan tiempo a aplicaciones lentas para bootear antes de que los liveness checks se disparen. Estos probes previenen que el tráfico se routee a pods rotos automáticamente.

Auto-scaling handles traffic variability. Horizontal Pod Autoscaler scales replicas based on CPU, memory, or custom metrics. Vertical Pod Autoscaler adjusts container resource requests automatically. Cluster Autoscaler adds or removes nodes based on pending workloads. Together, they provision exactly what you need—more pods during inference spikes, fewer nodes during quiet periods.

Auto-scaling maneja variabilidad de tráfico. Horizontal Pod Autoscaler escala réplicas basado en CPU, memoria o métricas custom. Vertical Pod Autoscaler ajusta requests de recursos de contenedores automáticamente. Cluster Autoscaler agrega o remueve nodos basado en workloads pendientes. Juntos, aprovisionan exactamente lo que necesitas—más pods durante picos de inferencia, menos nodos durante períodos quietos.

GPU scheduling is essential for ML. The NVIDIA Device Plugin exposes GPUs as allocatable resources. Your job requests nvidia.com/gpu: 1, and Kubernetes places it on a GPU node. Multi-instance GPU partitioning lets a single A100 be shared across four pods—20GB each—with proper CUDA memory isolation. This maximizes GPU utilization without compromising isolation.

El GPU scheduling es esencial para ML. El NVIDIA Device Plugin expone GPUs como recursos asignables. Tu job solicita nvidia.com/gpu: 1, y Kubernetes lo coloca en un nodo GPU. El particionamiento multi-instance de GPU permite que un solo A100 sea compartido entre cuatro pods—20GB cada uno—con aislamiento de memoria CUDA apropiado. Esto maximiza la utilización de GPU sin comprometer el aislamiento.

Operators extend Kubernetes for stateful workloads. They encode operational knowledge—how to handle failover, backup, and upgrades—for databases, message queues, and distributed storage. Kubeflow brings ML-specific operators: TFJob for TensorFlow training, PyTorchJob for PyTorch, and Katib for hyperparameter tuning. These operators treat ML workloads as first-class Kubernetes citizens.

Los Operators extienden Kubernetes para workloads stateful. Codifican conocimiento operacional—cómo manejar failover, backup y upgrades—para bases de datos, message queues y almacenamiento distribuido. Kubeflow trae operators específicos para ML: TFJob para training de TensorFlow, PyTorchJob para PyTorch, y Katib para tuning de hiperparámetros. Estos operators tratan workloads de ML como ciudadanos de primera clase de Kubernetes.

Managed Kubernetes removes operational burden. GKE, EKS, and AKS handle control plane availability, upgrades, and node provisioning. You focus on workloads; the cloud handles the infrastructure. For most teams, managed K8s is the right choice—start with GKE Autopilot for fully managed nodes and scale from there.

Managed Kubernetes elimina la carga operacional. GKE, EKS y AKS manejan disponibilidad del control plane, upgrades y aprovisionamiento de nodos. Tú te enfocas en workloads; la nube maneja la infraestructura. Para la mayoría de los equipos, K8s manejado es la elección correcta—empieza con GKE Autopilot para nodos completamente manejados y escala desde ahí.

References

Referencias