Docker: Containerization for Reproducible ML Environments

Docker changed how we ship software. Before containers, “it works on my machine” was a running joke. Now, that container you built on your laptop runs identically in production, on a colleague’s machine, or in the cloud. For machine learning, this reproducibility is critical—a model trained in a specific environment needs those exact library versions, CUDA drivers, and runtime dependencies to run correctly.

Docker cambió cómo enviamos software. Antes de los contenedores, “funciona en mi máquina” era un chiste constante. Ahora, ese contenedor que construiste en tu laptop corre idénticamente en producción, en la máquina de un colega, o en la nube. Para machine learning, esta reproducibilidad es crítica—un modelo entrenado en un ambiente específico necesita esas versiones exactas de librerías, drivers CUDA y dependencias de runtime para correr correctamente.

The core concepts are straightforward. A Dockerfile is a recipe describing how to build an image—starting from a base OS, installing dependencies, copying your code, and setting the entry point. An image is a read-only template. A container is a running instance of that image. Docker Compose orchestrates multi-container applications, defining services, networks, and volumes in a single YAML file. These primitives compose into powerful deployment pipelines.

Los conceptos core son directos. Un Dockerfile es una receta que describe cómo construir una imagen—empezando desde un OS base, instalando dependencias, copiando tu código y configurando el entry point. Una imagen es una plantilla de solo lectura. Un contenedor es una instancia corriendo de esa imagen. Docker Compose orquesta aplicaciones multi-contenedor, definiendo servicios, redes y volúmenes en un solo archivo YAML. Estas primitivas se componen en pipelines de deployment poderosos.

Multi-stage builds optimize production images. Build your application in one stage with all build tools, then copy only the runtime artifacts into a minimal final stage. A Python application that needs 2GB of build dependencies shrinks to 150MB in production. Smaller images mean faster pulls, reduced attack surfaces, and lower storage costs.

Los multi-stage builds optimizan imágenes de producción. Construye tu aplicación en una etapa con todas las herramientas de build, luego copia solo los artefactos de runtime en una etapa final mínima. Una aplicación Python que necesita 2GB de dependencias de build se reduce a 150MB en producción. Imágenes más pequeñas significan pulls más rápidos, superficies de ataque reducidas y menores costos de almacenamiento.

Docker Compose shines for local development. Define your ML pipeline—data preprocessing service, training container, model serving API, and Redis cache—then spin up everything with one command. Environment variables, volume mounts, and service dependencies are declarative. Your entire stack is reproducible without manual setup scripts.

Docker Compose brilla para desarrollo local. Define tu pipeline de ML—servicio de preprocesamiento de datos, contenedor de training, API de serving de modelos y cache de Redis—luego levanta todo con un comando. Variables de entorno, mounts de volúmenes y dependencias de servicios son declarativos. Tu stack completo es reproducible sin scripts de setup manuales.

GPU workloads need special handling. NVIDIA Container Toolkit bridges Docker and CUDA drivers. A container can request GPU access via --gpus flag, and CUDA libraries inside the container talk to the host’s NVIDIA driver transparently. This means your PyTorch or TensorFlow code runs on GPU without recompilation or driver management. NVIDIA publishes official CUDA base images, so you start from a tested foundation.

Los workloads GPU necesitan manejo especial. NVIDIA Container Toolkit conecta Docker y los drivers CUDA. Un contenedor puede solicitar acceso GPU vía flag --gpus, y las librerías CUDA dentro del contenedor hablan con el driver NVIDIA del host transparentemente. Esto significa que tu código PyTorch o TensorFlow corre en GPU sin recompilación o gestión de drivers. NVIDIA publica imágenes base CUDA oficiales, así que empiezas desde una base probada.

Container registries store and distribute your images. Docker Hub hosts public images for popular frameworks. Amazon ECR, Google Artifact Registry, and GitHub Container Registry provide private registries with fine-grained access control. Version tags, manifest caching, and cross-region replication ensure your images are available wherever your infrastructure runs.

Los registros de contenedores almacenan y distribuyen tus imágenes. Docker Hub hostea imágenes públicas para frameworks populares. Amazon ECR, Google Artifact Registry y GitHub Container Registry proveen registros privados con control de acceso granular. Tags de versión, caché de manifests y replicación entre regiones aseguran que tus imágenes estén disponibles donde sea que tu infraestructura corra.

The benefits compound for ML workflows. Training jobs run in isolated environments—no dependency conflicts between experiments. Models serve predictably—same image locally and in production. Debugging is easier—reproduce production issues by running the exact same container locally. Docker is not the whole infrastructure story, but it is the foundation everything else builds on.

Los beneficios se componen para workflows de ML. Los jobs de training corren en ambientes aislados—sin conflictos de dependencias entre experimentos. Los modelos sirven predictiblemente—misma imagen local y en producción. El debugging es más fácil—reproduce issues de producción corriendo el contenedor exacto localmente. Docker no es toda la historia de infraestructura, pero es la base sobre la que todo lo demás se construye.

References

Referencias