vLLM: Inferencia de LLM de Alto Throughput a Escala

If you’ve run inference on large language models in production, you know the pain: GPU memory fills up fast, throughput collapses under decoding latency, and serving multiple requests efficiently feels like black magic. vLLM solves this. The open-source inference engine developed by UC Berkeley’s LMSYS team has become the de facto standard for high-throughput LLM serving—and for good reason.

Si has ejecutado inferencia en modelos de lenguaje grandes en producción, conoces el dolor: la memoria GPU se llena rápido, el throughput colapsa bajo la latencia de decodificación, y servir múltiples solicitudes eficientemente se siente como magia negra. vLLM lo resuelve. El motor de inferencia open-source desarrollado por el equipo LMSYS de UC Berkeley se ha convertido en el estándar de facto para serving de LLMs de alto throughput—y con razón.

The core innovation is PagedAttention. Traditional LLM serving allocates a contiguous block of GPU memory for the KV cache—the attention key-value tensors that accumulate as you generate each token. This sounds reasonable, but it breaks down in practice. Requests arrive with varying context lengths, and the worst-case allocation wastes memory. vLLM’s insight: treat the KV cache like virtual memory pages.

La innovación central es PagedAttention. El serving tradicional de LLMs asigna un bloque contiguo de memoria GPU para el KV cache—los tensores de atención clave-valor que se acumulan mientras generas cada token. Esto suena razonable, pero se rompe en la práctica. Las solicitudes llegan con longitudes de contexto variables, y la asignación del peor caso desperdicia memoria. La idea de vLLM: tratar el KV cache como páginas de memoria virtual.

PagedAttention partitions the KV cache into fixed-size blocks (default: 16 tokens per block) and manages them with a translation layer that maps logical blocks to physical GPU memory pages. When a sequence needs more space, it allocates new physical pages on demand. When a sequence finishes, its pages are freed immediately and reused. The result is near-zero internal fragmentation and the ability to serve significantly more concurrent sequences in the same GPU memory footprint.

PagedAttention particiona el KV cache en bloques de tamaño fijo (por defecto: 16 tokens por bloque) y los gestiona con una capa de traducción que mapea bloques lógicos a páginas de memoria física GPU. Cuando una secuencia necesita más espacio, asigna nuevas páginas físicas bajo demanda. Cuando una secuencia termina, sus páginas se liberan inmediatamente y se reutilizan. El resultado es fragmentación interna casi nula y la capacidad de servir significativamente más secuencias concurrentes en la misma huella de memoria GPU.

Continuous batching (also called iteration-level scheduling) is the second half of the equation. Traditional static batching waits for a full batch before starting inference—penalizing short requests. Continuous batching iterates at the token level: every time a sequence produces an end-of-sequence token, it’s swapped out and a new request slots in. This keeps GPU utilization high even with heterogeneous request lengths, which is exactly what you see in production traffic.

El batching continuo (también llamado scheduling a nivel de iteración) es la segunda mitad de la ecuación. El batching estático tradicional espera un batch completo antes de iniciar la inferencia—penalizando solicitudes cortas. El batching continuo itera a nivel de token: cada vez que una secuencia produce un token de fin de secuencia, se intercambia y una nueva solicitud toma su lugar. Esto mantiene la utilización de GPU alta incluso con longitudes de solicitudes heterogéneas, que es exactamente lo que ves en tráfico de producción.

The combination of PagedAttention and continuous batching is what the vLLM paper (Kwon et al., 2023) calls “blockwise memory management.” Their benchmarks are striking: vLLM delivers 2–24x higher throughput than HuggingFace Transformers on the same hardware, depending on model size and sequence length. On LLaMA-7B with 16KB average input, they achieve 5.3x throughput improvement. On LLaMA-70B with long sequences, the advantage grows further.

La combinación de PagedAttention y batching continuo es lo que el paper de vLLM (Kwon et al., 2023) llama “gestión de memoria por bloques.” Sus benchmarks son llamativos: vLLM entrega 2–24x más throughput que HuggingFace Transformers en el mismo hardware, dependiendo del tamaño del modelo y longitud de secuencia. En LLaMA-7B con promedio de 16KB de entrada, logran 5.3x de mejora en throughput. En LLaMA-70B con secuencias largas, la ventaja crece aún más.

vLLM also supports tensor parallelism for multi-GPU serving. The model weights and computations are split across GPUs, enabling inference on models larger than a single GPU. Combined with pipeline parallelism (prefix-compatible in vLLM v0.6+), you can serve 405B parameter models across a cluster. And speculative decoding (v0.6+) uses a small draft model to predict tokens that the larger target model verifies—boosting throughput by 2–3x on typical conversational workloads.

vLLM también soporta paralelismo de tensores para serving multi-GPU. Los pesos del modelo y los cómputos se dividen entre GPUs, habilitando inferencia en modelos más grandes que una sola GPU. Combinado con paralelismo de pipeline (prefijo-compatible en vLLM v0.6+), puedes servir modelos de 405B parámetros en un clúster. Y el decoding especulativo (v0.6+) usa un modelo pequeño como borrador para predecir tokens que el modelo objetivo más grande verifica—impulsando el throughput por 2–3x en cargas de trabajo conversacionales típicas.

For agentic pipelines, infrastructure choice matters. If your agents make hundreds of LLM calls per hour, serving through an OpenAI-compatible API backed by vLLM can cut your inference costs by 5–10x. The memory efficiency means you serve more concurrent conversations per GPU. The throughput means your agent’s think-act loop runs faster. And the open-source codebase means you own your infrastructure—no vendor lock-in, no per-token pricing at scale.

Para los pipelines agénticos, la elección de infraestructura importa. Si tus agentes hacen cientos de llamadas LLM por hora, servir a través de una API compatible con OpenAI respaldada por vLLM puede cortar tus costos de inferencia por 5–10x. La eficiencia de memoria significa que sirves más conversaciones concurrentes por GPU. El throughput significa que el bucle de pensar-actuar de tu agente corre más rápido. Y el codebase open-source significa que posees tu infraestructura—sin lock-in de proveedor, sin precios por token a escala.

vLLM’s evolution is rapid. Recent versions have brought an improved PagedAttention V2 kernel with better memory management, prefix caching for repeated system prompts, and backpressure handling for robustness under traffic spikes. The API has stabilized with production-grade reliability, and the project continues to ship optimizations for new model architectures and hardware. If you’re building agentic systems and not evaluating vLLM, you’re leaving significant cost and latency on the table.

La evolución de vLLM es rápida. La versión 0.8 trajo el kernel PagedAttention V2 con gestión de memoria mejorada. La versión 0.9 introdujo prefix caching para prompts de sistema repetidos. La versión 1.0 estabilizó la API y añadió backpressure handling para robustez bajo picos de tráfico. El proyecto ahora se acerca a v1.x estable con confiabilidad de grado de producción. Si estás construyendo sistemas agénticos y no estás evaluando vLLM, estás dejando sobre la mesa costos y latencia significativos.

References

Referencias