Ollama: Run Local LLMs on Your Own Hardware

The cloud is convenient until it isn’t. Latency spikes at the worst moments. API quotas hit when you need to scale. Data privacy policies restrict what you can send. And per-token pricing compounds fast when your agents are running thousands of calls daily. Ollama answers all of these with a single premise: run powerful LLMs on your own hardware, as easily as running a Docker container.

La nube es conveniente hasta que no lo es. Los picos de latencia aparecen en los peores momentos. Las cuotas de API se agotan cuando necesitas escalar. Las políticas de privacidad de datos restringen lo que puedes enviar. Y los precios por token se acumulan rápido cuando tus agentes están corriendo miles de llamadas diarias. Ollama responde a todo esto con una sola premisa: ejecuta LLMs poderosos en tu propio hardware, tan fácilmente como correr un contenedor Docker.

The installation story is refreshingly simple: curl -fsSL https://ollama.com/install.sh | sh, and you’re ready. Pull a model with ollama pull llama3.3, and it downloads to your local model library. Run it with ollama run llama3.3, and you get an interactive shell in seconds. Behind the scenes, Ollama manages model artifacts, runtime configuration, and GPU acceleration automatically. On an M3 Mac, it uses Metal. On Linux with an NVIDIA GPU, it uses CUDA. No manual setup, no environment variables.

La historia de instalación es refreshantemente simple: curl -fsSL https://ollama.com/install.sh | sh, y estás listo. Descarga un modelo con ollama pull llama3.3, y se descarga a tu biblioteca local de modelos. Ejecútalo con ollama run llama3.3, y obtienes un shell interactivo en segundos. Entre bastidores, Ollama gestiona artefactos de modelos, configuración de runtime y aceleración GPU automáticamente. En un Mac M3, usa Metal. En Linux con GPU NVIDIA, usa CUDA. Sin configuración manual, sin variables de entorno.

The model library is curated and growing. You can pull from a wide catalog including Llama 3.3 (70B, 8B), Mistral Small, Mistral Nemo, CodeLlama (7B, 13B, 34B variants), Phi-4 (14B), Gemma 3 (1B, 7B, 12B), Qwen 2.5, DeepSeek-R1, Nemotron, and many more. Each pull fetches a quantified, GGUF-formatted model optimized for efficient loading. The library includes specialized models for coding (CodeLlama, Qwen Coder), reasoning (DeepSeek-R1), and instruction following (Llama 3.3, Mistral).

La biblioteca de modelos es curada y creciente. Puedes descargar desde un amplio catálogo incluyendo Llama 3.3 (70B, 8B), Mistral Small, Mistral Nemo, CodeLlama (7B, 13B, 34B variantes), Phi-4 (14B), Gemma 3 (1B, 7B, 12B), Qwen 2.5, DeepSeek-R1, Nemotron, y muchos más. Cada descarga obtiene un modelo cuantizado en formato GGUF optimizado para carga eficiente. La biblioteca incluye modelos especializados para codificación (CodeLlama, Qwen Coder), razonamiento (DeepSeek-R1) y seguimiento de instrucciones (Llama 3.3, Mistral).

Modelfile is Ollama’s customization system. Think of it as a Dockerfile for models. You specify a base model, set system prompts, configure temperature and top_p parameters, inject few-shot examples, and define the model’s behavior. A Modelfile can encapsulate your entire agent’s personality, domain knowledge, and output format—versioned alongside your application code. This turns “prompt engineering” into reproducible model configuration.

Modelfile es el sistema de personalización de Ollama. Piénsalo como un Dockerfile para modelos. Especificas un modelo base, configuras prompts de sistema, ajustas parámetros de temperatura y top_p, inyectas ejemplos few-shot y defines el comportamiento del modelo. Un Modelfile puede encapsular toda la personalidad de tu agente, conocimiento de dominio y formato de salida—versionado junto con tu código de aplicación. Esto convierte la “ingeniería de prompts” en configuración de modelo reproducible.

The OpenAI-compatible API is the feature that makes Ollama production-adjacent. With ollama serve running, you get an endpoint at http://localhost:11434/v1/chat/completions that speaks the OpenAI Chat Completion API format. This means LangChain, DSPy, LlamaIndex, and any other framework with OpenAI support works with Ollama out of the box. You can run your entire agentic pipeline locally for development and switch to a cloud endpoint for production—just by changing the base URL.

La API compatible con OpenAI es la característica que hace a Ollama cercano a producción. Con ollama serve corriendo, obtienes un endpoint en http://localhost:11434/v1/chat/completions que habla el formato de API de Chat Completion de OpenAI. Esto significa que LangChain, DSPy, LlamaIndex y cualquier otro framework con soporte OpenAI funciona con Ollama inmediatamente. Puedes correr tu pipeline agéntico completo localmente para desarrollo y cambiar a un endpoint en la nube para producción—solo cambiando la URL base.

The primary use cases for agentic systems are privacy, offline development, and edge deployment. If your agent processes sensitive data—medical records, legal documents, financial information—sending that to a third-party API may be legally or ethically impossible. Ollama keeps data on-premises. For development, running agents locally eliminates API costs and rate limits during the iteration cycle. And for edge deployment—robotics, embedded systems, air-gapped environments—Ollama’s lightweight runtime and GGUF model format are purpose-built.

Los casos de uso primarios para sistemas agénticos son privacidad, desarrollo offline y despliegue en edge. Si tu agente procesa datos sensibles—registros médicos, documentos legales, información financiera—enviar eso a una API de terceros puede ser legal o éticamente imposible. Ollama mantiene los datos en premisa. Para desarrollo, correr agentes localmente elimina costos de API y límites de tasa durante el ciclo de iteración. Y para despliegue en edge—robótica, sistemas embebidos, entornos air-gapped—el runtime ligero de Ollama y el formato de modelo GGUF están construidos específicamente para eso.

Performance varies by hardware, but quantization helps significantly. A Q4_K_M quantized Llama 3.3 70B runs on consumer hardware with 48GB VRAM (like an RTX 5090 or an M3 Max Mac). A Q8_0 quantized Mistral Small fits comfortably in 24GB. The quality tradeoff is real but manageable for many tasks—and for production-grade quality, the Mistral Large or Llama 3.3 70B at full precision on a single high-end GPU delivers results competitive with GPT-4-class models on standard benchmarks.

El rendimiento varía según el hardware, pero la cuantización ayuda significativamente. Un Llama 3.3 70B cuantizado en Q4_K_M corre en hardware de consumidor con 48GB de VRAM (como una RTX 5090 o un M3 Max Mac). Un Mistral Small cuantizado en Q8_0 cabe cómodamente en 24GB. El compromiso de calidad es real pero manejable para muchas tareas—y para calidad de grado de producción, Mistral Large o Llama 3.3 70B en precisión completa en una sola GPU de alta gama entrega resultados competitivos con modelos clase GPT-4 en benchmarks estándar.

Ollama’s trajectory is upward. Version 0.5 added tool calling support with structured output. Version 0.6 introduced multi-modal models (vision support for Llama, Qwen, Phi). Version 0.7 shipped macOS GPU scheduling improvements and import API for external GGUF files. The project is actively developed on GitHub with a thriving community. For anyone building agentic systems, Ollama is the fastest path from “I want to try a model” to “my agent is running locally.”

La trayectoria de Ollama es ascendente. La versión 0.5 añadió soporte de llamada a herramientas con salida estructurada. La versión 0.6 introdujo modelos multimodales (soporte de visión para Llama, Qwen, Phi). La versión 0.7 envió mejoras de scheduling GPU en macOS y API de importación para archivos GGUF externos. El proyecto está activamente desarrollado en GitHub con una comunidad próspera. Para cualquiera construyendo sistemas agénticos, Ollama es el camino más rápido de “quiero probar un modelo” a “mi agente está corriendo localmente.”

References

Referencias