model serving

MLflow: La Plataforma Abierta para el Ciclo de Vida del Aprendizaje Automático

Ray: El Motor de Computación Distribuida para IA a Escala

SGLang: Lenguaje de Generación Estructurada para Serving Eficiente de LLMs

vLLM: Inferencia de LLM de Alto Throughput a Escala

Ollama: Ejecuta LLMs Locales en Tu Propio Hardware

Hugging Face: La Plataforma Que Democratizó el Aprendizaje Automático

FastAPI: El Framework Moderno para Servir Modelos de ML