inference

Microsoft BitNet 1.58: La Era de los Modelos de Lenguaje de 1 Bit

TurboQuant: Cuantificación Vectorial en Línea con Tasa de Distorsión Casi Óptima

SGLang: Lenguaje de Generación Estructurada para Serving Eficiente de LLMs

vLLM: Inferencia de LLM de Alto Throughput a Escala

Ollama: Ejecuta LLMs Locales en Tu Propio Hardware