Mientras las grandes tecnológicas gastan miles de millones en GPUs, el proyecto open source Colibri ejecutó GLM-5.2, un modelo de 744 mil millones de parámetros, en una laptop sin tarjeta gráfica y completamente sin conexión. Su truco: mantener en RAM solo lo imprescindible y transmitir el resto desde el SSD.

No es exageración publicitaria. Colibri es un motor de inferencia escrito en C puro, desarrollado por el programador italiano JustVugg y publicado bajo licencia Apache-2.0, capaz de correr GLM-5.2 —el modelo Mixture-of-Experts (MoE) de Z.ai— en hardware de consumo: 25 GB de RAM, sin dependencias de Python en tiempo de ejecución y con un endpoint compatible con OpenAI disponible para servir el modelo.

¿Por qué puede funcionar sin una GPU?

La respuesta está en la arquitectura del modelo, no en magia. GLM-5.2 es un modelo MoE: para cada token solo se activa una pequeña fracción de sus 21.504 expertos enrutados (unos 19 MB cada uno en formato int4). Colibri aprovecha esa estadística e invierte el enfoque habitual: las partes densas del modelo (atención, expertos compartidos, embeddings) viven en RAM ocupando unos 10 GB, y los expertos enrutados —cerca de 370 GB en total— permanecen en el disco hasta que se necesitan.

Para amortizar las lecturas usa decodificación especulativa nativa (Multi-Token Prediction), que valida entre 2,2 y 2,8 tokens por pasada hacia adelante, junto con una caché KV comprimida de tipo MLA que reduce drásticamente la memoria por token. Es la misma filosofía de exprimir el hardware propio que ya inspira las guías para optimizar modelos de lenguaje locales en Ollama, LM Studio y llama.cpp, llevada a un extremo que nadie había probado.

Requisitos reales para probarlo

Vale la pena ser precisos con las cifras, porque el titular genera expectativas que conviene aterrizar. Esto es lo que necesita el proyecto según su documentación:

Un detalle tranquilizador: el streaming de Colibri es de solo lectura, así que no desgasta el SSD de forma significativa. Eso sí, la velocidad del NVMe es parte del contrato: en un disco lento o casi lleno, la experiencia se degrada. Y si tu equipo está lejos de estas cifras, conviene revisar qué LLM local elegir según tu VRAM antes de intentar hazañas.

¿Qué tan rápido es realmente?

Aquí llega la letra pequeña que el hype suele omitir. No es rápido. El propio README del proyecto lo admite sin rodeos: es un modelo de clase frontera respondiendo correctamente en una máquina que cuesta menos que el ventilador de un H100, pero el cuello de botella es el disco, no el cálculo. Con la caché fría, generar un token puede exigir leer cerca de 11 GB desde el SSD, y las velocidades típicas lo colocan en el terreno de la investigación y la exploración, no en el del asistente en tiempo real.

El análisis técnico de IQ Source lo resume con una metáfora de aviación: Colibri demuestra que el modelo corre, en principio, en hardware imposible, pero no que esté listo para despegar con pasajeros a bordo.

Cómo usarlo en la práctica

El proyecto arranca en modo chat tras compilarlo, y también puede levantar un servidor con un endpoint compatible con OpenAI, lo que permite conectar herramientas existentes sin depender de la nube. La persistencia de la caché KV permite retomar conversaciones con el motor ya caliente. Es la misma lógica que ya aplica quien conecta Claude Code con modelos locales vía un servidor de LM Studio, solo que aquí el “modelo local” pesa 744 mil millones de parámetros.

Para quienes quieran reproducir la prueba, el análisis práctico publicado en Dev Community detalla comandos, benchmarks y expectativas realistas de velocidad.

Un hito para la IA local, con letra pequeña

Lo cierto es que la demostración tiene consecuencias concretas: modelos masivos corriendo en equipos propios, cero costos de API y datos que nunca salen de la máquina. Pero la conclusión honesta es que Colibri demuestra viabilidad, no comodidad. Su valor está en marcar el rumbo: a medida que el NVMe y la capacidad de las máquinas de consumo sigan mejorando, la clase de modelos que pueden ejecutarse así crecerá con cada generación de hardware. La IA local, en efecto, se está volviendo seria.