Un desarrollador logró ejecutar el modelo Kimi K3 de 2.78 billones de parámetros en una CPU común con solo 8.24 GB de RAM, sin GPU, sin frameworks y sin BLAS. El proyecto se llama kimi-k3-in-c, está escrito en C99 portable, supera las 12 mil estrellas en GitHub y se distribuye bajo licencia Apache 2.0.

¿Qué es kimi-k3-in-c y por qué importa?

Se trata de un motor de inferencia completo para el modelo Kimi K3 escrito en C99 portable: siete archivos C, un compilador y OpenMP como únicas dependencias. Todo el motor ocupa apenas 176 KB. La hazaña técnica consiste en correr un checkpoint de 1.56 TB en disco con un consumo máximo de memoria de 8.24 GB, medido en ejecución real, y sin usar ninguna GPU.

El truco no es magia, es ingeniería de sistemas. El modelo se apoya en cuatro decisiones sobre dónde viven los datos: cuantización MXFP4 de los expertos a medio byte por peso, atención KDA con estado que nunca crece, MLA con un latent en lugar de 96 cabezas, y streaming del tronco denso directamente desde el disco. Vale la pena detenerse aquí: el resultado es que la misma respuesta, byte por byte, aparece ya sea en una laptop de 8 GB o en una estación de 224 GB; más memoria solo compra velocidad.

¿Qué tan lento es correr un modelo de 2.78T en una laptop?

Lento, pero funcional. El proyecto publica mediciones con el mismo prompt en cada configuración:

La salida es idéntica byte por byte en todos los casos; solo cambia el reloj. En un equipo de 124 núcleos con disco NVMe, la versión 1.0.0 logró además hacer el cálculo por token unas 8 veces más ligero y las preguntas de seguimiento en un chat 3.9 veces más rápidas. Para contexto sobre alternativas más prácticas del día a día, esta guía práctica para elegir un LLM local entre llama.cpp, Ollama, LM Studio y KoboldCpp cubre opciones pensadas para uso interactivo.

¿Cómo funciona el streaming del modelo desde el disco?

La clave está en la arquitectura MoE (mixture of experts) de Kimi K3: de 896 expertos disponibles, cada token solo activa 16. El motor nunca mantiene residentes los 1.45 TB de expertos enrutados; los multiplica directamente desde su forma empaquetada en 4 bits, con una caché LRU configurable para los más usados. El tronco denso de 93 capas, reempaquetado en un archivo de 109 GB, se fija en memoria hasta la profundidad que el presupuesto permita y el resto se transmite en streaming.

¿Cómo probar kimi-k3-in-c sin descargar 1.56 TB?

El repositorio incluye una suite de pruebas que corre sin checkpoint, sin red y sin Python en menos de un minuto:

• Clonar el repositorio: git clone https://github.com/FareedKhan-dev/kimi-k3-in-c.git
• Compilar: make -j (solo requiere compilador C99, libm y OpenMP)
• Verificar: make test, que valida el motor contra una referencia de PyTorch con un modelo oráculo de 13 capas

Para la ejecución completa con el checkpoint oficial, el requisito real es el almacenamiento: unos 1.7 TB libres, idealmente en disco local rápido. El script k3-doctor.sh examina el equipo, ajusta la RAM a un preset y sugiere el comando exacto a ejecutar. Los presets van desde ultra (unos 3 GB planificados, para máquinas de 8 GB) hasta max (unos 224 GB).

¿Qué limitaciones tiene el proyecto?

La versión 1.1.0 funciona en Linux x86-64 (referencia), macOS arm64 y Windows x86-64 vía MSYS2, y requiere CPU con AVX2 y FMA, o NEON en arm64. El modo chat usa los segmentos XTML oficiales del checkpoint y es solo de texto: sin herramientas, sin imágenes y sin servidor. Y una advertencia honesta del propio autor: en una laptop de 8 GB el modelo genera un token cada 26.5 segundos, así que es una demostración de ingeniería más que una herramienta de productividad diaria. Quien busque IA local útil en hardware modesto tiene mejor punto de partida esta guía para ejecutar IA local en equipos con 8 GB de RAM.

Aun así, lo cierto es que el proyecto demuestra algo valioso: la frontera de qué hardware puede ejecutar un modelo de frontera la marcan las decisiones de diseño, no solo el presupuesto de GPU. Para montar el entorno Linux adecuado, esta comparativa sobre qué distribución de Linux elegir para ejecutar LLMs localmente ayuda a preparar el terreno.

¿Vale la pena seguir el proyecto?

Con más de 12 mil estrellas, 1.9 mil forks, documentación exhaustiva con cada cifra respaldada en datos medidos y una comunidad activa de contribuidores, kimi-k3-in-c se ha convertido en una referencia de cómo se escribe un motor de inferencia desde cero. El autor publicó además un artículo detallado del proceso en Medium para quien quiera entender cada componente.