llamAmpere es un fork de código abierto de llama.cpp optimizado para tarjetas NVIDIA de la generación Ampere, especialmente la RTX 3090 y la 3090 Ti. Según su repositorio oficial, alcanza más de 110 tokens por segundo en generaciones largas con modelos Qwen3.8, soporta contextos completos de 262K tokens y reporta más de 120 tokens por segundo con 3300 de prefill en Qwen3.8 Flash-Next. La versión actual es la v0.6.3.11, publicada en noviembre de 2026.

La clave del proyecto está en exprimir hardware que muchos consideraban insuficiente para modelos grandes. En lugar de exigir tarjetas de última generación, llamAmpere ajusta los núcleos de inferencia para que una RTX 3090 compita en velocidad con configuraciones mucho más caras. Para entender por qué esto importa en el panorama actual, conviene revisar cómo los modelos Mixture of Experts cambiaron las reglas del hardware para IA local.

¿Qué es llamAmpere y qué lo hace diferente?

Se trata de una versión modificada de llama.cpp, el popular motor para ejecutar modelos de lenguaje en equipo propio, publicada bajo licencia MIT. El desarrollo está a cargo del usuario JakeATX, quien describe el proyecto como sucesor de un fork anterior llamado llama-cpp-qwen-ampere. El enfoque es muy concreto: rendimiento en tarjetas Ampere y soporte para modelos Qwen3.8.

Entre sus características destacadas, el repositorio menciona el cabezal de borrador MTP (Multi-Token Prediction), un asistente que adivina varias palabras por adelantado para acelerar la escritura del modelo. También introduce un formato propio de pesos llamado AI+, del que el proyecto reporta 14.4 GB con una desviación menor frente al modelo de precisión completa en comparación con formatos convencionales.

¿Qué velocidad real ofrece en una RTX 3090?

Los números publicados en el repositorio son llamativos. Con el archivo de modelo Flash-Next en una RTX 3090 con suficiente memoria de sistema, el proyecto reporta entre 121 y 125 tokens por segundo en tareas de programación, agentes y RAG. En una 3090 Ti, la versión v0.6.1 reporta 113.15 tokens por segundo de escritura y 2751 tokens por segundo de lectura de contexto largo.

Resulta particularmente interesante que el proyecto también documenta configuraciones de memoria baja: probó una 3090 limitada a 12 GB con unos 90 GiB de RAM del sistema, aunque aclara que las tarjetas nativas de 12 y 16 GB aún no han sido medidas. Es una muestra del enfoque pragmático de su autor: reportar lo medido y señalar lo que falta por medir. La siguiente tabla resume las cifras verificadas por versión:

¿Cómo instalar llamAmpere paso a paso?

El proceso oficial está pensado para Linux con una sola tarjeta RTX de la serie 30. Los requisitos incluyen el toolkit CUDA 12 o superior, CMake, git, un compilador de C++ y la herramienta de descarga de Hugging Face. El repositorio ofrece un bloque de comandos único que clona el proyecto en su versión v0.6.3.11, compila el servidor llama-server, descarga el modelo con su borrador e inicia el servicio:

1. Clonar el repositorio desde GitHub con la etiqueta v0.6.3.11.
2. Compilar con CMake activando GGML_CUDA y la arquitectura 86 para Ampere.
3. Descargar el modelo Flash-Next y su cabezal borrador MTP desde Hugging Face, unos 81.63 GB en total.
4. Ejecutar el script de inicio; el servidor queda escuchando en http://127.0.0.1:8080 con una API compatible con OpenAI.

El proyecto también publica una configuración alternativa para el modelo Swift 1.5 27B a 2.3 bits por peso con contexto de 200K tokens en una tarjeta de 24 GB, donde el archivo de modelo pesa alrededor de 9.1 GB y se descarga al primer arranque.

Novedades recientes del proyecto

El ritmo de desarrollo es constante. La v0.6.3.11 acelera el primer token en mensajes cortos de seguimiento tras una conversación larga en Flash-Next. La v0.6.3.9 habilitó en Windows nativo las tablas rápidas de expertos que antes eran exclusivas de Linux: un contribuidor midió un salto de 0.26 a 60 tokens por segundo en una RTX 3090 con 64 GB de RAM, aunque el equipo advierte que no dispone de máquinas Windows y que esas cifras provienen del colaborador.

Otra mejora notable llegó en la v0.6.3.8: el borrador DFlash2 en el modelo denso Swift 1.5 27B escribe cerca de 3.4 veces más rápido, de 27 a 93 tokens por segundo en una 3090 Ti con contexto de 100K tokens. El proyecto subraya que el modelo grande sigue verificando cada predicción, por lo que la calidad de salida no cambia.

¿Por qué importa para la IA local en 2026?

Lo cierto es que la tendencia dominante apunta hacia ejecutar modelos potentes sin depender de la nube, ya sea por privacidad, costo o latencia. Proyectos como llamAmpere demuestran que el hardware de una generación anterior sigue teniendo mucho que ofrecer cuando el software está bien afinado. Si estás armando tu propio entorno, esta propuesta puede combinarse con otras piezas del ecosistema, como las analizadas en la guía práctica del stack de IA local 2026.

El modelo Flash-Next y los archivos AI+ están disponibles en el perfil de JakeATX en Hugging Face, junto con las notas de versión detalladas de cada lanzamiento. Para quien tenga una RTX 3090 acumulando polvo, vale la pena señalar que este proyecto podría darle una segunda vida bastante productiva.