Connect with us
DeepSeek V4.1 Flash corre en una sola RTX 3090 gracias a este proyecto DeepSeek V4.1 Flash corre en una sola RTX 3090 gracias a este proyecto

Desarrolladores

DeepSeek V4.1 Flash corre en una sola RTX 3090 gracias a este proyecto

Published

on

El proyecto open source dsv41-flash-offload logra servir DeepSeek V4.1 Flash, un modelo de unos 200GB en expertos, desde una única RTX 3090 de 24GB apoyada en RAM DDR4 y NVMe, con API compatible con OpenAI y contexto de 262,144 tokens.

Ejecutar un modelo gigante de razonamiento en hardware de consumo siempre pareció territorio exclusivo de los centros de datos. El proyecto dsv41-flash-offload, publicado en GitHub por sybil-solutions, desafía esa idea: sirve DeepSeek V4.1 Flash cuantizado en EXL3 a 3.0 bits por peso desde una sola RTX 3090 de 24GB, con la RAM del equipo y un NVMe cubriendo lo que la tarjeta no puede alojar. El avance importa porque demuestra que la IA local de gran escala ya no exige tarjetas de 80GB ni suscripciones a la nube, un terreno que OneDigital ya identificó al repasar los usos prácticos de los modelos de lenguaje locales frente a los chatbots de pago.

¿Cómo cabe un modelo de 200GB en una GPU de 24GB?

La clave está en la arquitectura de expertos (Mixture of Experts) del modelo: de sus 384 expertos enrutados repartidos en 40 capas MoE, solo una fracción se activa en cada paso de generación. El proyecto fija todos los expertos en la RAM del host y durante el prefill un motor de copia los transmite por tandas hacia espacios de VRAM, donde los expertos más solicitados corren como GEMMs en FP16. Durante la decodificación, una caché elástica en VRAM retiene a los expertos más calientes, mientras un kernel AVX2 ejecutado en los núcleos del CPU calcula los fallos de caché. Las tablas Engram de n-gramas permanecen mapeadas en memoria sobre el NVMe.

¿Qué rendimiento entrega esta configuración?

Las cifras medidas en la configuración por defecto (D141) son más que respetables para el hardware involucrado: decodificación de 19.3 tokens por segundo en flujo único, subiendo a 26.6 con cuatro flujos simultáneos, y prefill de 690 a 790 tokens por segundo en contextos que van de 8k a 261k. El banco de pruebas corrió sobre un AMD EPYC 7443P de 24 núcleos con 503GiB de RAM DDR4 en ocho canales y un NVMe Samsung 990 Pro de 4TB. Vale la pena señalar la calidad: 50 de 50 ejecuciones correctas en pruebas de recuperación de información en contextos largos, ejecución de código, matemáticas y ensayos extensos, según documenta el propio repositorio en su directorio de resultados.

Advertisement

Optimizaciones acumuladas por iteración

El proyecto es transparente sobre su evolución: cada mejora se registra como una “run” etiquetada. Añadió caché de prefijos, división de trabajo entre CPU y GPU para pasos cortos de agentes, y prefetch DMA entre capas. Uno de los saltos más notables es el almacenamiento en caché de prefijos: un turno de agente de 131k tokens con prefijo cacheado alcanza su primer token en 0.76 segundos en lugar de 200.8, una diferencia que convierte a la herramienta en algo realmente usable para agentes con historiales largos. También hay una rama experimental con una Intel Arc B70 como nivel de expertos que eleva la decodificación a 41.3 tokens por segundo con cuatro flujos, un 55 por ciento más, aunque su verificación de calidad sigue pendiente.

¿Qué se necesita para replicarlo?

La lista de requisitos es la de una estación de trabajo seria, pero alcanzable: una GPU de 24GB basada en Ampere, 256GiB o más de RAM, un CPU con AVX2 y 24 núcleos o más, y un NVMe rápido. Todo se distribuye como imagen Docker con API compatible con OpenAI, incluyendo llamadas de herramientas y razonamiento con los parsers propios de DeepSeek V4.1, lo que facilita conectarlo a clientes y agentes existentes. El contexto por defecto es de 262,144 tokens con caché KV en FP8. Para quienes dan sus primeros pasos en este mundo, montar un entorno de inferencia local con Ollama y Docker como base de una IA local sigue siendo el punto de partida natural antes de escalar a proyectos de esta magnitud.

¿Por qué importa para el futuro de la IA local?

Lo cierto es que el proyecto no es un truco de magia: exige hardware host generoso y el estado oficial es el de candidato, con la fidelidad del prefill por DMA escalonado apenas fuera del umbral heredado de la campaña de benchmarking. Aun así, la dirección es clara. Si un modelo de razonamiento de última generación con contexto de 262k puede correr en una GPU de consumo de hace años, la frontera entre IA local e IA de nube sigue desplazándose hacia el escritorio. Esa misma frontera es la que ya se nota en flujos de trabajo reales, como el uso de varios modelos de IA en OpenCode sin pagar suscripciones extra, donde alternar proveedores locales y en la nube deja de ser experimento y pasa a ser estrategia.

Lo más leído en Desarrolladores

  1. WinRust quiere reemplazar partes de Windows con utilidades nativas en Rust
    Actualización

    WinRust quiere reemplazar partes de Windows con utilidades nativas en Rust

    · 9 min · 191 vistas

    WinRust es un proyecto de código abierto que propone algo poco tímido: sustituir piezas centrales de Windows, como…

  2. GitCraft es un cliente visual de git ligero y multiplataforma escrito en Rust
    Consola

    GitCraft es un cliente visual de git ligero y multiplataforma escrito en Rust

    · 7 min · 143 vistas

    GitCraft es un cliente visual de git de código abierto que busca simplificar la gestión de repositorios sin…

Actualización

WinRust quiere reemplazar partes de Windows con utilidades nativas en Rust

Published

on

WinRust quiere reemplazar partes de Windows con utilidades nativas en Rust

WinRust es un proyecto de código abierto que propone algo poco tímido: sustituir piezas centrales de Windows, como la barra de tareas, el Explorador de archivos, la búsqueda y el Administrador de tareas, por programas escritos en Rust. La promesa del repositorio es clara: menos peso, más velocidad y un entorno más controlable, aunque a cambio pide privilegios de administrador y toca funciones delicadas del sistema.

(más…)

Lo más leído en Desarrolladores

  1. WinRust quiere reemplazar partes de Windows con utilidades nativas en Rust
    Actualización

    WinRust quiere reemplazar partes de Windows con utilidades nativas en Rust

    · 9 min · 191 vistas

    WinRust es un proyecto de código abierto que propone algo poco tímido: sustituir piezas centrales de Windows, como…

  2. GitCraft es un cliente visual de git ligero y multiplataforma escrito en Rust
    Consola

    GitCraft es un cliente visual de git ligero y multiplataforma escrito en Rust

    · 7 min · 143 vistas

    GitCraft es un cliente visual de git de código abierto que busca simplificar la gestión de repositorios sin…

Continue Reading

Consola

GitCraft es un cliente visual de git ligero y multiplataforma escrito en Rust

Published

on

GitCraft es un cliente visual de git ligero y multiplataforma escrito en Rust

GitCraft es un cliente visual de git de código abierto que busca simplificar la gestión de repositorios sin renunciar a las funciones avanzadas. Está escrito en Rust con la biblioteca egui, funciona en Windows, Linux y macOS, y se apoya en la línea de comandos de git ya instalada. Su autor, el desarrollador Vancete, lo describe como ligero, rápido y libre de funciones de relleno.

(más…)

Lo más leído en Desarrolladores

  1. WinRust quiere reemplazar partes de Windows con utilidades nativas en Rust
    Actualización

    WinRust quiere reemplazar partes de Windows con utilidades nativas en Rust

    · 9 min · 191 vistas

    WinRust es un proyecto de código abierto que propone algo poco tímido: sustituir piezas centrales de Windows, como…

  2. GitCraft es un cliente visual de git ligero y multiplataforma escrito en Rust
    Consola

    GitCraft es un cliente visual de git ligero y multiplataforma escrito en Rust

    · 7 min · 143 vistas

    GitCraft es un cliente visual de git de código abierto que busca simplificar la gestión de repositorios sin…

Continue Reading

Desarrolladores

Breakscale el simulador open source que rompe tu arquitectura de software en el navegador

Published

on

Breakscale el simulador open source que rompe tu arquitectura de software en el navegador

Breakscale es un simulador de diseño de sistemas de código abierto, con licencia MIT, que permite armar arquitecturas con 33 componentes, subir el tráfico hasta que algo falle y observar la caída con datos medidos por una simulación de eventos discretos. Funciona en el navegador, dentro de VS Code y como servidor MCP para asistentes de IA, sin cuentas y sin instalar nada.

(más…)

Lo más leído en Desarrolladores

  1. WinRust quiere reemplazar partes de Windows con utilidades nativas en Rust
    Actualización

    WinRust quiere reemplazar partes de Windows con utilidades nativas en Rust

    · 9 min · 191 vistas

    WinRust es un proyecto de código abierto que propone algo poco tímido: sustituir piezas centrales de Windows, como…

  2. GitCraft es un cliente visual de git ligero y multiplataforma escrito en Rust
    Consola

    GitCraft es un cliente visual de git ligero y multiplataforma escrito en Rust

    · 7 min · 143 vistas

    GitCraft es un cliente visual de git de código abierto que busca simplificar la gestión de repositorios sin…

Continue Reading

Lo más reciente

Lo más popular

Subscribete a nuestro Podcast

Trending