NVIDIA ha lanzado Nemotron 3.5 ASR Streaming 0.6B, un modelo de reconocimiento automático de voz (ASR) con 600 millones de parámetros diseñado para transcripción multilingüe en streaming. Disponible en Hugging Face, este modelo admite 40 locales de idioma desde un solo checkpoint, integra puntuación y capitalización en la salida, y permite ajustar la latencia desde 80 milisegundos hasta 1.12 segundos, según la configuración elegida.

La gran ventaja no es solo su velocidad, sino su capacidad para ejecutarse en infraestructura propia, incluidas GPUs NVIDIA RTX compatibles, sin depender de APIs externas. Aunque implica costos de hardware y operación, evita el modelo de pago por uso que domina el mercado de voz.

¿Qué es el reconocimiento automático de voz y por qué sigue siendo relevante?

El reconocimiento automático de voz (ASR) convierte el habla en texto. Su importancia ha crecido por su uso en subtitulado en vivo, asistentes conversacionales, transcripción de reuniones, centros de contacto, herramientas de accesibilidad y sistemas de análisis de audio. Hoy, la calidad no se mide solo por precisión, sino también por latencia, escalabilidad y control de la información.

En este contexto, NVIDIA Nemotron 3.5 Lightning y otros modelos de la familia Nemotron han demostrado ser herramientas clave para optimizar la ejecución de tareas especializadas en agentes de IA, reduciendo costos y latencia en procesos como llamadas a herramientas y validación de resultados.

¿Qué hace distinto a Nemotron 3.5 ASR?

El modelo utiliza una arquitectura Cache-Aware FastConformer-RNNT, diseñada para evitar el reprocesamiento redundante en enfoques de streaming por buffer. En lugar de recalcular fragmentos superpuestos de audio, reutiliza contexto previo y procesa solo la información nueva, lo que reduce la carga computacional y optimiza el uso de la GPU.

Entre sus características clave:

• 600 millones de parámetros en un modelo orientado a streaming.
• 40 locales de idioma desde un solo checkpoint.
• Latencia configurable: 80 ms, 160 ms, 320 ms, 560 ms o 1.12 s.
• Puntuación y capitalización integradas en la salida.
• Detección automática de idioma con la opción auto.
• Uso comercial permitido bajo licencia OpenMDW-1.1.

NVIDIA afirma que, a 80 ms y sobre una sola H100, Nemotron 3.5 ASR puede sostener alrededor de 17 veces más streams concurrentes que Parakeet RNNT 1.1B. Sin embargo, este dato aplica a un benchmark específico y no a cualquier configuración de hardware.

¿Transcribe 40 idiomas o 40 locales de idioma?

La formulación más precisa es 40 locales de idioma. NVIDIA no habla de 40 idiomas equivalentes, sino de 40 variantes o locales dentro de tres niveles de cobertura:

• 19 locales listos para transcripción, con el mejor rendimiento.
• 13 locales de cobertura amplia, aptos para uso productivo aunque con resultados más variables.
• 8 locales orientados a adaptación, recomendados para fine-tuning antes de exigir calidad de producción.

¿Puede ejecutarse en una PC casera con RTX?

Sí, puede ejecutarse localmente en equipos con GPUs NVIDIA RTX compatibles, como las arquitecturas Turing, Ampere, Lovelace, Blackwell, Hopper, Volta y Jetson. Esto permite pruebas y despliegues locales en equipos personales.

Sin embargo, el rendimiento no será el mismo que en una H100. NVIDIA no publica un mínimo oficial de VRAM para cada escenario, por lo que los resultados dependerán de la memoria disponible, el formato de inferencia y la carga concurrente. Además, la ruta documentada oficialmente está pensada para Linux.

¿Cómo se compara frente a otras soluciones?

La comparación con Whisper debe plantearse con cuidado. Mientras que Whisper es ampliamente usado para transcripción multilingüe, su fortaleza no está en el streaming nativo con arquitectura cache-aware. Nemotron 3.5 ASR, en cambio, fue diseñado desde el inicio para escenarios donde la latencia y la concurrencia son tan importantes como la transcripción misma.

Frente a APIs cerradas de voz, Nemotron 3.5 ASR ofrece pesos abiertos, posibilidad de autoalojamiento y capacidad de ajuste fino para dominios o idiomas concretos. La contraparte es que exige más trabajo técnico que una API lista para consumir.

En resumen, no es la opción más simple, pero sí una de las más interesantes para equipos que buscan privacidad, soberanía de datos y costos previsibles. Para más detalles sobre cómo NVIDIA está revolucionando el campo de los agentes de IA, puedes explorar Nemotron 3 Super 120B.

¿Cómo implementarlo localmente?

NVIDIA ofrece varias rutas para ejecutar Nemotron 3.5 ASR en local: NeMo, Transformers y NeMo-Speech.cpp.

Con NeMo

Es la vía más cercana al ecosistema oficial de NVIDIA y la más adecuada para trabajar con inferencia en streaming, evaluación o fine-tuning. Para comenzar:

1. Instalar dependencias:

   apt-get update && apt-get install -y libsndfile1 ffmpeg
   pip install Cython packaging
   pip install git+https://github.com/NVIDIA/NeMo.git@main#egg=nemo_toolkit[asr]

2. Cargar el modelo:

   import nemo.collections.asr as nemo_asr
   
   asr_model = nemo_asr.models.ASRModel.from_pretrained(
       model_name="nvidia/nemotron-3.5-asr-streaming-0.6b"
   )

3. Para inferencia en streaming, usar el script específico de NVIDIA:

   python examples/asr/asr_cache_aware_streaming/speech_to_text_cache_aware_streaming_infer.py \
       model_path=<model_path> \
       dataset_manifest=<dataset_manifest> \
       batch_size=<batch_size> \
       target_lang=es-ES \
       att_context_size="[56,3]" \
       strip_lang_tags=true \
       output_path=<output_folder>

Con Transformers

Esta opción es más cómoda para desarrolladores que ya trabajan en el ecosistema de Hugging Face:

1. Instalar Transformers:

   pip install "transformers>=5.13.0"

2. Usar el pipeline de reconocimiento de voz:

   from transformers import pipeline
   
   pipe = pipeline(
       "automatic-speech-recognition",
       model="nvidia/nemotron-3.5-asr-streaming-0.6b"
   )
   
   out = pipe("audio.wav")
   print(out)

Con NeMo-Speech.cpp

Para una ruta local más ligera, NVIDIA documenta el uso de NeMo-Speech.cpp, que permite trabajar con una versión en formato GGUF:

hf download nvidia/nemotron-3.5-asr-streaming-0.6b \
  nemotron-3.5-asr-streaming-0.6b.q8_0.gguf \
  --local-dir models
nemo-speech transcribe audio.wav \
  --model models/nemotron-3.5-asr-streaming-0.6b.q8_0.gguf \
  --language es-ES

¿Qué configuración de latencia conviene elegir?

Nemotron 3.5 ASR permite elegir entre varios niveles de latencia mediante el parámetro att_context_size:

• 80 ms: orientado a respuesta ultrarrápida.
• 160 ms: equilibrio para interacción ágil.
• 320 ms: punto medio recomendable para muchos casos.
• 560 ms: prioriza calidad con demora razonable.
• 1.12 s: mayor contexto y mejor precisión potencial.

Para subtitulado en vivo o asistentes de voz, una configuración intermedia suele ser más realista que forzar siempre el mínimo de 80 ms.

¿Qué requisitos conviene considerar antes de probarlo?

• GPU NVIDIA compatible, idealmente RTX moderna o hardware de gama superior.
• Entorno Linux, el sistema operativo documentado oficialmente.
• Audio mono, preferiblemente en formato WAV.
• Memoria suficiente para el modelo y la carga deseada.
• Expectativas realistas, ya que las cifras de concurrencia se midieron en H100 y no representan directamente el rendimiento en una RTX doméstica.

¿Cuáles son sus limitaciones?

Aunque Nemotron 3.5 ASR es una propuesta sólida, tiene algunas limitaciones:

• No todos los 40 locales ofrecen la misma calidad desde el primer momento.
• La mejor latencia no siempre coincide con la mejor precisión.
• Para algunos idiomas, NVIDIA recomienda fine-tuning antes de una adopción exigente.
• La implementación local requiere familiaridad con entornos de IA y despliegue en GPU.
• Para uso exclusivamente en inglés, NVIDIA sigue recomendando su modelo específico de inglés.

¿En qué casos de uso tiene más sentido?

Nemotron 3.5 ASR es ideal para:

• Subtitulado en vivo para eventos, clases o transmisiones.
• Asistentes de voz donde cada fracción de segundo importa.
• Centros de contacto con necesidad de transcripción y análisis a escala.
• Reuniones multilingües con despliegue unificado.
• Entornos sensibles a la privacidad donde el audio no debe salir de la infraestructura propia.
• Prototipos locales con RTX para equipos de desarrollo.

¿Vale la pena seguir de cerca a Nemotron 3.5 ASR?

Sí, especialmente para quienes trabajan con productos de voz y necesitan algo más que una simple transcripción. Nemotron 3.5 ASR combina streaming nativo, pesos abiertos, detección de idioma y despliegue local con una arquitectura optimizada para eficiencia en GPU.

Su atractivo no está solo en que transcriba rápido, sino en que puede hacerlo con control técnico y operativo del lado del desarrollador. Además, reduce la dependencia de servicios externos y ofrece una ruta seria para voz en tiempo real sobre infraestructura propia, incluso en equipos con RTX compatibles.

Para más información sobre cómo NVIDIA está integrando estos modelos en su ecosistema, puedes consultar la presentación de las familias de modelos Nemotron en CES 2025.