Nvidia ha liberado como open source los modelos y el SDK de Audio2Face, una tecnología de IA generativa diseñada para crear avatares digitales realistas con animaciones faciales de última generación. Con esta decisión, cada desarrollador de videojuegos y aplicaciones 3D podrá crear y desplegar personajes de alta fidelidad con sincronización labial y expresiones emocionales naturales.

Un marco abierto para desarrolladores

Además del SDK, Nvidia pondrá a disposición el Audio2Face Training Framework, lo que permitirá a cualquier persona ajustar y personalizar modelos preexistentes según sus necesidades. Esto abre la puerta a experiencias más inmersivas y personalizadas en entretenimiento, atención al cliente y simulaciones interactivas.

Animación facial en tiempo real

Audio2Face acelera la creación de personajes digitales realistas mediante animación facial y lip-sync en tiempo real. A partir de una entrada de audio, la tecnología analiza características como fonemas y entonación para generar un flujo de datos de animación asignado a expresiones faciales del personaje. Estos datos pueden:

• Renderizarse en modo offline para contenido pregrabado.
• Transmitirse en tiempo real para personajes interactivos.

El resultado son avatares con sincronización labial precisa y expresiones emocionales naturales que aportan realismo a videojuegos, medios y plataformas de atención al cliente.

Adopción en la industria

Numerosos estudios y empresas ya integran Audio2Face en sus flujos de trabajo. Entre los desarrolladores destacan Codemasters, GSC Games World, NetEase y Perfect World Games. Por parte de los ISVs, sobresalen Convai, Inworld AI, Reallusion, Streamlabs y UneeQ.

Paquete completo de herramientas open source

El ecosistema de Audio2Face liberado por Nvidia incluye:

• Audio2Face SDK: Bibliotecas y documentación para crear y ejecutar animaciones faciales en dispositivos o en la nube.
• Autodesk Maya plugin: Plugin (v2.0) para enviar entradas de audio y recibir animaciones en Maya.
• Unreal Engine 5 plugin: Plugin (v2.5) compatible con UE 5.5 y 5.6 para integración directa en Unreal Engine 5.
• Audio2Face Training Framework: Framework (v1.0) para crear modelos propios con datos personalizados.
• Audio2Face Training Sample Data: Conjunto de datos de ejemplo para iniciar entrenamientos.
• Audio2Face Models: Modelos de regresión (v2.2) y difusión (v3.0) para lip-sync.
• Audio2Emotion Models: Modelos (v2.2 y v3.0) que infieren emociones a partir de audio.

Innovación para experiencias digitales

Con esta liberación, Nvidia busca democratizar la animación facial impulsada por inteligencia artificial y facilitar que desarrolladores independientes, estudios y empresas de todo el mundo adopten esta tecnología. Más información sobre las herramientas está disponible en Nvidia ACE for Games.