En la conferencia Google I/O 2024, la empresa anunció que está utilizando su modelo de inteligencia artificial Gemini Nano para mejorar TalkBack, su lector de pantalla que ayuda a usuarios ciegos y con baja visión a comprender mejor las imágenes.

TalkBack, lanzado en 2009, lee en voz alta el contenido de la pantalla y permite a los usuarios navegar por su dispositivo mediante gestos personalizados. También admite comandos de voz y un teclado braille virtual.

Según Google, los usuarios de TalkBack se encuentran con un promedio de 90 imágenes sin etiquetar al día. Gemini Nano llena estos vacíos proporcionando detalles sobre lo que se muestra en una foto o el estilo y el corte de la ropa al comprar en línea. Al funcionar en el dispositivo, las descripciones se generan rápidamente y pueden seguir funcionando sin conexión de red.

Project Gameface llega a Android

En el Google I/O del año pasado, la compañía presentó Project Gameface, un “ratón” de código abierto y manos libres para juegos que permite a las personas controlar el cursor de una computadora con movimientos de cabeza y gestos faciales. Ahora, Google está abriendo más código de Project Gameface en GitHub para que los desarrolladores amplíen esta capacidad a Android.

Con esta expansión, las cámaras de Android pueden rastrear expresiones faciales y movimientos de cabeza y convertirlos en controles. Los desarrolladores pueden crear aplicaciones donde los usuarios pueden personalizar su experiencia configurando expresiones faciales, tamaños de gestos, velocidad del cursor y más.

Por ejemplo, el movimiento de la cabeza de un usuario determinará cómo se mueve el cursor, y gestos como levantar una ceja o mirar hacia arriba se pueden vincular a diversos comandos como “Seleccionar”.

Estas actualizaciones llegan antes del Día Mundial de la Concienciación sobre la Accesibilidad, que este año tendrá lugar el 16 de mayo. Google es una de las muchas empresas tecnológicas que se ha comprometido a expandir la accesibilidad digital en sus dispositivos y plataformas.