Google trabaja desde 2014 en un sistema llamado Show and Tell que, con técnicas de aprendizaje de máquinas, permite generar una frase para describir lo que se ve en una imagen.

[adsenseyu1]

Este sistema es ahora open source para que cualquiera pueda adaptarlo a su investigaciones y necesidades. Ya está disponible en TensorFlow acompañado de los diferentes artículos científicos que sustentan su objetivo, funcionamiento técnico, capacidad y detalles para su implementación, entre otras cosas.

Claro, el modelo se ha venido mejorando desde 2014 y aprendiendo cada vez más, tanto que hasta ya ha ganado premios por su eficiencia, y no solo ocupa conjuntos de prueba de imágenes para intentar explicar contenidos -imágenes subtituladas por humanos de las que aprende para aplicarse luego a similares imágenes- sino que trabaja también con imágenes de las que nada sabe.

En cuanto a la calidad de su lenguaje, mencionan que el modelo de Show and Tell, que por cierto es impulsado por un sistema de redes neuronales del tipo encoder-decoder (“codifica” la imagen, genera una representación vectorial de ancho fijo y la “decodifica” en una descripción), hasta ha aprendido a escribir en inglés con solo atender a lo aportado por los “subtítulos humanos”.

En fin, lo mejor es revisar de inmediato sus páginas web y papers para aprovecharlo en trabajos propios sino es que para aportar a su desarrollo.

Más información: Blog oficial de Google Research | Página en GitHub