Por Hannes Caspar

En las últimas semanas, hemos sido testigos de dos grandes avances en el espacio del arte AI. Primero, Midjourney finalmente lanzó un nuevo modelo, Midjourney V6.1. Segundo, Runway lanzó la generación de imagen a video con su último modelo Gen-3. Anteriormente, solo se podían generar videos a partir de texto, pero ahora se pueden combinar prompts de imagen y texto.

Comenzaremos explorando el nuevo modelo de Midjourney, y luego usaremos imágenes generadas por Midjourney para crear videos en Gen-3.

Así que, comencemos.

Versión 6.1 de Midjourney

Ha pasado un tiempo desde que el equipo de Midjourney nos bendijo con un nuevo modelo, pero finalmente está aquí. Además, los desarrolladores de Midjourney han anunciado que planean lanzar V6.2 el próximo mes. Parece que podríamos estar regresando al ritmo de actualización rápida que presenciamos el año pasado.

Entonces, ¿qué hay de nuevo en V6.1? Según el anuncio, podemos esperar las siguientes mejoras:

• Imágenes más coherentes (brazos, piernas, manos, cuerpos, plantas, animales, etc.)
• Calidad de imagen mucho mejor (artefactos de píxeles reducidos, texturas mejoradas, piel, etc.)
• Características de imagen pequeñas más precisas, detalladas y exactas (ojos, caras pequeñas, manos lejanas, etc.)
• Nuevos escaladores 2x con mucha mejor calidad de imagen/textura
• Aproximadamente un 25% más rápido para trabajos de imagen estándar
• Precisión de texto mejorada (al dibujar palabras a través de “comillas” en los prompts)
• Un nuevo modelo de personalización con mejor matiz, sorpresa y precisión
• Versionado de código de personalización (usar cualquier código de personalización de trabajos antiguos para aplicar el modelo y los datos de personalización de ese trabajo)
• Un nuevo modo –q 2, que tarda un 25% más en (a veces) añadir más textura a costa de una menor coherencia de la imagen
• Las cosas deberían verse “generalmente más hermosas” en general

Hasta ahora, el cambio no ha sido tan dramático. A veces se pueden obtener imágenes verdaderamente fantásticas, pero esto también era cierto con V6. Sin embargo, los artefactos y problemas con brazos, manos, piernas, etc., todavía están presentes.

Por ejemplo, aquí hay algunos ejemplos de éxito y fracaso del mismo prompt.

Prompt: una foto de una pareja bailando juntos con gracia. La pareja está elegantemente vestida, con el hombre en traje y la mujer en un vestido fluido. Captura su movimiento y conexión, con expresiones de alegría y concentración en sus rostros. El fondo debe sugerir un salón de baile o salón de baile, con iluminación suave y ambiental para realzar la atmósfera romántica. –ar 16:9 –v 6.1

Videos Gen-3 de Imágenes de Midjourney

Ahora, pasemos a nuestros experimentos con la generación de imagen a video de Gen-3.

Inspirado por el video de Jonas Peterson de un pequeño cachorro de tigre caminando sobre un dedo humano, decidí crear algo similar, pero con un gatito. Primero, generé una imagen inicial con Midjourney usando el siguiente prompt.

Prompt: Una foto de alta calidad macro de un pequeño gatito muy lindo parado delicadamente en el extremo de un dedo índice humano puntiagudo, con las cuatro patas en el dedo, caminando hacia la base. El dedo humano debe ser claramente visible, resaltando el tamaño irrealmente pequeño del gatito en comparación. El fondo debe estar suavemente desenfocado para centrar la atención en el gatito y el dedo. –ar 16:9 –stylize 400 –v 6.1

Luego, usé el generador de video Gen-3 de Runway para crear un video a partir de esta imagen. Subí la imagen y seleccioné que fuera el primer fotograma (también se puede elegir que la imagen de referencia sea el último fotograma), y luego agregué el siguiente prompt de texto.

Prompt: Un pequeño gatito lindo está caminando por un dedo índice humano puntiagudo.

Creo que esto fue bastante exitoso. Aunque el video no es perfecto, no tiene artefactos disruptivos importantes ni inconsistencias, lo cual es genial para los generadores de video AI de hoy en día.

Luego, pasé a lo que parecía un desafío mucho más fácil: comenzar con un primer plano de los ojos de un hombre y luego pedirle a Gen-3 que hiciera un zoom dinámico para revelar toda la cara.

Prompt: una foto de alta calidad muy cercana de los ojos de un hombre. Los ojos deben ser de un verde vívido, con patrones de iris detallados claramente visibles. La piel circundante debe mostrar una textura natural, y las pestañas y cejas deben estar claramente definidas. La iluminación debe realzar la profundidad y el color de los ojos verdes, creando una mirada intensa y llamativa. –ar 16:9 –v 6.1

Prompt: Primer plano, zoom dinámico: Comienza con un primer plano de los ojos de un hombre y gradualmente haz zoom para revelar toda la cara, manteniendo el enfoque en sus rasgos y expresiones.

El primer intento fue un fracaso completo, pero Gen-3 logró manejarlo más o menos con éxito en el segundo intento.

El siguiente experimento fue bastante desafiante. Intenté que Gen-3 creara un video de una pareja bailando, comenzando con una imagen generada por Midjourney.

Prompt: una foto de una pareja bailando juntos con gracia. La pareja está elegantemente vestida, con el hombre en traje y la mujer en un vestido fluido. Captura su movimiento y conexión, con expresiones de alegría y concentración en sus rostros. El fondo debe sugerir un salón de baile o salón de baile, con iluminación suave y ambiental para realzar la atmósfera romántica. –ar 16:9 –v 6.1

¿Qué puedo decir? Fue demasiado desafiante. El video a continuación es el mejor resultado que pude lograr después de varios intentos.

Prompt: Ángulo amplio, movimiento dinámico: Una pareja, elegantemente vestida con ropa formal, baila con gracia por el suelo. Enfócate en los movimientos fluidos y la sincronización de la pareja mientras bailan vals por la habitación.

Para el experimento final, elegí algo más sencillo: un Papa caminando por los pasillos de la Biblioteca del Vaticano.

Prompt: Una toma cinematográfica del Papa caminando por los pasillos de la Biblioteca del Vaticano. –ar 16:9 –stylize 400 –v 6.1

Prompt: Toma cinematográfica, plano de seguimiento: El Papa camina por los grandiosos y ornamentados pasillos de la Biblioteca del Vaticano. La cámara lo sigue, capturando los detalles intrincados de los antiguos manuscritos, las estanterías imponentes y los hermosos frescos en el techo. La iluminación es suave y reverente. Enfócate en la atmósfera serena y contemplativa mientras el Papa se mueve con gracia por el espacio sagrado.

Gen-3 completó la tarea bastante exitosamente. Aunque los zapatos no se ven perfectos, no hay inconsistencias importantes de otro modo.

Progreso y desafíos con Midjourney V6.1 y Gen-3

En conclusión, aunque Midjourney V6.1 ha realizado mejoras incrementales, no ha entregado un gran avance. Sin embargo, estamos ansiosos por ver cómo avanzarán las versiones futuras en los próximos meses. Por otro lado, Gen-3 ha mostrado resultados prometedores en algunos casos, pero aún enfrenta desafíos y inconsistencias significativas. A medida que las tecnologías AI continúen desarrollándose, será interesante ver cómo evolucionan estas herramientas y abordan sus limitaciones actuales.