Lumiere de Google hace que los vídeos con IA estén más cerca de la realidad que de la irrealidad

El nuevo modelo de IA de Google para la generación de vídeos Lumière se utiliza una Un nuevo modelo de difusión se llama Space-Time-U-Net, o STUNet, que determina dónde están los objetos en el vídeo (espacio) y cómo se mueven y cambian al mismo tiempo (tiempo). Ars Técnica Este método permite a Lumiere crear el vídeo en un solo proceso en lugar de unir fotogramas fijos más pequeños, señala este método.

Lumiere comienza creando un marco básico a partir del vector. Luego utiliza el marco STUNet para comenzar a aproximar dónde se moverán los objetos dentro de ese cuadro para crear más cuadros que fluyan entre sí, creando la apariencia de un movimiento suave. Lumiere también crea 80 fotogramas en comparación con los 25 fotogramas de Stable Video Diffusion.

Es cierto que soy más un reportero de textos que de videos, pero el comunicado de prensa de Google, junto con un artículo científico preimpreso, muestra que las herramientas de creación y edición de videos con IA han pasado del valle inquietante a casi reales en solo unos pocos años. . También sitúa la tecnología de Google en un espacio ya ocupado por competidores como Runway, Stable Video Diffusion o Meta's Emu. Runway, una de las primeras plataformas de conversión de texto a video producidas en masa, lanzó Runway Gen-2 en marzo del año pasado y comenzó a ofrecer videos más realistas. Los vídeos de pasarelas también tienen dificultades para captar la acción.

Google tuvo la amabilidad de colocar los clips y las indicaciones en el sitio de Lumiere, lo que me permitió colocar las mismas indicaciones en Runway para comparar. Aquí están los resultados:

Sí, algunos de los clips presentados tienen un toque industrial, sobre todo si te fijas bien en la textura de la piel o si la escena es más atmosférica. pero ¡Mira esa tortuga! ¡Se mueve como una tortuga en el agua! ¡Parece una tortuga real! Le envié el vídeo de introducción de Lumiere a un amigo que es editor de vídeo profesional. Si bien señaló que “se puede ver claramente que esto no es del todo real”, pensó que era impresionante que si no le dijera que era IA, pensaría que era CGI. (Ella también dijo: «Eso me quitaría el trabajo, ¿no?»)

Otros modelos unen videoclips a partir de fotogramas clave generados donde realmente ocurrió la acción (piense en dibujos en un libro de papel), mientras que STUNet permite a Lumiere centrarse en la acción en sí en función de dónde debe estar el contenido generado en el momento específico del video.

Google no ha sido un actor importante en la categoría de texto a video, pero poco a poco ha lanzado modelos de inteligencia artificial más avanzados y ha avanzado hacia un enfoque multimedia. Su modelo Gemini Grand Language eventualmente traerá la generación de imágenes al Bardo. Lumiere aún no está disponible para pruebas, pero muestra la capacidad de Google para desarrollar una plataforma de video de IA que es comparable (y posiblemente ligeramente mejor) que los generadores de video de IA generalmente disponibles como Runway y Pika. Y solo para que conste, aquí es donde estaba Google con los videos de IA hace un par de años.

Además de crear conversión de texto a video, Lumiere también permitirá crear conversión de imagen a video, creación estilizada, permitiendo a los usuarios crear videos con un estilo específico, gráficos cinematográficos que animan solo una parte del video y dibujos para enmascare un área del video para cambiar el color o el estilo.

Sin embargo, el estudio de Google Lumiere señaló que «existe el riesgo de abuso al crear contenido falso o malicioso utilizando nuestra tecnología, y creemos que es esencial desarrollar e implementar herramientas para detectar sesgos e instancias de uso malicioso para garantizar una experiencia segura y justa». «. se utiliza.» Los autores del artículo no explicaron cómo se podría lograr esto.