La startup AI Runway lanza una aplicación para llevar a los usuarios IA generativa de video a video

Créditos de la imagen: Pista

Pistauna startup de IA que contribuyó al desarrollo del generador de imágenes Stable Diffusion AI, lanzó su primer aplicación movil ayer para brindar a los usuarios acceso a Gen-1, su modelo de IA generativa de video a video. Actualmente, la aplicación solo está disponible en dispositivos iOS.

Con la nueva aplicación, los usuarios podrán grabar video desde su teléfono y generar video AI en minutos. También pueden transformar cualquier video existente en su biblioteca usando indicaciones de texto, imágenes o ajustes preestablecidos de estilo.

Los usuarios pueden elegir de la lista de ajustes preestablecidos de Runway como «Cloudscape», o transformar su video para que parezca arcilla, boceto de carbón, acuarela, origami de papel y más. También pueden cargar una imagen o ingresar una idea en el cuadro de texto.

Luego, la aplicación generará cuatro vistas previas para que los usuarios elijan. Una vez que hayan seleccionado el que más les gusta, tardarán unos minutos en producir el producto final. Probamos la aplicación nosotros mismos y descubrimos que tomó alrededor de 60 segundos o más. A veces tardaba dos minutos en generarse.

Naturalmente, como con cualquier generador de IA, los resultados no son perfectos y, a menudo, se ven distorsionados o raros. En general, el concepto de generadores de video de IA puede parecer tonto e incluso elegante. Pero a medida que la tecnología evoluciona y mejora con el tiempo, podría ser invaluable para los usuarios. Por ejemplo, los creadores de contenido pueden animar sus publicaciones en las redes sociales.

Independientemente, encontramos que la aplicación móvil de Runway es fácil de usar y divertida en general.

A continuación se muestra un ejemplo que encontramos, usando un clip de Michael Scott de «The Office». Un mensaje de texto que ingresamos fue «títere realista».

(Advertencia: el resultado es aterrador).

Créditos de la imagen: Pasarela (del clip de Office)

También probamos la «animación 3D», que resultó estar bien.

Créditos de la imagen: Pasarela (del clip de Office)

Por supuesto, hay algunas otras advertencias además de fallas y caras distorsionadas.

Si los usuarios quieren la versión gratuita, hay un límite de 525 créditos y solo pueden subir videos de cinco segundos. Cada segundo de un video usa 14 créditos.

En el futuro, Runway planea agregar soporte para videos más largos, dijo a TechCrunch el cofundador y CEO Cristóbal Valenzuela. La aplicación continuará mejorando y lanzando nuevas funciones, agregó.

“Nos enfocamos en mejorar la eficiencia, la calidad y el control. En las próximas semanas y meses verán todo tipo de actualizaciones, desde lanzamientos más largos hasta videos de mayor calidad”, dijo Valenzuela.

También tenga en cuenta que la aplicación no genera desnudos ni trabajos con derechos de autor, por lo que no puede crear videos que imiten el estilo de la popular IP.

La nueva aplicación móvil de Runway ofrece dos planes premium: Estándar ($143.99/año) y Pro ($344.99/año). El plan estándar te ofrece 625 créditos al mes y otras funciones premium como video de 1080p, proyectos ilimitados y más. El plan Pro ofrece 2250 créditos al mes y todas las más de 30 herramientas de IA de Runway.

Créditos de la imagen: Pista

Un mes después del lanzamiento de Runway Gen-1, que se lanzó en febrero, Runway ha lanzado su Gen-2 modelo. Podría decirse que es un paso adelante de los modelos Stable Diffusion y DALL-E de texto a imagen, Gen-2 es un generador de texto a video, por lo que los usuarios podrán generar videos desde cero.

Runway ha comenzado lentamente a implementar el acceso a su versión beta cerrada para Gen-2, nos dijo Valenzuela.

La aplicación actualmente es compatible con el modelo Gen-1, pero Gen-2 pronto estará disponible junto con otras herramientas de inteligencia artificial de Runway, como su generador de imagen a imagen.

Tanto Meta como Google han lanzado generadores de texto a video llamados Make-A-Video e Imagen respectivamente.

Runway ha desarrollado varios software de edición de video impulsados ​​por IA desde su lanzamiento en 2018. La compañía tiene una variedad de herramientas diferentes dentro de su editor de video basado en webcomo la interpolación de fotogramas, la eliminación de fondo, los efectos de desenfoque, una función que limpia o elimina el audio y el seguimiento de movimiento, entre muchos otros.

Las herramientas han ayudado a personas influyentes e incluso a estudios de cine y televisión a reducir el tiempo dedicado a editar y crear videos.

por ejemplo, el equipo de efectos visuales detrás de «Everything Everywhere All at Once» usó tecnología de Runway para ayudar a crear la escena en la película donde Evelyn (Michelle Yeoh) y Joy (Stephanie Hsu) están en un multiverso donde se han convertido en rocas en movimiento.

Además, el equipo de gráficos detrás de «The Late Show with Stephen Colbert» de CBS usó Runway para reducir las horas de edición a solo cinco minutos. según el director artístico Andro Buneta.

Runway también opera Runway Studios, su división de entretenimiento y producción.