A Adobe está fazendo a transição para vídeo gerado por IA. O modelo de vídeo Firefly da empresa, que foi anunciado desde o início deste ano, está sendo lançado hoje em uma série de novas ferramentas, incluindo algumas diretamente dentro do Premiere Pro, que permitirão aos criativos estender filmagens e gerar vídeos a partir de imagens estáticas e prompts de texto.
A primeira ferramenta — Generative Extend — está sendo lançada em beta para o Premiere Pro. Ela pode ser usada para estender o final ou o início de filmagens que estão ligeiramente curtas, ou fazer ajustes durante a filmagem, como corrigir mudanças inesperadas nos olhares ou movimentos.
Os clipes podem ser estendidos em até dois segundos, então o Generative Extend é realmente adequado apenas para pequenos ajustes, mas isso pode substituir a necessidade de refilmar para corrigir pequenos problemas. Os clipes estendidos podem ser gerados em 720p ou 1080p a 24 FPS. Também pode ser usado em áudio para ajudar a suavizar edições, embora com limitações. Ele estenderá efeitos sonoros e o “tom ambiente” de uma sala em até dez segundos, por exemplo, mas não diálogos falados ou música.
A nova ferramenta Generative Extend no Premiere Pro pode preencher lacunas em filmagens que normalmente exigiriam uma nova filmagem completa, como adicionar alguns passos extras a uma pessoa caminhando ao lado de um carro.
Outras duas ferramentas de geração de vídeo estão sendo lançadas na web. As ferramentas Text-to-Video e Image-to-Video da Adobe, anunciadas pela primeira vez em setembro, agora estão sendo lançadas como uma beta pública limitada no aplicativo web Firefly.
Text-to-Video funciona de maneira semelhante a outros geradores de vídeo como Runway e Sora da OpenAI — os usuários só precisam inserir uma descrição em texto do que desejam gerar. Ele pode emular uma variedade de estilos, como filme “real”, animação 3D e stop motion, e os clipes gerados podem ser refinados ainda mais usando uma seleção de “controles de câmera” que simulam coisas como ângulos de câmera, movimento e distância de filmagem.
Image-to-Video vai um passo além, permitindo que os usuários adicionem uma imagem de referência junto com um prompt de texto para fornecer mais controle sobre os resultados. A Adobe sugere que isso pode ser usado para criar b-roll a partir de imagens e fotografias, ou ajudar a visualizar novas filmagens ao fazer o upload de uma imagem de um vídeo existente. O exemplo de antes e depois abaixo mostra que isso não é realmente capaz de substituir filmagens diretamente, pois vários erros como cabos tremendo e fundos mudando são visíveis nos resultados.
Você não estará fazendo filmes inteiros com essa tecnologia tão cedo, também. O comprimento máximo dos clipes Text-to-Video e Image-to-Video é atualmente de cinco segundos, e a qualidade atinge no máximo 720p e 24 quadros por segundo. Em comparação, a OpenAI afirma que o Sora pode gerar vídeos de até um minuto de duração “mantendo a qualidade visual e a aderência ao prompt do usuário” — mas isso ainda não está disponível ao público, apesar de ter sido anunciado meses antes das ferramentas da Adobe.
Os modelos são restritos a produzir clipes que têm cerca de quatro segundos de duração, como este exemplo de um dragão bebê gerado por IA se debatendo em magma.
Text-to-Video, Image-to-Video e Generative Extend levam cerca de 90 segundos para gerar, mas a Adobe afirma que está trabalhando em um “modo turbo” para reduzir esse tempo. E, embora restritas, a Adobe afirma que suas ferramentas alimentadas pelo modelo de vídeo AI são “comercialmente seguras” porque foram treinadas em conteúdo que a gigante do software criativo tinha permissão para usar. Dado que modelos de outros fornecedores como Runway estão sendo examinados por supostamente terem sido treinados em milhares de vídeos do YouTube coletados — ou, no caso da Meta, talvez até mesmo em seus vídeos pessoais — a viabilidade comercial pode ser um diferencial para alguns usuários.
Outro benefício é que vídeos criados ou editados usando o modelo de vídeo Firefly da Adobe podem ser incorporados com Credenciais de Conteúdo para ajudar a divulgar o uso de IA e os direitos de propriedade quando publicados online. Não está claro quando essas ferramentas estarão disponíveis fora da beta, mas pelo menos estão publicamente disponíveis — o que é mais do que podemos dizer sobre o Sora da OpenAI, o Movie Gen da Meta e os geradores Veo do Google.