Lumiere: Conheça a nova IA do Google que produz vídeos

No dia 24 de janeiro, o Google apresentou ao público o seu mais recente avanço em Inteligência Artificial (IA), introduzindo o Lumiere, um modelo inovador capaz de gerar vídeos realistas a partir de descrições de texto.

A peculiaridade desse avanço reside na utilização de uma arquitetura inédita chamada Space-Time U-Net. Com isso, o Lumiere foi descrito pelo Google como um “modelo de difusão espaço-temporal para geração de vídeo realista”.

LEIA MAIS: IA agora também consegue copiar caligrafia e causa preocupação

Saiba mais sobre o Lumiere

As inteligências artificiais que criam vídeos frequentemente pulam alguns quadros importantes, o que pode resultar em animações menos suaves.

Por exemplo, em uma animação de 30 quadros por segundo, os modelos atuais podem gerar apenas alguns quadros-chave, como o primeiro, quinto, décimo, décimo quinto, vigésimo, vigésimo quinto e trigésimo.

No entanto, o Lumiere é diferente. Ele cria todos os quadros do vídeo simultaneamente, proporcionando uma animação mais suave e movimentos mais precisos.

Dessa forma, a passagem do tempo no vídeo parece mais natural. O Google publicou um artigo científico explicando essa tecnologia e também compartilhou alguns vídeos gerados pelo Lumiere a partir de simples comandos de texto.

Basicamente, o Lumiere aborda simultaneamente o espaço e o tempo na criação de vídeos, eliminando a necessidade de compilar várias imagens.

Em vez disso, ele pode gerar vídeos de maneira suave, manipulando o posicionamento e o movimento dos elementos.

LEIA MAIS: Peugeot é mais uma marca a adotar o ChatGPT em seus carros – Saiba mais!

Assim, suas capacidades incluem a geração de vídeos em estilos específicos a partir de uma imagem de referência, a transformação de fotos em vídeos e a realização de edições por meio de comandos de texto.

No entanto, apesar de suas funcionalidades impressionantes, o Lumiere enfrenta desafios como a possível redução da qualidade dos vídeos produzidos e dificuldades na criação de vídeos com múltiplas sequências ou transições entre cenas.