Neste ponto, você provavelmente adora a ideia de fazer vídeos realistas com IA generativa ou acha que é um empreendimento moralmente falido que desvaloriza os artistas e inaugurará uma era desastrosa de deepfakes da qual nunca escaparemos. É difícil encontrar meio termo. Meta não vai mudar de ideia com Gerador de filmesseu mais recente modelo de IA de criação de vídeo, mas não importa o que você pense sobre a criação de mídia de IA, pode acabar sendo um marco significativo para a indústria.
O Movie Gen pode produzir vídeos realistas junto com música e efeitos sonoros a 16 fps ou 24 fps em até 1080p (aumentado de 768 por 768 pixels). Ele também pode gerar vídeos personalizados se você enviar uma foto e, o mais importante, parece ser fácil editar vídeos usando comandos de texto simples. Notavelmente, ele também pode editar vídeos normais sem IA com texto. É fácil imaginar como isso poderia ser útil para limpar algo que você filmou no seu telefone para o Instagram. Movie Gen é apenas puramente pesquisa no momento —Meta não irá lançá-lo ao público, então temos um pouco de tempo para pensar sobre o que tudo isso significa.
A empresa descreve o Movie Gen como sua “terceira onda” de pesquisa generativa em IA, após seu projeto inicial ferramentas de criação de mídia como Make-A-Sceneassim como ofertas mais recentes usando seu modelo Llama AI. Ele é alimentado por um modelo de transformador de 30 bilhões de parâmetros que pode fazer vídeos de 16 fps com 16 segundos de duração ou filmagens de 24 fps com 10 segundos de duração. Ele também possui um modelo de áudio de 13 bilhões de parâmetros que pode sincronizar 45 segundos de 48kHz de conteúdo como “som ambiente, efeitos sonoros (Foley) e música instrumental de fundo” com vídeo. Ainda não há suporte de voz sincronizada “devido às nossas escolhas de design”, disse a equipe do Movie Gen escreveu em seu artigo de pesquisa.
Meta diz que o Movie Gen foi inicialmente treinado em “uma combinação de conjuntos de dados licenciados e disponíveis publicamente”, incluindo cerca de 100 milhões de vídeos, um bilhão de imagens e um milhão de horas de áudio. A linguagem da empresa é um pouco confusa quando se trata de sourcing – a Meta já admitiu treinar seus modelos de IA com base em dados de conta de cada usuário australianoé ainda menos claro o que a empresa está usando fora de seus próprios produtos.
Quanto aos vídeos reais, o Movie Gen certamente parece impressionante à primeira vista. Meta diz que em seus próprios testes A/B, as pessoas geralmente preferiram seus resultados em comparação com o modelo Sora da OpenAI e o modelo Gen3 da Runway. Os humanos de IA do Movie Gen parecem surpreendentemente realistas, sem muitos dos sinais reveladores grosseiros do vídeo de IA (olhos e dedos perturbadores, em particular).
“Embora existam muitos casos de uso interessantes para esses modelos básicos, é importante observar que a IA generativa não substitui o trabalho de artistas e animadores”, disse a equipe do Movie Gen. escreveu em uma postagem no blog. “Estamos compartilhando esta pesquisa porque acreditamos no poder desta tecnologia para ajudar as pessoas a se expressarem de novas maneiras e para fornecer oportunidades a pessoas que de outra forma não as teriam”.
Ainda não está claro o que os usuários convencionais farão com o vídeo generativo de IA. Vamos preencher nossos feeds com vídeos de IA, em vez de tirar nossas próprias fotos e vídeos? Ou o Movie Gen será desconstruído em ferramentas individuais que podem ajudar a aprimorar nosso próprio conteúdo? Já podemos remover facilmente objetos do fundo das fotos em smartphones e computadores, a edição de vídeo com IA mais sofisticada parece ser o próximo passo lógico.
