Este desfile de moda de 30 segundos demonstra o verdadeiro poder criativo de DALL-E 2

Centenas de roupas geradas por computador piscam diante de seus olhos em 30 segundos.

  Este desfile de moda de 30 segundos demonstra o verdadeiro poder criativo de DALL-E 2

Diretor baseado em Los Angeles Paul Trillo o trabalho alucinante de me deixou absolutamente pasmo mais de uma vez. Ele criou alguns dos melhores materiais visuais eu já vi, o que ele tornou possível através da criatividade crua, um profundo conhecimento da mídia e o desenvolvimento de técnicas de produção como a primeiro equipamento bullet-time totalmente móvel .

Então ele conseguiu DALL-E 2 , e as coisas discaram até 11.

Aplicativos de IA de síntese de texto para imagem como DALL-E 2 permitir que qualquer pessoa com imaginação crie praticamente tudo o que quiser, simplesmente digitando algumas palavras orientadoras conhecidas como “prompts”. Você pode imaginar uma dramática história de amor entre John Oliver e um repolho ou virar Letras de David Bowie em arte surrealista digno de um álbum do próprio Ziggy Stardust. Mas, nas mãos de alguém tão criativo quanto Trillo, essas ferramentas de IA equivalem a deixar de usar um zootropo para ter Luz e magia industriais seguindo todos os seus caprichos usando apenas uma linha de comando.



É um momento incrivelmente emocionante e esmagador para os criadores”, Trillo me diz por e-mail. “Em certo sentido, a IA democratiza a criação de imagens para que as pessoas mais verbais possam se expressar visualmente. Também oferece às pessoas que já são visuais uma maneira de evoluir seu trabalho e seguir caminhos que talvez nunca tenham explorado.”

Um desfile de moda de IA de 30 segundos

DALL-E 2 tornou-se uma ferramenta extremamente poderosa no arsenal criativo de Trillo, que lhe permitiu criar uma impressionante série de composições em stop-motion combinando imagens de vídeo do mundo real com as criações sintéticas de DALL-E. Seu último exemplo é este lindo desfile de 30 segundos que usou IA para gerar centenas de roupas em colaboração com sua esposa, a artista Shyama Dourado , quem ajudou-o a dirigir a arte de quais roupas deveriam aparecer no vídeo final e estrelou como modelo.

Trillo me conta que o projeto surgiu a partir de seu desejo de usar a IA em uma nova forma que ele não tinha visto antes. “Comecei a criar alguns experimentos combinando vídeo de ação ao vivo com DALL-E em junho, começando com este vídeo de objetos mudando na palma da minha mão ele diz. Esse primeiro clipe foi simplesmente um experimento de IA para recriar um efeito de um curta-metragem anterior chamado Uma história truncada do infinito .

“[O experimento] funcionou muito melhor do que eu esperava”, diz Trillo. “Meu próximo impulso foi fazer uma troca de roupa, que também é uma efeito que fiz praticamente em projetos anteriores , mas eu queria experimente outras ideias antes de usá-lo com uma pessoa de corpo inteiro.” Foi aí que o poder da ferramenta se tornou tão óbvio para ele. O trabalho generativo com a IA é tão rápido que “agora podemos ter acesso a um multiverso de ideias”, diz ele.

Poder criativo esmagador e ilimitado

Para criar as roupas vistas no vídeo, ele usou variações de vários prompts de texto para guiar a IA, de “camiseta de tamanho grande de mylar roxo iridescente” a “macacão inchado roxo lavanda” a ” macacão de moda futurista retrô roxo lavanda com gola alta simulada, ombreiras de penas inchadas, moda de vanguarda, minimalismo japonês de 2040, Barbarella.”

“[Isso] abriu a porta para alguns designs bem loucos que eu nunca teria feito sozinho”, diz Trillo, que descreve o poder como “ilimitado e esmagador”.

https://www.instagram.com/p/ChInrv1DfwW/

Outro experimento em stop motion DALL-E 2 feito por Trillo, que também usou a síntese de IA de texto para voz para narrá-lo com a voz de Sir David Attenborough.

A diferença entre usar uma técnica tradicional e IA é impressionante. Como diz Trillo, você precisaria literalmente projetar e construir 100 roupas e, em seguida, fazer com que o modelo mudasse para elas a cada poucos quadros enquanto controla a câmera por movimento. Outra forma seria desenhar e construir as roupas em 3D, tendo que criar os tecidos e texturas, depois iluminar e fazer o trabalho de composição necessário sobre o vídeo. Mas DALL-E 2 pode fazer isso com um prompt de texto. Ele não apenas gera um objeto como roupas, mas também pode recriar uma fotografia e compor instantaneamente algo nessa fotografia. Este é um recurso exclusivo do DALL-E 2 que os outros programas de síntese de IA não fazem: “DALL-E analisa a estética da imagem original, a iluminação, a perspectiva, tudo e combina perfeitamente algo novo na imagem original . É incrivelmente bom para adicionar objetos em uma cena ou preencher partes apagadas, um processo conhecido como ' pintura interna ,' ” diz Trillo.

A criação de um desfile de moda de IA

Fazer o vídeo real é um processo simples e até tedioso. Primeiro, você precisa capturar o vídeo base, que é apenas uma foto de sua esposa, Shyama, em um caminho de jardim. Então você tem que extrair os quadros de vídeo e alimentá-los um por um para DALL-E, introduzindo um texto no prompt para cada um deles. “É essencialmente um stop motion gerado por IA”, diz ele.

“Depois de explorar algumas direções diferentes, aperfeiçoei um estilo específico para o guarda-roupa”, diz Trillo, levando em consideração o equilíbrio entre a variação do design visual e a consistência visual. Ele acabou usando 115 roupas, com inúmeras outras deixadas no chão da sala de edição. Esses tiveram que ser sequenciados de uma maneira que fluísse organicamente, diz ele, mas também foi inesperado. Ele finalmente usou outro programa de IA - chamado RunwayML - para rotoscópio a sequência de imagens no vídeo de origem. E então, para finalizar a sequência, ele criou os objetos flutuantes que você pode ver usando DALL-E, novamente usando stop motion e colocando-os em diferentes camadas para aumentar a profundidade.

Não tem medo da IA

Um dos perigos de DALL-E, acredita Trillo, é que é um otário de tempo. Sua “imaginação” é tão fascinante que você pode facilmente perder horas e horas no processo de exploração. Mas você pode conter essa compulsão, ele acredita, e é exatamente por isso que é apenas uma ferramenta poderosa no arsenal de um criativo.

Trillo sabe que DALL-E pode ter impactos negativos na indústria criativa, mas, insiste, “Não vai tirar nenhum emprego dos artistas de efeitos visuais.” Se alguma coisa, ele antecipa, “vai criar eficiência no trabalho que eles já estão fazendo. Isso abrirá as portas para tipos inteiramente novos de técnicas, além de permitir que projetos de baixo orçamento tenham efeitos visuais fotorrealistas”.

Veja esta postagem no Instagram

Um post compartilhado por Paul Trillo (@paultrillo)

O que faz sentido. Posso ver como as pessoas verdadeiramente criativas estarão seguras e capacitadas por essas novas ferramentas, em vez de serem ameaçadas por elas. Posso imaginar pessoas que são ótimas em usar o After Effects ou o Photoshop, mas têm criatividade limitada, perdendo empregos, da mesma forma que muitos outros empregos foram perdidos para a tecnologia que capacitou outros a fazer coisas incríveis.

Trillo faz outro ponto positivo: “Se todos puderem criar espetáculo, então o espetáculo se tornará chato”.