DreamFusion: IA geradora de imagens 3D a partir de texto do Google

Google anuncia um gerador de imagens 3D a partir de uma descrição textual por um sistema de inteligência artificial. H á vários algoritmos...

Google anuncia um gerador de imagens 3D a partir de uma descrição textual por um sistema de inteligência artificial.

Há vários algoritmos de inteligência artificial (IA) treinados para criar imagens a partir de uma descrição do usuário como o DALL-E, ImgCreator e o Stable Diffusion. O Google não podia ficar de fora dessa tendência e anunciou o DreamFusion, um gerador de texto para imagem 3D de última geração. O exemplos abaixo literalmente ilustram o poder da tecnologia desenvolvida onde a descrição usada (aqui traduzida da descrição original em inglês para o português) é colocada abaixo da imagem gerada pela Imagen.

“Ursinhos de pelúcia nadando no evento
400m Borboleta das Olimpíadas.”

O DreamFusion é uma evolução do Dream Fields, um gerador de texto para imagem 3D que a empresa já exibiu no ano passado. O que ele faz é criar imagens 3D usando conjuntos de dados 2D parciais, com um modelo de solicitação de texto para imagem pré-treinado.

“Uma caneca de morango cheia de sementes de gergelim branco.
A caneca está flutuando em um mar de chocolate escuro.”

DrawBench: Nesse novo benchmark (comparativo) os humanos preferem o Imagen a outros métodos.

Ao contrário do Dream Fields, que usava a tecnologia CLIP da OpenAI como último modelo pré-treinado, a DreamFusion agora usa a sua própria tecnologia: A Imagen, o concorrente do Google ao DALL-E 2.

A aprendizagem multimodal ganhou recentemente destaque, com a síntese texto-imagem e a aprendizagem contrastiva imagem-texto na linha da frente. Estes modelos transformaram a comunidade de pesquisa e captaram a atenção do público em geral com a geração criativa de imagens e aplicações de edição. Para prosseguir esta direção de investigação, introduzimos Imagen, um modelo de difusão texto-imagem que combina o poder dos modelos de linguagem transformadora (LMs) com modelos de difusão de alta fidelidade para proporcionar um grau de fotorrealismo sem precedentes e um nível profundo de compreensão da linguagem na síntese texto-imagem. Trecho do artigo anunciando a tecnologia.

“Três esferas de vidro caindo no oceano. A água

está espirrando. Sol está se pondo.”

O diferencial dessa tecnologia apresentada pelo Google é o alto grau de fotorrealismo das imagens tridimensionais geradas, quando comparadas com os algoritmos concorrentes, especialmente com imagens maiores com maior resolução. O que faz com que os humanos prefiram as imagens geradas a partir do Imagen.

Quanto maior melhor. Ao aumentar a resolução da imagem ela fica ainda mais fotorrealista.

Como esperado, uma tecnologia tão sofisticada poderia ser uma arma de destruição em massa da verdade e das reputações em mãos erradas, conforme já discutimos aqui quando foi mostrada a Dall-e, da OpenAI. Em uma sociedade tão imagética como a nossa, a geração de fake news com os limitados poderes do Photoshop já traz sérios problemas para as democracias. 

“Um cachorro olhando curiosamente no espelho, vendo um gato.”

O que não poderia se feito com uma forma tão facilitada de produção de imagens complexas e de alta resolução como essa? Essa pergunta é uma das razões pela qual, espera-se, não podemos experienciar livremente esse recurso, apenas apreciar as amostras liberadas (mais amostras podem ser vistas no site oficial do Imagen).

Existem vários desafios éticos enfrentados pela pesquisa de texto para imagem em geral. Oferecemos uma exploração mais detalhada desses desafios em nosso artigo e oferecemos uma versão resumida aqui. Em primeiro lugar, as aplicações a jusante de modelos de texto para imagem são variadas e podem impactar a sociedade de maneiras complexas. Os riscos potenciais de uso indevido levantam preocupações em relação ao código aberto responsável e demos. Neste momento, decidimos não liberar código ou uma demonstração pública. Em trabalhos futuros, exploraremos uma estrutura para externalização responsável que equilibre o valor da auditoria externa com os riscos de acesso aberto irrestrito.
Trecho da seção Limitações e Impacto Social da página oficial do Imagen

Saiba mais na página da Imagen (em inglês):

[Imagen ##link##]

Fonte:  Imagen (Google Research)
Visto no Brasil Acadêmico