CaptionBot: Robô que descreve o conteúdo das fotos

Algoritmo que descreve o conteúdo das imagens.

Microsoft mostra como a inteligência artificial consegue entender o que vê na imagens.

Eu acho que é um homem de terno e gravata e eles parecem 'indiferente' e 'contente'.
Eu tenho 99% de certeza que seja Fidel Castro.

Quando você procura por uma imagem no Google Image usando palavras como critério de busca o algoritmo usado pelo Google leva em conta o texto descritivo próximo à imagem (uma legenda, por exemplo) ou mesmo as cláusulas de descrição dentro da marcação em linguagem HTML para mostrar resultados da busca efetuada.

"Eu acho que é um homem segurando um aviso e eles parecem 'sorridente' 'sorridente'."

E se não houver nem uma coisa nem outra? Uma imagem do Bill Gates em uma página onde não há menção ao nome do fundador da Microsoft em nenhuma parte. Normalmente os mecanismos de busca ficariam cegos ao conteúdo da imagem simplesmente por não interpretarem de fato o que a imagem representa. Mas isso vem se modificando e podemos imaginar como isso irá funcionar, muito embora o real funcionamento de um algoritmo de busca e seus critérios sejam tratados como segredo industrial, vendo o CaptionBot em ação.

"Eu não estou muito confiante mas eu acho que é um grupo de pessoas em pé ao redor uma das outras
e eles parecem 'indiferente' 'contente'."

O CaptionBot é um serviço web que a MS utiliza para demonstrar como a IA consegue reconhecer o conteúdo de uma imagem. Sua visão computacional combina vários algoritmos como o que distingue elementos (o que faz com que a imagem deixe de ser apenas um monte de pontos coloridos e passe a ser entendida como um conjunto de objetos), o que detecta faces e o que identifica emoções.

"Eu acho que é um homem segurando uma pizza em  um restaurante."

Como ocorre com a inteligência humana, não há mágica. O CaptionBot certamente aprende com seus erros e sempre que alguém dá uma nota para seu desempenho ajuda a melhorar os resultados. Isso pode não ser um método infalível. Como ocorreu com o Tay. Um bot do twitter desenvolvido pela própria Microsoft que aprendia interagindo com jovens entre 18 e 24 anos e acabou se tornando um nazista, racista e intolerante em apenas 24 horas.

"Eu acho que é um grupo de pessoas posando para uma foto e eles parecem
'sorridente' 'sorridente' 'sorridente' 'sorridente' 'sorridente' 'sorridente' "

Mas com o CaptionBot o resultado deve ser apenas divertido. É mesmo interessante subir imagens ou colocar endereços de figuras na web e ver como ele as interpreta. Até mesmo quando ele comete equívocos monumentais continua sendo engraçado e curioso.

"Eu acho que é um homem de terno de negócios de pé em frente a um edifício e eles
parecem 'indiferente' 'indiferente'. Eu estou 99% certo de que é Nicolas Sarkozy."

Seria uma ótima opção para indexar bancos de imagens.

Para experimentá-lo acesse aqui.

Fonte: CaptionBot
[Visto no Brasil Acadêmico]