Mark teve sua conta bloqueada e foi investigado pela polícia por um erro do algoritmo inteligente. E o próximo pode ser você. P arece uma m...
Mark teve sua conta bloqueada e foi investigado pela polícia por um erro do algoritmo inteligente. E o próximo pode ser você.
Parece uma mix de Kafka com Black Mirror. Em fevereiro de 2021, um pai de família de São Francisco, Califórnia, identificado apenas como Mark, enviou fotos das partes íntimas de seu filho ao pediatra e, desde então, sua “vida foi arruinada”, conforme relatou ao The New York Times. De acordo com o jornal, as fotos foram sinalizadas pela inteligência artificial (IA) como potencial material de abuso sexual infantil, levando a uma investigação policial. Mark, um engenheiro de software, foi notificado dois dias depois que sua conta de celular fora bloqueada.
Tudo começou quando os pais do garoto ficaram alarmados com uma alergia na pele dele. Consequentemente, a esposa de Mark consultou por telefone uma enfermeira de seu médico, que prontamente agendou uma videoconferência de emergência para a manhã seguinte.
Fonte: Revista Crescer, CanalTech, The New York Post
Visto no Brasil Acadêmico
O filho de Mark estava com a genitália inchada e, como os hospitais estavam admitindo apenas casos relacionados à Covid-19, a enfermeira pediu à mãe da criança que enviasse a imagem pelo celular.
A esposa de Mark usou o telefone do marido, cujo sistema operacional é executado pelo Android, de propriedade do Google, e tirou fotos das áreas afetadas do bebê.
Só que ao fazer isso a foto foi automaticamente para a nuvem. As imagens foram sinalizadas como potencial material de abuso sexual infantil por uma IA, o que acabou mobilizando uma investigação policial.
Ela também enviou as fotos para seu iPhone para que ela pudesse carregá-las diretamente no portal da companhia de seguros de saúde.
No dia seguinte, o médico estudou as fotos e receitou os antibióticos necessários, que resolveram a condição da criança, informou o NYT.
Dois dias depois que as fotos foram tiradas, o Google informou a Mark que sua conta foi desativada devido a “conteúdo nocivo” que constituía uma “violação grave das políticas do Google e poderia ser ilegal”.
A empresa até enviou a Mark um link “saiba mais” para uma página que listava vários motivos possíveis para a conta ficar obscura, incluindo “abuso e exploração sexual infantil”.
“Oh, Deus, o Google provavelmente pensa que é pornografia infantil”
Mark.
Ele rapidamente percebeu que estavam interpretando erroneamente a foto como pornografia infantil, mas falhou miseravelmente ao supor que poderia resolver a situação conversando com funcionários humanos.
Mark tentou apelar, mas a empresa negou sua alegação, bloqueando seu provedor de serviços de internet móvel.
Seu Gmail e Google Calendar ficaram inacessíveis – um grande obstáculo, considerando que ele passou a contar com eles para organizar seus contatos pessoais e profissionais que acumulou ao longo de mais de uma década. Vídeos e fotos que ele salvou no Google Cloud de seu smartphone Android também desapareceram.
Mark foi até forçado a obter um novo número de telefone e trocar de operadora de celular, já que ele tinha uma conta no Google Fi, que também foi desativada.
Meses depois, em dezembro de 2021, ele recebeu uma notificação de que tinha sido investigado pelo Departamento de Polícia de São Francisco. E isso também foi uma consequência da situação pois o aviso só veio em um envelope, pelo correio, após tanto tempo, porque ele havia perdido o acesso ao seu número de telefone.
“Eu sabia que essas empresas estavam observando e que a privacidade não é o que esperávamos. Mas eu não fiz nada de errado.”
Mark.
Apesar do investigador afirmar que o caso fora analisado e não foi encontrada nenhuma ocorrência de crime, ainda assim, ela continuou negando os pedidos para restaurar sua conta digital. Ele foi ainda informado de que a conta seria excluída permanentemente.
Mark até cogitou processar a empresa, mas desistiu porque o custo era muito alto.
E esse não foi um caso inédito. Segundo o jornal Daily Mail, outro pai, identificado apenas como Cássio, que vive no Texas, também experimentou algo semelhante. Como Mark, Cássio também teria tirado fotos dos filhos para enviar ao médico, quando teve suas contas digitais bloqueadas. E ele estava em meio ao processo de compra de um imóvel, assinando documentos online, quando a conta foi desativada. Então, precisou pedir para trocar endereços de e-mail, o que lhe causou uma baita “dor de cabeça”.
Cássio também foi investigado pela polícia em 2021, em Houston, e absolvido de qualquer irregularidade depois de mostrar as comunicações com o médico.
A ferramenta de IA é projetada para reconhecer impressões digitais exclusivas, de material de abuso sexual infantil. Além de combinar os materiais em um banco de dados, a tecnologia é capaz de classificar imagens não vistas anteriormente. A ferramenta, então, prioriza aqueles que considera mais prováveis de serem considerados prejudiciais e os sinaliza para moderadores humanos.
“Isso seria problemático se fosse apenas um caso de moderação e censura de conteúdo, mas é duplamente perigoso, pois também resulta em alguém sendo denunciado às autoridades.”
Kate Klonick, professor de direito, em entrevista para o NYT.
Nos EUA, qualquer material ilegal é relatado ao Centro Nacional para Crianças Desaparecidas e Exploradas (NCMEC), que se relaciona com a agência de aplicação da lei apropriada, e é removido da plataforma.
Jon Callas, da Electronic Frontier Foundation, que é formada por libertários civis que alertaram contra o crescente poder das grandes empresas de tecnologia, afirma que:
“Pode haver dezenas, centenas, milhares a mais desses casos.”Jon Callas. Membro da Electronic Frontier Foundation
Callas acredita que, devido à natureza sensível desses incidentes, é improvável que a maioria dos afetados se apresente.
Visto no Brasil Acadêmico
Comentários