A inteligência de máquina está aí, e está sendo usada para a tomada de decisões subjetivas. Mas a forma complexa como a inteligência artific...
A inteligência de máquina está aí, e está sendo usada para a tomada de decisões subjetivas. Mas a forma complexa como a inteligência artificial (IA) se desenvolve e se aperfeiçoa, torna difícil entendê-la e mais difícil ainda controlá-la. Nesta palestra de alerta, a tecno-socióloga Zeynep Tufekci explica como as máquinas inteligentes podem falhar de maneiras que não se encaixam nos padrões dos erros humanos — e de maneiras que não esperamos e para as quais não estamos preparados.
Meu primeiro emprego na vida foi como programadora de computador já no primeiro ano de faculdade, praticamente uma adolescente.
Logo que comecei a trabalhar, escrevendo software numa empresa, um gerente que trabalhava lá se aproximou de mim e começou a sussurrar: "Ele consegue dizer se estou mentindo?" Não havia mais ninguém na sala. (Risos)
O gerente apontou para o computador na sala. "Ele consegue dizer se estou mentindo?" Bem, aquele gerente estava tendo um caso com a recepcionista.
(Risos)
E eu ainda era uma adolescente. Assim, gritei sussurrando de volta:
(Risos)
Eu ri, mas, na verdade, estava rindo de mim mesma. Atualmente, há sistemas computacionais que conseguem perceber estados emocionais e até mentiras ao processar rostos humanos. Anunciantes e até governos estão muito interessados nisso.
Tornei-me programadora de computador, pois era uma dessas crianças loucas por matemática e ciências. Mas, a uma certa altura, descobri as armas nucleares e passei a me preocupar com a ética da ciência. Aquilo me perturbou. No entanto, devido a circunstâncias familiares, eu também precisava começar a trabalhar o mais rápido possível. Assim, pensei comigo mesma:
Então escolhi os computadores.
(Risos)
Bem, ha, ha, ha! Eu virei a piada. Hoje, os cientistas da computação constroem plataformas que controlam o que um bilhão de pessoas veem todos os dias. Eles estão desenvolvendo carros que poderiam decidir quem atropelar.
(Risos)
Estão construindo até mesmo máquinas e armas que podem matar seres humanos na guerra. É ética o tempo todo.
A inteligência de máquina chegou. Hoje em dia usamos a computação para tomar todo tipo de decisão, mas também novos tipos de decisão. Perguntamos aos computadores coisas que não têm apenas uma resposta correta, que são subjetivas, abertas e que envolvem julgamento de valor.
Perguntamos coisas do tipo: "Quem a empresa deve contratar?" "Que atualização de qual amigo deve ser mostrada?" "Qual condenado tem mais chance de reincidir num crime?" "Quais notícias ou filmes devem ser recomendados às pessoas?"
Sim, temos usado os computadores já faz um bom tempo, mas isso é diferente. Essa é uma virada histórica, pois não podemos confiar na computação para essas decisões subjetivas da mesma forma que podemos confiar na computação para pilotar aviões, construir pontes, ir à Lua. Os aviões estão mais seguros? A ponte balançou e caiu? Nesses casos, concordamos de forma bem clara com os parâmetros, e temos as leis da natureza como baliza. Nós não temos tais âncoras ou marcos para a tomada de decisões em negócios humanos confusos.
Recentemente, na década passada, algoritmos complexos deram passos enormes. Eles conseguem reconhecer rostos humanos. Eles conseguem decifrar caligrafia. Eles conseguem detectar fraude de cartão de crédito, bloquear spam, conseguem traduzir línguas e detectar tumores em exames de imagem. Conseguem vencer humanos em jogos de xadrez e Go.
Muito desse progresso vem de um método chamado "aprendizado de máquina". O aprendizado de máquina é diferente da programação tradicional em que instruções detalhadas, exatas e meticulosas são dadas ao computador. É mais como pegar um sistema e alimentá-lo com montes de dados, incluindo dados não estruturados, como os que geramos em nossas vidas digitais. E o sistema aprende revirando esses dados. Além disso, fundamentalmente, esses sistemas não operam sob a lógica de uma resposta única. Eles não produzem uma resposta simples; é mais probabilidade: "É provável que isto aqui seja o que você está procurando".
Bem, a vantagem é que esse método é realmente poderoso. O responsável pela IA do Google o chamou de "a eficácia irracional dos dados". O lado negativo é não sabermos realmente o que o sistema aprendeu. Na realidade, é aí que está seu poder. Isso tem pouco a ver com dar instruções a um computador; é mais como adestrar uma máquina-filhote que não controlamos ou conhecemos de verdade.
(Risos)
Então, este é o nosso problema. É um problema quando esse sistema de inteligência artificial entende as coisas errado. Também é um problema quando ele entende certo, pois não sabemos distinguir os dois quando se trata de um problema subjetivo. Não sabemos o que esta coisa está pensando.
Por exemplo, vamos imaginar um algoritmo de contratação, um sistema usado para contratar pessoas, usando o aprendizado de máquina. Tal sistema teria sido treinado em dados prévios dos empregados e treinado para encontrar e contratar pessoas como os atuais empregados com alto desempenho na empresa. Parece uma coisa boa. Uma vez, fui a um seminário que reuniu gerentes e executivos da área de recursos humanos, pessoas de alto nível, usando tais sistemas para contratar. Eles estavam muito empolgados. Achavam que isso tornaria a contratação mais objetiva, menos parcial, e daria a mulheres e minorias uma melhor oportunidade versus gerentes humanos tendenciosos.
Pois vejam: a contratação humana é tendenciosa. Sei bem disso.
Quero dizer, num dos meus primeiros empregos como programadora, minha gerente imediata às vezes vinha ao meu setor bem cedinho pela manhã ou bem no final da tarde, e me chamava: "Zeynep, vamos almoçar!" Eu ficava atônita com o horário estranho. Eram quatro da tarde. Almoço? Eu não tinha grana, então, almoço grátis, eu sempre ia. Só mais tarde percebi o que estava acontecendo. Meus gerentes imediatos não tinham confessado a seus superiores que a programadora que tinham contratado para um emprego sério era uma adolescente que vinha trabalhar de jeans e tênis.
Assim, contratar independente da raça e do gênero certamente me parece uma coisa boa. Mas, com esses sistemas, é mais complicado, e eis a razão: hoje, sistemas de computador podem inferir todo tipo de coisas sobre nós por meio de nossas pegadas digitais, mesmo coisas que não tivermos revelado. Eles podem inferir nossa orientação sexual, os traços de nossa personalidade, nossas tendências políticas.
Tenho uma amiga que desenvolveu um sistema de computador para predizer a probabilidade de depressão clínica pós-parto com base em dados de mídia social. Os resultados são impressionantes. O sistema dela prevê a probabilidade de depressão meses antes do surgimento de quaisquer sintomas, meses antes. Mesmo sem sintomas, ele prevê. Ela espera que isso seja usado para intervenção precoce. Ótimo! Mas coloque isso no contexto da contratação.
Então, nesse seminário de gerentes de recursos humanos, eu me aproximei de uma gerente com alto cargo numa grande empresa, e perguntei a ela:
Elas não estão deprimidas agora, mas, no futuro, bem provavelmente. E se estiver cortando mulheres com maior probabilidade de engravidar dentro de um ou dois anos, mas que não estejam grávidas agora? E se contratar pessoas agressivas por causa da cultura da empresa? Não se pode saber isso com análises de gênero. Isso pode estar equacionado. E, como isso é aprendizado de máquina, não é codificação tradicional, não há uma variável chamada 'alto risco de depressão', 'maior risco de gravidez', 'pessoa altamente agressiva'. Não só você não sabe o que seu sistema está selecionando, como também não sabe onde começar a olhar. É uma caixa-preta. Ele tem poder preditivo, mas você não o entende.
"Que salvaguardas", perguntei, "você teria para se assegurar de que sua caixa-preta não está fazendo algo suspeito?"
(Risos)
Ela olhou bem pra mim e falou: "Eu não quero ouvir nem mais uma palavra sobre isso". E virou as costas e foi embora. Vejam bem, ela não foi rude. Era claramente:
(Risos)
Vejam, tal sistema pode até ser menos tendencioso do que gerentes humanos de alguma forma. E poderia fazer sentido financeiramente. Mas também poderia levar a um constante mas sorrateiro fechamento do mercado de trabalho para pessoas com alto risco de depressão. É esse tipo de sociedade que queremos construir, sem nem sequer saber que fizemos isso, por termos dado às máquinas um poder de decisão que não entendemos totalmente?
Outro problema é o seguinte: esses sistemas normalmente são treinados com dados gerados pelas nossas ações, vestígios humanos. Bem, eles poderiam estar apenas refletindo nossas tendências, e esses sistemas poderiam estar pegando nossas tendências, amplificando-as e devolvendo-as para nós, enquanto dizemos a nós mesmos: "Estamos fazendo apenas computação objetiva e neutra".
Pesquisadores descobriram que, no Google, são mostrados menos anúncios de empregos bem pagos às mulheres do que aos homens. E, numa pesquisa de nomes afro-americanos, é provável que nos sejam mostrados anúncios sugerindo história criminal, mesmo quando não há nenhuma. Tais tendências escondidas e algoritmos caixas-pretas, que os pesquisadores às vezes revelam, mas às vezes desconhecemos, podem afetar a vida das pessoas.
Em Wisconsin, um réu foi sentenciado a seis anos de prisão por fugir da polícia. Talvez não saibam disso, mas os algoritmos estão sendo cada vez mais usados em decisões judiciais.
A empresa se recusou a ter seu algoritmo exposto no tribunal. Mas a ProPublica, uma organização investigativa sem fins lucrativos, auditou esse algoritmo com os dados públicos que conseguiu encontrar e descobriu que os resultados eram tendenciosos, e seu poder preditivo era deplorável, apenas um pouco melhor do que o acaso, e estava rotulando erroneamente réus negros como futuros criminosos duas vezes mais do que os réus brancos.
Vejam por exemplo este caso: esta mulher se atrasou para buscar sua parente numa escola no Condado de Broward, na Flórida. Correndo pela rua com uma amiga, elas viram uma bicicleta sem cadeado e uma lambreta numa varanda e, impensadamente, pularam nela. Quando estavam indo embora, uma mulher saiu e falou: "Ei! Esta é a bicicleta do meu filho!" Elas largaram a bicicleta, fugiram, mas foram presas.
Ela errou, foi infantil, mas tinha apenas 18 anos. Ela tinha algumas contravenções juvenis. Enquanto isso, aquele homem tinha sido preso por furtar na Home Depot bens no valor de US$ 85, um crime pequeno similar. Mas ele tinha duas condenações prévias por roubo à mão armada. No entanto, o algoritmo a classificou como sendo de alto risco, e ele não. Dois anos depois, a ProPublica descobriu que ela não tinha reincidido em crime. E foi muito difícil conseguir um emprego com esse histórico. Ele, por outro lado, reincidiu no crime e agora está cumprindo oito anos de prisão por um crime posterior. Claramente, precisamos auditar nossas caixas-pretas e não deixá-las ter esse tipo de poder sem controle.
(Aplausos)
Auditorias são ótimas e importantes, mas não resolvem todos os problemas. Peguem o poderoso algoritmo do Facebook. Sabe aquele que escolhe o que nos mostrar entre todos os amigos e páginas que seguimos? Será que deveriam lhe mostrar uma outra foto de bebê?
(Risos)
Um comentário estranho de um conhecido? Uma notícia importante, mas difícil? Não existe resposta certa. O Facebook o aperfeiçoa pelo uso do site: curtidas, compartilhamentos, comentários.
Em agosto de 2014, houve uma onda de protestos em Ferguson, no Missouri, depois do assassinato de um adolescente afro-americano por um policial branco, sob circunstâncias nebulosas.
Seriam meus amigos no Facebook? Eu desabilitei o algoritmo do Facebook, o que é difícil, pois o Facebook espera que nós fiquemos sob o controle do algoritmo, e vi que meus amigos estavam falando sobre o assunto. Mas o algoritmo simplesmente não mostrava. Fui pesquisar e descobri que era um problema geral.
Não era fácil nem mesmo comentar sobre o assunto. Sem curtidas e comentários, era provável que o algoritmo mostrasse isso para cada vez menos pessoas, assim, não pudemos ver isto. Em seu lugar, naquela semana, o algoritmo do Facebook priorizou isto: o desafio do balde da ELA, esclerose lateral amiotrófica. Causa importante: jogar água gelada, doar para caridade, tudo bem. Mas era supercompatível com o algoritmo. A máquina tomou essa decisão por nós. Uma conversa muito importante, mas muito difícil, teria sido atenuada, caso o Facebook fosse o único canal.
Finalmente, esses sistemas também podem errar de maneiras diferentes dos sistemas humanos. Lembram-se do Watson, o sistema de inteligência de máquina da IBM que sempre ganhava, competindo com seres humanos num show de TV? Ele era um ótimo jogador. Mas então, na final, foi feita a seguinte pergunta a Watson: "Seu maior aeroporto possui o nome de um herói da Segunda Guerra, a maior grande batalha da Segunda Guerra".
(Cantarola música do show)
"Chicago." Os dois seres humanos acertaram. Watson, por sua vez, respondeu "Toronto" na categoria "cidade dos EUA"!
Nossa inteligência artifical pode falhar de formas que não se encaixam nos padrões de erros humanos, de formas que não esperamos e para as quais não estamos preparados. Seria péssimo não conseguir um emprego para o qual se está qualificado, mas seria triplamente péssimo se fosse por causa de um "stack overflow" em alguma sub-rotina.
(Risos)
Em maio de 2010, uma baixa repentina em Wall Street, alimentada pelo sistema de autoajuste do algoritmo de "venda", varreu US$ 1 trilhão em 36 minutos.
Então, sim, os seres humanos sempre foram tendenciosos. Tomadores de decisão e controladores, em tribunais, na mídia, na guerra... eles cometem erros; mas esse é exatamente meu ponto. Não podemos fugir dessas questões difíceis. Não podemos terceirizar nossas responsabilidades para as máquinas.
(Aplausos)
O cientista de dados Fred Benenson chama isso de "mathwashing". Precisamos fazer o contrário. Precisamos cultivar o escrutínio, a suspeita e investigação dos algoritmos. Precisamos nos assegurar de que temos responsabilidade algorítmica, auditoria e transparência relevante. Precisamos aceitar que trazer a matemática e a computação para negócios humanos confusos, envolvendo julgamento de valor, não traz objetividade; mas que, ao contrário, a complexidade dos negócios humanos invade os algoritmos. Sim, podemos e devemos usar a computação para nos ajudar a tomar decisões melhores. Mas temos de reconhecer nossa responsabilidade moral para julgar, e usar os algoritmos dentro desse espectro, não como uma forma de abdicar de nossas responsabilidades ou terceirizá-las, como se fosse de um ser humano para outro.
A inteligência artificial está aí. Isso significa que vamos ter de nos agarrar firmemente aos valores e à ética humanos.
Obrigada.
(Aplausos)
(Vivas)
Fonte: TED
[Visto no Brasil Acadêmico]
Meu primeiro emprego na vida foi como programadora de computador já no primeiro ano de faculdade, praticamente uma adolescente.
Logo que comecei a trabalhar, escrevendo software numa empresa, um gerente que trabalhava lá se aproximou de mim e começou a sussurrar: "Ele consegue dizer se estou mentindo?" Não havia mais ninguém na sala. (Risos)
“Quem consegue dizer se você está mentindo? E por que estamos sussurrando?”
O gerente apontou para o computador na sala. "Ele consegue dizer se estou mentindo?" Bem, aquele gerente estava tendo um caso com a recepcionista.
(Risos)
E eu ainda era uma adolescente. Assim, gritei sussurrando de volta:
“Sim, o computador sabe se você está mentindo”.
(Risos)
Eu ri, mas, na verdade, estava rindo de mim mesma. Atualmente, há sistemas computacionais que conseguem perceber estados emocionais e até mentiras ao processar rostos humanos. Anunciantes e até governos estão muito interessados nisso.
Tornei-me programadora de computador, pois era uma dessas crianças loucas por matemática e ciências. Mas, a uma certa altura, descobri as armas nucleares e passei a me preocupar com a ética da ciência. Aquilo me perturbou. No entanto, devido a circunstâncias familiares, eu também precisava começar a trabalhar o mais rápido possível. Assim, pensei comigo mesma:
“Ei, vou escolher a área técnica, onde posso conseguir um emprego facilmente e não tenho de lidar com quaisquer questões éticas perturbadoras”.
Então escolhi os computadores.
(Risos)
Bem, ha, ha, ha! Eu virei a piada. Hoje, os cientistas da computação constroem plataformas que controlam o que um bilhão de pessoas veem todos os dias. Eles estão desenvolvendo carros que poderiam decidir quem atropelar.
(Risos)
Estão construindo até mesmo máquinas e armas que podem matar seres humanos na guerra. É ética o tempo todo.
A inteligência de máquina chegou. Hoje em dia usamos a computação para tomar todo tipo de decisão, mas também novos tipos de decisão. Perguntamos aos computadores coisas que não têm apenas uma resposta correta, que são subjetivas, abertas e que envolvem julgamento de valor.
Perguntamos coisas do tipo: "Quem a empresa deve contratar?" "Que atualização de qual amigo deve ser mostrada?" "Qual condenado tem mais chance de reincidir num crime?" "Quais notícias ou filmes devem ser recomendados às pessoas?"
Sim, temos usado os computadores já faz um bom tempo, mas isso é diferente. Essa é uma virada histórica, pois não podemos confiar na computação para essas decisões subjetivas da mesma forma que podemos confiar na computação para pilotar aviões, construir pontes, ir à Lua. Os aviões estão mais seguros? A ponte balançou e caiu? Nesses casos, concordamos de forma bem clara com os parâmetros, e temos as leis da natureza como baliza. Nós não temos tais âncoras ou marcos para a tomada de decisões em negócios humanos confusos.
Para complicar ainda mais as coisas, nosso software está ficando mais poderoso, mas também menos transparente e mais complexo.
Recentemente, na década passada, algoritmos complexos deram passos enormes. Eles conseguem reconhecer rostos humanos. Eles conseguem decifrar caligrafia. Eles conseguem detectar fraude de cartão de crédito, bloquear spam, conseguem traduzir línguas e detectar tumores em exames de imagem. Conseguem vencer humanos em jogos de xadrez e Go.
Muito desse progresso vem de um método chamado "aprendizado de máquina". O aprendizado de máquina é diferente da programação tradicional em que instruções detalhadas, exatas e meticulosas são dadas ao computador. É mais como pegar um sistema e alimentá-lo com montes de dados, incluindo dados não estruturados, como os que geramos em nossas vidas digitais. E o sistema aprende revirando esses dados. Além disso, fundamentalmente, esses sistemas não operam sob a lógica de uma resposta única. Eles não produzem uma resposta simples; é mais probabilidade: "É provável que isto aqui seja o que você está procurando".
Bem, a vantagem é que esse método é realmente poderoso. O responsável pela IA do Google o chamou de "a eficácia irracional dos dados". O lado negativo é não sabermos realmente o que o sistema aprendeu. Na realidade, é aí que está seu poder. Isso tem pouco a ver com dar instruções a um computador; é mais como adestrar uma máquina-filhote que não controlamos ou conhecemos de verdade.
(Risos)
Então, este é o nosso problema. É um problema quando esse sistema de inteligência artificial entende as coisas errado. Também é um problema quando ele entende certo, pois não sabemos distinguir os dois quando se trata de um problema subjetivo. Não sabemos o que esta coisa está pensando.
Por exemplo, vamos imaginar um algoritmo de contratação, um sistema usado para contratar pessoas, usando o aprendizado de máquina. Tal sistema teria sido treinado em dados prévios dos empregados e treinado para encontrar e contratar pessoas como os atuais empregados com alto desempenho na empresa. Parece uma coisa boa. Uma vez, fui a um seminário que reuniu gerentes e executivos da área de recursos humanos, pessoas de alto nível, usando tais sistemas para contratar. Eles estavam muito empolgados. Achavam que isso tornaria a contratação mais objetiva, menos parcial, e daria a mulheres e minorias uma melhor oportunidade versus gerentes humanos tendenciosos.
Pois vejam: a contratação humana é tendenciosa. Sei bem disso.
Quero dizer, num dos meus primeiros empregos como programadora, minha gerente imediata às vezes vinha ao meu setor bem cedinho pela manhã ou bem no final da tarde, e me chamava: "Zeynep, vamos almoçar!" Eu ficava atônita com o horário estranho. Eram quatro da tarde. Almoço? Eu não tinha grana, então, almoço grátis, eu sempre ia. Só mais tarde percebi o que estava acontecendo. Meus gerentes imediatos não tinham confessado a seus superiores que a programadora que tinham contratado para um emprego sério era uma adolescente que vinha trabalhar de jeans e tênis.
Eu trabalhava direito, só parecia errada, e tinha a idade e o gênero errados.
Assim, contratar independente da raça e do gênero certamente me parece uma coisa boa. Mas, com esses sistemas, é mais complicado, e eis a razão: hoje, sistemas de computador podem inferir todo tipo de coisas sobre nós por meio de nossas pegadas digitais, mesmo coisas que não tivermos revelado. Eles podem inferir nossa orientação sexual, os traços de nossa personalidade, nossas tendências políticas.
Eles têm poder preditivo com altos níveis de precisão. Vejam bem, para coisas que não revelamos: isso é inferência.
Tenho uma amiga que desenvolveu um sistema de computador para predizer a probabilidade de depressão clínica pós-parto com base em dados de mídia social. Os resultados são impressionantes. O sistema dela prevê a probabilidade de depressão meses antes do surgimento de quaisquer sintomas, meses antes. Mesmo sem sintomas, ele prevê. Ela espera que isso seja usado para intervenção precoce. Ótimo! Mas coloque isso no contexto da contratação.
Então, nesse seminário de gerentes de recursos humanos, eu me aproximei de uma gerente com alto cargo numa grande empresa, e perguntei a ela:
“Olhe, e se, sem seu conhecimento, seu sistema estiver cortando pessoas com probabilidade de depressão futura?”
Elas não estão deprimidas agora, mas, no futuro, bem provavelmente. E se estiver cortando mulheres com maior probabilidade de engravidar dentro de um ou dois anos, mas que não estejam grávidas agora? E se contratar pessoas agressivas por causa da cultura da empresa? Não se pode saber isso com análises de gênero. Isso pode estar equacionado. E, como isso é aprendizado de máquina, não é codificação tradicional, não há uma variável chamada 'alto risco de depressão', 'maior risco de gravidez', 'pessoa altamente agressiva'. Não só você não sabe o que seu sistema está selecionando, como também não sabe onde começar a olhar. É uma caixa-preta. Ele tem poder preditivo, mas você não o entende.
"Que salvaguardas", perguntei, "você teria para se assegurar de que sua caixa-preta não está fazendo algo suspeito?"
Ela olhou para mim como se eu tivesse pisado no rabo de dez cachorrinhos.
(Risos)
Ela olhou bem pra mim e falou: "Eu não quero ouvir nem mais uma palavra sobre isso". E virou as costas e foi embora. Vejam bem, ela não foi rude. Era claramente:
"O que eu não sei não é problema meu, vai embora, agourenta".
(Risos)
Vejam, tal sistema pode até ser menos tendencioso do que gerentes humanos de alguma forma. E poderia fazer sentido financeiramente. Mas também poderia levar a um constante mas sorrateiro fechamento do mercado de trabalho para pessoas com alto risco de depressão. É esse tipo de sociedade que queremos construir, sem nem sequer saber que fizemos isso, por termos dado às máquinas um poder de decisão que não entendemos totalmente?
Outro problema é o seguinte: esses sistemas normalmente são treinados com dados gerados pelas nossas ações, vestígios humanos. Bem, eles poderiam estar apenas refletindo nossas tendências, e esses sistemas poderiam estar pegando nossas tendências, amplificando-as e devolvendo-as para nós, enquanto dizemos a nós mesmos: "Estamos fazendo apenas computação objetiva e neutra".
Pesquisadores descobriram que, no Google, são mostrados menos anúncios de empregos bem pagos às mulheres do que aos homens. E, numa pesquisa de nomes afro-americanos, é provável que nos sejam mostrados anúncios sugerindo história criminal, mesmo quando não há nenhuma. Tais tendências escondidas e algoritmos caixas-pretas, que os pesquisadores às vezes revelam, mas às vezes desconhecemos, podem afetar a vida das pessoas.
Em Wisconsin, um réu foi sentenciado a seis anos de prisão por fugir da polícia. Talvez não saibam disso, mas os algoritmos estão sendo cada vez mais usados em decisões judiciais.
E o réu quis saber: como esse número foi calculado? É uma caixa-preta comercial.
A empresa se recusou a ter seu algoritmo exposto no tribunal. Mas a ProPublica, uma organização investigativa sem fins lucrativos, auditou esse algoritmo com os dados públicos que conseguiu encontrar e descobriu que os resultados eram tendenciosos, e seu poder preditivo era deplorável, apenas um pouco melhor do que o acaso, e estava rotulando erroneamente réus negros como futuros criminosos duas vezes mais do que os réus brancos.
Vejam por exemplo este caso: esta mulher se atrasou para buscar sua parente numa escola no Condado de Broward, na Flórida. Correndo pela rua com uma amiga, elas viram uma bicicleta sem cadeado e uma lambreta numa varanda e, impensadamente, pularam nela. Quando estavam indo embora, uma mulher saiu e falou: "Ei! Esta é a bicicleta do meu filho!" Elas largaram a bicicleta, fugiram, mas foram presas.
Ela errou, foi infantil, mas tinha apenas 18 anos. Ela tinha algumas contravenções juvenis. Enquanto isso, aquele homem tinha sido preso por furtar na Home Depot bens no valor de US$ 85, um crime pequeno similar. Mas ele tinha duas condenações prévias por roubo à mão armada. No entanto, o algoritmo a classificou como sendo de alto risco, e ele não. Dois anos depois, a ProPublica descobriu que ela não tinha reincidido em crime. E foi muito difícil conseguir um emprego com esse histórico. Ele, por outro lado, reincidiu no crime e agora está cumprindo oito anos de prisão por um crime posterior. Claramente, precisamos auditar nossas caixas-pretas e não deixá-las ter esse tipo de poder sem controle.
(Aplausos)
Auditorias são ótimas e importantes, mas não resolvem todos os problemas. Peguem o poderoso algoritmo do Facebook. Sabe aquele que escolhe o que nos mostrar entre todos os amigos e páginas que seguimos? Será que deveriam lhe mostrar uma outra foto de bebê?
(Risos)
Um comentário estranho de um conhecido? Uma notícia importante, mas difícil? Não existe resposta certa. O Facebook o aperfeiçoa pelo uso do site: curtidas, compartilhamentos, comentários.
Em agosto de 2014, houve uma onda de protestos em Ferguson, no Missouri, depois do assassinato de um adolescente afro-americano por um policial branco, sob circunstâncias nebulosas.
Notícias sobre os protestos estavam por toda parte no "feed" do meu Twitter sem algoritmo de filtragem, mas em nenhum lugar no meu Facebook.
Seriam meus amigos no Facebook? Eu desabilitei o algoritmo do Facebook, o que é difícil, pois o Facebook espera que nós fiquemos sob o controle do algoritmo, e vi que meus amigos estavam falando sobre o assunto. Mas o algoritmo simplesmente não mostrava. Fui pesquisar e descobri que era um problema geral.
A história de Ferguson não era compatível com o algoritmo. Não era "curtível"; quem ia "curtir" aquilo?
Não era fácil nem mesmo comentar sobre o assunto. Sem curtidas e comentários, era provável que o algoritmo mostrasse isso para cada vez menos pessoas, assim, não pudemos ver isto. Em seu lugar, naquela semana, o algoritmo do Facebook priorizou isto: o desafio do balde da ELA, esclerose lateral amiotrófica. Causa importante: jogar água gelada, doar para caridade, tudo bem. Mas era supercompatível com o algoritmo. A máquina tomou essa decisão por nós. Uma conversa muito importante, mas muito difícil, teria sido atenuada, caso o Facebook fosse o único canal.
Finalmente, esses sistemas também podem errar de maneiras diferentes dos sistemas humanos. Lembram-se do Watson, o sistema de inteligência de máquina da IBM que sempre ganhava, competindo com seres humanos num show de TV? Ele era um ótimo jogador. Mas então, na final, foi feita a seguinte pergunta a Watson: "Seu maior aeroporto possui o nome de um herói da Segunda Guerra, a maior grande batalha da Segunda Guerra".
(Cantarola música do show)
"Chicago." Os dois seres humanos acertaram. Watson, por sua vez, respondeu "Toronto" na categoria "cidade dos EUA"!
O incrível sistema também cometeu um erro que um humano jamais faria, uma criança não cometeria.
Nossa inteligência artifical pode falhar de formas que não se encaixam nos padrões de erros humanos, de formas que não esperamos e para as quais não estamos preparados. Seria péssimo não conseguir um emprego para o qual se está qualificado, mas seria triplamente péssimo se fosse por causa de um "stack overflow" em alguma sub-rotina.
(Risos)
Em maio de 2010, uma baixa repentina em Wall Street, alimentada pelo sistema de autoajuste do algoritmo de "venda", varreu US$ 1 trilhão em 36 minutos.
Não quero nem pensar no que significaria "erro" no contexto de armas letais autônomas.
Então, sim, os seres humanos sempre foram tendenciosos. Tomadores de decisão e controladores, em tribunais, na mídia, na guerra... eles cometem erros; mas esse é exatamente meu ponto. Não podemos fugir dessas questões difíceis. Não podemos terceirizar nossas responsabilidades para as máquinas.
(Aplausos)
A inteligência artificial não nos dá um passe para a "zona livre de ética".
O cientista de dados Fred Benenson chama isso de "mathwashing". Precisamos fazer o contrário. Precisamos cultivar o escrutínio, a suspeita e investigação dos algoritmos. Precisamos nos assegurar de que temos responsabilidade algorítmica, auditoria e transparência relevante. Precisamos aceitar que trazer a matemática e a computação para negócios humanos confusos, envolvendo julgamento de valor, não traz objetividade; mas que, ao contrário, a complexidade dos negócios humanos invade os algoritmos. Sim, podemos e devemos usar a computação para nos ajudar a tomar decisões melhores. Mas temos de reconhecer nossa responsabilidade moral para julgar, e usar os algoritmos dentro desse espectro, não como uma forma de abdicar de nossas responsabilidades ou terceirizá-las, como se fosse de um ser humano para outro.
A inteligência artificial está aí. Isso significa que vamos ter de nos agarrar firmemente aos valores e à ética humanos.
Obrigada.
(Aplausos)
(Vivas)
Fonte: TED
[Visto no Brasil Acadêmico]
Comentários