Seu carro autônomo deveria matar você, em vez de cinco pedestres? Nesta introdução sobre os dilemas sociais dos carros autônomos, Iyad Rahwa...
Seu carro autônomo deveria matar você, em vez de cinco pedestres? Nesta introdução sobre os dilemas sociais dos carros autônomos, Iyad Rahwan explora como a tecnologia desafiará nossa moralidade e explica o seu trabalho de obtenção de dados de pessoas comuns, sobre quais compromissos éticos estamos (e quais não estamos) dispostos a aceitar.
Hoje, vou falar sobre tecnologia e sociedade. O Departamento de Transportes estimou que, no ano passado, 35 mil pessoas morreram em acidentes de trânsito, somente nos EUA. No mundo todo, 1,2 milhão de pessoas morrem por ano em acidentes de trânsito. Se houvesse uma forma de eliminar 90% desses acidentes, você a apoiaria? Claro que sim. Isso é o que a tecnologia de carro autônomo promete realizar, eliminando a principal fonte de acidentes, o erro humano.
Agora, imagine-se em um carro sem motorista, no ano de 2030, relaxando e assistindo a este vídeo vintage do TEDxCambridge.
(Risos)
De repente, o carro tem uma falha mecânica e não consegue parar. Se o carro continuar, vai atropelar um monte de gente que está atravessando a rua, mas o carro pode desviar, atingindo um transeunte, matando-o, para salvar os pedestres. O que o carro deve fazer e quem deve decidir? E se, em vez disso, o carro pudesse desviar para uma parede, batendo e matando o passageiro, que é você, para salvar os pedestres?
A forma de pensar nesse problema é importante. Podemos, por exemplo, simplesmente não pensar nisso. Podemos dizer que esse cenário não é real, bastante improvável ou simplesmente tolo. Mas acho que essa crítica não procede, porque enfoca o problema de forma muito literal. Naturalmente, nenhum acidente vai se parecer com esse; nenhum acidente tem duas ou três opções, nas quais alguém acaba morto. Em vez disso, o carro vai fazer alguns cálculos, como a probabilidade de atingir um certo grupo de pessoas, se houver um desvio numa ou noutra direção, pode-se aumentar o risco aos passageiros ou a outros motoristas, versus atropelar os pedestres. Vai ser um cálculo mais complexo, mas ainda vai envolver compromissos, e compromissos frequentemente requerem ética.
Pode-se dizer: "Bem, não vamos nos preocupar com isso. Vamos aguardar até que a tecnologia esteja totalmente desenvolvida e 100% segura". Suponha que se possa eliminar 90% desses acidentes, ou mesmo 99% nos próximos 10 anos. E se para eliminar o último 1% dos acidentes precisássemos de mais 50 anos de pesquisa? Não deveríamos adotar a tecnologia? Serão 60 milhões de pessoas mortas em acidentes de carro, se mantivermos a taxa atual. Então a questão é: esperar por uma segurança total também é uma escolha, e, também, envolve compromissos.
As pessoas nas mídias sociais aparecem com todo tipo de desculpas para não pensar sobre isso. Uma pessoa sugeriu que o carro deveria simplesmente passar entre os pedestres
(Risos)
e o transeunte. Naturalmente, se for possível, é o que o carro deve fazer. Estamos interessados nos casos em que isso não é possível. E a minha favorita foi a sugestão de um blogueiro: que houvesse um botão de ejeção no carro, que você pressiona,
(Risos)
pouco antes da batida.
(Risos)
Se admitirmos que os carros terão que tomar decisões nas ruas, como resolveremos esses compromissos e como decidiremos? Talvez uma pesquisa para avaliar a posição da sociedade, porque, em última instância, as regulamentações e as leis são um reflexo dos valores da sociedade.
Então, fizemos o seguinte. Com meus colaboradores, Jean-François Bonnefon e Azim Shariff, fizemos uma pesquisa em que apresentamos às pessoas esses tipos de cenários. Oferecemos duas opções inspiradas por dois filósofos: Jeremy Bentham e Immanuel Kant. Bentham diz que o carro deveria seguir a ética prática: fazer aquilo que minimiza os danos totais, mesmo que isso mate um transeunte e mesmo que isso mate o passageiro. Immanuel Kant diz que o carro deve seguir princípios morais, tais como: "Não matarás". Você não deve fazer nada que prejudique especificamente um ser humano e deve deixar o carro seguir seu curso, mesmo que isso prejudique mais pessoas.
O que você acha? Bentham ou Kant? Veja os resultados. A maioria concordou com Bentham. Parece que as pessoas querem que os carros sejam práticos, minimizando os danos totais e é o que todos deveríamos fazer. Problema resolvido. Mas há um pequeno senão. Quando perguntamos às pessoas se comprariam esses carros, disseram: "Absolutamente não".
(Risos)
(Risos)
Já vimos esse problema antes. Chama-se de dilema social. E para entender esse dilema, temos que voltar um pouco na história. Nos anos 1800, o economista inglês William Forster Lloyd publicou um folheto que descrevia o seguinte cenário: existia um grupo de agricultores ingleses, que compartilhavam um terreno para suas ovelhas pastarem. Se cada fazendeiro levasse um certo número de ovelhas, digamos três ovelhas, a terra seria revitalizada, os agricultores e as ovelhas ficariam felizes, e tudo ficaria bem. Agora, se um agricultor trouxesse uma ovelha a mais, ele teria uma pequena vantagem, e ninguém mais seria prejudicado. Mas, se cada fazendeiro tomasse essa decisão racional, a terra seria exaurida e empobrecida em detrimento de todos os agricultores e, naturalmente, das ovelhas.
Vemos este problema em muitos lugares: na dificuldade de gerenciar a pesca excessiva, ou na redução das emissões de carbono para mitigar as mudanças climáticas. Quando se trata da regulamentação de carros autônomos, a terra comum agora é basicamente a segurança pública, que é o bem comum, os agricultores são os passageiros ou os donos de carros que decidiram usar aquele tipo de veículo. Fazendo uma escolha racional de priorizar sua própria segurança, pode-se estar, coletivamente, depreciando o bem comum, que é reduzir os danos totais. Isso é tradicionalmente chamado de tragédia compartilhada, mas acredito que, no caso dos carros autônomos, o problema pode ser um pouco mais capcioso, porque não existe necessariamente um ser humano tomando essas decisões. Os fabricantes de automóveis podem simplesmente programar os carros que irão maximizar a segurança de seus clientes, e esses carros podem aprender por conta própria e isso resulta num risco ligeiramente maior para os pedestres. Na metáfora das ovelhas, é como se existisse uma ovelha elétrica tomando decisões próprias.
(Risos)
Elas poderiam ir pastar, sem o agricultor saber.
Isso é o que se chama de tragédia dos algorítmicos compartilhados, e oferece novos tipos de desafios. Normalmente, tradicionalmente, resolvemos esses tipos de dilemas sociais com a regulamentação, em que os governos ou as próprias comunidades, decidem coletivamente o que se deseja e quais restrições sobre comportamentos individuais são necessárias. Então, com o acompanhamento e a aplicação, pode-se garantir a preservação do bem público. Então, por que não nós, como regulamentadores, exigimos que todos os carros minimizem os prejuízos? Afinal, isso é o que as pessoas querem. E, o mais importante, posso ter certeza que, como indivíduo, se eu comprar um carro que possa me prejudicar muito raramente, não seria o único fazendo isso, enquanto as outras pessoas teriam proteção incondicional.
Na pesquisa, perguntamos se as pessoas apoiariam a regulamentação e este é o resultado. Em primeiro lugar, elas disseram não à regulamentação; e em segundo, disseram: "Se houver uma regulamentação dos carros para fazer isso e minimizar danos totais, não comprarei esses carros". Ironicamente, regulamentando-se os carros para minimizarem os danos, pode-se, de fato, causar mais danos porque as pessoas podem não optar pela tecnologia mais segura, mesmo se for mais seguro que motoristas humanos.
Não tenho uma resposta definitiva para este enigma, mas acho que, como início, precisamos de uma resposta da sociedade, e decidir quais são os compromissos mais adequados e para encontrar formas de impor esses compromissos.
Como ponto de partida, meus alunos brilhantes, Edmond Awad e Sohan Dsouza, criaram o site chamado Moral Machine, que produz situações aleatórias, ou seja, vários dilemas aleatórios em sequência, nos quais se deve escolher que decisão o carro deve tomar numa certa situação. Variamos as idades e até mesmo os tipos das diferentes vítimas. Até agora, obtivemos mais de 5 milhões de respostas, de mais de um milhão de pessoas no mundo todo, a partir do site. Isso está nos ajudando a formar um quadro inicial de como as pessoas encaram os compromissos e com o que elas se importam, mesmo em outras culturas. O mais importante ao fazer este exercício, é ajudar as pessoas a reconhecer a dificuldade de se fazerem as escolhas, que os legisladores terão de enfrentar com essas alternativas impossíveis. Talvez isso ajude a sociedade a entender os tipos de compromissos que existirão na regulamentação.
Fiquei muito feliz ao ouvir que o primeiro conjunto de regulamentos, anunciado pelo Departamento de Transportes, na semana passada, tem uma lista de 15 pontos que todas as montadoras devem fornecer, e o número 14 é uma consideração ética, de como se vai lidar com isso. Temos pessoas refletindo sobre suas próprias decisões, porque se mostrou a elas um resumo de suas próprias escolhas. Vamos ver um exemplo, e já aviso que este não é um exemplo de um usuário típico. Este é o personagem mais sacrificado e mais salvo para essa pessoa.
(Risos) [Resultados] [Personagem mais salvo] [Personagem mais morto]
Alguns podem concordar com ele, ou com ela, não sabemos. Essa pessoa também parece preferir ligeiramente passageiros do que pedestres em suas escolhas e fica muito feliz em punir pedestres imprudentes.
(Risos)
Vamos terminar aqui. Nós começamos com uma pergunta, vamos chamá-la de dilema ético, sobre o que os carros deveriam fazer num cenário específico: desviar ou não? Então, percebe-se que o problema é diferente. É o problema de como conseguir que a sociedade concorde e respeite os compromissos em que se sentem confortáveis. É um dilema social.
Na década de 1940, Isaac Asimov escreveu suas famosas leis da robótica.
Depois de 40 anos e depois de tantas histórias levando essas leis ao limite, Asimov criou a lei zero, que tem prioridade acima de tudo, aquela em que um robô não pode fazer mal à humanidade. Não sei o que isso significa no contexto dos carros autônomos, ou em qualquer situação específica, e não sei como podemos implementar isso, mas acredito que, ao reconhecer que a regulamentação não é apenas um problema tecnológico, mas também um problema de cooperação social, espero que possamos começar a fazer as perguntas certas.
Obrigado.
Já fizemos aqui enquetes com uma pequena amostra de internautas sobre o que o público escolheria se fossem instado a opinar e decidir sobre esses dilemas éticos.
Fonte: TED
[Visto no Brasil Acadêmico]
Hoje, vou falar sobre tecnologia e sociedade. O Departamento de Transportes estimou que, no ano passado, 35 mil pessoas morreram em acidentes de trânsito, somente nos EUA. No mundo todo, 1,2 milhão de pessoas morrem por ano em acidentes de trânsito. Se houvesse uma forma de eliminar 90% desses acidentes, você a apoiaria? Claro que sim. Isso é o que a tecnologia de carro autônomo promete realizar, eliminando a principal fonte de acidentes, o erro humano.
Agora, imagine-se em um carro sem motorista, no ano de 2030, relaxando e assistindo a este vídeo vintage do TEDxCambridge.
(Risos)
De repente, o carro tem uma falha mecânica e não consegue parar. Se o carro continuar, vai atropelar um monte de gente que está atravessando a rua, mas o carro pode desviar, atingindo um transeunte, matando-o, para salvar os pedestres. O que o carro deve fazer e quem deve decidir? E se, em vez disso, o carro pudesse desviar para uma parede, batendo e matando o passageiro, que é você, para salvar os pedestres?
Este cenário é inspirado no problema do bonde, que foi concebido por filósofos há algumas décadas, para se refletir sobre ética.
A forma de pensar nesse problema é importante. Podemos, por exemplo, simplesmente não pensar nisso. Podemos dizer que esse cenário não é real, bastante improvável ou simplesmente tolo. Mas acho que essa crítica não procede, porque enfoca o problema de forma muito literal. Naturalmente, nenhum acidente vai se parecer com esse; nenhum acidente tem duas ou três opções, nas quais alguém acaba morto. Em vez disso, o carro vai fazer alguns cálculos, como a probabilidade de atingir um certo grupo de pessoas, se houver um desvio numa ou noutra direção, pode-se aumentar o risco aos passageiros ou a outros motoristas, versus atropelar os pedestres. Vai ser um cálculo mais complexo, mas ainda vai envolver compromissos, e compromissos frequentemente requerem ética.
Pode-se dizer: "Bem, não vamos nos preocupar com isso. Vamos aguardar até que a tecnologia esteja totalmente desenvolvida e 100% segura". Suponha que se possa eliminar 90% desses acidentes, ou mesmo 99% nos próximos 10 anos. E se para eliminar o último 1% dos acidentes precisássemos de mais 50 anos de pesquisa? Não deveríamos adotar a tecnologia? Serão 60 milhões de pessoas mortas em acidentes de carro, se mantivermos a taxa atual. Então a questão é: esperar por uma segurança total também é uma escolha, e, também, envolve compromissos.
As pessoas nas mídias sociais aparecem com todo tipo de desculpas para não pensar sobre isso. Uma pessoa sugeriu que o carro deveria simplesmente passar entre os pedestres
(Risos)
e o transeunte. Naturalmente, se for possível, é o que o carro deve fazer. Estamos interessados nos casos em que isso não é possível. E a minha favorita foi a sugestão de um blogueiro: que houvesse um botão de ejeção no carro, que você pressiona,
(Risos)
pouco antes da batida.
(Risos)
Se admitirmos que os carros terão que tomar decisões nas ruas, como resolveremos esses compromissos e como decidiremos? Talvez uma pesquisa para avaliar a posição da sociedade, porque, em última instância, as regulamentações e as leis são um reflexo dos valores da sociedade.
Então, fizemos o seguinte. Com meus colaboradores, Jean-François Bonnefon e Azim Shariff, fizemos uma pesquisa em que apresentamos às pessoas esses tipos de cenários. Oferecemos duas opções inspiradas por dois filósofos: Jeremy Bentham e Immanuel Kant. Bentham diz que o carro deveria seguir a ética prática: fazer aquilo que minimiza os danos totais, mesmo que isso mate um transeunte e mesmo que isso mate o passageiro. Immanuel Kant diz que o carro deve seguir princípios morais, tais como: "Não matarás". Você não deve fazer nada que prejudique especificamente um ser humano e deve deixar o carro seguir seu curso, mesmo que isso prejudique mais pessoas.
O que você acha? Bentham ou Kant? Veja os resultados. A maioria concordou com Bentham. Parece que as pessoas querem que os carros sejam práticos, minimizando os danos totais e é o que todos deveríamos fazer. Problema resolvido. Mas há um pequeno senão. Quando perguntamos às pessoas se comprariam esses carros, disseram: "Absolutamente não".
(Risos)
Elas gostariam de comprar carros que os protejam totalmente, mas querem que as demais comprem os carros que minimizem os danos.
(Risos)
Já vimos esse problema antes. Chama-se de dilema social. E para entender esse dilema, temos que voltar um pouco na história. Nos anos 1800, o economista inglês William Forster Lloyd publicou um folheto que descrevia o seguinte cenário: existia um grupo de agricultores ingleses, que compartilhavam um terreno para suas ovelhas pastarem. Se cada fazendeiro levasse um certo número de ovelhas, digamos três ovelhas, a terra seria revitalizada, os agricultores e as ovelhas ficariam felizes, e tudo ficaria bem. Agora, se um agricultor trouxesse uma ovelha a mais, ele teria uma pequena vantagem, e ninguém mais seria prejudicado. Mas, se cada fazendeiro tomasse essa decisão racional, a terra seria exaurida e empobrecida em detrimento de todos os agricultores e, naturalmente, das ovelhas.
Vemos este problema em muitos lugares: na dificuldade de gerenciar a pesca excessiva, ou na redução das emissões de carbono para mitigar as mudanças climáticas. Quando se trata da regulamentação de carros autônomos, a terra comum agora é basicamente a segurança pública, que é o bem comum, os agricultores são os passageiros ou os donos de carros que decidiram usar aquele tipo de veículo. Fazendo uma escolha racional de priorizar sua própria segurança, pode-se estar, coletivamente, depreciando o bem comum, que é reduzir os danos totais. Isso é tradicionalmente chamado de tragédia compartilhada, mas acredito que, no caso dos carros autônomos, o problema pode ser um pouco mais capcioso, porque não existe necessariamente um ser humano tomando essas decisões. Os fabricantes de automóveis podem simplesmente programar os carros que irão maximizar a segurança de seus clientes, e esses carros podem aprender por conta própria e isso resulta num risco ligeiramente maior para os pedestres. Na metáfora das ovelhas, é como se existisse uma ovelha elétrica tomando decisões próprias.
(Risos)
Elas poderiam ir pastar, sem o agricultor saber.
Isso é o que se chama de tragédia dos algorítmicos compartilhados, e oferece novos tipos de desafios. Normalmente, tradicionalmente, resolvemos esses tipos de dilemas sociais com a regulamentação, em que os governos ou as próprias comunidades, decidem coletivamente o que se deseja e quais restrições sobre comportamentos individuais são necessárias. Então, com o acompanhamento e a aplicação, pode-se garantir a preservação do bem público. Então, por que não nós, como regulamentadores, exigimos que todos os carros minimizem os prejuízos? Afinal, isso é o que as pessoas querem. E, o mais importante, posso ter certeza que, como indivíduo, se eu comprar um carro que possa me prejudicar muito raramente, não seria o único fazendo isso, enquanto as outras pessoas teriam proteção incondicional.
Na pesquisa, perguntamos se as pessoas apoiariam a regulamentação e este é o resultado. Em primeiro lugar, elas disseram não à regulamentação; e em segundo, disseram: "Se houver uma regulamentação dos carros para fazer isso e minimizar danos totais, não comprarei esses carros". Ironicamente, regulamentando-se os carros para minimizarem os danos, pode-se, de fato, causar mais danos porque as pessoas podem não optar pela tecnologia mais segura, mesmo se for mais seguro que motoristas humanos.
Não tenho uma resposta definitiva para este enigma, mas acho que, como início, precisamos de uma resposta da sociedade, e decidir quais são os compromissos mais adequados e para encontrar formas de impor esses compromissos.
Como ponto de partida, meus alunos brilhantes, Edmond Awad e Sohan Dsouza, criaram o site chamado Moral Machine, que produz situações aleatórias, ou seja, vários dilemas aleatórios em sequência, nos quais se deve escolher que decisão o carro deve tomar numa certa situação. Variamos as idades e até mesmo os tipos das diferentes vítimas. Até agora, obtivemos mais de 5 milhões de respostas, de mais de um milhão de pessoas no mundo todo, a partir do site. Isso está nos ajudando a formar um quadro inicial de como as pessoas encaram os compromissos e com o que elas se importam, mesmo em outras culturas. O mais importante ao fazer este exercício, é ajudar as pessoas a reconhecer a dificuldade de se fazerem as escolhas, que os legisladores terão de enfrentar com essas alternativas impossíveis. Talvez isso ajude a sociedade a entender os tipos de compromissos que existirão na regulamentação.
Fiquei muito feliz ao ouvir que o primeiro conjunto de regulamentos, anunciado pelo Departamento de Transportes, na semana passada, tem uma lista de 15 pontos que todas as montadoras devem fornecer, e o número 14 é uma consideração ética, de como se vai lidar com isso. Temos pessoas refletindo sobre suas próprias decisões, porque se mostrou a elas um resumo de suas próprias escolhas. Vamos ver um exemplo, e já aviso que este não é um exemplo de um usuário típico. Este é o personagem mais sacrificado e mais salvo para essa pessoa.
(Risos) [Resultados] [Personagem mais salvo] [Personagem mais morto]
Alguns podem concordar com ele, ou com ela, não sabemos. Essa pessoa também parece preferir ligeiramente passageiros do que pedestres em suas escolhas e fica muito feliz em punir pedestres imprudentes.
(Risos)
Vamos terminar aqui. Nós começamos com uma pergunta, vamos chamá-la de dilema ético, sobre o que os carros deveriam fazer num cenário específico: desviar ou não? Então, percebe-se que o problema é diferente. É o problema de como conseguir que a sociedade concorde e respeite os compromissos em que se sentem confortáveis. É um dilema social.
Na década de 1940, Isaac Asimov escreveu suas famosas leis da robótica.
As três leis da robótica: um robô não pode ferir um ser humano, um robô não pode desobedecer um ser humano, e um robô não pode se prejudicar, nesta ordem de importância.
Depois de 40 anos e depois de tantas histórias levando essas leis ao limite, Asimov criou a lei zero, que tem prioridade acima de tudo, aquela em que um robô não pode fazer mal à humanidade. Não sei o que isso significa no contexto dos carros autônomos, ou em qualquer situação específica, e não sei como podemos implementar isso, mas acredito que, ao reconhecer que a regulamentação não é apenas um problema tecnológico, mas também um problema de cooperação social, espero que possamos começar a fazer as perguntas certas.
Obrigado.
Já fizemos aqui enquetes com uma pequena amostra de internautas sobre o que o público escolheria se fossem instado a opinar e decidir sobre esses dilemas éticos.
Fonte: TED
[Visto no Brasil Acadêmico]
Comentários