Bússola da Ética Digital: Coloque os humanos no centro

O Digital Ethics Compass (Bússola de Ética Digital) é uma ferramenta dinarmaquesa para ajudar as empresas a tomar as decisões certas do pont...

O Digital Ethics Compass (Bússola de Ética Digital) é uma ferramenta dinarmaquesa para ajudar as empresas a tomar as decisões certas do ponto de vista ético do design de produtos e serviços digitais.

Histórias sobre gigantes da tecnologia que coletam nossos dados pessoais, usando algoritmos inteligentes para manipular nossos cérebros ou até mesmo contratando especialistas comportamentais para nos tornar organicamente viciados em produtos digitais de maneira totalmente opaca não é nenhuma novidade. Mas os designers digitais e desenvolvedores de produtos que não trabalham para o Facebook, Google ou Amazon seguem sem ter diretrizes que digam claramente como deveriam construir seu projetos de forma ética.

É para isso que a Bússola da Ética Digital foi criada pelo Centro de Design Dinarmaquês e foi para torná-la ainda mais acessível que traduzimos de forma resumida para ajudar a disseminar essas boas práticas por entre os profissionais digitais (e também aumentar a consciência dos consumidores desses produtos).

No meio da Bússola da Ética Digital, você encontrará os princípios básicos do design digital responsável e ético. Você deve memorizá-los e sempre mantê-los em mente ao trabalhar com soluções digitais. Todos os princípios são explicados por um cartão de conhecimento aprofundado.

No círculo externo, você encontrará 22 questões éticas que são divididas nas três categorias: dados, automação e design comportamental. As perguntas tentam desafiá-lo a pensar sobre ética e responsabilidade em seus designs digitais. Estão longe de esgotar todas as questões relevantes para a sua solução, mas servem de ponto de partida e apoio para orientar as equipes de desenvolvimento.

Sumário

•  Resumo 
•  Princípios 
•  Automação 
•  Design Comportamental 
•  Dados 

• [message]
• Resumo 🔝

• [message]
• Coloque os humanos no centro
• Se você só precisar se lembrar de uma coisa sobre design digital ético, essa coisa seria colocar os humanos no centro. Parece simplista, mas muitas vezes o ser humano, para quem tudo se destina, pode ficar em segundo plano ao projetar soluções digitais. Lembre-se do humano, e lembre-se de que os humanos não são apenas pessoas abstratas, mas seres vivos de carne e osso - assim como você. E lembre-se de que o humano nesta situação não são apenas seus usuários ou clientes, mas todos aqueles que podem ser afetados por sua solução digital.

• [accordion]
• Princípios
• ➫ Evite manipulação.
  ➫ Faça sua tecnologia compreensível.
  ➫ Forneça controle ao usuário.
  ➫ Evite criar desigualdade.
• Automação
• 01. Seus usuários estão cientes de que eles estão interagindo com um solução automatizada?
  02. Seus sistemas automatizados estão em conformidade com a legislação e direitos humanos?
  03. Será que a automação faz as  pessoas perderem a capacidade de fazer uma tarefa?
  04. Seu sistema automatizado é transparente, para que o usuário possa ver o que se passa nos bastidores?
  05. Seu sistema automatizado pode se explicar?
  06. Seus algoritmos são preconceituosos?
  07. Existe um risco desnecessariamente alto com seu sistema automatizado?
  08. Alguém da empresa está pronto para intervir quando a automação falha?
  09. Seu sistema automatizado é adaptável às mudanças?
  10. Seu sistema automatizado pode ser invadido?
• Design comportamental
• 01. Seu projeto lida com emoções negativas?
  02. Você torna deliberadamente difícil para os usuários encontrar ou entender informações ou funcionalidades?
  03. Você explora a inabilidade de seu usuário de se concentrar em seu próprio benefício?
  04. Você manipula as ações aproveitando a necessidade das pessoas de serem sociais?
  05. Você está tentando criar vício em seu produto com truques baratos?
  06. Você valida ou desafia seus usuários?
• Dados
• 01. Você está coletando demasiados pontos de dados e os mantém por muito tempo?
  02. Você anonimiza seu dados?
  03. Como se armazenam os dados?
  04. Você fornece às pessoas acesso aos seus próprios dados?
  05. Você obteve permissão do usuário para coletar e processar dados?
  06. Você informa seus usuários sobre como eles são perfilados?

• [message]
•  Princípios 🔝
• Os princípios básicos do design digital responsável e ético devem ser memorizados e internalizados ao trabalhar com soluções digitais.

• [accordion]
• ➫ Evite manipulação
• Com frequencia, as soluções digitais são projetadas para ajudar as pessoas a tomar decisões em seu nome. Mas tome cuidado para que essa ajuda não abale o desejo básico das pessoas de decidir sobre suas próprias vidas e tomar cuidado extra para garantir que sua solução digital não acabe manipulando as pessoas de forma prejudicial.
  
• Exemplo
• Você está vendendo roupas de ciclismo online e agora criou uma campanha bem elaborada no Facebook, voltada para pessoas interessadas em andar de bicicleta. Se eles visitaram o seu site, você usa o retargeting para atingi-los continuamente com mensagens direcionadas no Facebook. Você pode ver em suas estatísticas que sua nova campanha direcionada do Facebook é 77% mais eficaz do que uma campanha normal.
  
  Todos os seus concorrentes fazem a mesma coisa, mas você se pergunta se não há problema em usar dados, design comportamental e algoritmos para manipular o comportamento de compra de tantas pessoas.
  
• ➫ Faça sua tecnologia compreensível
• As soluções digitais costumam ser complexas e difíceis de serem entendidas por pessoas comuns. Mas é por isso que você ainda tem a responsabilidade de tornar suas soluções digitais compreensíveis e transparentes para permitir que os usuários compreendam como as soluções funcionam e afetam suas vidas.
  
• Exemplo
• Seus advogados pediram que você publicasse um documento de “termos e condições” de 30 páginas em seu site. Todos os usuários devem aprovar os termos e condições para poder usar o seu site. Mas você pode ver que o texto jurídico é difícil para seus usuários entenderem, então você trabalha com os advogados para reduzir as 30 páginas para cinco páginas em uma linguagem compreensível. Mas você logo descobrirá que seus usuários também não lêem essas cinco páginas. O que você vai fazer?
  
  Você pode evitar muitos problemas jurídicos coletando e trocando menos dados (que você não precisava de qualquer maneira). Você, portanto, acaba simplificando sua solução, o que leva a melhores taxas de conversão. Além disso, você deve se esforçar para explicar as consequências das escolhas dos usuários no próprio design de interação, em vez de ocultar as explicações em um documento enigmático que os usuários nunca leem.
• ➫ Forneça controle ao usuário
• As soluções digitais podem muito bem ajudar as pessoas e tornar suas vidas mais fáceis, mas não devem deixar as pessoas com a sensação de perder o controle. Sempre certifique-se de projetar soluções que proporcionem às pessoas mais e não menos controle.
  
• Exemplo
• Você está desenvolvendo um GPS para ciclismo, onde os praticantes de exercícios podem planejar suas viagens e pedalar em diferentes rotas. Você está projetando uma interface amigável onde os ciclistas só são informados quando devem virar à direita ou à esquerda. É fácil, e mesmo as pessoas que não sabem ler mapas podem descobrir.
  
  Mas os testes de usuário mostram que as pessoas desligam seus cérebros rapidamente e perdem o controle da paisagem em que estão. Se a bateria do GPS acabar, elas se perderão e não terão ideia de onde estão. Portanto, você altera um pouco sua solução, mostrando um mapa que sempre está voltado para o norte. É um pouco mais complexo, mas você pode ver rapidamente que os ciclistas ficam mais felizes com a experiência geral porque sentem que estão no controle de seu passeio de bicicleta.
• ➫ Evite criar desigualdade
• O design digital sem pensamento para a ética pode muitas vezes acabar perpetuando e reforçando as desigualdades existentes na sociedade. Sempre pense em projetar soluções que não criem mais desequilíbrios.
  
• Exemplo
• Você está no processo de projetar um novo produto de seguro digital, onde a seguradora pode rastrear a qualidade do comportamento de direção de seus clientes. Se os clientes dirigirem bem e com cuidado, o prêmio será automaticamente menor. 80% de todos os dinamarqueses pensam que dirigem um carro melhor do que a média, então seu produto se tornará popular muito rapidamente.
  
  Mas você já considerou as consequências para aqueles que dirigem mal e de repente ganham prêmios muito altos? E você tem certeza de que seu algoritmo é bom o suficiente para distinguir os motoristas ruins dos bons? E você já considerou as consequências sociais de cada vez mais produtos de seguro se tornarem tão específicos que o elemento coletivo do seguro está começando a desaparecer?

• [message]
•  Automação 🔝
• Podemos automatizar nossas soluções digitais usando inteligência artificial e algoritmos. A automação costuma ser uma coisa boa porque as máquinas podem resolver tarefas com mais rapidez e precisão do que os humanos, mas, por outro lado, as máquinas também cometem erros que podem ser bastante significativos e ter sérias consequências para os humanos. É sua escolha ética se você deseja projetar soluções automatizadas que ajudem as pessoas ou as substituam.

• [accordion]
• 01. Seus usuários estão cientes de que eles estão interagindo com um solução automatizada?
• Os sistemas automatizados e a inteligência artificial estão cada vez melhores na comunicação e agindo como pessoas reais. Eles escrevem de maneira gramaticalmente correta e podem falar tão fluentemente que podem conversar de maneiras que soam quase humanas. Este fenômeno permite novas possibilidades ao configurar máquinas para lidar com tarefas de comunicação, como suporte ao cliente, vendas, funções de secretariado, etc.
  
  Os desafios éticos surgem quando os humanos não sabem que estão se comunicando com um sistema automatizado. Os sistemas automatizados tornaram-se bons em simular o comportamento humano - mas ainda não são humanos e, portanto, fazem coisas que não são humanas. Eles cometem erros imprevisíveis e não são capazes de compreender ou explicar esses erros por si próprios.
  
  Os humanos têm a necessidade e o direito de saber quando estão interagindo com um sistema automatizado, especialmente se a IA toma decisões de grande importância para a vida humana. Há uma diferença entre um e-mail automático confirmando sua compra online e uma recusa automática do direito de estar com seu filho.
• Recomendações e exemplos
• 👍 Deixe claro para os usuários que eles estão se comunicando com um sistema automatizado.
  
  👍 Não projete seu sistema automatizado de forma que imite o comportamento humano (o bate-papo com um robô não deve acontecer na mesma interface de um humano).
  
  👍 Torne seus sistemas automatizados mais mecânicos (preserve a voz do robô e a linguagem robótica rígida).
  
  😞 O mau exemplo
  
  ##facebook## Todos nós conhecemos o feed de notícias do Facebook que é usado para acompanhar a vida de nossos amigos e familiares. O feed de notícias se tornou um sistema automatizado que faz cálculos em nosso nome e decide quais atualizações devemos ver e quais nunca devemos ver. Quando o Facebook lançou pela primeira vez esta versão automatizada do feed de notícias, poucos usuários entenderam essa atualização. Muitos usuários pensaram que o feed de notícias mostrava todas as atualizações de suas conexões e se perguntaram por que amigos e familiares quase deixaram de existir no Facebook.
  
  O Facebook deveria ter deixado claro que seus usuários estavam interagindo com um sistema automatizado. Isso teria dado aos usuários um melhor controle e compreensão do uso do Facebook.
  
  😇 O bom exemplo
  
  📰 Muitas empresas de mídia usam robôs de notícias para escrever artigos simples sobre, por exemplo, placares de esportes ou cotações de ações. Na maioria dos casos, as empresas de mídia chamam a atenção para isso. Jysk Fynske Medier, por exemplo, escreve: “Escrito pelo robô de artigo de Jysk Fynske Medier.”
• 02. Seus sistemas automatizados estão em conformidade com a legislação e direitos humanos?
• Os sistemas automatizados são cada vez mais usados ​​para a tomada de decisões em casos que impactam a vida das pessoas. A primeira questão ética que você deve se perguntar ao projetar um sistema automatizado é se ele toma decisões que respeitam os direitos humanos. Um grande problema com os sistemas automatizados é que eles podem discriminar injustamente nos processos de tomada de decisão. A discriminação pode ser eticamente aceitável, mas não se for baseada em fatores como gênero, raça, etnia, genética, idioma, religião, crenças políticas, deficiência, idade ou orientação sexual (lista não exaustiva).
  
  Além disso, tome cuidado para garantir que seu sistema automatizado não prejudique crianças e que respeite o direito à privacidade e o direito à liberdade de expressão.
• Recomendações e exemplos
• 👍 Esforce-se para garantir que sua equipe de desenvolvimento tenha a mais ampla diversidade e abertura para o uso de sua solução por minorias. 
  
  👍 Envolva minorias e grupos-alvo vulneráveis em sua pesquisa de usuário. 
  
  👍 Certifique-se de que seu sistema automatizado seja verificado por especialistas em direitos humanos.
  
  😞 O mau exemplo
  
  ##bomb## A empresa israelense de inteligência artificial Faception afirma que pode analisar o rosto das pessoas e prever se são terroristas, acadêmicos ou altamente inteligentes. No entanto, é duvidoso que a empresa seja capaz disso. Existe um risco muito alto de que seus algoritmos entrem em conflito com os direitos humanos fundamentais em relação à discriminação. O algoritmo provavelmente classificará as pessoas com aparência árabe / do Oriente Médio como terroristas.
  
  😇 O bom exemplo
  
  ##siren-on## Corti é uma empresa dinamarquesa que desenvolveu um algoritmo de aprendizado de máquina que escuta chamadas de emergência. O algoritmo pode reconhecer padrões em conversas. Nesse caso, uma ambulância chegará mais rapidamente. 
  
  O algoritmo de Corti aprendeu com dados antigos de chamadas de emergência, o que significa que dialetos menos comuns estão sub-representados. No pior caso, isso pode significar que o algoritmo discrimina esses dialetos e detecta menos paradas cardíacas em áreas onde esse dialeto está presente. A Corti verifica continuamente os algoritmos quanto à polarização e, no caso dos dialetos, eles optaram por treinar o algoritmo usando dados de várias chamadas de emergência específicas com dialetos diferentes.
  
  
• 03. Será que a automação faz as  pessoas perderem a capacidade de fazer uma tarefa?
• Você provavelmente já tentou dirigir um carro com GPS. Você insere um endereço e o GPS informa, passo a passo, para onde ir. O GPS significa que muitas pessoas perderam a capacidade de ler um mapa e tornaram-se menos capazes de encontrar o caminho sem ele.
  
  Essa perda de competência é problemática? É uma questão ética desafiadora. Mas o fato é que o design do GPS 'faz com que as pessoas percam habilidades. Será que alguém poderia ter projetado o GPS de forma diferente para que as pessoas não sigam cegamente as instruções? Talvez uma maneira seja ter o norte sempre no topo e, assim, ajudar as pessoas a desenvolver uma compreensão da geografia em que se movem.
  
  Em outras palavras, seria possível usar o GPS para tornar as pessoas melhores em vez de piores em se orientar por conta própria?
• Recomendações e exemplos
• 👍 Pense no futuro: como seria o mundo se todas as pessoas perdessem essa competência? 
  
  👍 Sempre tente projetar seus sistemas de uma forma que não torne as pessoas redundantes, mas, em vez disso, torne-as melhores e mais felizes no desempenho de seus trabalhos. 
  
  👍 Você pode incorporar o aprendizado e o desenvolvimento de competências em suas soluções digitais para ajudar as pessoas a desenvolver novas habilidades?
  
  😞 O mau exemplo
  
  🚘 A Mercedes e muitas outras empresas automotivas desenvolveram sistemas automáticos que podem estacionar um carro em paralelo sem que o motorista tenha que tocar no volante ou nos pedais. Para muitas pessoas, provavelmente é uma grande ajuda. Mas também é um recurso que fará com que muitas pessoas percam a capacidade de estacionar em paralelo - uma capacidade que pode ser útil por muitos anos (antes que os carros se tornem totalmente autônomos). 
  
  Em vez disso, a Mercedes (e outras) deveriam ter projetado sistemas automatizados que ajudassem seus usuários a se tornarem especialistas em estacionamento paralelo? Por exemplo, deixando que os motoristas façam sozinhos, mas aconselhando e orientando em andamento?
  
  😇 O bom exemplo
  
  🎓Gradescope é uma ferramenta que ajuda os professores a marcar as tarefas escolares. O professor carrega o trabalho dos alunos no programa, que dá uma nota automaticamente. Em seguida, o programa fornece uma visão geral de como os alunos estão se saindo. Gradescope também permite ao professor adicionar comentários e corrigir a forma como os alunos são avaliados, por isso não depende apenas da automação. 
  
  Gradescope garantiu, assim, que a automação das atribuições de notas não remova as competências dos professores. Pelo contrário, proporciona-lhes benefícios na forma de economia de tempo com a marcação manual de tarefas e uma visão geral automática das competências dos alunos.
  
  
• 04. Seu sistema automatizado é transparente, para que o usuário possa ver o que se passa nos bastidores?
• Os sistemas automatizados geralmente são projetados para tomar muitas decisões rápidas. Esses sistemas geralmente não são feitos para que as pessoas entendam o sistema de tomada de decisão. Em muitos casos, entretanto, as pessoas devem entender como funciona um sistema automatizado de tomada de decisões.
  
  Os algoritmos podem cometer erros e aprender com dados “ruins”, o que os faz discriminar sistematicamente. Se você não consegue abrir o capô do motor para o sistema automatizado, também não consegue encontrar os erros e as injustiças. Obviamente, apenas algumas pessoas conseguem realmente abrir o capô e entender os algoritmos por trás disso. Mas transparência também pode significar tornar os algoritmos de alguém acessíveis e abertos a especialistas e legisladores que agem em nome de pessoas comuns.
  
  Se os algoritmos contiverem segredos comerciais, você pode convidar especialistas independentes para participar de análises éticas fechadas, o que significa que você não precisa revelar esses segredos comerciais.
• Recomendações e exemplos
• 👍 Tente explicar ao público como seus sistemas automatizados tomam decisões. 
  
  👍 Torne seus algoritmos abertos e acessíveis para que os especialistas possam "abrir o capô". 
  
  👍 Convide especialistas para revisar seus algoritmos. 
  
  👍 Tente desenvolver algoritmos simples com lógica compreensível de maneira humana. 
  
  👍 Tanto quanto possível, evite sistemas de caixa preta onde nem você mesmo entende como funcionam os algoritmos.
  
  😞 O mau exemplo
  
  👦 Em 2018, o município de Gladsaxe, na Dinamarca, desenvolveu um algoritmo para identificar famílias onde as crianças eram provavelmente maltratadas. O algoritmo foi baseado em uma grande quantidade de dados e aprendizado de máquina que calculou a probabilidade de as crianças serem infelizes com suas famílias. O projeto encontrou oposição política, no entanto. Por um lado, era difícil ver como o algoritmo decidiu que algumas crianças eram mais vulneráveis do que outras. A falta de transparência fez com que cidadãos, políticos e especialistas perdessem a confiança de que o sistema era justo e suficientemente preciso. Depois de muito cabo de guerra, o projeto foi arquivado em 2019. 
  
  😇 O bom exemplo
  
  ##facebook## O Facebook tem sido fortemente criticado por permitir que atores políticos usem a plataforma para direcionar anúncios políticos em segmentos cuidadosamente selecionados. Usando algoritmos do Facebook, os atores podem atingir grupos selecionados com mensagens perfeitamente elaboradas que o público nunca testemunhará. Para resolver esse problema, no entanto, o Facebook tornou os anúncios políticos abertos ao público. Qualquer um pode ver todos os anúncios de um determinado ator político, ver quanto eles gastam em publicidade e, aproximadamente, quem eles estão alvejando com seus anúncios. 
  
  O sistema não se destina a pessoas comuns, mas sim a jornalistas que podem usar o sistema para monitorar partidos e atores políticos, normalmente durante as eleições. O sistema não é perfeito, mas é um excelente exemplo de implementação de abertura em um sistema automatizado.
• 05. Seu sistema automatizado pode se explicar?
• Como cidadãos de sociedades democráticas e livres, obtemos explicações para as decisões que afetam nossas vidas. “Você deve pagar uma taxa de advertência PORQUE você pagou três dias depois do prazo acordado” ou “Você deve cumprir 30 dias de prisão PORQUE violou a seção 266 do Código Penal”.
  
  No entanto, existem muitos sistemas automatizados que são projetados de tal forma que não são capazes de fornecer tais explicações. E, especialmente, os sistemas de aprendizado de máquina podem ser ruins em fornecer justificativas que os humanos possam entender. Pode criar problemas éticos nos casos em que as pessoas esperam obter uma explicação para uma decisão algorítmica, mas o sistema é incapaz de fornecer uma.
  
  À medida que os sistemas automatizados tomam mais e mais decisões, é necessário que os sistemas sejam projetados de forma que possam fornecer uma explicação para suas decisões. No entanto, é em grande parte uma troca ética quando um sistema deve ser capaz de se explicar. Claro, isso se aplica a decisões com consequências de longo alcance para a vida humana, mas na prática, haverá muitas decisões algorítmicas que não precisam de explicações porque são muito triviais e mundanas (por exemplo, um algoritmo que apaga a luz automaticamente em uma sala).
• Recomendações e exemplos
• 👍 Sempre tente projetar algoritmos que se explicam enquanto estão sendo usados. 
  
  👍 Se possível, evite algoritmos de caixa preta onde uma explicação é importante. 
  
  👍 Certifique-se sempre através do design digital de que os usuários podem solicitar uma explicação e uma decisão algorítmica. 
  
  👍 Em última análise, deve-se sempre ser capaz de obter uma explicação de um ser humano para uma decisão algorítmica. 
  
  👍 Torne seus algoritmos abertos e acessíveis para que os especialistas possam “abrir o capô”. 
  
  👍 Convide especialistas para revisar seus algoritmos.
  
  😞 O mau exemplo
  
  ##facebook## O Facebook tem funcionários cujo trabalho é visualizar o conteúdo relatado por usuários ou por algoritmos. Mas, devido à quantidade de conteúdo na plataforma, os algoritmos podem assumir o controle total em certas situações, por exemplo, durante a pandemia covid-19, quando a maioria dos funcionários do Facebook estava em casa. Descobriu-se que os algoritmos foram a causa de muito conteúdo na plataforma foi excluído, ou perfis foram relatados sem o raciocínio adequado. Craig Kelley (um MP no Reino Unido) descobriu que suas postagens foram excluídas sem explicação. Após reclamações, o Facebook não conseguiu explicar por que eles foram excluídos e negados, mas acontece que isso acontece para cerca de 300.000 postagens no Facebook por dia.
  
  😇 O bom exemplo
  
  📈 Rainbird é uma empresa que fornece sistemas algorítmicos de tomada de decisão para empresas financeiras. Rainbird ajuda bancos e seguradoras a responder às perguntas dos clientes e detectar fraudes. Rainbird difere de outros sistemas algorítmicos porque sempre incorpora sistemas explicativos para que os funcionários do atendimento ao cliente possam entender como os algoritmos chegam a uma decisão. Isso significa que eles podem dar aos seus clientes explicações humanas e compreensíveis se sua conta foi encerrada ou se o empréstimo foi negado.
• 06. Seus algoritmos são preconceituosos?
  
• A inteligência artificial moderna e os sistemas automatizados usam aprendizado de máquina e dados da nossa sociedade e do mundo.
  
  Os problemas éticos surgem em primeiro lugar quando esses dados são ruins e não representam o mundo real, por exemplo, se alguém treina um algoritmo de reconhecimento de rosto em pessoas brancas. Em segundo lugar, algoritmos tendenciosos podem surgir se refletirem uma realidade que já é tendenciosa. Os algoritmos simplesmente automatizam preconceitos existentes, como racismo ou discriminação de gênero.
  
  Fala-se que os algoritmos tornam-se enviesados ​​- isto é, enviesados ​​para que não representem a realidade ou para que discriminem de uma forma que não é desejável. É importante entender que nunca se pode remover vieses completamente, então o objetivo não são algoritmos livres de vieses, mas algoritmos onde se conhece seus vieses e onde seus vieses estão de acordo com vieses humanos amplamente aceitos.
• Recomendações e exemplos
• ##meh-rolling-eyes## IBM, Microsoft e Mevii desenvolveram software de reconhecimento facial que afirmam poder identificar pessoas com 99% de precisão. Mas um estudo do MIT Media Lab descobriu que essa precisão era válida apenas para o reconhecimento facial de homens brancos. A acurácia diminuiu ao identificar mulheres e negros e principalmente com mulheres negras, onde a acerto foi de 65%. Descobriu-se que os conjuntos de dados para este software eram imagens de parlamentares, o que pode explicar a diferença de precisão.
  
  😇 O bom exemplo
  
  ##edit## Quando as empresas escrevem anúncios de empregos, elas podem, por meio do uso da linguagem, discriminar as pessoas com base em sexo, idade e origem social. Um exemplo é escrever em uma língua voltada para os jovens, e não para os mais velhos. Textio é um programa que usa inteligência artificial para identificar esse tipo de discriminação e orientar as empresas para um uso mais inclusivo da linguagem. As empresas podem, portanto, usar Textio no recrutamento para garantir mais diversidade entre os funcionários.
• 07. Existe um risco desnecessariamente alto com seu sistema automatizado?
• A tomada de decisão automatizada pode ser dividida em quatro categorias com diferentes riscos éticos:
  ❶ O sistema toma decisões precisas sobre problemas com pouca ou nenhuma consequência. Aqui não há riscos consideráveis.
  ❷ O sistema geralmente toma decisões erradas, mas em questões com poucas consequências. Há um caso para estar ciente dos riscos aqui, mas o efeito do fracasso é minúsculo.
  ❸ O sistema toma decisões precisas, mas as consequências dos erros podem ser fatais. Aqui, deve-se tomar muito cuidado para garantir que o sistema automatizado seja robusto e não enviesado. Deve-se considerar se deve haver automação usada em primeiro lugar.
  ❹ O sistema geralmente toma decisões erradas sobre questões com consequências fatais. Aqui deve-se sempre evitar a automação!
• Recomendações e exemplos
• 👍 Considere as consequências se o seu sistema automatizado falhar. 
  
  👍 Trabalhe com os piores cenários. 
  
  👍 Certifique-se de monitorar e avaliar os erros que seu sistema automatizado comete. 
  
  👍 Envolva especialistas e críticos independentes no desenvolvimento de suas soluções automatizadas. 
  
  👍 Tenha cuidado com os sistemas de caixa preta não transparentes usados para automatizar funções críticas.
  
  😞 O mau exemplo
  
  ##capsules## A inteligência artificial da IBM, Watson, é usada para auxiliar no exame, diagnóstico e tratamento de pacientes. Em 2018, foi descoberto que Watson recomendava medicamentos incorretos e às vezes fatais aos pacientes. Essa descoberta resultou no abandono da tecnologia pela Rigshospitalet na Dinamarca e pela Novo Nordisk.
  
  😇 O bom exemplo
  
  ##virus## Quando um aplicativo para rastreamento de contato digital de coronavírus na Dinamarca estava em desenvolvimento na primavera de 2020, um amplo debate social e ético surgiu sobre o monitoramento automatizado do contato das pessoas umas com as outras. Houve um argumento importante dos críticos, dizendo que o valor do aplicativo de rastreamento de contatos não correspondia ao risco de o governo obter acesso aos dados de localização dos cidadãos. O risco de abuso era muito grande. A solução foi envolver um grupo de especialistas com conhecimento de ética e tecnologia, o que resultou em uma solução final em que o risco de uso indevido de dados foi minimizado pela descentralização da coleta de dados. O projeto poderia ter sido completamente abandonado, mas em vez disso, decidiu-se desenhar uma solução que minimizasse os riscos.
• 08. Alguém da empresa está pronto para intervir quando a automação falha?
• A inteligência artificial pode parecer sobre-humana e infalível porque pode encontrar padrões e fazer cálculos sobre dados que de outra forma seriam incompreensíveis para os humanos. Mas a inteligência artificial também comete erros, e frequentemente estes são surpreendentemente banais porque falta à inteligência artificial a compreensão humana de como o mundo está conectado.
  
  Portanto, é crucial que os humanos nunca sejam removidos dos sistemas automatizados de tomada de decisão. Em primeiro lugar, certifique-se de que tem alguém constantemente atento a erros e irregularidades no sistema. Em segundo lugar, você deve sempre garantir que seus clientes e usuários possam entrar em contato com um ser humano se o seu sistema automatizado falhar. Este último também é um requisito do GDPR (similar à LGPD brasileira).
• Recomendações e exemplos
• 👍 Sempre tenha muito cuidado ao remover pessoas completamente de seus sistemas automatizados. 
  
  👍 Inclua uma funcionalidade em sua solução digital que permite aos usuários falar com uma pessoa. 
  
  👍 Certifique-se de ter as pessoas certas de prontidão para intervir quando a automação falhar. 
  
  👍 Esteja ciente de que trabalhar como supervisor de sistemas automatizados pode ser monótono, tedioso e desconfortável.
  
  😞 O mau exemplo
  
  ##tshirt## Em 2011, a empresa americana de camisetas Solid Gold Bomb desenvolveu um algoritmo que podia criar slogans engraçados sobre o meme “Mantenha a calma e continue” para imprimir em camisetas. O sistema era totalmente automatizado, então os engraçados foram colocados à venda na Amazon sem que ninguém tivesse verificado os slogans. A Solid Gold Bomb não considerou necessário observar os slogans das camisetas porque as camisetas só seriam produzidas se as pessoas as comprassem. 
  
  Infelizmente, o algoritmo começou a colocar camisetas à venda com mensagens como “Mantenha a calma e mate-a” e “Mantenha a calma e estupre muito”. O caso explodiu nas redes sociais e a empresa faliu devido à má publicidade.
  
  😇 O bom exemplo
  
  ##bus## A empresa dinamarquesa Holo trabalha com ônibus autônomos, que atualmente circulam por Copenhagen, Aalborg e Oslo. Os ônibus só podem chegar a uma velocidade de 15 km/h e nunca tiveram nenhum acidente, mas a Holo ainda optou por colocar uma pessoa em todos os seus ônibus, pronta para intervir se o ônibus falhar ou se ocorrer qualquer outro problema no ônibus.
• 09. Seu sistema automatizado é adaptável às mudanças?
• Os sistemas automatizados geralmente são projetados com base em dados históricos. Um automatiza ações e fluxos de trabalho que funcionam hoje e avalia que também funcionarão no futuro, mas o mundo está em constante mudança. Os humanos estão mudando preferências, atitudes e padrões de ação, o que significa que a maioria dos sistemas automatizados que interagem com os humanos irão parar de funcionar se não forem atualizados continuamente.
  
  Pode haver várias consequências éticas de sistemas automáticos estáticos. Um carro autônomo que não tenha seus algoritmos atualizados com novos mapas conduzirá na direção errada. Mas os algoritmos estáticos também podem perpetuar preconceitos indesejados que podem ter sido aceitáveis ​​no passado, mas mudaram com o tempo, por exemplo, a discriminação contra as mulheres no local de trabalho.
• Recomendações e exemplos
• 👍 Sempre considere seu sistema automatizado como um trabalho em andamento. Nunca é um produto acabado. 
  
  👍 Sempre treine seus sistemas de aprendizado de máquina com novos dados. 
  
  👍 Esteja ciente de que seu sistema automatizado pode precisar de novos tipos de dados. 
  
  👍 Certifique-se de projetar uma inteligência artificial curiosa que testa e procura por mudanças e novos padrões.
  
  😞 O mau exemplo
  
  ##google## Em 2009, com base em milhões de pesquisas de usuários, o Google Flu Trends conseguiu rastrear uma epidemia de gripe nos Estados Unidos duas semanas mais rápido do que o Centro de Controle e Prevenção de Doenças dos EUA. Devido a isso, a expectativa passou a ser de que o algoritmo do Google pudesse prever com precisão onde e quando uma epidemia ocorreria no futuro. Mas depois de 2009, as previsões do Google tornaram-se imprecisas e, em várias ocasiões, o serviço superestimou a escala dos surtos a tal ponto que o Google Flu Trends foi extinto após cinco anos.
  
  😇 O bom exemplo
  
  ##spotify## Ao ouvir música no Spotify, a empresa coleta dados sobre o gosto dos usuários por música, usados para gerar listas de recomendação de música. Ele poderia se desenvolver em uma câmara de eco onde o usuário ouve algumas músicas, é recomendado mais da mesma e continua ouvindo do mesmo tipo. Mas os algoritmos do Spotify são bons em testar os limites do gosto musical de seus usuários, o que significa que os usuários têm permissão constante para ouvir novas músicas e testar seus limites. O resultado é que o algoritmo ajuda a impulsionar o gosto musical das pessoas e segue quando as pessoas o mudam ao longo do tempo (a menos que estejam presas a músicas antigas dos anos oitenta).
• 10. Seu sistema automatizado pode ser invadido?
• Os carros que dirigem sozinhos usam inteligência artificial para interpretar as impressões sensoriais que encontram por meio dos vários sensores do carro. O problema é que essas impressões sensoriais podem ser hackeadas sem arrombar o carro, mas simplesmente mudando o ambiente ao redor. Por exemplo, as pessoas descobriram que você pode fazer com que os carros autônomos ignorem as placas de pare se colocar uma fita branca em padrões específicos na placa. É evidente que você precisa proteger suas soluções digitais contra hackers tradicionais, onde as pessoas invadem um sistema. Mas o aprendizado de máquina moderno, que é baseado em dados do mundo real, permite maneiras inteiramente novas de hackear.
  
  Freqüentemente, não é nem mesmo um hacker malicioso, mas simplesmente pessoas querendo zombar dos “robôs”. Por exemplo, quando as pessoas saltam na frente de carros autônomos para testar se vão frear.
• Recomendações e exemplos
• 👍 Pense na pior das hipóteses: sempre haverá alguém tentando enganar seu sistema automatizado. 
  
  👍 Considere como as pessoas reagirão ao seu sistema automatizado e leve em consideração suas reações. 
  
  👍 Esteja ciente de que sistemas antiéticos criarão mais motivação para hackers e manipulação de dados.
  
  😞 O mau exemplo
  
  ##mobile-alt## Uma empresa vietnamita de segurança de TI demonstrou que pode hackear o recurso de reconhecimento facial em um iPhone X. Isso é feito criando uma “máscara dupla” impressa em 3D por menos de 1.900 reais (cerca de 300 euros). Portanto, você não precisa ser um especialista em computadores para invadir um iPhone - tudo o que você precisa é uma foto da sua vítima e acesso a uma impressora 3D.
  
  😇 O bom exemplo
  
  ##google## O Google é o mecanismo de busca mais importante do mundo e pode ser vida ou morte para as empresas, estejam ou não no topo dos resultados de pesquisa do Google. Portanto, é claro, muitos tentam descobrir os algoritmos do Google para que possam subir na página de resultados. Às vezes, as pessoas cruzam os limites e usam métodos que tentam hackear o algoritmo do Google. É também conhecido como black hat search engine optimization. 
  
  O Google está em uma batalha perpétua contra esses hackers, que não invadem os sistemas do Google, mas tentam hackear os dados que o Google usa para classificar os resultados. Até agora, o Google venceu a batalha contra os black hats. Mas é uma batalha eterna que requer milhares de funcionários dedicados que estão constantemente desenvolvendo seus algoritmos.

• [message]
•  Design Comportamental 🔝
• Os humanos nem sempre são racionais. Tomamos decisões com base nas emoções, que podem ser manipuladas por meio de design comportamental, por exemplo, por cutucadas. Na melhor das hipóteses, o design comportamental é usado para ajudar as pessoas a tomarem decisões sábias, mas, na pior das hipóteses, o design comportamental pode ser usado para manipular as pessoas em direções que lhes são prejudiciais. É sua escolha ética se você deseja usar o design comportamental para ajudar ou para manipular.

• [accordion]
• 01. Seu projeto lida com emoções negativas?
• Estudos mostram que a maioria das pessoas se esforça mais para evitar uma perda em comparação com o que fariam para obter o mesmo ganho. Se você deseja que as pessoas façam algo, é mais eficaz assustá-las com algo negativo do que motivá-las com positividade, uma tática usada por vendedores, seguradoras e varejistas de equipamentos para bebês durante anos.
  
  No mundo digital, a motivação pelo medo torna-se ainda mais eficaz porque, combinada com os dados do usuário, pode tornar as mensagens de medo cada vez mais personalizadas. É claro que existe um equilíbrio ético. É um jogo justo quando uma empresa de previdência informa às pessoas que elas não estão economizando o suficiente para a aposentadoria, mas se combinarem essa mensagem com a imagem de uma senhora comendo comida de gato, você começa a ir além dos limites éticos do design comportamental digital.
• Recomendações e exemplos
• 👍 Pense se você usa o medo, a incerteza e a dúvida como motivação em seu projeto.
  
  👍 Seja especialmente cuidadoso com mensagens de medo baseadas no conhecimento sobre o usuário.
  
  👍 Pense se você pode transformar a comunicação negativa em positiva.
  
  👍 Esteja ciente de que informações falsas como “apenas um produto restante” podem ser enganosas.
  
  😞 O mau exemplo
  
  ##bed## Muitos sites de reserva de hotel usam mensagens que informam ao usuário que um número x de pessoas já reservou e que você precisa se apressar para reservar ao preço mostrado. Os usuários temem que a oferta e a viagem dos sonhos desapareçam ou que o preço dobre a qualquer minuto. Essa prática é em si antiética porque usa o medo e a insegurança para motivar os usuários. Mas também pode ser totalmente ilegal se os prazos e reservas declarados não forem verdadeiros. Muitos sites de reservas estão sob os holofotes das autoridades de concorrência por causa dessa prática.
  
  😇 O bom exemplo
  
  💸 Tobi é uma startup dinamarquesa que ajuda os pais a investirem as economias dos filhos. A mensagem deles é que é muito mais eficiente investir as economias dos filhos do que deixá-las em uma conta bancária normal. Eles usam comparações para mostrar o que essa diferença pode significar quando as crianças completam 18 anos, mas não usam o medo nessas mensagens. Eles usam exemplos concretos, mas não contam histórias sobre como será horrível ter 18 anos sem economias para crianças em um mundo onde um apartamento de dois quartos em Copenhague custará 10 milhões de coroas dinamarquesas (ou bem mais de um milhão de libras ou euros).
  
  
• 02. Você torna deliberadamente difícil para os usuários encontrar ou entender informações ou funcionalidades?
• O design digital geralmente trata da criação de interfaces amigáveis ​​e úteis para os usuários. Mas as empresas podem ter interesse em fazer com que os usuários façam coisas que não os beneficiam. Por exemplo, fazer com que os usuários continuem assinando um serviço que não usam, comprando mais produtos do que o necessário ou talvez dizendo sim para condições que não são do seu interesse.
  
  Nesses casos, o design pode se desenvolver em um design manipulativo. Também conhecido como padrão escuro, em que você usa truques de design astutos para fazer os usuários fazerem coisas que não são vantajosas. Freqüentemente, trata-se de ocultar informações importantes ou realçar outras informações usando cores, animações, tamanhos de fonte ou outras ferramentas gráficas.
  
  A diretriz ética deve ser que você sempre deve projetar com base nos interesses de seus usuários. É claro que há um equilíbrio a ser encontrado. Mas deve-se sempre evitar a manipulação deliberada, onde se pode dizer com certeza que se trata de beneficiar a empresa em detrimento do usuário.
• Recomendações e exemplos
• 👍 Ao projetar, você não deve pensar apenas na usabilidade, mas também nas necessidades do usuário. 
  
  👍 Preste atenção especial às crianças e outros públicos vulneráveis que são particularmente fáceis de manipular. 
  
  👍 Pense em como você se sentiria ao usar seu próprio design digital. 
  
  👍 O usuário testa todas as coisas que não são para o benefício da empresa (cancelamento de assinatura, devolução de produtos, etc.).
  
  😞 O mau exemplo
  
  ##amazon## Você tem uma conta na Amazon? Tente deletar a conta
  
  Se parecer complicado, você pode encontrar um manual aqui. 
  
  Dica: você precisa de mais de dez cliques e na verdade não é possível sem entrar em contato com alguém da Amazon.
  
  😇 O bom exemplo
  
  ##file-signature## A grande maioria dos serviços digitais baseados em assinatura oferece um período de teste gratuito com a condição de que você forneça as informações do seu cartão de crédito para que a assinatura possa começar automaticamente no final do período de teste. O resultado, claro, é que muitos usuários se esquecem de cancelar a assinatura e, portanto, permanecem presos como clientes pagantes, embora possam não querer. No entanto, há exceções - nomeadamente o jornal dinamarquês Information e a plataforma de treino de ciclismo Zwift. Ambos oferecem um período de teste gratuito em que você não precisa fornecer as informações do seu cartão. 
  
  Ambos se destacam dos concorrentes e parecem mais éticos e atraentes para os clientes.
• 03. Você explora a inabilidade de seu usuário de se concentrar em seu próprio benefício?
• Os usuários podem facilmente ler textos longos e se familiarizar com questões complexas online. Mas isso requer que eles estejam com a mentalidade certa, como quando estão ouvindo um podcast ou lendo longos artigos de revistas.
  
  No entanto, se o usuário está no processo de uma transação ou compra de produtos, download de aplicativos ou semelhantes, então não se pode esperar que os usuários tenham a capacidade de se familiarizar com questões complexas sobre cookies, rastreamento, uso de dados, criação de perfil, etc.
  
  Em outras palavras, você não deve esperar que os usuários tenham entendido sua política de dados ou suas regras de assinatura só porque clicaram no botão Aceitar. Você pode ter recebido uma aceitação legal, mas, eticamente, você não recebeu um endosso real.
• Recomendações e exemplos
• 👍 Evite textos longos e complexos tanto quanto possível. 
  
  👍 Tente dividir as informações em pedaços menores e apresentá-las quando for relevante. 
  
  👍 Se precisar da aceitação dos usuários, peça no contexto em que for adequado. 
  
  👍 Considere se você poderia tornar seu serviço menos complexo. 
  
  👍 Use redatores qualificados para escrever esse tipo de texto.
  
  😞 O mau exemplo
  
  🎓 A Universidade de Copenhague tem uma política de privacidade que certamente não é transparente para o público em geral. Por exemplo, ela afirma que a Universidade de Copenhague:
  
  “(…) Registra e processa dados pessoais com base no Artigo 6 do GDPR (A LGPD deles, nota do tradutor). O tratamento de dados pessoais sensíveis em projetos de investigação é abrangido por (…) ”. É necessário ter um entendimento jurídico e estar familiarizado com as várias seções do GDPR para entender como a Universidade de Copenhagen processa dados.
  
  😇 O bom exemplo
  
  🔎 O mecanismo de busca DuckDuckGo declara que a plataforma não está armazenando, compartilhando ou usando dados pessoais sobre os usuários.
  
  Eles resumem sua política de privacidade com a frase: “Não coletamos nem compartilhamos informações pessoais. Essa é a nossa política de privacidade em poucas palavras. ” A seguir, é explicado em linguagem humana quais dados são coletados e como. Ainda é um documento longo, mas propositalmente feito para ser o mais compreensível possível. O exemplo também mostra que as empresas com ética em dados normalmente acham mais fácil formular documentos de privacidade compreensíveis simplesmente porque têm menos a esconder e mais do que seus clientes se orgulharem.
• 04. Você manipula as ações aproveitando a necessidade das pessoas de serem sociais?
• As pessoas são sociais e a maioria de nós está constantemente em busca de reconhecimento social do que está ao nosso redor. É uma necessidade de ser explorado para melhor ou para pior. Por outro lado, nossa necessidade de reconhecimento social significa que ajudamos uns aos outros com conselhos e orientação por meio das mídias sociais. Mas esse mesmo desejo também pode ser o motivo pelo qual os adolescentes gastam milhares de dólares em skins digitais que os tornam mais populares no Fortnite.
  
  No mundo digital, as empresas podem explorar nosso desejo de serem aceitas socialmente a tal ponto que as consequências podem ser a dependência digital ou o consumo excessivo de produtos ou serviços digitais.
  
  Eticamente, não há problema em usar técnicas de design social para motivar as pessoas a realizar certas ações, mas é crucial manter os interesses mais profundos dos usuários em mente. Pense se suas interfaces sociais tornam as pessoas mais felizes ou infelizes.
• Recomendações e exemplos
• 👍 Cuidado ao usar ações sociais como uma moeda na qual os usuários precisam investir para alcançar algo diferente. As ações sociais devem ser o objetivo em si. 
  
  👍 Considere como os designs sociais podem se desenvolver quando muitos usuários usam seu serviço. O serviço muda de caráter quando todos o usam? 
  
  👍 Incorpore bloqueios de parada em seus projetos sociais para que as pessoas não se empolguem. Por exemplo, defina restrições sobre compras ou consumo de tempo. Lembre-se de que a interação social pode ser muito viciante.
  
  😞 O mau exemplo
  
  🎮 Quando o Pokémon Go foi lançado em 2016, ele era um jogo de realidade aumentada bastante inocente, que tratava de coletar monstros Pokémon digitais no mundo real. O jogo assumiu um caráter social à medida que as pessoas começaram a compartilhar informações sobre a localização dos melhores Pokémons, o que significava que as grandes cidades de repente foram invadidas por enxames de caçadores de Pokémon inconsequentes que olhavam para suas telas e pisoteavam tudo e todos em seu caminho. 
  
  Não foi uma consequência planejada, mas uma consequência do jogo se tornar socialmente viciante e sem bloqueios de parada que poderiam impedir um grande número de pessoas de se reunir.
  
  😇 O bom exemplo
  
  ##instagram## O Instagram é, no mínimo, um serviço que se beneficia da necessidade de reconhecimento social. Mas em 2020, depois de muitas críticas, o Instagram admitiu que poderia sair do controle para alguns usuários, que se tornaram fortemente dependentes de colher o máximo de curtidas possível. Para reduzir a dependência do reconhecimento social, o Instagram removeu a capacidade de ver quantas curtidas as fotos receberam. 
  
  Uma iniciativa relativamente pequena em uma plataforma grande como o Instagram, mas um exemplo positivo de um pequeno passo em uma direção de design mais ética.
• 05. Você está tentando criar vício em seu produto com truques baratos?
• Muitas empresas desejam que seus produtos sejam usados ​​o máximo possível, especialmente se os produtos forem financiados por meio de anúncios. É, portanto, tentador usar nudging, mecanismos sociais ou dados para fisgar seus usuários. Pode significar o uso excessivo de notificações ou pode ser o uso de recursos em que as pessoas aumentam seu status social por serem mais ativas em uma plataforma.
  
  Claro, é eticamente correto projetar produtos que sejam tão bons que as pessoas fiquem viciadas. Torna-se antiético quando os truques viciantes contribuem apenas para criar vício e não tornam o produto melhor. Pode ser um equilíbrio ético complicado de se encontrar!
• Recomendações e exemplos
• 👍 Pergunte aos usuários se eles acham que estão gastando muito tempo ou muito dinheiro com seu serviço. 
  
  👍 Inclua bloqueios de parada que evitam a dependência excessiva de seu produto. 
  
  👍 Pense em grupos-alvo vulneráveis, como crianças ou viciados em jogos de azar que se viciam mais facilmente.
  
  😞 O mau exemplo
  
  ##snapchat## O Snapchat tem um recurso chamado streaks, que motiva as pessoas a manter as conversas no Snapchat o maior tempo possível. Quanto mais tempo a conversa vai e volta, melhor será a sequência e mais recompensas os parceiros de conversa receberão na forma de emojis engraçados.
  
  Um exemplo clássico de design que não torna o produto melhor, mas serve apenas ao propósito de manter as pessoas na plataforma.
  
  😇 O bom exemplo
  
  ##video## Netflix é um serviço que pode ser muito viciante porque você sempre recebe recomendações de conteúdo relevante com base em suas preferências pessoais. No entanto, a Netflix também tinha um recurso que iniciava automaticamente o próximo episódio de uma série assim que terminava uma. Aqui, os usuários estavam sendo estimulados a ficar presos e empolgar muitos episódios seguidos. 
  
  É um exemplo de design que não agrega muito valor extra ao usuário (não é difícil clicar no botão iniciar), mas, em contrapartida, pode criar um vício onde o usuário não se beneficia. 
  
  Desde então, a Netflix removeu esse elemento de design, de modo que a série não inicia mais automaticamente.
• 06. Você valida ou desafia seus usuários?
• O cliente está sempre certo! As empresas devem sempre dar aos clientes o que eles desejam e, com inteligência artificial e algoritmos, fica mais fácil descobrir exatamente o que os clientes desejam. O problema é que você pode acabar conhecendo seus clientes tão bem que nunca desafia suas preferências, mas dá a eles mais do mesmo.
  
  Considere se um bom atendimento ao cliente envolve mais do que oferecer aos clientes mais do mesmo. Talvez também envolva desafiar os clientes e mostrar-lhes novos produtos ou informações surpreendentes. É um equilíbrio difícil, onde não se deve tornar-se paternalista e manipulador. As pessoas querem escolher livremente, mas a maioria também tem um forte desejo de descobrir novas oportunidades e ver novas perspectivas no mundo.
• Recomendações e exemplos
• 👍 Construa algoritmos que não criem câmaras de eco. Crie algoritmos que cometem erros aleatórios deliberadamente para expor os usuários a menos do mesmo. 
  
  👍 Considere suas métricas: torne-o um KPI para expor os usuários a novos conteúdos ou novos produtos. 
  
  👍 Combine - na medida do possível - recomendações algorítmicas com recomendações humanas. 
  
  😞 O mau exemplo
  
  ##youtube## Se você observar crianças pequenas usando o YouTube, notará como elas clicam rapidamente nos vídeos recomendados pelo algoritmo. Uma criança pode rapidamente deixar de assistir a um vídeo informativo sobre dinossauros em um universo sem sentido de desenhos animados produzidos de forma barata para as crianças clicarem. Os algoritmos atraem as crianças para câmaras de eco de conteúdo que têm o único propósito de fazer com que as crianças demorem (e assistam aos comerciais). 
  
  Em outras palavras, o YouTube é um meio inadequado para crianças, o que é ruim tanto para crianças quanto para o YouTube.
  
  😇 O bom exemplo
  
  🎵 A maioria dos serviços de streaming de música usa recomendações algorítmicas, que criam listas de reprodução personalizadas para seus usuários. Muitos deles tendem a criar câmaras de eco musical onde os gostos musicais dos usuários raramente são desafiados. Neste mercado, o serviço Tidal se destaca por ter contratado um pequeno exército de curadores que fazem playlists feitas por humanos. Nem todos os usuários gostam das playlists do Tidal, mas a estratégia dá ao Tidal um perfil ético que se destaca significativamente da concorrência.

• [message]
•  Dados 🔝
• Os produtos e serviços digitais ficam melhores com os dados e, portanto, é tentador coletar o máximo de dados possível. Mas não é legal coletar dados desnecessários. E mesmo se alguém estiver dentro dos limites da lei, a coleta de dados pode facilmente se tornar muito desigual, portanto, é a empresa que colhe todos os benefícios enquanto os clientes ficam sem conhecimento ou controle sobre seus próprios dados. É sua escolha ética se você, como empresa, usará os dados de uma forma que aumente o senso de controle das pessoas ou se usará os dados exclusivamente para seu próprio benefício.

• [accordion]
• 01. Você está coletando muitos pontos de dados e os mantém por muito tempo?
• Quando os dados são considerados o novo petróleo e a inteligência artificial se torna melhor com mais dados, pode ser tentador coletar dados sem restrições. No entanto, você deve estar ciente de que a coleta excessiva de dados é ilegal de acordo com o GDPR (a LGPD europeia) e, além disso, também é antiética, impraticável e arriscada.
  
  Grandes quantidades de dados aumentam o risco de vazamento de dados e também torna mais difícil para você lidar com os dados em nome do usuário.
  
  Por fim, é profundamente antiético coletar dados que não sejam altamente críticos para os negócios, porque expõem os usuários a riscos desnecessários de violações de privacidade e porque ajuda a fortalecer a desigualdade de dados entre empresas e cidadãos.
• Recomendações e exemplos
• 👍 Sempre tente remover um ponto de dados para usuários em vez de adicionar um novo.
  
  👍 Sempre pergunte a si mesmo se você precisa desse ponto de dados específico.
  
  👍 Certifique-se de limpar os dados antigos que não são mais necessários.
  
  😞 O mau exemplo
  
  🎓 As escolas secundárias dinamarquesas usam a plataforma Lectio para administração e comunicação entre professores e alunos. O problema com a Lectio é que os dados coletados não são excluídos, o que significa que os professores podem voltar no tempo e encontrar informações sobre notas e licenças médicas de alunos que concluíram o ensino médio há muito tempo. Os dados estão disponíveis para que todos os professores de uma escola possam acessar as informações sem uma senha. A prática é provavelmente uma violação do GDPR, mas também é um tratamento antiético de dados porque eles estão armazenando dados que não têm nenhum propósito.
  
  😇 O bom exemplo
  
  🔎 DuckDuckGo é uma alternativa ao mecanismo de pesquisa do Google que não coleta dados do usuário nem rastreia pesquisas do usuário na web. DuckDuckGo nem sabe quantos usuários possui, pois não rastreia usuários. Como o DuckDuckGo não armazena informações sobre os usuários, eles verão apenas anúncios relacionados à sua pesquisa atual. Ao usar o DuckDuckGo, fica claro para os usuários que eles não estão sendo rastreados nas páginas da web e que o mecanismo de busca não está coletando muitos dados sobre seus movimentos online.
• 02. Você anonimiza seu dados?
• Por padrão, você deve sempre presumir que sua coleta de dados pode ser publicada online amanhã. Quais seriam as consequências então? Os indivíduos podem ser identificados em seus dados? Ou você garantiu que os dados sejam tão anônimos que nada pode ser divulgado sobre o indivíduo? O anonimato não é fácil. Não é suficiente remover nomes, endereços ou números de previdência social porque a identidade de alguém pode muitas vezes ser deduzida combinando ou mesclando dados com outros conjuntos de dados disponíveis publicamente.
  
  Você pode não coletar dados pessoais, mas deve estar ciente de que dados aparentemente inofensivos também podem ajudar a identificar indivíduos. Por exemplo, pode-se derivar hábitos alimentares das coleções de receitas dos usuários para determinar quaisquer doenças crônicas.
• Recomendações e exemplos
• 👍 Certifique-se de que os dados sobre pessoas e suas informações identificáveis sejam separados com segurança. 
  
  👍 Considere se você realmente precisa de dados sobre pessoas individuais ou se agregar dados é suficiente. 
  
  👍 Convide especialistas independentes para avaliar se seus dados anônimos podem ser anonimizados pela fusão de dados.
  
  😞 O mau exemplo
  
  🚴 Em 2017, o aplicativo de treinamento Strava publicou um mapa-múndi, que mostrou dados agregados para todas as rotas de ciclismo e corrida que as pessoas carregaram para o Strava - aparentemente sem complicações, porque todos os dados eram anônimos. Mas o problema é que em países como o Afeganistão, havia muito pouca atividade além de locais selecionados, ou seja, bases dos EUA, onde os soldados usavam o aplicativo durante o treinamento. Acontece que o mapa passou a mostrar localizações precisas e rotas de bases e soldados que se exercitavam por conta própria na paisagem. Em outras palavras, ele estava mostrando dados confidenciais.
  
  😇 O bom exemplo
  
  🚴 Usar o aplicativo de treinamento Strava para rastrear e compartilhar passeios de bicicleta parece inocente para a maioria dos usuários. Mas poucas pessoas pensam sobre o fato de que saber onde um passeio de bicicleta começa e termina também é saber onde uma bicicleta cara está estacionada. Dados preciosos para ladrões de bicicletas. Portanto, a Strava optou por obscurecer o ponto exato onde um passeio de bicicleta começa e termina, mesmo que forneça uma experiência de usuário pior para aqueles que compartilham o passeio de bicicleta e para aqueles que seguem os passeios de bicicleta de seus amigos. Eles sacrificaram um pouco a experiência do usuário em troca de oferecer aos usuários um aplicativo muito mais seguro.
• 03. Como se armazenam os dados?
• Existe um dever ético e legal de armazenar dados com segurança. No entanto, ainda ocorrem erros durante o armazenamento de dados, e os erros geralmente ocorrem porque as empresas e organizações simplesmente não pensam em armazenar dados confidenciais. As plataformas digitais geralmente tornam muito fácil coletar e armazenar dados. Portanto, a coleta de dados também pode acontecer sem controle dentro de uma organização.
  
  Um exemplo é a empresa dinamarquesa Medicals Nordic, que foi responsável por testar pacientes corona. A empresa usou o WhatsApp para fluxos de trabalho diários e, quando de repente teve que testar milhares de dinamarqueses, eles optaram por continuar usando o WhatsApp como a plataforma para compartilhar os resultados dos testes. Posteriormente, a empresa foi despedida pelas regiões dinamarquesas. Mas o exemplo mostra que muitas vezes é a simples falta de consideração que leva ao processamento de dados insuficiente.
• Recomendações e exemplos
• 👍 Certifique-se de que todos os funcionários estejam familiarizados com as regras fundamentais sobre o uso de dados. 
  
  👍 Considere o uso de plataformas online onde você não tem controle total sobre os dados (Facebook, WhatsApp, Dropbox, etc.). 
  
  👍 Se você não é um especialista em armazenamento de dados, deve contratar especialistas externos para proteger suas soluções.
  
  😞 O mau exemplo
  
  🐒 O Copenhagen Zoo tem 140.000 portadores de cartão anuais. A página de login para esses titulares de cartão anual não tinha restrições às tentativas de login, o que tornava mais fácil para pessoas não autorizadas experimentar e acessar as informações pessoais dos titulares de cartão, incluindo número do cartão, nome, endereço e e-mail. Foi denunciado como uma violação da segurança de dados pessoais e criticado pela Agência Dinamarquesa de Proteção de Dados.
  
  Agora, o zoológico fez com que seus membros mudassem as senhas e eles introduziram a função “Eu não sou um robô”, que garante que um programa não trapaceie o sistema. Além disso, eles introduziram um recurso que, após três tentativas malsucedidas, o sistema bloqueará o acesso por uma hora.
  
  😇 O bom exemplo
  
  ##telegram## Telegram é um serviço de chat online semelhante ao WhatsApp e ao Facebook Messenger. No entanto, o Telegram concentra-se fortemente na criptografia e na proteção da privacidade. O Telegram tem, entre outras coisas, uma função de segurança de dados chamada Chats Secretos. Ao enviar mensagens através de Chats Secretos, o chat é totalmente criptografado, e nenhum dado é armazenado centralmente ou acessível aos funcionários do Telegram. Você também não pode encaminhar bate-papos secretos e pode até mesmo definir as mensagens para serem excluídas automaticamente do remetente e do destinatário após um determinado período. Os bate-papos secretos são, portanto, seguros, contanto que você tenha seu telefone guardado com segurança no bolso.
• 04. Você fornece às pessoas acesso aos seus próprios dados?
• Para que as pessoas tenham controle sobre seus dados, também precisam acessá-los. Isso significa:
  
  ➫ Você deve garantir que todos os dados coletados sobre seus usuários fiquem visíveis para o usuário.
  
  ➫ Mesmo que você colete dados de muitas fontes, você deve se certificar de que o usuário pode acessar seus dados de um só lugar.
  
  ➫ Você tem a responsabilidade de apresentar os dados de forma que sejam compreensíveis para o usuário, mesmo que sejam enigmáticos.
  
  Você é ético se tem uma área dedicada em suas soluções digitais onde as pessoas podem acessar dados que lhes dizem respeito. Deve ser fácil de encontrar e os dados devem ser fáceis de ver e compreender. Se os dados forem usados ​​para criar novos dados (por exemplo, por meio de criação de perfil), os novos dados devem ser tão claros e facilmente acessíveis. Além disso, as pessoas precisam ter controle sobre os dados. Essencialmente, os usuários sempre devem ser capazes de excluir dados. Se fizer sentido, os usuários também devem ter a opção de corrigir seus dados para torná-los mais precisos.
• Recomendações e exemplos
• 👍 Pergunte a seus usuários como eles gostariam de acessar seus dados. 
  
  👍 Teste sua solução para ver se os usuários podem acessar e entender seus dados.
  
  😞 O mau exemplo
  
  💰 A maioria dos dinamarqueses usa uma solução de banco online onde você geralmente tem acesso total a todos os dados sobre suas finanças. No entanto, os bancos costumam usar dados financeiros para traçar o perfil de seus clientes em diferentes segmentos de receita, e muito poucos bancos exibem esse perfil para seus clientes. 
  
  Os bancos também têm dados sobre quanto ganham por cada cliente (o preço de ser um cliente no banco), mas essa informação também não está disponível nas plataformas de banco on-line. 
  
  Os bancos são, portanto, adeptos de fornecer dados brutos, mas quando se trata de dados agregados, que podem ser muito valiosos para seus clientes, suas soluções digitais são severamente limitadas.
  
  😇 O bom exemplo
  
  ##facebook## Após o escândalo Cambridge Analytica, o Facebook foi criticado por coletar muitos dados sobre seus usuários, sem o conhecimento dos usuários. Posteriormente, o Facebook projetou uma área abrangente e amigável na plataforma, onde você pode obter uma visão geral de seus dados. O Facebook também oferece opções para restringir a coleta de dados e excluir dados pessoais. Como o modelo de negócios do Facebook é sobre coleta de dados, a empresa muitas vezes torna difícil encontrar lugares onde você possa restringir o acesso aos dados. Em alguns casos, os usuários são avisados de que perderão funcionalidade se não permitirem a coleta de dados, o que é antiético e está à margem da legislação da UE.
• 05. Você obteve permissão do usuário para coletar e processar dados?
• A maioria das empresas entendeu que requer permissão para coletar dados sobre seus clientes e usuários. O problema ético é mais frequentemente sobre se a pessoa obteve consentimento real quando o usuário também entende o que isso acarreta. Pense nos muitos pop-ups de cookies que os usuários encontram hoje online. Quantos usuários sabem o que estão fazendo ao aceitar cookies?
  
  Você tem a obrigação ética de obter permissão de uma forma que seja compreensível para seus usuários. Freqüentemente, significa que você precisa se comunicar de forma muito mais concisa e pedagógica. Mas lembre-se de que, se for difícil explicar por que você está coletando dados, então pode haver o caso de não coletá-los em primeiro lugar.
• Recomendações e exemplos
• 👍 Não deixe que os advogados escrevam os textos sozinhos para os usuários / clientes. Deixe os comunicadores escreverem. 
  
  👍 Lembre-se de que raramente textos com mais de 5 a 10 linhas são lidos do começo ao fim. 
  
  👍 Considere ter dois documentos: um formal/legal e um documento que seja fácil de ler, mas talvez não totalmente correto do ponto de vista jurídico. 
  
  👍 Se você não puder obter permissão real e totalmente informada de seus usuários, não colete dados.
  
  😞 O mau exemplo
  
  💃 A maioria dos usuários do Facebook está ciente de que seus dados são usados para direcionar anúncios e outros conteúdos. Mas apenas o mais raro dos usuários do Facebook entende como seus dados podem ser usados e mal utilizados. Um exemplo flagrante é o app Girls Around Me, desenvolvido na Rússia. O aplicativo combina os dados disponíveis gratuitamente do Facebook e do Foursquare para criar um aplicativo perseguidor onde (normalmente) os homens podem fazer login no aplicativo e ver as mulheres próximas com dados sobre quando elas estiveram em um local específico pela última vez. O aplicativo causou um grande rebuliço quando foi lançado e, desde então, foi removido da Appstore.
  
  😇 O bom exemplo
  
  🍪 No momento em que este artigo foi escrito, a telcom dinamarquesa usava um pop-up de cookie que permite aos usuários escolher entre “Todos os cookies” e “Apenas os cookies necessários”. Com um único clique, o usuário pode desmarcar todos os cookies, exceto os cookies técnicos necessários para o funcionamento do site. É uma forma amigável de obter aceitação para cookies. Você ainda tem a oportunidade de mergulhar mais fundo nas informações e ajustar ainda mais sua escolha (o que, no entanto, provavelmente só é feito por alguns).
  
  Por outro lado, a TDC optou por colorir o botão "Todos os cookies" de um azul atraente, enquanto o botão "Somente necessários" é branco em um fundo branco. Aqui, não há dúvidas sobre o que a TDC deseja do usuário, e a empresa poderia ter projetado de forma mais ética.
• 06. Você informa seus usuários sobre como eles são perfilados?
• A inteligência artificial e os algoritmos estão cada vez melhores na localização de padrões em dados e, frequentemente, eles veem padrões em dados que não são imediatamente visíveis ao olho humano. Empresas e organizações podem desenvolver perfis sobre seus clientes e usuários que contenham conhecimentos que nem mesmo os próprios usuários conhecem. As empresas podem determinar a credibilidade e as preferências das pessoas em livros, juntamente com doenças mentais, preferências sexuais e atitudes políticas.
  
  Isso cria alguns desafios éticos óbvios, tanto em relação à desigualdade quanto aos direitos humanos. A criação de perfil pode estabelecer um alto grau de desigualdade entre a empresa que apresenta o perfil e a pessoa que (talvez sem saber) é vítima da criação de perfil.
  
  A definição de perfis também pode entrar em conflito com os direitos fundamentais, que consistem em não armazenar dados pessoais confidenciais ou discriminar com base em gênero, raça, sexualidade, etc.
• Recomendações e exemplos
• 👍 Esteja ciente de que o perfil de banco de dados pode violar direitos humanos fundamentais. 
  
  👍 Não crie perfis que acabem sendo dados pessoais. 
  
  👍 Sempre informe seus usuários e clientes sobre o perfil deles. 
  
  👍 Faça com que seja fácil para os usuários entenderem como você criou seus perfis. 
  
  👍 Os dados de perfil também são propriedade dos usuários, e eles têm o direito de acessar e excluir este tipo de dados.
  
  😞 O mau exemplo
  
  ##bullseye## A Target é uma varejista americana que coleta grandes quantidades de dados sobre o comportamento de compra das pessoas, usando esses dados para traçar o perfil de seus clientes. Os perfis são para o envio de ofertas personalizadas de produtos. Uma maneira é criar perfis sobre se as clientes apresentam sinais de gravidez para enviar sugestões de produtos para gravidez e bebês. Em 2012, isso resultou no envio de ofertas relacionadas à gravidez para uma jovem estudante do ensino médio, embora nem ela nem seus pais soubessem de sua gravidez. Essa história criou problemas na pequena família e fez a Target reconsiderar seu uso de perfis no marketing.
  
  😇 O bom exemplo
  
  ##facebook## O Facebook raramente é uma empresa apresentada como particularmente ética em dados, mas a empresa é boa em mostrar como seus dados coletados categorizam (perfis) o usuário individual em diferentes áreas de interesse, usados para direcionar anúncios. Você pode encontrar essas informações nas configurações de privacidade do seu Facebook. É fácil de encontrar e amigável. Você pode obter uma visão geral das centenas de interesses vinculados ao seu perfil no Facebook. 
  
  Os usuários também podem optar por excluir informações para remover o marketing pessoal nesta área de assunto.

---

Fonte: Danish Design Center

CC - Creative Commons Attribution License.

Traduzido e visto no Brasil Acadêmico