Algoritmos podem reproduzir discurso de ódio e preconceito

Como você chegou até aqui? Não digo isso de forma filosófica; mas de interesse mesmo. No exato momento em que você estiver lendo este artigo, cookies estarão armazenando dados da sua navegação na internet. Eles leram os comentários que você fez em suas redes sociais, os portais de notícias que você acessa, as músicas que escuta, a localização do seu acesso à Internet e seu deslocamento capturado pelo GPS do seu smartphone. Tudo isso,  para no final gerar um padrão de comportamento.

Faça o seguinte exercício, leitor:

1. Vá ao Google;

2. Digite “namorada é” e observe os resultados;

3. Depois, digite “namorado é” e compare.

Percebeu que a busca sobre o que se faz com uma namorada é diretamente relacionada a situações de violência e o termo “namorado”, com assuntos jurídicos? O mecanismo do autocompletar do Google é baseado em algoritmos que consolidam milhares e milhares de busca – e já redeu muita polêmica.

Algoritmo pode ser definido a grosso modo como uma sequência lógica finita de instruções para resolver algum problema. Profissionais da computação ou indivíduos que programam, ao desenvolver um algoritmo, estão estabelecendo um padrão de comportamento que deverá ser seguido para alcançar a solução de um problema. Podemos pensar em algoritmo como uma receita de como fazer algo, uma sequência de instruções que dão cabo de uma meta específica. Estas tarefas não podem ser redundantes nem subjetivas na sua definição, devem ser claras e precisas.

Mas até que ponto podemos dizer que eles são neutros? Não podemos, na verdade.

Ideologia por trás dos algoritmos?

Eles são construídos de modo que algumas visões de mundo, ideologias e pontos de vista se destacam e impõem-se, seja de forma intencional ou não. Grandes empresas de tecnologia como Google, Facebook, Uber, AirBnB argumentam que tais programações são criadas em ambientes neutros por serem, justamente, feitas com mecanismos de automatização de decisões livres da interferência humana.

Infelizmente, não há como aferir esse posicionamento de forma contundente. A pesquisadora e professora Safiya U. Noble  escreveu em 2018 o livro “Algorithms of Oppression: how search engines reinforces racism”. Noble é Ph.D. pela Universidade de Illinois (EUA)  e, no livro, apresenta os resultados de ampla pesquisa sobre algoritmos e representação de determinados grupos, sobretudo mulheres e garotas negras no Google. Algo similar com o que sugerimos que você fizesse logo no início do texto.

Em “Algoritmos de Opressão” , Safiya Umoja Noble desafia a ideia de que os mecanismos de busca são neutros.

Em 2010, o sensor de movimento do console de videogame Kinect tinha problemas para identificar jogadores negros. Em 2015, Jacky Alciné, engenheiro de softwares descobre que o algoritmo do Google Fotos (aplicativo de organização de fotos) estava classificando seus amigos negros como “gorilas”. Em 2017, usuários asiáticos da Apple reportam que o Face Id, função que desbloqueia o aparelho por meio do reconhecimento facial, não consegue diferenciar um rosto chinês de outro. Essas falhas apontam para além de erros técnicos, seja de hardware ou programação, e inserem uma questão racial na concepção da tecnologia algorítimica.

Algoritmos erram. E esses erros podem arruinar uma vida.

O problema está tanto na esfera pública quanto privada

Mas engana-se quem pensa que algoritmo é algo que somente as gigantes de tecnologia usam. As instituições públicas também recorrem a eles para tomar decisões relevantes. Os algoritmos erram, e esses erros podem arruinar uma vida. A pesquisadora e matemática do MIT, Cathy O’Neil, conta em seu livro diversos exemplos. Conta ela que no condado de Allegheny (Pittsburgh, Pensilvânia), um algoritmo do escritório, de crianças, de jovens e de famílias tenta prever o comportamento futuro dos pais para evitar abusos ou maus-tratos. Faz isso especulando o que é provável que os sujeitos analisados façam, com base nos patrões de comportamento que mostraram indivíduos similares no passado.

Todo isso a partir de dados públicos, o que por si só, como demonstra a autora, já é uma grande discriminação socioeconômica (nos EUA, quem recorre ao sistema público é quem não pode pagar o privado). Escola pública, departamento de habitação, serviço de apoio ao desempregado, polícia do condado… as pessoas que se relacionam com essas instituições são mais pobres do que ricas, sem dúvida. E nos EUA, os pobres são, na maioria, negros, latinos e membros de outras minorias étnicas.

As famílias ricas, explica Eubanks, também podem ser disfuncionais, mas o sistema do condado de Allegheny não reconheceria isso: as clínicas de desintoxicação e os psiquiatras, por exemplo, não estão dentro do sistema público e, portanto, não computam para o algoritmo.

Solução a curto prazo não existe

Em outro texto publicado aqui também, falamos sobre o impacto da Lei Geral de Proteção de Dados. Esse é um caminho que auxiliará a redução de erros como este e a reiteração de eventos no qual as máquinas reproduzem atitudes racistas.

Como as equipes que desenvolvem os algoritmos, em geral, não são interdisciplinares (não entendem de direito, sociologia ou ética), criam sistemas que do seu ponto de vista estão muito bem feitos. Embora atuem em áreas nas quais não têm formação e tão complexas como as de educação, saúde e outros serviços públicos. Se isso ocorrer, boa parte desses problemas podem ser sanados. Já passou a hora de termos sociólogos, antropólogos e até mesmo filósofos em times de tecnologia para ajudar a construir nortes na programação dos algoritmos.