Racismo algorítmico: o que é e qual é o impacto da discriminação na tecnologia

Reconhecido como uma consequência de enviesamento tecnológico, situação em que se percebe parcialidade em funções computacionais, o racismo algorítmico ocorre quando algoritmos discriminam imagens ou qualquer conteúdo digital de pessoas negras ou não-brancas. Em um recente caso no Twitter, por exemplo, usuários acusaram como racistas os critérios do algoritmo da rede social para cortar e destacar quadrantes de fotos publicadas na plataforma.

Apenas um entre diversos casos de racismo algorítmico, os testes no Twitter foram iniciados com imagens dos políticos estadunidenses Mitch McConnell (branco) e Barack Obama (negro). O programador e engenheiro de criptografia e infraestrutura Tony Arcieri postou duas imagens longas, com fotos de McConnell e Obama em posições alternadas, para ver qual teria prioridade no tuíte final.

O resultado não surpreendeu, e o político branco foi o rosto escolhido pelo algoritmo do Twitter em ambas as imagens.

Twitter admite viés racista de algoritmos 

Em resposta aos testes — que se tornaram virais e compararam dezenas de imagens de artistas e personalidades brancas com outras pretas e nã0-brancas —, o diretor de design do Twitter, Dantley Davis, admitiu.

“É 100% nossa culpa. Ninguém deve dizer o contrário. Agora, a próxima etapa é consertar isso”, escreveu em seu microblog.

Casos similares já aconteceram com a plataforma de videochamadas Zoom, questionada após um professor negro ter a cabeça ‘cortada’ durante uma aula online em que o educador tentou fazer uso de um fundo virtual, e com sistemas de reconhecimento facial utilizados para facilitar prisões, que já demonstraram predileção por acusar majoritariamente pessoas de pele escura como culpadas por delitos e como mais propensas à reincidência criminal.

Ainda pouco palpáveis para quem não sabe muito sobre tecnologia, os impactos e consequência do racismo algorítmico na vida de pessoas negras e não-brancas vão além de menos curtidas em redes sociais.

Como mostra um relatório divulgado este ano por empresas do mercado digital no Brasil, criadores de conteúdo pretos são notavelmente menos convidados para fazer parte de campanhas publicitárias — e não é por acaso. Longe de serem isolados um do outro, o racismo cada vez mais explícito em tecnologias online é reflexo do racismo estrutural enraizado na sociedade.

Da mesma forma que a falta de oportunidades em cargos mais altos, que a prioridade para a contratação de pessoas brancas e que os menores valores de salários impactam a vida profissional e financeira de pessoas pretas, o menor alcance, prestígio e participação de usuários negros na construção democrática de mídias sociais também é capaz de contribuir para a manutenção de sistemas racistas que subjugam e prejudicam milhões de indivíduos de pele escura.

Em um cenário capitalista e neoliberal, as consequências da falta de representatividade são capazes de atingir não só a autoestima de pessoas negras, indígenas e não-brancas — pauta de extrema importância sociopolítica —, mas também (e diretamente) as oportunidades para essas populações no mercado de trabalho, responsáveis pela geração de renda e movimentação da economia.

Para entender como todos esses impactos do mundo online podem atingir o mundo offline, é importante começar do início.

O que são algoritmos e como eles são construídos?

Responsável por alarmar (com razão) milhares de espectadores da Netflix, o documentário ‘O dilema das Redes‘, lançado recentemente, mostrou alguns dos principais perigos e questões envolvidas nas engrenagens por trás das mídias sociais.

Como o próprio filme apresenta, os algoritmos estão na base do que chega até nós por meio de plataformas como Facebook, Twitter, Instagram e Google. Mas o que, de fato, são eles?

Segundo Nina da Hora, 25 anos, estudante fluminense de Ciência da Computação na PUC-RJ, educadora, autodenominada hacker antirracista e divulgadora científica, os algoritmos podem ser comparados a receitas de bolo.

“Algoritmo é um dos conceitos mais básicos da computação, normalmente associado a uma receita de bolo. É um passo a passo para você resolver algo ou para realizar uma atividade, e a complexidade vai aumentando de acordo com a complexidade da atividade ou do problema que você tem para resolver”, explica a pesquisadora em entrevista ao Hypeness. “No caso das mídias sociais, tem pontos específicos dependendo do objetivo de cada um com o seu público-alvo”, continua a cientista, que foi criada em Duque de Caxias, na Baixada Fluminense. “Então, é algo mais focado em personalizar aquele ambiente digital para cada usuário que está ali”.

Ao mencionar o machine learning (aprendizado de máquina, em tradução livre), o brasiliense Marco Gomes, 34 anos, que foi aluno de Computação na UnB (Universidade de Brasília) e trabalha há mais de 20 anos com internet dentro e fora do Brasil, traz mais alguns pontos de vista sobre o conceito, também em entrevista ao Hypeness.

“Esses algoritmos especificamente, que regem as timelines de redes sociais e as priorizações — algoritmos de recomendação de próximo (proxímo conteúdo, próximo vídeo, próxima foto, próximo story, etc) — eles são, nas grandes redes, algoritmos de machine learning. Eles basicamente são algoritmos em que você coloca uma grande massa de dados nele, ele entende essa massa de dados e gera algum tipo de agrupamento como resultado”, diz o especialista, que cresceu na periferia do Distrito Federal e tem ampla experiência em programação, marketing e dados. “Então, os algoritmos são, na verdade, para entender padrões. E, a partir, do entendimento de padrões, um ‘humano’ reage enquanto ‘negócios’; e ‘negócios’ vão tomar decisões para incentivar padrões ou desincentivar padrões”, diz Marco.

Consequências do racismo algorítmico

Como consequência do racismo algorítmico, a primeira a ser listada é a invisibilização do trabalho de pessoas negras, indígenas e não-brancas na internet.

“Muitas pessoas negras e ativas nas redes sociais têm pouca visibilidade a seus conteúdos — que normalmente são de qualidade — e aqui não limito somente a influenciadores, mas [também] pesquisadores, professores“, diz Nina. “Infelizmente, o racismo tem o [mesmo] poder de estrago no ‘digital’ que ele tem no ‘real’. E a gente está falando de tudo, inclusive da morte, da limitação econômica, do exílio político forçado”, complementa a fala de Marco. “Do ponto de vista prático, agora, influenciadores pretos perdem nos algoritmos exatamente por esses problemas de preconceito generalizado.”

Caminhos possíveis para a mudança

Segundo diversos especialistas na área, não há uma resposta única para eliminar o racismo algorítmico e a discriminação na era da tecnologia. Mas há sugestões e caminhos possíveis.

Para o caso do Twitter e também para a luta antirracista na tecnologia no geral, Nina da Hora propõe algumas alternativas.

“Uma possibilidade que alguns pesquisadores apontaram também — como o André Mintz, da UFMG [Universidade Federal de Minas Gerais] — é o Twitter permitir que o corte da imagem seja feito pelo próprio usuário. Isso, claro, falando da perspectiva técnica”, diz a cientista da computação. “Outras dicas mais abrangentes para que a perspectiva branca seja alterada na tecnologia, seria a de ter mais pessoas negras, LGBTQI+ e pessoas com deficiência liderando as criações tecnológicas, e não somente como desenvolvedoras, mas como parte de tomadas de decisões. A invisibilização neste processo interfere muito no produto final.”

Marco Gomes também vê saídas para um futuro menos discriminatório e mais inclusivo no meio tecnológico e digital.

“Comitês de ética, transparência, dizer como os algoritmos funcionam, manter os algoritmos sob controle, porque hoje eles são descontrolados (descontrolados no sentido de que, a gente pede um objetivo para ele, e não sabe como ele chegou nesse objetivo). […] Algoritmos são tão poderosos quanto energia, quanto petróleo. […] Tem que ter regulação. Parar de deixar as empresas fazerem o que elas quiserem. Ter um pouco mais também de controle social, de ação coletiva. […] A gente pode se organizar, enquanto coletivo, para não deixas as empresas nadarem sozinhas e extraírem valor sozinhas”, comenta.

Atitudes como a do Google de mudar o racismo algorítmico do mecanismo de buscas para que a palavra ‘lésbica‘ não levasse mais a resultados relacionados à pornografia, e como a do Spotify de dar destaque a produções de criadores de conteúdos negros dentro da plataforma de streaming são passos iniciais de ações urgentes que moldarão os próximos passos da ética e da diversidade na tecnologia.

Malandro, e essa moral do Spotify hein pic.twitter.com/XJJv0VtTFv

— Leandro Santos | Mussum Alive (@MussumAlive) September 25, 2020

Com informações do Hypeness e do Mundo Negro