#AlgoritmoRacista: racismo em modelos matemáticos é mais uma expressão do problema estrutural

Racismo em modelos matemáticos, os chamados algoritmos, é tema de pesquisa no Brasil. Há diversos exemplos na internet que são alvo de críticas e reflexões de pesquisadores. Especialistas apontam que o fenômeno é uma extensão do racismo estrutural da sociedade.

Como uma pessoa negra que é automaticamente reconhecida como gorila em uma plataforma digital para fotos. Em uma mídia social, o recorte automático de uma foto fora do padrão de visualização privilegia rostos de pessoas brancas. Em outra rede, uma mulher negra tem seu alcance de postagens aumentado em 6.000% ao publicar mulheres brancas.

Racismo em algoritmos é tema de pesquisa

Esses exemplos não são pontuais e têm sido criticados por usuários e virou tema de pesquisas. O pesquisador Tarcizio Silva, doutorando em Ciências Humanas e Sociais na Universidade Federal do ABC (UFABC), explica que é necessário se perguntar como esses sistemas são usados de forma a permitir “a manutenção, intensificação e ocultação do racismo estrutural”. Silva desenvolveu uma linha do tempo que demonstra casos, dados e reações.

Silva levanta questões sobre como os sistemas são alimentados, quais dados são aceitos, quem cria as tecnologias e quem é incluído ou excluído na multiplicação de dispositivos automatizados . Ele afirma que o racismo nos algoritmos é uma extensão do racismo estrutural.

“A solução não está somente na transparência de códigos, mas sim na apropriação e crítica social da tecnologia. O racismo algorítmico é uma tecnologização e automatização do racismo estrutural.”
Tarcizio Silva

Idealizadores do blog Tecnocríticas, Renata Gusmão, Gabriela Guerra e Felipe Martins atuam na área de tecnologia da informação (TI) e usam a internet para discutir, entre outros temas, a ausência de neutralidade da tecnologia.

“Quem pensa esses algoritmos são pessoas dentro de uma sociedade machista, racista, desigual. Logo a lógica por trás de uma solução carrega esses mesmos valores. Não estão considerando a diversidade dos usuários finais e acabam reforçando desigualdades e discriminações do mundo ‘real.’
Renata Gusmão, Gabriela Guerra e Felipe Martins, Tecnocríticas

#AlgoritmoRacista: racismo no Twitter

Um dos casos de maior repercussão recentemente ocorreu no Twitter, com o recorte automático de fotos que privilegiavam rostos brancos. Milhares de usuários usaram a hashtag #AlgoritmoRacista, na própria rede, para questionar a automatização que expunha o racismo.

Na ocasião, o microblog pediu desculpas aos usuários. Em comunicado divulgado dia 21 de fevereiro de 2020, o Twitter afirmou que testou o serviço antes de começar a usá-lo, mas passou a aceita que não havia ido longe o suficiente.

O Twitter corta automaticamente as imagens para evitar que ocupem muito espaço no feed principal e para permitir que várias imagens sejam mostradas no mesmo tweet. A empresa usa várias ferramentas algorítmicas para tentar focar nas partes mais importantes da imagem, tentando garantir que os rostos e o texto permaneçam na parte cortada da imagem.

Silva explica que essa descoberta mostrou o uso de algoritmos baseados em redes neurais, cuja técnica encontra regiões de interesse sobre a imagem a partir de dados levantados por rastreamento de olhar.

“Um acúmulo de dados e pesquisas enviesadas que privilegiavam a estética branca resultou no sistema que o Twitter usava e não conseguiu sequer explicar corretamente onde estava a origem da questão.”
Tarcizio Silva

Silva comenta que, à época, a plataforma se comprometeu a revisar o mecanismo. Ele critica que era preciso ter realizado um trabalho melhor ao prever essa possibilidade quando a ferramenta estava sendo projetada e construída.

O pesquisador avalia que o racismo algorítmico funciona por meio do acúmulo de uso de tecnologias pouco explicáveis e pouco ajustadas que, a princípio, otimizam algum aspecto técnico, mas na verdade mutilam a experiência dos usuários.

Reconhecimento facial expressa racismo

Fora das redes sociais, os danos do racismo algorítmico podem ser ainda maiores. Dados levantados pela Rede de Observatórios de Segurança mostram que, de março a outubro de 2019, 151 pessoas foram presas a partir da tecnologia e reconhecimento facial em quatro estados (Bahia, Rio de Janeiro, Santa Catarina e Paraíba). Nos registros que havia informações sobre raça e cor, ou quando havia imagens das pessoas abordadas (42 casos), observou-se que 90,5% eram negras. “As principais motivações para as abordagens e prisões foram tráfico de drogas e roubo”, aponta o relatório.

Silva lembra que, em países da Europa e regiões dos Estados Unidos, essa tecnologia tem sido alvo de questionamentos ou banimento. “Os motivos são vários, de imprecisão, a baixo custo-benefício ou a promoção de vigilantismo e violência estatal”, explica. Ele aponta que o sistema é impreciso para identificar faces de minorias. “Mas não importa um futuro onde o reconhecimento facial seja mais preciso: é uma tecnologia necessariamente racista em países onde seletividade penal e encarceramento em massa são o modus operandi do Estado”.

Saídas para #AlgoritmosRacistas

Para os integrantes do Tecnocríticas, combater essa expressão discriminatória dos algoritmos passa por garantir mais diversidade na área de TI.

“Seja garantindo que times responsáveis por pensar essas soluções tenham diversidade racial e de gênero, por exemplo, seja treinando robôs com dados diversos. Uma outra questão, também muito importante, é que a indústria de tecnologia responde às dinâmicas econômicas, então nem sempre essas soluções são as que realmente resolvem os problemas das pessoas, mas sim, as que geram lucro.”
Tecnocríticas

Silva acredita que o primeiro passo para a proteção é a “superação de qualquer presunção de neutralidade das tecnologias”. Ele aponta que tecnologias digitais emergentes, como o reconhecimento facial para fins policiais ou criação de escore de risco para planos privados de saúde já “nascem como derrotas humanitárias”. “Se efetivamente nos comprometermos com princípios do valor da vida humana, chegaremos à conclusão de que algumas tecnologias algorítmicas não deveriam sequer existir.”

Deputado socialista no enfrentamento ao racismo

O deputado federal Bira do Pindaré (PSB-MA) anunciou esta semana a criação da Subcomissão de Combate ao Racismo e Defesa dos Direitos Quilombolas aprovada e criada pela Comissão de Direitos Humanos e Minorias (CDH) da Câmara dos Deputados. O deputado é autor do requerimento que deu origem à Subcomissão.

No texto do requerimento, o socialista justificou a criação do grupo lembrando que o preconceito racial segue presente na sociedade brasileira. Ativista do combate ao racismo, ele considera fundamental que exista um espaço qualificado no Legislativo para debater as pautas referentes ao tema.

Com informações da Agência Brasil

Compartilhe!