El racismo algorítmico es una tecnologización y automatización del racismo estructural

Un texto de noticiapreta.com.br

Una persona negra que se reconoce automáticamente como un gorila en una plataforma de fotografía digital. En las redes sociales, el recorte automático de una foto fuera del patrón de visualización favorece los rostros de las personas blancas. En otra red, el alcance de las publicaciones de una mujer negra aumentó en un 6000 % cuando publica mujeres blancas.

Estos ejemplos no son específicos y han sido objeto de críticas y reflexiones por parte de internautas e investigadores. ¿Cómo podrían los modelos matemáticos, los llamados algoritmos, ser racistas? ¿Qué es el racismo algorítmico? El investigador Tarcizio Silva, estudiante de doctorado en Ciencias Humanas y Sociales de la Universidad Federal del ABC (UFABC), explica que es necesario preguntarse cómo se utilizan estos sistemas para permitir “el mantenimiento, la intensificación y el ocultamiento del racismo estructural”. Silva desarrolló una línea de tiempo que demuestra casos, datos y reacciones.

“La solución no está solo en la transparencia de los códigos, sino en la apropiación y crítica social de la tecnología”, dice. Cómo se alimentan los sistemas, qué datos se aceptan, quién crea las tecnologías y quién está incluido o excluido en la multiplicación de dispositivos automatizados son algunos de los temas planteados por Silva. “El racismo algorítmico es una tecnologización y automatización del racismo estructural”, evalúa.

Los creadores del blog Tecnocríticas, Renata Gusmão, Gabriela Guerra y Felipe Martins trabajan en el área de tecnología de la información (TI) y utilizan internet para discutir, entre otros temas, la ausencia de neutralidad tecnológica. “Los que piensan que estos algoritmos son personas dentro de una sociedad sexista, racista y desigual. Pronto, la lógica detrás de una solución conlleva estos mismos valores. No están considerando la diversidad de los usuarios finales y terminan reforzando las desigualdades y la discriminación en el mundo 'real'”, señalan en una entrevista por correo electrónico a Agência Brasil. 

Racismo algorítmico

Una de las que más repercusión se ha producido recientemente en Twitter , con el recorte automático de fotos que favorecía a los rostros blancos. Miles de usuarios utilizaron el hashtag #AlgoritmoRacista, en la propia red, para cuestionar los automatismos que denunciaban el racismo. Silva explica que este descubrimiento mostró el uso de algoritmos basados ​​en redes neuronales, cuya técnica encuentra regiones de interés en la imagen a partir de datos recopilados por seguimiento ocular.

“Una acumulación de datos sesgados e investigaciones que favorecían la estética blanca resultó en que el sistema que usó Twitter ni siquiera pudo explicar adecuadamente de dónde venía el problema”, dijo el investigador. En su momento,  la plataforma se comprometió a revisar el motor. "Deberíamos haber hecho un mejor trabajo al anticipar esa posibilidad cuando estábamos diseñando y construyendo este producto".

“Así funciona el racismo algorítmico, mediante la acumulación de tecnologías inexplicables y mal ajustadas que, en principio, optimizan algún aspecto técnico, pero en realidad mutilan la experiencia de los usuarios”, añade el investigador.

Reconocimiento facial

Fuera de las redes sociales, el daño del racismo algorítmico puede ser aún mayor. Los datos recopilados por la Red de Observatorios de Seguridad muestran que, de marzo a octubre de 2019, 151 personas fueron detenidas utilizando tecnología y reconocimiento facial en cuatro estados (Bahía, Río de Janeiro, Santa Catarina y Paraíba). En los registros que contenían información sobre raza y color, o cuando había imágenes de las personas abordadas (42 casos), se observó que el 90,5% eran negros. “Las principales motivaciones de las paradas y detenciones fueron el narcotráfico y el hurto”, señala el informe.

Silva recuerda que, en países europeos y regiones de Estados Unidos, esta tecnología ha sido objeto de cuestionamiento o prohibición. “Las razones son varias, desde la imprecisión, la baja rentabilidad o la promoción del vigilantismo y la violencia de Estado”, explica. Señala que el sistema es inexacto en la identificación de rostros minoritarios. “Pero da igual un futuro donde el reconocimiento facial sea más preciso: es una tecnología necesariamente racista en países donde la selectividad penal y el encarcelamiento masivo son el modus operandi del Estado”.

Salidas

Combatir esta expresión discriminatoria de los algoritmos pasa por asegurar más diversidad en el área de TI. “Ya sea asegurando que los equipos encargados de pensar en estas soluciones tengan diversidad racial y de género, por ejemplo, o entrenando robots con datos diferentes. Otro tema, también muy importante, es que la industria de la tecnología responde a la dinámica económica, entonces estas soluciones no siempre son las que realmente resuelven los problemas de las personas, sino las que generan ganancias”, evalúan.

Silva cree que el primer paso hacia la protección es “superar cualquier presunción de neutralidad tecnológica”. Señala que las tecnologías digitales emergentes, como el reconocimiento facial con fines policiales o la creación de puntajes de riesgo para planes privados de salud, ya “nacen como derrotas humanitarias”. “Si nos comprometemos efectivamente con los principios del valor de la vida humana, llegaremos a la conclusión de que algunas tecnologías algorítmicas ni siquiera deberían existir”.

Lea también el texto: Porque tener abuelos negros no te hace negr@