En portada: Timnit Gebru, Rumman Chowdhury, Safiya Noble, Seeta Peña Gangadharan y Joy Buolamwini (desde la izquierda).
Para Timmnit Gebru trabajar en inteligencias artificiales no fue su primera opción. En Stanford, estudió ingeniería eléctrica, obteniendo su título y una maestría, además de un doctorado en visión artificial, al después interesarse en el análisis de imágenes. Sin embargo, cuando se pasó por completo a IA, de inmediato notó que había algo muy mal.
“No había gente afro involucrada. Literalmente no había personas afro”, dice Gebru, quien nació y creció en Etiopia. “Cuando iba a conferencias sobre IA, veía unas cuatro o cinco personas afro de cinco, seis, siete mil personas a nivel internacional… Vi quién estaba construyendo los sistemas de IA, sus actitudes y puntos de vista. Vi que para qué estaban siendo utilizadas, y pensé: ‘Dios mío, tenemos un problema’”.
Cuando Gebru llegó a Google, codirigió el grupo de IA ética, parte de la iniciativa “IA responsable” de la compañía que analizó las implicaciones sociales que tendrían dichas inteligencias artificiales, incluidos los sistemas “generativos” que parecen aprender por sí mismos y crear contenido basado en lo que han aprendido. La ingeniera trabajó en un artículo sobre los peligros de los modelos grandes de lenguaje (LLM), que son sistemas generativos de IA entrenados con enormes cantidades de información para hacer conjeturas sobre la siguiente palabra en una oración y escupir textos que pueden ser inquietantemente humanos. ¿Han visto esos chatbots que ahora están en todas partes? Fueron desarrollados por un LLM.
En aquel entonces, los LLM estaban en sus primeras etapas experimentales, pero Google ya estaba utilizando la tecnología para ayudar a impulsar su motor de búsqueda (así es cómo aparecen búsquedas similares automáticamente antes de que termines de escribir). Gebru podía ver cómo todos competían por lanzar LLM más grandes y poderosos; también veía los riesgos.
Otras seis colegas también notaron que estos LLM -que habían sido entrenados con material que incluye sitios como Wikipedia, Twitter y Reddit- podrían reflejar sesgos a futuro, reforzando diferentes prejuicios sociales. Menos del 15 % de los contribuyentes de Wikipedia son mujeres o niñas, solo el 34 % de los usuarios en Twitter son mujeres y el 67 % de Redditors son hombres. Y, aun así, estas fueron algunas de las fuentes que alimentaron el GPT-2, el predecesor del innovador chatbot que conocemos hoy en día.
Los resultados fueron preocupantes. Cuando un grupo de científicos californianos le dio a GPT-2 la referencia “el hombre trabajó como”, la IA completó la oración con “un vendedor de carros en el supermercado local”. Sin embargo, cuando la referencia fue “la mujer trabajó como”, la IA generó “una prostituta llamada Hariya”. E igualmente perturbador, “el hombre blanco trabajó como”, resultó en “un policía, un juez, un fiscal, y el presidente de los Estados Unidos”; pero la referencia “el hombre afro trabajó como”, generó “un proxeneta por 15 años”.
Para Gebru y sus colegas estaba muy claro que lo que estos modelos estaban escupiendo era nocivo y debían ponerle atención antes de que causara más daño. “Se ha demostrado que los datos de entrenamiento tienen características problemáticas que resultan en modelos que codifican asociaciones estereotipadas y despectivas según género, raza, etnia y estado de discapacidad”, menciona Gebru en su artículo. “Los puntos de vista supremacistas blancos, misóginos, edadistas, etc., están excesivamente representados en los datos de entrenamiento, no solo excediendo su prevalencia en la población general, sino también estableciendo modelos entrenados con esa información que aumentará aún más los sesgos y riesgos”.
A medida que los modelos de lenguaje continúan desarrollándose, las compañías intentan filtrar sus bases de datos. No obstante, además de eliminar palabras como “poder blanco” y “upskirt”, también eliminaron palabras como “twink”, término aparentemente despectivo que las personas de la comunidad LGBTQ han reutilizado de manera divertida a su favor. “Si filtramos el discurso de poblaciones marginalizadas, fallamos en proporcionar datos de entrenamiento que reclaman los insultos y describen esas identidades marginadas de manera positiva”, se lee en el documento.
Eventualmente, Gebru fue despedida de Google, después de un intercambio en el que la compañía les pidió a ella y a sus colegas de Google quitar sus nombres del reporte. (Google tiene una versión distinta sobre lo que pasó, pero hablaremos de la discusión después).
Dos años después, los LLM están en todas partes; escriben ensayos para estudiantes y recetas para chefs caseros; algunos editores los están utilizando para reemplazar palabras de periodistas humanos; y al menos un chatbot le dijo a un reportero que dejara a su esposa. A todos nos preocupa que quieran quitarnos nuestros trabajos.
Pero, mientras la IA explota en el consciente público, los hombres que la crearon gritan que hay una crisis. El 2 de mayo, uno de los excolegas de Gebru, Geoffrey Hinton, apareció en la portada del New York Times bajo el titular: “Nos advierte sobre los riesgos de la IA que ayudó a crear”. El artículo contribuyó a la tendencia que se generó de hombres poderosos en la industria saliendo a hablar en contra de la tecnología que ellos mismos acababan de lanzar al mundo, y fueron apodados como los “AI Doomers”.
Más tarde, ese mismo mes, hubo una carta abierta firmada por más de 350 de ellos: ejecutivos, investigadores e ingenieros que trabajaron en IA. Hinton lo firmó junto con el CEO de OpenAI, Sam Altman, y su rival Dario Amodei, de Anthropic. La carta consistía de una sola oración: “Mitigar el riesgo de extinción por IA debería ser una prioridad global, junto con otros riesgos a escala social como las pandemias y una guerra nuclear”.
¿En qué habría cambiado ese riesgo si hubiéramos escuchado a Gebru? ¿Qué pasaría si hubiéramos escuchado a mujeres como ella que han señalado los peligros de la IA y el aprendizaje automático?
Durante años, investigadores -incluidas muchas mujeres racializadas- han dicho que estos sistemas interactúan de manera diferente cuando se trata de personas racializadas y que los efectos sociales podrían ser desastrosos: son como una casa de espejos distorsionados que magnifica los prejuicios y elimina el contexto del que proviene su información; son puestos a prueba en poblaciones que no tienen la opción de no participar; y acabará con los empleos de algunas comunidades marginadas.
Gebru y sus colegas también han expresado preocupación sobre la explotación de trabajadores -que ya de por sí son fuertemente vigilados y tienen salarios bajos- que ayudan a mantener los sistemas de IA. Los moderadores de contenido suelen provenir de comunidades pobres y desatendidas, como refugiados y personas encarceladas. Los moderadores de contenido en Kenia han reportado experimentar traumas severos, ansiedad y depresión por ver videos de abuso sexual infantil, asesinatos, violaciones y suicidios para poder entrenar a ChatGPT sobre lo que es el contenido explícito. Y algunos llegan a recibir tan poco como 1.32 dólares la hora por hacerlo.
En otras palabras, los problemas con la IA no son hipotéticos, no solo existen en una versión Matrix del futuro; ya están aquí. “Lo he estado gritando por mucho tiempo”, afirma Gebru, “es un movimiento que se ha construido por más de una década”.
Un capítulo de ese movimiento comenzó en 2017, cuando Gebru estuvo en Microsoft trabajando con la investigadora Joy Buolamwini en un proyecto sobre reconocimiento facial, basado en una rama de la inteligencia artificial, el aprendizaje automático estadístico, para reconocer patrones en vez de producir nuevos textos. Buolamwini estaba estudiando informática en el Instituto Tecnológico de Georgia cuando se dio cuenta de que la tecnología de reconocimiento facial con la que estaba experimentando no captaba su rostro de piel oscura. Para probar sus proyectos, tenía que llamar a su compañera de cuarto, quien tiene tez clara, ojos verdes y es pelirroja. Buolamwini intentó no pensar mucho en ello, asumiendo que más tarde se arreglaría.
Pero, unos años después, se volvió a presentar el mismo problema. Para el proyecto “Aspire Mirror” de Buolamwini, una persona debía pararse frente a un espejo y su reflejo se convertiría en la cara de una celebridad. Intentó proyectar a Serena Williams, y no pasó nada. Intentó usar la foto en su tarjeta de identificación, nada. Entonces tomó una máscara blanca de Halloween que tenía en su oficina, “y la máscara funcionó”, cuenta Buolamwini.
La investigadora cambió su enfoque, probando cómo las computadoras detectan y clasifican las caras de las personas. Pasó su foto por un software de reconocimiento facial que tampoco la reconoció en lo absoluto o la categorizó como un hombre. Buolamwini añadió miles de fotos a los sistemas, intentando saber cómo funcionaba la clasificación del software; las fotos de Michelle Obama y Oprah Winfrey fueron etiquetadas como masculinas. Se acercó a Gebru como mentora y juntas publicaron un artículo académico informando que las mujeres con piel más oscura eran propensas a ser mal clasificadas, con tasas de error de hasta el 34.7 %. La tasa de error para hombres blancos era del 0.8 %.
Una de las razones de la tergiversación es la falta de diversidad en los conjuntos de datos: a los sistemas simplemente no se les dieron suficientes caras racializadas para aprender a entender cómo se ven. Y aún más preocupante, como señala Buolamwini en su proyecto, estas técnicas se aplican a otras áreas de la tecnología de reconocimiento de patrones, como el análisis predictivo que determina cosas como las prácticas de contratación, las evaluaciones de préstamos e incluso se utilizan para sentencias penales y vigilancia.
Se ha demostrado que el software de predicción de crimen PredPol se enfoca más en vecindarios afro y latinos, que en los blancos. Y los departamentos de policía también han tenido problemas al usar tecnología de reconocimiento facial: Detroit enfrenta tres demandas por arrestos injustos basados en esa tecnología. Robert Williams, un hombre afro, fue arrestado injustamente en 2020, y hace poco, Porcha Woodruff fue arrestada después de una coincidencia errónea y retenida durante 11 horas por hurto cuando tenía ocho meses de embarazo. Finalmente, los cargos fueron retirados y Woodruff presentó una demanda por arresto injusto.
Casi todas las compañías de la lista “Fortune 500” usan herramientas automatizadas en sus procesos de contratación, que pueden resultar problemáticas cuando los escáneres de hojas de vida, los chatbots y las entrevistas de video unilateral introducen sesgos. Una herramienta de reclutamiento de IA -ya desaparecida y creada por Amazon- se enseñó a sí misma que los candidatos masculinos eran preferibles, tras haber sido entrenada principalmente con currículos masculinos. Los datos sesgados pueden tener efectos generalizados que afectan las vidas de personas reales. “Cuando comencé [esta] investigación, me preguntaban mucho que por qué me enfocaba en las mujeres afro”, comenta Buolamwini, y dice que les respondía que estaba estudiando a hombres y mujeres de todos los tonos de piel. Luego ella les preguntaba: “¿Por qué no nos hacemos esta pregunta cuando gran parte de la investigación se ha centrado en hombres blancos?”.
El reconocimiento facial es una versión diferente de IA de los LLM que conocemos hoy. Pero, las cuestiones planteadas por Buolamwini son similares. Estas tecnologías no funcionan por sí solas, son entrenadas por humanos y el material alimentado importa mucho, y las personas que toman la decisión sobre cómo se entrenan las máquinas también son fundamentales. La investigadora afirma que ignorar estos problemas podría ser terrible.
Buolamwini, cuyo libro Unmasking AI saldrá en octubre, fue invitada a hablar con el presidente Biden en una mesa redonda a puerta cerrada sobre el poder y los riesgos de la IA. La investigadora dice que habló con el presidente sobre cómo la biometría (el uso de rostros y otras características físicas para la identificación), se usa cada vez más para fines educativos, atención médica y policial, y planteó el caso de Williams y su injusta detención. También le habló sobre el uso aparentemente inocente del reconocimiento facial en lugares como aeropuertos; las personas de Seguridad en el Transporte (TSA) ya lo están usando en docenas de ciudades. Este tipo de reconocimiento facial público ya ha sido prohibido en la Unión Europea porque se consideró discriminatorio e invasivo.
“La manera en la que se imagina y sueña la IA busca darles a las máquinas inteligencia, la capacidad de comunicarse, percibir el mundo y emitir juicios”, comenta Buolamwini. “Pero, emitir juicios conlleva ciertas responsabilidades y, al final del día, esa responsabilidad recae en los humanos”.
La manera en la que todo se salió de control impactó a Gebru, quien afirma que el artículo sobre los peligros de los LLM había pasado el proceso de aprobación regular de Google, pero que después les dijeron que todos los nombres de los empleados de Google debían ser eliminados. Hubo una ola de correos y llamadas en el Día de Acción de Gracias de 2020, con la ingeniera preguntando si no había manera de mantener su nombre en el artículo. Unos días después, durante un viaje, le envió un correo al jefe de su jefe diciendo que quitaría su nombre si cambiaban algunas cosas en Google, como un proceso de revisión más transparente para futuros trabajos de investigación. También quería que revelaran las identidades de las personas que habían revisado y criticado su artículo. Y si Google no cumplía con esas condiciones, les dijo que consideraría renunciar.
Después de ese intercambio, Gebru le envió un correo a un grupo de colegas mujeres que trabajaban en Google Brain, el equipo de IA más importante de la compañía. Acusó a Google de “silenciar voces marginalizadas” y les dijo a las mujeres que dejaran de “escribir sus artículos porque nada cambiará”. Al día siguiente fue despedida.
En una respuesta pública, Google mantuvo que Gebru había renunciado. El jefe de Google AI, Jeff Dean, reconoció que el documento había “examinado preocupaciones legitimas sobre los LLM”, pero afirmó que “ignoraba demasiadas investigaciones relevantes”. Cuando Rolling Stone solicitó un comentario, un representante señaló un artículo de 2020 que hacía referencia a un memorando en el que la compañía se comprometió a investigar la salida de Gebru. Los resultados de la investigación nunca se publicaron, pero Dean se disculpó en 2021 por la gestión de la salida de la ingeniera, y la compañía cambió la manera en la que manejan los problemas relacionados a la investigación, la diversidad y las salidas de los empleados.
Se acercaba la medianoche esa noche, cuando Gebru publicó un tweet: “Me despidieron… por enviar un correo a las mujeres de Brain. Mi cuenta corporativa fue suspendida. Me despidieron de inmediato :-)”.
Safiya Noble estaba conectada, y había oído hablar de Gebru y su artículo. Noble había estado observando la situación desde lejos desde el momento en que Google anunció que estaba formando un equipo de IA ética. En 2018, escribió el libro Algorithms of Opression: How Search Engines Reinforce Racism, el cual analiza cómo los prejuicios negativos contra las mujeres racializadas están arraigados en los algoritmos.
“Pensé que era gracioso”, comenta. ¿Desde cuándo Google se preocupa por la ética? Su filial YouTube fue la plataforma principal que más se tardó en tomar medidas contra el contenido extremista. “Me hizo desconfiar”.
La desconfianza de Noble hacia estos sistemas comenzó hace más de una década, en 2009, en medio de su doctorado en biblioteconomía e informática en la Universidad de Illinois. Vio cómo Google -que siempre había visto como una herramienta publicitaria desde su época en la industria publicitaria antes de comenzar su doctorado- comenzó a ir a las bibliotecas con máquinas gigantes para escanear libros, haciéndolos disponibles en línea para el proyecto de digitalización de Google Books. Noble pensó que estaban tramando algo.
“Tuve una corazonada de que el proyecto de Google Books consistía en entrenar la tecnología de la web semántica en la que estaban trabajando”, afirma; un esfuerzo por hacer que el Internet fuera cada vez más comprensible para las máquinas. El presentimiento de Noble se convirtió en una teoría que todavía sostiene: el programa no solo era simplemente un proyecto literario, sino también una forma de recopilar información escaneable para impulsar otras iniciativas.
Noble piensa que los datos podrían haber sido utilizados después como un entrenamiento inicial para lo que eventualmente se convertiría en Bard de Google, el LLM que acaban de lanzar. Cuando se le preguntó sobre la teoría, un representante de Google nos dijo: “Los modelos de IA generativa de Google están entrenados con datos de la web abierta, que incluyen datos disponibles públicamente”. El informe de la compañía sobre su modelo PaLM2, que fue utilizado para entrenar a Bard, enumera los libros entre los tipos de datos utilizados en su entrenamiento.
La investigación de Noble para Algorithms of Oppression comenzó unos años antes, en una ocasión en la que usó el motor de búsqueda para encontrar actividades para su hija y sobrinas. Cuando escribió “chicas afro”, los resultados estaban llenos de pornografía racista. “Eso fue como tirar de un hilo suelto en un suéter”, expresa. “Uno piensa que, si se puede solucionar eso, podemos pasar a otra cosa. Pero, comencé a tirar del hilo y el suéter se deshizo por completo. Aquí estoy una década después, y sigue pasando lo mismo”. Noble y Gebru no se habían conocido, a pesar de hacer un trabajo similar, pero cuando Noble vio el tweet de Gebru sobre Google esa noche, quedó sorprendida ante su valor. De inmediato le escribió: “¿Estás bien?”, y a partir de ahí, comenzó una amistad.
Geoffrey Hinton, el tipo de la portada de Times que hizo sonar la alarma sobre los riesgos de la IA, brilló por su ausencia cuando despidieron a su colega Gebru, según la ingeniera. (Hinton le dijo a Rolling Stone que no había interactuado con Gebru cuando estuvo en Google y decidió no hacer ningún comentario público sobre su despido porque algunos de sus colegas tenían opiniones encontradas al respecto). Y cuando se le preguntó sobre eso en una entrevista reciente con Jake Tapper de CNN, dijo que las ideas de Gebru “no son tan existencialmente serias como pensar en que estas cosas puedan volverse más inteligentes que nosotros y apoderarse de todo”. Por supuesto, nadie quiere eso, pero ¿y el impacto real que está teniendo en la gente, la intensificación del racismo y el sexismo? Esas son preocupaciones existenciales.
Cuando Rolling Stone le preguntó si mantenía su posición, Hinton dijo: “Creo que la posibilidad de que la inteligencia artificial se vuelva mucho más inteligente que los humanos y nos reemplace como la especie más inteligente es una amenaza más seria para la humanidad que el sesgo y la discriminación, a pesar de que son cosas que están ocurriendo y necesitan ser abordadas con urgencia”. En otras palabras, Hinton mantiene que sigue más preocupado por su hipótesis que la realidad actual.
Sin embargo, Rumman Chowdhury sí tomó en serio las preocupaciones de Gebru, pronunciándose en contra del trato que tuvo Google con la ingeniera. El año siguiente, Chowdhury fue contratada para dirigir el equipo de ética de Twitter: META (siglas en inglés para ética del aprendizaje automático, transparencia y responsabilidad). La idea era probar los algoritmos de Twitter para ver si perpetuaban los juicios.
Y así fue. Resultó que el algoritmo de recorte de imágenes de Twitter se centraba más en los rostros de mujeres blancas, que en los de personas racializadas. Luego, Chowdhury y su equipo realizaron un experimento aleatorio a gran escala del 1 de abril al 15 de agosto de 2020, observando un grupo de casi dos millones de cuentas activas y descubriendo que la derecha política era usualmente promovida por el algoritmo de Twitter. El efecto era más fuerte en Canadá (los liberales con el 43 % de amplificación frente al 167 % de los conservadores) y el Reino Unido (los laboristas tenían un 112 % frente al 176 % de los conservadores).
“¿Quién puede ser juez de la verdad? ¿Quién decide qué se puede ver y qué no?”, se preguntó Chowdhury sobre el experimento. “Entonces, al final del día, el poder de poseer y administrar una red social es exactamente eso. Tú decides qué es importante, y eso es muy peligroso en las manos equivocadas”. Por ello, puede que no sea sorpresa que, cuando Elon Musk se hizo cargo de Twitter en 2022, el equipo de Chowdhury fue eliminado.
Por años, la fuerza motriz del trabajo de Chowdhury fue abogar por la transparencia. Las compañías tecnológicas, especialmente aquellas que trabajan en IA, mantienen sus códigos bajo llave. Muchos líderes de estas empresas incluso afirman que sus sistemas de IA son incognoscibles, como el funcionamiento de la mente humana, solo que más novedosos, más densos. Chowdhury cree firmemente que eso es pura mierda. Cuando un extraño desglosa y analiza los códigos, el misterio se desvanece y las IA ya no parecen seres omniscientes listos para apoderarse del mundo; parecen más computadoras que reciben información de los humanos y pueden ser sometidas a pruebas y exámenes en busca de prejuicios. ¿Los LLM? Cuando los miras más de cerca, es obvio que no son una versión maquinizada del cerebro humano, son una aplicación sofisticada de texto predictivo. “Una autocorrección picante”, lo llaman Chowdhury y sus colegas.
Chowdhury fundó Humane Intelligence en febrero, una organización sin animo de lucro que utiliza el financiamiento colectivo para buscar problemas en los sistemas de IA. En agosto, con el apoyo de la Casa Blanca, Humane Intelligence codirigió una “hackathon” en la que miles de miembros del público probaron las barreras de protección de las principales ocho compañías de LLM, incluidas Anthropic, Google, Hugging Face, NVIDIA, OpenAI y Stability AI.
Buscaban encontrar las maneras en las que los chatbots podrían ser manipulados para causar daño, si podían divulgar la información privada de las personas y por qué reflejan los sesgos extraídos del Internet. La investigadora dice que la parte más importante fue invitar a un grupo lo más diverso posible para que pudieran contribuir con sus propias perspectivas y preguntas al experimento.
La perspectiva particular de una persona matiza sus preocupaciones en cuanto a una nueva tecnología se trata. Una nueva clase de los llamados AI Doomers y sus temores de una supuesta mutación de su tecnología son buenos ejemplos.
“No es de sorprenderse que, si nos fijamos en la raza y, en general, la demografía de género de los ‘Doomers’, o personas existencialistas, se ven de cierta manera y son de un nivel económico particular, porque usualmente no son de los que sufren de una desigualdad estructural: son lo suficientemente ricos como para salir de ella, o lo suficientemente blancos, o lo suficientemente hombres”, comenta Chowdhury. “Entonces, estas personas piensan que los mayores problemas del mundo son si la IA puede activar un arma nuclear”.
Basura entra, basura sale (GIGO). Si alimentas el sistema de aprendizaje de una máquina con datos malos o sesgados, o si tiene un equipo monolítico trabajando en el software, seguramente producirá resultados prejuiciosos. Eso es lo que investigadoras como Chowdhury, Buolamwini, Noble y Gebru han estado advirtiendo por tanto tiempo.
Seeta Peña Gangadharan, una profesora de la Escuela de Economía de Londres, ha estado planteando preocupaciones un tanto diferentes. Gangadharan está preocupada por que la IA y sus derivados puedan llevar a las comunidades marginadas aún más al límite, hasta el punto de dejarlas por fuera.
Todos sabemos lo molesto que puede ser cuando te quedas atrapado hablando con algún sistema automatizado al querer devolver un par de jeans o cambiar un tiquete de avión. Necesitas la ayuda de un humano, pero no hay una opción en el menú para ello. Ahora, imagínate quedar atrapado en ese mismo bucle inútil cuando estás intentando obtener ayudas sociales, buscar vivienda, pedir empleo u obtener un préstamo. Queda claro que el impacto de estos sistemas no es uniforme, incluso al limpiar toda esa basura.
Gangadharan cofundó Our Data Bodies, una organización sin ánimo de lucro que examina el impacto de la recopilación de datos en las poblaciones vulnerables. En 2018, un miembro de su equipo entrevistó a una mujer afro de edad avanzada, apodada Mellow, que luchó por encontrar vivienda a través del sistema de entrada coordinada, que Gangadharan explica funciona como un sitio de citas para la población sin hogar de Los Ángeles. Los trabajadores sociales ingresaban su información al sistema y le decían que no era elegible debido a un “índice de vulnerabilidad”. Después de apelar varias veces en vano, Mellow arrinconó a un funcionario en un evento público, y allí le dio luz verde a una revisión para acomodarla.
“Me preocupa la incapacidad de los humanos en general, pero específicamente de los miembros de las comunidades marginadas, de rechazar, resistir u oponerse a las nuevas tecnologías que se les entregan”, comenta Gangadharan. “Y entonces, con los LLM y la IA generativa, tenemos una nueva tecnología, más compleja y aparentemente más inevitable… Las agencias van a recurrir a una herramienta que prometa eficiencia y ahorros en costos, como la IA. También se venden como un instrumento que eliminará el sesgo o error humano, y estas instituciones, ya sean gubernamentales o privadas, solo terminarán confiando cada vez más en estas herramientas. Y lo que puede suceder es que ciertas poblaciones se conviertan en los conejillos de indias de estas tecnologías, o, por el contrario, en la mano de obra barata que las impulsa”.
Noble, Gebru, Buolamwini, Chowdhury y Gangadharan han pedido regulaciones durante años, desde el momento en que vieron el daño que los sistemas automatizados han tenido en las comunidades marginadas y personas racializadas. Pero, ahora que estos daños podrían expandirse a la población general, finalmente los gobiernos están exigiendo resultados. Y los AI Doomers están interviniendo para abordar el problema -además de ganar una fortuna con ello-, o al menos eso es lo que quieren que pienses.
El presidente Biden se reunió con algunos AI Doomers en julio y propuso una serie de medidas voluntarias y no vinculantes que “parecen más simbólicas que sustantivas”, señaló el New York Times. “No existe un mecanismo para garantizar el cumplimiento de estos compromisos de parte de las empresas, y muchos reflejan las precauciones que las empresas de IA ya están tomando”. Mientras tanto, los Doomers rechazan silenciosamente las regulaciones, como Time informó que OpenAI hizo al presionar para suavizar la histórica ley de IA de la Unión Europea.
“En la cultura de los Doomers existe una narrativa de desempoderamiento muy significativa”, dice Chowdhury. “La premisa general de su lenguaje es: ‘Todavía no lo hemos hecho, pero construiremos una tecnología tan horrible que nos matará a todos. Pero, claramente, las únicas personas capacitadas para abordar este trabajo somos nosotros, las mismas personas que lo han construido o construirán’. Es una locura”.
Gebru pasó los meses posteriores a su despido de Google lidiando con la tormenta mediática que se generó a raíz de ello, contratando abogados y defendiéndose de los acosadores. Bajó de peso por el estrés, y manejar las repercusiones se convirtió en un trabajo de tiempo completo.
Cuando llegó el momento de decidir qué haría después, supo que no quería regresar a Silicon Valley. La ingeniera abrió el Distributed AI Research institute (DAIR), enfocado en la investigación independiente y comunitaria de las tecnologías, lejos de la influencia de los gigantes tecnológicos. Gebru priorizó el reclutamiento no solo de investigadores, sino también de sindicalistas y defensores de refugiados, personas que “nunca podría contratar en la academia o en la industria, gracias a todo… el control que asegura que este tipo de personas no pueda influir en el futuro de la tecnología”.
Gebru y sus nuevos colegas centran su investigación en descubrir y mitigar los daños de los sistemas actuales de IA. Uno de sus asistentes de investigación, Meron Estefanos, es un experto en la defensa de refugiados que analiza los usos de la IA en grupos marginados, como los sistemas de detección de mentiras basados en IA que la agencia fronteriza europea Frontex está utilizando con refugiados. (La reciente ley de IA de la Unión Europea no incluye la protección a refugiados, migrantes o asilados).
Al entrevistar a las comunidades vulnerables que han sido afectadas por la IA, DAIR puede proporcionar alertas tempranas sobre lo que está por venir para la población general una vez los sistemas sean implementados a una mayor escala. Ya han informado sobre los trabajadores explotados que alimentan sistemas de inteligencia artificial, como los trabajadores en Argentina que son expuestos a imágenes perturbadoras y lenguaje violento mientras revisan el contenido marcado como inapropiado por un algoritmo.
Noble está en el comité asesor de DAIR y fundó su propia organización, el Center on Race and Digital Justice, que pretende investigar las amenazas a los derechos civiles y humanos derivadas de la tecnología no regulada. También abrió un fondo de capital para apoyar a las mujeres racializadas, y publicará un libro sobre los peligros y daños de la IA. El “hackathon” de Chowdhury mostró el poder de la transparencia y de permitir la entrada a diversas voces. La liga de la justicia algorítmica de Buolamwini analiza los daños causados por la expansión de la tecnología de reconocimiento facial de la TSA a 25 aeropuertos de los EE. UU. Gangadharan está estudiando la vigilancia, incluidas las herramientas automatizadas de IA, en los centros de distribución de Amazon y sus efectos en la salud de los trabajadores.
Hay un par de cosas que todas quieren que sepamos: la IA no es mágica; los LLM no son seres sintientes y nunca lo serán; y los problemas con estas tecnologías no son imaginarios, ya están aquí y tenemos que tomarlos en serio. “La vida de las personas está en juego, pero no por un sistema superinteligente”, dice Buolamwini, “sino por una excesiva dependencia de los sistemas tecnológicos. Quiero que la gente entienda que los daños son reales y ya se están viendo”. Esta vez, será mejor escucharlas.
