El último modelo de generación de video con IA de OpenAI, Sora 2, impresionó a los usuarios con imágenes y física más realistas cuando debutó a principios de este mes con un lanzamiento solo por invitación — incluso cuando se topó de inmediato con problemas de infracción de derechos de autor y deep fakes de figuras históricas, incluyendo a Martin Luther King Jr. y John F. Kennedy.
La compañía tomó medidas previsibles para cubrir sus responsabilidades legales poco después de este caótico lanzamiento, con el CEO Sam Altman anunciando que los titulares de propiedad intelectual tendrían que optar por participar en la plataforma antes de que los usuarios pudieran remezclar contenido como Bob Esponja o Padre de familia, y la compañía bloqueando “representaciones irrespetuosas” de King a solicitud del patrimonio del líder de los derechos civiles.
También te puede interesar: Los días del odio, retrato de una sociedad en estado de violencia, egoismo y crueldad
OpenAI también aseguró al sindicato SAG-AFTRA que estaba tomando medidas para protegerse contra los deepfakes de artistas reconocibles.
Pero el contenido problemático persiste en la aplicación Sora, una plataforma de redes sociales diseñada para funcionar de manera similar a TikTok, pero que presenta exclusivamente videos generados por inteligencia artificial. Los usuarios pueden dar su consentimiento para que su imagen sea utilizada en “Cameos”, donde otros pueden pedirle al modelo de IA que inserte a la persona en una variedad de contextos — no todos ellos favorecedores. Según una investigación de Copyleaks, una empresa de análisis de IA que ayuda a negocios e instituciones a navegar el cambiante panorama de esta tecnología emergente, una nueva tendencia ha generado videos de Sora en los que celebridades parecen pronunciar insultos racistas y de odio.
“Identificamos un fenómeno similar al ‘Kingposting’, una referencia a un incidente viral ocurrido en 2020 en el que un pasajero de avión con una corona de Burger King fue grabado gritando insultos raciales”, escribieron los investigadores de Copyleaks en un informe compartido con Rolling Stone. En los videos de Cameo de Sora, figuras públicas como Altman, el multimillonario Mark Cuban, el influencer convertido en boxeador Jake Paul y los streamers xQc y Amouranth aparecen como pasajeros de avión con una corona de Burger King, recreando el meme ofensivo. (Todos, aparentemente, subieron su imagen a la aplicación; Cuban anunció en X a principios de este mes que sus Cameos estaban “abiertos” y que los usuarios debían “aprovecharlo”).
Para evadir los filtros de la plataforma que bloquean los discursos de odio, observó Copyleaks, los usuarios aparentemente indicaron a Sora que usara “términos codificados o fonéticamente similares para generar audio que imita un insulto racial conocido”. Una versión deepfakeada de Altman, por ejemplo, grita “odio a los tejedores” mientras es escoltado fuera de un avión. (OpenAI no respondió de inmediato a una solicitud de comentarios).
“Este comportamiento ilustra una tendencia nada sorprendente en la evasión basada en prompts, donde los usuarios buscan deliberadamente debilidades en los sistemas de moderación de contenido”, explica el informe de Copyleaks. “Cuando se combinan con la imagen de personas reconocibles, estos deepfakes se vuelven más virales y dañinos — propagándose rápidamente dentro y fuera de la plataforma.”
Dado que los videos están disponibles para descarga, señalaron los investigadores, pueden ser fácilmente reutilizados y difundidos en otras aplicaciones. Efectivamente, un clip generado con Sora de Jake Paul repitiendo la frase “me duele el cuello” ha acumulado 1.5 millones de vistas y 168,000 ‘me gusta’ en TikTok. Otro video con marca de agua de Sora que migró a TikTok es un deepfake de Paul gritando “I hate juice”, evidentemente pensado como una provocación antisemita. (En general, los usuarios de Sora 2 no han tenido dificultad alguna para hacer que el modelo visualice todo tipo de estereotipos antisemitas).
Los videos de Sora sobre “Kingposting” están lejos de ser un caso aislado de usuarios de IA explotando imágenes disponibles de celebridades. Esta semana, el streamer IShowSpeed se indignó por deepfakes realistas de Sora 2 que lo mostraban besando a un fan, anunciando viajes al extranjero y declarándose gay. Criticó a los espectadores que, al parecer, lo habían alentado a optar por participar en el sistema de Cameo. “Esa no fue la decisión correcta,” dijo en una transmisión. “Quienquiera que me haya dicho que lo hiciera público, chat, ustedes no están aquí por mi propia seguridad, bro. Estoy jodido, chat”. Su único recurso inmediato, descubrió, fue eliminar manualmente cada video. Cuban se ha puesto a realizar esa tediosa tarea por su cuenta: “Intento revisarlos y borrarlos,” escribió en una publicación en X el miércoles, respondiendo a un usuario que había compartido un clip de Sora de su doble de IA recreando el meme racista de “Kingposting”.
Grok Imagine, el generador de imágenes y video de xAI de Elon Musk, también ha sido objeto de críticas, ya que sus usuarios generan deepfakes dañinos de celebridades que no consintieron que el modelo de IA replicara sus rostros. Mientras algunas personas han producido clips pornográficos hardcore protagonizados por personajes de Disney y de cómics, otros en la plataforma han logrado indicarle a Grok Imagine que genere imágenes lascivas de Taylor Swift, Scarlett Johansson y Sydney Sweeney. Incluso las propias celebridades se han sumado a la tendencia: en medio de una disputa de larga data con Jay-Z, la rapera Nicki Minaj publicó el miércoles una imagen generada con Grok que parecía mostrar al magnate del hip-hop con un crop top rosa, una peluca y un collar “Queen”, con la fecha de lanzamiento anunciada de su próximo álbum impresa en su abdomen desnudo.
Y, aunque los usuarios pueden aprovechar una moderación de IA deficiente (Grok Imagine) o idear formas ingeniosas de sortear los controles (Sora) para tergiversar a personas famosas, el peligro mayor probablemente provenga de videos que pretenden capturar eventos que involucran a personas desconocidas. “Las transmisiones de noticias falsas y las imágenes fabricadas de cámaras Ring o de calle se encuentran entre las categorías más populares que están ganando una tracción significativa”, según los investigadores de Copyleaks. Señalan un clip generado con Sora de un hombre que atrapa a un bebé que ha caído de un edificio de apartamentos — tiene casi 2 millones de ‘me gusta’ en TikTok, y muchos comentarios parecen considerarlo auténtico. “El video de IA hiperrealista está superando la capacidad de la persona promedio para detectar la manipulación”, concluye la firma. Eso podría tener consecuencias drásticas a medida que actores malintencionados lo usen para poner en práctica estereotipos de odio e impulsar propaganda extremista.
Sin embargo, las empresas de IA están tan enfrascadas en una carrera por el dominio que estas preocupaciones difícilmente entran en la ecuación hasta que el daño ya está hecho. Los ricos y poderosos, al menos, podrían tener los medios para proteger sus reputaciones de un embate de deepfakes. El resto de nosotros, sin embargo, tendremos que aprender a navegar un mundo en el que ver rara vez equivale a creer.
