La Unión Europea denuncia a Grok de Musk por imágenes sexualizadas ilegales de niños

La Unión Europea está considerando “muy seriamente” Grok de Elon Musk después de que el chatbot impulsado por inteligencia artificial generara imágenes sexualizadas de personas, incluidos menores, en la plataforma de redes sociales X.

“Somos conscientes de que X o Grok ahora ofrecen un ' Modo Picante 'que muestra contenido sexual explícito con imágenes infantiles”, declaró el portavoz de la comisión, Thomas Regnier, en una conferencia de prensa el lunes, refiriéndose a una función que Grok estrenó el año pasado para generar material sugerente. “Esto no es picante. Es ilegal”.

Los usuarios de X han instado a Grok a eliminar digitalmente la ropa de las fotos, a menudo de mujeres, para que parezca que solo llevan ropa interior o bikini. La proliferación de estas imágenes en una popular plataforma de redes sociales ha alarmado a reguladores y defensores de la seguridad en línea de todo el mundo, con funcionarios indios, británicos y franceses entre quienes han criticado las publicaciones.

XAI, que gestiona X y Grok, no respondió a una solicitud de comentarios. Musk declaró en una publicación el domingo que la plataforma toma medidas contra el material ilegal eliminándolo, suspendiendo permanentemente las cuentas y colaborando con las autoridades según sea necesario. "Cualquiera que use Grok para crear contenido ilegal sufrirá las mismas consecuencias que si subiera contenido ilegal", declaró en la publicación.

Si bien la mayoría de los modelos de IA convencionales prohíben imágenes y videos sexuales, xAI ha posicionado a Grok como más permisivo. El sistema permite representaciones de desnudez parcial de adultos e imágenes sexualmente sugerentes, aunque prohíbe la pornografía explícita con imágenes de personas reales y el contenido sexual que involucra a menores. En algunos países, como EE. UU. y el Reino Unido, es ilegal publicar deepfakes íntimos generados por IA de personas sin su consentimiento . Establecer y aplicar estas distinciones representa una prueba crítica para los sistemas de seguridad integrados en las herramientas de IA para la generación de imágenes.

"Si las plataformas de IA deciden permitir la generación de contenido erótico, se deben implementar de antemano salvaguardas sólidas, efectivas y verificables de forma independiente", dijo el martes en un comunicado el legislador holandés Jeroen Lenaers, quien lideró la iniciativa del Parlamento Europeo el año pasado para criminalizar las imágenes de abuso infantil generadas por IA.

Eliminar publicaciones después de los hechos, como hizo Grok, “no es una solución en absoluto, ya que el daño a las víctimas ya se ha infligido y no se puede deshacer”, añadió Lenaers.

Si las plataformas de IA optan por permitir la generación de contenido erótico, deben implementarse previamente salvaguardias sólidas, eficaces y verificables de forma independiente. Confiar en la eliminación del material de abuso sexual infantil tras su creación no es una solución en absoluto, ya que el daño a las víctimas ya se ha infligido y es irreversible. Las plataformas de IA deberían asumir una responsabilidad mucho mayor en la protección de los niños en línea; sin embargo, parece cada vez más evidente que los intereses comerciales siguen prevaleciendo sobre la protección infantil en línea.

El regulador de medios del Reino Unido, Ofcom, dijo el lunes que estaba al tanto de las “serias preocupaciones” sobre las características de Grok y que había hecho “contacto urgente con X y xAI para entender qué medidas han tomado para cumplir con sus obligaciones legales de proteger a los usuarios en el Reino Unido”.

El gobierno francés acusó a Grok el viernes de generar contenido sexual "claramente ilegal" en X sin el consentimiento de los usuarios y señaló que el asunto podría violar la Ley de Servicios Digitales de la UE. Esta normativa exige a las grandes plataformas mitigar el riesgo de propagación de contenido ilegal.

El Ministerio de TI de la India exigió una revisión exhaustiva de las características de seguridad de Grok, y las autoridades de Malasia dijeron que están investigando el asunto después de las quejas sobre el rendimiento "indecente" de Grok.

X, de Musk, ya fue objeto de una investigación en el marco de la Ley de Seguridad Digital (DSA) de la UE y, en diciembre, recibió una multa de US$140 millones por incumplimiento, la primera sanción impuesta bajo la controvertida ley de moderación de contenido. La atención del bloque a empresas tecnológicas estadounidenses como X ha generado intensas críticas por parte de la administración del presidente estadounidense Donald Trump, que ha argumentado que los reguladores europeos están censurando la libertad de expresión .