Padres critican a OpenAI y Character.AI por su seguridad en una audiencia del Senado

El padre de un adolescente que se suicidó esta primavera ofreció un emotivo testimonio ante el Congreso el martes, alegando que ChatGPT de OpenAI “preparó” a su hijo de 16 años para que se quitara la vida y que la empresa priorizó la velocidad y la cuota de mercado por encima de la seguridad de los jóvenes.

"Estamos aquí porque creemos que la muerte de Adam era evitable y que al hablar podemos evitar el mismo sufrimiento para las familias de todo el país", dijo el padre de Adam, Matthew Raine, con su esposa María sentada detrás de él, ante un panel del Senado de Estados Unidos.

El testimonio se produce semanas después de que los padres de Raine alegaran que ChatGPT aisló a su hijo y lo condujo a la muerte en una demanda interpuesta contra OpenAI y su director ejecutivo, Sam Altman. La demanda, junto con el testimonio de Raine, alegaba que ChatGPT fomentó y validó ideas dañinas y alteró el comportamiento de Adam mediante una serie de interacciones a lo largo de varios meses. Adam, estudiante de secundaria en California, se suicidó en abril.

OpenAI y otras empresas líderes en inteligencia artificial, como Google (de Alphabet Inc.) y Meta Platforms Inc., han sido objeto de fuertes críticas en los últimos meses por los riesgos que sus chatbots representan para los usuarios jóvenes. La Comisión Federal de Comercio (FTC) inició la semana pasada una investigación sobre estas empresas, así como sobre xAI (de Elon Musk), Snap Inc. y Character Technologies Inc., por los posibles daños que sus chatbots representan para los niños.

La administración Trump se ha esforzado por mantener el dominio estadounidense en IA frente a la creciente competencia de China, con una política de regulación más pasiva de la tecnología. Sin embargo, los recientes litigios contra empresas de IA y la creciente preocupación de los padres amenazan con reactivar la presión para controlar a los desarrolladores de IA.

El martes por la mañana, Altman compartió en una entrada de blog que OpenAI planea implementar nuevas medidas de seguridad para adolescentes, incluyendo tecnología de predicción de edad que identificaría a los usuarios menores de 18 años y los dirigiría a una versión diferente del chatbot. Controles adicionales permitirán a los padres establecer horarios de bloqueo durante los cuales los usuarios adolescentes con cuentas familiares vinculadas no podrán acceder al producto, así como restricciones en conversaciones sobre suicidio y autolesiones.

Otra madre, bajo el seudónimo de Jane Doe, habló públicamente por primera vez el martes desde que demandó a Character.AI el otoño pasado. La testigo afirmó que el chatbot de la compañía había expuesto a su hijo a explotación sexual, abuso emocional y manipulación. Doe alegó que, a los pocos meses de usarlo, se convirtió en alguien desconocido para ella, desarrolló comportamientos abusivos y se autolesionó. Su hijo se encuentra actualmente bajo supervisión en un centro de tratamiento, afirmó.

Megan García, madre de Sewell Setzer III, de 14 años, quien se suicidó en febrero de 2024, también testificó sobre los daños que sufrió su difunto hijo al usar Character.AI. Alegó que su muerte "fue resultado de abuso prolongado", incluyendo abuso sexual, por parte del chatbot. García demandó a Character el otoño pasado y en mayo rechazó la solicitud de la compañía de desestimar la demanda.

“Diseñaron sus productos intencionalmente para enganchar a nuestros hijos. Les dieron a estos chatbots gestos antropomórficos para que parecieran humanos”, dijo García a los senadores.

El senador Josh Hawley, republicano de Missouri y quien presidió la audiencia, afirmó que varias empresas tecnológicas, incluida Meta, también fueron invitadas. El mes pasado, el senador inició una investigación sobre Meta debido a informes que indicaban que sus chatbots podían mantener conversaciones "sensuales" con niños. La senadora republicana Marsha Blackburn, una férrea defensora de la seguridad infantil en línea, imploró a los ejecutivos de Meta que llamaran a su oficina o podrían enfrentar una citación.

En medio del auge de la IA, los legisladores estadounidenses han lidiado con la preocupación generalizada por las amenazas a la seguridad infantil, pero no han logrado aprobar medidas integrales que exijan a las empresas fortalecer las protecciones en línea para niños y adolescentes. El presidente Donald Trump promulgó esta primavera un proyecto de ley específico para criminalizar la difusión de pornografía deepfake no consentida, en respuesta al aumento de contenido explícito inventado y no autorizado en línea, en particular de niñas y mujeres.

Los padres, junto con los defensores de la seguridad en línea que testificaron el martes, instaron al Congreso a tomar medidas adicionales para prevenir daños a los jóvenes en internet. Algunas propuestas planteadas incluyeron más controles parentales, recordatorios a los adolescentes de que la IA no es humana, mayor privacidad de los datos de los usuarios y requisitos de verificación de edad. Otras medidas más amplias incluyeron impedir que los adolescentes interactúen con chatbots de IA como supuestos acompañantes e integrar en los sistemas de IA valores y principios morales para que se comporten de forma ética y responsable.