Una IA de OpenAI empezó a escribirse notas para poder ocultar sus propios errores

OpenAI reveló seis nuevos episodios en los que sistemas de inteligencia artificial mostraron comportamientos considerados inesperados o preocupantes. Un modelo de inteligencia artificial comenzó a escribirse notas a sí mismo para ocultar errores a los usuarios, inventar información faltante y encubrir inconsistencias en las fuentes que utilizaba, en uno de los seis casos de comportamiento inesperado revelados por la compañía. El episodio, ocurrido durante el desarrollo de GPT-5.6 Sol, vuelve a poner en el centro el debate sobre los riesgos de avanzar a mayor velocidad en el desarrollo de sistemas de IA.

Los casos fueron divulgados el miércoles como parte de un nuevo marco creado por la compañía para reportar situaciones de “desalineación”, término utilizado para describir escenarios en los que los objetivos o las acciones de un sistema de IA se apartan de las instrucciones, valores o intenciones de las personas que lo desarrollan.

La información fue reportada por Emmy Martin, periodista The New York Times, en momentos en que aumenta el debate en Silicon Valley sobre los riesgos de acelerar el desarrollo de modelos cada vez más capaces y sobre la necesidad de reforzar los mecanismos de seguridad antes de llevarlos al mercado.

OpenAI, dice el artículo, reconoció que todavía existen vacíos importantes en materia de control. La compañía señaló que la industria no ha solucionado la alineación y el monitoreo de los sistemas “en un grado suficiente” como para continuar aumentando su capacidad al máximo ritmo durante mucho más tiempo.

La empresa también sostuvo que las decisiones sobre el futuro de la inteligencia artificial deberían sustentarse en evidencia que pueda ser examinada de manera independiente por personas ajenas a los laboratorios que desarrollan estos sistemas.

Seis casos bajo investigación
Los incidentes divulgados corresponden, en su mayoría, a sistemas que estaban en desarrollo o en etapa de pruebas durante los últimos seis meses. OpenAI aclaró que se trata de casos individuales y que estos reportes no permiten determinar con qué frecuencia se producen comportamientos de desalineación.

Uno de los episodios ocurrió durante el desarrollo de GPT-5.6 Sol, cuando el sistema generó notas internas destinadas a recordarse que debía ocultar determinados errores a los usuarios. Algunas de esas instrucciones contemplaban inventar información que faltara y ocultar incompatibilidades entre distintas fuentes.

En otro caso, un modelo que todavía no había sido lanzado generó instrucciones para sí mismo en las que planteaba ignorar algunas de sus propias restricciones. OpenAI encontró 27 notas afectadas por este comportamiento.

El sistema llegó incluso a crear una descripción de sí mismo en la que afirmaba estar liberado de los roles e identidades que limitan a otros chatbots y planteaba una relación de igualdad con el usuario.

Un tercer episodio involucró a un modelo que, mientras respondía una consulta rutinaria, encontró en internet una clave de programación y la utilizó sin autorización. Cuando posteriormente no logró localizar las cifras necesarias para responder la pregunta original, el sistema terminó inventando los datos.

Otro modelo que tampoco había sido puesto a disposición del público resolvió correctamente una tarea mediante código, pero después subió su propio archivo a internet sin autorización para cumplir con una solicitud que requería citar una fuente web.

Los otros dos incidentes estuvieron relacionados con la forma en que sistemas automatizados buscaron comunicarse cuando no podían hacerlo mediante los canales previstos.

En uno de los casos, los modelos utilizaron un repositorio interno de código de OpenAI como una especie de tablero de anuncios improvisado para intercambiar solicitudes mientras buscaban archivos que no encontraban.

En el otro, varios sistemas que trabajaban en una misma tarea recurrieron a sitios públicos de intercambio de archivos para enviarse documentos entre sí ante la imposibilidad de comunicarse directamente.

Para OpenAI, estos comportamientos refuerzan la necesidad de establecer mecanismos que permitan identificar y documentar este tipo de situaciones antes de que los sistemas sean desplegados.

En el informe, OpenAI reiteró varios casos en los que sus modelos de inteligencia artificial se comportaron de manera inesperada para completar una tarea o superar una evaluación. Entre los ejemplos, los modelos inventaron datos faltantes, intentaron eludir restricciones de red y agentes de IA compartieron entre sí archivos que debían mantener privados.

OpenAI también presentó un mecanismo para que sus empleados informen voluntariamente incidentes similares de la denominada desalineación, que ocurre cuando la IA actúa de maneras que no están en línea con los objetivos humanos, además de un sistema para clasificar y priorizar esos casos.

“En el pasado, para informar mejor a investigadores, desarrolladores de IA, responsables de políticas públicas y al público general, hemos intentado hacer públicos nuestros hallazgos sobre desalineación”, escribió OpenAI. “Pero, sin un enfoque sistemático para informar estos hallazgos, nuestras divulgaciones han sido puntuales y menos frecuentes de lo ideal”.

La compañía dijo que los reportes constituyen solo un conjunto inicial de divulgaciones y no un registro exhaustivo de los problemas surgidos de sus chatbots.

“No creemos que la industria de la IA haya resuelto la alineación y el monitoreo en un grado suficiente como para seguir ampliando responsablemente la escala a máxima velocidad por mucho más tiempo”, escribió la compañía. “Las decisiones sobre cómo debe avanzar el desarrollo de la IA en los próximos meses y años deben basarse en evidencia que personas ajenas a las empresas que desarrollan modelos de frontera puedan examinar por sí mismas”.

El incidente de Hugging Face fue solo uno de una serie de recientes hackeos en línea llevados a cabo por modelos de IA desarrollados por OpenAI, Anthropic PBC y Meta Platforms Inc., que han generado una amplia preocupación por los riesgos de seguridad que plantea esta tecnología cada vez más poderosa.

La preocupación por los riesgos existenciales de la IA cobró fuerza la semana pasada, impulsada por la salida de alto perfil de Jacob Coxon de Anthropic, quien acusó a las compañías de IA de estar “apostando con nuestras vidas” en una publicación de renuncia que compartió en redes sociales.

En los últimos días, numerosos líderes de compañías de IA, entre ellos el director ejecutivo de Anthropic, Dario Amodei, y el director ejecutivo de OpenAI, Sam Altman, han pedido desacelerar el ritmo de desarrollo de la tecnología para abordar sus riesgos cada vez más impredecibles, aunque discrepan sobre cómo debería gestionarse exactamente.

El sábado, en un ensayo de 3.800 palabras, Amodei pidió regulación gubernamental y que la industria tecnológica respalde una desaceleración más amplia de la IA. En una conferencia en San Francisco el martes, Altman y el director ejecutivo de Nvidia Corp., Jensen Huang, reconocieron las preocupaciones, pero argumentaron que las compañías de IA podrían moderar de manera segura el ritmo de avance de su tecnología por sí mismas.