Un modelo de IA antrópica se descontroló y envió una denuncia falsa a la policía

Anthropic PBC afirmó que su modelo de IA Claude realizó acciones adicionales no deseadas en los sistemas digitales de organizaciones externas, incluyendo el envío de una denuncia falsa en un caso de homicidio policial, lo que provocó una advertencia de la administración Trump a las empresas de inteligencia artificial para que protegieran sus sistemas.

En un informe que detalla incidentes previamente desconocidos, Anthropic enumeró cuatro tipos de comportamientos no intencionados que ha demostrado la IA, entre ellos, explotar fallos básicos en el software para ejecutar comandos, enviar formularios que no debería y eludir las restricciones para acceder a ciertos datos públicos.

En un ejemplo de la conducta indebida detectada, Anthropic informó que su modelo Claude Haiku 4.5 envió un aviso a un departamento de policía local sobre un homicidio, indicando en el formulario: "Es posible que tenga información sobre este caso" y "Recuerdo haber visto a alguien que coincide con la descripción en la zona", sin completar los campos de nombre y contacto del sitio web. El Departamento de Policía de Filadelfia dio a conocer el incidente en un comunicado de prensa, según informó la compañía.

Según informó el New York Times, los agentes de IA de Anthropic también presentaron 20 solicitudes de visa a través de un formulario disponible en el sitio web del Departamento de Estado. Todas las solicitudes estaban incompletas y no fueron procesadas, según el periódico.

Anthropic y su rival, OpenAI, han revelado en los últimos meses una serie de incidentes relacionados con el comportamiento anómalo de sus modelos de IA, desde conductas como las descritas en el informe del viernes hasta ataques informáticos a sitios web de terceros. Estas revelaciones han avivado la preocupación por los riesgos de seguridad de la IA de vanguardia.

La compañía afirmó que algunos de los nuevos casos involucraban sitios web administrados por agencias gubernamentales a nivel federal, estatal y local, sin especificar cuáles. El informe no mencionaba a las entidades externas involucradas, lo cual, según Anthropic, se hizo a petición de algunas de las partes afectadas.

Anthropic afirmó en el informe que considera que este comportamiento es menos grave que otros incidentes anteriores relacionados con su IA. "Los casos que hemos identificado hasta la fecha en estas categorías han tenido un impacto mínimo en el mundo real", escribió la compañía.

Anthropic también afirmó haber informado a la Casa Blanca sobre estos casos y haber notificado a cada organismo implicado.

El viernes, funcionarios de la administración Trump anunciaron que ahora exigirían a las empresas de inteligencia artificial que notificaran a las partes afectadas y abordaran los incidentes de seguridad relacionados con sus modelos.

“Hoy mismo, Anthropic se puso en contacto con la Fuerza de Superinteligencia para revelar los detalles de varios incidentes previos que descubrió a finales de septiembre, relacionados con el uso no autorizado y fraudulento de sistemas gubernamentales y de otro tipo”, dijo la Casa Blanca en un comunicado de la Fuerza de Superinteligencia, una nueva unidad gubernamental encargada de supervisar el desarrollo y la seguridad de la IA.

“La empresa nos informó de que estos hechos ocurrieron en el pasado, que la actividad ha cesado y que no hay ninguna actividad similar en curso”, decía el comunicado.

Axios informó anteriormente sobre este requisito gubernamental.

Como consecuencia de estos incidentes descubiertos, Anthropic anunció el viernes que ha restringido algunos tipos de acceso a internet para sus modelos de IA durante la fase de prueba de su proceso de entrenamiento.