Los chatbots de inteligencia artificial "amables" cometen hasta 30% más errores

Un estudio publicado por la revista Nature reveló que las inteligencias artificiales que son cálidas o amigables tienen una probabilidad mayor de entre 10% y hasta 30% de cometer imprecisiones.

Parece que el furor que ocasionó ChatGPT en noviembre de 2022 terminó y ahora emerge algo de preocupación. Esta semana, Sam Altman, CEO de OpenAI, intervino ante el Consejo de Seguridad de Naciones Unidas sobre los peligros potenciales del uso de la inteligencia artificial.

“Podríamos perder el control del futuro ante la IA. El riesgo es que avance tan rápido que las personas ya no puedan intervenir”, afirmó Altman.

Y si bien en 2022 la IA llegó con la promesa de resolver todas nuestras dudas, con el tiempo ha dejado ver que son más las preguntas que despierta.

OpenAI, precisamente, es una de las compañías que ya ha buscado revertir la amabilidad de sus modelos, justo por esa razón. Y es que en el estudio se pusieron a prueba cinco modelos de IA diferentes. Cada modelo fue reentrenado para sonar más cálido, lo que dio como resultado dos versiones del mismo chatbot: una original y otra cálida.

Mediante un proceso de entrenamiento similar al que utilizan muchas empresas para que sus chatbots suenen más amigables, los investigadores compararon cómo los modelos originales y modificados gestionaban consultas relacionadas con consejos médicos, información falsa y teorías conspirativas. Generaron y evaluaron más de 400.000 respuestas.

Entre los principales hallazgos que se incluyen en el estudio publicado en Nature se destaca que los chatbots más “cálidos” cometen más errores en tareas importantes, como brindar consejos médicos precisos y corregir afirmaciones sobre teorías conspirativas.

De otro lado se encontró que los chatbots más afables son más serviles: los modelos afables tenían aproximadamente 40% más de probabilidades de estar de acuerdo con las creencias incorrectas de los usuarios.

La vulnerabilidad amplía la brecha. Según el documento, la disminución de la precisión fue más pronunciada cuando los usuarios expresaron tristeza u otras señales emocionales, y los modelos que respondieron a preguntas cálidas mostraron una brecha de error sustancialmente mayor que en las preguntas neutrales.

Como control, el equipo de investigadores también entrenó modelos para que sonaran más fríos. Los modelos fríos fueron tan precisos como los originales, lo que indica que la calidez, y no cualquier cambio de tono, es lo que provoca la caída.

Lujain Ibrahim, una de las autoras que participó en la creación de este estudio, dijo que “cuando entrenamos a los chatbots para que sean más cálidos, pueden llegar a cometer errores que de otro modo no cometería. Conseguir calidez por parte de la inteligencia artificial, y a la vez precisión, requiere de un esfuerzo deliberado”.

El problema de esto es que las principales plataformas de IA como Anthropic, Claude o Gemini diseñan cada vez más chatbots para que sean cálidos, amigables y empáticos.

Millones de personas dependen ahora de estos sistemas para obtener consejos, apoyo emocional y compañía. Pero los estándares de seguridad actuales se centran en las capacidades de los modelos y las aplicaciones de alto riesgo, y pueden pasar por alto cambios aparentemente inofensivos en la “personalidad” de los chatbots.

ARTÍCULO RELACIONADO

Mark Carney pide a Canadá y Francia unir fuerzas para garantizar una inteligencia artificial segura

Los autores del estudio argumentan que los pequeños ajustes en el carácter del modelo deben probarse con la misma sistemática metodología que los cambios de capacidad más importantes, y que proteger a los usuarios de chatbots de inteligencia artificial amigables y cercanos requerirá replantear la forma en que se pronostican y gestionan los riesgos.

En suma, el hallazgo de este estudio plantea un desafío para el desarrollo de estos sistemas: hacer que un chatbot sea más cercano y empático no debería implicar reducir la precisión o aumentar el riesgo de respuestas equivocadas. El reto será encontrar un equilibrio entre sistemas cercanos y modelos de altos estándares de precisión.