¿Cómo rinde la IA en el trabajo?

Con el rápido avance de los grandes modelos de lenguaje, LLMs, surge una pregunta práctica: ¿cómo medir su desempeño real en la ejecución de las tareas propias de cada profesión?”

Un reciente estudio de OpenAI busca responder a este interrogante, midiendo el rendimiento de los LLMs en la ejecución de 220 tareas en 44 ocupaciones, evaluando tareas tales como, preparar una lista de actividades diarias en una tienda para asegurar una experiencia de compra consistente y positiva para los clientes, realizar los planos y lista de componentes para el diseño de una linterna, o, preparar la declaración individual de impuestos de un cliente.

Un panel de expertos realizó una evaluación a ciegas comparando el desempeño de personas expertas en cada ocupación y LLMs en la ejecución de las diversas tareas. A partir de estos resultados se calculó el indicador “Win Rate”, que mide los casos en que los LLMs igualan o superan a los expertos humanos. En esta evaluación, ChatGPT-5 obtuvo un 38,8%, mientras que Claude Opus 4.1 alcanzó un 47,6%.
Más allá de los promedios, es necesario comprender como varían los resultados según la diversidad de tareas de las profesiones, que tan rutinarias son, y su potencial de automatización o complementación con la tecnología, siguiendo la clasificación propuesta por el modelo de Acemoglu:

• No rutinarias, cognitivas y analíticas: tareas donde sobresalen ocupaciones como editores, desarrolladores de software y analistas financieros, y en las cuales el “Win Rate” alcanza rangos entre 40% y 48%, en estas tareas la IA no sustituye al experto, pero le da velocidad y variante creativa, predominando soluciones tipo “Copiloto”.

• No rutinarias, cognitivas e interpersonales: incluyen roles como conserjes, compradores, supervisores de tiendas y ayudantes logísticos. Aquí el Win Rate se sitúa entre 25% y 35%, ya que el trabajo cognitivo depende en gran medida de la coordinación con otras personas. En estos casos, la IA actúa como asistente, proponiendo ideas, apoyando en el análisis o facilitando búsquedas de información, sin reemplazar la interacción humana.

• Rutinarias y cognitivas: abarcan funciones como contadores, asistentes administrativos o asistentes inmobiliarios. Aunque parece contraintuitivo, el Win Rate fue de solo 15% a 25%. Si bien la IA tiene la capacidad teórica de ejecutar tareas repetitivas como el llenado de formularios, el riesgo de errores costosos por mala interpretación exige una supervisión estrecha. Son, por tanto, tareas con alta automatización del trabajo bruto, pero con necesidad casi obligatoria de validación humana.

• Rutinarias manuales: en estas actividades la IA generativa aún no resulta relevante, pues el ámbito de estas tareas se acerca más al de la robótica orientada a la asistencia física.

• No rutinarias manuales: demandan juicio situacional -por ejemplo, un editor de video que evalúa el tono emocional o decide qué escenas enfatizar-, lo que explica “Win Rates” inferiores a 5%.

El modelo de Acemoglu nos ayuda a orientar la estrategia de adopción de IA acorde a la diversidad de las tareas, permite definir dónde automatizar, dónde aumentar capacidades y dónde preservar el juicio experto, orientando a las organizaciones hacia la complementariedad entre las personas y la tecnología.