¿Para qué pago algo especializado si GPT lo sabe todo?

Síganos y léanos en Google Discover

Unos días atrás, un director de TI de una compañía de servicios financieros me preguntó frente a su CFO: “¿Para qué pagamos algo especializado si GPT lo sabe todo?” Claramente, no había una respuesta que no sonara a defensa corporativa.

Como la pregunta va a repetirse en cada renovación de investigación este año. La respuesta corta “la calidad es distinta” no convence a ningún CFO. Hace falta algo verificable, práctico, real, así que llevo meses probando y comparando los resultados de un marco de cuatro condiciones que un sistema de conocimiento, humano o de IA, debe cumplir simultáneamente para sustentar una decisión de alto riesgo. Lo llamé “VERA”: Verificado*Experto*Responsable*Actualizado. Multiplican si uno es cero, la ecuación es cero.

Verificado, cada afirmación se rastreará hasta una fuente citable, no hasta la memoria estadística de un modelo entrenado con internet público. Un estudio de Stanford RegLab encontró que los agentes genéricos alucinan 58% y 82% de las veces en consultas legales especializadas. Herramientas con retrieval (RAG) bajan ese número a 17-34%.

Harvey AI, entrenada con más de 10.000 millones de tokens de jurisprudencia, reporta 0,2% en su propio benchmark, no en una auditoría externa.

Experto, conocimiento tácito que ningún corpus público contiene: cientos de conversaciones reales con compradores de tu categoría. Forrester sostiene ≈400.000 conversaciones al año con ejecutivos. Ese dato no está en ningún PDF que un modelo pueda haber leído.

Responsable, lo más complejo de explicar y lo más fácil de olvidar en la sala de juntas. Deloitte Australia reembolsó cerca de 290.000 dólares por un informe gubernamental con citas fabricadas por IA.
Si tu recomendación sale mal, ¿a quién le reclamas: al proveedor del modelo o al analista que firmó el informe?

Actualizado cierra el marco: el conocimiento del modelo fundacional se congela en una fecha de corte; los índices propietarios de una firma de investigación seria se actualizan cada trimestre.

Basta con que falle uno de los cuatro pilares para que el sistema colapse. Westlaw AI tiene retrieval, y aun así llegó a 34% de alucinaciones en pruebas independientes: le faltó rigor de verificación, y ningún otro pilar lo compensó.

Vale poner el costo en perspectiva: 59% de las empresas se arrepienten de al menos una compra de software reciente, con impacto “significativo o monumental” en más de la mitad de los casos, según Capterra. Una suscripción de investigación de seis cifras es marginal frente a una decisión tecnológica equivocada de millones.

Ese director de TI no necesitaba defender a un proveedor. Necesitaba una pregunta mejor para su CFO: si esta decisión de invertir US$350.000 sale mal, ¿el respaldo que tengo es un servicio experto especializado, o una captura de pantalla de un chat? La fórmula que ya circula entre exanalistas de las grandes firmas resume bien el equilibrio:

Investiga con IA generalista, valida con el especialista.

No es una decisión binaria. Es saber, para cada tipo de decisión, cuál de los dos vale la pena pagar.