La epidemia de bluff en la AI: por qué inventa y cómo detenerla

Un estudio reciente realizado por investigadores de Open-AI revela la naturaleza de las "alucinaciones" de la inteligencia artificial: no son errores aleatorios, sino un sistema diseñado para "inventar" con tal de superar los tests. Es un riesgo muy serio, especialmente para las empresas que adoptan la AI en sus procesos core. Y el negocio global está tomando medidas.

El fantasma en la máquina: anatomía de una alucinación

Imaginad a un estudiante brillantísimo que, con tal de no entregar la hoja en blanco, se inventa por completo hechos históricos con una propiedad del lenguaje impecable. Es exactamente lo que a veces hacen los Large Language Models (LLM).

Un estudio revolucionario titulado Why Language Models Hallucinate, realizado hace unos meses por investigadores de OpenAI y Georgia Tech, analizó por primera vez de forma clara y extremadamente profunda este fenómeno de las "alucinaciones": la creciente tendencia de la AI a producir afirmaciones inventadas pero extremadamente plausibles.

Cuando un modelo no logra responder a una pregunta y, al mismo tiempo, no es capaz de distinguir un hecho de una mentira, la presión estadística lo empuja a generar respuestas audaces en lugar de admitir la incertidumbre.

Al probar los modelos más avanzados (como DeepSeek-V3, Meta AI o Claude) en tareas triviales como contar las letras de una palabra o identificar fechas de nacimiento específicas, los investigadores obtuvieron respuestas incorrectas pero entregadas con la máxima seguridad. La AI, en resumen, ha sido entrenada para ser una "test-taker" serial: prefiere adivinar y equivocarse antes que responder "no lo sé".

El costo de lo falso: el riesgo estratégico para las empresas

A todos nos ha ocurrido al menos una vez corregir a un asistente digital y recibir como respuesta las disculpas habituales: "Tienes toda la razón, me disculpo por el error", solo para recibir inmediatamente después una respuesta de signo completamente opuesto.

Si para un usuario particular descubrir una alucinación puede ser un caso divertido de revancha de la mente humana sobre la máquina, para una empresa que confía sus procesos fundamentales a la inteligencia artificial este fenómeno introduce vulnerabilidades y riesgos críticos con consecuencias a veces inimaginables.

La cuestión central reside en la alineación de los tests: la mayoría de los benchmarks actuales premian a los modelos que adivinan, ya que una abstención se evalúa con cero puntos, exactamente igual que un error. Esto crea una epidemia de incertidumbre penalizada. Para una empresa, confiar en un modelo que "bluffea" significa exponerse a:

• Errores críticos en la toma de decisiones: Basar estrategias en insights agregados pero parcialmente inventados.
• Riesgos contractuales y legales: Alucinaciones en la gestión de cláusulas o normativas que pueden derivar en litigios costosos.
• Daños reputacionales: Proporcionar datos incorrectos a stakeholders o clientes, minando la confianza en la marca.

La respuesta de Mashfrog: agentes con entrenamiento ético y "conductual"

El estudio de los investigadores sugiere un recorrido evolutivo de los benchmarks globales para premiar la honestidad de los modelos y aumentar progresivamente la fiabilidad de las respuestas; sin embargo, los tiempos de esta transición resultan claramente incompatibles con la rapidez con la que la AI está penetrando en las empresas.

En este contexto, Mashfrog for Procurement —la entidad del Grupo Mashfrog dedicada a soluciones agent-based para el mundo P2P— ya lleva tiempo implementando herramientas concretas para blindar y proteger sus procesos.

El enfoque de Mashfrog no se limita a la construcción de agentes de simple automatización, sino que apuesta por la behavioral calibration (calibración conductual). Mediante la integración de tecnologías como RAG (Retrieval-Augmented Generation), los agentes de Mashfrog no trabajan sobre una "memoria abstracta", sino que extraen información únicamente de contextos fiables y verificados, como los sistemas ERP corporativos, plataformas de Procurement o bases de datos certificadas (Cerved, Open-es).

Los modelos de entrenamiento adoptados por Mashfrog limitan las alucinaciones a través de tres pilares:

• Objetivos de confianza explícitos: Los agentes están instruidos para responder solo si superan un umbral de seguridad predefinido, evitando el "guessing" sistemático.
• Explainable AI (XAI): Cada decisión del agente (desde la validación de un proveedor hasta el análisis de una cláusula) es trazable y verificable, eliminando el efecto de "caja negra".
• Control de los "Singletons": Mashfrog supervisa cuidadosamente los datos raros o únicos durante el pre-training, que la investigación identifica como los más propensos a distorsión, para garantizar que el output esté siempre anclado a la realidad.

En un mercado que premia la velocidad, Mashfrog elige el camino de la precisión certificada, transformando la AI de un estudiante que adivina en un consultor infalible.