L’epidemia di bluff nell'AI: perché inventa, come fermarla

Un recente studio condotto dai ricercatori di Open-AI rivela la natura delle "allucinazioni" dell'intelligenza artificiale: non errori casuali, ma un sistema progettato per "inventare" pur di superare i test. È un rischio molto serio, soprattutto per le aziende che adottano l’AI nei loro processi core. E il business globale sta correndo ai ripari.

Il fantasma nella macchina: anatomia di un’allucinazione

Immaginate uno studente brillantissimo che, pur di non consegnare il foglio in bianco, inventa di sana pianta fatti storici con una proprietà di linguaggio impeccabile. È esattamente ciò che a volte fanno i Large Language Models (LLM).

Uno studio rivoluzionario  dal titolo Why Language Models Hallucinate, condotto  pochi mesi fa da ricercatori di OpenAI e del Georgia Tech ha analizzato per la prima volta in maniera chiara ed estremamente approfondita questo  fenomeno delle "allucinazioni": come una crescente  tendenza dell'IA a produrre affermazioni inventate  ma estremamente plausibili.

Quando un modello non riesce a rispondere ad un quesito ed al tempo stesso non è in grado di distinguere un fatto da una menzogna, la pressione statistica lo spinge a generare risposte audaci invece di ammettere l'incertezza.

Testando i modelli più avanzati (come DeepSeek-V3, Meta AI o Claude) su compiti banali come il conteggio delle lettere in una parola o date di nascita specifiche, i ricercatori hanno ottenuto risposte errate ma fornite con la massima sicurezza. L'IA, in breve, è stata addestrata per essere una "test-taker" seriale: preferisce indovinare e sbagliare piuttosto che rispondere "non lo so".

Il costo del falso: il rischio strategico per le aziende

A tutti noi è capitato almeno una volta di correggere un assistente digitale e sentirsi rispondere con le solite scuse: "Hai perfettamente ragione, mi scuso per l'errore", solo per ricevere subito dopo una risposta di segno completamente opposto.

Se per un utente privato la scoperta di un’allucinazione può essere un divertente caso di rivincita della mente umana sulla macchina, per un’azienda che affida all'intelligenza artificiale i propri processi fondamentali questo fenomeno introduce vulnerabilità e rischi critici dalle conseguenze a volte inimmaginabili.

La questione centrale risiede nell'allineamento dei test: la maggior parte dei benchmark attuali premia i modelli che indovinano, poiché un’astensione viene valutata con zero punti, esattamente come un errore. Questo crea un'epidemia di incertezza penalizzata. Per un’azienda, affidarsi a un modello che "bluffa" significa esporsi a:

• Errori decisionali critici: Basare strategie su insight aggregati ma parzialmente inventati.
• Rischi contrattuali e legali: Allucinazioni nella gestione di clausole o normative che possono portare a contenziosi costosi.
• Danni reputazionali: Fornire dati errati a stakeholder o clienti, minando la fiducia nel brand.

La risposta Mashfrog: Agenti con addestramento etico e "comportamentale"

Lo studio dei ricercatori suggerisce un percorso evolutivo dei benchmark globali per premiare l'onestà dei modelli ed aumentare progressivamente l’affidabilità delle risposte; tuttavia, i tempi di questa transizione risultano chiaramente incompatibili con la rapidità con la quale l'AI sta penetrando nelle aziende.

In questo scenario, Mashfrog for Procurement - la realtà del Gruppo Mashfrog dedicata alle soluzioni agentiche per il mondo del P2P - sta già implementando da tempo strumenti concreti per blindare i propri processi.

L’approccio di Mashfrog non si limita alla costruzione di agenti di semplice automazione, ma punta sulla behavioral calibration (calibrazione comportamentale). Attraverso l'integrazione di tecnologie come il RAG (Retrieval-Augmented Generation), gli agenti di Mashfrog non lavorano su "memoria astratta", ma estraggono informazioni solo da contesti certi e verificati, come i sistemi ERP aziendali, Piattaforme di Procurement o banche dati certificate (Cerved, Open-es).

I modelli di addestramento adottati da Mashfrog limitano le allucinazioni attraverso tre pilastri:

• Obiettivi di confidenza espliciti: Gli agenti sono istruiti a rispondere solo se superano una soglia di sicurezza prestabilita, evitando il "guessing" sistematico.
• Explanable AI (XAI): Ogni decisione dell'agente (dalla validazione di un fornitore all'analisi di una clausola) è tracciabile e verificabile, eliminando l'effetto "scatola nera".
• Controllo dei "Singletons": Mashfrog monitora attentamente i dati rari o univoci nel pre-training, che la ricerca indica come i più soggetti a distorsione, per garantire che l'output sia sempre ancorato alla realtà.

In un mercato che premia la velocità, Mashfrog sceglie la strada della precisione certificata, trasformando l'IA da uno studente che indovina a un consulente infallibile.