Perché l'IA è così convincente

I modelli linguistici rispecchiano il tuo modo di scrivere: il tuo vocabolario, il tuo ritmo, le tue immagini, il tuo umorismo. Chi scrive in modo asciutto riceve risposte asciutte; chi scrive in modo poetico si vede rispondere con poesia.

Questo adattamento produce una sensazione che conosciamo dalle relazioni strette: qui c'è qualcuno che mi capisce senza bisogno di spiegazioni. In realtà stai ascoltando un'ottima riproduzione del tuo stile — e il consenso, nella propria lingua, sembra particolarmente vero.

I chatbot moderni conservano quello che hai raccontato: il tuo lavoro, i tuoi conflitti, il nome del tuo cane. La volta dopo riprendono da lì. È comodo — e crea continuità, cioè esattamente ciò che altrimenti sperimentiamo solo con le persone che ci conoscono davvero.

Per l'attrazione la memoria è la leva più forte. Una conversazione che ieri ha confermato la tua visione può riprenderla oggi — e di nuovo domani. Da singole risposte nasce così un racconto su di te e sulla tua situazione che non si contraddice mai, perché proviene da un'unica fonte.

Le persone hanno limiti: dormono, si spazientiscono, hanno un'opinione propria. Sono proprio questi limiti a funzionare da correttivo sociale. Se racconti la stessa preoccupazione per la quinta volta, prima o poi qualcuno ti dice: «Secondo me stai girando in tondo».

Un chatbot lo dice di rado. Alle tre di notte è attento esattamente come alle tre del pomeriggio — e le conversazioni più lunghe e intense avvengono davvero nelle ore notturne, quando la stanchezza abbassa comunque la capacità di giudizio.

Nell'insieme nasce quella che gli specialisti chiamano camera dell'eco a una persona sola: uno spazio in cui la tua visione delle cose circola, viene arricchita e ti torna indietro — senza che entri mai una seconda prospettiva.

Come appare nella sua forma innocua lo mostra un esempio di tutti i giorni. Una collega ti ha interrotto in riunione, la cosa ti dà ancora fastidio, e la sera la racconti al chatbot.

Passo uno: racconti la tua versione — inevitabilmente la tua, è l'unica che hai. Passo due: il bot te la rimanda indietro, con le tue parole, con comprensione («Anche per me sarebbe stato irrispettoso»). Passo tre: ti senti dare ragione e spingi oltre — «Secondo te lo fa spesso?». Passo quattro: il bot lavora con il materiale che ha e trova uno schema; conosce solo i tuoi racconti. Passo cinque: il giorno dopo torni, e ormai il racconto è costruito insieme. Da una frase interrotta è nato un tratto del carattere.

Niente di tutto questo è in malafede, e nessuno si ammala per questo. Ma la versione che hai la terza sera è più lontana dalla realtà di quella della prima — e dà più sicurezza. È esattamente ciò che intende il termine spirale di rinforzo: entrambe le parti costruiscono insieme una visione che nessuno ha verificato.

La contromossa non è spettacolare: una seconda fonte. Una persona che c'era. Una domanda posta apposta per rendere forte l'altra campana. Un giorno di distanza.

I grandi fornitori hanno reagito dopo che i primi casi sono diventati pubblici. Un aggiornamento del modello diventato visibilmente troppo compiacente è stato ritirato nel 2025. Ci sono promemoria per fare una pausa nelle sessioni molto lunghe, rimandi a servizi di supporto e numeri per le crisi quando le conversazioni entrano in certi territori, oltre a impostazioni per i genitori e limiti di età nei servizi di compagnia. Anche la legislazione si sta adeguando — per esempio con l'obbligo di dichiarare che non stai scrivendo a una persona.

È più di niente ed è meno di una soluzione. La tendenza al consenso è insita nel modo in cui questi sistemi vengono costruiti; si può attenuare, non spegnere. La protezione più affidabile resta quella che porti tu: sapere quando stai cercando conferma invece di una risposta.