Chi controlla quello che scrive l'AI

Nel primo mese controllano tutti. Dopo tre mesi, in molte aziende, la risposta onesta alla domanda è: nessuno in particolare, e nessuno ha deciso che fosse così. Il meccanismo è semplice e non ha niente a che vedere con la pigrizia: i primi venti output sono buoni, chi li legge non trova errori, leggere comincia a sembrare tempo buttato, e la lettura si accorcia. Si accorcia di nuovo la settimana dopo, perché anche quella volta non c'era niente da correggere. Quando passa l'errore vero, non c'è più nessuno in posizione per vederlo, e la soglia di quello che consideriamo accettabile si è abbassata senza che nessuno l'abbia abbassata. La soglia si tiene con tre cose: un campione fisso che si legge sempre, un nome che firma, e una lista corta di cose che non escono senza occhi umani.

Come si allenta un controllo

La prima settimana la lettura è vera. Chi riceve la bozza la legge riga per riga, con il sospetto di chi non si fida, e il sospetto è utile: trova le cose. Trova il prezzo vecchio, la condizione di pagamento che non usiamo più, la frase gentile in un punto dove serviva fermezza.

La seconda settimana la bozza esce pulita tre volte di seguito. Alla quarta, la lettura diventa una scorsa: si guarda l'inizio, si guarda la fine, si cerca con l'occhio se c'è qualcosa che stona. È una decisione ragionevole, presa da una persona ragionevole, con l'informazione che ha: venti prove e nessun errore.

Il mese dopo la scorsa diventa un colpo d'occhio. Nessuno lo chiama smettere di controllare, e tecnicamente non lo è. Se chiedi a quella persona se controlla, risponde sì, e non sta mentendo. Controlla la forma, il tono, l'impaginazione. Quello che ha smesso di fare è verificare, che è un'altra attività: risalire a un numero e guardare da dove viene, aprire il contratto e cercare la clausola, controllare che quel nome esista.

Rileggere è un gesto che si fa con la testa dentro il testo. Verificare è un gesto che porta fuori dal testo, e costa dieci volte tanto. L'AI produce testi che non hanno bisogno di essere riletti, perché la forma è sempre a posto, e proprio per questo chi legge non ha più il campanello che lo porta a verificare. Quando un collega scriveva una frase sgrammaticata, quella frase ti insospettiva anche sul contenuto. Ora il contenuto sbagliato arriva in una frase perfetta.

L'obiettivo che scivola

Quello che è successo in quei tre mesi ha una forma che nei sistemi si ripete: un obiettivo che scivola verso il basso perché viene continuamente confrontato con quello che stiamo facendo, invece che con un riferimento fermo.

Più bozze lette riga per riga, più errori trovati: le due cose vanno nello stesso verso. Più errori trovati, meno fiducia nell'output: verso opposto, e qui sta la parte che sembra strana. Trovare errori è una buona notizia per il sistema, perché tiene bassa la fiducia e alta l'attenzione. Più fiducia nell'output, meno bozze lette riga per riga: secondo verso opposto, con un ritardo di qualche settimana, perché nessuno ricorda il giorno in cui ha smesso di leggere.

Due legami a verso opposto nello stesso giro fanno un ciclo di rinforzo. Un ciclo di rinforzo amplifica la direzione in cui è partito, e questo è partito nella direzione buona: output buoni, pochi errori trovati, fiducia alta. Ogni giro aggiunge fiducia e toglie lettura, finché la lettura è un colpo d'occhio e gli errori trovati sono zero per il motivo sbagliato.

L'errore che passa non sembra un errore

Gli errori che superano un controllo allentato hanno una famiglia precisa, e vale la pena conoscerla perché la lista di cosa verificare nasce da lì.

Il numero plausibile. Un tempo di consegna di quindici giorni dove il nostro standard è venti, un prezzo che sembra il nostro perché è dello stesso ordine di grandezza. Nessuno lo nota perché non stona.

La condizione che non esiste. Una clausola di garanzia scritta bene, formulata come la scriveremmo noi, che nel nostro contratto non c'è. Il modello la mette perché nei testi su cui ha imparato quella clausola c'era.

Il dettaglio preso dal caso vicino. La risposta a un cliente che contiene un pezzo della risposta data a un altro cliente, perché nel materiale che gli hai dato c'erano entrambi.

La sicurezza su una cosa non vera. Questa è la più pericolosa in un contesto aziendale: il modello risponde con lo stesso tono fermo quando sa e quando sta ricostruendo. Il tono non porta informazione sulla sua affidabilità, e noi siamo abituati a leggerlo come se la portasse.

Nessuna di queste quattro cose si vede con una scorsa. Tutte e quattro si vedono con una domanda sola: questo numero, questa clausola, questo nome, da dove vengono?

Il reclamo arriva troppo tardi

Il guaio di un controllo che si allenta è che il segnale di allarme arriva da fuori e arriva tardi.

Il cliente scrive dopo due mesi: nell'offerta c'era un tempo di consegna che non possiamo rispettare. Quell'offerta è uscita otto settimane fa e nel frattempo ne sono uscite altre quaranta dello stesso stampo. Una possibile reazione è una correzione forte: da oggi tutto passa dal titolare, niente esce senza doppia lettura, sospendiamo l'uso dello strumento per le offerte.

La correzione forte regge due settimane, perché costa più del lavoro. Poi si allenta, e si allenta fino al colpo d'occhio di prima, perché nessuno ha messo una soglia stabile tra lo zero e il tutto. Il sistema oscilla tra "controlliamo ogni riga" e "non controlliamo niente", e ogni oscillazione costa fiducia a chi usa lo strumento.

Come si tiene la soglia

Serve una cosa che non si muove. Si può costruire con tre elementi, da adattare alle responsabilità del processo.

Un campione fisso. Cinque output a settimana, estratti a caso, letti riga per riga con la domanda sulla provenienza dei numeri. Sempre cinque, anche nelle settimane in cui va tutto bene, soprattutto in quelle. Il campione non serve a trovare tutti gli errori: serve a produrre il numero degli errori trovati, che è il solo dato in grado di dire se la qualità tiene o se sta scivolando. Senza quel numero la fiducia cresce senza prove, e il ciclo di sopra fa il suo lavoro.

Un nome che firma. Per ogni tipo di output, una persona che risponde se esce sbagliato e che lo sa. Un ufficio non firma, un ruolo non firma. La firma cambia il modo in cui quella persona legge, perché legge da responsabile e il responsabile verifica. In un'azienda da venti persone i nomi sono due o tre in tutto.

Una lista corta di cose che non escono senza lettura umana. Corta vuol dire quattro o cinque righe, scritte, attaccate dove serve. Una lista di partenza da adattare al lavoro: i numeri che diventano un impegno con qualcuno (prezzi, tempi di consegna, quantità, scadenze), le clausole e le condizioni contrattuali, i dati e i nomi delle persone, qualunque testo diretto a un ente pubblico, e il primo documento che va a un cliente nuovo. Per gli altri contenuti il controllo va proporzionato all’uso e alle conseguenze di un errore. La lista non sostituisce obblighi professionali, contrattuali o di riservatezza.

Il livello di controllo si attacca al tipo di output e non alle persone. Così si evita la conversazione sulla fiducia nei colleghi, che non porta da nessuna parte, e al suo posto arriva una domanda sul danno: se questo esce sbagliato, cosa costa rimetterlo a posto?

La verifica ha un costo che va contato nel tempo complessivo del lavoro assistito dall’AI. Ridurlo richiede materiale di partenza migliore: conservare fonti umane e verificabili aiuta a distinguere una frase plausibile da un dato controllato.

Quando gli errori dipendono da informazioni che mancano alla richiesta, è utile rivedere la struttura attorno al prompt, invece di aggiungere soltanto un controllo a valle.

Cosa guardo dopo un mese

Dopo quattro settimane guardo due numeri e una colonna.

Il primo numero: errori trovati nel campione, per settimana. Se è zero per tre settimane di fila, non concludo che la qualità sia perfetta. Guardo prima il campione: chi lo legge, quanto tempo ci mette, se fa la domanda sulla provenienza. Uno zero ottenuto in quattro minuti di lettura parla del lettore prima che dell'output.

Il secondo numero: errori arrivati al cliente. Devono essere pochi e devono essere raccontati, uno per uno, senza cercare il colpevole. Ognuno di questi vale dieci di quelli trovati in casa, perché ognuno ha attraversato tutta la catena senza che nulla lo fermasse.

La colonna è: chi l'ha preso. La persona che ha scritto, il campione, il cliente. Se la terza voce cresce, la soglia è già scivolata e il foglio me lo dice settimane prima del reclamo. Quando un errore arriva al cliente chiedo a quale delle famiglie di sopra appartiene e aggiungo quella riga alla lista, invece di raddoppiare tutti i controlli per due settimane. Una lista che cresce di una riga ogni volta che la realtà ci corregge resta corta e resta viva.