I risultati dell'AI si vedono sempre in ritardo

Tra il giorno in cui un'azienda comincia a usare l'intelligenza artificiale e il giorno in cui il conto economico se ne accorge passano mesi, e in quei mesi la produttività spesso scende prima di salire. I risultati si vedono in ritardo perché la parte visibile dell'investimento (le licenze, il corso) è la più piccola: il grosso è lavoro invisibile, processi da riscrivere, persone che imparano, errori da assorbire. Chi misura troppo presto vede solo la discesa e chiude il progetto. Chi misura troppo tardi vede un numero di fatturato che non spiega da cosa dipende, e non impara niente. L'unica via che conosco è smettere di aspettare il fatturato e guardare le misure che si muovono prima: il tempo per una singola attività, gli errori corretti, le richieste che non arrivano più.

Dove va il tempo dei primi mesi

Mettiamo che un'azienda da trenta persone decida di usare l'AI per gestire le richieste di assistenza di primo livello. L'investimento visibile si fa in una settimana. Quello invisibile comincia il giorno dopo.

Qualcuno deve leggere le ultime trecento richieste per capire quali sono davvero ripetitive. Qualcuno deve scrivere le risposte tipo, provarle, correggerle. Chi risponde ai clienti deve imparare a controllare una bozza invece di scriverla da zero, che è un'abilità diversa e all'inizio più lenta. I primi errori del sistema vanno intercettati, e intercettarli costa più attenzione di quanta ne costasse rispondere a mano.

In questi mesi la produttività misurata cala. Le stesse persone fanno le stesse cose di prima, più il lavoro di costruzione. Chi guarda solo il numero di richieste chiuse al giorno vede un peggioramento e ha ragione: è peggiorato. Quello che non vede è che il peggioramento è il prezzo della salita successiva.

La curva a J

Questo andamento ha un nome. Erik Brynjolfsson, con Daniel Rock e Chad Syverson, lo ha chiamato "productivity J-curve" studiando come le tecnologie di uso generale (l'elettricità, il computer, oggi l'AI) entrano nelle imprese. La forma è quella della lettera: prima una discesa, poi una risalita che supera il punto di partenza. La discesa dipende da investimenti che nessun bilancio registra come investimenti, perché sono fatti di tempo delle persone e di processi riscritti. Compaiono come costi e basta.

Nelle aziende italiane che seguo la J è più stretta di quella descritta per le grandi imprese, perché le dimensioni sono più piccole e le decisioni più veloci. C'è sempre, però. Anche in un'azienda da dodici persone ci sono settimane in cui chi usa lo strumento è più lento di prima, e quelle settimane qualcuno le nota.

Chi misura troppo presto e chi troppo tardi

Il ritardo tra investimento e risultato produce due errori opposti, e li ho visti entrambi.

Il primo è di chi misura troppo presto. Dopo sei settimane il titolare guarda il numero di richieste chiuse, vede che è sceso, e decide che l'AI "da noi non funziona". Il progetto si chiude nel punto più basso della J, un attimo prima della risalita. Nessuno saprà mai se avrebbe funzionato.

Il secondo è di chi misura troppo tardi. Il progetto va avanti, nessuno guarda niente per otto mesi, poi a fine anno il fatturato è cresciuto. O è calato. In entrambi i casi non si sa perché: nel frattempo sono cambiate due persone, un fornitore, il listino. Il numero finale non insegna niente su cosa ha funzionato, e l'azienda non può ripetere quello che ha fatto di buono.

C'è un terzo caso, più sottile, in cui i due errori si sommano. L'azienda misura, e misura una cosa giusta in apparenza: le ore liberate al mese. Solo che le ore liberate si vedono con due o tre mesi di ritardo rispetto a quello che si fa oggi. Così la direzione guarda il numero, vede che non sale, e raddoppia lo sforzo: più formazione, un secondo caso d'uso. Tre mesi dopo il numero sale di colpo, perché arrivano insieme gli effetti del primo e del secondo sforzo, e sembra troppo: si taglia. Poi crolla. Il sistema oscilla attorno al risultato invece di raggiungerlo, e ogni oscillazione costa fiducia. Il problema non è la misura: è il ritardo con cui arriva.

Le misure che si muovono prima

Il fatturato è l'ultima cosa che si muove. Prima di lui si muovono altre, e sono quelle da guardare.

Il tempo per singola attività. Quanto ci vuole a preparare una risposta di assistenza, da quando la richiesta entra a quando parte. Si misura dalla seconda settimana, con un cronometro o con l'orario registrato dal gestionale. Se l'AI serve, questo numero scende entro poche settimane, molto prima che il risparmio diventi una riga di bilancio.

Gli errori corretti. Quante bozze del sistema vengono modificate prima di partire, e quanto. All'inizio tante; se il lavoro di costruzione sta funzionando, scendono. Questa misura dice se stai salendo lungo la J o se sei fermo in fondo. È la più onesta, perché è quella che le persone sentono sulla pelle.

Le richieste che non arrivano più. Se l'AI serve a rispondere ai clienti, dopo un po' certe domande smettono di ripetersi, perché la risposta buona è finita anche sul sito, nella conferma d'ordine, nel manuale. Un calo delle richieste ripetitive dice che il sistema sta cambiando il processo, oltre a velocizzarlo.

Le tre misure cambiano nome a seconda del caso d'uso, e la logica resta la stessa. Se l'AI serve a preparare le offerte commerciali, il tempo per singola attività è il tempo da richiesta a offerta inviata, gli errori corretti sono le righe cambiate dal commerciale prima di spedire, e le richieste che non arrivano più sono le domande di chiarimento del cliente dopo averla ricevuta. Se serve a scrivere i verbali, il tempo è quello tra fine riunione e verbale distribuito, gli errori sono le correzioni dei partecipanti, e le richieste che calano sono i "ma cosa avevamo deciso?" della settimana dopo. In ogni caso serve una misura di partenza, presa prima di iniziare, altrimenti non c'è niente con cui confrontare.

Nessuna di queste tre misure finisce in un bilancio. Tutte e tre si muovono mesi prima del fatturato, e tutte e tre dicono qualcosa su cosa sta funzionando e cosa no. Il fatturato, quando arriverà, sarà la conferma.

Come scegliere la misura

Per scegliere una misura propongo tre criteri, da adattare al caso.

La misura si deve muovere presto. Se la prima variazione visibile arriva dopo tre mesi, arriva troppo tardi per guidare le scelte: può solo raccontarle a cose fatte. Il tempo per una pratica si muove in due settimane.

La misura deve dipendere dal lavoro che stai facendo, e poco da altro. Il fatturato dipende dal mercato, dai concorrenti, dalla stagione. Gli errori corretti nelle bozze dipendono quasi solo da quanto bene hai costruito il caso d'uso.

La misura deve costare poco da raccogliere. Un cronometro, un contatore, una colonna in più nel foglio. Se raccoglierla richiede un progetto, nessuno la raccoglierà dopo la terza settimana.

Il tempo per singola attività soddisfa tutti e tre i criteri quasi sempre, e per questo è il primo passo dello schema. Il fatturato ne soddisfa zero, ed è per questo che va guardato per ultimo, come conferma di quello che le altre misure hanno già detto.

Una misura anticipatrice vale poco se ignora la verifica: affiancala al costo del ciclo intero. E separa la qualità del progetto dalla sua continuità: un uso che si interrompe dopo il primo mese non può produrre gli stessi apprendimenti di una prova mantenuta nel tempo.

Il ritmo con cui guardare

Resta la domanda di quando guardare. Un ritmo da cui partire: la misura anticipatrice ogni settimana, per i primi tre mesi, su un foglio che vedono tutti quelli coinvolti. Un numero a settimana, niente grafici elaborati. Dopo tre mesi, se il numero si muove nella direzione giusta, si continua e si passa a guardarlo ogni mese. Se non si muove, si cambia qualcosa nel caso d'uso, e si ricomincia a contare. Il fatturato si guarda quando arriva, con la curiosità di chi vuole una conferma e senza l'ansia di chi aspetta un verdetto.

La J si attraversa così: sapendo che la discesa c'è, misurando qualcosa che dice a che punto della curva sei, e resistendo alla tentazione di decidere mentre sei in fondo.

Riferimento per la curva a J

Il modello economico citato è di Erik Brynjolfsson, Daniel Rock e Chad Syverson: The Productivity J-Curve. Riguarda investimenti complementari e produttività misurata; non garantisce una risalita per ogni singolo progetto AI. La traccia di misure proposta qui è un’applicazione pratica dell’articolo, non una previsione tratta dallo studio.