Il documento, intitolato Targeted Compliance Framework Assurance Review, era stato commissionato dal Dipartimento per l’Occupazione e le Relazioni sul Lavoro (DEWR) e aveva lo scopo di valutare l'efficacia di un nuovo sistema informatico usato per individuare e sanzionare le dichiarazioni mendaci nelle richieste di aiuti statali.
Pubblicato a luglio, il report avrebbe dovuto verificare la coerenza tra il codice informatico del programma e le normative in vigore. Peccato che era pieno di errori straordinariamente gravi: lo studio includeva diversi riferimenti ad articoli e studi che non esistevano. Curiosamente, ad accorgersene non è stato lo stesso governo, ma un gruppo di accademici dell’Università di Sydney. Peraltro, il report di Deloitte attribuiva ad una docente universitaria alcuni studi che non aveva mai pubblicato, con il rischio di danneggiare la reputazione di quest'ultima.
Nel frattempo, Deloitte Australia ha ammesso l'incidente, sostenendo di aver usato uno strumento AI, e per la precisione la versione di GPT-4o fornita da Microsoft Azure - per rifinire la parte di analisi tecnica del dossier. Il problema, spiega lo studio di consulenza, è che l'AI non si sarebbe limitato a ciò, ma avrebbe completato il testo inserendo citazioni inventate di sana pianta.
Venerdì Deloitte ha pubblicato una nuova versione del documento, questa volta priva delle allucinazioni generate dall'AI. Complessivamente, sono stati rimossi 14 dei 141 riferimenti precedentemente inclusi nell'analisi. Deloitte ha anche dichiarato di aver restituito al governo l'ultima tranche di quanto pattuito per la consulenza, ciononostante, l'azienda sostiene che la bontà delle raccomandazioni finali dello studio rimangono valide.
Una posizione che ovviamente ha lasciato perplessi gli accademici che avevano denunciato l'episodio. Chris Rudge, il docente di diritto sanitario che ha scoperto gli errori, ad esempio sostiene che l'incidente abbia compromesso completamente la credibilità del rapporto, suggerendo che l'analisi andrebbe rifatta da capo. Senza l'uso di AI, beninteso.
Scia luminosa su Marte: l’immagine di Perseverance fa impazzire gli scienziati