DeepSeek svela quanto ha speso per allenare la sua AI: molto poco

DeepSeek AI quest'anno ha scosso l'industria dell'intelligenza artificiale con modelli linguistici potenti ma a basso costo, e a questo giro ha svelato il segreto che lo ha reso possibile. In un nuovo studio pubblicato sulla prestigiosa rivista scientifica Nature, il team di ricerca ha rivelato di aver addestrato il suo modello di punta, R1, con soli 294.000 dollari e 512 chip Nvidia H800, una frazione dei costi sostenuti dai giganti occidentali come OpenAI.

La chiave di questa efficienza risiede in un innovativo approccio di apprendimento per rinforzo basato proprio sul trial & error. Invece di ricorrere al tradizionale e costoso addestramento su enormi set di dati annotati da esseri umani, il team ha implementato un sistema di punteggio. Come spiegato in un articolo di commento da due ricercatori della Carnegie Mellon University (che trovate in Fonte), il modello si comporta come un bambino che impara a giocare a un videogioco: riceve un punteggio alto per le risposte corrette e uno basso per quelle sbagliate. In questo modo, l'AI è incentivata a trovare autonomamente la soluzione corretta, un metodo che si è rivelato particolarmente efficace per problemi di matematica e programmazione, dove esiste una risposta oggettivamente verificabile.

Questo approccio, tuttavia, presenta dei limiti, visto che rende il processo di ragionamento della macchina più opaco e difficile da interpretare per gli umani. I ricercatori hanno notato che, quando richiesto di spiegare i suoi passaggi, il modello a volte produceva testi lunghissimi o alternava tra inglese e cinese. Inoltre, il metodo si è dimostrato meno efficace per domande soggettive o che richiedono sfumature di contesto.

Nonostante l'innovazione tecnica, DeepSeek rimane al centro di un dibattito per i suoi legami con il governo cinese. Un recente report del Washington Post, ad esempio, ha mostrato come il modello si rifiuti di generare codice con falle di sicurezza se la richiesta è associata a gruppi considerati sensibili da Pechino.

La pubblicazione su Nature offre quindi una finestra affascinante su come DeepSeek sia riuscita a competere a livello globale con un budget ridotto, ma non dissipa le preoccupazioni sul contesto geopolitico in cui opera.