CloudFlare ha annunciato nuove misure contro le pratiche abusive dei crawler AI, che scandagliano il Web costantemente “affamate” di dati utili ad addestrare i modelli di machine learning delle varie OpenAI, Meta, Google e così via. In sostanza bloccherà per default ogni crawler AI conosciuto, in modo tale da evitare che questi accedano a dati senza autorizzazione o senza compensare le aziende che ne sono proprietarie. Da ora in poi, tutti coloro che apriranno nuovi domini potranno decidere se acconsentire all’accesso dell’AI o meno - e alcuni potranno addirittura decidere se gratuitamente o a pagamento, e il prezzo lo faranno gli amministratori stessi.
L’iniziativa Pay Per Crawl è inizialmente rivolta agli editori più importanti e famosi a livello globale. Il prezzo, come dicevamo, è stabilito esclusivamente dagli editori; le aziende AI potranno valutare se accettare o meno, naturalmente. CloudFlare ha precisato di volersi assicurare che i crawler abbiano fin da subito accesso a tanti dati e di qualità, a patto di essere autorizzati e di pagare un prezzo congruo. Tra i primi siti ed editore coinvolti nell’iniziativa ci sono l’Associated Press, l’Atlantic, Fortune, Stack Overflow e Quora.
CloudFlare ha anche detto che sta lavorando con le aziende AI per studiare un sistema che obblighi ai crawler di dichiarare in modo chiaro ed esplicito il loro intento - per esempio, la raccolta di dati potrebbe essere usata per algoritmi di addestramento, di inferenza o di ricerca. Gli amministratori potranno decidere di concedere l’accesso ai crawler di un tipo e non a quelli di un altro, per esempio.
CloudFlare si è posizionata già da diverso tempo alla difesa dei contenuti originali e dell’ingegno umano nell’ambito della rivoluzione dell’intelligenza artificiale. Già dall’anno scorso i siti che hosta possono decidere di bloccare i crawler AI, la novità di oggi è che ora il blocco è attivo per default per tutti i nuovi clienti. Qualche giorno fa l’azienda ha usato parole piuttosto dure nei confronti della tecnologia, sostenendo che mette a rischio il modello di business dell’intera internet per come la conosciamo finora; più recentemente ha detto che queste misure si stanno rendendo sempre più urgenti perché la fiducia e la diffusione dei chatbot come ChatGPT sta crescendo sempre più rapidamente - e le persone leggono sempre meno i contenuti originali che questi servizi riprendono.