IA · 1 novembre 2026 · 4 min di lettura
Un solo segnale per fermare i crawler: i colossi dell'IA adottano il nuovo standard anti-scraping
In sintesi: OpenAI, Google, Microsoft e Anthropic hanno annunciato il supporto per un nuovo standard condiviso che semplifica l'opt-out dall'addestramento dei modelli di intelligenza artificiale. Proposta all'Internet Engineering Task Force (IETF) dal responsabile degli standard di Anthropic Kevin Kelley, la soluzione introduce un policy token unico all'interno del tradizionale file robots.txt, superando la frammentazione che costringeva editori e sviluppatori a gestire decine di regole e User-Agent differenti.
di Team Mocchi's
Per anni l'infrastruttura del web si è retta sulla tacita fiducia verso il file robots.txt, un semplice documento di testo inventato nel 1994 per indicare ai motori di ricerca quali percorsi scandagliare e quali ignorare. Con l'esplosione dei modelli generativi e la voracità di dati necessaria per allenarli, quel meccanismo ha mostrato tutti i suoi limiti architetturali. I gestori di siti web e le aziende editoriali si sono trovati costretti a inseguire un elenco in continua espansione di bot proprietari — da GPTBot a Google-Extended, fino a ClaudeBot —, dovendo formulare blocchi mirati che spesso rischiavano di compromettere anche la normale indicizzazione sui motori di ricerca.
Ora i principali attori dell'ecosistema provano a fare ordine. Come riporta The Verge, OpenAI, Google, Microsoft e Anthropic hanno annunciato il loro sostegno a una specifica aperta che consentirà agli amministratori web di dichiarare le proprie preferenze sull'addestramento dei modelli attraverso un unico segnale standardizzato.
Dal caos degli User-Agent al policy token condiviso
La proposta è stata depositata presso l'Internet Engineering Task Force (IETF) da Kevin Kelley, technical lead per gli standard presso Anthropic. L'iniziativa introduce un "policy token" condiviso all'interno della sintassi del robots.txt. Invece di dover configurare stringhe separate per ogni laboratorio o bot di scraping conosciuto, chi gestisce un portale potrà definire una direttiva generale valida per tutti i firmatari dell'accordo.
Fino a oggi, la moltiplicazione degli agenti di scansione aveva generato una manutenzione onerosa per i team di sviluppo. Bloccare uno specifico crawler non garantiva che lo stesso vendor non impiegasse agenti secondari con nomi differenti per reperire dataset grezzi, costringendo i webmaster a monitorare costantemente i log dei server per intercettare nuovi indirizzi IP e identificativi.
Separare la ricerca dal training dei modelli
Uno dei problemi più complessi affrontati dal nuovo standard riguarda il conflitto di interessi tra visibilità e proprietà intellettuale. Per anni, escludere un operatore significava spesso correre il rischio di sparire dai risultati organici della ricerca sul web, compromettendo traffico e visibilità commerciale.
Sebbene alcuni colossi abbiano introdotto nel tempo flag separati per distinguere l'indicizzazione delle pagine web dall'estrazione per il deep learning, l'assenza di una convenzione universale ha generato zone d'ombra. La specifica in discussione all'IETF mira a formalizzare questa distinzione a livello di protocollo internet, consentendo a chi pubblica contenuti di rendersi reperibile nei motori di ricerca tradizionali senza per questo autorizzare l'ingestione massiva dei propri testi, immagini o codice sorgente nei dataset di frontiera.
Un accordo di trasparenza dopo anni di tensioni
L'intesa tra aziende storicamente rivali arriva al culmine di una stagione segnata da dispute giudiziarie sul copyright, accordi di licenza milionari con i grandi gruppi editoriali e contestazioni da parte delle community open source. La corsa all'acquisizione indiscriminata di pagine web ha logorato i rapporti tra le piattaforme di intelligenza artificiale e i creatori di contenuti indipendenti.
Formalizzare il consenso all'interno dell'IETF offre ai grandi laboratori uno strumento per dimostrare conformità e cooperazione regolatoria, riducendo l'attrito con le autorità garanti della concorrenza e della protezione dati. Resta tuttavia aperto il tema dell'effettiva adozione: lo standard impegna per ora solo i colossi aderenti, lasciando fuori centinaia di bot non dichiarati, scraper commerciali opachi e organizzazioni che operano al di fuori delle buone pratiche del web.
Il punto di Mocchi's
Per le aziende italiane che gestiscono portali digitali, cataloghi e-commerce o piattaforme con documentazione proprietaria, l'arrivo di uno standard IETF unificato è un'ottima notizia sul piano dell'operatività tecnica: ridurrà il tempo speso a rincorrere l'ultimo User-Agent di turno e limiterà gli errori di configurazione del robots.txt. Dobbiamo tuttavia ricordare che una direttiva a livello di protocollo resta un accordo di conformità tra soggetti collaborativi, non una barriera crittografica o un firewall. Per proteggere banche dati sensibili e proprietà intellettuale strategica, la governance del dato online richiederà ancora architetture di autenticazione robuste e controlli di accesso a livello di rete.