Vai al contenuto

Un segnale comune nel robots.txt per dire no al training AI

OpenAI sosterrà un segnale condiviso nel robots.txt per comunicare le preferenze di training a più fornitori AI. La proposta mantiene la sintassi esistente, ma resta volontaria e non è ancora uno standard approvato né un controllo già attivo presso OpenAI.

Che succede

Per comunicare ai diversi fornitori AI che non vuole i propri contenuti nel training, un sito deve oggi inseguire le regole e i nomi dei singoli crawler. Il 30 ottobre OpenAI ha annunciato che rispetterà un segnale comune nel robots.txt, così da comunicare la stessa preferenza a più fornitori partecipanti. L’implementazione è prevista nei prossimi mesi: non è già operativa.

La proposta di Kevin Kelley riusa i gruppi User-Agent e le direttive Allow e Disallow del robots.txt, senza inventare un altro formato. Al posto del nome di un bot usa il token __usage_ai-training: con Disallow: / si esprime una preferenza contraria al training su tutto il sito, lasciando la possibilità di indicare eccezioni per singoli percorsi.

User-Agent: __usage_ai-training
Disallow: /

La distinzione utile è fra l’accesso alla pagina e l’uso del contenuto. Quel gruppo comunica la preferenza sul training di modelli generativi; le regole per i crawler continuano a stabilire separatamente le preferenze di scansione. Non è un blocco tecnico: chi ignora il segnale può ancora scaricare una pagina accessibile. OpenAI dice che i suoi controlli esistenti continueranno a essere rispettati durante il passaggio.

Il documento è un Internet-Draft individuale, collegato al lavoro del gruppo AI Preferences dell’IETF, non una RFC approvata né uno standard imposto dall’organizzazione. Un’intenzione espressa una volta per più destinatari sarebbe una semplificazione concreta per chi gestisce un sito; al momento il suo effetto dipende dall’adesione e dall’attuazione dei singoli fornitori.

Perché conta

Oggi la stessa intenzione può richiedere una lista sempre più lunga di nomi di crawler. Con un segnale dedicato al training il sito dichiara quella preferenza una volta sola, anche quando cambia l’elenco dei fornitori. La promessa è smettere di aggiornare la stessa scelta per ogni nuovo bot; per mantenerla servono adesioni e implementazioni, che il file da solo non può garantire.

Vuoi sapere di più su pillole come questa?