Vai al contenuto

Cloudflare vuole sapere se i bot verificati si comportano bene

Cloudflare sta valutando internamente il rispetto di robots.txt e delle risposte 429 da parte dei bot verificati. Punteggi pubblici e controlli per i clienti arriveranno dopo.

Che succede

Sapere chi è un bot non dice ancora se sia un buon ospite. Cloudflare sta affiancando alla verifica dell’identità un sistema che osserva come i crawler trattano le preferenze dei siti nel tempo.

Il primo segnale è il rispetto di robots.txt. Il secondo riguarda le risposte HTTP 429, con cui un server chiede di ridurre il ritmo: il bot rallenta, si ferma oppure continua come prima? Le valutazioni cercano comportamenti ripetuti, senza trasformare un singolo errore in un verdetto.

Il sistema è già usato internamente. Cloudflare prevede di pubblicare i punteggi su Radar e di consentire ai clienti di scegliere una soglia di fiducia per il traffico verificato. Per ora non è un nuovo interruttore nel pannello del sito. Il cambiamento proposto è nell’idea di verifica: l’identità del bot rimane la stessa, il giudizio sul suo comportamento può peggiorare.

Perché conta

Un crawler può rispettare i percorsi consentiti e sovraccaricare comunque il sito: rallentare dopo un 429 aggiunge una misura diversa dall’identità.

Leggi la fonte

blog.cloudflare.com

Vuoi sapere di più su pillole come questa?