Fino a ieri, decidere se un motore di intelligenza artificiale potesse leggere e “digerire” i contenuti del proprio sito era una questione tecnica per addetti ai lavori. Con l’annuncio pubblicato da Cloudflare — la società che fa da scudo e acceleratore a una fetta enorme dei siti mondiali — diventa una scelta che riguarda anche la piccola impresa con un sito vetrina, un blog o un negozio online. E una parte di quella scelta, dal 15 settembre 2026, viene presa in automatico se non intervenite.
Cosa cambia davvero: tre tipi di bot, non più uno solo
Il punto di partenza è una distinzione netta. Cloudflare smette di trattare “i bot” come un blocco unico e li divide in tre categorie, ciascuna gestibile separatamente:
- Search: chi raccoglie e indicizza i contenuti per poter poi rispondere a domande su di essi (è il comportamento classico dei motori di ricerca).
- Agent: comportamento automatico che agisce, di solito in tempo reale, per conto di una persona (l’assistente AI che naviga un sito al posto dell’utente).
- Training: un crawler che preleva i contenuti per addestrare o mettere a punto un modello di intelligenza artificiale.
La differenza conta, perché non tutti questi accessi hanno lo stesso valore per un’attività. Farsi trovare dai motori di ricerca (Search) porta traffico e clienti; farsi prelevare i contenuti per addestrare un modello (Training) è un’altra faccenda, che a molti sta stretta.
Cloudflare ora distingue chi indicizza il sito per rispondere a domande (Search), chi lo naviga in tempo reale per conto di un utente (Agent) e chi ne preleva i contenuti per addestrare un modello (Training). La distinzione permette di dire sì all'uno e no all'altro, invece di aprire o chiudere tutto in blocco.
Il default che cambia dal 15 settembre
Ecco la parte che scatta da sola. Dal 15 settembre 2026, sulle pagine che mostrano pubblicità, i bot delle categorie Training e Agent saranno bloccati di default, mentre i bot Search resteranno consentiti. In pratica: se il vostro sito monetizza con annunci, la posizione predefinita diventa “l’AI non addestra sui miei contenuti e gli agenti non ci entrano, ma i motori di ricerca sì”.
Per chi non ha pubblicità sul sito il default non cambia in automatico, ma — ed è la vera novità operativa — i controlli per decidere sono ora disponibili per tutti i clienti della rete Cloudflare, anche nel piano gratuito. Non serve più un contratto Enterprise per stabilire la propria regola.
Da quel giorno, sulle pagine con pubblicità i crawler di addestramento AI e gli agenti sono bloccati di default su Cloudflare, mentre i motori di ricerca restano ammessi. Per chi non ha pubblicità il controllo è comunque attivabile a mano, gratis.
Fonte: Cloudflare Blog — Content Independence Day, luglio 2026
Cosa fare, in concreto, lunedì mattina
Due mosse, entrambe alla portata di chi gestisce un sito senza essere uno specialista.
Prima: capire se il default vi riguarda. Se il sito ospita pubblicità, dal 15 settembre la scelta predefinita blocca addestramento e agenti: va bene così o volete riaprire qualcosa? Se il sito non ha pubblicità, il default non si muove, ma vale comunque la pena impostare una policy invece di lasciarla implicita.
Seconda: impostare la regola. Dal pannello Cloudflare si gestiscono le tre categorie in modo distinto. In parallelo, Cloudflare ha aggiunto un parametro use ai Content Signals nel file robots.txt, con tre livelli — immediate, reference (il valore predefinito) e full — per segnalare in modo standard quanto un contenuto può essere usato. È il modo pulito per mettere nero su bianco la propria posizione, leggibile anche da chi non passa da Cloudflare.
In breve
Cloudflare ha reso una decisione strategica — chi può usare i miei contenuti e per farci cosa — accessibile e, in un caso, automatica. Per una PMI con un sito il messaggio pratico è semplice: dal 15 settembre, se avete pubblicità, il default cambia in vostro favore ma è bene esserne consapevoli; in ogni caso, oggi avete gratis un controllo che prima era per pochi. Vale mezz’ora per aprirlo e stabilire la vostra regola, invece di lasciarla al valore predefinito.