Cloudflare pune frână boților AI: site-urile vor putea apărea în căutări fără să-și ofere gratuit conținutul pentru antrenarea modelelor

Cloudflare schimbă regulile jocului pentru boții care scanează internetul în numele companiilor de inteligență artificială. Platforma vrea să le ofere proprietarilor de site-uri mai mult control asupra modului în care conținutul lor este folosit, mai ales atunci când același crawler servește simultan motorul de căutare, funcții AI și antrenarea modelelor. Potrivit anunțului oficial făcut de Cloudflare, noile setări vor separa mai clar traficul de căutare de cel generat de agenți AI și de sistemele care colectează date pentru training.

Schimbarea vine într-un moment sensibil pentru publicații, bloguri, magazine online și orice site care trăiește din trafic sau publicitate. Timp de ani, regula internetului a fost simplă: crawlerul unui motor de căutare indexa pagina, iar utilizatorul putea ajunge ulterior pe site printr-un link. Odată cu explozia chatboturilor și a răspunsurilor generate direct în paginile de căutare, același conținut riscă să fie citit, rezumat și consumat fără ca utilizatorul să mai intre pe pagina sursă.

Ce se schimbă din 15 septembrie 2026

Cloudflare va introduce noile valori implicite începând cu 15 septembrie 2026. Pentru domeniile noi adăugate în platformă, traficul destinat căutării clasice va rămâne permis în mod implicit, în timp ce accesul pentru antrenarea modelelor AI și pentru agenții care vizitează pagini în numele utilizatorilor va fi blocat implicit pe paginile care afișează reclame.

Ideea din spatele deciziei este simplă: o pagină cu publicitate este construită pentru ca un om să ajungă acolo, să citească materialul și, eventual, să vadă reclamele. Dacă un agent AI extrage răspunsul și îl livrează direct într-un chatbot, site-ul poate pierde tocmai atenția umană din care își finanțează activitatea. Cloudflare susține că proprietarii de domenii trebuie să poată alege separat dacă acceptă indexarea pentru căutare, antrenarea modelelor sau accesul agenților AI.

Vezi și:

Banii primiți cadou care pot crea probleme fiscale. Când trebuie justificată proveniența sumelor

Noua politică vizează în mod special crawlerele cu utilizare mixtă. Acestea nu se limitează la indexarea clasică pentru rezultate de căutare, ci pot fi folosite și pentru alte funcții, inclusiv alimentarea unor răspunsuri generate de AI. În cazul în care administratorul unui site blochează categoria „Training”, Cloudflare va aplica regula restrictivă și pentru boții care combină mai multe funcții, inclusiv Googlebot, Applebot sau Bingbot.

Pentru utilizatorii Cloudflare, schimbarea nu este ireversibilă. Proprietarii site-urilor își pot modifica setările din panoul de administrare înainte sau după termenul anunțat. Important este însă că alegerea implicită devine mai protectivă pentru conținutul monetizat, nu mai permisivă pentru companiile care colectează date.

De ce devin boții AI o problemă pentru internet

Creșterea rapidă a instrumentelor AI a schimbat fundamental traficul de pe web. Nu mai vorbim doar despre roboți care indexează pagini pentru Google sau Bing, ci despre sisteme care vizitează site-uri pentru a aduna informații în timp real, a crea rezumate, a răspunde la întrebări sau a furniza date unui agent digital. În unele cazuri, acest trafic poate deveni extrem de costisitor pentru infrastructura unui site.

Vezi și:

Microsoft schimbă regulile în Teams: boții nu vor mai putea intra în ședințe fără aprobare, după creșterea atacurilor cibernetice

Cât de ușor ajungi să fii manipulat pe social media cu inteligența artificială: experimentul AI care îți arată cruda realitate

Playtech a scris deja despre boții de inteligență artificială care sufocă internetul, într-un context în care cererile automate pot ajunge la volume uriașe și pot pune presiune reală pe serverele editorilor sau ale companiilor mici. Problema nu ține doar de costurile tehnice. Mai importantă este întrebarea cine câștigă bani atunci când informația produsă de o publicație ajunge într-un răspuns AI, fără ca cititorul să mai intre pe pagina originală.

Cloudflare încearcă să rezolve această situație printr-o clasificare mai precisă a boților. Compania va diferenția între crawleri de căutare, agenți care vizitează pagini la cererea unui utilizator și sisteme care adună date pentru antrenarea sau perfecționarea modelelor. Este o separare care pare tehnică, dar poate deveni esențială pentru site-urile care vor vizibilitate în Google, fără să ofere automat aceeași libertate de acces tuturor produselor AI.

Google și presiunea asupra publisherilor

Cloudflare nu numește direct Google în fiecare explicație, însă mesajul este clar. Compania afirmă că marile motoare de căutare au acces la mult mai mult conținut decât unele platforme AI, tocmai fiindcă publisherii se tem că blocarea crawlerelor i-ar putea scoate din rezultatele de căutare și le-ar reduce drastic traficul.

Google explică faptul că AI Overviews și AI Mode folosesc aceleași baze de indexare și reguli generale aplicate în Google Search. Asta înseamnă că un site care vrea să apară în aceste rezultate AI trebuie, în principiu, să rămână accesibil pentru Googlebot. În același timp, compania oferă Google-Extended, un control separat pentru folosirea conținutului la antrenarea unor versiuni viitoare ale modelelor Gemini.

Pentru publisheri, granița dintre căutare și inteligență artificială devine însă din ce în ce mai greu de trasat. AI Mode promite utilizatorilor răspunsuri rapide, comparații și explicații direct în Google, dar pentru site-urile care produc informația originală poate însemna mai puține accesări și venituri mai mici din reclame.

Această teamă este deja vizibilă în presa online. Discuția despre traficul pierdut de publicații din cauza AI nu mai este doar una teoretică, ci a devenit o problemă de supraviețuire pentru multe redacții. Dacă răspunsul complet este livrat direct în motorul de căutare sau într-un chatbot, creatorul materialului riscă să rămână cu costul documentării, al redactării și al verificării, fără vizitatorul care susținea acel efort.

Cloudflare nu oprește accesul AI la internet, dar încearcă să impună o regulă mai clară: conținutul nu ar trebui să fie preluat automat doar pentru că este disponibil online. Pentru viitorul webului, decizia poate deveni un test important. Rămâne de văzut dacă marile companii AI vor accepta separarea transparentă a crawlerelor sau dacă lupta pentru date și atenția utilizatorilor va deveni și mai dură.

Peste 1.000 de lei în plus la pensie după recalculare. Cine poate primi banii retroactiv