Cloudflare wprowadza nowe zasady blokowania botów AI - co to oznacza dla właścicieli stron?

Firma Cloudflare ogłosiła zmiany w zasadach dotyczących pracy z web skanerami, które firmy wykorzystują w dziedzinie AI. Platforma planuje automatycznie blokować tak zwane mieszane crawlery — boty, które wykonują kilka zadań jednocześnie: zbierają dane do trenowania modeli sztucznej inteligencji, indeksują strony i zapewniają działanie agentów SI.

Co wiadomo

Wcześniej właściciele stron mogli samodzielnie konfigurować dostęp takich systemów do swojego kontentu. Po zmianach część ograniczeń będzie stosowana automatycznie.

Dyrektor generalny i współzałożyciel Cloudflare, Matthew Prince, oświadczył, że większość ruchu internetowego jest obecnie generowana przez zautomatyzowane systemy, a nie przez użytkowników. Według niego, nowe narzędzia i partnerstwa mają zapewniać właścicielom stron więcej informacji na temat wykorzystania ich treści oraz dodatkowe możliwości współpracy z firmami, które rozwijają rozwiązania oparte na sztucznej inteligencji.

Nowe zasady wejdą w życie 15 września 2026 roku. Dla nowych klientów i nowych stron korzystających z Cloudflare domyślnie będzie dozwolona indeksacja stron dla wyszukiwarek, jednak wykorzystanie treści do trenowania modeli i pracy agentów SI na stronach z reklamami będzie zablokowane. Te same ustawienia zostaną zastosowane do darmowych kont, jeśli ich właściciele nie zrezygnują z nich do wyznaczonej daty.

Jednocześnie firma aktualizuje usługę monetyzacji treści dla deweloperów sztucznej inteligencji. Funkcja Pay Per Crawl, przedstawiona w 2025 roku, otrzymała nazwę Pay Per Use. Jeśli wcześniej opłata zależała od faktu skanowania strony, to teraz właściciele stron mogą otrzymywać wynagrodzenie w przypadkach, gdy ich treść jest używana w odpowiedziach chatbotów.

Partnerami nowego mechanizmu zostały obecnie Ceramic.AI i You.com. Cloudflare ogłosiła, że mechanizm będzie dostępny dla innych firm, jeśli przystąpią do programu.

W oświadczeniu firmy wspomniano również, że niektóre wyszukiwarki używają tych samych crawlerów zarówno do indeksowania stron, jak i do działania usług sztucznej inteligencji oraz trenowania modeli. Jako przykład podano Googlebot, który jest używany do wyszukiwania Google, a także do niektórych funkcji związanych z Gemini, AI Overviews i AI Mode.

Źródło: Cloudflare