Pytanie „czy zablokować boty AI” brzmi jak decyzja techniczna, a w praktyce jest decyzją biznesową. Wpis w robots.txt zajmuje trzydzieści sekund, ale to dopiero pierwsza z pięciu warstw kontroli, a każda z nich ma inną skuteczność i inny koszt. Ten przewodnik porządkuje wszystkie dostępne mechanizmy: od dyrektyw, które bot może zignorować bez konsekwencji, po twardą blokadę sieciową i modele licencjonowania, w których za dostęp się płaci.
Kto puka do twojego serwera: mapa botów AI
Pierwszy błąd popełniany przy kontroli dostępu to traktowanie „botów AI” jako jednej kategorii. To co najmniej trzy różne rodzaje ruchu, o odmiennych celach i odmiennych skutkach dla twojego biznesu.
Crawlery treningowe pobierają treść do budowy zbiorów uczących modele. GPTBot (OpenAI), ClaudeBot (Anthropic), Meta-ExternalAgent czy Bytespider (ByteDance) działają masowo i systematycznie. Zwrot z takiego pobrania jest dla wydawcy zerowy: treść wsiąka w wagi modelu, cytowanie ani link nie są gwarantowane.
Crawlery wyszukiwarek AI budują indeks, z którego asystent czerpie odpowiedzi wraz z odnośnikami do źródeł. Tutaj mieszczą się OAI-SearchBot, Claude-SearchBot i PerplexityBot. Ten ruch bywa opłacalny, bo może generować cytowania i realne wejścia.
Fetchery uruchamiane przez użytkownika to trzecia kategoria: ChatGPT-User, Claude-User, Perplexity-User. Pobierają jedną stronę, bo ktoś wkleił link albo zadał pytanie wymagające sprawdzenia bieżącej treści. Blokowanie ich to odcinanie konkretnej osoby, która właśnie chciała zobaczyć twoją stronę.
Osobno stoi Googlebot. Nie da się zablokować go wybiórczo „tylko dla AI”, bo ten sam crawl zasila klasyczne wyniki i AI Overviews. Token Google-Extended nie steruje crawlowaniem: kontroluje wyłącznie wykorzystanie treści do trenowania modeli Gemini i Vertex AI. Analogicznie działa Applebot-Extended. Aktualną listę user agentów Google utrzymuje dokumentacja Google Search Central, a OpenAI publikuje swoje zakresy IP i nazwy botów na stronie dla wydawców.
Skala tego ruchu przestała być marginalna. Automaty odpowiadają dziś za większą część żądań w sieci niż ludzie, co zmienia rachunek kosztów serwera niezależnie od kwestii praw do treści. Rozpisaliśmy to szerzej w analizie pokazującej, jak boty przejęły większość ruchu w internecie.
robots.txt: co obejmuje, a czego nie egzekwuje
robots.txt jest standardem opisanym w RFC 9309 i opiera się na dobrowolności. Plik nie blokuje niczego technicznie: informuje, czego właściciel serwisu sobie nie życzy. Bot, który go zignoruje, i tak dostanie odpowiedź 200 wraz z pełną treścią.
Minimalny zestaw reguł dla wydawcy, który chce wypaść ze zbiorów treningowych, ale zostać w wyszukiwarkach AI, wygląda tak:
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: Bytespider
Disallow: /
User-agent: Google-Extended
Disallow: /
User-agent: OAI-SearchBot
Allow: /
User-agent: PerplexityBot
Allow: /Trzy zastrzeżenia, o których łatwo zapomnieć. Po pierwsze, dopasowanie user agenta jest dokładne, a nie przedrostkowe: reguła dla ClaudeBot nie obejmie Claude-User. Po drugie, bot wybiera najbardziej szczegółową pasującą grupę i ignoruje resztę, więc ogólna reguła User-agent: * przestaje działać dla każdego bota mającego własną sekcję. Po trzecie, deklaracje dostawców bywają rozbieżne z faktycznym zachowaniem, a rozbieżności te są mierzalne. Opisywaliśmy dane sugerujące, że robots.txt może nie obejmować wszystkich botów ChatGPT w sposób, jakiego oczekiwałby wydawca.
Wniosek praktyczny: robots.txt to deklaracja intencji i dowód w ewentualnym sporze, a nie mechanizm egzekucji. Jeśli zależy ci na skutku, potrzebujesz warstwy niżej.
Nagłówki i meta tagi: X-Robots-Tag, noai i pochodne
Nagłówek HTTP X-Robots-Tag i meta robots sterują tym, co wolno zrobić z pobraną już treścią. Dla kontroli botów AI liczą się trzy dyrektywy.
noindexusuwa stronę z indeksu, a więc również z materiału, na którym asystent buduje odpowiedź w trybie wyszukiwania.nosnippetblokuje fragmenty w wynikach. Google potwierdza, że wyklucza to treść z AI Overviews i AI Mode, ale kosztem klasycznego snippetu, co zwykle obniża CTR.max-snippet:[liczba]ogranicza długość fragmentu, dając kompromis pomiędzy widocznością a oddaniem treści.
Atrybut data-nosnippet pozwala wyłączyć pojedyncze akapity zamiast całej strony i jest najbardziej chirurgicznym narzędziem w tej grupie. Sprawdza się przy fragmentach premium wewnątrz stron ogólnodostępnych.
Osobna sprawa to tagi noai, noimageai i podobne. Powstały w środowisku serwisów graficznych i nie są częścią żadnego wspieranego standardu. Żaden duży dostawca modeli nie zobowiązał się do ich respektowania. Umieszczenie ich nie szkodzi i wzmacnia dokumentację twojego stanowiska, natomiast liczenie na ich skuteczność jest myśleniem życzeniowym.
Blokada na poziomie WAF i CDN
To pierwsza warstwa, która naprawdę egzekwuje. Zamiast prosić bota o powstrzymanie się, po prostu nie wydajesz mu treści: żądanie kończy się kodem 403 albo wyzwaniem, którego automat nie przejdzie.
Główni dostawcy CDN mają dziś gotowe przełączniki blokujące znane crawlery AI jednym kliknięciem, a część z nich włącza taką ochronę domyślnie dla nowych domen. Sama reguła na user agencie to jednak za mało, bo nagłówek można podmienić. Poważna konfiguracja opiera się na trzech sygnałach naraz:
- Weryfikacja odwrotnym DNS albo dopasowanie do oficjalnych zakresów IP dostawcy. Bot podszywający się pod GPTBot z przypadkowego adresu odpada.
- Limity tempa per zakres adresowy. Nawet legalny crawler potrafi wygenerować obciążenie porównywalne z małym atakiem, jeśli trafi na źle spaginowaną nawigację fasetową.
- Reguły behawioralne wykrywające pobieranie sekwencyjne, brak zasobów statycznych i pomijanie sesji.
Warto ustawić próg alarmowy w logach, a nie tylko blokadę. Nagły skok ruchu automatów zwykle poprzedza problem z wydajnością, który obciąży też realnych użytkowników i Core Web Vitals.
Pay-per-crawl i modele licencjonowania treści
Blokada zero-jedynkowa zostawia pieniądze na stole. Stąd trzeci model: dostęp warunkowy, w którym treść jest dostępna, ale za opłatą albo na warunkach licencji.
Techniczną podstawą jest kod odpowiedzi 402 Payment Required, dotąd praktycznie nieużywany. Operator CDN pośredniczy między wydawcą a dostawcą modelu: crawler bez rozliczenia dostaje 402, crawler z podpiętym kontem otrzymuje treść, a wydawca stawkę za pobranie. Równolegle rozwijają się standardy licencyjne pozwalające zapisać warunki w sposób maszynowo czytelny, obok robots.txt.
Zanim wycenisz taki dostęp, policz proporcję pobrań do wejść. Dla wielu serwisów wychodzi kilkaset pobrań na jedno kliknięcie z asystenta, co przewraca założenie „crawl w zamian za ruch”, znane z klasycznego SEO. Zebraliśmy te wyliczenia w materiale o tym, ile stron boty AI pobierają na jedno przekierowanie. Ta liczba jest twoim punktem wyjścia do negocjacji, bo pokazuje realny koszt obsługi ruchu, za który nikt nie płaci.
Konsekwencje SEO: co tracisz, blokując
Uczciwy bilans wymaga rozdzielenia dwóch rzeczy, które często się mylą.
Blokada crawlerów treningowych nie ma wpływu na pozycje w Google. GPTBot czy ClaudeBot nie uczestniczą w rankingu, więc Disallow na nich nie kosztuje cię widoczności w wyszukiwarce.
Blokada crawlerów wyszukiwarek AI to już realny koszt. Jeśli PerplexityBot i OAI-SearchBot nie mają dostępu, twoja marka znika z odpowiedzi generowanych na żywo, łącznie z cytowaniami i linkami. W kategoriach, w których użytkownicy coraz częściej pytają asystenta zamiast wpisywać frazę w wyszukiwarkę, to rezygnacja z całego kanału.
Trzeci scenariusz jest najbardziej podstępny: zbyt agresywna reguła WAF, która przy okazji łapie Googlebota albo weryfikatory Search Console. Objawia się spadkiem indeksacji zauważonym z opóźnieniem kilku tygodni. Po każdej zmianie regulaminu dostępu przetestuj adres narzędziem do sprawdzania URL w Search Console i wykonaj kontrolne pobranie z zakresu Google.
| Warstwa | Egzekwowalność | Ryzyko dla SEO |
|---|---|---|
| robots.txt | Dobrowolna | Brak, o ile nie ruszasz Googlebota |
| X-Robots-Tag, meta | Wysoka u dużych dostawców | Średnie przy nosnippet |
| noai i pochodne | Znikoma | Brak |
| WAF, CDN | Pełna | Wysokie przy błędnej regule |
| Pay-per-crawl | Pełna, warunkowa | Niskie |
Strategia dla wydawcy, sklepu i firmy usługowej
Optymalna polityka zależy od tego, czym jest dla ciebie treść: towarem czy narzędziem sprzedaży.
Wydawca sprzedaje treść, więc broni jej najostrzej. Rekomendacja: twarda blokada crawlerów treningowych na poziomie WAF, dostęp dla wyszukiwarek AI utrzymany dla zachowania cytowań, archiwum płatne odcięte w całości, dostęp komercyjny wystawiony do negocjacji lub rozliczany za pobranie.
Sklep ma odwrotny interes. Karty produktów, ceny i dostępność mają trafiać wszędzie, bo asystenci coraz częściej pełnią rolę porównywarki. Blokowanie tu szkodzi. Sensowna jest tylko ochrona zasobów kosztownych obliczeniowo, jak wyszukiwarka wewnętrzna i filtry fasetowe, oraz limity tempa chroniące wydajność.
Firma usługowa potrzebuje przede wszystkim obecności w odpowiedziach na pytania o wybór dostawcy. Blokada jest tu przeciwskuteczna. Zamiast niej: pełny dostęp, dopracowane dane strukturalne i konsekwentne opisywanie zakresu usług oraz obszaru działania.
Jak udokumentować politykę dostępu
Reguła techniczna bez opisu jest trudna do wyegzekwowania i łatwa do zepsucia przy pierwszym wdrożeniu przez kogoś, kto nie zna kontekstu. Minimum, które warto utrzymywać:
- Publiczna strona z warunkami korzystania z treści przez systemy automatyczne, z datą ostatniej aktualizacji i adresem kontaktowym do rozmów licencyjnych.
- Komentarze w robots.txt wyjaśniające, dlaczego dany user agent jest zablokowany, żeby przy kolejnej migracji nikt tego nie usunął „przy okazji”.
- Wersjonowanie pliku robots.txt i reguł WAF w repozytorium, razem z resztą infrastruktury.
- Kwartalny przegląd listy botów. Nowe user agenty pojawiają się co kilka tygodni, a reguła sprzed roku pokrywa dziś ułamek ruchu.
Rozwijają się też formaty przeznaczone wprost dla agentów, opisujące strukturę serwisu i warunki dostępu w postaci czytelnej dla maszyn. Śledziliśmy ostatnią odsłonę tego podejścia w tekście o standardzie llms.txt 2.0. Traktuj je jako uzupełnienie dokumentacji, nie jako mechanizm kontroli: żadna z dużych wyszukiwarek nie potwierdziła, że opiera na nich decyzje o pobieraniu treści.
Kolejność wdrożenia
Jeśli zaczynasz od zera, sensowna sekwencja wygląda tak. Najpierw zmierz: wyciągnij z logów udział poszczególnych user agentów i policz stosunek pobrań do wejść. Potem zdecyduj o kategoriach, osobno dla crawlerów treningowych, wyszukiwarek AI i fetcherów użytkownika. Następnie zapisz decyzję w robots.txt i nagłówkach. Dopiero na końcu dołóż egzekucję na WAF, wyłącznie tam, gdzie deklaracja jest ignorowana, i zawsze z weryfikacją tożsamości bota. Po dwóch tygodniach zweryfikuj indeksację w Search Console oraz obecność marki w odpowiedziach asystentów.
Kontrola dostępu botów AI to nie jednorazowy wpis w pliku, tylko polityka, która wymaga przeglądu równie regularnego jak audyt techniczny serwisu.
FAQ
Czy zablokowanie GPTBot obniży moje pozycje w Google?
Nie. GPTBot należy do OpenAI i nie ma żadnego udziału w rankingu Google. Pozycje zależą od Googlebota, którego ta reguła nie dotyczy. Ostrożność jest potrzebna tylko wtedy, gdy blokujesz na poziomie WAF regułą tak szeroką, że łapie również crawlery wyszukiwarek.
Czym różni się Google-Extended od Googlebota?
Googlebot pobiera strony na potrzeby wyszukiwarki. Google-Extended to token w robots.txt, który nie odpowiada za żadne pobieranie: steruje wyłącznie tym, czy pobrana treść może posłużyć do trenowania modeli Gemini i Vertex AI. Zablokowanie Google-Extended nie usuwa strony z wyników ani nie zmniejsza częstotliwości crawlowania.
Czy da się wypisać z AI Overviews, zostając w wynikach Google?
Nie w pełni. Google nie udostępnia osobnego przełącznika dla AI Overviews. Jedyne dostępne narzędzia to nosnippet, max-snippet i data-nosnippet, które ograniczają fragmenty równocześnie w AI Overviews i w klasycznych wynikach. Najmniej kosztowne jest punktowe użycie data-nosnippet na wybranych akapitach.
Czy tagi noai i noimageai cokolwiek dają?
W praktyce nie. Nie są częścią uznanego standardu i żaden duży dostawca modeli nie zadeklarował ich respektowania. Mają wartość wyłącznie dokumentacyjną: pokazują wyrażony sprzeciw wobec wykorzystania treści, co bywa istotne w sporze prawnym.
Jak sprawdzić, że bot jest tym, za kogo się podaje?
Nagłówek user agent można dowolnie ustawić, więc sam w sobie nie jest dowodem. Wykonaj odwrotne zapytanie DNS na adres IP żądania, a następnie zapytanie proste na otrzymanej nazwie hosta i sprawdź, czy prowadzi z powrotem do tego samego IP. Alternatywnie porównaj adres z oficjalnymi zakresami publikowanymi przez dostawców. Bez tej weryfikacji reguła na user agencie blokuje wyłącznie uczciwe boty.
Ile realnie kosztuje mnie ruch botów AI?
Policz to na własnych logach: udział żądań automatów w transferze i czasie CPU, a osobno liczbę pobrań przypadającą na jedno wejście z asystenta. Przy proporcjach rzędu kilkuset pobrań na jedną wizytę koszt obsługi przestaje być pomijalny i staje się argumentem za dostępem warunkowym zamiast darmowego.