W logach serwera bot AI wygląda niepozornie: jedna linijka z nazwą, adresem IP i ścieżką. Problem w tym, że pod hasłem „bot AI” kryją się co najmniej trzy zupełnie różne zachowania, a każde z nich znaczy co innego dla twojego ruchu i dla twoich praw do treści. Jeden crawler zbiera materiał do trenowania modelu, drugi buduje indeks wyszukiwarki, trzeci pobiera stronę na żywo, bo użytkownik właśnie o nią zapytał. Blokując wszystkie jednym wpisem, potrafisz odciąć się od cytowań, które realnie przynoszą kliknięcia.
Ten tekst jest listą user agentów z podziałem na te trzy grupy oraz instrukcją weryfikacji, kto naprawdę pukał do serwera. Szersze tło, czyli strategia blokad, pay-per-crawl i licencjonowanie treści, znajdziesz w przewodniku kontrola crawlerów AI w 2026.
Trzy rodzaje botów AI i po co im twoja treść
Podział, który warto mieć w głowie zanim dotkniesz pliku robots.txt, wygląda tak.
Crawler treningowy pobiera treść masowo i offline, żeby zasilić zbiór uczący przyszłej wersji modelu. Nie generuje żadnego ruchu zwrotnego, nigdy. Jeśli twoim celem jest ochrona własności intelektualnej, to jest bot, którego blokujesz w pierwszej kolejności.
Crawler indeksujący buduje bazę dokumentów pod wyszukiwarkę wbudowaną w produkt AI: ChatGPT Search, Perplexity, tryby AI w Gemini. Ten bot decyduje, czy twoja strona w ogóle może zostać zacytowana. Blokada oznacza dobrowolne zniknięcie z tej powierzchni.
Bot pobierający na żywo odpala się w momencie, gdy użytkownik wkleja link albo zadaje pytanie wymagające świeżych danych. Ruch jest niski, ale intencja maksymalnie gorąca, bo po drugiej stronie siedzi człowiek czekający na odpowiedź. To najgorszy kandydat do blokowania.
| Typ bota | Kiedy działa | Czy daje cytowanie | Sensowna domyślna decyzja |
|---|---|---|---|
| Treningowy | Masowo, w tle | Nie | Blokada lub licencja |
| Indeksujący | Cyklicznie | Tak, pośrednio | Przepuść |
| Na żywo | Na żądanie użytkownika | Tak, bezpośrednio | Przepuść |
OpenAI: GPTBot, OAI-SearchBot i ChatGPT-User
OpenAI jako pierwszy duży dostawca rozdzielił swoje boty na osobne tokeny i to rozdzielenie stało się wzorem dla reszty rynku. Aktualną listę wraz z zakresami adresów IP firma publikuje w dokumentacji dla webmasterów.
- GPTBot: crawler treningowy. W nagłówku widnieje jako
GPTBot/1.xz odnośnikiem do strony dokumentacji. Respektuje robots.txt. - OAI-SearchBot: crawler indeksujący pod wyszukiwarkę w ChatGPT. Osobny token właśnie po to, żeby dało się zablokować trening bez wypadania z wyników.
- ChatGPT-User: pobranie na żywo, wywołane działaniem użytkownika, najczęściej wklejeniem adresu lub kliknięciem w źródło.
Ostatni z nich bywa źródłem nieporozumień, bo pobrania inicjowane przez człowieka są przez dostawców traktowane inaczej niż automatyczny crawl. Analizę tej różnicy i tego, co z niej wynika dla blokad, opisaliśmy przy okazji doniesień o tym, że robots.txt może nie obejmować bota ChatGPT w takim zakresie, jak zakładała większość wydawców.
Anthropic, Perplexity i pozostali gracze
Anthropic stosuje analogiczny podział: ClaudeBot odpowiada za pobieranie treningowe, Claude-SearchBot za warstwę wyszukiwania, a Claude-User za pobrania w trakcie rozmowy. W starszych logach napotkasz jeszcze anthropic-ai oraz Claude-Web, czyli tokeny wycofywane, ale wciąż warte trzymania w regułach dla porządku historycznego.
Perplexity rozdziela ruch na PerplexityBot (indeks) i Perplexity-User (pobranie na żądanie). Poza tą trójką w logach polskich serwisów regularnie pojawiają się:
| User agent | Właściciel | Typ |
|---|---|---|
| CCBot | Common Crawl | Treningowy, zasila zbiory wielu firm |
| Bytespider | ByteDance | Treningowy, znany z agresywnego tempa |
| Meta-ExternalAgent | Meta | Treningowy |
| Applebot-Extended | Apple | Token zgody na trening, nie osobny crawler |
| Amazonbot | Amazon | Mieszany, zasila też Alexę |
| cohere-ai | Cohere | Treningowy |
Warto zauważyć rozróżnienie przy Apple: Applebot-Extended nie jest botem, tylko dodatkowym tokenem w robots.txt, który mówi „pobieraj do wyszukiwarki, ale nie używaj do trenowania”. Ten sam mechanizm stosuje Google i to właśnie tam najczęściej wykłada się konfiguracja.
Google-Extended kontra Googlebot: co blokujesz naprawdę
Google-Extended nie jest crawlerem. Nie zobaczysz go w nagłówku User-Agent i nie znajdziesz go w logach, bo to wyłącznie token sterujący w robots.txt. Pobieraniem zajmuje się zwykły Googlebot, a Google-Extended decyduje jedynie o tym, czy pobrana treść może posłużyć do trenowania i uziemiania odpowiedzi Gemini oraz modeli w Vertex AI. Pełny wykaz botów i tokenów Google utrzymuje w Search Central.
Konsekwencja praktyczna jest taka: Disallow dla Google-Extended nie usuwa strony z wyników wyszukiwania i nie wpływa na pozycje. Nie wyłącza też wszystkiego, co dzieje się w AI Overviews, ponieważ ta powierzchnia korzysta z indeksu wyszukiwarki. Kto chce zniknąć z podsumowań AI, musi sięgnąć po nosnippet albo max-snippet, czyli narzędzia działające na poziomie fragmentów, a nie po blokadę crawlu.
Osobną kategorią są nowe boty produktowe Google wchodzące poza schemat Googlebota. Przy premierze Gemini Notebook opisywaliśmy, jak nowy agent pobiera strony poza klasyczną ścieżką indeksowania i dlaczego stare reguły go nie łapią.
Weryfikacja tożsamości bota po IP i reverse DNS
Nagłówek User-Agent to zwykły tekst, który każdy może wpisać dowolnie. Zanim uznasz, że w logach masz GPTBota, potwierdź to po adresie IP. Są dwie metody.
Metoda pierwsza: opublikowane zakresy IP. OpenAI, Anthropic i Perplexity wystawiają pliki JSON z aktualnymi zakresami przypisanymi do konkretnych botów. Pobierasz plik, budujesz listę podsieci i sprawdzasz przynależność adresu. To rozwiązanie odporne na podszywanie się, pod warunkiem że odświeżasz listę cyklicznie, na przykład raz na dobę.
Metoda druga: forward-confirmed reverse DNS. Standard stosowany przez Google od lat. Wykonujesz zapytanie odwrotne na adresie IP, sprawdzasz czy zwrócona nazwa kończy się na domenie właściciela, a następnie rozwiązujesz tę nazwę z powrotem i porównujesz z wyjściowym adresem. Dopiero zgodność w obie strony potwierdza tożsamość.
# weryfikacja Googlebota w dwóch krokach
host 66.249.66.1
# oczekiwana odpowiedź: crawl-xx-xx-xx-xx.googlebot.com
host crawl-xx-xx-xx-xx.googlebot.com
# adres musi wrócić identyczny jak wejściowyReverse DNS działa dla Google i Bing, natomiast dostawcy AI korzystający z infrastruktury chmurowej najczęściej nie utrzymują wpisów PTR na własnej domenie. Dla nich pozostaje lista zakresów IP.
Podszywanie się pod boty AI i jak je wykryć
Fałszywy GPTBot to zjawisko powszechne, bo nazwa dużego dostawcy bywa przepustką przez reguły firewalla i pułapki antybotowe. Skrapery komercyjne, narzędzia konkurencji i zwykłe scrapy pod bazy danych chętnie przebierają się za znane crawlery. Sygnały, które zdradzają podszywanie się:
- Adres IP spoza opublikowanych zakresów, zwłaszcza z puli tanich VPS albo z sieci rezydencjalnych proxy. To sygnał rozstrzygający.
- Tempo niezgodne z profilem. Prawdziwe crawlery utrzymują umiarkowane odstępy. Kilkadziesiąt żądań na sekundę z jednego adresu to nie jest zachowanie bota, który dba o reputację.
- Ignorowanie robots.txt przy jednoczesnym deklarowaniu tożsamości, która oficjalnie ten plik respektuje.
- Brak pobrań zasobów towarzyszących albo odwrotnie, komplet CSS i obrazków tam, gdzie crawler treningowy pobiera wyłącznie HTML.
- Ścieżki wskazujące na zbieranie danych, na przykład systematyczne przechodzenie po parametrach filtrów lub po endpointach API.
Reakcja powinna być stopniowana. Zamiast twardego zakazu na poziomie firewalla, zacznij od odpowiedzi 429 z nagłówkiem Retry-After, potem 403 dla powtarzających się naruszeń. Twarda blokada całych podsieci potrafi przy okazji odciąć realnych użytkowników i legalne narzędzia monitorujące.
Gotowe wpisy do robots.txt z komentarzem
Poniżej konfiguracja realizująca najczęstszy scenariusz wydawcy: nie chcę zasilać zbiorów treningowych, ale chcę być cytowany i chcę ruchu z odpowiedzi AI.
# === trening: blokujemy ===
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: CCBot
Disallow: /
User-agent: Bytespider
Disallow: /
User-agent: Meta-ExternalAgent
Disallow: /
User-agent: Google-Extended
Disallow: /
User-agent: Applebot-Extended
Disallow: /
# === indeks i pobrania na zywo: przepuszczamy ===
User-agent: OAI-SearchBot
Allow: /
User-agent: ChatGPT-User
Allow: /
User-agent: PerplexityBot
Allow: /
User-agent: Perplexity-User
Allow: /
User-agent: Claude-SearchBot
Allow: /
User-agent: Claude-User
Allow: /Trzy uwagi wykonawcze. Po pierwsze, tokeny w robots.txt nie rozróżniają wielkości liter w nazwie bota, ale ścieżki już tak. Po drugie, dyrektywa Allow: / przy braku wcześniejszego zakazu jest technicznie zbędna, natomiast pełni rolę dokumentacji dla zespołu i chroni przed przypadkowym objęciem bota regułą ogólną. Po trzecie, blokada w robots.txt jest prośbą, nie zaporą: boty ignorujące standard zatrzymasz wyłącznie na poziomie serwera lub WAF.
Jeśli już porządkujesz warstwę dostępu, to dobry moment, żeby obok reguł zakazu położyć warstwę pozytywną i wdrożyć plik llms.txt, który modelom podpowiada, co warto przeczytać w pierwszej kolejności.
Co sprawdzić w swoich logach w pierwszej kolejności
Zacznij od prostego zestawienia: unikalne user agenty z ostatnich 30 dni, liczba żądań i liczba unikalnych adresów IP na każdy z nich. Ta jedna tabela zwykle wystarcza, żeby zobaczyć trzy rzeczy naraz: kto pobiera najwięcej, które tokeny w ogóle nie występują (a więc twoja blokada dotyczy bota, którego nie ma) oraz gdzie liczba adresów IP rozjeżdża się z profilem znanego dostawcy, co jest pierwszym sygnałem podszywania się.
Drugi krok to porównanie listy z tym, co faktycznie masz w robots.txt. W praktyce najczęstszy błąd nie polega na złej decyzji strategicznej, tylko na literówce w nazwie tokenu albo na blokadzie skopiowanej z artykułu sprzed dwóch lat, gdy połowa dzisiejszych botów jeszcze nie istniała.
FAQ
Czy zablokowanie GPTBota usunie moją stronę z odpowiedzi ChatGPT?
Nie. GPTBot odpowiada za pobieranie treningowe. Za obecność w wyszukiwarce ChatGPT odpowiada OAI-SearchBot, a za pobrania na żądanie użytkownika ChatGPT-User. Blokując wyłącznie GPTBota, zostajesz w indeksie i możesz być cytowany.
Czy Google-Extended wpływa na pozycje w wyszukiwarce Google?
Nie. Google-Extended to token sterujący wykorzystaniem treści do trenowania i uziemiania modeli Gemini. Nie jest crawlerem i nie ma wpływu na indeksowanie ani na ranking w klasycznych wynikach.
Jak sprawdzić, czy bot w logach jest prawdziwy?
Porównaj adres IP z opublikowanymi przez dostawcę zakresami albo wykonaj forward-confirmed reverse DNS, czyli zapytanie odwrotne plus ponowne rozwiązanie zwróconej nazwy. Sam nagłówek User-Agent niczego nie dowodzi, bo można w nim wpisać dowolny tekst.
Czy boty pobierające na żywo respektują robots.txt?
To zależy od dostawcy i od interpretacji. Część firm traktuje pobranie zainicjowane przez użytkownika jak działanie człowieka, a nie automatyczny crawl, więc reguły dla crawlerów mogą go nie obejmować. Jeśli chcesz mieć pewność, potrzebujesz blokady na poziomie serwera.
Co zrobić z botem, który ignoruje robots.txt?
Zastosuj odpowiedź 429 z nagłówkiem Retry-After, a przy powtarzających się naruszeniach 403 na poziomie serwera lub WAF. Blokowanie całych podsieci zostaw na koniec, bo przy okazji odcina realnych użytkowników.
Jak często aktualizować listę botów w robots.txt?
Realistycznie raz na kwartał plus doraźnie po głośnych premierach produktów AI. Nowe tokeny pojawiają się kilka razy w roku, a wpis skopiowany sprzed dwóch lat zwykle blokuje boty, których już nie ma, i przepuszcza te, które doszły później.