OpenAI otwarcie przyznaje w swojej dokumentacji dla webmasterów, że reguły z pliku robots.txt „mogą nie mieć zastosowania” do bota ChatGPT-User, czyli agenta, który pobiera strony w odpowiedzi na pytanie użytkownika. Uzasadnienie brzmi prosto: skoro akcję inicjuje człowiek, a nie automat, to nie jest to klasyczne indeksowanie. Świeże dane z raportu TollBit za pierwsze półrocze 2026 pokazują, że nie jest to teoretyczny zapis w dokumentacji, bo ChatGPT-User realnie sięga po adresy oznaczone jako zabronione na blisko połowie europejskich serwisów, które go wypisały.
Skąd wzięła się ta dyskusja
Plik robots.txt to najstarszy i najbardziej rozpowszechniony mechanizm kontroli ruchu botów w sieci. Działa na zasadzie dobrowolnej umowy: właściciel witryny deklaruje, które ścieżki są otwarte dla danego user agenta, a operator bota tę deklarację honoruje. Ten model przetrwał trzy dekady, bo przez większość tego czasu po drugiej stronie stały wyszukiwarki, którym zależało na dobrych relacjach z wydawcami.
Warto pamiętać, że protokół wykluczania robotów przez większość swojego istnienia funkcjonował wyłącznie jako zwyczaj. Powstał w 1994 roku jako nieformalna propozycja i dopiero w 2022 roku doczekał się formalizacji w dokumencie RFC 9309, przygotowanym przy udziale Google. Nawet ten dokument opisuje jednak sposób interpretowania pliku przez boty, które zdecydują się go respektować, a nie obowiązek jego respektowania. Innymi słowy, formalizacja niczego nie zmieniła w fundamencie: robots.txt zawsze był prośbą, a nie nakazem, i cała jego skuteczność opierała się na tym, że odbiorcom prośby zależało na jej spełnieniu.
Era asystentów AI rozbiła tę równowagę. Pojawiła się nowa kategoria ruchu, która nie mieści się w starym podziale na „crawler” i „przeglądarka”. Kiedy pytasz ChatGPT o zawartość konkretnej strony, model nie sięga do wcześniej zebranego indeksu, tylko wysyła żądanie HTTP tu i teraz. Z perspektywy serwera wygląda to jak bot. Z perspektywy OpenAI to przedłużenie ręki użytkownika, który równie dobrze mógłby wkleić ten adres do przeglądarki.
Właśnie na tym rozróżnieniu opiera się aktualne stanowisko firmy. Dokumentacja OpenAI stwierdza, że ChatGPT-User odwiedza stronę wtedy, gdy użytkownik ChatGPT zadaje pytanie, i że ponieważ te działania są inicjowane przez użytkownika, reguły robots.txt mogą nie mieć zastosowania. Warto zwrócić uwagę na sformułowanie: nie „nie mają”, tylko „mogą nie mieć”. To celowo miękka konstrukcja, która zostawia operatorowi swobodę interpretacji.
Kluczowe fakty i liczby
Raport TollBit „State of the Bots” za pierwsze półrocze 2026 dostarczył twardych danych do tej dyskusji. Firma analizuje ruch botów na sieci serwisów wydawniczych i porównuje deklaracje z plików robots.txt z faktycznymi żądaniami trafiającymi na serwery. Najważniejsze ustalenia zebraliśmy poniżej.
| Wskaźnik | Wartość |
|---|---|
| Odsetek zidentyfikowanych agentów pobierających strony, które sięgnęły po adresy oznaczone jako disallowed (serwisy europejskie) | ok. 15% |
| Serwisy europejskie, na których ChatGPT-User, Bytespider i Youbot weszły na zabronione podstrony (każdy z osobna) | blisko 50% tych, które je wypisały |
| Bot najczęściej blokowany w robots.txt w swojej kategorii | ChatGPT-User |
| Bot, który wszedł na zabronione adresy na największej liczbie serwisów | ChatGPT-User |
| Claude-User: odsetek serwisów blokujących | 9% Europa, 26% Ameryka Północna |
| Perplexity-User: odsetek serwisów blokujących | 13% Europa, 26% Ameryka Północna |
Dwie liczby zasługują na komentarz. Po pierwsze, ChatGPT-User jest jednocześnie najczęściej blokowanym agentem tego typu i tym, który najczęściej pojawia się tam, gdzie blokada obowiązuje. To nie przypadek: im więcej witryn go wypisuje, tym większa próba, na której widać ewentualne przekroczenia. Po drugie, wyraźna różnica między Europą a Ameryką Północną w odsetku blokad (9% wobec 26% dla Claude-User i 13% wobec 26% dla Perplexity-User) sugeruje, że amerykańscy wydawcy szybciej i agresywniej reagują na ruch agentowy, prawdopodobnie pod wpływem trwających sporów o prawa autorskie.
Trzy boty OpenAI, trzy różne role
Częścią zamieszania jest to, że OpenAI używa kilku user agentów, a ich blokowanie ma zupełnie różne konsekwencje. Warto je rozdzielić, zanim ktokolwiek zacznie edytować robots.txt.
| User agent | Do czego służy | Skutek zablokowania |
|---|---|---|
| GPTBot | Zbieranie danych do trenowania modeli | Treść nie trafia do zbiorów treningowych. OpenAI deklaruje respektowanie robots.txt. |
| OAI-SearchBot | Budowa indeksu dla funkcji wyszukiwania w ChatGPT | Utrata widoczności w wynikach wyszukiwania ChatGPT. To najbardziej kosztowna blokada z punktu widzenia AIO. |
| ChatGPT-User | Pobranie konkretnej strony na żądanie użytkownika lub Custom GPT | Deklaratywna blokada pobierania, ale z zastrzeżeniem, że reguły „mogą nie mieć zastosowania”. |
Najczęstszy błąd, jaki widzimy w audytach, to blokowanie wszystkich trzech agentów jednym wpisem, zwykle po lekturze artykułu o „ochronie treści przed AI”. Efekt jest taki, że witryna traci szansę na cytowanie w wyszukiwarce ChatGPT (przez OAI-SearchBot), a jednocześnie nie zyskuje realnej ochrony tam, gdzie miała ją zyskać. To najgorszy z możliwych kompromisów. Pisaliśmy szerzej o ekonomii tego ruchu w analizie crawl to referral, czyli ile stron boty AI pobierają na jedno przekierowanie.
Co to znaczy dla SEO i AIO
robots.txt nigdy nie był zabezpieczeniem
To najważniejszy wniosek operacyjny i wcale nie jest nowy. Plik robots.txt to sygnał, nie zapora. Nie wymaga uwierzytelnienia, nie sprawdza tożsamości klienta, nie blokuje żadnego pakietu. Jeśli treść jest naprawdę wrażliwa (dane klientów, materiały przed embargiem, dokumenty wewnętrzne), jedynym sensownym rozwiązaniem jest uwierzytelnienie po stronie serwera: logowanie, token, ograniczenie po adresie IP. Stanowisko OpenAI tylko uwypukla zasadę, która obowiązywała zawsze.
W praktyce oznacza to rozdzielenie dwóch celów, które wiele redakcji miesza. Cel pierwszy to sterowanie widocznością w systemach AI, i tu robots.txt jest właściwym narzędziem. Cel drugi to ochrona treści przed pobraniem, i tu robots.txt jest narzędziem bezużytecznym.
Blokada ChatGPT-User ma realną cenę
Zablokowanie agenta pobierającego strony na żądanie oznacza, że kiedy użytkownik ChatGPT poprosi asystenta o streszczenie konkretnego artykułu z Twojej domeny, model może nie mieć do niego dostępu. Zamiast cytatu z Twojego tekstu użytkownik dostanie odpowiedź zbudowaną z alternatywnych źródeł, najczęściej konkurencyjnych. W modelu, w którym coraz większa część odkryć treści zaczyna się od pytania do asystenta, to bezpośrednia utrata udziału w widoczności.
Z drugiej strony trzeba uczciwie policzyć koszty. Ruch agentowy generuje realne obciążenie infrastruktury, a stosunek pobranych stron do faktycznych wizyt ludzkich bywa dramatycznie niekorzystny. Dla dużych serwisów o cienkiej marży to rachunek, który nie zawsze wychodzi na plus. Kontekst skali opisywaliśmy w tekście o tym, jak boty po raz pierwszy wygenerowały więcej ruchu niż ludzie.
Warstwa kontroli przenosi się na brzeg sieci
Jeśli deklaratywne reguły są honorowane wybiórczo, naturalną odpowiedzią jest przesunięcie egzekwowania niżej, do warstwy CDN i firewalla aplikacyjnego. Cloudflare, Fastly i podobni dostawcy udostępniają dziś weryfikację botów opartą o podpisy kryptograficzne i zakresy adresów IP publikowane przez operatorów modeli. Ta ścieżka pozwala odróżnić prawdziwego ChatGPT-User od dowolnego skryptu, który podszywa się pod ten user agent, a to osobny i wcale nie mniejszy problem.
Praktyczna konsekwencja dla zespołów SEO: kontrola dostępu botów AI przestaje być zadaniem redakcji edytującej plik tekstowy, a staje się elementem konfiguracji infrastruktury. To zmienia właściciela tematu wewnątrz organizacji i zwykle wydłuża cykl wdrożenia.
Jak sprawdzić, co dzieje się na Twojej witrynie
Dyskusja o dokumentacji jest ciekawa, ale bez własnych danych pozostaje teoretyczna. Audyt ruchu agentowego da się przeprowadzić w kilka godzin i zwykle kończy się zaskoczeniem, bo rzeczywisty rozkład user agentów rzadko odpowiada wyobrażeniom zespołu.
Krok 1: przejrzyj bieżący robots.txt
Zacznij od odpowiedzi na pytanie, co dokładnie deklarujesz dzisiaj. Typowa konfiguracja, która świadomie rozdziela trzy role agentów OpenAI, wygląda następująco.
User-agent: OAI-SearchBot Allow: / User-agent: GPTBot Disallow: / User-agent: ChatGPT-User Allow: /
Taki zestaw oznacza: nie chcę, by moje treści trafiały do zbiorów treningowych, ale chcę być widoczny w wyszukiwarce ChatGPT i chcę, by asystent mógł pobrać stronę, gdy użytkownik o nią wprost poprosi. Dla większości serwisów contentowych to rozsądny punkt wyjścia. Jeśli Twój plik zawiera pojedynczą regułę blokującą wszystko, co zawiera w nazwie „GPT”, prawdopodobnie odcinasz się od widoczności, której wcale nie chciałeś tracić.
Krok 2: policz agenty w logach
Logi serwera to jedyne wiarygodne źródło. Warto wyciągnąć z nich liczbę żądań w podziale na user agenta za ostatnie 30 dni i zestawić ją z liczbą sesji ludzkich przypisanych do danego źródła w analityce. Ten iloraz, czyli liczba pobranych stron przypadająca na jedną realną wizytę, jest najlepszym pojedynczym wskaźnikiem opłacalności wpuszczania danego bota. Jeśli wynosi kilkadziesiąt, temat jest neutralny kosztowo. Jeśli idzie w tysiące, warto policzyć rachunek za transfer.
Krok 3: zweryfikuj tożsamość botów
Nazwa user agenta to zwykły nagłówek HTTP, który każdy może sfałszować. Zanim wyciągniesz wnioski z liczb, sprawdź, czy żądania podpisane jako ChatGPT-User faktycznie pochodzą z zakresów adresów IP publikowanych przez OpenAI. W praktyce część ruchu podszywającego się pod znane agenty AI pochodzi od zupełnie innych podmiotów, którym po prostu opłaca się korzystać z reputacji cudzej nazwy. Rozliczanie OpenAI z żądań, których firma nigdy nie wysłała, prowadzi do błędnych decyzji.
Krok 4: rozdziel treść wrażliwą od publicznej
Na koniec wypisz zasoby, których naprawdę nie chcesz udostępniać: materiały przed publikacją, archiwa płatne, dane osobowe, panele klienckie. Każdy z nich powinien być chroniony uwierzytelnieniem, a nie wpisem w pliku tekstowym. Jeśli po tym ćwiczeniu okaże się, że lista jest pusta, a cała reszta serwisu i tak jest publiczna, sprawa blokad staje się wyłącznie kwestią kosztów infrastruktury i negocjacji licencyjnych, a nie bezpieczeństwa.
Reakcje branży
Stanowisko OpenAI nie jest odosobnione. Jak wynika z dokumentacji Perplexity, agent Perplexity-User „zasadniczo ignoruje” reguły robots.txt przy żądaniach inicjowanych przez użytkownika, a uzasadnienie jest identyczne. Obie firmy traktują ten typ ruchu jako pełnomocnika człowieka, a nie jako indeksowanie.
Na przeciwnym biegunie stoi Anthropic, który deklaruje, że wszystkie trzy jego boty respektują robots.txt, bez wyjątku dla akcji użytkownika. Ta rozbieżność jest istotna, bo pokazuje, że nie mamy do czynienia z technicznym ograniczeniem, tylko z decyzją produktową i prawną. Skoro jeden operator potrafi wdrożyć spójne respektowanie reguł, argument o niemożności odróżnienia ruchu agentowego traci na sile.
Wśród wydawców dominuje frustracja innego rodzaju. Zarzut nie dotyczy tego, że firmy ukrywają swoje zachowanie, bo akurat tu wszystko jest opisane w publicznej dokumentacji. Problem polega na tym, że standard, na którym opierał się cały ekosystem, został jednostronnie przedefiniowany, a wydawcy nie dostali w zamian żadnego nowego mechanizmu o porównywalnej prostocie. Próby zbudowania takiego mechanizmu, na przykład wokół pliku llms.txt, jak dotąd nie zdobyły powszechnego poparcia po stronie operatorów modeli.
Osobny wątek to legislacja. Różnica między europejskimi a amerykańskimi odsetkami blokad pokazuje, że regulacyjne otoczenie już wpływa na zachowania wydawców. W Unii Europejskiej trwa dyskusja o tym, czy mechanizm zastrzeżenia praw powinien mieć maszynowo czytelną formę o mocy wiążącej, a nie jedynie zwyczajową. Jeśli taki wymóg powstanie, obecna interpretacja „akcja użytkownika, więc robots.txt nie obowiązuje” stanie się trudna do obrony.
Co dalej
Krótkoterminowo warto zrobić trzy rzeczy. Po pierwsze, przejrzeć własny robots.txt i sprawdzić, czy blokady na boty AI nie są szersze, niż ktokolwiek świadomie zaplanował. Szczególnie chodzi o przypadkowe objęcie OAI-SearchBot, bo to bezpośrednia utrata obecności w wyszukiwarce ChatGPT. Po drugie, zweryfikować w logach serwera, jakie user agenty faktycznie odwiedzają witrynę i z jakich adresów IP. Po trzecie, przenieść ochronę treści naprawdę wrażliwych z robots.txt na uwierzytelnienie.
Średnioterminowo należy oczekiwać dalszej migracji kontroli do warstwy brzegowej i pojawienia się rozwiązań komercyjnych, które zamiast blokować ruch, próbują go rozliczać. Model, w którym wydawca wystawia bramkę płatną dla agentów, jest już testowany i to prawdopodobnie w tym kierunku pójdzie rynek, bo rozwiązuje konflikt interesów lepiej niż binarna decyzja „wpuszczam albo blokuję”.
Dla zespołów SEO i AIO praktyczny wniosek jest jednak prostszy: dopóki obecność w odpowiedziach asystentów przekłada się na widoczność marki, domyślną strategią pozostaje wpuszczanie botów wyszukiwania i selektywne ograniczanie tylko tam, gdzie koszty infrastruktury albo ryzyko prawne są policzalne i realne. Blokada założona z ostrożności, bez pomiaru, najczęściej kosztuje więcej, niż chroni.
FAQ
Czy OpenAI łamie standard robots.txt?
Formalnie nie, bo robots.txt nigdy nie był standardem wiążącym prawnie, tylko dobrowolną konwencją. OpenAI opisuje swoje zachowanie w publicznej dokumentacji i deklaruje pełne respektowanie reguł dla GPTBot oraz OAI-SearchBot. Sporny jest wyłącznie ChatGPT-User, dla którego firma zastrzega, że przy akcjach inicjowanych przez użytkownika reguły mogą nie mieć zastosowania.
Którego bota OpenAI nie należy blokować, jeśli zależy mi na widoczności w AI?
OAI-SearchBot. To on odpowiada za obecność witryny w wynikach wyszukiwania wewnątrz ChatGPT. Jego zablokowanie oznacza wypadnięcie z tej powierzchni, niezależnie od tego, jak dobre są treści na stronie.
Jak realnie zabezpieczyć treść przed pobraniem przez agentów AI?
Wyłącznie przez uwierzytelnienie po stronie serwera: logowanie, token dostępu, ograniczenie po adresie IP albo weryfikacja botów na poziomie CDN. Plik robots.txt nie blokuje żadnego żądania, jedynie prosi o powstrzymanie się od jego wysłania.
Czy Perplexity i Anthropic zachowują się tak samo?
Nie. Perplexity stosuje podejście zbliżone do OpenAI i w dokumentacji zaznacza, że agent Perplexity-User zasadniczo ignoruje robots.txt przy żądaniach użytkownika. Anthropic deklaruje natomiast, że wszystkie jego boty respektują robots.txt bez wyjątków.
Skąd wiadomo, że boty faktycznie wchodzą na zabronione adresy?
Z analizy logów serwerowych po stronie wydawców. Raport TollBit za pierwsze półrocze 2026 porównał deklaracje z plików robots.txt z rzeczywistymi żądaniami i wykazał, że około 15% zidentyfikowanych agentów pobierających strony na serwisach europejskich sięgnęło po adresy oznaczone jako zabronione.