Właściciel serwisu dodaje do robots.txt jedną linijkę blokującą GPTBota i przez tydzień sprawdza, czy coś się zmieniło. Nie zmienia się nic. Innym razem ta sama linijka wycina stronę z odpowiedzi asystenta niemal natychmiast. Obie sytuacje są prawdziwe, bo pod hasłem „bot AI” kryją się co najmniej trzy różne mechanizmy, które robią zupełnie inne rzeczy i reagują na blokady w innym tempie. Jeśli chcesz świadomie sterować tym, co model wie o twojej stronie, zacznij od kontroli crawlerów AI i zasad blokowania, a potem rozdziel te ścieżki na czynniki pierwsze.
Trzy ścieżki, którymi treść trafia do modelu
Model językowy nie ma jednego kanału dostępu do internetu. Ma ich trzy i warto je nazywać osobno, bo tylko wtedy dyskusja o blokadach ma sens.
- Crawler treningowy: pobiera strony masowo, żeby zbudować zbiór danych, na którym model będzie uczony. Efekt jego pracy zobaczysz dopiero w kolejnej wersji modelu, czyli za wiele miesięcy.
- Bot indeksujący wyszukiwarki AI: buduje i odświeża indeks, z którego asystent korzysta w czasie rzeczywistym, kiedy potrzebuje aktualnych informacji. Działa podobnie do klasycznego crawlera wyszukiwarki.
- Live fetch: jednorazowe pobranie konkretnego adresu w trakcie trwającej rozmowy, uruchamiane dlatego, że użytkownik wkleił link albo model uznał, że musi zajrzeć na stronę, żeby odpowiedzieć.
Ten sam dostawca zwykle używa do każdej ścieżki innego user agenta, co jest jedyną praktyczną metodą rozróżnienia ich po stronie serwera. Szczegółowe zestawienie nazw znajdziesz w przeglądzie tego, kto naprawdę pobiera twoją stronę. Google dokumentuje swoje user agenty w Search Central, a OpenAI publikuje własną listę w dokumentacji platformy.
Trening: dane historyczne i ich cykl aktualizacji
Crawler treningowy zbiera materiał, który trafi do korpusu uczącego. Kluczowa konsekwencja jest taka, że między pobraniem strony a momentem, w którym model faktycznie „wie” cokolwiek o jej treści, mija zwykle od kilku miesięcy do ponad roku. Tyle trwa złożenie zbioru, trening i wypuszczenie kolejnej wersji.
Z tego wynikają dwie rzeczy, które ludzie regularnie mylą. Po pierwsze, zablokowanie crawlera treningowego dziś nie usuwa niczego z modelu, który już został wytrenowany. Treść pobrana rok temu jest w wagach modelu i zostanie tam do końca jego życia. Po drugie, wiedza z treningu jest z definicji nieaktualna. Model, który zna twoją stronę wyłącznie z treningu, będzie opisywał twój cennik, ofertę i dane kontaktowe w wersji sprzed wielu miesięcy.
Trening odpowiada za coś innego niż bieżąca widoczność: za to, czy model w ogóle kojarzy twoją markę, w jakim kontekście ją umieszcza i jakim językiem o niej mówi bez sięgania do sieci. To wpływ długofalowy i trudny do zmierzenia, ale realny przy budowaniu rozpoznawalności.
Indeks wyszukiwarki AI: pomiędzy treningiem a live
Druga ścieżka to indeks. Asystent, który ma funkcję wyszukiwania, nie odpytuje całego internetu przy każdym pytaniu. Korzysta z indeksu zbudowanego wcześniej przez własnego bota albo z indeksu partnera, na przykład dostawcy wyszukiwarki. Kiedy zadajesz pytanie, system robi coś w rodzaju zapytania wyszukiwarkowego, dostaje listę kandydatów i dopiero z nich buduje odpowiedź.
Opóźnienie na tej ścieżce liczy się w dniach lub tygodniach, nie w miesiącach. Nowy artykuł może zostać zacytowany w odpowiedzi AI wkrótce po publikacji, o ile bot indeksujący zdążył go pobrać. Odwrotnie: jeśli zablokujesz bota indeksującego, twoje strony wypadną z puli kandydatów przy najbliższym odświeżeniu indeksu, a wraz z nimi znikną cytowania i linki, którymi asystent odsyła użytkownika do źródła.
To jest ścieżka, na której naprawdę rozgrywa się widoczność w AI. Jeśli mierzysz efekty, mierz właśnie ją, bo tylko ona reaguje w tempie, które da się obserwować. Praktyczne podejście opisaliśmy w poradniku o tym, jak sprawdzić, czy ChatGPT poleca twoją stronę.
Live fetch w trakcie rozmowy: kiedy się uruchamia
Trzecia ścieżka jest najbardziej punktowa. Live fetch to pobranie jednego adresu na żądanie, w środku rozmowy. Uruchamia się w kilku typowych sytuacjach: użytkownik wkleja link i prosi o streszczenie, model dostaje wynik z indeksu i chce zobaczyć pełną treść strony, albo agent wykonuje zadanie wymagające odczytania konkretnego dokumentu.
Charakterystyka ruchu jest zupełnie inna niż przy crawlu. Zamiast systematycznego przechodzenia po sitemapie widzisz pojedyncze, nieregularne żądania do adresów, które ktoś akurat wymienił w rozmowie. Częstotliwość zależy od tego, jak popularna jest twoja strona wśród użytkowników asystenta, a nie od tego, ile masz podstron.
Blokada live fetch daje najszybszy i najbardziej widoczny efekt. Użytkownik, który wkleja twój link, dostaje komunikat, że asystent nie może otworzyć strony. To jest ta sytuacja, w której „blokada zadziałała od razu”, i jednocześnie najbardziej bolesna forma odcięcia, bo uderza w osobę, która świadomie chciała skorzystać z twojej treści.
Co blokujesz, blokując każdą z tych ścieżek
Poniższe zestawienie porządkuje konsekwencje. Warto je przejrzeć przed dopisaniem czegokolwiek do robots.txt.
| Ścieżka | Opóźnienie efektu | Co tracisz po blokadzie | Co zyskujesz |
|---|---|---|---|
| Crawler treningowy | miesiące, kolejna wersja modelu | obecność marki w „wiedzy ogólnej” przyszłych modeli | treść nie zasila darmowo zbioru uczącego |
| Bot indeksujący | dni lub tygodnie | cytowania i linki w odpowiedziach AI, ruch z tych linków | praktycznie nic poza oszczędnością transferu |
| Live fetch | natychmiast | możliwość streszczenia strony na prośbę użytkownika | kontrola nad dostępem do treści płatnych lub wrażliwych |
Najczęstszy błąd polega na tym, że ktoś chce osiągnąć pierwszy cel z ostatniej kolumny, czyli nie oddawać treści do treningu, a przy okazji blokuje wszystkie trzy user agenty jednego dostawcy. Efekt: model i tak zna starą wersję strony z poprzedniego treningu, a jednocześnie serwis znika z cytowań, które generowały realny ruch. To jest wymiana najgorsza z możliwych.
Osobna kwestia to wpływ takich blokad na klasyczne wyniki wyszukiwania. Krótko: user agenty AI są zwykle oddzielone od crawlera wyszukiwarki, więc zablokowanie pierwszego nie usuwa strony z drugiego. Niuanse i wyjątki opisuje szerzej analiza sytuacji, w której robots.txt może nie dotyczyć bota ChatGPT.
Jak rozpoznać w logach, z czym masz do czynienia
Nazwa user agenta to pierwszy sygnał, ale sama w sobie bywa myląca, bo dostawcy zmieniają konwencje. Pewniejsze jest czytanie wzorca ruchu. Cztery cechy wystarczą, żeby zaklasyfikować sesję.
- Rozkład adresów: crawler idzie po sitemapie i kategoriach, live fetch uderza w pojedyncze, przypadkowe z punktu widzenia struktury adresy.
- Tempo: crawler utrzymuje w miarę stałą kadencję żądań, live fetch to izolowane strzały bez rytmu.
- Zasoby towarzyszące: boty treningowe i indeksujące zwykle pobierają samo HTML, natomiast pobranie na żywo częściej sięga po zasoby potrzebne do renderowania.
- Nagłówek referer i pora doby: live fetch koreluje z godzinami aktywności użytkowników, crawl potrafi chodzić o trzeciej w nocy.
Praktyczna wskazówka: zanim zaczniesz cokolwiek blokować, przez dwa tygodnie po prostu loguj. Zbierz liczbę żądań w rozbiciu na user agenta i typ adresu, a potem zestaw to z ruchem referalnym z domen asystentów. Dopiero taka para liczb pokazuje, czy dany bot cokolwiek ci daje, czy tylko zjada transfer. Zestaw alertów i raport, który to porządkuje, opisaliśmy w materiale o nowym bocie Google i skali scrapingu pod AI.
Wniosek jest prosty i niewygodny dla zwolenników jednej linijki w robots.txt: nie istnieje coś takiego jak „zablokowanie AI”. Istnieją trzy niezależne decyzje o trzech różnych kosztach, a podjęcie ich hurtem prawie zawsze kończy się utratą tego kanału, który akurat działał.
FAQ
Czy zablokowanie crawlera treningowego usunie moją treść z modelu, który już istnieje?
Nie. Dane pobrane przed blokadą są zapisane w wagach wytrenowanego modelu i zostaną tam na stałe. Blokada wpływa wyłącznie na zbiory budowane po jej wprowadzeniu, czyli na przyszłe wersje modelu.
Która blokada najszybciej odetnie mnie od odpowiedzi AI?
Blokada bota indeksującego. Wypadniesz z puli źródeł przy najbliższym odświeżeniu indeksu, zwykle w ciągu dni lub tygodni, i stracisz cytowania wraz z ruchem, który z nich płynie.
Czy live fetch respektuje robots.txt?
To zależy od dostawcy i bywało przedmiotem sporów. Część systemów traktuje pobranie na wyraźne żądanie użytkownika inaczej niż crawl automatyczny. Jeśli chcesz mieć pewność, że dany adres nie zostanie odczytany, potrzebna jest kontrola po stronie serwera, a nie sam plik tekstowy.
Jak odróżnić bota indeksującego od treningowego, skoro oba po prostu chodzą po stronach?
Po nazwie user agenta, bo dostawcy przydzielają im osobne identyfikatory właśnie po to, żeby można było je rozdzielić. Dodatkowym sygnałem jest częstotliwość powrotów: bot indeksujący wraca na te same adresy regularnie, żeby wychwycić zmiany, crawler treningowy zwykle nie ma takiego cyklu.
Czy blokowanie botów AI zaszkodzi mojej pozycji w Google?
W typowej konfiguracji nie, ponieważ crawler wyszukiwarki i user agent przeznaczony do trenowania modeli to osobne byty i blokuje się je osobnymi regułami. Ryzyko pojawia się dopiero wtedy, gdy reguła jest napisana zbyt szeroko i przy okazji łapie klasycznego crawlera.