Google, Microsoft i OpenAI zapowiedziały, że będą respektować jedną, wspólną regułę w pliku robots.txt, za pomocą której wydawca może zablokować wykorzystanie swoich treści do trenowania modeli generatywnej AI. Zamiast osobnych wpisów dla GPTBota, Google-Extended i kolejnych crawlerów wystarczy jedna grupa reguł z tokenem __usage_ai-training. Problem w tym, że każda z firm interpretuje ten sygnał inaczej, a żadna jeszcze go nie obsługuje.
Zapowiedzi pojawiły się w piątek 30 października 2026 roku, a szczegóły zebrał w niedzielnym tekście Matt G. Southern z serwisu Search Engine Journal. To pierwszy przypadek, w którym trzech największych graczy na rynku wyszukiwania i AI deklaruje wsparcie dla tego samego mechanizmu kontroli treści. Dla właścicieli stron to dobra wiadomość, ale z wieloma gwiazdkami, które warto przeczytać przed edycją robots.txt.
Skąd wziął się wspólny token
Propozycja nie pochodzi od Google ani od OpenAI. Jej autorem jest Kevin Kelley z firmy Anthropic, który tego samego dnia złożył tzw. Internet Draft do grupy roboczej AI Preferences (AIPREF) działającej przy IETF, czyli organizacji odpowiedzialnej za standardy internetowe. Warto od razu podkreślić status dokumentu: w rejestrze IETF figuruje on jako szkic indywidualny, co oznacza, że nie jest to oficjalna ścieżka standaryzacyjna. Szkic wygasa 3 maja 2027 roku, o ile nie zostanie zastąpiony nową wersją.
W wiadomości wysłanej na listę mailingową grupy Kelley poinformował, że Anthropic rozpoczął prace nad obsługą tego sygnału, ale wdrożenie we wszystkich usługach firmy zajmie trochę czasu. Zaznaczył też, że liczy na dołączenie kolejnych dostawców AI.
Grupa AIPREF pracowała wcześniej nad innym podejściem. Jak przypomina Search Engine Journal, 22 października opisywano tam szkic współtworzony przez Gary’ego Illyesa z Google, który zakładał dodanie do robots.txt nowej reguły Content-Usage. Według Kelleya grupa odłożyła ten projekt na bok, aby najpierw uzgodnić słownik pojęć. Sam Kelley zamierza zaproponować swoje rozwiązanie jako zmianę do szkicu Content-Usage.
Jak działa reguła __usage_ai-training
Najciekawsze w propozycji jest to, czego w niej nie ma. Szkic nie dodaje do robots.txt żadnej nowej dyrektywy. Wykorzystuje zwykłą grupę reguł z dobrze znanymi poleceniami Allow i Disallow, tyle że zamiast nazwy konkretnego bota w polu User-Agent pojawia się tzw. token polityki. Przykład ze szkicu pokazuje, jak zablokować trening AI na całej stronie z wyjątkiem katalogu z materiałami prasowymi:
User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/Znaczenie tokenu wynika ze słownika przygotowanego przez grupę AIPREF. Trening AI zdefiniowano tam jako wykorzystanie treści do modyfikowania wyuczonych parametrów generatywnego modelu AI. Modele wykonujące wyłącznie zadania niegeneratywne, takie jak klasyfikacja czy ranking, nie podlegają tej definicji. To ważne rozróżnienie: token nie dotyczy systemów, które oceniają i porządkują wyniki wyszukiwania.
Szkic zawiera też kilka zasad, które chronią obecny stan rzeczy:
- Istniejące reguły w plikach robots.txt nie są traktowane jako preferencja treningowa. Nikt nie zostanie automatycznie wypisany z treningu przez stare wpisy.
- Grupa z wieloznacznikiem (
User-Agent: *) nigdy nie pasuje do tokenu. Ogólne Disallow dla wszystkich botów nie oznacza więc sprzeciwu wobec treningu. - Plik bez grupy
__usage_ai-trainingoznacza brak preferencji. Według Kelleya dotyczy to dziś każdego opublikowanego pliku robots.txt. - Token nie steruje crawlowaniem. Bot może nadal pobierać stronę, a reguła określa jedynie, do czego wolno użyć treści.
Ostatni punkt łatwo przeoczyć. Wpis z tokenem nie zmniejszy ruchu botów na serwerze ani obciążenia hostingu. To deklaracja dotycząca wykorzystania treści, a nie blokada dostępu. Szerzej o tej różnicy pisaliśmy w tekście o tym, że crawler treningowy i bot pobierający stronę na żywo to zupełnie różne rzeczy.
Kluczowe fakty: kto, co i kiedy
Każda z firm zadeklarowała wsparcie, ale harmonogramy i interpretacje znacząco się różnią. Poniższa tabela zbiera najważniejsze informacje z komunikatów i dokumentacji, na które powołuje się Search Engine Journal.
| Firma | Termin wsparcia | Jak interpretuje token | Co z dotychczasowymi kontrolami |
|---|---|---|---|
| początek 2027 roku | jak blokadę Google-Extended, jeśli strona nie określiła Google-Extended osobno | Google-Extended działa dalej | |
| Microsoft (Bing) | nowe preferencje od 1 lutego 2027 | tylko trening; grounding ustawiany osobno, na poziomie strony | NoArchive i NoCache przestają działać jako kontrola AI od 1 marca 2027 |
| OpenAI | w ciągu najbliższych miesięcy | brak opisu konfliktu z regułą dla GPTBota | obecna polityka robots.txt pozostaje w mocy |
| Anthropic | bez daty, prace rozpoczęte | autor szkicu; brak komunikatu w newsroomie | ClaudeBot, Claude-User i Claude-SearchBot |
Google wiąże token z Google-Extended
Wpis Johna Muellera na blogu Google wyjaśnia, że jeśli strona wypisze się z treningu za pomocą wspólnej reguły i nie określi osobno zasad dla Google-Extended, Google potraktuje to tak, jakby wydawca zablokował Google-Extended. Firma planuje obsługę w 2027 roku, a dokumentacja crawlerów precyzuje, że chodzi o początek roku.
To ma konsekwencje wykraczające poza sam trening. Według dokumentacji Google-Extended kontroluje dwie rzeczy jednocześnie: czy treści mogą posłużyć do trenowania przyszłych modeli Gemini oraz czy mogą być używane do groundingu w aplikacjach Gemini i na platformie Vertex AI. Grounding to w opisie Google dostarczanie modelowi treści z indeksu wyszukiwarki w momencie, gdy formułuje odpowiedź. Google dodaje, że strony, które wprost zezwalają na Google-Extended, mogą pojawiać się w odpowiedziach aplikacji Gemini właśnie dzięki groundingowi.
Innymi słowy: kto zablokuje trening wspólnym tokenem, ten w Google zablokuje również grounding w Gemini. Dokumentacja nie opisuje sposobu na wyłączenie treningu przy jednoczesnym zachowaniu obecności w odpowiedziach aplikacji Gemini.
Jednocześnie Google-Extended nie wpływa na obecność strony w wyszukiwarce Google. AI Overviews i AI Mode mają osobny mechanizm, czyli kontrolkę generatywnej AI w Search Console, która w sierpniu trafiła do wszystkich użytkowników. Opisywaliśmy ją przy okazji tekstu o tym, że raporty AI w Search Console są dostępne globalnie.
Microsoft rozdziela trening od groundingu
Najbardziej rozbudowaną zmianę ogłosił Microsoft. Wpis Krishny Madhavana, głównego menedżera produktu w Bing, przyjmuje wspólny token dla treningu i dodaje osobną preferencję AI Grounding. Ta druga jest ustawiana wyłącznie na poziomie pojedynczej strony i decyduje, czy treść może być używana do budowania odpowiedzi generowanych przez AI. Microsoft pozwala też ustawić preferencję treningową dla konkretnej podstrony za pomocą meta tagu lub nagłówka HTTP, co nadpisuje regułę z robots.txt.
Domyślnie grounding jest dozwolony, a Disallow wyklucza stronę. Nowa opcja DisallowExtended pozwala na grounding we własnych narzędziach Microsoftu, takich jak Copilot czy tryb AI w Bingu, ale blokuje go w usługach groundingu, które Microsoft udostępnia innym firmom (Web IQ). Microsoft zaznacza, że każde z tych ograniczeń zmniejszy widoczność marki w odpowiedziach AI, ale nie wpłynie na obecność w klasycznych wynikach wyszukiwania Bing.
Dla wielu wydawców kluczowa jest jednak data wygaszenia starych mechanizmów. Do tej pory sposobem na ograniczenie wykorzystania treści przez Copilota były tagi NoArchive i NoCache. Microsoft zastępuje je nowymi preferencjami według następującego harmonogramu:
- 15 grudnia 2026: w Bing Webmaster Tools rusza tymczasowe ustawienie dla stron, które nadal korzystają ze starych tagów i chcą pozostać poza groundingiem. Dostęp mają tylko strony używające tych tagów w tym dniu.
- 1 lutego 2027: Bing zaczyna respektować nowe preferencje podczas crawlowania.
- 1 marca 2027: NoArchive i NoCache przestają działać jako kontrola treningu i groundingu.
Według FAQ Microsoftu strony bez ustawionej preferencji do 1 marca będą domyślnie dopuszczone do groundingu, dopóki Bing ich ponownie nie odwiedzi. Firma zapowiada też, że gdy wykryje na stronie którąkolwiek z nowych preferencji, zignoruje pozostałe na niej tagi NoArchive i NoCache.
OpenAI i Anthropic: deklaracje bez szczegółów
OpenAI zapowiada obsługę sygnału w ciągu najbliższych miesięcy, przy czym obecna polityka dotycząca robots.txt pozostaje w mocy. Ani wpis na blogu firmy, ani dokumentacja crawlerów (sprawdzana przez Search Engine Journal 30 października) nie wyjaśniają, co się stanie, gdy reguła dla wspólnego tokenu i reguła dla GPTBota będą sobie przeczyć. OpenAI w swoim komunikacie zachęca innych dostawców AI do respektowania sygnału.
Anthropic na dzień 30 października nie opublikował w newsroomie żadnego komunikatu w tej sprawie. Strona pomocy firmy wymienia obecnie trzy opcje kontroli: ClaudeBot, Claude-User i Claude-SearchBot.
Co to znaczy dla SEO i AIO
Na pierwszy rzut oka to uproszczenie. Jedna grupa reguł w robots.txt mogłaby zastąpić rosnącą listę wpisów dla poszczególnych firm, która dziś wymaga stałego śledzenia nowych user-agentów. W praktyce ten sam wpis będzie oznaczał coś innego w Google, a coś innego w Microsofcie. Dla specjalistów SEO i AIO wynika z tego kilka konkretnych wniosków.
Trening i obecność w odpowiedziach AI to osobne decyzje
Strategia AIO opiera się na tym, żeby treści były cytowane w odpowiedziach ChatGPT, Gemini, Copilota czy Perplexity. Cytowanie w odpowiedzi na żywo to w dużej mierze kwestia groundingu, a nie treningu. Microsoft wprost to rozdziela, więc w Bingu można zablokować trening i nadal pojawiać się w odpowiedziach Copilota. W Google ta sama decyzja odcina stronę także od groundingu w aplikacjach Gemini, choć nie od AI Overviews i AI Mode w wyszukiwarce. Kto dziś walczy o widoczność w Gemini, powinien dwa razy się zastanowić przed dodaniem wspólnego tokenu bez osobnej reguły dla Google-Extended.
Jawne Allow dla Google-Extended zmienia wynik
Mechanizm Google ma ważny wyjątek: token jest traktowany jak blokada Google-Extended tylko wtedy, gdy strona nie określiła zasad dla Google-Extended. Teoretycznie wydawca może więc wypisać się z treningu u wszystkich uczestników porozumienia i jednocześnie jawnie zezwolić na Google-Extended, aby zachować grounding w Gemini. Taka konfiguracja oznacza jednak również zgodę na trening modeli Gemini, bo Google-Extended obejmuje obie funkcje. Pełnego rozdzielenia w Google na razie nie ma.
Serwisy z NoArchive i NoCache mają realny termin
Jedynym komunikatem, który zastępuje kontrolę używaną już przez strony, jest ten od Microsoftu. Jeśli serwis korzysta z NoArchive lub NoCache, żeby ograniczyć wykorzystanie treści przez Copilota, ma czas do 1 marca 2027 roku na przejście na nowe preferencje. Bez tego strona domyślnie trafi do puli dopuszczonej do groundingu. Warto sprawdzić to szczególnie w serwisach wydawniczych i e-commerce, gdzie tagi te bywały dodawane przez wtyczki lub szablony bez wiedzy zespołu SEO.
Nic nie trzeba robić od razu, ale warto zrobić inwentaryzację
Żadna z firm nie obsługuje dziś wspólnego tokenu, a obecne reguły dla GPTBota, Google-Extended czy ClaudeBota nadal działają. Nie ma więc powodu, by w pośpiechu przepisywać robots.txt. Rozsądnym krokiem jest natomiast audyt obecnych wpisów: które boty AI są blokowane, z jakiego powodu i czy ta decyzja była świadoma. Pomocny może być nasz przegląd kontroli crawlerów AI w 2026 roku, który zbiera dostępne mechanizmy w jednym miejscu.
Reakcje branży
Branża przyjęła zapowiedź z wyraźną ostrożnością. Serwis PPC Land przytacza fragment komunikatu Google, według którego nowe rozwiązanie pomoże stronom wyrazić preferencje dotyczące treningu AI u wielu dostawców w jednym kroku. Ten sam serwis odnotował jednak, że Nate Hake, wydawca zaangażowany w prace grupy AIPREF, przestrzegał w mediach społecznościowych, że prace nie są zakończone, a część sporów pozostaje nierozstrzygnięta.
Komentatorzy zwracają uwagę przede wszystkim na trzy kwestie. Po pierwsze, firmy zobowiązały się do obsługi sygnału, a nie do konkretnej, zamkniętej definicji treningu, a szkic może jeszcze zmienić brzmienie i zakres. Po drugie, wspólny token nie obejmuje groundingu, czyli tego, co dla wydawców jest dziś najważniejsze: wykorzystania treści w odpowiedziach generowanych na żywo, także w AI Overviews. Po trzecie, strona, która chce być cytowana w odpowiedziach AI, a jednocześnie nie chce zasilać treningu modeli, nadal musi przeczytać dwie lub trzy różne dokumentacje.
Search Engine Journal podsumowuje to wprost: jedna grupa reguł może zastąpić stos wpisów dla poszczególnych firm, ale wypisanie się przez wspólny token nie obejmie tych samych zastosowań w Google i Microsofcie. Wydawcy od dawna domagali się prostego, uniwersalnego sposobu na powiedzenie „nie” trenowaniu modeli na ich treściach. Dostali pierwszy krok w tym kierunku, ale nie gotowe rozwiązanie.
Nie bez znaczenia jest też, kto stoi za propozycją. Szkic przygotował pracownik Anthropic, a poparli go trzej najwięksi konkurenci tej firmy. Rzadko zdarza się, by w tak spornej sprawie jak dostęp do treści dla AI rywale tak szybko zadeklarowali wspólny kierunek. Jednocześnie lista uczestników pozostaje krótka. Brakuje na niej m.in. Perplexity, Meta czy Apple, a ich stanowisko będzie miało znaczenie dla tego, czy token faktycznie stanie się standardem.
Co dalej
Najbliższe miesiące wyznaczą kilka dat, które warto zapisać w kalendarzu. 15 grudnia 2026 roku Microsoft otworzy w Bing Webmaster Tools tymczasowe ustawienie dla stron używających NoArchive i NoCache. Na początku 2027 roku obsługę uruchomi Google, a 1 lutego Bing zacznie respektować nowe preferencje. 1 marca 2027 roku stare tagi Microsoftu przestaną działać jako kontrola AI, a 3 maja 2027 roku wygaśnie obecna wersja szkicu Kelleya, o ile nie pojawi się nowa.
Google i OpenAI zapowiadają, że podzielą się szczegółami, gdy wsparcie będzie gotowe. Do wyjaśnienia pozostaje kilka kwestii: jak OpenAI rozstrzygnie konflikt między tokenem a regułą dla GPTBota, czy Google zaoferuje kiedyś rozdzielenie treningu od groundingu w Gemini oraz czy do porozumienia dołączą kolejni dostawcy. Równolegle grupa AIPREF będzie decydować, czy propozycja Kelleya stanie się częścią szkicu Content-Usage.
Dla zespołów SEO i AIO praktyczny plan na najbliższe tygodnie jest prosty: spisać obecne reguły dla botów AI, sprawdzić, czy serwis używa NoArchive lub NoCache, i ustalić z właścicielem biznesu, czy priorytetem jest ochrona treści przed treningiem, czy obecność w odpowiedziach AI. Od tej decyzji zależy, jak wpis z tokenem __usage_ai-training powinien wyglądać, gdy firmy faktycznie zaczną go czytać.
FAQ
Czy mogę już dziś dodać __usage_ai-training do robots.txt?
Tak, wpis nie zaszkodzi, ale na razie nie ma efektu, bo żadna z firm go jeszcze nie obsługuje. Google planuje wsparcie na początek 2027 roku, Microsoft od 1 lutego 2027, a OpenAI w ciągu najbliższych miesięcy. Do tego czasu działają dotychczasowe reguły dla GPTBota, Google-Extended czy ClaudeBota.
Czy blokada treningu AI wpłynie na pozycje w Google?
Nie. Według dokumentacji Google-Extended, z którym Google wiąże nowy token, nie wpływa na obecność strony w wyszukiwarce Google. Microsoft również zapewnia, że nowe preferencje nie zmieniają klasycznych wyników Bing. AI Overviews i AI Mode mają osobną kontrolę w Search Console.
Czy wspólny token blokuje crawlowanie strony przez boty AI?
Nie. Token określa wyłącznie, czy treści mogą posłużyć do trenowania generatywnych modeli AI. Nie steruje crawlowaniem, więc boty mogą nadal pobierać stronę. Do ograniczania dostępu nadal służą reguły dla konkretnych user-agentów.
Co muszą zrobić strony używające NoArchive i NoCache?
Microsoft przestanie traktować te tagi jako kontrolę treningu i groundingu od 1 marca 2027 roku. Strony, które chcą pozostać poza groundingiem, powinny przejść na nowe preferencje, a w okresie przejściowym ustawić tymczasową preferencję w Bing Webmaster Tools, dostępną od 15 grudnia 2026 roku.
Czy po zablokowaniu treningu strona zniknie z odpowiedzi Gemini?
Prawdopodobnie tak, jeśli nie określi osobnej reguły dla Google-Extended. Google zamierza traktować token jak blokadę Google-Extended, a ten mechanizm obejmuje zarówno trening modeli Gemini, jak i grounding w aplikacjach Gemini oraz Vertex AI.