Pojęcia technicznego SEO takie jak crawl budget, index bloat czy renderowanie blokują rozmowy między marketingiem a deweloperami częściej niż jakikolwiek brak budżetu. Ten tekst tłumaczy piętnaście najczęściej mylonych terminów w kolejności, w jakiej Google faktycznie przetwarza stronę: od pobrania, przez renderowanie, po decyzję o indeksacji. Każde hasło ma jedno zdanie definicji i jeden objaw, po którym rozpoznacie problem w Search Console.
W skrócie
- Crawlowanie i indeksacja to dwa osobne procesy: Google może pobrać stronę i nigdy jej nie zaindeksować.
- Crawl budget składa się z limitu (ile serwer wytrzyma) i popytu (ile Google chce pobrać).
- Index bloat to nadmiar niskowartościowych adresów w indeksie, który rozmywa sygnały całej domeny.
- Renderowanie przebiega w dwóch falach: najpierw surowy HTML, później wykonany JavaScript.
- Canonical, noindex i przekierowanie 301 rozwiązują trzy różne problemy i nie wolno ich łączyć na jednym adresie.
Czym jest crawl budget i z czego się składa
Crawl budget to liczba adresów URL, które Googlebot chce i może pobrać z serwisu w danym czasie. Google rozbija go na dwie składowe: crawl rate limit (limit pobierania), czyli tempo, przy którym serwer odpowiada bez błędów 5xx i bez rosnącego czasu odpowiedzi, oraz crawl demand (popyt), czyli to, jak bardzo Google chce odświeżyć dane adresy na podstawie ich popularności i częstotliwości zmian.
Objaw problemu: w raporcie Statystyki indeksowania w Search Console rośnie liczba żądań, ale w raporcie Strony przybywa adresów ze statusem „Wykryto, obecnie nie zindeksowano”. To znaczy, że robot zużywa limit na adresy, które nie mają dla niego wartości. Konkretną metodykę pomiaru opisaliśmy w tekście o crawl budget w narzędziach do crawlowania. Według dokumentacji Google Search Central problem dotyczy realnie serwisów powyżej około miliona adresów lub średnich serwisów z codziennymi zmianami.
Dlaczego crawlowanie i indeksacja to dwa różne procesy
Crawlowanie to pobranie kodu strony przez robota. Indeksacja to osobna decyzja o zapisaniu tej strony w bazie wyników. Między jednym a drugim Google ocenia jakość, duplikację i sygnały canonical, więc pobrana strona może zostać odrzucona bez żadnego błędu technicznego.
W praktyce daje to trzy stany, które warto rozróżniać w rozmowie z zespołem:
- Nieodkryty: Google nie zna adresu, bo nie ma do niego linku ani wpisu w mapie witryny.
- Wykryty, niepobrany: adres jest w kolejce, ale robot go jeszcze nie odwiedził (zwykle kwestia crawl budget lub niskiego priorytetu).
- Pobrany, niezindeksowany: robot był, ale uznał treść za zbędną lub zduplikowaną. To sygnał jakościowy, nie techniczny.
Pomyłka między stanem 2 a 3 kosztuje najwięcej czasu, bo prowadzi do „naprawiania” serwera, gdy problemem jest treść. Pełną listę powiązanych terminów zebraliśmy w słowniku SEO z terminami technicznymi.
Jak rozpoznać index bloat
Index bloat to sytuacja, w której indeks Google zawiera znacznie więcej adresów z domeny niż serwis ma wartościowych stron. Typowe źródła to filtry sklepowe generujące parametry URL, strony paginacji, tagi WordPressa, wewnętrzne wyniki wyszukiwania i wersje z parametrami śledzącymi kampanie.
Objawy widać w liczbach. Jeśli sklep ma 4 000 produktów i 300 kategorii, a raport Strony pokazuje 60 000 zindeksowanych adresów, mniej więcej 55 000 z nich to bloat. Efekt uboczny to rozmycie sygnałów: linki wewnętrzne i autorytet domeny rozkładają się na dziesiątki tysięcy adresów zamiast na kilka tysięcy, które mają zarabiać. Powiązany termin to thin content, czyli strony z treścią zbyt ubogą, by uzasadnić osobny adres.
Na czym polega renderowanie i jego dwie fazy
Renderowanie to wykonanie przez Google JavaScriptu i CSS, aby zobaczyć stronę tak, jak widzi ją użytkownik w przeglądarce. Proces ma dwie fale. W pierwszej Google przetwarza surowy HTML z serwera i wyciąga z niego linki oraz treść dostępną od razu. W drugiej, po czasie od kilku sekund do kilku dni, trafia do kolejki renderowania i dopiero wtedy odczytuje treść wstrzykiwaną skryptami.
Stąd biorą się trzy pojęcia, które warto odróżniać:
| Pojęcie | Kto wykonuje JavaScript | Ryzyko dla SEO |
|---|---|---|
| SSR (renderowanie po stronie serwera) | Serwer, przed wysłaniem HTML | Niskie: treść jest w pierwszej fali |
| CSR (renderowanie po stronie klienta) | Przeglądarka lub robot Google | Wysokie: treść i linki czekają na drugą falę |
| Hydracja | Serwer daje HTML, przeglądarka dokłada interakcje | Średnie: zależy od tego, co jest w surowym HTML |
Do tego dochodzi twardy limit: Googlebot przetwarza tylko pierwsze 2 MB kodu HTML, co opisaliśmy w tekście o limicie bajtów Googlebota. Jeśli w tej granicy nie mieści się główna treść, dla wyszukiwarki strona jest pusta.
Czym różnią się canonical, noindex i przekierowanie
Te trzy mechanizmy są mylone najczęściej, bo każdy „usuwa” adres z wyników, ale robi to inaczej. Canonical to sugestia: mówi Google, że dwie strony są duplikatami i która ma reprezentować obie. Strona wskazująca canonical nadal istnieje i nadal jest pobierana. Noindex to dyrektywa: strona ma nie trafić do indeksu, ale linki z niej mogą być przez pewien czas śledzone. Przekierowanie 301 to fizyczne przeniesienie: stary adres przestaje istnieć i przekazuje sygnały nowemu.
Zasada praktyczna: canonical do wariantów tej samej treści (kolor produktu, sortowanie), noindex do stron potrzebnych użytkownikom, ale nie wyszukiwarce (panel logowania, koszyk), 301 do adresów, które naprawdę zniknęły. Łączenie noindex z canonical na tym samym adresie daje Google sprzeczne sygnały i zwykle kończy się zignorowaniem obu.
Co oznacza soft 404 i strona niskiej wartości
Soft 404 to strona, która zwraca kod 200 (wszystko w porządku), ale w treści komunikuje brak zawartości: pusta kategoria, produkt wycofany bez przekierowania, wynik wyszukiwania bez rezultatów. Google klasyfikuje ją jako błąd i przestaje pobierać, ale przez pewien czas robot wraca, zużywając limit.
Objaw: w raporcie Strony pojawia się powód „Miękki błąd 404” przy adresach, które według deweloperów działają poprawnie. Naprawa to zwrócenie prawdziwego kodu 404 lub 410 dla pustych adresów, a dla kategorii tymczasowo pustych: noindex do czasu uzupełnienia oferty. Szersza kategoria to strony niskiej wartości, czyli takie, które technicznie mają treść, ale nie odpowiadają na żadne zapytanie lepiej niż inna strona w tym samym serwisie.
Jak działa linkowanie wewnętrzne i głębokość kliknięcia
Głębokość kliknięcia (click depth) to liczba kliknięć od strony głównej do danego adresu. Google traktuje ją jako sygnał ważności: strona osiągalna w 2 kliknięciach jest odwiedzana częściej niż ta w 6. To ważniejsze niż struktura katalogów w adresie URL, która dla robota jest tylko ciągiem znaków.
Powiązane pojęcia:
- Strona osierocona (orphan page): adres bez żadnego linku wewnętrznego, dostępny tylko z mapy witryny lub linków zewnętrznych.
- Anchor: tekst linku, z którego Google wnioskuje, o czym jest strona docelowa.
- Mapa witryny XML: lista adresów do pobrania, która przyspiesza odkrywanie, ale nie zastępuje linków i nie gwarantuje indeksacji.
Prosty test: jeśli crawler w trybie symulacji Googlebota znajduje mniej adresów niż mapa witryny, różnica to strony osierocone. Zwykle są to produkty usunięte z nawigacji i stare wpisy blogowe.
Jak używać tych pojęć w rozmowie z deweloperem
Najskuteczniejszy format zgłoszenia to: objaw w Search Console, pojęcie, którego dotyczy, i oczekiwany kod odpowiedzi lub znacznik. Zamiast „strony się nie indeksują” lepiej napisać: „42 adresy z parametrem ?sort= mają status 'Duplikat, Google wybrał inną stronę kanoniczną’, proszę o canonical na wersję bez parametru”. Deweloper dostaje kryterium akceptacji, a nie diagnozę do postawienia.
Warto też rozdzielać trzy warstwy: kody HTTP i czas odpowiedzi to infrastruktura, znaczniki w szablonie (canonical, noindex, hreflang) to front-end, a decyzja, które adresy mają istnieć, to redakcja i to ona najczęściej generuje index bloat. Wiele z tych pojęć ma swoje odpowiedniki po stronie systemów AI, które opisaliśmy w słowniku AIO z 30 pojęciami: modele językowe również pobierają, filtrują i wybierają źródła, tylko według innych kryteriów.
Najczęstsze błędy w rozumieniu tych pojęć
- Traktowanie crawl budget jako problemu każdej strony: dla serwisu z 500 adresami limit nie ma znaczenia, liczy się jakość.
- Utożsamianie „pobrano” z „zindeksowano”: raport Strony rozdziela te statusy nie bez powodu.
- Blokowanie w robots.txt adresów, które mają zniknąć z indeksu: zablokowany adres nie może zostać pobrany, więc Google nie zobaczy noindex.
FAQ: najczęstsze pytania
Czy crawl budget dotyczy małych stron?
Praktycznie nie. Google deklaruje, że limit pobierania ma znaczenie dla serwisów z setkami tysięcy adresów albo dla średnich serwisów, których treść zmienia się codziennie. Strona firmowa z 200 podstronami nie ma problemu z crawl budget, ma co najwyżej problem z jakością lub linkowaniem wewnętrznym, które sprawiają, że robot pomija część adresów.
Czym różni się noindex od blokady w robots.txt?
Robots.txt zabrania pobrania strony, więc Google nie widzi jej treści ani znaczników. Noindex pozwala pobrać stronę, ale zakazuje jej indeksowania. Jeśli chcecie usunąć adres z wyników, potrzebujecie noindex i otwartego dostępu dla robota. Blokada w robots.txt na adresie, który już jest w indeksie, zamrozi go tam z pustym opisem.
Jak sprawdzić, czy strona ma problem z renderowaniem?
W Search Console użyjcie narzędzia Sprawdzanie adresu URL i porównajcie zrzut wyrenderowanego HTML z tym, co widzicie w przeglądarce. Jeśli w zrzucie brakuje głównej treści, linków w nawigacji lub listy produktów, treść zależy od JavaScriptu wykonanego po stronie klienta. Drugi test to wyłączenie JavaScriptu w przeglądarce: to, co znika, jest zagrożone.
Ile adresów w indeksie to już index bloat?
Nie ma sztywnego progu, liczy się proporcja. Jeśli liczba zindeksowanych adresów przekracza liczbę stron, które chcecie pozycjonować, o więcej niż 20–30%, nadwyżka wymaga przeglądu. Najczęstsze źródła to parametry filtrów, paginacja, tagi i wewnętrzna wyszukiwarka. Przegląd zaczyna się od raportu Strony w Search Console i eksportu adresów z filtrem po wzorcu URL.
Co dalej
Piętnaście pojęć z tego tekstu wystarczy, by przeczytać ze zrozumieniem raport Strony w Search Console i sformułować zgłoszenie dla dewelopera. Jak zmierzyć udział bloatu i głębokość kliknięcia, opisaliśmy w porównaniu Screaming Frog kontra Sitebulb dla dużego sklepu.