Indeksowanie stron i Crawl Budget

Co to jest indeksowanie podstrony?

Indeksowanie adresu URL konkretnej witryny to nic innego jak pobranie jej treści i przeanalizowanie przez cały system Google, aby mogła być wyświetlana w rankingu.

Indeksowaniem witryny, czyli pobieraniem jej treści zajmują się roboty wyszukiwarek, które poruszają się po stronie za pomocą linków (podobnie jak ludzie).

Problemy z indeksowaniem strony

Jeśli dodajesz treści na swojej stronie, ale one nie trafiają do wyszukiwarki, musisz poznać przyczynę. Bez tego Twoja praca jest bezwartościowa.

1. Nieprawidłowe linkowanie - jeśli do jakiejś podstrony prowadzi mało linków, a architektura witryny jest złożona, może wystąpić problem z indeksowaniem treści np. produkt występujący na 10 stronie paginacji w sklepie.
2. Wykluczenie podstrony z indeksu przez znacznik robots lub linki noindex, nofollow, te atrybuty są niezwykle pomocne w kierowaniu ruchem robotów, ponieważ pomagają pomijać strony nieistotne z punktu widzenia wyszukiwarki np. koszyk, regulamin, panel logowania.
3. Szybkość działania strony, wolna strona opóźnia poruszanie się robotów więc te, pobierają dane rzadziej.
4. Słabej jakości treści - spam, duplikaty, krótkie teksty, jeśli Twoja witryna cechuje się taką zawartością, roboty Google nie będą do niej wracać.

Pojęcie Crawl Budget

Crawl Budget oznacza liczbę adresów, jaki Googlebot (robot wyszukiwarki) przeznaczy na indeksowanie treści na stronie internetowej. Jest to wartość powiązana z 2 czynnikami:

1. Szybkość indeksowania (Crawl Rate Limit)
   • Aktualny stan zindeksowania — jesli witryna jest szybka, częstotliwość przetwarzania jej przez roboty również rośnie.
   • Limit indeksowania z Google Search Console.
2. Zapotrzebowanie na indeksowanie (Crawl Demand)
   • Popularnością witryny — często odwiedzane, popularne wśród użytkowników strony są priorytetowo indeksowane.
   • Aktualizacje — Google dba o to, aby nowe, często wyszukiwane treści były indeksowane i aktualne rankingach.

Crawl Budget a pozycjonowanie

Crawl Budget nie wpływa bezpośrednio na pozycje Twoje witryny w wyszukiwarce. Niezindeksowane podstrony natomiast nie mogą przyciągnąć ruchu organicznego, ponieważ Google nie wie o ich istnieniu.

Powinniśmy zadbać o to, aby Googlebot mógł szybko i sprawnie odnaleźć treści nowe oraz zaktualizowane. Dzięki prawidłowemu przepływowi robotów przez naszą witrynę wartościowe, nowe treści zostaną szybko wprowadzone do wyszukiwarki i przyciągną użytkowników.

Optymalizacja Crawl Budget

Jak wpłynąć na roboty Google, aby przyśpieszyć indeksowanie nowych treści? To dość pracochłonne zajęcie, ale możliwe do wykonania.

1. Trzeba zadbać o szybkość i bezawaryjność naszej witryny. Dzięki temu Google znacznie częściej będzie odwiedzać nasze strony.
2. Prawidłowe linkowanie wewnętrzne, które poprowadzi roboty we właściwe miejsca.
3. Poprane blokowanie stron zbędnych w indeksie Google tj. koszyk zakupów, rejestracje czy regulaminy stron.
4. Prawidłowa treść, brak spamu i duplikatów. Filtry wyszukiwarek oznaczone linkami kanonicznymi.

Źródło:

https://developers.google.com/