Indeksowanie stron w Google to zadanie, które może mieć różne stopnie trudności. Nie ma najmniejszego problemu, jeśli do wyszukiwarki chcemy dodać stronę typu onepage albo taką, która ma tylko kilka podstron. Trudności pojawiają się, gdy domena internetowa posiada wiele tysięcy stron internetowych. Co zrobić aby każda z nich znalazła się w wyszukiwarce Google?
<TL:DR>
Artykuł omawia w jaki sposób zmusić Google do przyjęcia większej liczby stron do swojego indeksu oraz jak sprawdzać poziom zaindeksowania i świeżość tego indeksu?
Mam czas więc czytam
W poniższym przykładzie opiszę w jaki sposób podszedłem do indeksowania stron w sklepie internetowym. Dotychczasowy poziom zaindeksowania stron był zadowalający, ale jednak nie wszystkie adresy znajdują się w wyszukiwarce Google. Sklep działa już od kilku lat, więc nie jest obciążony problemami nowej domeny. Ma poprawny profil linków, jest responsywny, właściwie działają canonicale w kategoriach przy zawężaniu wyników itd, generalnie wszystko jest w nim dosyć poprawne i zoptymalizowane.
Indeksowanie stron w sklepie internetowym
Sklep internetowy jest dodany do Google Console Search i posiada mapy w formacie protokołu sitemap. Dodane mapy w GSC pokazują pewny stopień zaindeksowania, ale nie podają dokładnych URLi, które nie znajdują się w indeksie wyszukiwarki. Aby lepiej przyjrzeć się, które adresy są w indeksie Google a które nie, wykonałem następujące czynności.
W pierwszym kroku uruchomiłem Screaming Frog i zeskanowałem całą strukturę sklepu internetowego. Otrzymane wyniki podzieliłem na 4 grupy adresów URL i otrzymałem:
- 6051 adresów stron z produktami,
- 241 adresów stron kategorii produktów,
- 209 adresów stron producentów producentów,
- 146 adresów stron z artykułami informacyjnymi.
W drugim kroku ręcznie sprawdziłem zaindeksowanie wszystkich stron w wyszukiwarce Google. Wykorzystałem do tego Google Index Checker. Otrzymane wyniki pokazują, które dokładnie adresy nie znajdują się w wyszukiwarce. W poniższej tabeli można zobaczyć ogólne zestawienie.
| Typ strony | Liczba stron | W indeksie | Poza indeksem | % poza indeksem |
| Produkt | 6051 | 5383 | 668 | 11,0% |
| Kategoria | 241 | 236 | 5 | 2,1% |
| Producent | 209 | 208 | 1 | 0,5% |
| Artykuł | 146 | 133 | 13 | 8,9% |
Adresy stron z kategoriami i producentami są w najwyższym stopniu zaindeksowane, ale niestety nie wszystkie. Co ciekawe, każdy z tych adresów posiada odnośnik ze strony głównej i na stałe jest umieszczony w menu nawigacyjnym sklepu. Zatem należałoby się spodziewać, że wszystkie z nich znajdą się w wyszukiwarce Google.
Artykuły znajdują się w hierarchii o jeden poziom niżej. Trzeba przejść do sekcji z artykułami, z której to już można dostać się do każdego artykułu.
Najgorzej prezentują się adresy z produktami. 11% adresów nie znajduje się w indeksie wyszukiwarki co oznacza, że co 9 produkt nie jest możliwy do znalezienia w wynikach wyszukiwania Google.
Dane strukturalne w adresach URL
W sklepie internetowym ponad miesiąc temu wprowadzono aktualizację polegającą na dodaniu fragmentów sformatowanych o produktach. One już kiedyś wcześniej były zainstalowane, ale w wyniku zmian programistycznych, wypadły na jakiś czas.
W trakcie szczegółowego sprawdzania zaindeksowania stron, byłem też ciekawy jak szybko odświeżają się informacje o produktach w indeksie Google i jak szybko wyszukiwarka zacznie wyświetlać fragmenty sformatowane dla wszystkich produktów.
Sprawdzenie ręczne jednego adresu wymaga odczytania jego kopii z wyników wyszukiwania i spojrzenia na miejsce, w którym podana jest data i godzina ostatniej wersji zaindeksowanego adresu.
Proces można zautomatyzować, tak aby nie klikać wiele tysięcy razy, gdy mamy do sprawdzenia setki albo tysiące adresów.
W trzecim kroku uruchamiam ponownie Screaming Frog i ustawiam tryb pracy Listy. Jako listę wprowadzam docelowe adresy kopii znajdujacych się w indeksie Google. Mały trick pozwala odkryć wzorzec, który pozwala przygotować jednorazowo wszystkie kopie do odczytu. W konfiguracji SF ustawiam w opcji Custom/Extraction dwie informacje, które SF będzie wyciągał z odczytywanej strony:
- data i godzina utworzenia kopii strony,
- adres URL.
Właściwie drugą z informacji już mam, ale dla ułatwienia stworzenia raportu końcowego, znajdzie się w nim również adres URL. Poszukiwana informacja to data i godzina ostatniej wersji kopii strony.
Przeanalizowanie setek kopii stron pokazuje, że Google dosyć wolno odświeża swój indeks, w którym dane o produktach znajdują się nawet z dwumiesięcznym opóźnieniem.
Automatyzacja indeksowania brakujących stron w Google
Najskuteczniejszym sposobem dodania strony do Google jest skorzystanie z sekcji Submit URL obecnej w Google Search Console. Po skorzystaniu z tego narzędzia, dodawana strona zazwyczaj w ciągu kilku sekund znajduje się w indeksie Google ze swoją aktualną zawartością.
Niestety to narzędzie ma swoje ograniczenia szybkościowe i ilościowe. Szybkość jest ograniczona obowiązkiem zaznaczania captchy, że nie jest się robotem, a ilość jest ograniczona do pięciu dodań, przy szóstym captcha zaczyna wymagać obecności osoby, która odpowie na dodatkowe pytania graficzne, wskazując obrazki odpowiadające pytaniu.
Nawet w pierwszym odruchu napisałem skrypt w iMacro, który dodaje strony z wykorzystaniem Submit URL i zaznacza captche. Jednak nie jest już w stanie wskazać odpowiedzi na dodatkowe pytania, które wymagają obecności człowieka. Pomaga zalogowanie się na nowe konto, na którym znika na chwilę dodatkowe pytania autoryzujące, ale już przy szóstym dodaniu pojawia się ponownie.
Innymi metodami przyspieszającymi indeksowania stron w wyszukiwarce Google jest pingowanie i linkowanie. Są to oczywiste rozwiązania stosowanie od wielu lat w SEO.
Przede mną jest do zaindeksowania prawie 700 adresów, które w naturalny sposób nie chciały poddać się indeksowaniu ani przez mapę witryny, ani przez linkowanie wewnętrzne. Nie są to też duplikaty ani powielone treści czy opisy produktów. Wkrótce się okaże, która metoda była najskuteczniejsza, czy trzeba było je łączyć i jakie przyniosło to efekty.
CDN
Zapisz się do newslettera wypełniając pola poniżej. Będziesz na bieżąco ze wszystkimi wydarzeniami związanymi z Silesia SEM i informacjami o marketingu internetowym w sieci. Nie spamujemy.
Zostanie wysłany do Ciebie e-mail potwierdzający: przeczytaj zawarte w nim instrukcje, aby potwierdzić subskrypcję.
Artur Strzelecki
Bardzo ciekawy przypadek do analizy. Artur, jesteś jeszcze w stanie pokazać statystyki indeksowania strony z Google Search Console? Będziemy wtedy w stanie porównać budżety robota przed i po przeprowadzonych działaniach.