Analiza logów serwera pod SEO

Co to są i jak sprawdzić logi serwera?

Każde żądanie skierowane względem Twojej strony jest zapisywane w pliku dziennika na serwerze. Dzięki temu możesz dokładnie zobaczyć jak wyszukiwarki takie jak Google, indeksują Twoją witrynie.

Wszystko, co musisz zrobić, to wyeksportować te dane i je odpowiednio filtrować.

Co można wyczytać z analizy logów serwera?

Dobra analiza logów serwera i podjęcie odpowiednich działań pomoże Ci poprawić SEO dla Twojej witryny.

Dzięki analizie logów dowiesz się:

  • Ile marnuje się tzw. „crawl budget-u” i gdzie. Budżet indeksowania jest często marnowany na nieistotne strony.
  • Gdzie występują błędy takie jak błędy 404 i 500 aby je poprawić. Zbyt wiele odpowiedzi błędów kodu,  może spowodować że Google ograniczy indeksowanie Twojej witryny, a być może nawet twoje pozycje w rankingu wyszukiwania.
  • Zlokalizujesz strony, które nie są często indeksowane. Może się zdarzyć że zapomnisz umieścić url strony która uznajesz za wartościową, w strukturze serwisu . Zapomniałeś czy też podałeś w strukturze błędnie jej adres, taki „czeski błąd”.
  • Rozpoznasz zbyt duże zasoby statyczne

Pliki dziennika, jako jedyne, zawierają w 100% dokładne informacje w jaki sposób wyszukiwarki przemierzają Twoją witrynę.

Analiza logów jest jednym z aspektów technicznych SEO, a poprawienie problemów występujących w logach pomoże w osiągnięciu wyższych pozycji w rankingu, zwiększeniu ruchu, konwersji i sprzedaży.

Zdobyta wiedza z logów Twojej strony z dziennika serwera jest lepsza niż z jakichkolwiek innych dostępnych zewnętrznych narzędzi indeksujących.

Rezultatem prac opartych na analizach logów jest wyższa wydajność Twojej strony dla SEO.

Wstawianie parametrów do adresów URL, zwykle używanych w śledzeniu stron w celach marketingowych, często powoduje, że wyszukiwarki marnują budżety na indeksowanie, indeksując różne adresy URL o tej samej treści.

Co znajdziesz w logach serwera

Przeglądarka tłumaczy adres URL na 3 części:

  • Protokół
  • Nazwa serwera
  • Nazwa pliku

Wygląd pliku dziennika zależy od typu serwera i używanych konfiguracji (Apache, IIS itp.), Ale istnieją elementy rekordu, które zawsze można znaleźć:

  • IP serwera
  • Agent użytkownika
  • Znacznik czasu (data i godzina)
  • Kod stanu HTTP
  • Metoda (GET / POST)
  • Żądany adres URL (URL + zapytanie URL)
  • Polecający (zewnętrzna strona z której przybywa użytkownik)

Można dodać dodatkowe atrybuty, takie jak:

  • Nazwa hosta
  • Pobrane bajty
  • Zajęty czas
  • Żądanie / adres IP klienta

Wskaźniki które należy przeglądać w plikach dziennika w celu poprawy SEO.

Objętość indeksowania botów

Objętość indeksowania botów odnosi się do liczby żądań wysłanych przez roboty indeksujące wyszukiwarek. Objętość indeksowania botów może pokazać, czy strona została zindeksowana przez konkretną wyszukiwarkę.

Marnotrawstwo budżetu indeksowania

Budżet indeksowania odnosi się do liczby stron, które wyszukiwarka będzie indeksować w Twojej witrynie w określonym przedziale czasu, zwykle w ciągu dnia. Budżet ten jest powiązany z autorytetem domeny i proporcjonalny do przepływu kapitału linków przez stronę internetową.

Ten budżet indeksowania jest często marnowany na nieistotne strony. Załóżmy, że nasz budżet to 1000 stron dziennie. Chcesz, aby te 1000 stron, które zostały zindeksowane, pojawiły się w SERP-ach. Boty mogą jednak indeksować stare strony, duplikaty stron, strony przekierowane lub inne strony, które nie są ważne dla Twojej strategii SEO. Jeśli masz świeżą treść, którą chcesz zindeksować, ale nie masz już budżetu, Google nie zindeksuje tej nowej treści. Dzięki analizie logów możesz obserwować, gdzie wydajesz budżet na indeksowanie.

Tymczasowe przekierowania 302

Tego rodzaju przekierowania nie są zoptymalizowane pod kątem SEO, ponieważ wykorzystują duży budżet na indeksowanie.

Wyszukiwarki często wracają, aby sprawdzić, czy tymczasowe przekierowanie jest nadal dostępne ze starego adresu URL na nowy.

Preferuj stałe przekierowania 301. Analiza danych dziennika może pomóc w wykryciu tych przekierowań.

Błędy kodu odpowiedzi serwera

Analiza danych dziennika może również pomóc w wykryciu błędnych statusów, takich jak 4xx i 5xx, które mogą mieć zły wpływ na SEO. Zrozumienie różnych kodów stanu HTTP może pomóc Ci uzyskać wyższą pozycję.

Priorytet indeksowania

Dzięki analizie logów dowiesz się także czy poprawić priorytet indeksowania urli w mapie witryny XML lub też poprawić wewnętrzną  strukturę linków. Zapobiec ignorowaniu przez Google niektórych stron lub sekcji Twojej witryny.

Wykonując analizę logów serwera możesz zauważyć adresy stron, które nie są często indeksowane przez boty. Na przykład, jeśli chcesz, aby określony post na blogu był zauważony i pojawiał się na zapytanie w wynikach  wyszukiwania w wyszukiwarce Google, ale znajduje się on w katalogu, który Google odwiedza tylko raz na 6 miesięcy, stracisz możliwość zdobycia bezpłatnego ruchu związanego z wyszukiwaniem z tego konkretnego postu do 6 miesięcy, zanim Google przyjdzie, by go ponownie zindeksować.

Twoja strona nie ma jeszcze mapy XML ? Teraz już wiesz dlaczego powinna ją mieć.

Indeksowanie zduplikowanych adresów URL

Parametry adresów URL, takie jak filtry lub śledzenie, mogą powodować marnowanie budżetu na indeksowanie, ponieważ w tym przypadku wyszukiwarki indeksują różne adresy URL o tej samej treści.

GSC – Parametry w URL-ach

W narzędziach dla webmasterów w “Parametry w URL-ach” – https://www.google.com/webmasters/tools/crawl-url-parameters , Google umożliwia właścicielom witryn określenie maksymalnie 15 parametrów, które powinien zignorować podczas indeksowania witryny.

Google wymienia parametry, które znalazł w adresach URL w Twojej witrynie i pyta się czy Twoim zdaniem są one ważne czy nie. Sugeruje odpowiednie działania które możesz potwierdzić lub odrzucić, zmieniając na inne. Możesz także dodawać parametry, których nie ma na liście.

Data ostatniego indeksowania

Analiza pliku dziennika może wskazać, kiedy Google ostatnio odwiedził określoną stronę, którą chcesz szybko zindeksować.

Czas między pierwszym zindeksowaniem a pierwszym ruchem organicznym

Jeśli regularnie monitorujesz swoje dzienniki, możesz także śledzić, ile czasu zajmuje między opublikowaniem treści, czasem jej indeksowania, a czasem uzyskania pierwszych bezpłatnych wyników. Umożliwi to skonfigurowanie kalendarza treści dla kampanii sezonowych lub wydarzeń z określoną datą. Program „Screaming Frog SEO Log File Analyser” zrobi to chyba najlepiej i najczytelniej.

Budżet indeksowania

Jak powiedzieliśmy wcześniej, budżet indeksowania jest dość powiązany z autorytetem domeny i proporcjonalny do przepływu kapitału linków przez stronę internetową. Ponieważ Google nie chce marnować czasu na indeksowanie stron w niskiej jakości witrynie, będziesz musiał monitorować aktywność Googlebota w czasie rzeczywistym, aby sprawdzić, czy boty spędzają wystarczająco dużo czasu na twoich stronach.

Zmiany w aktywności bota na twojej stronie internetowej są wczesnym znakiem ostrzegawczymi zmian algorytmu lub zmian stron, które wpływają na SEO Twojej strony. Dzięki analizie dziennika możesz wykryć zmiany, zanim staną się problemami.

Pomocne:
Raport od Google, Stan w indeksie – https://support.google.com/webmasters/answer/7440203?hl=pl

Programy pomocne w analizie logów serwera:

Jest wiele programów które pomogą w analizie logów serwera.

Wymienię te popularne i naszym zdaniem najlepsze:

  • Screaming Frog Log Analyzer – https://www.screamingfrog.co.uk/log-file-analyser/
  • GamutLogViewer – http://www.gamutsoftware.com/index.php/download
  • Splunk – http://www.splunk.com/download
  • program Excel – wymaga wtyczek i dobrej znajomości obsługi Excel-a. Dzieki Excel-owi uzyskamy najlepsze wyniki analiz.

Polecamy program Screaming Frog Log Analyzer. Uznaliśmy ze jest on najbardziej optymalny, do pracy przy analizie logów serwera, dla osób mniej obeznanych z EXCEL-em i średnio zaawansowanych w SEO.

Nie będziemy opisywać tego programu, obejrzyj film

Aktualnie pracujemy nad bardzo rozbudowanym opisem pomocnym a analizie logów serwera, zawierającym komendy, przykłady i opisy oparte na przykładach podjętych działań, wynikłych z analizy logów serwera, dla stron naszych klientów.