Screaming Frog SEO Spider to crawler, czyli program, który niczym robot Google’a „przechodzi” przez Twoją stronę internetową, analizując ją pod kątem technicznym i on-page SEO. Jest to absolutnie podstawowe narzędzie w arsenale każdego specjalisty SEO, które pozwala zdiagnozować błędy i znaleźć obszary do optymalizacji.
Dla kogo?
Średniozaawansowane
Gdzie to się przydaje?
Niezbędne w technicznym audycie SEO, analizie on-page, weryfikacji linkowania wewnętrznego i wykrywaniu błędów strony.
Co to oznacza dla Twojego biznesu?
Pozwala zdiagnozować „niewidoczne” dla Ciebie problemy techniczne, które blokują widoczność w Google. Ignorowanie tych błędów to jak prowadzenie sklepu z zepsutymi drzwiami – klienci mogą chcieć wejść, ale nie dadzą rady.
Spis treści
Jak działa Screaming Frog? Wcielamy się w rolę Googlebota
Wyobraź sobie małego, ale bardzo pracowitego pająka (stąd nazwa SEO Spider), którego wpuszczasz na swoją stronę. Zaczyna od strony głównej, a następnie podąża za każdym znalezionym linkiem wewnętrznym, odwiedzając kolejne podstrony, zbierając o nich najważniejsze informacje. To nie jest tak, że puszczamy na stronę stado cyfrowych żab; to wyrafinowane narzędzie, które symuluje pracę robota Google.
W darmowej wersji Screaming Frog pozwala na przeskanowanie (tzw. crawl) do 500 adresów URL, co dla małych stron i sklepów jest często wystarczające na start. Pełna, płatna wersja znosi ten limit i odblokowuje szereg zaawansowanych funkcji, takich jak integracje z API, zapisywanie projektów czy renderowanie JavaScript, bez których profesjonalna praca z większymi serwisami jest praktycznie niemożliwa.
Przeczytaj również o innych przydatnych programach w tekście „25-podstawowych narzędzi każdego SEMity i SEOwca”.
Audyt SEO strony za pomocą Screaming Frog – od czego zacząć?
Podstawową funkcją „Żaby” jest kompleksowy audyt techniczny. To pierwszy krok, który wykonuje się, aby zrozumieć kondycję witryny i zaplanować dalsze działania. Temat został omówiony głębiej również w naszym artykule „Jak przeprowadzić audyt strony internetowej?”. Zebrane dane można podzielić na kilka kluczowych obszarów.
Analiza on-page – czyli fundamenty Twojej treści
Screaming Frog zbiera wszystkie najważniejsze elementy on-page z każdej podstrony. Dzięki temu w jednym miejscu, w przejrzystych kolumnach, możesz przeanalizować:
- Tagi Title i Meta Description – sprawdzisz, czy nie są puste, za krótkie, za długie lub, co gorsza, zduplikowane na wielu podstronach. To fundamenty tego, jak Twoja strona prezentuje się w wynikach wyszukiwania. Dowiedz się więcej o ich optymalizacji w artykule „Czym są Meta Tagi? Definicja i przykłady znaczników Meta w SEO”.
- Nagłówki (H1, H2) – zobaczysz, czy każda strona ma unikalny nagłówek H1 (najważniejszy z punktu widzenia SEO) i jak wygląda struktura nagłówków H2. To sygnał dla Google na temat hierarchii i tematyki treści.
- Tagi Canonical – zidentyfikujesz strony, które wskazują na inny adres jako swój oryginał, co pomaga w walce z duplikacją treści. Przeczytaj również o tym, jak sobie z nią radzić w tekście „Duplicate content – czym jest duplikacja treści i jaki ma wpływ na SEO?”.
Analiza linków i struktury strony
Program skrupulatnie analizuje wszystkie linki, dzięki czemu możesz szybko wyłapać problemy, które szkodzą zarówno użytkownikom, jak i pozycjonowaniu:
- Linki wychodzące (Outlinks) – sprawdzisz, dokąd linkuje Twoja strona i czy nie ma tam błędnych adresów.
- Kody odpowiedzi serwera (Status Codes) – to serce technicznego SEO. Wyfiltrujesz wszystkie strony zwracające błąd 404 (nie znaleziono), co pozwala naprawić tzw. zepsute linki. Zidentyfikujesz też przekierowania (301, 302), które czasami tworzą niekończące się pętle, marnując budżet na indeksowanie.
- Anchor Text – zobaczysz, jakich tekstów użyto do linkowania wewnętrznego, co pomaga w ocenie kontekstu i spójności strony. Dowiedz się więcej o „Anchor text w HTML – czym jest i jaki ma wpływ na SEO?”.
Wątek audytu technicznego jako niezbędnego elementu na start współpracy z agencją poruszaliśmy z Pawłem Gontarkiem w pierwszym odcinku naszego podcastu. Temat został omówiony głębiej również w naszym podcaście „semCAST #01: SEO – jak zacząć?”. Screaming Frog jest jednym z pierwszych narzędzi, po które sięgamy w tym procesie.
Crawlability, czyli jak ułatwić życie robotom Google
Crawlability to zdolność robotów wyszukiwarek do efektywnego poruszania się po Twojej witrynie. Screaming Frog pozwala sprawdzić, czy im tego nie utrudniasz:
- Plik robots.txt – zobaczysz, które strony są blokowane przed indeksowaniem za pomocą tego pliku. Czasem przez przypadek blokuje się całe kategorie produktów. Screaming Frog pozwala również na testowanie reguł z pliku robots.txt przed ich wdrożeniem.
- Dyrektywy Meta Robots – znajdziesz wszystkie podstrony z tagiem „noindex”, który mówi Google, by nie uwzględniał ich w wynikach wyszukiwania.
- Głębokość crawlowania (Crawl Depth) – dowiesz się, ile kliknięć od strony głównej dzieli poszczególne podstrony. Jeśli kluczowe strony produktowe są zbyt „głęboko”, użytkownikom i Googlebotowi trudniej będzie do nich dotrzeć.
Warto wspomnieć w tym miejscu o konfiguracji crawla. Zanim klikniesz „Start”, zajrzyj do ustawień (Configuration). Możesz tam zmienić User-Agenta, aby symulować konkretnego robota (np. Googlebot Smartphone), dostosować prędkość skanowania, aby nie obciążać serwera, czy wykluczyć niepotrzebne parametry URL, co pozwala na czystszy i bardziej precyzyjny audyt.
Pamiętaj, że surowy crawl to dopiero początek. Prawdziwa moc Screaming Froga uwalnia się po połączeniu z API Google Search Console i Google Analytics. Dopiero wtedy widzisz, które błędy dotyczą stron generujących ruch, a które możesz na chwilę zostawić w spokoju.
Zaawansowane funkcje Screaming Frog – gdy podstawy to za mało
Kiedy opanujesz podstawy, Screaming Frog otworzy przed Tobą świat zaawansowanych analiz:
- Integracja z API (Google Analytics 4, Google Search Console, Ahrefs, Majestic) – to jedna z najpotężniejszych funkcji. Po połączeniu z kontami możesz dla każdego crawlowanego adresu URL pobrać dane o sesjach, zaangażowaniu użytkowników (z GA4), a także kliknięciach, wyświetleniach i pozycjach (z GSC). Dzięki temu możesz natychmiast zidentyfikować strony z błędami 404, które wciąż generują ruch, lub strony osierocone, które mają wysoki potencjał, ale brak im linkowania wewnętrznego. To klucz do priorytetyzacji zadań!
- Renderowanie JavaScript – nowoczesne strony często opierają się na JavaScripcie do wyświetlania treści. Standardowy crawl może tych treści nie widzieć. Screaming Frog potrafi wyrenderować stronę tak, jak robi to przeglądarka, dając Ci wgląd w to, co faktycznie widzi Google.
- Custom Extraction (Ekstrakcja niestandardowa) – to potężna funkcja, która pozwala „wyciągnąć” ze stron niemal dowolne dane, np. ceny produktów, opinie, daty publikacji czy dane strukturalne. Możesz w ten sposób masowo zebrać dane z tysięcy stron bez pisania linijki kodu.
- Wizualizacje struktury strony – narzędzie potrafi generować interaktywne diagramy, które pokazują architekturę Twojej witryny i przepływ linkowania wewnętrznego, co ułatwia identyfikację tzw. stron-sierot (orphan pages), czyli wartościowych podstron, do których nie prowadzi żaden wewnętrzny link, przez co są one praktycznie niewidoczne dla użytkowników i wyszukiwarek.
- Audyt mapy witryny – Screaming Frog pozwala przełączyć się w tryb Mode > List i wkleić adres URL do pliku sitemap.xml. Narzędzie przecrawluje wtedy tylko adresy z mapy, co pozwala szybko zweryfikować, czy nie zawiera ona błędów 404, przekierowań lub stron zablokowanych przed indeksowaniem.
Przykład
Jeden z managerów dużego e-commerce zlecił migrację sklepu na nową platformę. Po starcie zauważył spadek sprzedaży w jednej z kluczowych kategorii. Ręczna analiza nie wykazała błędów. Szybki crawl w Screaming Frog pokazał, że deweloperzy przez pomyłkę zostawili dyrektywę „noindex” na wszystkich stronach produktowych w tej kategorii, co skutecznie wycięło je z Google. Problem rozwiązano w kilkanaście minut, zamiast tygodni poszukiwań przyczyny.
Alternatywy dla Screaming Frog – czy jest życie poza Żabą?
Choć Screaming Frog jest branżowym standardem, nie jest jedynym narzędziem na rynku. Jego głównymi konkurentami są:
- Sitebulb – często postrzegany jako bardziej przyjazna wizualnie alternatywa. Zamiast surowych danych, oferuje gotowe podpowiedzi i wizualizacje, które ułatwiają analizę osobom mniej technicznym.
- OnCrawl / Lumar (dawniej DeepCrawl) – to potężne crawlery chmurowe przeznaczone dla ogromnych serwisów (miliony podstron), które oferują bardzo zaawansowane analizy logów serwera i segmentację danych.
Szerzej na temat różnych typów crawlerów i ich zastosowania w codziennej pracy specjalisty SEO piszemy w naszej książce – zapraszamy do lektury artykułu „SEObook. Praktyczne aspekty pozycjonowania„.
FAQ
Śledzimy zmiany w obszarze AI
i wdrażamy je, zanim staną się standardem
Loading...
