Screaming Frog SEO Spider ➡ Erfahrungen, Testbericht und Bewertungen

Vermeide Fehler beim Relaunch und visualisiere Deine Webseitenstruktur mit dem Screaming Frog

Wer Suchmaschinenoptimierung (SEO) betreibt, dürfte schon mal von dem schreienden Frosch (Screaming Frog SEO Spider) gehört bzw. gelesen haben. Grundsätzlich gilt: Tools im Bereich der Suchmaschinenoptimierung gibt es wie Sand am Meer. Schnell verlieren insbesondere SEO-Neulinge den Überblick. Das ist nichts Ungewöhnliches und auch nicht schlimm. Wir haben alle mal bei Null angefangen. Den schreienden Frosch sollte man sich meines Erachtens aber auf jeden Fall widmen, und ihn ausgiebig testen. Ich bin sicher, die Fülle an Features überzeugt und macht ihn zu einem festen Bestandteil in der täglichen Arbeit. Gerade für jene, die von der zentralen Bedeutung des Onpage-SEO überzeugt sind.

Was ist der Screaming Frog?

Der Screaming Frog SEO Spider ist ein lokal auf dem Rechner installiertes Tool, mit dem sich in Echtzeit einzelne URLs oder ganze Webseiten crawlen lassen. Der Screaming Frog durchläuft, wie der Google Bot die eingetragene Seite. Es ist hierbei egal, ob es sich um die eigene Internetseite handelt oder eine x-beliebige Seite im Web. Mit dem Screaming Frog könnten somit auch interessante Informationen über die Seiten der Mitbewerber ermitteln werden.

Abbildung 1: Der Screaming Frog nach dem Start

Der Bot des Screaming Frog folgt allen internen Links, ruft jede URL auf und sammelt zahlreiche Informationen. So listet das Tool nach dem Crawl zum Beispiel Informationen über die Meta Angaben, die Statuscodes, die internen Links, die Dateigrößen, Canonical-Links, hreflang und noch vieles mehr auf.

Den Screaming Frog gibt es in zwei Versionen. In der kostenlosen Version bietet er sich gut für kleine Webseiten an. Bis zu 500 URLs sind in der kostenlosen und abgespeckten Version crawlbar.

In dieser eingeschränkten Version ist es zum Beispiel nicht möglich, den Crawler zu konfigurieren, die Crawl-Ergebnisse abzuspeichern, Seiten zu rendern, Informationen zu strukturierten Daten zu erhalten oder Google Analytics und die Search Console zu verbinden.

Wer größere Seiten und somit mehr crawlen und Informationen erhalten möchte, benötigt eine Lizenz. Diese kostet 149 £ pro Jahr und Nutzer. Die kostenpflichtige Version lohnt sich in der Regel – vor allem im Vergleich zu den Lizenzkosten anderer Tools.

Was der Screaming Frog nicht kann

Seit Jahren klingen „Content ist King“ und „WDF*IDF“ durch die SEO- und Online-Marketing-Szene. Beides sind Schlagworte, mit denen der schreiende Frosch wenig anfangen kann. Der Screaming Frog analysiert nicht den Inhalt, also den Content, einer Seite. Er kann somit keine Bewertung des Inhaltes auf Sinn, vorgesehenes Keyword-Set und der verfolgten Ziele vornehmen.

Der Screaming Frog bietet auch keine Lösungen zur Optimierung der Seite. Er sammelt lediglich zahlreiche Informationen. Um eine Seite für die Suchmaschinen zu optimieren, gilt es die richten Schlüsse und somit To-dos auf Basis der erhaltenen Informationen zu ziehen.

Wer den Screaming Frog SEO Spider zum ersten Mal benutzt, wird von dem nüchternen Erscheinungsbild überrascht sein. Wer bunte Grafiken erwartet, dürfte enttäuscht sein. Seit dem Update auf die Version 10.0 gibt es den Menü-Punkt „Visualisations“. In diesem Bereich werden die gesammelten Informationen mit interaktiven Diagrammen dargestellt. Eine der wenigen Stellen, an denen Farbe in die Auswertung kommt. Eine Randbemerkung an dieser Stelle: Mittlerweile gibt es die Version 11.3 (Stand August 2019).

Was solltest Du vor dem Crawlen beachten?

Je größer eine Seite ist, desto wichtiger ist es, das Crawling zu steuern. Wie bereits erwähnt, analysiert er die angegebene Seite in Echtzeit und beschäftigt somit deren Server. Ein Crawl bindet zudem Kapazitäten des Rechners. Überlege also vor dem Crawl genau, was gecrawlt werden soll. Zur „Entlastung“ des Servers kann einerseits die Crawl-Geschwindigkeit („Configuration“ > „Speed“) eingestellt werden. Weithin können auch nur bestimmte Seiten sowie Ordner ein- oder ausgeschlossen („Configuration“ > „Include“/“Exclude“) werden.

Abbildung 2: Durch entsprechende Einstellungen lässt sich der Server „entlasten“

Wie der Crawler im Detail konfiguriert werden kann, soll allerdings nicht Teil dieses Artikels werden. Eine ausführliche Beschreibung liefert der Screaming Frog selbst („Help“ > „User Guide“).

Zudem gibt es geschätzte Kollegen in der Szene, wie zum Beispiel Markus Hövener, die viele Tipps und Tricks zum Screaming Frog veröffentlichen (https://blog.bloofusion.de/screaming-frog-hacks/).

Was mit dem Screaming Frog möglich ist

• Seitentitel und Metabeschreibungen analysieren diejenigen erkennen, die zu lang, zu kurz und doppelt sind oder sogar gänzlich fehlen.
• Informationen über Indexierungsstatus, Dateigrößen, Antwortzeit des Servers, Textumfang, Verhältnis Text zu Code, interne und externe Links, Ankertexte der internen Links, Canonical Links,… erhalten.
• Exakt doppelte URLs (md5-Algorithmusprüfung) oder doppelte Elemente wie Seitentitel, Beschreibungen und Überschriften erkennen.
• Defekte Links (Statuscode 404) und Serverfehler finden.
• Nach temporären und permanenten Weiterleitungen suchen und Weiterleitungsketten und -schleifen identifizieren.
• URLs anzeigen lassen, die von robots.txt-, Meta-Robots- oder X-Robots-Tag-Direktiven wie ‘noindex’ oder ‘nofollow’ blockiert werden.
• SERP-Snippets analysieren und optimieren.
• Verbindung zur Google Analytics-API herstellen und weitere Daten zu den analysierten Seiten abrufen.
• Webseiten mithilfe des integrierten Chromium WRS rendern. Aber Vorsicht: Wenn JavaScripts gecrawlt werden, wird der Crawl langsamer. Dieses Feature sollte immer nur gezielt eingesetzt werden.
• Site-Architektur mithilfe interaktiver Diagramme visualisieren und die interne Verlinkung und URL-Struktur bewerten.
• Verschiedenste Informationen in csv-, xls- oder xlsx-Dateien exportieren und in Excel weiterverarbeiten.
• Komplettes Ergebnis einer Analyse abspeichern und es später wieder aufrufen. Der Crawl einer Seite muss somit nicht immer neu für eine Seitenanalyse ausgeführt werden.

Ist das schon alles?

Die Aufzählung skizziert nur einen Teil der konkreten Einsatzmöglichkeiten des Screaming Frog SEO Spider. Durch seine stetige Weiterentwicklung können immer mehr individuelle SEO-Fragestellungen beantwortet werden.

Damit Suchmaschinen eine Webseite besser „verstehen“ sind strukturierte Daten ein wichtiger Bestandteil beim Onpage-SEO. Der Screaming Frog bietet die Möglichkeit, die per JSON-LD, Microdata oder schema.org ausgezeichneten Daten zu überprüfen.

Hilfreich ist das Tool zum Beispiel auch bei einem Relaunch der Website. Gerade bei größeren Webseiten kann es vorkommen, dass bei der Einrichtung von Weiterleitungen URLs vergessen werden. Nach dem Relaunch würden Links zu deren Seiten im Nichts landen und 404-Seiten zur Folge haben. Dies kann unter Umständen wiederum den Verlust von wichtigen Rankings und der Sichtbarkeit bedeuten.

Wie der Screaming Frog bei einem Relaunch eingesetzt werden kann, wird im weiteren Verlauf beleuchtet.

Mit dem Screaming Frog (in Verbindung mit anderen Tools und Browser-Erweiterungen) sind auch spannende Hacks möglich. So konnte zum Beispiel Alexander Holl von 121WATT herausfinden, in welchen italienischen Restaurants in München er an Silvester 2018 den Jahreswechsel feiern konnte.

Youtube-Video von Alexander Holl (https://www.youtube.com/watch?v=fFdoubZhCSc)

Alternativlos?

Für viele ist der Screaming Frog zu einem beliebten und sehr häufig genutzten Tool in der täglichen Arbeit geworden. Mit Sicherheit auch auf Grund seiner Fülle an Features und Einsatzmöglichkeiten. Alternativlos ist er deswegen aber nicht. Mit RYTE, Sitebulb und Deepcrawl gibt es vergleichbare Tools. Jedes hat für sich Vorteile und wiederum Nachteile gegenüber den anderen Tools. Auch SEO-Tools wie Sistrix, Searchmetrics, Xovi und Co. bieten Onpage-Analysen an.

Redirect-Audit beim Website-Relaunch mit dem Screaming Frog

Ein Website-Relaunch muss nicht nur optische Veränderungen mit sich bringen. Grund für einen Relaunch könnten auch die Überarbeitung und Neukonzeption von Inhalten, die Vereinfachung der Navigationsstruktur oder auch die Optimierung der Geschwindigkeit des eingesetzten Content-Management-Systems (CMS) sein. Oftmals kommen viele Gründe zusammen. Aus SEO-Sicht ist ein Relaunch daher eine spannende Angelegenheit. Aber Vorsicht! Auf dem Weg eines Website-Relaunch verbergen sich einige Fallstricke. Diese können weitreichende negative Folgen haben.

Gefahrenpotenzial besteht bei fehlenden oder fehlerhaften Weiterleitungen von den alten auf die neuen Inhaltseiten. Dies hat zum einen zur Folge, dass Rankings verloren gehen und schlussendlich die Besucher auf der Website fernbleiben. Zum anderen geht der Linkjuice externer Links auf die alten URLs und somit für die ganze Website verloren.

Doch die Weiterleitungen sind nicht nur für Suchmaschinen wichtig. Auch für Nutzer sind sie wichtig, die alte URLs der Website aufrufen, beispielsweise über Links im Web oder Lesezeichen in ihrem Browser. Sie erwarten eine funktionierende Seite und landen ungern auf einer 404-Fehlerseite. Beides Szenarien, welche verhindert werden können.

Was also tun? Ein Redirect-Audit mit dem Screaming Frog! Dieses wird helfen, das Gefahrenpotenzial von Sichtbarkeits- und Rankingverlusten zu minimieren. Es hilft auch, die eigene Website von lästigen und langsamen internen Redirects zu befreien.

1. Bestandsaufnahme

Im ersten Schritt ist eine Bestandsaufnahme aller existierenden URLs der Website erforderlich. Mit dem Screaming Frog ist dies bequem und mit wenigen Schritten möglich. Damit er alle URLs findet, muss er richtig konfiguriert werden. Dies erfolgt über das Menü „Configuration“ > „Spider“.

Neben der Standard-Konfiguration sollte beim Crawl auch allen internen nofollow-Links gefolgt werden. Sofern vorhanden, sollten auch die Subdomains oder die AMP-Seiten gecrawlt werden. Wenn der Crawl in einem Verzeichnis startet wäre „Crawl Outside of Start Folder“ auszuwählen, so dass auch die Root-Seite beim Crawl berücksichtigt wird. Weiterhin ist zu empfehlen, dass Rel Next- und Rel Prev-URLs ebenfalls gecrawlt werden. Schlussendlich sollten hreflang-URLs mit einbezogen werden. Zu guter Letzt könnten die Links in der XML-Sitemaps berücksichtigt werden. Diese Einstellung ist jedoch nicht zwingend notwendig.

Abbildung 3: Wenn der Crawler aller URLs finden soll, sind ein paar Häkchen zusätzlich zu setzen

Je nach Größe der Website benötigt das Tool nun Zeit, um alle URLs zu crawlen. In der nun vom Screaming Frog erstellten Liste werden alle URLs aufgelistet, auch jene von z.B. PDF-Dateien und Bildern. PDFs und Bilder können bei Bedarf auch weitergeleitet werden. Wir konzentrieren uns an dieser Stelle auf die HTML-Seiten. Über den Filter (oben links) lassen sich nur diese anzeigen. Diese Liste kann wiederum als Excel-Datei oder auch als CSV-Datei exportiert werden. 

Abbildung 4: Dropdown-Liste mit den Filtermöglichkeiten und dem „Export“-Button rechts daneben.

2. URL-Mapping

In Excel oder jedem anderen Tabellenverarbeitungsprogramm lässt sich dann das sogenannte URL-Mapping erstellen. Zu empfehlen ist hierbei eine Spalte für alle alten URLs. In der zweiten Spalte werden jene URLs vermerkt, auf die sie umgeleitet werden sollen.

Erstes Ziel sollte beim URL-Mapping sein, dass jede alte URL auf ein gleichwertiges Pendant weiterleitet. Zweites Ziel sollte sein, dass so wenig wie möglich auf die Startseite weitergeleitet wird. Warum? Weil die Startseite inhaltlich die alten URLs nicht wiederspiegeln und diese daher auf kurz oder lang aus dem Index fallen.

3. Weiterleitungen einrichten

Ist das URL-Mapping fertiggestellt, ist es an der Zeit, die Weiterleitungen vorzubereiten. Hierfür sollte die .htaccess-Datei auf dem Webserver bearbeitet werden. Zu empfehlen ist hier die sogenannte 301-Weiterleitung, da es sich um dauerhafte Weiterleitungen handelt. Bei vorübergehenden Weiterleitungen kommt eher ein 302-Redirect in Frage. Alte bzw. gelöschte Seiten, für die es nach dem Relaunch kein gleichwertiges Pendant gibt, sollten den HTTP-Statuscode 404 (not found) oder besser 410 (gone) zurückgeben. Google wirft diese URLs dann aus dem Index. Aber auch hier ist Vorsicht geboten. Bei URLs, welche viele externe Links besitzen, sollte es nicht angewendet werden, da der Linkjuice dann verloren gehen würde.

4. Kontrolle der Weiterleitung mit dem Screaming Frog

Wenn die neue Seite online ist, ist der Zeitpunkt gekommen, die eingerichteten Weiterleitungen zu prüfen. Hier kommt der Screaming Frog erneut zum Einsatz. Im ersten Schritt benötigen wir hierzu die vormals exportierte Liste der alten URLs. Zudem konfigurieren wir uns den Crawler erneut. Dies erfolgt wieder über das Menü „Configuration“ > „Spider“ und der Registerkarte „Advanced“. Der Crawler wird angewiesen, Redirects zu folgen.

Abbildung 5: Redirects nicht nur erkennen, sondern ihnen bis zum Ende folgen

Als nächster Schritt wird in den Listenmodus gewechselt („Mode“ > „List“). Nun kann über den Button „Download“ manuell die Liste der alten URLs eingefügt und der Crawler gestartet werden. In diesem Modus werden lediglich die hochgeladenen URLs analysiert und keinen Links gefolgt, sprich mit der Crawltiefe null. Durch die entsprechende Anweisung „Always Follow Redirects“ bei der Konfiguration gibt der Screaming Frog nicht nur die Information, welchen Statuscode die jeweilige URL hat, sondern folgt den Weiterleitungen auch bis zum Ende. So werden zum Beispiel Weiterleitungsketten ermittelt.

Abbildung 6: Unkompliziert kann eine Liste von URLs zum Crawlen geladen werden

Sobald der Screaming Frog den Crawl abgeschlossen hat, kann überprüft werden, ob alle Weiterleitungen soweit korrekt erfolgt sind. Hierzu wechseln wir in den Reiter „Response Code“ und filtern „Client Error (4xx)“. Sollte die Liste leer sein oder zumindest nur jene URLs auflisten, welchen wir den Statuscode 404 oder 410 gegeben haben, wurden keine gravierenden Fehler bei der Einrichtung der 301-Weiterleitungen gemacht.

Abbildung 7: Schnell überprüfen, ob Redirects am Ende auf einer Fehlerseite landen

5. Weiterleitungsketten erkennen

Was bis zu diesem Punkt noch nicht bekannt ist: Gibt es Weiterleitungsketten oder andere Probleme mit den Weiterleitungen. Hierzu wird der Report „Redirects & Canonical Chains“ aufgerufen und exportiert.

In der Excel-Liste können nun alle Weiterleitungen nochmal nachvollzogen werden. Das Augenmerk sollte auf jene Zeile gerichtet sein, welche in der Spalte „Chain Type“ den Hinweis „mixed“ und oder in der Spalte „Redirect Loop“ ein „true“ stehen haben. In der Spalte „Number of Redirects“ wird angegeben, um wie viele Weiterleitungen es sich in der Kette handelt. Die detaillierten Informationen zu den Weiterleitungen findet sich in den nachfolgenden Tabellenspalten.

Abbildung 8: Report „Redirects & Canonical Chains“

Interne Links auf Redirects und Weiterleitungsketten auflösen

Auch ohne Relaunch kann überprüft werden, ob es interne Links gibt, die auf ein Redirect verweisen oder sogar über eine Kette von Weiterleitungen an die eigentliche Zielseite führen. Jede erneute Weiterleitung belastet den Server und verlängert letztendlich die Ladezeit der Seite. Bei Weiterleitungsketten entstehen auch Fehler, wie zum Beispiel Endlosschleifen oder das Weiterleitungsziel ist eine 404-Seite.

Um interne Links auf Redirects (interne Redirects) oder Weiterleitungsketten zu beheben wird der Crawl-Modus „Spider“ gestartet und der Crawler erneut angewiesen, Redirects zu folgen („Configuration“ > „Spider“, Reiter „Advanced“). Das anschließende Ergebnis im Reiter „Response Code“ anzeigen lassen und anschließen nach den Weiterleitungen (Redirection 3XX) filtern.

Nun kann jede einzelne URL im Detail analysiert und darauf überprüft werden, welche internen Links auf diese URL bestehen. Die Links können anschließend so angepasst werden, dass sie nicht auf den Redirect verlinken, sondern direkt zur eigentlichen Zielseite. Welche internen Links zur URL bestehen, listet der Screaming Frog im Reiter „Inlinks“ in der Fußzeile auf.

Abbildung 9: Interne Links zur ausgewählten URLs anzeigen lassen

Das Crawl-Ergebnis der internen Redirects lässt sich auch wieder als Excel-Liste exportieren („Bulk-Report“ > „Response Codes“ > „Redirection 3xx Inlinks“).

Um ein Redirect-Audit zu vervollständigen werden zudem noch die internen Weiterleitungsketten überprüft. Hierbei hilft erneut der Report „Redirect & Canonical Chains“.

Visualisierung der Webseitenstruktur und Fehler/Auffälligkeiten erkennen

Mit dem Update auf die Version 10.0 hat der Screaming Frog den neuen Menüpunkt „Visualisations“ erhalten. Hier verbergen sich vier interaktive Visualisierungen, welche die Seitenarchitektur darstellen. Sie sollen das Verständnis der Seite und der internen Linkstruktur und „Auffälligkeiten“ optisch verdeutlichen. Ergänzt wird der Menüpunkt um die Visualisierungen „Inlink Anchor Text Word Cloud“ und „Body Text Word Cloud“.

1. Unterschiede der interaktiven Visualisierungen:

Zwei Arten der interaktiven Visualisierungen stehen bereit: Crawl-Visualisierung und Verzeichnisbaum-Visualisierung. Beide können in zwei verschiedenen Formaten dargestellt werden, dem Baumdiagramm oder dem kraftgerichteten Diagramm.

• Crawl-Visualisierungen: „Crawl Tree Graph“ und „Force-Directed Crawl Diagram“
• Verzeichnisbaum-Visualisierungen: „Directory Tree Graph“ und „Force-Directed Directory Tree Diagram“

Alle Visualisierungen besitzen die gleichen Funktionen. Der Mouse-over eines Knotenpunktes zeigt eine Vielzahl an Informationen für die jeweilige URL an. Mit einem linken Mausklick werden alle nachfolgenden Verbindungen aus- oder auch wieder eingeblendet. Mit einem Rechtsklick bestehen weitere Funktionen. „Focus here“ ist bei größeren Seiten hilfreich, um den Überblick zu behalten oder sich auf einzelne Bereiche zu konzentrieren.

Jede der vier Visualisierungen lässt sich individuell in der Darstellung konfigurieren. Ein Klick auf das Zahnrad in der rechten oberen Ecke hält diese Einstellmöglichkeiten bereit. Der „i“-Button liefert die Informationen zu den einzelnen Farben der Knotenpunkte.

Auffällig sind in den Visualisierungen ggfs. die roten Knotenpunkte. Sie heben URLs hervor, welche nicht indexierbar sind oder einen Redirect besitzen. Nicht selten gibt es Gründe für nicht indexierbare Seiten. Die Darstellung ist jedoch hilfreich, um schnell Bereiche von Interesse zu identifizieren, die weiter untersucht werden müssen.

Abbildung 10: Force-Directed Directory Tree Diagram von omt.de

2. Die verschiedenen Arten der Visualisierungen im Überblick

Crawl-Visualisierungen:
Die Visualisierungen „Crawl Tree Graph“ und „Force-Directed Crawl Diagram“ gewähren einen Überblick darüber, wie der Screaming Frog die Website auf kürzestem Weg durchforstet hat. Angezeigt wird ein einzelner Pfad zu einer Seite von der Start-URL aus. Es wird nicht jeder interne Link angezeigt. Insbesondere bei größeren Webseiten wären die Visualisierungen dadurch unübersichtlich. Die Crawl-Visualisierungen sind bei der Analyse der Seitenarchitektur und der internen Verknüpfungen nützlich.

Verzeichnisbaum-Visualisierungen
Die Visualisierungen „Directory Tree Graph“ und „Force-Directed Directory Tree Diagram“ spiegeln die URL-Architektur einer Website. Die Knoten sind hierarchisch nach URL-Komponente und -Pfad organisiert. Sie geben nicht immer auflösende URLs wieder und die Linien zwischen den URLs repräsentieren den Verzeichnispfad. Dies macht die Visualisierung des Verzeichnisbaums bei der Analyse der URL-Struktur und der allgemeinen Informationsarchitektur einer Website nützlich.

Am Ende entscheidet der persönliche Geschmack, welcher Formattyp bei der weiteren Analyse der Crawl-Ergebnisse verwendet wird. Die Visualisierungen liefern jedoch nicht mehr Daten, als bereits in einem Crawl verfügbar sind.

Hilfereich dürften sie insbesondere für Web-Agenturen im Meeting mit dem Kunden sein. Visualisierungen haben eine Stärke: Sie helfen Perspektiven zu erzeugen, Ideen zu kommunizieren oder Muster aufzudecken, die in Tabellen nur schwer offenzulegen sind.

3. Ankertexte und Bodytext als Wortwolke

Alle Visualisierungen lassen sich entweder über das Menü aufrufen oder mit einem Rechtsklick auf eine URL in der Ergebnisliste der durchgeführten Analyse.

Vielmehr als nettes Gimmik dürften die beiden Visualisierungen „Inlink Anchor Text Word Cloud“ und „Body Text Word Cloud“ gesehen werden. Die Wortwolke für den Inlink-Ankertext enthält den gesamten internen Ankertext zu einer bestimmten URL und den Alternativtext eines Bildes mit Hyperlinks zu einer Seite. Die „Textkörper-Wortwolke“ enthält den gesamten Text im HTML-Textkörper einer Seite. Um diese Visualisierung anzuzeigen, muss die „Store HTML“ über die Spider-Konfiguration aktiviert sein.

Mein Fazit:

Der Screaming Frog SEO Spider hält definitiv eine Fülle an Features bereit. So ist einerseits eine schnelle und „oberflächliche“ Analyse einer Webseite möglich. Andererseits kann das Tool sehr gut genutzt werden, um viele individuelle SEO-Fragestellungen zu beantworten. So oder so: Der Screaming Frog ist ein sehr hilfreiches Tool, welches stetig weiterentwickelt wird und immer wieder mit beeindruckenden Neuerungen aufwartet. Mit ihm lässt sich bei der Onpage-Optimierung erfahrungsgemäß sehr viel Zeit sparen. Mein Tipp: Schaut euch den schreienden Frosch auf jeden Fall einmal an und probiert einige Funktionen aus. Ihr werdet begeistert sein.