Sitemap erstellen mit Screaming Frog

Was ist eine XML Sitemap?

Eine XML Sitemap ist eine Textdatei mit Zeichenkodierung UTF-8, die eine Liste von URLs einer Website oder eines Online Shops enthält. Diese hilft Suchmaschinen dabei, wichtige Inhalte zu finden, um bessere Suchresultate zu ermöglichen. Eine XML Sitemap kann HTML Seiten, Bilder oder auch hreflang-Anmerkungen auflisten. Für jeden Dateityp sollte eine separate XML Sitemap bereitgestellt werden.

Aus SEO-Sicht sollte die XML Sitemap nur Ressourcen enthalten, die von Suchmaschinen-Bots gecrawlt werden dürfen, also nicht in der robots.txt ausgeschlossen sind. HTML Ressourcen müssen einen HTTP Statuscode 2xx liefern und indexierbar sein (Robots Meta Tag „index“). Die Ressourcen dürfen nicht durch ein Canonical Tag entwertet werden.

Was ist der Screaming Frog SEO Spider?

Der Screaming Frog SEO Spider ist ein für PC oder Mac verfügbares Desktop-Programm, das Webseiten-Links, Bilder, CSS, Skripte und Apps aus SEO-Sicht durchsucht und technische Fehlkonfigurationen enttarnt, sowie offene Optimierungspotenziale herausstellt. Die Software zählt zu den populärsten und beliebtesten SEO-Tools weltweit.

XML Sitemap vorbereiten

Im ersten Schritt müssen alle relevanten Daten für die Erstellung der XML Sitemap gesammelt werden. Öffne den Screaming Frog und wechsle in die Crawl-Einstellungen („Configuration > Spider“). Nun konfigurierst Du den Spider für die Daten, die gesammelt werden sollen, zum Beispiel:

Alternativ kannst Du unter Include/Exclude eigene Filter erzeugen. Wenn Dein Shop zum Beispiel auf mehrsprachigen Verzeichnissen aufbaut, kannst Du unter „Configuration > Include“ Filter erstellen, um sprachspezifische XML Sitemaps zu erzeugen. Möchtest Du zum Beispiel nur Inhalte im Verzeichnis „/de/“ crawlen, kannst Du folgende Einstellung vornehmen:

Das Selbe funktioniert natürlich inversiv mit dem Exclude-Filter, um ungewünschte Inhalte auszuschließen. Je genauer Du Deine Website kennst, desto genauer kannst Du mit Include/Exclude-Filtern arbeiten, um optimale eine optimale XML Sitemap zu erstellen.

Domain angeben und Crawl starten

Nun hast Du den Spider konfiguriert und musst nur noch deine Domain angeben und kannst den Crawl starten.

XML Sitemap generieren

Sobald der Crawl abgeschlossen ist, kannst du die XML Sitemap generieren. Wenn Du eine Liste aller internen HTML Seiten erstellen möchtest, gehst Du wie folgt vor:

1. Wähle in der rechten Navigation: „Overview > SEO Elements > Internal > HTML“
2. In der Hauptnavigation wählst Du nun „Sitemaps > Create XML Sitemap“

Schaue Dir die Ergebnisse an. Solltest Du ungewünschte URLs finden (zum Beispiel mit Sortierungsparameter), empfehle ich Dir diese im Exclude-Filter zu ergänzen und den Crawl zu wiederholen. URLs mit einem HTTP Statuscode > 2xx kannst Du allerdings ignorieren. Diese URLs werden wir bei der Sitemap-Generierung einfach ignorieren.

Nun nimmst Du folgende Einstellungen vor:

Pages Settings

Last modified

Priority

Change Frequency

Images

Diese Funktion empfehle ich zu deaktivieren und statt dessen eine separate XML Bilder-Sitemap zu erstellen. Der Vorteil: In der Google Search Console kannst Du alle XML Sitemaps einreichen, was die Fehlerbehebung vereinfacht.

Im nächsten Schritt wird die XML Sitemap erzeugt, die Du lokal speicherst.

XML Sitemap validieren

Nun hast Du eine XML Sitemap erzeugt und möchtest wissen, ob diese Fehlerfrei ist. Zum einen kannst Du die Datei mit einem Texteditor öffnen und die URL-Liste bewerten. Ich empfehle zusätzlich, diese mit dem Screaming Frog zu validieren – das geht so:

1. Wähle im Hauptmenü „Mode > List“
2. Klick auf das Feld „Upload“ und wähle „From a File“
3. Wähle nun die gespeicherte XML Sitemap aus
4. Screaming Frog teilt Dir mit, wie viele URLs gefunden wurden – stimmt das etwa?
5. Wähle nun „Ok“ und starte den Crawl

Sobald der Crawl abgeschlossen ist, empfehle ich die verarbeiteten URLs zu bewerten: Sollen diese URLs in den Suchmaschinen-Index? Achte auch auf den HTTP Status Code jeder URL, dieser sollte „200“ sein. Wenn nicht, musst Du Korrekturen vornehmen. Wenn das stimmt, schaue auch in der Spalte „Canonical Link Element“, ob das Canonical Tag auf eine andere URL verweist. Trifft das zu, sollte die entsprechende URL ebenfalls aus der XML Sitemap entfernt werden. Anschließend kannst Du die XML Sitemap auf den Webserver uploaden und sie im Search Console-Konto verknüpfen.

Sonderfall: Bilder Sitemap

Wenn Deine Website bzw. Dein Online Shop viele Bilder enthält, kann es für Suchmaschinen hilfreich sein, wenn Du diese in einer Sitemap zusammenfasst. Die Generierung einer Bilder Sitemap ist genauso einfach, wie die einer herkömmlichen XML Sitemap. Ich fasse die Schritte kurz zusammen:

1. Übernehme die Spider Configuration, wie oben dargestellt
2. Crawle die Domain
3. Wähle in der rechten Navigation: „Overview > SEO Elements > Internal > Images“
4. In der Hauptnavigation wählst Du nun „Sitemaps > Create Images Sitemap“

Nun nimmst Du folgende Einstellungen vor:

Pages Settings

Last modified

Priority

Change Frequency

Images

Genial ist die Option, Bilder-URLs aus einem CDN zu ergänzen. Solltest Du CDNs nutzen, ist es ratsam diese Funktion zu verwenden.

Die generierte Bilder Sitemap kannst Du genauso validieren, wie eine herkömmliche XML Sitemap. Das empfehle ich Dir auch, ebenfalls die HTTP Status Codes und Canonical Tags zu bewerten.

Wenn sich die Inhalte Deiner Website bzw. Deines Shops häufig ändern, ist es empfehlenswert die Sitemap-Inhalte automatisiert mittels Cronjob zu erzeugen. Dadurch bleiben Suchmaschinen auf dem aktuellen Stand und die Crawlbarkeit wird optimiert. Auch hier lohnt es sich, alle Sitemaps hin und wieder zu validieren und Fehlertests durchzuführen.