Eine Sitemap ist eine XML-Datei, die die URLs einer Website auflistet und manchmal auch das Datum ihrer letzten Änderung enthält. Suchmaschinen nutzen sie, um Seiten effizienter zu entdecken und zu crawlen. Für Nutzer wird dieselbe Datei zu einer übersichtlichen Karte aller veröffentlichten Inhalte – vorausgesetzt, man weiß, wo sie zu finden ist und wie man sie liest.
Die XML-Sitemap über die robots.txt-Datei finden
Jede Website kann den Speicherort ihrer Sitemap in einer Textdatei angeben, die im Stammverzeichnis der Domain erreichbar ist. Um sie aufzurufen, muss man lediglich /robots.txt an die Website-Adresse anhängen, zum Beispiel https://example.com/robots.txt.
Eine Zeile in dieser Datei, die mit Sitemap: beginnt, gibt die genaue URL der XML-Datei an. Mehrere solcher Zeilen können vorhanden sein, wenn die Website mehrere thematische Sitemaps oder einen Sitemap-Index verwendet.
Diese Methode funktioniert unabhängig vom verwendeten CMS. Sie ist am zuverlässigsten, weil sie auf einer ausdrücklichen Angabe des Websitebetreibers beruht und nicht auf einer URL-Konvention. Wer die Sitemap von Optimum Santé aufruft, erhält direkten Zugriff auf die vollständige Struktur der auf der Domain veröffentlichten Inhalte.
Wenn in der robots.txt keine Sitemap angegeben ist, lohnt sich ein kurzer Test mit zwei standardisierten Pfaden: /sitemap.xml und /sitemap_index.xml. Der erste ist die am weitesten verbreitete Konvention, der zweite entspricht der von WordPress-Plugins wie Yoast SEO oder Rank Math erzeugten Struktur.
Sitemap-Index und untergeordnete Sitemaps: die verschachtelte Struktur verstehen
Eine Sitemap-Datei kann bis zu 50.000 URLs enthalten. Wird diese Zahl überschritten oder unterteilt die Website ihre Inhalte nach Typ (Artikel, Produktseiten, Bilder, Videos), dient ein Sitemap-Index als übergeordnete Datei. Er listet keine Seiten-URLs auf, sondern URLs, die auf andere Sitemaps verweisen.
Einen Sitemap-Index zu öffnen, ist wie einen Überblick aufzurufen. Jede untergeordnete Sitemap fasst eine zusammengehörige Gruppe von Seiten zusammen. Bei einem Onlineshop kann eine Sitemap die Produktseiten enthalten, eine andere die Kategorien und eine dritte die Blogartikel.
Nützliche Bereiche in einem umfangreichen Index finden
Die Bezeichnung der untergeordneten Sitemaps gibt oft Hinweise auf deren Inhalt. Eine Datei namens post-sitemap.xml enthält Artikel, während page-sitemap.xml statische Seiten zusammenfasst. Die Namen unterscheiden sich je nach CMS und installierten Plugins, doch die Logik bleibt dieselbe: Jede Datei entspricht einem Inhaltstyp.
Um eine bestimmte Information zu finden, muss man nicht Tausende von URLs einer ganzen Website durchsuchen. Wer die passende untergeordnete Sitemap identifiziert und direkt öffnet, kann den Suchbereich auf einige Dutzend oder Hundert relevante Seiten eingrenzen.
XML-Tags der Sitemap lesen, um aktuelle Seiten herauszufiltern
Jeder Eintrag in einer XML-Sitemap kann mehrere Tags enthalten. Zwei davon sind für die Erkundung einer Website besonders nützlich:
<loc>enthält die vollständige URL der Seite. Das ist die wichtigste Information, über die sich der Inhalt direkt aufrufen lässt.<lastmod>gibt das vom Websitebetreiber angegebene Datum der letzten Änderung an. Damit lassen sich kürzlich veröffentlichte oder aktualisierte Inhalte erkennen.<changefreq>und<priority>sind manchmal ebenfalls in der Datei enthalten, aber Google ignoriert diese beiden Felder. Ihre Angabe hat weder Einfluss auf die Crawling-Frequenz noch auf das Ranking.
Dem Tag lastmod sollte besondere Aufmerksamkeit gelten. Seine Zuverlässigkeit hängt vollständig von der Sorgfalt des Websitebetreibers ab: Manche CMS aktualisieren es bei jeder Neuerstellung der Datei, auch wenn sich der Inhalt tatsächlich nicht geändert hat. Um zu prüfen, ob ein Datum einer tatsächlichen Änderung entspricht, ist der Vergleich der Seite mit einer Cache-Version oder einem Archivierungstool die einzige zuverlässige Methode.
In einer rohen XML-Datei navigieren
Wird eine Sitemap im Browser geöffnet, erscheint rohes XML, das mitunter schwer lesbar ist. Mit der Suchfunktion des Browsers (Strg+F oder Cmd+F) lassen sich URLs direkt nach Stichwörtern filtern. Gibt man einen Begriff wie „Ratgeber“, „Preis“ oder „2025“ in die Suchleiste ein, werden die entsprechenden Seiten angezeigt, ohne dass man die Datei Zeile für Zeile durchgehen muss.
Für eine weitergehende Verarbeitung kann man den Inhalt in eine Tabellenkalkulation oder einen Texteditor kopieren und die URLs nach Datum oder Bereich der Seitenstruktur sortieren.
Grenzen der Sitemap: Was die Datei nicht garantiert
Eine Sitemap listet die URLs auf, die der Websitebetreiber für Suchmaschinen sichtbar machen möchte. Ihre Existenz garantiert weder das Crawling noch die Indexierung der darin enthaltenen Seiten. Google kann entscheiden, bestimmte aufgeführte URLs nicht zu crawlen oder andere Seiten zu indexieren, die auf anderem Weg entdeckt wurden.
Die Datei bildet auch nicht zwangsläufig die gesamte Website ab. Durch eine Anmeldung geschützte Seiten, in der robots.txt gesperrte URLs oder dynamisch generierte Inhalte können darin fehlen. Eine Sitemap zu durchsuchen, vermittelt daher nur einen Teilüberblick, der von den technischen Entscheidungen des Webmasters geprägt ist.
Eine Sitemap, deren URLs zu 404-Fehlern oder Weiterleitungen führen, deutet auf mangelnde Wartung hin. Wenn mehrere URLs in der Datei keine Seite laden, sind die übrigen Sitemap-Angaben möglicherweise veraltet.
Sitemap und Informationssuche: konkrete Anwendungsfälle
Über die Suchmaschinenoptimierung hinaus bietet die Sitemap einen schnellen Einstieg für bestimmte Aufgaben:
- Alle Blogartikel zu einem bestimmten Thema finden, indem die URLs in der Veröffentlichungs-Sitemap nach Stichwörtern gefiltert werden.
- Den Umfang der Inhalte einer konkurrierenden Website einschätzen, ohne die gesamte Domain zu crawlen. Die Anzahl der Sitemap-Einträge liefert einen zuverlässigen Richtwert für die Zahl der veröffentlichten Seiten.
- Dank des Tags
lastmodkürzlich geänderte Seiten erkennen und so die redaktionellen Aktualisierungen einer Website verfolgen, ohne sie täglich manuell aufrufen zu müssen. - Prüfen, ob eine bestimmte Seite in der Sitemap aufgeführt ist. Das bestätigt, dass der Websitebetreiber sie für die Indexierung als relevant betrachtet.
Wenn man lediglich die Liste der vorhandenen Seiten ermitteln möchte, ist die Sitemap einem vollständigen Crawler deutlich überlegen. Ein Crawler folgt Seite für Seite den internen Links und verbraucht dabei Zeit und Bandbreite. Die Sitemap stellt diese Liste mit einer einzigen HTTP-Anfrage bereit.
Eine Sitemap zu lesen, ist eine einfache technische Aufgabe, für die keine kostenpflichtigen Tools erforderlich sind. Ein Browser, die integrierte Suchfunktion und bei umfangreichen Dateien eine Tabellenkalkulation reichen aus, um die nützlichen Informationen einer strukturierten Website zu extrahieren.
