Sitemap und robots.txt für kleine Websites einrichten

Eine XML-Sitemap ist eine Liste wichtiger Seiten Ihrer Unternehmenswebsite. Sie hilft Suchmaschinen, diese Seiten zu finden. Die Datei robots.txt enthält Regeln für Crawler, also automatisierte Programme, die Webseiten abrufen. Die Regeln legen fest, welche Bereiche sie abrufen dürfen.

Wenn Links von einer Seite Ihrer Website zu den anderen wichtigen Seiten führen, ist eine Sitemap oft nicht nötig. Regeln in robots.txt brauchen Sie nur, wenn Crawler bestimmte Bereiche nicht abrufen sollen. Keine der beiden Dateien stellt sicher, dass eine Seite in den Suchergebnissen erscheint oder daraus verschwindet.

Was eine Sitemap leistet

Eine Sitemap enthält eine Liste von Webadressen, die Suchmaschinen lesen können. Sie hilft ihnen, neue oder schwer erreichbare Seiten zu finden. Sie ersetzt weder die Navigation noch Links zwischen den Seiten. Verlinken Sie Ihre Leistungsseiten, Kontaktseite und wichtigen Ratgeberinhalte weiterhin sinnvoll miteinander.

Nehmen Sie nur Seiten in die Sitemap auf, die in Suchergebnissen erscheinen sollen, etwa die Startseite, einzelne Leistungsseiten und ausgewählte Informationsseiten. Führen Sie Seiten mit ähnlichem Inhalt nicht mehrfach unter verschiedenen Webadressen auf. Verwenden Sie stattdessen die bevorzugte, sogenannte kanonische URL. Das ist die Webadresse, die Suchmaschinen als maßgeblich behandeln sollen.

Google nennt etwa 500 relevante Seiten oder weniger als Orientierung für kleine Websites, die ohne Sitemap auskommen können, wenn Links zu allen wichtigen Seiten führen. Eine neue Website mit wenigen Links von anderen Websites oder eine Website mit schwer auffindbaren Inhalten profitiert eher von einer Sitemap. Sie weist Suchmaschinen auf Seiten hin, stellt aber nicht sicher, dass sie die Seiten abrufen und in den Suchindex aufnehmen. Auch bessere Platzierungen in den Suchergebnissen sind dadurch nicht zugesichert.

Wann robots.txt sinnvoll ist

Die Datei robots.txt liegt im Stammverzeichnis der Website, zum Beispiel unter https://www.example.com/robots.txt. Sie enthält Regeln dazu, welche Teile der Website Crawler abrufen dürfen. Eine kleine Website braucht dafür keine lange Sperrliste. Wenn Sie Crawlern keinen Bereich vorenthalten wollen, brauchen Sie keine Sperrregel einzutragen.

Sie können die Sitemap auch in robots.txt eintragen. Dafür steht dort ihre vollständige Adresse, etwa:

Sitemap: https://www.example.com/sitemap.xml

Passen Sie die Adresse an Ihre eigene Domain und den tatsächlichen Speicherort der Sitemap an. Alternativ können Sie die Sitemap in der Google Search Console einreichen. Wenn Ihr Content-Management-System bereits eine Sitemap erstellt, prüfen Sie zuerst deren Adresse, bevor Sie eine zweite anlegen.

Crawling ist kein Zugriffsschutz

robots.txt verhindert nicht zuverlässig, dass eine Webadresse in Suchergebnissen erscheint. Andere Websites können auf eine gesperrte Adresse verlinken. Suchmaschinen kennen die Adresse dann möglicherweise, auch wenn sie den Inhalt nicht abrufen dürfen. Um eine Seite aus Google-Ergebnissen auszuschließen, brauchen Sie eine passende Maßnahme wie eine noindex-Anweisung. Dafür muss der Crawler die Seite abrufen können. Sperren Sie dieselbe Adresse deshalb nicht gleichzeitig in robots.txt.

Da jeder die Datei lesen kann und sich nicht alle Crawler an ihre Regeln halten, schützen Sie vertrauliche Inhalte mit einem Passwort oder einer anderen Zugriffskontrolle. Nennen Sie außerdem keine geheimen oder internen Pfade in der Datei. Sperren Sie benötigte CSS- oder JavaScript-Dateien nicht pauschal. Sonst können Suchmaschinen die Seite möglicherweise nicht richtig darstellen.

Fehler in Sitemap und robots.txt vermeiden

Ein besonders folgenreicher Fehler ist eine Regel wie Disallow: / unter User-agent: *. Sie sperrt das Crawling der gesamten Website. Das passiert leicht, wenn Einstellungen einer Testversion beim Livegang erhalten bleiben. Prüfen Sie robots.txt deshalb nach jeder Änderung und besonders nach einem neuen Website-Start.

Falsche oder unerwünschte Webadressen in der Sitemap erschweren Suchmaschinen die Orientierung. Weiterleitungen und nicht gefundene Seiten gehören nicht in die Sitemap. Nehmen Sie auch keine Varianten auf, die nicht in Suchergebnissen erscheinen sollen. Verwenden Sie die bevorzugte Domain und das richtige Protokoll. Führen Sie zum Beispiel die HTTPS-Adresse auf, nicht zusätzlich Varianten mit HTTP oder anderen Hosts.

Das Änderungsdatum lastmod in einer Sitemap sollte anzeigen, wann sich der Seiteninhalt wesentlich geändert hat. Ändern Sie es nicht nur deshalb, weil sich das Copyright-Jahr geändert hat. Suchmaschinen können unzuverlässige Angaben ignorieren. Google wertet auch die Felder priority und changefreq nicht aus.

Sitemap und robots.txt prüfen

Prüfen Sie zuerst, ob Ihr Content-Management-System eine Sitemap erstellt und wo es die Datei speichert. Öffnen Sie die Sitemap im Browser und kontrollieren Sie, ob sie die gewünschten Seiten unter den richtigen Webadressen aufführt. Bei wenigen Dutzend Seiten können Sie die Sitemap von Hand erstellen. Ändern sich Inhalte regelmäßig, hält eine automatisch gepflegte Datei die Adressen meist einfacher auf dem neuesten Stand.

Prüfen Sie danach, ob robots.txt im Stammverzeichnis erreichbar ist und nicht versehentlich wichtige Seiten sperrt. Nehmen Sie nur Regeln auf, die einen klaren Zweck haben. Anschließend können Sie die Sitemap in der Search Console melden und dort prüfen, ob bei der Verarbeitung Fehler angezeigt werden. Weitere Grundlagen zur Optimierung finden Sie unter Onpage-SEO in der Praxis. Wenn Ihre Sitemap alte oder fehlerhafte Adressen enthält, erfahren Sie hier, wie Sie Weiterleitungen und 404-Fehler richtig zu handhaben.

Weitere Artikel