Robots.txt: Crawler und KI-Bots steuern

Die robots.txt ist eine der ältesten Steuerungsdateien im Web und trotzdem oft falsch konfiguriert. Sie legt fest, welche Bereiche einer Website von Suchmaschinen-Crawlern besucht werden dürfen, und sie entscheidet zunehmend auch darüber, ob KI-Systeme Inhalte für Trainingsdaten oder Live-Antworten nutzen. Wie eng das mit der technischen Basis einer Seite zusammenhängt, zeigt unser Beitrag zu Crawling und Ladezeit. Ergänzend dazu erklärt die Sitemap, welche Seiten überhaupt zur Indexierung bereitstehen.

Inhaltsverzeichnis

Was die robots.txt-Datei genau macht

Klassische Suchmaschinen-Crawler steuern

KI-Crawler und die neue Bot-Landschaft

Robots.txt richtig pflegen und testen

Robots.txt: Häufige Fehler in der Praxis

Robots.txt im Zusammenspiel mit Tag-Management

Was die robots.txt-Datei genau macht

Die Datei liegt im Root-Verzeichnis einer Domain und besteht aus einfachen Textregeln. Jede Regel richtet sich über den Eintrag „User-agent“ an einen bestimmten Crawler und legt per „Disallow“ oder „Allow“ fest, welche Pfade dieser besuchen darf. Google, Bing und andere Suchmaschinen lesen diese Datei vor jedem Crawling-Vorgang aus und respektieren die Vorgaben in aller Regel zuverlässig.

Ein einzelner falscher Disallow-Eintrag im Root-Verzeichnis kann ausreichen, um die komplette Domain aus dem Google-Index zu werfen.

Deshalb gehört die Datei zu den sensibelsten technischen Stellschrauben einer Website überhaupt. Schon ein vergessener Schrägstrich oder ein zu breit gefasster Pfad sperrt Bereiche aus, die eigentlich sichtbar sein sollten. Wer die Datei ändert, sollte das Ergebnis danach immer testen, bevor die neue Version live geht.

Zugriff einzelner Bots gezielt erlauben
Ganze Verzeichnisse vom Crawling ausschliessen
Pfad zur Sitemap hinterlegen
Crawl-Budget auf wichtige Seiten lenken
Duplicate Content vor Indexierung schützen

Kostenlose Potenzialanalyse für Ihr Unternehmen anfragen

Jetzt anfragen

Klassische Suchmaschinen-Crawler steuern

Googlebot, Bingbot und vergleichbare Suchmaschinen-Crawler lesen die robots.txt bei jedem Besuch neu aus. Über spezifische User-agent-Zeilen lässt sich für jeden Bot eine eigene Regel definieren, etwa um Bing andere Bereiche zeigen zu lassen als Google. Die Google Search Console bietet dafür ein eigenes Testwerkzeug, mit dem sich einzelne URLs gegen die aktuelle Datei prüfen lassen, bevor eine Änderung tatsächlich Auswirkungen zeigt. Gerade bei grossen Onlineshops mit Filterseiten oder Warenkorb-Pfaden verhindert eine saubere Konfiguration, dass wertvolles Crawl-Budget in irrelevanten Seiten verschwendet wird.

Eigene Regeln je Suchmaschine setzen
Filter- und Warenkorbseiten ausschliessen
Testwerkzeug vor jeder Änderung nutzen
Crawl-Delay bei Bedarf definieren

KI-Crawler und die neue Bot-Landschaft

Neben klassischen Suchmaschinen liest heute eine wachsende Zahl an KI-Crawlern die robots.txt aus, darunter GPTBot, ClaudeBot, Google-Extended oder CCBot. Über eigene User-agent-Einträge lässt sich festlegen, ob diese Systeme Inhalte für Trainingsdaten sammeln oder für Live-Antworten heranziehen dürfen. Diese Steuerung ist inzwischen ein fester Bestandteil einer sauberen technischen Sichtbarkeitsstrategie, wie sie auch in unserem SEO/GEO-Audit geprüft wird. Auch bei einem Relaunch gehört die Kontrolle der robots.txt zu den ersten Schritten, damit keine ungewollten Sperren mit auf die neue Seite wandern. Wer zusätzlich strukturierte Ranking-Faktoren im Blick behalten will, findet in unserem Beitrag zur Onpage-Optimierung weiterführende Ansätze.

GPTBot und ClaudeBot gezielt zulassen
Google-Extended für KI-Training separat regeln
Regeln vor jedem Relaunch prüfen
Technische Sichtbarkeit regelmässig auditieren

Strategie-Gespräch mit unserem Team vereinbaren

Jetzt anfragen

Robots.txt richtig pflegen und testen

Die Datei ist kein einmaliges To-do, sondern muss bei jeder grösseren Änderung an der Seitenstruktur mitgepflegt werden. Neue Verzeichnisse, umbenannte Pfade oder ein Wechsel des Content-Management-Systems verändern häufig, welche Bereiche eigentlich gecrawlt werden sollen. Ein regelmässiger Blick in die Search Console zeigt, ob Google auf Sperren stösst, die eigentlich nicht mehr gewollt sind, oder ob wichtige Bereiche versehentlich weiterhin blockiert bleiben. Auch externe Tools zur technischen Analyse helfen dabei, Unterschiede zwischen der aktuellen und einer früheren Version der Datei sichtbar zu machen, bevor daraus ein echtes Sichtbarkeitsproblem wird.

Datei nach jedem Strukturwechsel prüfen
Search-Console-Warnungen regelmässig kontrollieren
Alte Sperren auf Aktualität prüfen
Änderungen vor dem Livegang dokumentieren

Robots.txt: Häufige Fehler in der Praxis

Der häufigste Fehler ist ein zu breit gefasster Disallow-Eintrag, der versehentlich ganze Bereiche einer Website sperrt, obwohl nur ein einzelnes Verzeichnis gemeint war. Auch widersprüchliche Regeln, bei denen eine spätere Zeile eine frühere Freigabe wieder aufhebt, führen häufig zu unklarem Crawling-Verhalten. Besonders bei einem Wechsel des Content-Management-Systems wird die Datei oft unverändert übernommen, obwohl sich die Pfadstruktur komplett geändert hat.

Ein weiterer Klassiker betrifft URL-Strukturen, die sich mit der Zeit ändern: Alte Disallow-Regeln verweisen dann auf Pfade, die längst nicht mehr existieren, während neue, tatsächlich sensible Bereiche ungeschützt bleiben.

Disallow-Einträge nicht zu breit fassen
Widersprüchliche Regeln konsequent bereinigen
Datei nach Systemwechsel neu prüfen
Veraltete Pfade regelmäßig entfernen

Robots.txt im Zusammenspiel mit Tag-Management

Tools wie der Google Tag Manager laden häufig externe Skripte von zusätzlichen Domains, die selbst wieder eigene Crawling-Regeln mitbringen können. Wer nur die eigene robots.txt im Blick hat, übersieht leicht, dass ein eingebundenes Skript auf einer anderen Domain ganz andere Vorgaben besitzt.

Bei komplexeren Setups mit mehreren eingebundenen Diensten lohnt sich deshalb eine regelmäßige Bestandsaufnahme aller beteiligten Domains, nicht nur der eigenen Hauptdomain.

Externe Skripte bringen eigene Regeln mit
Nicht nur Hauptdomain im Blick haben
Beteiligte Domains regelmäßig auflisten
Setup bei neuen Diensten aktualisieren

Wer robots.txt, Sitemap und technische Struktur als zusammenhängendes System begreift statt als getrennte Einzelaufgaben, erkennt Fehler schneller und vermeidet, dass eine Änderung an einer Stelle unbemerkt Nebenwirkungen an einer anderen Stelle auslöst, die erst Wochen später auffallen.