Gecrawlt: Bedeutung für Google-Indexierung

Steht in der Search Console oder in einem SEO-Tool der Begriff gecrawlt, bedeutet das schlicht: Ein Bot von Google hat die Seite besucht und ihren Quellcode gelesen. Ohne diesen Schritt bleibt jede noch so gute Seite für die Suche unsichtbar, egal wie stark der Inhalt sonst überzeugt und wie viel Arbeit in Design und Text geflossen ist. Wer sich mit den Grundlagen der Technischen SEO beschäftigt, stößt fast zwangsläufig auf diesen Begriff, ebenso bei der täglichen Arbeit mit der Google Search Console.

Wie eine Seite gecrawlt wird

Der Googlebot folgt Links von einer URL zur nächsten und lädt dabei den kompletten Quellcode jeder Seite herunter. Dieser Besuch allein heißt Crawling, unabhängig davon, was später mit den gesammelten Daten passiert. Der Bot merkt sich außerdem, wann eine Seite zuletzt besucht wurde, und plant den nächsten Abstecher danach, meist orientiert an der bisherigen Änderungsfrequenz der jeweiligen URL.

Warnung: Eine falsch gesetzte robots.txt-Regel oder ein vergessenes noindex-Tag verhindert das Crawling, selbst wenn die Seite inhaltlich einwandfrei ist und technisch fehlerfrei läuft.

Wie häufig eine Seite besucht wird, hängt vom sogenannten Crawl-Budget ab. Seiten mit regelmäßigen Aktualisierungen und starker interner Verlinkung werden dabei bevorzugt behandelt, während vernachlässigte Unterseiten seltener an der Reihe sind und dadurch Aktualisierungen erst mit Verzögerung sichtbar werden. Gerade bei großen Websites mit tausenden Unterseiten entscheidet dieses Budget spürbar darüber, welche Bereiche zeitnah und welche nur gelegentlich besucht werden.

Bot folgt internen und externen Links
Quellcode wird vollständig geladen
robots.txt kann Zugriff blockieren
Crawl-Budget steuert die Besuchshäufigkeit

Kostenlose Potenzialanalyse für Ihr Unternehmen anfragen

Jetzt anfragen

Gecrawlt ist nicht gleich indexiert

Gecrawlt und indexiert werden oft gleichgesetzt, sind aber zwei getrennte Schritte im selben Prozess. Eine Seite kann besucht worden sein, ohne dass sie danach in den Suchergebnissen landet, etwa wegen dünnem Inhalt, doppeltem Content oder widersprüchlichen Anweisungen im Quellcode, die dem Bot signalisieren, die Seite lieber zu ignorieren.

Die Search Console zeigt für jede URL einzeln an, ob sie gecrawlt, aber aktuell nicht indexiert ist, und liefert meist auch gleich den Grund dazu. Wer diesen Bericht regelmäßig prüft, erkennt Probleme deutlich früher als über reine Ranking-Beobachtung, denn Ranking-Verluste zeigen sich meist erst mit spürbarer Verzögerung.