Gecrawlt: Bedeutung für Google-Indexierung

Steht in der Search Console oder in einem SEO-Tool der Begriff gecrawlt, bedeutet das schlicht: Ein Bot von Google hat die Seite besucht und ihren Quellcode gelesen. Ohne diesen Schritt bleibt jede noch so gute Seite für die Suche unsichtbar, egal wie stark der Inhalt sonst überzeugt und wie viel Arbeit in Design und Text geflossen ist. Wer sich mit den Grundlagen der Technischen SEO beschäftigt, stößt fast zwangsläufig auf diesen Begriff, ebenso bei der täglichen Arbeit mit der Google Search Console.

Inhaltsverzeichnis

Wie eine Seite gecrawlt wird

Was die Besuchshäufigkeit steuert

Gecrawlt ist nicht gleich indexiert

Indexierungsstatus in der Search Console prüfen

Keine Zeit, deine Suchmaschinenoptimierung selbst zu machen? Unsere SEO Agentur übernimmt das für dich: Kontakt.

Wie eine Seite gecrawlt wird

Der Googlebot folgt internen und externen Links von einer URL zur nächsten und lädt dabei den kompletten Quellcode jeder Seite herunter. Dieser Besuch allein heißt Crawling, unabhängig davon, was später mit den gesammelten Daten passiert. Der Bot merkt sich außerdem, wann eine Seite zuletzt besucht wurde, und plant den nächsten Abstecher danach, meist orientiert an der bisherigen Änderungsfrequenz der jeweiligen URL.

Eine falsch gesetzte robots.txt-Regel oder ein vergessenes noindex-Tag verhindert das Crawling, selbst wenn die Seite inhaltlich einwandfrei ist und technisch fehlerfrei läuft.

Was die Besuchshäufigkeit steuert

Wie häufig eine Seite besucht wird, hängt vom sogenannten Crawl-Budget ab, das die Besuchshäufigkeit letztlich steuert.

Regelmäßige Aktualisierungen – werden bevorzugt behandelt
Starke interne Verlinkung – erhöht die Besuchsfrequenz zusätzlich
Vernachlässigte Unterseiten – sind seltener an der Reihe, Aktualisierungen zeigen sich mit Verzögerung

Gerade bei großen Websites mit tausenden Unterseiten entscheidet dieses Budget spürbar darüber, welche Bereiche zeitnah und welche nur gelegentlich besucht werden.

Kostenlosen SEO-Check für Ihre Website anfragen

Jetzt anfragen

Gecrawlt ist nicht gleich indexiert

Gecrawlt und indexiert werden oft gleichgesetzt, sind aber zwei getrennte Schritte im selben Prozess: Crawling kommt immer zuerst, Indexierung folgt erst danach, wenn überhaupt.

Eine Seite kann besucht worden sein, ohne dass sie danach in den Suchergebnissen landet, etwa wegen dünnem Inhalt, doppeltem Content oder widersprüchlichen Anweisungen im Quellcode, die dem Bot signalisieren, die Seite lieber zu ignorieren.

Indexierungsstatus in der Search Console prüfen

Die Search Console zeigt für jede URL einzeln an, ob sie gecrawlt, aber aktuell nicht indexiert ist, und liefert meist auch gleich den Grund dazu. Wer diesen Bericht regelmäßig prüft, erkennt Probleme deutlich früher als über reine Ranking-Beobachtung, denn Ranking-Verluste zeigen sich meist erst mit spürbarer Verzögerung.