Bevor Google eine Seite in den Suchergebnissen zeigen kann, muss es sie erst einmal besucht haben. Genau das ist Crawling: Automatische Programme, sogenannte Crawler oder Bots, ziehen durchs Web, folgen Links und lesen Seiteninhalte aus. Nur was gecrawlt wurde, kann anschließend in den Suchindex wandern.

So findet ein Crawler deine Seiten

Ein Crawler startet bei Seiten, die er schon kennt, und hangelt sich von dort über interne und externe Links weiter. Jede neue oder veränderte Seite, auf die er stößt, wird analysiert. Ob sie danach tatsächlich im Index landet, ist eine zweite Frage.

Du kannst ihm die Arbeit erleichtern. Eine saubere interne Verlinkung führt ihn auch zu tief liegenden Seiten, und eine aktuelle XML-Sitemap listet alle wichtigen Seiten an einer zentralen Stelle auf. Die robots.txt legt zusätzlich fest, welche Bereiche er überhaupt betreten darf.

Was das Crawling ausbremst

• Wichtige Bereiche, die versehentlich über die robots.txt gesperrt sind
• Fehlerhafte Weiterleitungen und blockierte Ressourcen
• Eine veraltete oder fehlende XML-Sitemap
• Schwache interne Verlinkung, bei der Seiten nur über Umwege erreichbar sind

Das Tückische daran: Solche Fehler bleiben ohne regelmäßige Kontrolle oft lange unentdeckt. Die Seite sieht für Besucher völlig normal aus, nur Google kommt nicht durch.

Crawl-Budget: Wann es zum Thema wird

Suchmaschinen durchsuchen eine Website nur in begrenztem Umfang pro Zeitraum. Diese Kapazität heißt Crawl-Budget. Bei kleinen und mittleren Websites spielt sie selten eine Rolle, bei sehr großen kann sie zum Engpass werden. Wenn du viele Stadt- und Leistungsseiten betreibst, solltest du trotzdem darauf achten, dass auch die weniger prominenten Seiten verlässlich erreichbar sind.

Dein kurzer Crawling-Check

1. Öffne die Google Search Console und schau, welche Seiten gecrawlt wurden und wo Fehler gemeldet werden.
2. Rufe deine robots.txt auf und prüfe, ob dort nichts Wichtiges gesperrt ist.
3. Kontrolliere, ob deine XML-Sitemap aktuell ist und alle wichtigen Seiten enthält.
4. Klick dich von der Startseite zu deinen Stadtseiten und zähl mit: Wie viele Klicks brauchst du?

Du willst das lieber prüfen lassen? Im Rahmen unserer Analyse und Audit schauen wir, ob das Crawling bei deiner Website technisch reibungslos läuft.