Crawling

Unter dem Crawling versteht man einen automatisierten Prozess, bei dem Suchmaschinen Crawler (auch Robots oder Spider) einsetzen, um indexierte Websites auszulesen.

Was versteht man unter einem Crawling?

Als Crawling bezeichnet man eine Automatisierung, die im Hintergrund laufend von der Suchmaschine angestoßen wird. Sobald ein neues Crawling läuft, durchsucht der sogenannte Crawler alle Inhalte im Web, die für die Indexierung in der Suchmaschine freigegeben sind. Der bekannteste Crawler ist der Googlebot, daneben gibt es aber unzählige weitere.

Wie funktioniert ein Crawling?

Zu Beginn bekommt der Crawler von der Suchmaschine eine Auflistung von bereits abgeschlossenen Crawlings und ausgelesenen Sitemaps. Diese ruft er dann erneut auf und folgt allen eingehenden und ausgehenden Links auf diesen Seiten, um neue Inhalte aufzufinden.

Das bedeutet, dass ein Robot die Inhalte, Daten und Sitemaps einer Website durchgeht und ausliest. Die gewonnenen Daten speichert er dann im sogenannten Cache. Bei einem Crawling wird der Index einer Suchmaschine stetig erweitert, da der Crawler immer wieder auf neue, zu indexierende Seiten stößt. Dafür hält er sich an Angaben aus den Meta-Tags oder der robots.txt-Datei einer Website. Beim Crawling indexiert der Robot nur Seiten, die von den Webseitenbetreibern mit entsprechender Kennzeichnung dafür freigegeben wurden.

Welche Faktoren bestimmen ein Crawling?

Beim Crawling stehen einer Website nicht beliebig viele URLs zur Verfügung, die in den Index gesendet werden können. Die Anzahl an Unterseiten, die beim Crawling ausgelesen werden, ist begrenzt.

Das gibt das sogenannte Crawling-Budget vor: Darunter versteht man die Anzahl der Unterseiten, die der Crawler nach Vorgabe der Suchmaschine auf einer Website auslesen darf. Damit soll sichergestellt werden, dass später ausschließlich hochwertige Inhalte in den Index gelangen und nicht immer mehr Unterseiten mit mangelnder Qualität erstellt werden, nur damit möglichst viele URLs in den Index gelangen.

Die Unterseiten, die beim Crawling nicht gescannt werden, müssen warten, bis der Crawler das nächste Mal auf die Website gelangt. Das bedeutet, dass diese Unterseiten dann auch nicht sofort bei Google indexiert werden. Damit sinken die Besucherzahlen, das Ranking und gegebenenfalls auch der Umsatz.

Damit das Crawling-Budget für eine Website optimal ausgenutzt wird, sollten Sie 404-Seiten oder Duplicate-Content möglichst vermeiden, da auch diese Seiten einen Teil des Budgets beanspruchen.

Wie kann man das Crawling-Budget optimieren?

Es gibt Möglichkeiten, um das Crawling-Budget zu optimieren, damit wiederum so viele Unterseiten wie möglich in den Index der Suchmaschine aufgenommen werden. Folgende Maßnahmen eignen sich daher besonders für Betreiber größerer Websites, die häufig an das Budgetlimit stoßen:

• 404-Seiten vermeiden und Weiterleitungen einrichten
• Thin-Content vermeiden und hochwertige Inhalte kreieren
• Duplicate-Content vermeiden oder mit Canonical-Tags ausweisen
• URLs gezielt aus dem Index ausschließen (durch noindex-Tags oder robots.txt)
• veraltete Inhalte löschen und somit Budget für neue URLs freigeben
• Technik und System auf dem aktuellen Stand halten
• Session-IDs in URLs vermeiden

Wie Sie das Crawling Ihrer Website überprüfen können

Einblicke in das Crawling einer Website liefert die Google Search Console. In diesem Tool erhalten Webmaster einen umfassenden Einblick in alle Domains, die Google bereits indexiert hat, und erkennen Fehler im Crawling-Prozess. Ein regelmäßiger Blick in die Google Search Console ist also fast schon verpflichtend, um die Indexierung der URLs zu unterstützen.

Bedeutung für SEO

Soll eine Unterseite zu einem Keyword ranken, ist es wichtig, dass sie in den Index der Suchmaschine gelangt. Nur dann ist sie für Google sichtbar und die Suchmaschine teilt ihr ein Ranking für einen passenden Suchbegriff zu. Webseitenbetreiber sollten deshalb im Blick behalten, welche Unterseiten indexiert werden sollen und welche URLs es bereits in den Index geschafft haben.

Wir unterstützen Sie bei der Suchmaschinenoptimierung

Haben Sie genug zum Thema Crawling gelesen und sind auf der Suche nach Unterstützung für Ihre Suchmaschinenoptimierung? Gerne finden wir für Sie eine geeignete Lösung – schreiben Sie uns dafür eine kurze Nachricht.