Nachdem Eren im letzten Monat auf die Grundlagen der Online Shop Optimierung am Beispiel der Meta Tags eingegangen ist, möchte ich mich heute mit dem so genannten Crawl Budget beschäftigen. Ende Juli 2015 gab es ein Statement von Googles Gary Illyes via Twitter, dass Google ebendieses Crawl Budget erweitert hat und nun in der Lage ist mehr Seiten im World Wide Web zu crawlen und somit gegebenenfalls auch zu indexieren.

Google beschreibt das Crawling als “Prozess, durch den der Googlebot neue und aktualisierte Seiten ermittelt, damit sie zum Google-Index hinzugefügt werden” können. Für den Indexierungsprozess werden anschließend die gecrawlten “Informationen in wichtigen Inhalts-Tags und –Attributen wie Title-Tags und ALT-Attributen verarbeitet”. Womit wir wieder bei dem Grund wären, warum wir zu Beginn unserer Reihe ebendiese Tags und Attribute als einleitenden Artikel gewählt haben. Auf Grundlage verschiedener Faktoren (gemeinhin sagt man es sind mehr als 200), zu denen eben auch die Meta Angaben gehören, ermittelt ein Google Algorithmus die Relevanz einer Seite.

Damit man also das Beste aus dem eigenen Crawl Budget für seine Domain herausholen kann, gibt es nun verschiedene Optimierungsmöglichkeiten, die zwar nicht immer alle auf die eigenen Seiten angewendet werden können, die man aber teilweise auch ohne großes Vorwissen und stattdessen mit liebevoller Kleinarbeit selbst in die Hand nehmen kann.

Diese Optimierungsmöglichkeiten sind unter anderem:

  • Seitenstruktur und -Aufbau
  • robots.txt und nofollow
  • Regelmäßig neue Inhalte schaffen
  • Alte Inhalte abschaffen

Optimieren Sie das Crawling durch die ideale Seitenstruktur

Erst letzte Woche habe ich mit einigen Kollegen zusammen gesessen und die Struktur für einen neuen Bereich besprochen und bis ins letzte Detail geplant. Neben dem Aufbau der Seiten, der Verzeichnisse und kleinerer Content-Hubs wurden die URL-Strukturen und -Längen sowie die Stellen besprochen, an denen es zu Problemen kommen könnte oder es in Zukunft ideale Möglichkeiten der Erweiterung geben könnte.

Ergebnis der Arbeit war, dass jede Stelle dieses neuen Bereiches mit maximal drei Klicks von der Hauptseite entfernt ist, der Nutzer sich jederzeit zurecht finden kann und mit einem Blick sieht, wo er sich gerade befindet und dennoch jede Unterseite dazu anregt doch noch einen Klick weiter zugehen und auch nachzusehen, was sich hinter dem nächsten Link befindet. Getestet haben wir es anschließend an mehreren Probanden, die unsere Hypothesen sowie die Klickpfade bestätigten und genau das Gefühl beim Klicken der Links beschrieben, welches wir damit beabsichtigt hatten.

Legt man nun die vielfach geäußerte Annahme zugrunde, dass der Google Crawler wirklich das Nutzerverhalten kopiert bzw. weitestgehend kopieren möchte, sollte sich durch die – für uns – optimale Seitenstruktur in Zukunft in einem optimierten Crawling dieser Seiten äußern. – Wobei ich mit optimal vor allem meine, dass der Crawler schneller und dadurch vor allem regelmäßiger die Inhalte auf unseren Seiten entdeckt und crawlt.

Optimieren Sie Ihre robots.txt und schauen Sie sich interne Links an

Ein zweiter Punkt, den man gerade bei Shops viel zu selten nutzt ist die Optimierung der robots.txt. Hier kann mit einigen Anweisungen dem Crawler bereits zu Beginn gesagt werden, welche Seiten er sich beim Ansehen der Seiten sparen kann.

Vor allem Filterergebnisse der eigentlichen Seiten, welche man z. B. an einem “?” in der URL-Struktur erkennen kann, geben dem Crawler keine wirklichen Mehrwerte und müssen daher nicht unbedingt gecrawlt werden, wenn vorher schon die eigentlichen, hoffentlich paginierten Seiten einer Kategorie gecrawlt wurden.

Durch die folgende Anweisung kann verhindert werden, dass sich der Crawler allzu lange an diesen Seiten “austobt” und ihm am Ende die Kraft und Zeit für weitaus wichtigere Seiten fehlt:

Disallow: /*?*
Disallow: /*?

Auf diese Weise machen Sie es dem Crawler einfacher die wichtigeren Seiten zu erkennen, die er sich stattdessen ansehen sollte als alle Filterseiten für “grünes Kleid” oder “marsala” (Farbe des Jahres 2015).

Zusätzlich kann man auch intern auf eine nofollow Verlinkung zurückgreifen um die robots.txt zu stärken. Generell sollte man mit dem nofollow auf den eigenen Seiten zwar sparsam/vorsichtig umgehen, aber gerade bei den angesprochenen Filterseiten kann man durch ein Hinzufügen des nofollow Attributs der robots.txt nochmals mehr Gewicht verleihen.

Zeigen Sie Google, dass etwas passiert auf Ihren Seiten

Nachdem ein neuer Online Shop zunächst mit ca. 300 Produkten für ein halbes Jahr am Markt vertreten war, ohne dass sich großartige Veränderungen in der Sistrix Sichtbarkeit zeigten und auch die Keyword- sowie die Umsatzentwicklung hinter den Zielen blieben, wurde von mir und den Verantwortlichen kurzerhand die Taktik geändert. Anstatt abzuwarten, ob die Produkte tatsächlich gefunden werden oder die Keywords doch noch steigen würden, versuchten wir es ab dem 1.Mai 2015 mit einer Strategieänderung. Schließlich sollten die 300 Produkte erst ein Anfang sein und so oder so irgendwann in den Shop eingepflegt werden.

Daher entschlossen wir uns dazu, anstatt einer kleinteiligen Produktnpflege, in der wir immer wieder auf Teilbereiche warten mussten (mal waren die Meta Angaben, aber keine Produktbeschreibungen vorhanden, mal war es genau anders herum), wozu es zu einem Verzug in der Veröffentlichung kam, setzten wir auf Cluster.

Ziel war es, für sechs Wochen lang jede Woche 100 neue Produktseiten online zu stellen und eventuelle Nachbesserungen erst in einem nächsten Schritt vorzunehmen. Ergebnis war, dass sich die Produktanzahl innerhalb weniger Wochen verdreifachte, der Crawler immer öfter die Seiten besuchte, die Sichtbarkeit innerhalb dieser paar Wochen von 0,0032 auf 0,07 kletterte und insgesamt (laut Sistrix) mehr als 2.000 Keywords in den Top 100 platziert werden konnten im Vergleich zu den 28, die es am 1. Mai 2015 schon geschafft hatten.

Sistrix Sichtbarkeit

Außerdem war auffällig, dass ein kleiner Rückstand bei der Produktpflege in der letzten Mai Woche bei Sistrix genauso deutlich zu sehen war, wie die wieder gestiegene Veröffentlichung in der ersten Juni Woche.

Zwar möchte ich hier nicht mit dem leidigen Thema von Kausalität und Korrelation beginnen, aber einhergehend mit den Schwankungen in den Keyword-Platzierungen und den in der Woche deutlich niedrigeren Einnahmen über SEO-Neukunden, möchte ich zumindest behaupten, dass ein regelmäßiger Produktimport besser ist als eine “einmal und nie wieder” Lösung, wie sie sicherlich von vielen neueren Online Shops in Betracht gezogen wird.

Geben Sie den Google Bots daher immer genug zum Anschauen, damit ihm nicht langweilig wird und er sich andere Domains zum Ansehen sucht.

Gehen Sie mit der Zeit und entfernen Sie veraltete Inhalte

Sollten Sie ansonsten bei einem Seitenaudit feststellen, dass eigene Seiten nur noch sehr selten Besucher anlocken und diese dann im schlimmsten Fall auch direkt wieder die Seiten oder gar die Domain verlassen, sollten Sie auch hier dem Google Crawler zeigen, dass Sie sich diesem Problem bewusst sind und diesem annehmen werden.

Lenken Sie auch hier wieder den Google Bot auf die wichtigen Seiten und seien Sie – nebenbei wie bei der Linkentfernung – nicht zu wählerisch, wenn es um das Abschalten oder Weiterleiten von URLs geht.

Hierzu müssen allerdings zunächst die eben angesprochenen eingehenden Links kontrolliert und ausgewertet werden. Sobald schlecht performende Seiten eingehende Links haben, sollten Sie diese auf eine passende Seite (oder zumindest die übergeordnete Kategorie) per 301 weiterleiten und intern alle Verlinkungen auf die neue Seite ändern.

Sollte es vorkommen, dass eine Seite gar keine eingehenden Links hat und die Absprungraten hoch sind, dann sollten Sie solche Seiten einfach komplett abschalten, da diese Seiten sowohl Ihnen als auch Ihren Kunden und dem Crawler keine Freude bereiten.

Vor allem bei Blogs und Shops, die schon Jahre existieren, sollte man sich bei einem Audit immer überlegen, ob es wirklich noch notwendig ist einen eigenen Artikel zur Farbe des Jahres 2004 (tigerlily) zu haben, oder ob es nicht auch eine Übersicht unter dem aktuellsten Artikel zur Farbe des Jahres tun würde.

Gerade Tools wie ScreamingFrog oder Ahrefs.com helfen bei solch einem Audit und geben Auskunft darüber, wie man sich am besten von alten Inhalten trennt um Platz für Neues zu schaffen.

Nehmen Sie Ihr Schicksal selbst in die Hand und hören Sie nicht auf veraltete Aussagen

Ich persönlich finde es sehr erheiternd, wenn in Bezug auf das Crawling immer mal wieder der Pagerank angesprochen wird. Was vor ein paar Jahren vor allem beim Linktausch eine beliebte Metrik war (“Ich habe eine Seite mit SI X und Pagerank Y und will dafür eine Seite mit mindestens Z”), ist mittlerweile etwas in die Jahre gekommen. Abgesehen davon, dass der Pagerank seit mehr als einem Jahr nicht mehr aktualisiert wurde, sagt auch Google selbst, dass es zwar eine Metrik ist, die einfach zu vergleichen ist, allerdings nichts ist, dass wirklich nützlich für Webmaster wäre:

“[…]don't bother thinking about it [PageRank]. We haven't updated the PageRank displayed in Google Toolbar in well over a year. Toolbar PageRank is an easy metric to focus on, but just because it's easy doesn't mean it's useful for you as a site owner. If you're looking for metrics, we'd encourage you to check out Analytics, and other more actionable metrics for your website or business.

In der Realität führt aber gerade dieser Irrtum dazu, dass viel zu wenig in Bezug auf die “crawlability” unternommen wird. Schließlich ist das Crawl Budget ja vom PageRank abhängig und dieser ist nun mal im letzten Jahr bei einer drei oder vier stehen geblieben. Anstatt sich nun aber selbst zu Bemitleiden, kann zunächst im Hinblick auf die angesprochene Crawlbarkeit einer Seite an den vier erwähnten Beispielen gearbeitet werden, sofern diese zutreffen oder eben (noch) nicht.

Zwar würde ich gerade im Hinblick auf die robots.txt oder die Seitenstruktur einen Fachmann (oder eine Fachfrau ;-) ) zumindest zu Rate ziehen, aber gerade bei den beiden letztgenannten Punkten kann wohl jeder Domainbesitzer für sich selbst entscheiden, ob er hier wirklich schon alles aus seinem Shop oder Blog herausgeholt hat, was es in Bezug auf die Crawlbarkeit herauszuholen gilt.