SEOPT e. K.

CSS und JavaScript Dateien in der robots.txt

Zwar ist mir in Bezug auf die Änderungen in Bezug auf robots.txt und CSS sowie JavaScript Anweisungen unter anderem Julian bei Seokratie zuvorgekommen, aber wichtige Google Ankündigungen möchte ich natürlich nicht unter den Tisch fallen lassen. Wer sich bislang um CSS und JavaScript immer einen großen Bogen gemacht hat, sollte nämlich nun aufmerksam lesen und die Google Änderungen in diesem Bereich zu Herzen nehmen.

Zeigt her eure Seiten

Wie Hanns Kronenberg von Sistrix schon am 24. Oktober auf seinen Facebook Seiten sagte, hat Google einen Punkt in seinen Richtlinien geändert, der durchaus weitreichende Auswirkungen auf einzelne Domains haben kann. Seit dem 27.10. gibt es nun seitens Google auch die offizielle Meldung zum Thema, die zeigt, dass Google wieder pünktlich zum Wochenende etwas durchaus Wichtiges in den Richtlinien für Webmaster geändert hat.

Abruf wie durch Google

In den Webmastertools gibt es seit einiger Zeit das Crawling der Seiten mehr oder weniger anzusehen. So kann man unter „Crawling“ > „Abruf wie durch Google“ die Seiten für mobile Endgeräte und den Desktop abrufen bzw. abrufen & rendern:

 

Klickt man auf das „Abrufen und Rendern“, wird der jeweilige Pfad, den man vorher eingegeben hat, bzw. die Startseite untersucht. Wenn dies abgeschlossen ist (dauert lediglich ein paar Sekunden), hat man die Möglichkeit, die gerenderte Seite anzusehen. Hierzu muss man einfach auf das Häkchen klicken, welches sich unter dem Rendern befindet und schon erscheint die gerenderte Seite in den Webmastertools:

 

Das Indexierungssystem von Google stellt die Websites also wie ein typischer Browser dar, bei dem CSS und JavaScript aktiviert sind. Um dies vollständig durchführen zu können, braucht der Googlebot vor allem eins: Zugriff auf ebendiese Dateien.

Laut aktuellen Richtlinien sollten Webmaster daher dem Googlebot Zugriff auf JavaScript-, CSS-, und Bilddateien geben, damit das Rendern der Seiten nicht beeinträchtigt wird.

Die robots.txt überprüfen

Mit Hilfe der robots.txt kann Google und anderen Bots verboten werden, bestimmte Bereiche einer Seite zu Crawlen bzw. zu begutachten. Je nachdem um was es sich für eine Seite handelt, haben robots.txt Dateien unterschiedliche Längen. Bei einigen sieht man auch, dass der Sinn einer robots.txt nicht ganz verstanden wurde und auf wieder anderen, wird die robots.txt für das Anwerben von Arbeitnehmern genutzt.

Diese Beispiele zeigen, dass es bei der Bestückung der robots.txt Dateien durchaus noch Nachholbedarf gibt. Dies stellten auch die Internetkapitäne fest, nachdem der Google Beitrag am Montag die Runde machte. Das Ergebnis war durchaus spannend, denn gegenwärtig haben laut Zufallsstichprobe derzeit immerhin 16% der untersuchten Seiten in der robots.txt die Anweisung, dass alle Daten in Bezug auf CSS und JavaScript für die Crawler gesperrt sind.

Das Auge entscheidet mit

Generell lassen diese Änderungen darauf schließen, dass Google in Zukunft mehr auf das Design einer Seite achten wird, denn durch das Rendern wird die Seite so angezeigt, wie sie die Besucher wahrnehmen.

Zwar sind Design-, Grafik- und Contentqualität auch immer ein wenig subjektiv, aber hier geben die Search Quality Guidelines einen Ausblick darauf, was Google wichtig ist. So ist nicht nur das Verhältnis vom Hauptinhalt zu den Nebeninhalten von Bedeutung, sondern (vor allem) die Sichtbarkeit ebendieser Inhalte.

Die Search Quality Guidelines beziehen dies z.B. auf folgende Punkte:

Wenn diese Punkte erfüllt sind und eben auch von Google (automatisiert) erfasst werden, sollte zumindest von Seiten der robots.txt kein Problem mehr bestehen, wenn es darum geht beste Platzierungen mit der eigenen Domain zu erreichen. Zwar lässt es sich schwer einschätzen, wann bzw. in welchem Maße der Ausschluss von JavaScript-, CSS-, und Bilddateien negative Auswirkungen auf eine Domain haben kann, austesten sollte man es aber eher nicht.