CSS und JavaScript Dateien in der robots.txt

CSS und JavaScript Dateien in der robots.txt

Keinen Artikel mehr verpassen: Jetzt Newsletter abonnieren!

Zwar ist mir in Bezug auf die Änderungen in Bezug auf robots.txt und CSS sowie JavaScript Anweisungen unter anderem Julian bei Seokratie zuvorgekommen, aber wichtige Google Ankündigungen möchte ich natürlich nicht unter den Tisch fallen lassen. Wer sich bislang um CSS und JavaScript immer einen großen Bogen gemacht hat, sollte nämlich nun aufmerksam lesen und die Google Änderungen in diesem Bereich zu Herzen nehmen.

Zeigt her eure Seiten

Wie Hanns Kronenberg von Sistrix schon am 24. Oktober auf seinen Facebook Seiten sagte, hat Google einen Punkt in seinen Richtlinien geändert, der durchaus weitreichende Auswirkungen auf einzelne Domains haben kann. Seit dem 27.10. gibt es nun seitens Google auch die offizielle Meldung zum Thema, die zeigt, dass Google wieder pünktlich zum Wochenende etwas durchaus Wichtiges in den Richtlinien für Webmaster geändert hat.

Abruf wie durch Google

In den Webmastertools gibt es seit einiger Zeit das Crawling der Seiten mehr oder weniger anzusehen. So kann man unter „Crawling“ > „Abruf wie durch Google“ die Seiten für mobile Endgeräte und den Desktop abrufen bzw. abrufen & rendern:

Google_Abrufen_und_Rendern

 

Klickt man auf das „Abrufen und Rendern“, wird der jeweilige Pfad, den man vorher eingegeben hat, bzw. die Startseite untersucht. Wenn dies abgeschlossen ist (dauert lediglich ein paar Sekunden), hat man die Möglichkeit, die gerenderte Seite anzusehen. Hierzu muss man einfach auf das Häkchen klicken, welches sich unter dem Rendern befindet und schon erscheint die gerenderte Seite in den Webmastertools:

Gerenderte_Seite_Google

 

Das Indexierungssystem von Google stellt die Websites also wie ein typischer Browser dar, bei dem CSS und JavaScript aktiviert sind. Um dies vollständig durchführen zu können, braucht der Googlebot vor allem eins: Zugriff auf ebendiese Dateien.

Laut aktuellen Richtlinien sollten Webmaster daher dem Googlebot Zugriff auf JavaScript-, CSS-, und Bilddateien geben, damit das Rendern der Seiten nicht beeinträchtigt wird.

Die robots.txt überprüfen

Mit Hilfe der robots.txt kann Google und anderen Bots verboten werden, bestimmte Bereiche einer Seite zu Crawlen bzw. zu begutachten. Je nachdem um was es sich für eine Seite handelt, haben robots.txt Dateien unterschiedliche Längen. Bei einigen sieht man auch, dass der Sinn einer robots.txt nicht ganz verstanden wurde und auf wieder anderen, wird die robots.txt für das Anwerben von Arbeitnehmern genutzt.

Diese Beispiele zeigen, dass es bei der Bestückung der robots.txt Dateien durchaus noch Nachholbedarf gibt. Dies stellten auch die Internetkapitäne fest, nachdem der Google Beitrag am Montag die Runde machte. Das Ergebnis war durchaus spannend, denn gegenwärtig haben laut Zufallsstichprobe derzeit immerhin 16% der untersuchten Seiten in der robots.txt die Anweisung, dass alle Daten in Bezug auf CSS und JavaScript für die Crawler gesperrt sind.

Das Auge entscheidet mit

Generell lassen diese Änderungen darauf schließen, dass Google in Zukunft mehr auf das Design einer Seite achten wird, denn durch das Rendern wird die Seite so angezeigt, wie sie die Besucher wahrnehmen.

Zwar sind Design-, Grafik- und Contentqualität auch immer ein wenig subjektiv, aber hier geben die Search Quality Guidelines einen Ausblick darauf, was Google wichtig ist. So ist nicht nur das Verhältnis vom Hauptinhalt zu den Nebeninhalten von Bedeutung, sondern (vor allem) die Sichtbarkeit ebendieser Inhalte.

Die Search Quality Guidelines beziehen dies z.B. auf folgende Punkte:

Wenn diese Punkte erfüllt sind und eben auch von Google (automatisiert) erfasst werden, sollte zumindest von Seiten der robots.txt kein Problem mehr bestehen, wenn es darum geht beste Platzierungen mit der eigenen Domain zu erreichen. Zwar lässt es sich schwer einschätzen, wann bzw. in welchem Maße der Ausschluss von JavaScript-, CSS-, und Bilddateien negative Auswirkungen auf eine Domain haben kann, austesten sollte man es aber eher nicht.

Melden Sie sich für unseren Newsletter an

Bleibe auf dem Laufenden und erhalte neue Beiträge und Insights von SEOPT per E-Mail, kostenlos!

Über den Autor

Wer schreibt eigentlich hier? Mein Name ist Helen Schrader, Diplom-Geographin und ambitionierte Bloggerin in den Bereichen SEO und Online Marketing. Schwerpunktmäßig beschäftige ich mich mit E-Commerce, Social Media, internetgestützter Markt- und Meinungsforschung sowie kollaborativen Internetumgebungen.

Weitere Artikel von Helen Schrader. Helen Schrader auf Google+. Helen Schrader auf Twitter.

Ähnliche Beiträge

Was kostet SEO?

Was kostet SEO?

Was kostet SEO? Welches Budget ist sinnvoll? Und wie berechnet man die Rentabilität von Suchmaschinenoptimierung? Auch wenn Suchmaschinenoptimierung für viele Unternehmen nach wie vor ein […]


Keine Kommentare vorhanden

Du hast eine Frage oder eine Meinung zum Artikel? Teile sie mit uns!

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind markiert *

*
*

Abonnieren Sie unseren kostenlosen E-Mail Newsletter ANMELDEN