Indexbereinigung: Warum für SEO weniger mehr sein kann

Zu einer guten Onpage-Optimierung gehört ein regelmäßiger Blick auf die Seiten, die von Google indexiert sind. Überraschenderweise sammeln sich schnell Inhalte in der Suche, die Sie dort gar nicht haben möchten. Das kann unter anderem inhaltliche Duplikate oder auch veralteten, minderwertigen Content betreffen.

Auf den ersten Blick klingt das gar nicht dramatisch. Diese Einschätzung ist aber für SEO nicht korrekt. Denn je mehr unnütze Seiten die Google-Suche „verstopfen“, desto eher entstehen Nachteile für Ihre Webseite oder Ihren Shop. Also ist Hosekeeping angesagt: die Indexbereinigung. In diesem Artikel erfahren Sie, warum eine Indexbereinigung wichtig ist, welche Seiten Sie aus dem Index entfernen sollten und wie Sie bei der Indexbereinigung vorgehen.

Warum ist die Indexbereinigung überhaupt wichtig?

Dazu eine Gegenfrage: Was bringt es einem Nutzer, wenn er über die Google-Suche auf eine Schlagwort-Übersicht, einen kurzen Absatz Text zu einem umfassenden Thema oder eine veraltete Information kommt? Nichts. Welchen Mehrwert bieten Seite 1 und Seite 2 zur gleichen Produktkategorie oder ein Inhalt mit zwei URLs, die sich nur durch einen unterschiedlichen Parameter in der URL unterscheiden? Keinen.

Die Antwort lautet daher: Weil nicht-relevante Inhalte einfach überflüssig sind und sich negativ auf die Seitenperformance auswirken können. Denn sie führen dazu, dass …

1. … Suchende diese Seiten im Google-Index anklicken. Das führt jedoch zu einer schlechten Nutzererfahrung. Die Menschen sind enttäuscht, Ihre Webseite verliert an Akzeptanz bei potenziellen Kunden. Zusätzlich ist die Rückkehr der Nutzer zur Google-Suche ein negatives Signal.
2. … Google die wichtigen Seiten nicht mehr so gut erkennt. Die Gewichtung innerhalb des Projekts kann sich verschieben und relevante Seiten verlieren möglicherweise Plätze in der Google-Trefferliste.
3. … Ihr Crawlbudget unnötig belastet wird. Das gilt insbesondere bei größeren Shops und Portalen. Google stellt eine gewisse Kapazität zum Crawlen Ihrer Seite bereit. Je mehr unwichtige Seiten im Index sind, desto eher findet der Crawler Änderungen und neue Angebote relevanter Inhalte nicht mehr so schnell. Die Indexierung der wichtigen Seiten verzögert sich.

Hinzu kommen noch Erfahrungswerte aus den Google-Updates der letzten Jahre. Google betrachtet zwar beim Ranking Einzelseiten, aber es fließt auch das Gesamtprojekt auf mehreren Ebenen mit in die Bewertung ein. Eine Vielzahl von schwachen oder irrelevanten Seiten im Index dämpft das Ranking der wichtigen Seiten. Kurz: Ihr Projekt verliert Sichtbarkeit und Umsatzpotenzial.

Welche Inhalte genau betrifft eine Indexbereinigung?

Sie sind bestrebt, Ihre Keywords und Ihre Themen breit abzudecken, um die Relevanz der gesamten Webseite zu steigern. Viele schwache oder irrelevante Einzelseiten stehen dem jedoch entgegen. Das ist bereits seit den Panda-Updates bekannt und durch Googles E-E-A-T-Ausrichtung wurde dies noch einmal verstärkt.

Kurz gesagt: Relevanz, Aktualität und das Erfüllen der Nutzerintention sind der Schlüssel zum Erfolg. Je mehr Seiten umfassende Qualität bieten, desto besser ist es. Genau dabei stören irrelevante Seiten.

Es folgt daraus die nächste wichtige Frage: Wenn es sinnvoll ist, die Webseite einer Indexbereinigung zu unterziehen, welche Inhalte sollten dann nicht im Index sein? Immerhin müssen Sie zwischen relevanten und irrelevanten Seiten in irgendeiner Weise unterscheiden und dabei bestimmte Kriterien anlegen.

Was sollte indexierter Content bieten?

Drehen Sie die Sichtweise einmal um. Was muss eine Einzelseite bieten, dass sie im Index sein sollte? Sie sollte wenigstens eins der folgenden Kriterien erfüllen:

• Die Seite erhält (viel) Traffic,
• die Seite generiert wenigstens einen auf sie verweisenden Link,
• die Seite trägt zum Umsatz bei,
• die Seite ist essenziell zur Darstellung des eigenen Angebots oder des Unternehmens.

Erfüllt die Seite keinen dieser Punkte, steht Sie zur Diskussion. Die Deindexierung kann ein sinnvoller Schritt sein. Doch, Vorsicht! Prüfen Sie vor der Indexbereinigung die Seiten ganz genau. Sonst verlieren Sie möglicherweise Links, Traffic und Umsatz.

Zur Bewertung bietet sich ein umfassendes Content-Audit an. In unserem SEO-Ratgeber Content-Audit: Datengetriebene Optimierung finden Sie praktische Tipps zu diesem Thema, die Ihnen auch bei der Indexbereinigung nützlich sein werden. Sie können eine Indexbereinigung jedoch auch mit einfacheren Mitteln auf den Weg bringen. Im weiteren Text finden Sie entsprechende Ansätze.

Indexbereinigung: typische Inhalte

Es gibt eine Reihe von typischen Seiten, die nicht die erforderlichen Kriterien erfüllen, um einen sinnvollen Beitrag zur Performance einer Seite leisten zu können. Dazu zählen die folgenden Inhalte:

• Leere Seiten: Solche Seiten kann es immer mal wieder aus verschiedenen Gründen geben. Sie helfen natürlich niemandem und haben keinen sinnvollen Zweck. Also sollten Sie diese Seiten löschen.
• Seiten mit parametrisierten URLs: Dabei handelt es sich um Seiten, denen das CMS oder Shopsystem am Ende der URL einen Parameter anhängt. Typisch ist das für Produkte in Listen. Dabei können Duplikate entstehen. Bei einer guten Einstellung des Systems tauchen diese Inhalte nicht im Google-Index auf, so dass hier die Indexsteuerung eigentlich nicht das primäre Problem sein sollte. Allerdings sollten Sie das regelmäßig überprüfen. Viel wichtiger hier wäre die Crawlingsteuerung zu prüfen.
• Seiten mit Paginierungszusatz: Diese Inhalte entstehen, wenn Übersichtsseiten Ihres Projekts über mehrere Seiten reichen. Das System hängt dann einen Paginierungszusatz an die erste Seite. Diese Seiten sind im Index nutzlos, da sie entweder ein Duplikat sind oder den Fokus von der mit mehr Inhalt angereicherten ersten Seite ablenken.
• Seiten mit Suchergebnissen: Gleiches wie bei einem Parameteranhang gilt auch für Ergebnisse der internen Webseitensuche. Je nach Konfiguration können solche Seiten in den Google-Index gelangen, sind dort in der Regel aber nutzlos, allerdings gibt es hier durchaus clevere Ausnahmen.
• Seiten mit doppeltem oder ähnlichem Inhalt: Duplicate Content kann auf vielfältige Weise entstehen. Tauschen Sie bei Produktbeschreibungen beispielsweise nur die Farbangaben aus, entstehen zwei Seiten mit fast identischem Inhalt. Ebenso kann duplicate Content technisch durch URLs mit uns ohne „www“ entstehen. Andere Möglichkeiten sind automatisiert bereitgestellte Seiten mit Druckansichten oder pdf-Dateien des Seiteninhalts. Die Folgen: Entweder Google (und damit nicht mehr Sie) entscheidet, welche Seite wichtiger ist, oder Google kann nicht erkennen, welche Seite relevant ist und beide (alle) erzielen keine guten Rankings. Die Folge: Keyword- und URL-Kannibalisierung.
• Seiten mit wenig, veraltetem oder schlechtem Inhalt: Solche Inhalte können die Nutzererfahrung negativ beeinflussen. Wenig relevante und für Nutzer uninteressante Inhalte werden in der Suche von Google kaum gute Platzierungen erreichen und schwächen das Ranking des gesamten Projekts. Es ist etwas Fingerspitzengefühl gefragt, denn der Inhalt kann für das Projekt dennoch wichtig sein. Es empfiehlt sich dann eine Überarbeitung.
• Seiten (nur) mit einer Datei: Solche Inhalte generieren viele Content-Management-Systeme und Shops automatisch. Ein typisches Beispiel ist eine Einzelseite, die bei einem Produkt nur ein eingebundenes Bild zeigt. Solche Inhalte haben keine Relevanz und führen Nutzer nicht zielgerichtet auf die gewünschte Seite.

Die Suche vor der Indexbereinigung: Wie lassen sich ungewünschte Seiten im Google-Index finden?Damit kommen wir zum praktischen Teil. Bevor Sie etwas bereinigen können, müssen Sie die Seiten finden, die Sie nicht im Index haben möchten. Um nicht relevante Seiten in Ihrem Projekt zu finden, können Sie mehrere Abfragearten ausprobieren. Alle führen jeweils zu anderen Ergebnissen und unterschiedlichen Handlungsoptionen:

• Site-Abfrage bei Google,
• Google Search Console,
• SEO-Tools, wie z. B. Screaming Frog,
• Google Analytics,
• Auswerten von Logfiles.

Site-Abfrage mit Google

Über die Google-Suche können Sie abfragen, welche Ihrer Seiten im Index sind. Dazu geben Sie in den Suchschlitz den Befehl ein: site:domainname.tld (beispielsweise site:seopt.de). Diesen Befehl können Sie noch modifizieren. Näheres finden Sie in der Google-Hilfe zum Thema.

Als Ergebnis erhalten Sie die indexierten Seiten Ihres Projekts. Die Anzahl der Daten ist begrenzt, sodass Sie bei großen Projekten nicht alle URLs erhalten. Außerdem werden möglicherweise im ersten Durchgang einige Seiten ausgeblendet. Die Liste ist also eher als eine Orientierung zu verstehen. Dennoch können Sie so bereits einen ersten Eindruck von der Indexierung erhalten und können so ggf. auch Muster und ggf. auch unnötigen Ballast erkennen.

Google Search Console

Über die Google Search Console erhalten Sie einen deutlich besseren Eindruck von indexierten Seiten. Zusätzlich finden Sie hier unter anderem Listen von Seiten, die indexiert werden könnten, aber von Google bisher nicht berücksichtigt wurden. Genau diese Listen enthalten häufig Kandidaten für eine Indexbereinigung. Gleiches gilt für Hinweise auf Canonical-Tags.

Um die Seiten zu finden, gehen Sie auf den Punkt „Indexierung/Seiten“. Die dortige Übersicht bietet nach Klick Listen von betroffenen URLs. Diese lassen sich bequem per Exportfunktion herunterladen. Diese Daten sollten Sie dann prüfen.

Wir haben einen Ratgeber veröffentlicht, der Ihnen allgemeine Tipps zur praktischen Arbeit mit der Google Search Console bietet.

SEO-Tools wie wie Screaming Frog

Sie können Ihre Seite selbst wie eine Suchmaschine crawlen. Möglich ist das mit Tools wie Screaming Frog. Diese Software listet Ihnen alle Seiten Ihres Projekts auf und zeigt umfassende Informationen bis hin zu den Indexierungsangaben und Canonical-Tags. So erhalten Sie eine Liste aller generierten Seiten mit URLs samt technischen Eigenschaften. In Kombination mit weiteren Daten wie internen Links, Ordnerstruktur oder zusätzlichen Quellen für externe Links und Rankings bietet sich so ein Fundus für datengetriebene Optimierungen.

Screaming Frog SEO Spider

• OnPage SEO
• Freemium

Der Screaming Frog SEO-Spider ist ein äußerst mächtiges und umfangreiches Desktop-Tool zur detaillierten OnPage-Analyse Ihrer Webseite. Kostenfrei für bis zu 500 URLs, darüber hinaus kostenpflichtig.

zum Tool

Google Analytics

Analyseprogramme wie Google Analytics bieten einen gewissen Einblick, welche Seite wie häufig besucht sind. Sie erkennen Verweildauer und Absprungraten. Das kann Sie bei der Entscheidung unterstützen, wie Sie mit bestimmten Seiten umgehen.

Auswerten von Logfiles

Ähnliches wie für Analysetools trifft auch für das Auswerten von Logfiles zu. Sie erkennen, welche Seiten Eingangsseiten zu Ihrem Projekt sind, wie viele Zugriffe bestimmte Seiten haben und wie sich Crawler über die Webseite bewegen. Diese Daten können Hinweise geben, ob Seiten von Google besucht werden und ob sie Traffic generieren. Auch unerwünschte Crawlversuche oder Fehler beim Crawlen lassen sich durch Logfiles identifizieren.

Das Auswerten von Logfiles ist allerdings eine Kunst für sich. Eine abgespeckte Option sind Serverstatistiken, die durch die zusammengefasste Darstellung deutlich an Relevanz verlieren.

Deindexierung praktisch: Welche Wege führen zum Erfolg?

Sie können wie oben erwähnt kaum vermeiden, dass Ihr System Seiten generiert, die Sie nicht im Index haben möchten. Umso wichtiger ist es, dass Sie Ihr Projekt überwachen und regelmäßig auf unerwünschte Seiten und Inhalte im Index überprüfen.

Sollten Sie fündig werden, können Sie auf unterschiedliche Arten auf das Problem reagieren. Die wichtigsten praktischen Ansätze lernen Sie in den nächsten Absätzen kennen.

Alle Wege, abseits einer Überarbeitung, führen nach einer gewissen Zeit dazu, dass die jeweilige Seite aus dem Index der Suchmaschinen verschwinden. Welches Vorgehen sinnvoll ist, hängt vom Inhalt ab.

Das Deindexieren kann erhebliche Auswirkungen auf die Webseite und die SEO-Metriken haben. Wägen Sie alle Schritte gut ab. Gern beraten wir Sie umfassend zu diesem Thema oder beantworten Ihre Fragen in unserer Video-Sprechstunde.

Seiten löschen und einen 301-Redirect oder eine Fehlerseite 404/410 einrichten

Stoßen Sie auf eine völlig nutzlose Seite, können Sie diese löschen. Da die URL vorerst weiter bei Google indexiert ist, besteht jedoch weiterer Handlungsbedarf.

• Setzen Sie im Idealfall einen 301-Redirect (per .htaccess-Datei oder Systemweiterleitung). So lenken Sie Links und Nutzer auf die neue Zielseite um. Die alte Seite wird im Google-Index nach einiger Zeit durch die neue Seite ersetzt.
• Ausgabe des Statuscode 404 mit einer Fehlerseite, wenn Sie Nutzern und Suchmaschinen zeigen möchten, dass die Seite gelöscht ist. Dabei versanden Links und Trafficströme jedoch auf einer Fehlerseite. Die Seite verschwindet erst nach einiger Zeit aus dem Index.
• Ausgabe des Statuscode 410, wenn Sie einen Index schnell und effektiv löschen möchten. Der Status gibt an, dass der Inhalt endgültig entfernt wurde („gone“). Auch hier sind Links und Traffic weitgehend „verloren“.

SEO-Tipp: Optimierung statt Deindexierung

Sortieren Sie nicht alle Inhalte aus, sondern nur die, die Sie wirklich nicht mehr benötigen. Wenn Sie einen Inhalt finden, der veraltet, lückenhaft oder schwach ist, kann er dennoch eine Daseinsberechtigung haben. Ergänzen Sie bei Bedarf Fakten, neue Erkenntnisse, Fotos, Videos und andere Dateien. Sie schaffen auf diese Weise neue Relevanz und Aktualität. Durch eine solche Content-Optimierung gewinnen Sie möglicherweise sogar Rankings.

Canoncial-Tag zum Deindexieren einer Seite nutzen

Eine weitere Möglichkeit ist, bestehende Seiten unverändert online zu lassen, aber mit einem Canonical-Tag auszustatten. Diese Meta-Angabe im Kopf des HTML-Quellcodes weist Suchmaschinen darauf hin, dass die gefundene Seite ähnlich wie eine andere ist und zugunsten dieser anderen nicht zu indexieren ist. Die Seite mit dem Canonical-Tag wird dann früher oder später aus dem Index entfernt.

Indexieren durch den Tag „noindex“ verbieten

Eine weitere Möglichkeit zum Deindexieren ist der Befehl „noindex“. Diesen können Sie zum einen pro Seite in den Meta-Angaben setzen. In diesem Fall unterbinden Sie das Indexieren bzw. geben Google den Hinweis, eine Seite aus dem Index zu entfernen. Das funktioniert relativ verlässlich, dauert aber etwas.

Grundsätzlich eignet sich „noindex“ für Systemseiten, die zur Strukturierung der Seite beitragen, aber keinen relevanten Inhalt bieten. Typische Beispiele sind Tag-Seiten von Blogs sowie Übersichtsseiten (Kategorien ohne Text) oder systemeigene Archive. Mit „noindex“ können Sie solche und ähnliche Seiten bereits beim Erstellen vom Google-Index ausschließen.

Deindexieren durch manuelles Entfernen aus dem Index

Wenn Sie mit technischen Maßnahmen bei der Indexbereinigung nicht weiterkommen, können Sie auch manuell eingreifen. So können Sie bestimmte Seiten schnell und effektiv aus dem Index entfernen.

Möglich ist etwa das manuelle Entfernen aus dem Index über die Google Search Console. Gehen Sie in der Search Console zum Punkt „URL Prüfung“. Geben Sie dort die URL ein. Sie erhalten Informationen zum Indexierungsstatus und können nach einer Änderung (bspw. Setzen von „noindex“) ein erneutes Crawlen beantragen.

Zusätzlich besteht die Möglichkeit, Seiten temporär aus dem Index zu nehmen. Möglich ist das unter Punkt „Indexierung/Entfernen“. Diese Funktion ist aber nur bei einer zeitkritischen Deindexierung sinnvoll.

Weiterhin können Sie eine neue Sitemap einreichen und crawlen lassen. Gehen Sie dazu auf „Indexierung/Sitemaps“ und tragen Sie die URL der Sitemap ein. Der Crawler besucht die Liste der URLs und nimmt Änderungen schneller wahr. Diese Maßnahme eignet sich insbesondere für eine Vielzahl geänderter bzw. zu deindexierender URLs.

Tipp: Denken Sie an Bing!

Google ist zwar Marktführer, aber es gibt noch mehr Anbieter. Befehle wie „noindex“ oder der Canonical-Tag funktionieren auch bei anderen Suchmaschinen wie Bing. Erhalten Sie relevanten Traffic von Bing, sollten Sie dort ebenfalls die Webmaster-Tools nutzen, um den Index zu bereinigen oder Seiten manuell zu entfernen.

Neue Stärke nach der Indexbereinigung

Sie haben nun die typischen Inhalte kennengelernt, die nicht in den Index gehören. Sie haben außerdem erfahren, wie Sie eine Statusänderung bei Google erreichen können. Das regelmäßige Prüfen auf überflüssige Seiten im Index führt – abhängig vom Umfang – zur besseren Crawlbarkeit, zu einem größeren Anteil relevanter Seiten im Google-Index und zu einer besseren Nutzererfahrung. Das sind gute Gründe für eine Indexbereinigung, mit der Sie wie bei einem Frühjahrsputz alten Ballast loswerden können.

Bereits mit einem gut konfigurierten System können Sie viele irrelevante Seiten vom Indexieren ausschließen. Der Rest ist SEO-Routine und Fleißarbeit, die sich lohnt. Denn das Aufräumen führt nach einiger Zeit in vielen Fällen zu verbesserten Rankings der wirklich wichtigen Inhalte – und damit potenziell zu mehr Umsatz. Das Motto lautet: Fokus auf das Wesentliche! Unterziehen Sie Ihre Webseite einer Frischzellenkur. Die Indexbereinigung zahlt sich erfahrungsgemäß aus – auch im wahrsten Sinne des Wortes.