01. September 2010

Warum wird eine Unterseite nicht indexiert?

In den letzten Tagen wurde ich vermehrt gefragt, warum einzelne Unterseiten nicht im Index von Google sind. Bei allen war die Webseite größtenteils im Index und für ausgewählte Suchbegriffe auch auf der ersten Seiten der Suchergebnisse. Insgesamt also eigentlich “gesunde” Webseiten, doch ein paar Unterseiten wollten nicht indexiert werden. In solchen Fällen überprüfe ich folgende Punkte:

robots.txt überprüfen

Mit der robots.txt kann man den Suchmaschinen Anweisungen geben. Werden hier die nicht indexierten Unterseiten ausgeschloßen? Ist keine robots.txt vorhanden, wird übrigens auch nichts ausgesperrt. Also im Zweifel weg damit (oder jemanden ranlassen, der sich damit auskennt). Mehr Infos dazu bei selfhtml.

Duplicated Content

Ist im Internet die exakt gleiche Information nochmal zu finden? Falls ja, kann es passieren, dass Suchmaschinen sich weigern die Unterseite mit Duplicated Content in den Index zu nehmen. Schließlich ist der Inhalt schon im Index, aber eben mit einer anderen Webseite.

Einsatz von Meta-Tags “noindex”

Ist im Header-Bereich der Webseite ein Noindex eingebaut? Im Quelltext der Webseite (Strg + u im Firefox) mal nach “noindex” suchen. Folgendes darf nicht drin stehen, wenn die Unterseite in den Index soll: content=”noindex”

Einsatz von canonical-Tag

Sehr oft wird der canonical-Tag falsch eingesetzt. Mit diesem Tag kann die Ursprungsseite angegeben werden. Steht hier eine andere URL drin, als die von uns im Index gewünschte, haben wir ein Problem (kann man wieder im Quelltext überprüfen).

Erstellung der Unterseite erst von wenigen Tagen

Eigentlich klar, aber Anfänger machen oft den Fehler zu ungeduldig zu sein. Gerade bei kleineren Webseiten kann es Tage/Wochen dauern, bis eine Unterseite im Index ist.

Unterseite unter verschiedenen URLs erreichbar

Fragt man überhaupt die richtige URL ab? Ist eine Unterseite unter verschiedenen URLs zu erreichen, entscheidet sich die Suchmaschine für eine. Das muss nicht unbedingt die sein, die man die ganze Zeit abfragt. Also vielleicht ist die Unterseite schon längst im Index, nur unter anderer Adresse. Hier sollte es übrigens der Suchmaschine so einfach wie möglich gemacht werden, das canonical-Tag, welches man auch sinnvoll einsetzen kann, hilft.

Einsatz von Blackhat-Methoden

Der Einsatz von unerlaubten Methoden, wie z.B. Cloaking kann zum Ausschluss einer Unterseite und auch der ganzen Webseite aus dem Index führen. Ist man sich also nicht sicher, ob derartige Methoden eigesetzt wurden, muss dies schnellstens überprüft werden. Überprüfen kann man z.B. Cloaking indem man sich die Webseite wie eine Suchmaschine anschaut (z.B. hier auf webconfs.com oder mit der SEOmoz Toolbar).

Spam-Links auf der Unterseite

Spammer können sich Zugriff auf Webseite verschaffen und platzieren im Beitrag oder außerhalb (dann auch gerne mit weißer Schrift auf weißem Grund) Links zu Spam-Webseiten (wird zum Beispiel bei älteren WordPress-Versionen oft gemacht). Google bestraft dann nicht die ganze Webseite, sondern nimmt nur die betroffenen Unterseite aus dem Index. Überprüfen kann man das ganze im Seitenquelltext (Strg + u im Firefox) oder man schaut sich wieder die Webseite wie eine Suchmaschine an.

Sicherlich gibt es noch mehr Möglichkeiten, aber die meisten Probleme sollten so schon gefunden werden.

Tags: , , ,

6 Antworten zu “Warum wird eine Unterseite nicht indexiert?”

  1. Thomas sagt:

    Eine sehr gute Liste für die ersten (und wohl wichtigsten) Schritte zur Optimierung der Erreichbarkeit durch Suchmaschinen. Man darf eben nicht vergessen, dass bei der Optimierung der Webseite (oder eines Webprojektes) um guten, qualitativ hochwertigen Content geht. Ich finde das hast du gut raus gearbeitet :-) .

    Gruß
    Thomas

  2. Sebastian Frisch sagt:

    Danke!

  3. Nico Klose sagt:

    Hey Sebastian,

    wollte dir auch mal einen Kommentar in deinem Blog hinterlassen. Echt klasse! Ich habe mich jetzt auch dazu bewegen lassen einen anzufangen, wobei das Thema doch etwas anders ist.

    Kannst ja mal reinschauen!
    http://nicosonnenschein.blog.de/

    Gruß,
    Nico

  4. Lillebor sagt:

    Eine Möglichkeit fehlt noch, die mal einem Bekannten von mir passiert ist:
    Er hatte seine Seite versehentlich über die Webmastertools komplett entfernt, weil sie überarbeiten wollte (keine schlaue Idee!)… Dann vergessen, dies wieder rückgängig zu machen. Zu finden ist dies:
    webmastertools->Website-Konfiguration->Crawler-Zugriff->Url entfernen

  5. Sebastian Frisch sagt:

    @ Nico: Viel Erfolg mit deinen Blog! Auch wenn das nicht ganz mein Thema ist, hab ich trotzdem mal deinen Blog mal abonniert.

    @ Lillebor: Danke für die Ergänzung :-)

  6. Dennis sagt:

    Danke für die Tipps! Bei mir war der canonical-Tag falsch – hat mir sehr bei der Optimierung geholfen!

Antworte zu Warum wird eine Unterseite nicht indexiert?

Trackbacks sind follow, Kommentare nofollow