Warum wird eine Unterseite nicht indexiert?
In den letzten Tagen wurde ich vermehrt gefragt, warum einzelne Unterseiten nicht im Index von Google sind. Bei allen war die Webseite größtenteils im Index und für ausgewählte Suchbegriffe auch auf der ersten Seiten der Suchergebnisse. Insgesamt also eigentlich “gesunde” Webseiten, doch ein paar Unterseiten wollten nicht indexiert werden. In solchen Fällen überprüfe ich folgende Punkte:
robots.txt überprüfen
Mit der robots.txt kann man den Suchmaschinen Anweisungen geben. Werden hier die nicht indexierten Unterseiten ausgeschloßen? Ist keine robots.txt vorhanden, wird übrigens auch nichts ausgesperrt. Also im Zweifel weg damit (oder jemanden ranlassen, der sich damit auskennt). Mehr Infos dazu bei selfhtml.
Duplicated Content
Ist im Internet die exakt gleiche Information nochmal zu finden? Falls ja, kann es passieren, dass Suchmaschinen sich weigern die Unterseite mit Duplicated Content in den Index zu nehmen. Schließlich ist der Inhalt schon im Index, aber eben mit einer anderen Webseite.
Einsatz von Meta-Tags “noindex”
Ist im Header-Bereich der Webseite ein Noindex eingebaut? Im Quelltext der Webseite (Strg + u im Firefox) mal nach “noindex” suchen. Folgendes darf nicht drin stehen, wenn die Unterseite in den Index soll: content=”noindex”
Einsatz von canonical-Tag
Sehr oft wird der canonical-Tag falsch eingesetzt. Mit diesem Tag kann die Ursprungsseite angegeben werden. Steht hier eine andere URL drin, als die von uns im Index gewünschte, haben wir ein Problem (kann man wieder im Quelltext überprüfen).
Erstellung der Unterseite erst von wenigen Tagen
Eigentlich klar, aber Anfänger machen oft den Fehler zu ungeduldig zu sein. Gerade bei kleineren Webseiten kann es Tage/Wochen dauern, bis eine Unterseite im Index ist.
Unterseite unter verschiedenen URLs erreichbar
Fragt man überhaupt die richtige URL ab? Ist eine Unterseite unter verschiedenen URLs zu erreichen, entscheidet sich die Suchmaschine für eine. Das muss nicht unbedingt die sein, die man die ganze Zeit abfragt. Also vielleicht ist die Unterseite schon längst im Index, nur unter anderer Adresse. Hier sollte es übrigens der Suchmaschine so einfach wie möglich gemacht werden, das canonical-Tag, welches man auch sinnvoll einsetzen kann, hilft.
Einsatz von Blackhat-Methoden
Der Einsatz von unerlaubten Methoden, wie z.B. Cloaking kann zum Ausschluss einer Unterseite und auch der ganzen Webseite aus dem Index führen. Ist man sich also nicht sicher, ob derartige Methoden eigesetzt wurden, muss dies schnellstens überprüft werden. Überprüfen kann man z.B. Cloaking indem man sich die Webseite wie eine Suchmaschine anschaut (z.B. hier auf webconfs.com oder mit der SEOmoz Toolbar).
Spam-Links auf der Unterseite
Spammer können sich Zugriff auf Webseite verschaffen und platzieren im Beitrag oder außerhalb (dann auch gerne mit weißer Schrift auf weißem Grund) Links zu Spam-Webseiten (wird zum Beispiel bei älteren WordPress-Versionen oft gemacht). Google bestraft dann nicht die ganze Webseite, sondern nimmt nur die betroffenen Unterseite aus dem Index. Überprüfen kann man das ganze im Seitenquelltext (Strg + u im Firefox) oder man schaut sich wieder die Webseite wie eine Suchmaschine an.
Sicherlich gibt es noch mehr Möglichkeiten, aber die meisten Probleme sollten so schon gefunden werden.
