Warum wird eine Unterseite nicht indexiert?
In den letzten Tagen wurde ich vermehrt gefragt, warum einzelne Unterseiten nicht im Index von Google sind. Bei allen war die Webseite größtenteils im Index und für ausgewählte Suchbegriffe auch auf der ersten Seiten der Suchergebnisse. Insgesamt also eigentlich “gesunde” Webseiten, doch ein paar Unterseiten wollten nicht indexiert werden. In solchen Fällen überprüfe ich folgende Punkte:
robots.txt überprüfen
Mit der robots.txt kann man den Suchmaschinen Anweisungen geben. Werden hier die nicht indexierten Unterseiten ausgeschloßen? Ist keine robots.txt vorhanden, wird übrigens auch nichts ausgesperrt. Also im Zweifel weg damit (oder jemanden ranlassen, der sich damit auskennt). Mehr Infos dazu bei selfhtml.
Duplicated Content
Ist im Internet die exakt gleiche Information nochmal zu finden? Falls ja, kann es passieren, dass Suchmaschinen sich weigern die Unterseite mit Duplicated Content in den Index zu nehmen. Schließlich ist der Inhalt schon im Index, aber eben mit einer anderen Webseite.
Einsatz von Meta-Tags “noindex”
Ist im Header-Bereich der Webseite ein Noindex eingebaut? Im Quelltext der Webseite (Strg + u im Firefox) mal nach “noindex” suchen. Folgendes darf nicht drin stehen, wenn die Unterseite in den Index soll: content=”noindex”
Einsatz von canonical-Tag
Sehr oft wird der canonical-Tag falsch eingesetzt. Mit diesem Tag kann die Ursprungsseite angegeben werden. Steht hier eine andere URL drin, als die von uns im Index gewünschte, haben wir ein Problem (kann man wieder im Quelltext überprüfen).
Erstellung der Unterseite erst von wenigen Tagen
Eigentlich klar, aber Anfänger machen oft den Fehler zu ungeduldig zu sein. Gerade bei kleineren Webseiten kann es Tage/Wochen dauern, bis eine Unterseite im Index ist.
Unterseite unter verschiedenen URLs erreichbar
Fragt man überhaupt die richtige URL ab? Ist eine Unterseite unter verschiedenen URLs zu erreichen, entscheidet sich die Suchmaschine für eine. Das muss nicht unbedingt die sein, die man die ganze Zeit abfragt. Also vielleicht ist die Unterseite schon längst im Index, nur unter anderer Adresse. Hier sollte es übrigens der Suchmaschine so einfach wie möglich gemacht werden, das canonical-Tag, welches man auch sinnvoll einsetzen kann, hilft.
Einsatz von Blackhat-Methoden
Der Einsatz von unerlaubten Methoden, wie z.B. Cloaking kann zum Ausschluss einer Unterseite und auch der ganzen Webseite aus dem Index führen. Ist man sich also nicht sicher, ob derartige Methoden eigesetzt wurden, muss dies schnellstens überprüft werden. Überprüfen kann man z.B. Cloaking indem man sich die Webseite wie eine Suchmaschine anschaut (z.B. hier auf webconfs.com oder mit der SEOmoz Toolbar).
Spam-Links auf der Unterseite
Spammer können sich Zugriff auf Webseite verschaffen und platzieren im Beitrag oder außerhalb (dann auch gerne mit weißer Schrift auf weißem Grund) Links zu Spam-Webseiten (wird zum Beispiel bei älteren WordPress-Versionen oft gemacht). Google bestraft dann nicht die ganze Webseite, sondern nimmt nur die betroffenen Unterseite aus dem Index. Überprüfen kann man das ganze im Seitenquelltext (Strg + u im Firefox) oder man schaut sich wieder die Webseite wie eine Suchmaschine an.
Sicherlich gibt es noch mehr Möglichkeiten, aber die meisten Probleme sollten so schon gefunden werden.
Tags: Index, indexiert, Unterseite, Webseite


08. Oktober 2010 um 21:59
Eine sehr gute Liste für die ersten (und wohl wichtigsten) Schritte zur Optimierung der Erreichbarkeit durch Suchmaschinen. Man darf eben nicht vergessen, dass bei der Optimierung der Webseite (oder eines Webprojektes) um guten, qualitativ hochwertigen Content geht. Ich finde das hast du gut raus gearbeitet
.
Gruß
Thomas
09. Oktober 2010 um 12:30
Danke!
13. Oktober 2010 um 22:11
Hey Sebastian,
wollte dir auch mal einen Kommentar in deinem Blog hinterlassen. Echt klasse! Ich habe mich jetzt auch dazu bewegen lassen einen anzufangen, wobei das Thema doch etwas anders ist.
Kannst ja mal reinschauen!
http://nicosonnenschein.blog.de/
Gruß,
Nico
16. Oktober 2010 um 08:59
Eine Möglichkeit fehlt noch, die mal einem Bekannten von mir passiert ist:
Er hatte seine Seite versehentlich über die Webmastertools komplett entfernt, weil sie überarbeiten wollte (keine schlaue Idee!)… Dann vergessen, dies wieder rückgängig zu machen. Zu finden ist dies:
webmastertools->Website-Konfiguration->Crawler-Zugriff->Url entfernen
16. Oktober 2010 um 11:32
@ Nico: Viel Erfolg mit deinen Blog! Auch wenn das nicht ganz mein Thema ist, hab ich trotzdem mal deinen Blog mal abonniert.
@ Lillebor: Danke für die Ergänzung
18. November 2010 um 18:06
Danke für die Tipps! Bei mir war der canonical-Tag falsch – hat mir sehr bei der Optimierung geholfen!