Achtung! Hohe Bestrafung für Duplicate Content durch Google
Gerade in den letzten Wochen ist der Crawler von Google besonders intensiv zugange und setzt sehr viel in den Index. Gleichzeitig lässt Google Duplicate Content weniger zu als vorher und bestraft dessen Auftreten mit harten Sanktionen.
Robots.txt ohne Wirkung
Der Robot von Google richtet sich häufig nicht mehr danach, wenn man über robots.txt Content vom Crawler ausschließen will. Viele Inhalte werden von Google trotzdem indexiert. An der „site:domain.de“ Abfrage kann man an den letzten Ergebnissen sehen, welche Seiten von Google gecrawlt wurden, obwohl sie es eigentlich gar nicht sollten.
Es nützt überhaupt nichts mehr, Seiten in der robots.txt zu sperren, denn diese werden trotzdem indexiert, nur die Description taucht nicht nicht mehr auf. Auch den Googlebot als „User-agent: Googlebot“ anzureden statt mit „User-agent: *“ hat keinen positiven Effekt mehr für den Webseitenbetreiber. Natürlich bewertet die Suchmaschine Webseiten mit doppelten Inhalten schlechter als solche ohne.
Noindex als Möglichkeit auch weggefallen
Früher konnte man mit dem Befehl „meta name=“robots“ content=“noindex, follow“ noch Google davon abhalten, den Crawler über eine Seite zu schicken, selbst wenn die Sperrung im robots.txt nicht half. Aber heute ist selbst das nicht mehr möglich. Immerhin ist es noch wichtig, „follow“ zu schreiben, weil dann selbst im Falle einer Nicht-Indexierung die Links auf dieser Seite gewertet werden.
Google und sein Crawler
Weshalb sich Google und sein Crawler bei der Indexierung heute anders verhalten als früher, ist nicht bekannt. Zwar kann man rechtlich dagegen einschreiten, wenn Google z.B. Bilder indexiert, die nicht gecrawlt werden sollten. Aber das durchzusetzen, ist schwierig.
Überhaupt kann man feststellen, dass der Crawler im Moment ganz besonders rege ist, auch wenn er es manchmal übertreibt. Beispielsweise wurde bei einem Onlineshop eine Produktkategorieseite bis zur neunten Seite indexiert. Allerdings verfügte der betroffene Onlineshop nur über zwei Produktkategorienseiten, so dass der Crawler Seiten indexiert hat, die leer waren.
Erst ab Seite 10 wurde nicht mehr indexiert, da hier ein 404-Fehler vorlag. Sonst wären womöglich noch mehr leere Seiten unbeabsichtigt im Index gelandet.
Die Auswirkungen einer übertriebenen Indexierung
Das Problem solch einer ausufernden Indexierung liegt darin, dass Google eine Webseite desto schlechter rankt, je mehr Seiten ohne viel Inhalt vertreten sind. Leider sieht es nicht danach aus, als wenn Google diese leeren Seiten unberücksichtigt ließe, so dass sie dennoch indexiert werden. Man muss sich nur wundern, wieso Google so viele Ressourcen für solche Dinge einsetzen kann, denn der Aufwand muss ja beträchtlich sein.
Einzige Möglichkeit: Rel=canonical
Wenn man wirklich verhindern will, dass doppelte Inhalte von einem in den In
