Nocontent für Yahoo

Tag "robots-nocontent" hilft Crawler bei der Website-Analyse

Yahoo führt ein neues Tag ein bzw. verkündet, dass der eigene Crawler beim Durchsuchen des Webs ein neues Tag verarbeitet: "robots-nocontent". Damit lassen sich einzelne Teile innerhalb einer Website als irrelevant für eine Suchmaschine markieren, z.B. eine sich immer wiederholende Navigation oder Werbeanzeigen.

Das Tag soll so dem Crawler helfen, die wirklich wesentlichen Teile einer Seite zu erkennen. Webmaster können also dafür sorgen, dass nur die wichtigen Bestandteile ihrer Seiten von Yahoo ausgewertet werden. Letztendlich soll dies helfen, die Suchergebnisse zu verbessern, zumal auch die Häufigkeit begrenzt wird, mit der eine einzelne Website in den ersten zehn Suchresultaten auftauchen kann.

Auch können Website-Betreiber so Einfluss darauf nehmen, welche Texte in den Ergebnisseiten auftauchen - anstelle der Navigationszeile dann der Anfang des eigentlichen Inhalts. Wenn dort nun relevantere Texte zu finden sind, dürften diese die Klickrate auf die eigene Seite erhöhen, so die Idee von Yahoo.

Um dies zu erreichen, werden die entsprechenden HTML-Elemente einer Seite der Klasse "robots-nocontent" zugeordnet, wie es Yahoo auf den Hilfeseiten zu seinem Crawler Slurp beschreibt. Die so markierten Teile werden dann als irrelevant für die Suche markiert.

Links sind davon nicht betroffen, so Yahoo. Slurp nutzt auch mit "robots-nocontent" markierte Links und auch die von den Links "vererbten" Wertungen bleiben erhalten. Soll ein Link als irrelevant markiert werden, so bietet sich dafür das Tag "rel=nofollow" an. Es gehe bei dem neuen Tag vor allem darum, die einzelnen Seiten besser zu verstehen.

Im Suchindex wird das neue Tag laut Yahoo seit dem gestrigen 3. Mai 2007 berücksichtigt; bis sich die Änderungen aber auf die Suchergebnisse auswirken, kann etwas Zeit vergehen.