Yacy - Suchmaschine auf Peer-to-Peer-Basis

Prefetch-Funktion nimmt Umfeld von Webseiten in Suchindex auf

Mit Yacy geht eine Suchmaschine auf Peer-to-Peer-Basis an den Start, um sich so bei der Internetsuche unabhängig von einem einzelnen Anbieter wie etwa Google, Yahoo oder Microsoft machen zu können. Wie von Tauschbörsen bekannt, trägt jeder Nutzer seinen Teil dazu bei, damit der Dienst funktioniert. Jeder Nutzer steuert dazu für einen globalen Suchindex seinen lokalen Suchindex bei.

Artikel veröffentlicht am 11. Februar 2005, 12:58 Uhr, Ingo Pakalski

Zur Nutzung der Yacy-Suchmaschine muss eine Java-Software auf dem eigenen Rechner installiert werden, die eine Art lokalen Proxy-Server darstellt. In diesem Zwischenspeicher landen alle mit dem eigenen Rechner besuchten Webseiten und werden dann als Volltext und mit Schlagworten versehen in einen Suchindex integriert. Bei herkömmlichen Suchmaschinen grast eine Robot-Software das Internet nach Webseiten ab und fügt die gefundenen Seiten in den Suchindex ein, während dies bei Yacy quasi vom Anwender übernommen wird.

Damit der eigene Suchindex nicht nur die selbst besuchten Webseiten verarbeitet, gibt es eine so genannte Prefetch-Funktion, womit das Umfeld der besuchten Seite im Hintergrund abgegrast und ebenfalls in den Suchindex aufgenommen wird. Damit sich der Volltextindex leicht durchsuchen lässt, gehört zu Yacy auch ein Web-Server.

Die Weite bzw. Tiefe der Umfeldsuche lässt sich in der Software einstellen, allerdings ist zu beachten, dass die Anzahl der durch diesen Mechanismus geladenen Webseiten exponenziell und somit sehr schnell ansteigt. Man sollte also hier keine zu hohen Werte setzen. Geht man exemplarisch davon aus, dass sich auf jeder Webseite 30 Links befinden und der Prefetch-Wert auf 1 gestellt ist, werden 30 andere Webseiten von Yacy abgerufen. Bei einem Prefetch-Wert von 2 wird der Linkwert mit sich selbst multipliziert (30 x 30), so dass dies bereits den Aufruf von 900 Webseiten bedeuten würde.

Die P2P-Funktionen kommen dann zum Zuge, wenn Suchanfragen über die Yacy-Software gestartet werden. Denn neben dem selbst angelegten Suchindex werden auch die Indexdaten der anderen gerade aktiven Yacy-Nutzer abgefragt, was einen entsprechend großen globalen Suchindex ergibt. Durch den dezentralen Aufbau der Yacy-Suchmaschine sollen Ausfälle der Suchmaschine auf ein Minimum reduziert werden. Außerdem macht man sich so unabhängig von Firmen, die ansonsten für die Bereitstellung von Suchmaschinen verantwortlich zeichnen.

Die Yacy-Software wird für die Plattformen Windows, Linux und MacOS X kostenlos zum Download angeboten und verlangt zwingend nach Java 2.