Diamond: Intels Zauber-Suchmaschine

Suchsystem ohne Indexierung als Open Source veröffentlicht

Auf der Veranstaltung "Research at Intel Day" hat der Halbleiterriese im kalifornischen Santa Clara das Suchsystem "Diamond" vorgestellt. Der in Zusammenarbeit mit der Carnegie Mellon Universität (CMU) entwickelte Algorithmus kommt ohne Indexierung aus und soll auf verteilten Rechnersystemen arbeiten - vom Server bis zum Handy.

Herkömmliche Suchsysteme wie etwa Google stützen sich stark auf einen Index: Was nicht in diesem Verzeichnis mit gewichteten Schlagwörtern enthalten ist, wird nicht gefunden. Die Alternative ist, ganze Dateibestände mit Gewalt zu durchsuchen. Um etwa alle Texte auf einer Festplatte mit dem Wort "Golem" zu finden, kann man die Dateien - unabhängig von ihrem Format - auch direkt durchwühlen. Bei kryptischen Dateiformaten oder Archiven klappt das natürlich nicht.

Ein Index muss allerdings ständig auf dem aktuellen Stand gehalten werden, was gerade bei großen Dateibeständen die Systeme verlangsamt. Diamond kann jedoch anhand von Filtern, die auf die Suchmaschine selbst aufgesetzt werden, direkt loslegen. Das System baut dabei aber auch einen Index auf, der auf dem lokalen Gerät gespeichert wird. Dieser Index ist nicht notwendig, um Diamond zu benutzen. Da Diamond auch mit vernetzten Rechnern arbeitet, auf denen ein Diamond-Modul laufen muss, können die Geräte untereinander auf die Indices zugreifen. Sind diese nicht vorhanden, funktioniert die Suche trotzdem. Bei der verteilten Suche sollen die Geräte die Last der Anfragen untereinander dynamisch verteilen. Ist etwa ein Handy per Bluetooth an einen PC angebunden, kann man vom Mobiltelefon aus eine Diamond-Suche starten. Diese erstreckt sich dann vom Handy über den PC und von diesem auf Server.

Das klappt natürlich nur, wenn überall dort Diamond läuft - daher ist die Software auch quelloffen gestaltet und kann leicht portiert werden. Sie steht unter der Eclipse Public License (EPL), die kommerzielle Erweiterungen ausdrücklich vorsieht.