IBM: Automatische Zusammenfassung von Websites

Neue Software soll Suchergebnisse verbessern

Während Web-Verzeichnisse wie Yahoo oder das Open Directory Project (ODP) ihre Daten von zahlreichen menschlichen Redakteuren erfassen lassen, will IBM dies mit der neuen Software InCommonSense automatisieren. Die Software erstellt automatisch Zusammenfassungen von Websites, ohne dass menschliches Eingreifen notwendig sein soll.

Artikel veröffentlicht am 28. Februar 2002, 10:36 Uhr, Jens Ihlenfeld

Die neue Applikation basiert auf einem Tool namens SnipIt, das von der IBM-Forscherin Dr. Einat Amitay ihm Rahmen ihrer PhD-Dissertation entwickelt wurde. SnipIt extrahiert automatisch Beschreibungen einer Webseite aus der Art und Weise, wie Seiten und Texte angeordnet sind.

Nach Tests, die man zusammen mit der Suchmaschine Google durchgeführt hat, soll SnipIt so in der Lage sein, etwa 5 Prozent der im Web enthaltenen Seiten mit je vier bis fünf Beschreibungen je Seite erfassen zu können. Verzeichnisse wie Yahoo oder das Open Directory Project hingegen erfassen nur 0,5 Prozent des Web.

InCommonSense nutzt nun die extrahierten Beschreibungen, um kurze kohärente Schnipsel zusammenzustellen, die Suchresultate beschreiben. "Der Output von InCommonSense-Beschreibungen für Suchmaschinen wurde rigoros gegen den Output kommerzieller Suchmaschinen getestet. Dies wurde in einem Online-Experiment mit über 1000 Teilnehmern vorgenommen", erklärt Amitay. "In Sache einfache Bedienung zeigt unsere Untersuchung, dass InCommonSense dem Output kommerzieller Suchmaschinen überlegen ist."

Eine Demonstration sowie weitere Informationen zu den Ideen hinter SnipIt finden sich auf den Seiten von Einat Amitay.