Darpa: Memex soll die Suchmaschine für das Deep Web werden

Die US-Behörde Darpa hat die Komponenten ihrer Suchmaschine Memex veröffentlicht. Mit ihr soll auch das Deep Web und vor allem das Tor-Netzwerk durchsucht werden können. Hilfe bekam die Darpa von den Tor-Entwicklern.

Artikel veröffentlicht am ,
Die Suchmaschine Memex der Darpa soll auch Informationen aus dem Deep Web sammeln können.
Die Suchmaschine Memex der Darpa soll auch Informationen aus dem Deep Web sammeln können. (Bild: Uncharted Software)

Strafverfolgungsbehörden wollen bislang unsichtbare Inhalte im Internet durchsuchen können, um Kriminelle dingfest zu machen. Traditionelle Suchmaschinen reichen hierfür nicht aus und spezielle Suchmaschinen etwa für das Tor-Netzwerk schon gar nicht. Abhilfe soll also die von der US-Behörde Defense Advanced Research Projects Agency (Darpa) vorgestellte Suchmaschine Memex schaffen. Jetzt hat die Darpa die dazu benötigten Werkzeuge veröffentlicht.

Inhalt:
  1. Darpa: Memex soll die Suchmaschine für das Deep Web werden
  2. Suchmaschinen für das Tor-Netzwerk
  3. Auftritt: Memex

Memex soll aber nicht nur Webseiten im Tor-Netzwerk sammeln und indizieren, sondern auch Inhalte im sogenannten Deep Web entdecken. Also jene Seiten, die weder von Google noch von Bing oder Yahoo indiziert werden. Diese Suchmaschinen zeigten nur fünf Prozent des tatsächlichen Inhalts des Internets an, sagte der Hauptentwickler des Memex-Projekts, Chris White, zu CBS.

Werkzeug für Strafverfolgungsbehörden

Memex, oder zumindest ein Teil der Implementierung, werde bereits erfolgreich von Strafverfolgungsbehörden in den USA angewendet, um gegen Kinderpornografie, organisierten Menschen- und Drogenhandel vorzugehen, so der CBS-Bericht. Die gesammelten Informationen, darunter auch von Werbeeinblendungen, werden zusammen mit Standortdaten durch Memex visualisiert und sollen es den Fahndern erlauben, Bewegungsprofile möglicher Täter zu erstellen. Die Fahnder können die Suchergebnisse auch selbst filtern.

Die Darpa hat sich für ihr Projekt Hilfe von einer ganzen Reihe bekannter Einrichtungen geholt, darunter renommierte Universitäten oder Forschungsinstitute. Auch von den Entwicklern beim Tor-Projekt bekommt die Darpa Hilfe, wie der Mitgründer des Projekts Roger Dingledine bestätigte. Im Gegenzug finanziert die Behörde in den nächsten Jahren Verbesserungen im Tor-Netzwerk, die den Datenverkehr beschleunigen und die Sicherheit der Nutzer erhöhen sollen.

Hilfe von Tor-Entwicklern

Stellenmarkt
  1. (Senior) Expert Development (m/w/d) Backend SAP-Commerce / Hybris
    Fressnapf Holding SE, Düsseldorf
  2. Mitarbeiter (m/w/d) für den IT First Level Support
    Diakonie Hasenbergl e.V., München
Detailsuche

Das Tor-Projekt wolle der Darpa und somit den Fahndern ein besseres Verständnis des Netzwerks vermitteln, aber keinesfalls die Anonymität der Benutzer gefährden, schreibt Dingledine. Die Adressen der versteckten Dienste (Hidden Services) im Tor-Netzwerk seien dort immerhin öffentlich und müssten demnach auch indiziert werden dürfen. Dass dort auch Kriminelle ihre Dienste anbieten und Tor einen schlechten Ruf bescheren, ärgert ihn maßlos: "Fuck them, they should get off our network, that's not what Tor is for and they're hurting all of us."

Nach Schätzungen des Forschers Gareth Owen sind durchschnittlich 45.000 Hidden Services pro Tag über Tor erreichbar. Dabei handelt es sich nicht nur um Webseiten, sondern auch auch um andere Dienste, etwa IRC-Server oder Command-and-Control-Server für Botnets. Owens Studie zufolge lassen sich aber weniger als 10.000 Dienste über einen längeren Zeitraum abrufen, etwa die Suchmaschine Duckduckgo oder Facebook, das seit Oktober 2014 ebenfalls eine Onion-Adresse hat. Viele Dienste waren nur über einen kurzen Zeitraum erreichbar - eine Herausforderung für jede Suchmaschine. Die im Vergleich zum offenen Web deutlich geringere Anzahl an zu indizierenden Webseiten hingegen dürfte Datenbanken auch auf Servern mit geringer Kapazität nicht überfordern.

Bitte aktivieren Sie Javascript.
Oder nutzen Sie das Golem-pur-Angebot
und lesen Golem.de
  • ohne Werbung
  • mit ausgeschaltetem Javascript
  • mit RSS-Volltext-Feed
Suchmaschinen für das Tor-Netzwerk 
  1. 1
  2. 2
  3. 3
  4.  


holysmoke 24. Apr 2015

Freiheit kennt keine Kompromisse. Entweder man ist frei, oder eben nicht. Kriminalität...

Oxycodon 23. Apr 2015

@mag +1000 Finde deinen Beitrag sehr gut geschrieben, besser hätte man es nicht...

zufälliger_Benu... 23. Apr 2015

Das "deep web" ist eigentlich einfach alles das über eine "normale" Suchmaschine nicht...



Aktuell auf der Startseite von Golem.de
William Shatner
Captain Kirk fliegt offenbar in die Erdumlaufbahn

Energie! Noch im Oktober 2021 fliegt William "Kirk" Shatner möglicherweise mit Jeff Bezos ins All.

William Shatner: Captain Kirk fliegt offenbar in die Erdumlaufbahn
Artikel
  1. Browser: Edge unterstützt Maus und Tastatur auf Xbox
    Browser
    Edge unterstützt Maus und Tastatur auf Xbox

    Microsoft hat Edge auf den aktuellen Xbox-Konsolen aktualisiert. Jetzt lässt sich der Browser fast wie am PC per Maus und Tastatur bedienen.

  2. 600 Millionen Euro: Bundeswehr lässt Funkgeräte von 1982 nachbauen
    600 Millionen Euro
    Bundeswehr lässt Funkgeräte von 1982 nachbauen

    Das SEM 80/90 mit 16 KBit/s wird exakt nachgebaut, zum Stückpreis von rund 20.000 Euro. Das Retrogerät geht für die Bundeswehr in Serie.

  3. MacOS Monterey Beta: Hinweise auf neues MacBook Pro 16 mit höherer Auflösung
    MacOS Monterey Beta
    Hinweise auf neues MacBook Pro 16 mit höherer Auflösung

    Die neueste Beta von MacOS Monterey beinhaltet Hinweise auf ein MacBook Pro 16 Zoll, welches ein Display mit 34.56 x 2.234 Pixel Auflösung haben soll.

Du willst dich mit Golem.de beruflich verändern oder weiterbilden?
Zum Stellenmarkt
Zur Akademie
Zum Coaching
  • Schnäppchen, Rabatte und Top-Angebote
    Die besten Deals des Tages
    Daily Deals • Samsung Odyssey G7 499€ • Alternate (u. a. Thermaltake Level 20 RS ARGB 99,90€) • Samsung 980 1 TB 83€ • Lenovo IdeaPad Duet Chromebook 229€ • Lenovo-Laptops zu Bestpreisen • 19% auf Sony-TVs bei MM • Samsung SSD 980 Pro 1TB 150,50€ • AeroCool Cylon 4 ARGB 25,89€ [Werbung]
    •  /