Darpa: Memex soll die Suchmaschine für das Deep Web werden

Die US-Behörde Darpa hat die Komponenten ihrer Suchmaschine Memex veröffentlicht. Mit ihr soll auch das Deep Web und vor allem das Tor-Netzwerk durchsucht werden können. Hilfe bekam die Darpa von den Tor-Entwicklern.

Artikel veröffentlicht am ,
Die Suchmaschine Memex der Darpa soll auch Informationen aus dem Deep Web sammeln können.
Die Suchmaschine Memex der Darpa soll auch Informationen aus dem Deep Web sammeln können. (Bild: Uncharted Software)

Strafverfolgungsbehörden wollen bislang unsichtbare Inhalte im Internet durchsuchen können, um Kriminelle dingfest zu machen. Traditionelle Suchmaschinen reichen hierfür nicht aus und spezielle Suchmaschinen etwa für das Tor-Netzwerk schon gar nicht. Abhilfe soll also die von der US-Behörde Defense Advanced Research Projects Agency (Darpa) vorgestellte Suchmaschine Memex schaffen. Jetzt hat die Darpa die dazu benötigten Werkzeuge veröffentlicht.

Inhalt:
  1. Darpa: Memex soll die Suchmaschine für das Deep Web werden
  2. Suchmaschinen für das Tor-Netzwerk
  3. Auftritt: Memex

Memex soll aber nicht nur Webseiten im Tor-Netzwerk sammeln und indizieren, sondern auch Inhalte im sogenannten Deep Web entdecken. Also jene Seiten, die weder von Google noch von Bing oder Yahoo indiziert werden. Diese Suchmaschinen zeigten nur fünf Prozent des tatsächlichen Inhalts des Internets an, sagte der Hauptentwickler des Memex-Projekts, Chris White, zu CBS.

Werkzeug für Strafverfolgungsbehörden

Memex, oder zumindest ein Teil der Implementierung, werde bereits erfolgreich von Strafverfolgungsbehörden in den USA angewendet, um gegen Kinderpornografie, organisierten Menschen- und Drogenhandel vorzugehen, so der CBS-Bericht. Die gesammelten Informationen, darunter auch von Werbeeinblendungen, werden zusammen mit Standortdaten durch Memex visualisiert und sollen es den Fahndern erlauben, Bewegungsprofile möglicher Täter zu erstellen. Die Fahnder können die Suchergebnisse auch selbst filtern.

Die Darpa hat sich für ihr Projekt Hilfe von einer ganzen Reihe bekannter Einrichtungen geholt, darunter renommierte Universitäten oder Forschungsinstitute. Auch von den Entwicklern beim Tor-Projekt bekommt die Darpa Hilfe, wie der Mitgründer des Projekts Roger Dingledine bestätigte. Im Gegenzug finanziert die Behörde in den nächsten Jahren Verbesserungen im Tor-Netzwerk, die den Datenverkehr beschleunigen und die Sicherheit der Nutzer erhöhen sollen.

Hilfe von Tor-Entwicklern

Stellenmarkt
  1. Informatiker / Anwendungsentwickler als IT-Projektmanager webbasierte Softwareentwicklung (m/w/d)
    BLUEEND AG, Wiesbaden
  2. IT-Servicedesk Manager (w/m/d)
    ANITA Service GmbH, Brannenburg
Detailsuche

Das Tor-Projekt wolle der Darpa und somit den Fahndern ein besseres Verständnis des Netzwerks vermitteln, aber keinesfalls die Anonymität der Benutzer gefährden, schreibt Dingledine. Die Adressen der versteckten Dienste (Hidden Services) im Tor-Netzwerk seien dort immerhin öffentlich und müssten demnach auch indiziert werden dürfen. Dass dort auch Kriminelle ihre Dienste anbieten und Tor einen schlechten Ruf bescheren, ärgert ihn maßlos: "Fuck them, they should get off our network, that's not what Tor is for and they're hurting all of us."

Nach Schätzungen des Forschers Gareth Owen sind durchschnittlich 45.000 Hidden Services pro Tag über Tor erreichbar. Dabei handelt es sich nicht nur um Webseiten, sondern auch auch um andere Dienste, etwa IRC-Server oder Command-and-Control-Server für Botnets. Owens Studie zufolge lassen sich aber weniger als 10.000 Dienste über einen längeren Zeitraum abrufen, etwa die Suchmaschine Duckduckgo oder Facebook, das seit Oktober 2014 ebenfalls eine Onion-Adresse hat. Viele Dienste waren nur über einen kurzen Zeitraum erreichbar - eine Herausforderung für jede Suchmaschine. Die im Vergleich zum offenen Web deutlich geringere Anzahl an zu indizierenden Webseiten hingegen dürfte Datenbanken auch auf Servern mit geringer Kapazität nicht überfordern.

Bitte aktivieren Sie Javascript.
Oder nutzen Sie das Golem-pur-Angebot
und lesen Golem.de
  • ohne Werbung
  • mit ausgeschaltetem Javascript
  • mit RSS-Volltext-Feed
Suchmaschinen für das Tor-Netzwerk 
  1. 1
  2. 2
  3. 3
  4.  


holysmoke 24. Apr 2015

Freiheit kennt keine Kompromisse. Entweder man ist frei, oder eben nicht. Kriminalität...

Oxycodon 23. Apr 2015

@mag +1000 Finde deinen Beitrag sehr gut geschrieben, besser hätte man es nicht...

zufälliger_Benu... 23. Apr 2015

Das "deep web" ist eigentlich einfach alles das über eine "normale" Suchmaschine nicht...



Aktuell auf der Startseite von Golem.de
Elon Musk und Manchester United
Der Meme-Lord braucht die Blutgrätsche

Wenn Musk twittert, zittern die Anleger und nun auch Fußball-Fans. Wie sich der Milliardär endgültig ins Abseits bewegt und wie die Öffentlichkeit damit umgehen sollte.
Ein IMHO von Lennart Mühlenmeier

Elon Musk und Manchester United: Der Meme-Lord braucht die Blutgrätsche
Artikel
  1. Urteil: Tesla darf den Autopilot weiterhin so nennen
    Urteil
    Tesla darf den Autopilot weiterhin so nennen

    Das Assistenzsystem-Paket von Tesla darf weiterhin als Autopilot bezeichnet werden. Der Versuch, dies Tesla zu verbieten, blieb vor Gericht erfolglos.

  2. Anti-Scalper: Amazon verkauft Playstation 5 nur noch mit Einladung
    Anti-Scalper
    Amazon verkauft Playstation 5 nur noch mit Einladung

    Prime ist nicht mehr nötig, aber dafür eine Einladung: Wegen anhaltender Lieferengpässe hat Amazon den Bestellvorgang bei der PS5 geändert.

  3. Post-Quanten-Kryptografie: Die neuen Kryptoalgorithmen gegen Quantencomputer
    Post-Quanten-Kryptografie
    Die neuen Kryptoalgorithmen gegen Quantencomputer

    Die US-Behörde NIST standardisiert neue Public-Key-Algorithmen - um vor zukünftigen Quantencomputern sicher zu sein.
    Eine Analyse von Hanno Böck

Du willst dich mit Golem.de beruflich verändern oder weiterbilden?
Zum Stellenmarkt
Zur Akademie
Zum Coaching
  • Schnäppchen, Rabatte und Top-Angebote
    Die besten Deals des Tages
    Daily Deals • PS5 bestellbar bei Amazon & Co. • MSI Geburtstags-Rabatte • Neuer Saturn-Flyer • Game of Thrones reduziert • MindStar (MSI RTX 3070 599€) • Günstig wie nie: MSI 32" WHD 175 Hz 549€, Zotac RTX 3080 12GB 829€, Samsung SSD 1TB/2TB (PS5) 111€/199,99€ • Bester 2.000€-Gaming-PC[Werbung]
    •  /