Abo
  • Services:
Anzeige
Die Suchmaschine Memex der Darpa soll auch Informationen aus dem Deep Web sammeln können.
Die Suchmaschine Memex der Darpa soll auch Informationen aus dem Deep Web sammeln können. (Bild: Uncharted Software)

Auftritt: Memex

Anzeige

Memex soll also die Suche im Tor-Netzwerk erleichtern. Dazu hat die Darpa jetzt eine ganze Palette an Werkzeugen unter freien Lizenzen veröffentlicht, die sie von verschiedenen Auftraggebern erhalten hat. Vom Unternehmen SRI International stammen die Crawler für das Tor-Netzwerk, darunter der Hidden Service Forum Spider, der Foren indiziert. Sein Werkzeug HSProbe sucht das Tor-Netzwerk nach Domains ab. SRI International hat bei der Entwicklung seiner Crawler Hilfe von den Tor-Machern bekommen.

Das Unternehmen Hyperion Grey hat eine ganze Reihe von Crawler-Werkzeugen beigesteuert, etwa Autologin, das automatisch Zugangsdaten eingibt, oder Formasaurus, das Webforms ausfüllen kann. Ihr HG Profiler vergleicht Daten auf Webseiten, die nicht miteinander verlinkt sind. Weitere Werkzeuge des Unternehmens sollen bei der Filterung und Organisation der Daten helfen. Mit ihrem Werkzeug Scrapy-Dockerhub sollen die Crawler in virtuellen Docker-Containern untergebracht werden können.

Big Data für Memex

Hinzu kommt eine ganze Reihe von Analysewerkzeugen, etwa Deepdive von der Universität Stanford. Das Machine-Learning-Werkzeug analysiert große Datenmengen, die aus Text und Multimediainhalten bestehen, und versucht, aus den Daten selbstständig Verbindungen zwischen Personen und Gruppen herzustellen, nach denen gesucht wird. Die Werkzeuge Text.jl, MITIE und Topic stammen vom MIT und dienen der Verarbeitung natürlicher Sprache in den gesammelten Dokumenten.

Die Anwendung Dossier Stack vom Unternehmen Diffeo soll spezifische Sucheingaben verarbeiten, wie es semantische Suchmaschinen wie Wolfram Alpha und Google Knowledge Graph bereits umsetzen.

Keine normale Suchmaschine

Um die großen Datenmengen zu verarbeiten, gibt es die Software-Bibliothek Arrayfire, die über Cuda und OpenCL die Rechenleistung von Grafikchips hinzuziehen kann und massive parallele Verarbeitung beherrscht. Außerdem gibt es die Visualisierungswerkzeuge DIG von der University of Southern California, Next Century Corporation und Tellfinder vom Unternehmen Uncharted Software, die die Daten für Benutzer aufbereiten.

Wie die einzelnen Komponenten zusammenarbeiten, verrät die Webseite jedoch nicht. Memex soll vor allem dabei helfen, die wachsende Datenmenge im Internet besser zu aggregieren und dem Nutzer bei der Organisation der gesammelten Daten zu helfen. Funktionen, die herkömmliche Suchmaschinen nicht lieferten, heißt es in der Zusammenfassung.

 Suchmaschinen für das Tor-Netzwerk

eye home zur Startseite
holysmoke 24. Apr 2015

Freiheit kennt keine Kompromisse. Entweder man ist frei, oder eben nicht. Kriminalität...

Oxycodon 23. Apr 2015

@mag +1000 Finde deinen Beitrag sehr gut geschrieben, besser hätte man es nicht...

zufälliger_Benu... 23. Apr 2015

Das "deep web" ist eigentlich einfach alles das über eine "normale" Suchmaschine nicht...



Anzeige

Stellenmarkt
  1. BST eltromat International Leopoldshöhe GmbH, Bielefeld
  2. Robert Bosch GmbH, Stuttgart-Feuerbach
  3. Thalia Bücher GmbH, Berlin
  4. Hornbach-Baumarkt-AG, Großraum Mannheim/Karlsruhe


Anzeige
Top-Angebote
  1. (u. a. 5€ Gratis-PSN-Guthaben zur PlayStation-Plus-Mitgliedschaft)
  2. Gratis H3 Headset by B&O beim Kauf des LG G5 Smartphones

Folgen Sie uns
       


  1. Nintendo

    Super Mario Run für iOS läuft nur mit Onlineverbindung

  2. USA

    Samsung will Note 7 in Backsteine verwandeln

  3. Hackerangriffe

    Obama will Einfluss Russlands auf US-Wahl untersuchen lassen

  4. Free 2 Play

    US-Amerikaner verzockte 1 Million US-Dollar in Game of War

  5. Die Woche im Video

    Bei den Abmahnanwälten knallen wohl schon die Sektkorken

  6. DNS NET

    Erste Kunden in Sachsen-Anhalt erhalten 500 MBit/s

  7. Netzwerk

    EWE reduziert FTTH auf 40 MBit/s im Upload

  8. Rahmenvertrag

    VG Wort will mit Unis neue Zwischenlösung für 2017 finden

  9. Industriespionage

    Wie Thyssenkrupp seine Angreifer fand

  10. Kein Internet

    Nach Windows-Update weltweit Computer offline



Haben wir etwas übersehen?

E-Mail an news@golem.de


Anzeige
Oculus Touch im Test: Tolle Tracking-Controller für begrenzte Roomscale-Erfahrung
Oculus Touch im Test
Tolle Tracking-Controller für begrenzte Roomscale-Erfahrung
  1. Microsoft Oculus Rift bekommt Kinomodus für Xbox One
  2. Gestensteuerung Oculus Touch erscheint im Dezember für 200 Euro
  3. Facebook Oculus zeigt drahtloses VR-Headset mit integriertem Tracking

Canon EOS 5D Mark IV im Test: Grundsolides Arbeitstier mit einer Portion Extravaganz
Canon EOS 5D Mark IV im Test
Grundsolides Arbeitstier mit einer Portion Extravaganz
  1. Video Youtube spielt Livestreams in 4K ab
  2. Ausgabegeräte Youtube unterstützt Videos mit High Dynamic Range
  3. Canon EOS M5 Canons neue Systemkamera hat einen integrierten Sucher

Named Data Networking: NDN soll das Internet revolutionieren
Named Data Networking
NDN soll das Internet revolutionieren
  1. Geheime Überwachung Der Kanarienvogel von Riseup singt nicht mehr
  2. Bundesförderung Bundesländer lassen beim Breitbandausbau Milliarden liegen
  3. Internet Protocol Der Adresskollaps von IPv4 kann verzögert werden

  1. Re: was soll immer diese schwachsinnige Asymmetrie...

    GodFuture | 00:58

  2. Re: Diese ganzen angeblichen F2P sollte man...

    Lasse Bierstrom | 00:58

  3. Re: Uuund raus

    Bessunger | 00:58

  4. Re: 2-Faktor-Authentifizierung ist die Antithese...

    Bessunger | 00:55

  5. Das Ultimative Update

    ED_Melog | 00:45


  1. 17:27

  2. 12:53

  3. 12:14

  4. 11:07

  5. 09:01

  6. 18:40

  7. 17:30

  8. 17:13


  1. Themen
  2. A
  3. B
  4. C
  5. D
  6. E
  7. F
  8. G
  9. H
  10. I
  11. J
  12. K
  13. L
  14. M
  15. N
  16. O
  17. P
  18. Q
  19. R
  20. S
  21. T
  22. U
  23. V
  24. W
  25. X
  26. Y
  27. Z
  28. #
 
    •  / 
    Zum Artikel