Abo
  • Services:
Anzeige
Die Suchmaschine Memex der Darpa soll auch Informationen aus dem Deep Web sammeln können.
Die Suchmaschine Memex der Darpa soll auch Informationen aus dem Deep Web sammeln können. (Bild: Uncharted Software)

Auftritt: Memex

Anzeige

Memex soll also die Suche im Tor-Netzwerk erleichtern. Dazu hat die Darpa jetzt eine ganze Palette an Werkzeugen unter freien Lizenzen veröffentlicht, die sie von verschiedenen Auftraggebern erhalten hat. Vom Unternehmen SRI International stammen die Crawler für das Tor-Netzwerk, darunter der Hidden Service Forum Spider, der Foren indiziert. Sein Werkzeug HSProbe sucht das Tor-Netzwerk nach Domains ab. SRI International hat bei der Entwicklung seiner Crawler Hilfe von den Tor-Machern bekommen.

Das Unternehmen Hyperion Grey hat eine ganze Reihe von Crawler-Werkzeugen beigesteuert, etwa Autologin, das automatisch Zugangsdaten eingibt, oder Formasaurus, das Webforms ausfüllen kann. Ihr HG Profiler vergleicht Daten auf Webseiten, die nicht miteinander verlinkt sind. Weitere Werkzeuge des Unternehmens sollen bei der Filterung und Organisation der Daten helfen. Mit ihrem Werkzeug Scrapy-Dockerhub sollen die Crawler in virtuellen Docker-Containern untergebracht werden können.

Big Data für Memex

Hinzu kommt eine ganze Reihe von Analysewerkzeugen, etwa Deepdive von der Universität Stanford. Das Machine-Learning-Werkzeug analysiert große Datenmengen, die aus Text und Multimediainhalten bestehen, und versucht, aus den Daten selbstständig Verbindungen zwischen Personen und Gruppen herzustellen, nach denen gesucht wird. Die Werkzeuge Text.jl, MITIE und Topic stammen vom MIT und dienen der Verarbeitung natürlicher Sprache in den gesammelten Dokumenten.

Die Anwendung Dossier Stack vom Unternehmen Diffeo soll spezifische Sucheingaben verarbeiten, wie es semantische Suchmaschinen wie Wolfram Alpha und Google Knowledge Graph bereits umsetzen.

Keine normale Suchmaschine

Um die großen Datenmengen zu verarbeiten, gibt es die Software-Bibliothek Arrayfire, die über Cuda und OpenCL die Rechenleistung von Grafikchips hinzuziehen kann und massive parallele Verarbeitung beherrscht. Außerdem gibt es die Visualisierungswerkzeuge DIG von der University of Southern California, Next Century Corporation und Tellfinder vom Unternehmen Uncharted Software, die die Daten für Benutzer aufbereiten.

Wie die einzelnen Komponenten zusammenarbeiten, verrät die Webseite jedoch nicht. Memex soll vor allem dabei helfen, die wachsende Datenmenge im Internet besser zu aggregieren und dem Nutzer bei der Organisation der gesammelten Daten zu helfen. Funktionen, die herkömmliche Suchmaschinen nicht lieferten, heißt es in der Zusammenfassung.

 Suchmaschinen für das Tor-Netzwerk

eye home zur Startseite
holysmoke 24. Apr 2015

Freiheit kennt keine Kompromisse. Entweder man ist frei, oder eben nicht. Kriminalität...

Oxycodon 23. Apr 2015

@mag +1000 Finde deinen Beitrag sehr gut geschrieben, besser hätte man es nicht...

zufälliger_Benu... 23. Apr 2015

Das "deep web" ist eigentlich einfach alles das über eine "normale" Suchmaschine nicht...



Anzeige

Stellenmarkt
  1. AGRO International GmbH & Co.KG, Bad Essen bei Osnabrück
  2. Völkl Sports GmbH & Co. KG, Straubing, Raum Regensburg / Deggendorf
  3. Blickle Räder+Rollen GmbH u. Co. KG, Rosenfeld
  4. KRATZER AUTOMATION AG, Unterschleißheim bei Mün­chen


Anzeige
Spiele-Angebote
  1. (u. a. Elex 44,99€, Witcher 3 GotY 19,95€)
  2. 15,99€
  3. (-22%) 46,99€

Folgen Sie uns
       


  1. Autonomes Fahren

    Singapur kündigt fahrerlose Busse an

  2. Coinhive

    Kryptominingskript in Chat-Widget entdeckt

  3. Monster Hunter World angespielt

    Die Nahrungskettensimulation

  4. Rechtsunsicherheit bei Cookies

    EU warnt vor Verzögerung von ePrivacy-Verordnung

  5. Schleswig-Holstein

    Bundesland hat bereits 32 Prozent echte Glasfaserabdeckung

  6. Tesla Semi

    Teslas Truck gibt es ab 150.000 US-Dollar

  7. Mobilfunk

    Netzqualität in der Bahn weiter nicht ausreichend

  8. Bake in Space

    Bloß keine Krümel auf der ISS

  9. Sicherheitslücke

    Fortinet vergisst, Admin-Passwort zu prüfen

  10. Angry Birds

    Rovio verbucht Quartalsverlust nach Börsenstart



Haben wir etwas übersehen?

E-Mail an news@golem.de


Anzeige
Montagewerk in Tilburg: Wo Tesla seine E-Autos für Europa produziert
Montagewerk in Tilburg
Wo Tesla seine E-Autos für Europa produziert
  1. Elektroauto Walmart will den Tesla-Truck
  2. Elektrosportwagen Tesla Roadster 2 beschleunigt in 2 Sekunden auf Tempo 100
  3. Elektromobilität Tesla Truck soll in 30 Minuten 630 km Reichweite laden

Fitbit Ionic im Test: Die (noch) nicht ganz so smarte Sportuhr
Fitbit Ionic im Test
Die (noch) nicht ganz so smarte Sportuhr
  1. Verbraucherschutz Sportuhr-Hersteller gehen unsportlich mit Daten um
  2. Wii Remote Nintendo muss 10 Millionen US-Dollar in Patentstreit zahlen
  3. Ionic Fitbit stellt Smartwatch mit Vier-Tage-Akku vor

E-Golf im Praxistest: Und lädt und lädt und lädt
E-Golf im Praxistest
Und lädt und lädt und lädt
  1. Garmin Vivoactive 3 im Test Bananaware fürs Handgelenk
  2. Microsoft Sonar überprüft kostenlos Webseiten auf Fehler
  3. Inspiron 5675 im Test Dells Ryzen-Gaming-PC reicht mindestens bis 2020

  1. Re: Großartiger Guardian-Artikel und...

    FreierLukas | 23:23

  2. Re: LTE900 seit ein paar Tagen vielerorts gro...

    Axido | 23:18

  3. Re: beeindruckende Ersparnis! Hätte nicht...

    Ach | 23:17

  4. Da werden die Browserhersteller wohl reagieren...

    xMarwyc | 23:16

  5. Re: Überleben durch Anzahlungen

    FreierLukas | 22:55


  1. 17:56

  2. 15:50

  3. 15:32

  4. 14:52

  5. 14:43

  6. 12:50

  7. 12:35

  8. 12:00


  1. Themen
  2. A
  3. B
  4. C
  5. D
  6. E
  7. F
  8. G
  9. H
  10. I
  11. J
  12. K
  13. L
  14. M
  15. N
  16. O
  17. P
  18. Q
  19. R
  20. S
  21. T
  22. U
  23. V
  24. W
  25. X
  26. Y
  27. Z
  28. #
 
    •  / 
    Zum Artikel