Abo
  • Services:
Anzeige
Die Suchmaschine Memex der Darpa soll auch Informationen aus dem Deep Web sammeln können.
Die Suchmaschine Memex der Darpa soll auch Informationen aus dem Deep Web sammeln können. (Bild: Uncharted Software)

Auftritt: Memex

Memex soll also die Suche im Tor-Netzwerk erleichtern. Dazu hat die Darpa jetzt eine ganze Palette an Werkzeugen unter freien Lizenzen veröffentlicht, die sie von verschiedenen Auftraggebern erhalten hat. Vom Unternehmen SRI International stammen die Crawler für das Tor-Netzwerk, darunter der Hidden Service Forum Spider, der Foren indiziert. Sein Werkzeug HSProbe sucht das Tor-Netzwerk nach Domains ab. SRI International hat bei der Entwicklung seiner Crawler Hilfe von den Tor-Machern bekommen.

Anzeige

Das Unternehmen Hyperion Grey hat eine ganze Reihe von Crawler-Werkzeugen beigesteuert, etwa Autologin, das automatisch Zugangsdaten eingibt, oder Formasaurus, das Webforms ausfüllen kann. Ihr HG Profiler vergleicht Daten auf Webseiten, die nicht miteinander verlinkt sind. Weitere Werkzeuge des Unternehmens sollen bei der Filterung und Organisation der Daten helfen. Mit ihrem Werkzeug Scrapy-Dockerhub sollen die Crawler in virtuellen Docker-Containern untergebracht werden können.

Big Data für Memex

Hinzu kommt eine ganze Reihe von Analysewerkzeugen, etwa Deepdive von der Universität Stanford. Das Machine-Learning-Werkzeug analysiert große Datenmengen, die aus Text und Multimediainhalten bestehen, und versucht, aus den Daten selbstständig Verbindungen zwischen Personen und Gruppen herzustellen, nach denen gesucht wird. Die Werkzeuge Text.jl, MITIE und Topic stammen vom MIT und dienen der Verarbeitung natürlicher Sprache in den gesammelten Dokumenten.

Die Anwendung Dossier Stack vom Unternehmen Diffeo soll spezifische Sucheingaben verarbeiten, wie es semantische Suchmaschinen wie Wolfram Alpha und Google Knowledge Graph bereits umsetzen.

Keine normale Suchmaschine

Um die großen Datenmengen zu verarbeiten, gibt es die Software-Bibliothek Arrayfire, die über Cuda und OpenCL die Rechenleistung von Grafikchips hinzuziehen kann und massive parallele Verarbeitung beherrscht. Außerdem gibt es die Visualisierungswerkzeuge DIG von der University of Southern California, Next Century Corporation und Tellfinder vom Unternehmen Uncharted Software, die die Daten für Benutzer aufbereiten.

Wie die einzelnen Komponenten zusammenarbeiten, verrät die Webseite jedoch nicht. Memex soll vor allem dabei helfen, die wachsende Datenmenge im Internet besser zu aggregieren und dem Nutzer bei der Organisation der gesammelten Daten zu helfen. Funktionen, die herkömmliche Suchmaschinen nicht lieferten, heißt es in der Zusammenfassung.

 Suchmaschinen für das Tor-Netzwerk

eye home zur Startseite
holysmoke 24. Apr 2015

Freiheit kennt keine Kompromisse. Entweder man ist frei, oder eben nicht. Kriminalität...

Oxycodon 23. Apr 2015

@mag +1000 Finde deinen Beitrag sehr gut geschrieben, besser hätte man es nicht...

zufälliger_Benu... 23. Apr 2015

Das "deep web" ist eigentlich einfach alles das über eine "normale" Suchmaschine nicht...



Anzeige

Stellenmarkt
  1. Knorr-Bremse Systeme für Nutzfahrzeuge GmbH, Schwieberdingen
  2. BASF SE, Ludwigshafen
  3. Baden-Württembergischer Genossenschaftsverband e.V., Stuttgart
  4. Landeshauptstadt München, München


Anzeige
Spiele-Angebote
  1. + Prämie (u. a. Far Cry 5, Elex, Assassins Creed Origins) für 62€
  2. (-50%) 14,99€
  3. 325,00€

Folgen Sie uns
       


  1. Desktop-Modi im Vergleich

    Fast ein PC für die Hosentasche

  2. Android 8.0

    Samsung verteilt Oreo-Upgrade wieder für Galaxy S8

  3. Bilanzpressekonferenz

    Telekom bestätigt Super-Vectoring für dieses Jahr

  4. Honorbuddy

    Bossland muss keine Millionen an Blizzard zahlen

  5. Soziale Netzwerke

    Twitter sperrt Tausende verdächtige Accounts

  6. Qualcomm

    802.11ax-WLAN kann bald in Smartphones kommen

  7. Synthesizer IIIp

    Moog legt Synthie-Klassiker für 35.000 US-Dollar wieder auf

  8. My Playstation

    Sony überarbeitet sein soziales PS-Ökosystem

  9. Android

    Samsung fehlt bei Googles Empfehlungen für Unternehmen

  10. Cat S61 im Hands on

    Smartphone kann Luftreinheit und Entfernungen messen



Haben wir etwas übersehen?

E-Mail an news@golem.de


Anzeige
Lebensmittel-Lieferservices: Für Berufstätige auf dem Lande oft "praktisch nicht nutzbar"
Lebensmittel-Lieferservices
Für Berufstätige auf dem Lande oft "praktisch nicht nutzbar"
  1. Kassenloser Supermarkt Technikfehler bei Amazon Go
  2. Amazon Go Kassenloser Supermarkt öffnet
  3. ThinQ LG fährt voll auf künstliche Intelligenz ab

Ryzen 5 2400G und Ryzen 3 2200G im Test: Raven Ridge rockt
Ryzen 5 2400G und Ryzen 3 2200G im Test
Raven Ridge rockt
  1. Ryzen V1000 und Epyc 3000 AMD bringt Zen-Architektur für den Embedded-Markt
  2. Raven Ridge AMD verschickt CPUs für UEFI-Update
  3. Krypto-Mining AMDs Threadripper schürft effizient Monero

Razer Kiyo und Seiren X im Test: Nicht professionell, aber schnell im Einsatz
Razer Kiyo und Seiren X im Test
Nicht professionell, aber schnell im Einsatz
  1. Stereolautsprecher Razer Nommo "Sind das Haartrockner?"
  2. Nextbit Cloud-Speicher für Robin-Smartphone wird abgeschaltet
  3. Razer Akku- und kabellose Spielemaus Mamba Hyperflux vorgestellt

  1. Re: Kurzfristig...

    Azzuro | 12:07

  2. Re: Ach die haben einen Double Fine gemacht.

    mnementh | 12:04

  3. Re: und Kühlaggregat im Hochsommer?

    DeathMD | 12:03

  4. Re: nie in einem vertrag

    Niaxa | 12:02

  5. Re: Selbst im Iran besseres Netz

    SanderK | 11:58


  1. 12:07

  2. 12:05

  3. 12:01

  4. 11:50

  5. 11:44

  6. 11:29

  7. 11:14

  8. 10:59


  1. Themen
  2. A
  3. B
  4. C
  5. D
  6. E
  7. F
  8. G
  9. H
  10. I
  11. J
  12. K
  13. L
  14. M
  15. N
  16. O
  17. P
  18. Q
  19. R
  20. S
  21. T
  22. U
  23. V
  24. W
  25. X
  26. Y
  27. Z
  28. #
 
    •  / 
    Zum Artikel