Abo
  • Services:

Auftritt: Memex

Memex soll also die Suche im Tor-Netzwerk erleichtern. Dazu hat die Darpa jetzt eine ganze Palette an Werkzeugen unter freien Lizenzen veröffentlicht, die sie von verschiedenen Auftraggebern erhalten hat. Vom Unternehmen SRI International stammen die Crawler für das Tor-Netzwerk, darunter der Hidden Service Forum Spider, der Foren indiziert. Sein Werkzeug HSProbe sucht das Tor-Netzwerk nach Domains ab. SRI International hat bei der Entwicklung seiner Crawler Hilfe von den Tor-Machern bekommen.

Stellenmarkt
  1. Hays AG, Raum Stuttgart
  2. BWI GmbH, Rheinbach

Das Unternehmen Hyperion Grey hat eine ganze Reihe von Crawler-Werkzeugen beigesteuert, etwa Autologin, das automatisch Zugangsdaten eingibt, oder Formasaurus, das Webforms ausfüllen kann. Ihr HG Profiler vergleicht Daten auf Webseiten, die nicht miteinander verlinkt sind. Weitere Werkzeuge des Unternehmens sollen bei der Filterung und Organisation der Daten helfen. Mit ihrem Werkzeug Scrapy-Dockerhub sollen die Crawler in virtuellen Docker-Containern untergebracht werden können.

Big Data für Memex

Hinzu kommt eine ganze Reihe von Analysewerkzeugen, etwa Deepdive von der Universität Stanford. Das Machine-Learning-Werkzeug analysiert große Datenmengen, die aus Text und Multimediainhalten bestehen, und versucht, aus den Daten selbstständig Verbindungen zwischen Personen und Gruppen herzustellen, nach denen gesucht wird. Die Werkzeuge Text.jl, MITIE und Topic stammen vom MIT und dienen der Verarbeitung natürlicher Sprache in den gesammelten Dokumenten.

Die Anwendung Dossier Stack vom Unternehmen Diffeo soll spezifische Sucheingaben verarbeiten, wie es semantische Suchmaschinen wie Wolfram Alpha und Google Knowledge Graph bereits umsetzen.

Keine normale Suchmaschine

Um die großen Datenmengen zu verarbeiten, gibt es die Software-Bibliothek Arrayfire, die über Cuda und OpenCL die Rechenleistung von Grafikchips hinzuziehen kann und massive parallele Verarbeitung beherrscht. Außerdem gibt es die Visualisierungswerkzeuge DIG von der University of Southern California, Next Century Corporation und Tellfinder vom Unternehmen Uncharted Software, die die Daten für Benutzer aufbereiten.

Wie die einzelnen Komponenten zusammenarbeiten, verrät die Webseite jedoch nicht. Memex soll vor allem dabei helfen, die wachsende Datenmenge im Internet besser zu aggregieren und dem Nutzer bei der Organisation der gesammelten Daten zu helfen. Funktionen, die herkömmliche Suchmaschinen nicht lieferten, heißt es in der Zusammenfassung.

 Suchmaschinen für das Tor-Netzwerk
  1.  
  2. 1
  3. 2
  4. 3


Anzeige
Hardware-Angebote
  1. 119,90€
  2. (reduzierte Überstände, Restposten & Co.)
  3. und Assassins Creed Odyssey, Strange Brigade und Star Control Origins kostenlos dazu erhalten

holysmoke 24. Apr 2015

Freiheit kennt keine Kompromisse. Entweder man ist frei, oder eben nicht. Kriminalität...

Oxycodon 23. Apr 2015

@mag +1000 Finde deinen Beitrag sehr gut geschrieben, besser hätte man es nicht...

zufälliger_Benu... 23. Apr 2015

Das "deep web" ist eigentlich einfach alles das über eine "normale" Suchmaschine nicht...


Folgen Sie uns
       


i-Cristal autonomer Bus - Interview (englisch)

Der nächste Schritt steht an: Der französische Verkehrsbetrieb plant einen Test mit einem autonom fahenden Bus. Er soll Anfang 2020 in einer französischen Großstadt im normalen Verkehr fahren.

i-Cristal autonomer Bus - Interview (englisch) Video aufrufen
Athlon 200GE im Test: Celeron und Pentium abgehängt
Athlon 200GE im Test
Celeron und Pentium abgehängt

Mit dem Athlon 200GE belebt AMD den alten CPU-Markennamen wieder: Der Chip gefällt durch seine Zen-Kerne und die integrierte Vega-Grafikeinheit, die Intel-Konkurrenz hat dem derzeit preislich wenig entgegenzusetzen.
Ein Test von Marc Sauter

  1. AMD Threadripper erhalten dynamischen NUMA-Modus
  2. HP Elitedesk 705 Workstation Edition Minitower mit AMD-CPU startet bei 680 Euro
  3. Ryzen 5 2600H und Ryzen 7 2800H 45-Watt-CPUs mit Vega-Grafik für Laptops sind da

Galaxy A9 im Hands on: Samsung bietet vier
Galaxy A9 im Hands on
Samsung bietet vier

Samsung erhöht die Anzahl der Kameras bei seinen Smartphones weiter: Das Galaxy A9 hat derer vier, zudem ist auch die restliche Ausstattung nicht schlecht. Aus verkaufspsychologischer Sicht könnte die Einstufung in die A-Mittelklasse bei einem Preis von 600 Euro ein Problem sein.
Ein Hands on von Tobias Költzsch

  1. Auftragsfertiger Samsung startet 7LPP-Herstellung mit EUV
  2. Galaxy A9 Samsung stellt Smartphone mit vier Hauptkameras vor
  3. Galaxy J4+ und J6+ Samsung stellt neue Smartphones im Einsteigerbereich vor

Neuer Kindle Paperwhite im Hands On: Amazons wasserdichter E-Book-Reader mit planem Display
Neuer Kindle Paperwhite im Hands On
Amazons wasserdichter E-Book-Reader mit planem Display

Amazon bringt einen neuen Kindle Paperwhite auf den Markt und verbessert viel. Der E-Book-Reader steckt in einem wasserdichten Gehäuse, hat eine plane Displayseite, mehr Speicher und wir können damit Audible-Hörbücher hören. Noch nie gab es so viel Kindle-Leistung für so wenig Geld.
Ein Hands on von Ingo Pakalski


      •  /