Auftritt: Memex

Memex soll also die Suche im Tor-Netzwerk erleichtern. Dazu hat die Darpa jetzt eine ganze Palette an Werkzeugen unter freien Lizenzen veröffentlicht, die sie von verschiedenen Auftraggebern erhalten hat. Vom Unternehmen SRI International stammen die Crawler für das Tor-Netzwerk, darunter der Hidden Service Forum Spider, der Foren indiziert. Sein Werkzeug HSProbe sucht das Tor-Netzwerk nach Domains ab. SRI International hat bei der Entwicklung seiner Crawler Hilfe von den Tor-Machern bekommen.

Stellenmarkt
  1. Akademische Mitarbeiterin / Akademischer Mitarbeiter (w/m/d) der Fachrichtung Elektrotechnik, ... (m/w/d)
    Karlsruher Institut für Technologie (KIT) Campus Nord, Eggenstein-Leopoldshafen
  2. Testautomatisierer IoT Suite (w/m/d)
    SEW-EURODRIVE GmbH & Co KG, Bruchsal
Detailsuche

Das Unternehmen Hyperion Grey hat eine ganze Reihe von Crawler-Werkzeugen beigesteuert, etwa Autologin, das automatisch Zugangsdaten eingibt, oder Formasaurus, das Webforms ausfüllen kann. Ihr HG Profiler vergleicht Daten auf Webseiten, die nicht miteinander verlinkt sind. Weitere Werkzeuge des Unternehmens sollen bei der Filterung und Organisation der Daten helfen. Mit ihrem Werkzeug Scrapy-Dockerhub sollen die Crawler in virtuellen Docker-Containern untergebracht werden können.

Big Data für Memex

Hinzu kommt eine ganze Reihe von Analysewerkzeugen, etwa Deepdive von der Universität Stanford. Das Machine-Learning-Werkzeug analysiert große Datenmengen, die aus Text und Multimediainhalten bestehen, und versucht, aus den Daten selbstständig Verbindungen zwischen Personen und Gruppen herzustellen, nach denen gesucht wird. Die Werkzeuge Text.jl, MITIE und Topic stammen vom MIT und dienen der Verarbeitung natürlicher Sprache in den gesammelten Dokumenten.

Die Anwendung Dossier Stack vom Unternehmen Diffeo soll spezifische Sucheingaben verarbeiten, wie es semantische Suchmaschinen wie Wolfram Alpha und Google Knowledge Graph bereits umsetzen.

Keine normale Suchmaschine

Golem Akademie
  1. C++ 20: Concepts - Ranges - Coroutinen - Module
    4.-8. Oktober 2021, online
  2. Advanced Python - Fortgeschrittene Programmierthemen
    27.-28. Januar 2022, online
  3. Microsoft Teams effizient nutzen
    25. Oktober 2021, online
Weitere IT-Trainings

Um die großen Datenmengen zu verarbeiten, gibt es die Software-Bibliothek Arrayfire, die über Cuda und OpenCL die Rechenleistung von Grafikchips hinzuziehen kann und massive parallele Verarbeitung beherrscht. Außerdem gibt es die Visualisierungswerkzeuge DIG von der University of Southern California, Next Century Corporation und Tellfinder vom Unternehmen Uncharted Software, die die Daten für Benutzer aufbereiten.

Wie die einzelnen Komponenten zusammenarbeiten, verrät die Webseite jedoch nicht. Memex soll vor allem dabei helfen, die wachsende Datenmenge im Internet besser zu aggregieren und dem Nutzer bei der Organisation der gesammelten Daten zu helfen. Funktionen, die herkömmliche Suchmaschinen nicht lieferten, heißt es in der Zusammenfassung.

Bitte aktivieren Sie Javascript.
Oder nutzen Sie das Golem-pur-Angebot
und lesen Golem.de
  • ohne Werbung
  • mit ausgeschaltetem Javascript
  • mit RSS-Volltext-Feed
 Suchmaschinen für das Tor-Netzwerk
  1.  
  2. 1
  3. 2
  4. 3


holysmoke 24. Apr 2015

Freiheit kennt keine Kompromisse. Entweder man ist frei, oder eben nicht. Kriminalität...

Oxycodon 23. Apr 2015

@mag +1000 Finde deinen Beitrag sehr gut geschrieben, besser hätte man es nicht...

zufälliger_Benu... 23. Apr 2015

Das "deep web" ist eigentlich einfach alles das über eine "normale" Suchmaschine nicht...



Aktuell auf der Startseite von Golem.de
Amtlicher Energiekostenvergleich  
Benzinkosten mehr als doppelt so teuer wie Ladestrom

Vom 1. Oktober an müssen große Tankstellen einen Energiekostenvergleich aushängen. Dabei schneiden Elektroautos derzeit am besten ab.

Amtlicher Energiekostenvergleich: Benzinkosten mehr als doppelt so teuer wie Ladestrom
Artikel
  1. Bundesregierung: Erst 11 Prozent der Glasfaserförderung wurde ausgezahlt
    Bundesregierung
    Erst 11 Prozent der Glasfaserförderung wurde ausgezahlt

    Städte- und Gemeindebund verlangt, den Förder-Dschungel für Glasfaser zu beseitigen. Versuche gab es viele.

  2. Foundation bei Apple TV+: Die unverfilmbare Asimov-Trilogie grandios verfilmt
    Foundation bei Apple TV+
    Die unverfilmbare Asimov-Trilogie grandios verfilmt

    Gegen die Welt von Asimovs Foundation-Trilogie wirkt Game of Thrones überschaubar. Apple hat mit einem enormen Budget eine enorme Science-Fiction-Serie geschaffen.
    Eine Rezension von Peter Osteried

  3. ProMotion: iPhone 13 Pro kommt bei Drittanbieter-Apps nicht auf 120 Hz
    ProMotion
    iPhone 13 Pro kommt bei Drittanbieter-Apps nicht auf 120 Hz

    Ein Fehler im Betriebssystem verhindert, dass Apps von Drittanbietern die 120- Hz-Funktion des iPhone 13 Pro nutzen können.

Du willst dich mit Golem.de beruflich verändern oder weiterbilden?
Zum Stellenmarkt
Zur Akademie
Zum Coaching
  • Schnäppchen, Rabatte und Top-Angebote
    Die besten Deals des Tages
    Daily Deals • Alternate (u. a. DeepCool Matrexx 55 V3 ADD-RGB WH 49,98€) • Thunder X3 TC5 145,89€ • Toshiba Canvio Desktop 6 TB ab 99€ • Samsung 970 EVO Plus 2 TB 208,48€ • Lenovo-Laptops zu Bestpreisen • 19% auf Sony-TVs bei MM • WISO Steuer-Start 2021 10,39€ • Samsung Odyssey G7 499€ [Werbung]
    •  /