Anzeige
Echtzeitsuche: Mensch ersetzt Maschine
(Bild: Sherwin Crasto/Reuters)

Echtzeitsuche Mensch ersetzt Maschine

Meint ein Nutzer, der nach "Bayern" sucht, das Land, seine Bewohner oder den Fußballclub? Und wie können Suchanfragen eingeordnet werden, die erstmals oder in neuem Kontext auftauchen? Wenn Maschinen zu langsam lernen, können Menschen helfen.

Anzeige

Wie kann eine Suchmaschine erkennen, worum es bei einer Suchanfrage geht, die erstmals oder plötzlich in einem ganz anderen Kontext als üblich auftaucht? Wie beispielsweise die Suche nach "Big Bird", die im letzten US-Präsidentschaftswahlkampf plötzlich eine ganz neue Bedeutung bekam, oder der Hashtag "#bindersfullofwomen" (Ordner voller Frauen), der eine politische Bedeutung erhielt.

Um Nutzern auf solche kurzfristig auftretende Suchanfragen bessere Antworten liefern und passende Werbung einblenden zu können, hat Twitter ein System entwickelt, bei dem Maschinen durch Menschen ersetzt werden. Maschinelles Lernen ist zu langsam, setzt es doch eine gewisse Datenmenge voraus, die anfangs noch gar nicht existiert. Twitter benötigt die Antworten aber sehr zeitnah, denn sie sind nur für wenige Stunden relevant.

In manchen Fällen kann eine bestimmte Suchanfrage nur für sehr kurze Zeit eine andere Bedeutung haben als sonst. So ist die Wahrscheinlichkeit groß, dass ein Nutzer mit der Suche nach "Bayern" während des Champions-League-Finales unter Beteiligung des FC Bayern München andere Ergebnisse als relevant betrachtet als zu anderen Zeiten. Beispielsweise können Tweets von @FCBayern relevanter sein als solche von @Bayern.

Die Technik

Da es unmöglich ist, jede Suchanfrage von einem Menschen beantworten zu lassen, schleust Twitter alle Suchanfragen durch einen Storm-Cluster. Dabei handelt es sich um ein von Twitter entwickeltes, verteiltes, verlässliches und fehlertolerantes System zur Verarbeitung von Datenströmen - eine Art Hadoop für Echtzeitdaten. Damit kann Twitter feststellen, wie populär eine Suchanfrage ist, und erkennt so auch, wenn eine Suchanfrage plötzlich besonders populär ist.

Stellt das System also fest, dass auf einmal ungewöhnlich häufig nach "Big Bird" gesucht wird, leitet es die Anfrage an einen Menschen weiter, der bei der Einordnung der Suchanfrage hilft. Dazu nutzt Twitter Amazons Crowdsourcing-Dienst Mechanical Turk, um Aufgaben automatisiert an vorab von Twitter ausgewählte Menschen weiterzugeben.

Laut Twitter hat sich dies als besser erwiesen, als eigene Mitarbeiter einzustellen. Zum einen sitzen die Auftragsnehmer, die über Mechanical Turk zu erreichen sind, auf der ganzen Welt verteilt, so dass Fragen rund um die Uhr beantwortet werden können, zum anderen kann so sehr schnell auf eine schwankende Zahl an Aufträgen reagiert werden.

Die Menschen ordnen die Suchanfragen thematisch ein, legen also fest, dass "Bayern" derzeit eher eine Sportthema ist. Sie beantworten zudem weitere Fragen und stellen mitunter Recherchen an, um zum Beispiel herauszufinden, dass "Big Bird" gerade in einer Wahlkampfdebatte von Präsidentschaftskandidat Mitt Romney erwähnt wurde. So kann Twitter dann Big-Bird-Tweets Barack Obama und Mitt Romney zuordnen, die andernfalls mit dem Begriff eher wenig zu tun hätten. Zudem kann Twitter so deutlich besser zuordnen, welche Werbung relevant ist.

Um die menschliche Beteiligung effizient abzuwickeln, hat Twitter Clockwork Raven entwickelt, eine Webapplikation, mit der sich Daten leicht an Mechanical Turk zur Prüfung durch Menschen übermitteln lassen. Clockwork Raven hat Twitter bereits im August 2012 als Open Source freigegeben.

Twitter hat seine "Echtzeitsuche mit Menschen" in einem Blogeintrag recht ausführlich erläutert.


tupolew 10. Jan 2013

Hoffentlich wird das nur als DAU-Modus eingesetzt für Leute die nicht in der Lage sind...

Mac Jack 10. Jan 2013

Ja, du vielleicht, so ein Almöi der seit letztem Jahr stolzer Besitzer eines DSL1000...

Mac Jack 10. Jan 2013

Natürlich hängt die Werbung da mit drin. Ist ja gekoppelt an die Suchanfragen. Wäre doch...

Kommentieren



Anzeige

  1. Presales Consultant (m/w) Alcatel-Lucent Abteilung Vertrieb Geschäftskunden
    BREKOM GmbH, Bremen
  2. Call Center Mitarbeiter (m/w) Service Center Technik
    Deutsche Telekom Kundenservice GmbH, Nürnberg
  3. Softwareentwickler SPS / Experte (m/w) für elektrische Antriebe
    Schiller Automation GmbH & Co. KG, Sonnenbühl-Genkingen
  4. Configuration Manager / Build Engineer (m/w)
    GOM - Gesellschaft für Optische Messtechnik mbH, Braunschweig

Detailsuche


Blu-ray-Angebote
  1. Better Call Saul - Die komplette erste Season [Blu-ray]
    19,90€
  2. Total Recall (Steelbook Edition) [Blu-ray]
    7,90€
  3. Men in Black 3 (+ Blu-ray) [Blu-ray 3D]
    8,88€

Weitere Angebote


Folgen Sie uns
       


  1. Darpa

    Schnelle Drohnen fliegen durch Häuser

  2. Mattel und 3Doodler

    3D-Druck für Kinder

  3. Adobe Creative Cloud

    Adobe-Update löscht Daten auf dem Mac

  4. Verschlüsselung

    Thüringens Verfassungsschutzchef Kramer verlangt Hintertüren

  5. Xeon D-1571

    Intel veröffentlicht sparsamen Server-Chip mit 16 Kernen

  6. Die Woche im Video

    Sensationen und Skandale

  7. Micron

    Von 1Y-/1Z-DRAM-, 3D-Flash- und 3D-Xpoint-Plänen

  8. Hochbahn

    Hamburger Nahverkehr bekommt bald kostenloses WLAN

  9. ViaSat Joint Venture

    Eutelsat wird schnelleres Satelliten-Internet bieten

  10. SSDs

    Micron startet Serienfertigung von 3D-NAND-Flash



Haben wir etwas übersehen?

E-Mail an news@golem.de


Anzeige
Galaxy View im Test: Samsungs Riesentablet scheitert als Fernseher-Alternative
Galaxy View im Test
Samsungs Riesentablet scheitert als Fernseher-Alternative
  1. Lehrer IT-Ausstattung an Schulen weiterhin nicht gut
  2. Huawei Mediapad M2 10.0 Gut ausgestattetes 10-Zoll-Tablet mit Stylus für 500 Euro
  3. Oberschule Weiter zu wenig Computer an den Schulen

Staatliche Überwachung: Die Regierung liest jeden Post
Staatliche Überwachung
Die Regierung liest jeden Post
  1. ÖPNV in San Francisco Die meisten Überwachungskameras sind nur Attrappen
  2. Videoüberwachung Innenministerkonferenz will Body-Cams für alle Polizisten
  3. Schnüffelgesetz Vodafone warnt vor Backdoors im Mobilfunknetz

Unravel im Test: Feinwollig schön und frustig schwer
Unravel im Test
Feinwollig schön und frustig schwer
  1. The Witness im Test Die Insel der tausend Labyrinthe
  2. Oxenfree im Test Urlaub auf der Gruselinsel
  3. Amplitude im Test Beats und Groove auf Knopfdruck

  1. Re: Herr Kramer sollte zurücktreten

    jownes | 22:15

  2. Better Call Saul?

    KlausKleber | 22:14

  3. Re: 72 km/h

    Friederich | 22:10

  4. Re: Darpa = Millitär = Sprengstoff und Waffe...

    Kleine Schildkröte | 22:03

  5. Re: 230¤ für ein Telefon günstig? In was für...

    sofries | 22:02


  1. 14:35

  2. 13:25

  3. 12:46

  4. 11:03

  5. 09:21

  6. 09:03

  7. 00:24

  8. 18:25


  1. Themen
  2. A
  3. B
  4. C
  5. D
  6. E
  7. F
  8. G
  9. H
  10. I
  11. J
  12. K
  13. L
  14. M
  15. N
  16. O
  17. P
  18. Q
  19. R
  20. S
  21. T
  22. U
  23. V
  24. W
  25. X
  26. Y
  27. Z
  28. #
 
    •  / 
    Zum Artikel