Abo
  • Services:
Anzeige
Blender: Wie Twitter seine Suche beschleunigt hat

Blender

Wie Twitter seine Suche beschleunigt hat

155 Millionen Tweets pro Tag, fast dreimal so viele wie vor einem Jahr, meldet Twitter. Dabei verzeichnet der Kurznachrichtendienst bei seiner Suche rund eine Milliarde Anfragen pro Tag. Um dieser Menge beizukommen, hat Twitter seine Suche grundlegend überarbeitet.

Twitter wächst weiter rasant und passt seine Technik an, um dem Wachstum gerecht zu werden. Die Zahl der Tweets hat sich allein im ersten Quartal 2011 um 41 Prozent erhöht und die Zahl der Twitter-Nutzer wächst schneller als zuvor. Auch die Zahl der Suchanfragen bei Twitter steigt, zuletzt gab es ein deutliches Plus im Zusammenhang mit der Erdbebenkatastrophe in Japan.

Anzeige

Um den mittlerweile rund eine Milliarde Suchanfragen pro Tag nachzukommen, hat Twitter seine Suche grundlegend überarbeitet. Bereits im vergangenen Jahr wurde das Backend ausgetauscht und MySQL durch angepasste Versionen von Apache Lucene ersetzt. In der vergangenen Woche tauschte Twitter dann seine auf Ruby-on-Rails basierende Front-End-Technik gegen einen Blender genannten Java-Server.

Diese Änderung hat laut Twitter die Geschwindigkeit der Suche verdreifacht und bildet die Grundlage für die Einführung neuer Suchfunktionen in den kommenden Monaten. Die Latenz von 95 Prozent der schnellsten Suchanfragen sei von 800 auf 250 Millisekunden gesunken, die Last auf den Front-End-Servern habe sich halbiert und Twitter könne nun die zehnfache Zahl an Suchanfragen pro Maschine abwickeln, heißt es in einem Blogeintrag.

Wurden bisher die Suchanfragen von Front-End-Servern geparst und von diesen synchron an die Index-Server weitergereicht, um anschließend die Ergebnisse darzustellen, so setzt Blender auf einen komplett asynchronen Aggregationsdienst. Kein Thread wartet darauf, dass eine Anfrage über das Netzwerk abgeschlossen wird. Dabei werden die Ergebnisse aus verschiedenen Indizes aggregiert und mögliche Abhängigkeiten der Dienste automatisch beachtet.

Blender ist als Thrift- und HTTP-Dienst auf Basis von Netty umgesetzt. Details zur Implementierung verrät Twitter in seinem Engineering-Blog.


eye home zur Startseite
kawazu 08. Apr 2011

[...] ... vor allem mit einem selbstgeschriebenen Framework. Warum nicht gleich...

zilti 07. Apr 2011

Es wurde lediglich das Frontend ausgetauscht, denn nur dieses war noch in Ruby. Das...



Anzeige

Stellenmarkt
  1. SBK - Siemens-Betriebskrankenkasse, München
  2. Robert Bosch GmbH, Stuttgart, Vaihingen
  3. SICK AG, Waldkirch-Buchholz
  4. üstra Hannoversche Verkehrsbetriebe AG, Hannover


Anzeige
Spiele-Angebote
  1. 41,99€
  2. 22,99€
  3. 10,99€

Folgen Sie uns
       


  1. Private Division

    Rockstar-Games-Firma gründet Ableger für AAA-Indiegames

  2. Klage erfolgreich

    BND darf deutsche Metadaten nicht beliebig sammeln

  3. Neuer Bericht

    US-Behörden sollen kommerzielle Cloud-Dienste nutzen

  4. Übernahme

    Walt Disney kauft Teile von 21st Century Fox

  5. Deep Learning

    Googles Cloud-TPU-Cluster nutzen 4 TByte HBM-Speicher

  6. Leistungsschutzrecht

    EU-Staaten uneins bei Urheberrechtsreform

  7. E-Ticket Deutschland bei der BVG

    Bewegungspunkt am Straßenstrich

  8. Star Wars

    The-Last-Jedi-Update für Battlefront 2 veröffentlicht

  9. Airport mit 802.11n und neuere

    Apple sichert seine WLAN-Router gegen Krack-Angriff ab

  10. Bell UH-1

    Aurora Flight Sciences macht einen Hubschrauber zur Drohne



Haben wir etwas übersehen?

E-Mail an news@golem.de


Anzeige
Kingdom Come Deliverance angespielt: Und täglich grüßt das Mittelalter
Kingdom Come Deliverance angespielt
Und täglich grüßt das Mittelalter

E-Golf auf Tour: Reichweitenangst oder: Wie wir lernten, Lidl zu lieben
E-Golf auf Tour
Reichweitenangst oder: Wie wir lernten, Lidl zu lieben
  1. Sattelschlepper Thor ET-One soll Teslas Elektro-Lkw Konkurrenz machen
  2. Einkaufen und Laden Kostenlose Elektroauto-Ladesäulen mit 50 kW bei Kaufland
  3. Uniti One Schwedisches Unternehmen Uniti stellt erstes Elektroauto vor

Alexa-Geräte und ihre Konkurrenz im Test: Der perfekte smarte Lautsprecher ist nicht dabei
Alexa-Geräte und ihre Konkurrenz im Test
Der perfekte smarte Lautsprecher ist nicht dabei
  1. Alexa und Co. Wirtschaftsverband sieht Megatrend zu smarten Lautsprechern
  2. Smarte Lautsprecher Google unterstützt indirekt Bau von Alexa-Geräten
  3. UE Blast und Megablast Alexa-Lautsprecher sind wasserfest und haben einen Akku

  1. Hierfür braucht Disney mehr eigene Inhalte, die...

    plutoniumsulfat | 23:52

  2. Re: Was bedeutet mittlerweile Indie-Game?

    HorkheimerAnders | 23:50

  3. Re: Via Viagem

    Cok3.Zer0 | 23:48

  4. Re: Bei voller Leistung reicht das Netzteil nicht...

    ikso | 23:35

  5. Re: Ich lach mich kaputt

    nachgefragt | 23:28


  1. 16:10

  2. 15:30

  3. 15:19

  4. 14:50

  5. 14:44

  6. 14:43

  7. 14:05

  8. 12:55


  1. Themen
  2. A
  3. B
  4. C
  5. D
  6. E
  7. F
  8. G
  9. H
  10. I
  11. J
  12. K
  13. L
  14. M
  15. N
  16. O
  17. P
  18. Q
  19. R
  20. S
  21. T
  22. U
  23. V
  24. W
  25. X
  26. Y
  27. Z
  28. #
 
    •  / 
    Zum Artikel