Abo
  • Services:

Blender

Wie Twitter seine Suche beschleunigt hat

155 Millionen Tweets pro Tag, fast dreimal so viele wie vor einem Jahr, meldet Twitter. Dabei verzeichnet der Kurznachrichtendienst bei seiner Suche rund eine Milliarde Anfragen pro Tag. Um dieser Menge beizukommen, hat Twitter seine Suche grundlegend überarbeitet.

Artikel veröffentlicht am ,
Blender: Wie Twitter seine Suche beschleunigt hat

Twitter wächst weiter rasant und passt seine Technik an, um dem Wachstum gerecht zu werden. Die Zahl der Tweets hat sich allein im ersten Quartal 2011 um 41 Prozent erhöht und die Zahl der Twitter-Nutzer wächst schneller als zuvor. Auch die Zahl der Suchanfragen bei Twitter steigt, zuletzt gab es ein deutliches Plus im Zusammenhang mit der Erdbebenkatastrophe in Japan.

Stellenmarkt
  1. HiPP-Werk Georg Hipp OHG, Gmunden (Österreich), Pfaffenhofen, Raum Ingolstadt
  2. IAV GmbH, Gifhorn

Um den mittlerweile rund eine Milliarde Suchanfragen pro Tag nachzukommen, hat Twitter seine Suche grundlegend überarbeitet. Bereits im vergangenen Jahr wurde das Backend ausgetauscht und MySQL durch angepasste Versionen von Apache Lucene ersetzt. In der vergangenen Woche tauschte Twitter dann seine auf Ruby-on-Rails basierende Front-End-Technik gegen einen Blender genannten Java-Server.

Diese Änderung hat laut Twitter die Geschwindigkeit der Suche verdreifacht und bildet die Grundlage für die Einführung neuer Suchfunktionen in den kommenden Monaten. Die Latenz von 95 Prozent der schnellsten Suchanfragen sei von 800 auf 250 Millisekunden gesunken, die Last auf den Front-End-Servern habe sich halbiert und Twitter könne nun die zehnfache Zahl an Suchanfragen pro Maschine abwickeln, heißt es in einem Blogeintrag.

Wurden bisher die Suchanfragen von Front-End-Servern geparst und von diesen synchron an die Index-Server weitergereicht, um anschließend die Ergebnisse darzustellen, so setzt Blender auf einen komplett asynchronen Aggregationsdienst. Kein Thread wartet darauf, dass eine Anfrage über das Netzwerk abgeschlossen wird. Dabei werden die Ergebnisse aus verschiedenen Indizes aggregiert und mögliche Abhängigkeiten der Dienste automatisch beachtet.

Blender ist als Thrift- und HTTP-Dienst auf Basis von Netty umgesetzt. Details zur Implementierung verrät Twitter in seinem Engineering-Blog.



Anzeige
Hardware-Angebote
  1. mit Gutschein: HARDWARE50 (nur für Neukunden, Warenwert 104 - 1.000 Euro)
  2. ab 119,98€ (Release 04.10.)

kawazu 08. Apr 2011

[...] ... vor allem mit einem selbstgeschriebenen Framework. Warum nicht gleich...

zilti 07. Apr 2011

Es wurde lediglich das Frontend ausgetauscht, denn nur dieses war noch in Ruby. Das...


Folgen Sie uns
       


Nokia 8110 4G und Doro 7060 - Test

HMD Global und Doro sind die ersten Hersteller, die KaiOS-Handys in Deutschland verkaufen. Wir haben uns das Nokia 8110 4G sowie das 7060 angeschaut. Dabei hat nicht jedes KaiOS-Gerät den gleichen Funktionsumfang. Eigentlich sollen KaiOS-Geräte als Ersatz für ein Smartphone geeignet sein - so ganz gelingt das noch nicht.

Nokia 8110 4G und Doro 7060 - Test Video aufrufen
Yara Birkeland: Autonome Schiffe sind eine neue Art von Transportsystem
Yara Birkeland
Autonome Schiffe sind eine neue Art von Transportsystem

Die Yara Birkeland wird das erste elektrisch angetriebene Schiff, das autonom fahren soll. Das ist aber nicht das einzige Ungewöhnliche daran. Diese Schiffe seien ein ganz neues Transportmittel, das nicht nur von den üblichen Akteuren eingesetzt werde, sagt ein Experte.
Ein Interview von Werner Pluta

  1. Power Pac Strom aus dem Container für Ozeanriesen
  2. Yara Birkeland Norwegische Werft baut den ersten autonomen E-Frachter
  3. SAVe Energy Rolls-Royce bringt Akku zur Elektrifizierung von Schiffen

UHD-Blu-ray im Langzeit-Test: Die letzte Scheibe für Qualitäts-Junkies
UHD-Blu-ray im Langzeit-Test
Die letzte Scheibe für Qualitäts-Junkies

Die Menschen streamen Filme und Serien ... alle Menschen? Nein! Eine unbeugsame Redaktion hört nicht auf, auch Ultra-HD-Blu-rays zu kaufen und zu testen.
Ein Test von Michael Wieczorek

  1. Oppo Digital Ein Blu-ray-Player-Hersteller weniger
  2. Cars 3 und Coco in HDR Die ersten Pixar-Filme kommen als Ultra-HD-Blu-ray
  3. 4K-UHD-Blu-ray Panasonic zeigt Abspielgerät mit Dolby Vision und HDR10+

Zahlen mit Smartphones im Alltagstest: Sparkassenkunden müssen nicht auf Google Pay neidisch sein
Zahlen mit Smartphones im Alltagstest
Sparkassenkunden müssen nicht auf Google Pay neidisch sein

In Deutschland gibt es mittlerweile mehrere Möglichkeiten, drahtlos mit dem Smartphone zu bezahlen. Wir haben Google Pay mit der Sparkassen-App Mobiles Bezahlen verglichen und festgestellt: In der Handhabung gleichen sich die Apps zwar, doch in den Details gibt es einige Unterschiede.
Ein Test von Tobias Költzsch

  1. Smartphone Auch Volksbanken führen mobiles Bezahlen ein
  2. Bezahldienst ausprobiert Google Pay startet in Deutschland mit vier Finanzdiensten

    •  /