Abo
  • Services:

Blender

Wie Twitter seine Suche beschleunigt hat

155 Millionen Tweets pro Tag, fast dreimal so viele wie vor einem Jahr, meldet Twitter. Dabei verzeichnet der Kurznachrichtendienst bei seiner Suche rund eine Milliarde Anfragen pro Tag. Um dieser Menge beizukommen, hat Twitter seine Suche grundlegend überarbeitet.

Artikel veröffentlicht am ,
Blender: Wie Twitter seine Suche beschleunigt hat

Twitter wächst weiter rasant und passt seine Technik an, um dem Wachstum gerecht zu werden. Die Zahl der Tweets hat sich allein im ersten Quartal 2011 um 41 Prozent erhöht und die Zahl der Twitter-Nutzer wächst schneller als zuvor. Auch die Zahl der Suchanfragen bei Twitter steigt, zuletzt gab es ein deutliches Plus im Zusammenhang mit der Erdbebenkatastrophe in Japan.

Stellenmarkt
  1. Hoerner Bank Aktiengesellschaft, Heilbronn
  2. Viega Holding GmbH & Co. KG, Attendorn

Um den mittlerweile rund eine Milliarde Suchanfragen pro Tag nachzukommen, hat Twitter seine Suche grundlegend überarbeitet. Bereits im vergangenen Jahr wurde das Backend ausgetauscht und MySQL durch angepasste Versionen von Apache Lucene ersetzt. In der vergangenen Woche tauschte Twitter dann seine auf Ruby-on-Rails basierende Front-End-Technik gegen einen Blender genannten Java-Server.

Diese Änderung hat laut Twitter die Geschwindigkeit der Suche verdreifacht und bildet die Grundlage für die Einführung neuer Suchfunktionen in den kommenden Monaten. Die Latenz von 95 Prozent der schnellsten Suchanfragen sei von 800 auf 250 Millisekunden gesunken, die Last auf den Front-End-Servern habe sich halbiert und Twitter könne nun die zehnfache Zahl an Suchanfragen pro Maschine abwickeln, heißt es in einem Blogeintrag.

Wurden bisher die Suchanfragen von Front-End-Servern geparst und von diesen synchron an die Index-Server weitergereicht, um anschließend die Ergebnisse darzustellen, so setzt Blender auf einen komplett asynchronen Aggregationsdienst. Kein Thread wartet darauf, dass eine Anfrage über das Netzwerk abgeschlossen wird. Dabei werden die Ergebnisse aus verschiedenen Indizes aggregiert und mögliche Abhängigkeiten der Dienste automatisch beachtet.

Blender ist als Thrift- und HTTP-Dienst auf Basis von Netty umgesetzt. Details zur Implementierung verrät Twitter in seinem Engineering-Blog.



Anzeige
Top-Angebote
  1. 704,99€ inkl. Versand (Vergleichspreis 748,88€)
  2. 49,99€/59,99€
  3. für 849€ (Einzelpreis der Grafikkarte im Vergleich teurer als das Bundle)

kawazu 08. Apr 2011

[...] ... vor allem mit einem selbstgeschriebenen Framework. Warum nicht gleich...

zilti 07. Apr 2011

Es wurde lediglich das Frontend ausgetauscht, denn nur dieses war noch in Ruby. Das...


Folgen Sie uns
       


Fünf smarte Lautsprecher von 200 bis 400 Euro im Vergleich

Link 300 und Link 500 von JBL, Onkyos P3, Panasonics GA10 sowie Apples Homepod treten in unserem Klangvergleich gegeneinander an. Die beiden JBL-Lautsprecher lassen die Konkurrenz blass aussehen, selbst der gar nicht schlecht klingende Homepod hat dann das Nachsehen.

Fünf smarte Lautsprecher von 200 bis 400 Euro im Vergleich Video aufrufen
Sun to Liquid: Wie mit Sonnenlicht sauberes Kerosin erzeugt wird
Sun to Liquid
Wie mit Sonnenlicht sauberes Kerosin erzeugt wird

Wasser, Kohlendioxid und Sonnenlicht ergeben: Treibstoff. In Spanien wird eine Anlage in Betrieb genommen, in der mit Hilfe von Sonnenlicht eine Vorstufe für synthetisches Kerosin erzeugt oder Wasserstoff gewonnen wird. Ein Projektverantwortlicher vom DLR hat uns erklärt, warum die Forschung an Brennstoffen trotz Energiewende sinnvoll ist.
Ein Bericht von Werner Pluta

  1. Deep Sea Mining Deep Green holte Manganknollen vom Meeresgrund
  2. Klimaschutz Unter der Erde ist das Kohlendioxid gut aufgehoben
  3. Physik Maserlicht aus Diamant

CD Projekt Red: So spielt sich Cyberpunk 2077
CD Projekt Red
So spielt sich Cyberpunk 2077

E3 2018 Hacker statt Hexer, Ich-Sicht statt Dritte-Person-Perspektive und Auto statt Pferd: Die Witcher-Entwickler haben ihr neues Großprojekt Cyberpunk 2077 im Detail vorgestellt.
Von Peter Steinlechner


    Business-Festival: Cebit verliert 70.000 Besucher und ist hochzufrieden
    Business-Festival
    Cebit verliert 70.000 Besucher und ist hochzufrieden

    Cebit 2018 Zur ersten neuen Cebit sind deutlich weniger Besucher als im Vorjahr gekommen. Dennoch feiern Messe AG, Bitkom und Aussteller den Relaunch der Veranstaltung als Erfolg. Die Cebit 2019 wird erneut etwas verlegt.

    1. Festival statt Technikmesse "Die neue Cebit ist ein Proof of Concept"

      •  /