Abo
  • Services:

Blender

Wie Twitter seine Suche beschleunigt hat

155 Millionen Tweets pro Tag, fast dreimal so viele wie vor einem Jahr, meldet Twitter. Dabei verzeichnet der Kurznachrichtendienst bei seiner Suche rund eine Milliarde Anfragen pro Tag. Um dieser Menge beizukommen, hat Twitter seine Suche grundlegend überarbeitet.

Artikel veröffentlicht am ,
Blender: Wie Twitter seine Suche beschleunigt hat

Twitter wächst weiter rasant und passt seine Technik an, um dem Wachstum gerecht zu werden. Die Zahl der Tweets hat sich allein im ersten Quartal 2011 um 41 Prozent erhöht und die Zahl der Twitter-Nutzer wächst schneller als zuvor. Auch die Zahl der Suchanfragen bei Twitter steigt, zuletzt gab es ein deutliches Plus im Zusammenhang mit der Erdbebenkatastrophe in Japan.

Stellenmarkt
  1. FRISTO GETRÄNKEMARKT GmbH, Buchloe
  2. Volkswagen AG, München

Um den mittlerweile rund eine Milliarde Suchanfragen pro Tag nachzukommen, hat Twitter seine Suche grundlegend überarbeitet. Bereits im vergangenen Jahr wurde das Backend ausgetauscht und MySQL durch angepasste Versionen von Apache Lucene ersetzt. In der vergangenen Woche tauschte Twitter dann seine auf Ruby-on-Rails basierende Front-End-Technik gegen einen Blender genannten Java-Server.

Diese Änderung hat laut Twitter die Geschwindigkeit der Suche verdreifacht und bildet die Grundlage für die Einführung neuer Suchfunktionen in den kommenden Monaten. Die Latenz von 95 Prozent der schnellsten Suchanfragen sei von 800 auf 250 Millisekunden gesunken, die Last auf den Front-End-Servern habe sich halbiert und Twitter könne nun die zehnfache Zahl an Suchanfragen pro Maschine abwickeln, heißt es in einem Blogeintrag.

Wurden bisher die Suchanfragen von Front-End-Servern geparst und von diesen synchron an die Index-Server weitergereicht, um anschließend die Ergebnisse darzustellen, so setzt Blender auf einen komplett asynchronen Aggregationsdienst. Kein Thread wartet darauf, dass eine Anfrage über das Netzwerk abgeschlossen wird. Dabei werden die Ergebnisse aus verschiedenen Indizes aggregiert und mögliche Abhängigkeiten der Dienste automatisch beachtet.

Blender ist als Thrift- und HTTP-Dienst auf Basis von Netty umgesetzt. Details zur Implementierung verrät Twitter in seinem Engineering-Blog.



Anzeige
Blu-ray-Angebote
  1. 5€ inkl. FSK-18-Versand
  2. (u. a. 3 Blu-rays für 15€, 2 Neuheiten für 15€)
  3. 5€ inkl. FSK-18-Versand

kawazu 08. Apr 2011

[...] ... vor allem mit einem selbstgeschriebenen Framework. Warum nicht gleich...

zilti 07. Apr 2011

Es wurde lediglich das Frontend ausgetauscht, denn nur dieses war noch in Ruby. Das...


Folgen Sie uns
       


MTG Arena Ravnica Allegiance - Livestream 2

Im zweiten Teil unseres Livestreams basteln wir ein eigenes neues Deck (dreifarbig!) und ziehen damit in den Kampf.

MTG Arena Ravnica Allegiance - Livestream 2 Video aufrufen
Magnetfeld: Wenn der Nordpol wandern geht
Magnetfeld
Wenn der Nordpol wandern geht

Das Erdmagnetfeld macht nicht das, was Geoforscher erwartet hatten - Nachjustierungen am irdischen Magnetmodell sind erforderlich.
Ein Bericht von Dirk Eidemüller

  1. Ökostrom Wie Norddeutschland die Energiewende vormacht
  2. Computational Periscopy Forscher sehen mit einfacher Digitalkamera um die Ecke
  3. Optoakustik US-Forscher flüstern per Laser ins Ohr

Android-Smartphone: 10 Jahre in die Vergangenheit in 5 Tagen
Android-Smartphone
10 Jahre in die Vergangenheit in 5 Tagen

Android ist erst zehn Jahre alt, doch die ersten Geräte damit sind schon Technikgeschichte. Wir haben uns mit einem Nexus One in die Zeit zurückversetzt, als Mobiltelefone noch Handys hießen und Nachrichten noch Bällchen zum Leuchten brachten.
Ein Erfahrungsbericht von Martin Wolf

  1. Sicherheitspatches Android lässt sich per PNG-Datei übernehmen
  2. Google Auf dem Weg zu reinen 64-Bit-Android-Apps
  3. Sicherheitslücke Mit Skype Android-PIN umgehen

Begriffe, Architekturen, Produkte: Große Datenmengen in Echtzeit analysieren
Begriffe, Architekturen, Produkte
Große Datenmengen in Echtzeit analysieren

Wer sich auch nur oberflächlich mit Big-Data und Echtzeit-Analyse beschäftigt, stößt schnell auf Begriffe und Lösungen, die sich nicht sofort erschließen. Warum brauche ich eine Nachrichten-Queue und was unterscheidet Apache Hadoop von Kafka? Welche Rolle spielt das in einer Kappa-Architektur?
Von George Anadiotis


      •  /