Blender

Wie Twitter seine Suche beschleunigt hat

155 Millionen Tweets pro Tag, fast dreimal so viele wie vor einem Jahr, meldet Twitter. Dabei verzeichnet der Kurznachrichtendienst bei seiner Suche rund eine Milliarde Anfragen pro Tag. Um dieser Menge beizukommen, hat Twitter seine Suche grundlegend überarbeitet.

Artikel veröffentlicht am ,
Blender: Wie Twitter seine Suche beschleunigt hat

Twitter wächst weiter rasant und passt seine Technik an, um dem Wachstum gerecht zu werden. Die Zahl der Tweets hat sich allein im ersten Quartal 2011 um 41 Prozent erhöht und die Zahl der Twitter-Nutzer wächst schneller als zuvor. Auch die Zahl der Suchanfragen bei Twitter steigt, zuletzt gab es ein deutliches Plus im Zusammenhang mit der Erdbebenkatastrophe in Japan.

Stellenmarkt
  1. Techniker (m/w/d) im Field Service Netzbetrieb
    willy.tel GmbH, Hamburg
  2. Mitarbeiter IT-Support 1st Level (m/w/d)
    Raven51 AG, Frankfurt am Main
Detailsuche

Um den mittlerweile rund eine Milliarde Suchanfragen pro Tag nachzukommen, hat Twitter seine Suche grundlegend überarbeitet. Bereits im vergangenen Jahr wurde das Backend ausgetauscht und MySQL durch angepasste Versionen von Apache Lucene ersetzt. In der vergangenen Woche tauschte Twitter dann seine auf Ruby-on-Rails basierende Front-End-Technik gegen einen Blender genannten Java-Server.

Diese Änderung hat laut Twitter die Geschwindigkeit der Suche verdreifacht und bildet die Grundlage für die Einführung neuer Suchfunktionen in den kommenden Monaten. Die Latenz von 95 Prozent der schnellsten Suchanfragen sei von 800 auf 250 Millisekunden gesunken, die Last auf den Front-End-Servern habe sich halbiert und Twitter könne nun die zehnfache Zahl an Suchanfragen pro Maschine abwickeln, heißt es in einem Blogeintrag.

Wurden bisher die Suchanfragen von Front-End-Servern geparst und von diesen synchron an die Index-Server weitergereicht, um anschließend die Ergebnisse darzustellen, so setzt Blender auf einen komplett asynchronen Aggregationsdienst. Kein Thread wartet darauf, dass eine Anfrage über das Netzwerk abgeschlossen wird. Dabei werden die Ergebnisse aus verschiedenen Indizes aggregiert und mögliche Abhängigkeiten der Dienste automatisch beachtet.

Golem Akademie
  1. SAMBA Datei- und Domänendienste einrichten: virtueller Drei-Tage-Workshop
    15.–17. November 2021, Virtuell
  2. Webentwicklung mit React and Typescript: virtueller Fünf-Halbtage-Workshop
    6.–10. Dezember 2021, Virtuell
Weitere IT-Trainings

Blender ist als Thrift- und HTTP-Dienst auf Basis von Netty umgesetzt. Details zur Implementierung verrät Twitter in seinem Engineering-Blog.

Bitte aktivieren Sie Javascript.
Oder nutzen Sie das Golem-pur-Angebot
und lesen Golem.de
  • ohne Werbung
  • mit ausgeschaltetem Javascript
  • mit RSS-Volltext-Feed


Aktuell auf der Startseite von Golem.de
Pixel 6 und 6 Pro im Test
Google hat es endlich geschafft

Das Pixel 6 und Pixel 6 Pro werden endlich Googles Rang als Android-Macher gerecht: Die Smartphones bieten starke Hardware und sinnvolle Software.
Ein Test von Tobias Költzsch

Pixel 6 und 6 Pro im Test: Google hat es endlich geschafft
Artikel
  1. Apple-Software-Updates: iOS 15.1, iPadOS 15.1, WatchOS 8.1 und TVOS 15.1 verfügbar
    Apple-Software-Updates
    iOS 15.1, iPadOS 15.1, WatchOS 8.1 und TVOS 15.1 verfügbar

    Die ersten größeren Aktualisierungen für iPhone, iPad, Apple Watch und Apple TV sind da. Wer das iPhone 13 verwendet, profitiert besonders.

  2. Desktop-Betriebssystem: Apple MacOS Monterey mit neuem Safari und Fokus-Funktion
    Desktop-Betriebssystem
    Apple MacOS Monterey mit neuem Safari und Fokus-Funktion

    Apple hat die finale Version seines Mac-Betriebssystems MacOS Monterey veröffentlicht. Dabei sind ein neuer Safari-Browser und eine Konzentrationsfunktion.

  3. 20 Jahre Windows XP: Der letzte XP-Fan
    20 Jahre Windows XP
    Der letzte XP-Fan

    Windows XP wird 20 Jahre alt - und nur wenige nutzen es noch täglich. Golem.de hat einen dieser Anwender besucht.
    Ein Interview von Martin Wolf

Du willst dich mit Golem.de beruflich verändern oder weiterbilden?
Zum Stellenmarkt
Zur Akademie
Zum Coaching
  • Schnäppchen, Rabatte und Top-Angebote
    Die besten Deals des Tages
    Daily Deals • Bosch Professional günstiger • Punkte sammeln bei MM für Club-Mitglieder: 1.000 Punkte geschenkt • Alternate (u. a. Apacer 1TB SATA 86,90€ & Team Group 1TB PCIe 4.0 159,90€) • Echo Show 8 (1. Gen.) 64,99€ • Halloween Sale bei Gamesplanet • Smart Home von Eufy günstiger [Werbung]
    •  /