Abo
  • IT-Karriere:

Twitter-Suche

Lucene ersetzt MySQL

Twitter hat in den vergangenen Wochen seine Suchinfrastruktur ausgetauscht. Das einst von Summize entwickelte, auf MySQL basierende System zur Suche in Tweets wurde gegen eine modifizierte Version von Apache Lucene ausgetauscht.

Artikel veröffentlicht am ,
Twitter-Suche: Lucene ersetzt MySQL

Die Anforderungen an ein System zur Suche in den Tweets auf Twitter sind hoch: Derzeit fallen rund 1.000 neue Tweets pro Sekunde an, es müssen rund 12.000 Suchanfragen pro Sekunde beantwortet werden. Das sind schon jetzt mehr als 1 Milliarde Suchanfragen pro Tag. Und das System soll trotz Twitters rasantem Wachstum einige Jahre halten.

Stellenmarkt
  1. MVV Energie AG, Mannheim
  2. Störk-Tronic, Störk GmbH & Co. KG, Stuttgart (Vaihingen)

Das alte, auf MySQL basierende System wurde dem Wachstum nicht mehr gerecht, denn MySQL ist auf ein solches Szenario nicht ausgelegt. Vor rund sechs Monaten entschied Twitter daher, ein neues Backend für die Suche zu entwickeln und dabei auf die Open-Source-Suchmaschine Apache Lucene zurückzugreifen.

Allerdings musste Lucene an Twitters Anforderungen angepasst werden, denn die Software ist nicht darauf ausgelegt, neue Inhalte in Echtzeit in ihren Index aufzunehmen. Aber neue Tweets sollen spätestens nach 10 Sekunden gefunden werden. Dazu sollte der Indexer eine Latenz von unter einer Sekunde erreichen.

Daher schrieben die Twitter-Entwickler große Teile von Lucene neu, behielten aber Lucenes Standard-APIs bei. So kann Lucenes Suche fast ohne Änderungen verwendet werden. Sämtliche Änderungen will Twitter an das Lucene-Projekt zurückgeben, einige davon haben es bereits in den aktuellen Entwicklerzweig von Lucene beziehungsweise in dessen neuen Echtzeitzweig geschafft.

Die Umstellung auf das neue Such-Backend ging ohne größere Probleme vonstatten, das System arbeitet recht effizient. Derzeit würden nur etwa 5 Prozent der verfügbaren Backend-Ressourcen benötigt, schreibt Twitter-Entwickler Michael Busch in einem Blogeintrag. Der Indexer sei in der Lage, rund 50 Prozent mehr Tweets pro Sekunde zu verarbeiten, als derzeit anfallen.

Nutzer sollen zunächst von einem vergrößerten Index profitieren, dürfen sich aber zugleich auf neue Funktionen freuen, die Twitter auf Basis der neuen Infrastruktur in Zukunft realisieren will. Konkrete Ankündigungen gibt es aber noch nicht.



Anzeige
Hardware-Angebote
  1. 107€ (Bestpreis!)
  2. 529,00€

DaMan 10. Okt 2010

Wenn da mal der Index abraucht haben die viel mit dem neuaufbau des index zu tun...

DaMan 10. Okt 2010

recht hat er aber Während der WM waren es auch schon mal 3400+ Tweets

spezial fall 07. Okt 2010

MySQL war ja anfangs "nur" ein SQL-Layer auf dem ISAM-Layer. Weil es eine der wenigen...

JimBob2010 07. Okt 2010

Java ist das Flittchen im Dieselgewand.


Folgen Sie uns
       


Cherry Stream 3.0 mit großem ß ausprobiert

Alle möglichen Umlaute auf einer Tastatur: Wir haben Cherrys Europa-Tastatur ausprobiert.

Cherry Stream 3.0 mit großem ß ausprobiert Video aufrufen
Ricoh GR III im Test: Kompaktkamera mit Riesensensor, aber ohne Zoom
Ricoh GR III im Test
Kompaktkamera mit Riesensensor, aber ohne Zoom

Kann das gutgehen? Ricoh hat mit der GR III eine Kompaktkamera im Sortiment, die mit einem APS-C-Sensor ausgerüstet ist, rund 900 Euro kostet und keinen Zoom bietet. Wir haben die Kamera ausprobiert.
Ein Test von Andreas Donath

  1. Theta Z1 Ricoh stellt 360-Grad-Panoramakamera mit Profifunktionen vor
  2. Ricoh GR III Eine halbe Sekunde Belichtungszeit ohne Stativ

Ursula von der Leyen: Von Zensursula zur EU-Kommissionspräsidentin
Ursula von der Leyen
Von "Zensursula" zur EU-Kommissionspräsidentin

Nach der "Rede ihres Lebens" hat das Europäische Parlament am Dienstagabend Ursula von der Leyen an die Spitze der EU-Kommission gewählt. Die Christdemokratin will sich in ihrem neuen Amt binnen 100 Tagen für einen Ethik-Rahmen für KI und ambitioniertere Klimaziele stark machen. Den Planeten retten, lautet ihr ganz großer Vorsatz.
Ein Bericht von Justus Staufburg

  1. Adsense for Search Neue Milliardenstrafe gegen Google in der EU

Razer Blade 15 Advanced im Test: Treffen der Generationen
Razer Blade 15 Advanced im Test
Treffen der Generationen

Auf den ersten Blick ähneln sich das neue und das ein Jahr alte Razer Blade 15: Beide setzen auf ein identisches erstklassiges Chassis. Der größte Vorteil des neuen Modells sind aber nicht offensichtliche Argumente - sondern das, was drinnen steckt.
Ein Test von Oliver Nickel

  1. Blade 15 Advanced Razer packt RTX 2080 und OLED-Panel in 15-Zöller
  2. Blade Stealth (2019) Razer packt Geforce MX150 in 13-Zoll-Ultrabook

    •  /