Social Media: So viel Open-Source-Software setzt Twitter ein

Dass Twitter Open-Source-Software benutzt und selbst entwickelt, ist kein Geheimnis. Wie viel quelloffene Technik der Nachrichtendienst einsetzt und wo, hat der Leiter der Open-Source-Abteilung Chris Aniszczyk jetzt verraten.

Artikel veröffentlicht am ,
Twitter setzt viel Open-Source-Software ein.
Twitter setzt viel Open-Source-Software ein. (Bild: Twitter)

In einem Interview mit Opensource.com hat Twitter-Mitarbeiter Chris Aniszczyk Details dazu verraten, wie viel Open-Source-Software der Nachrichtendienst einsetzt, um die täglich etwa 400 Millionen Tweets zu versenden. Twitter nutze quelloffene Software vor allem deswegen, weil sie sich schnell an neue Anforderungen anpassen lässt. Twitter gebe Weiterentwicklungen aber nicht nur an die diversen Projekte zurück, sondern fördere sie auch finanziell.

Stellenmarkt
  1. Microsoft 365 Specialist (m/w/d)
    IAV GmbH, Berlin
  2. Data Manager (m/w/d)
    Hays AG, München
Detailsuche

Vor allem bedient sich Twitter bei Apache-Projekten. So kommt das in Java geschriebene Hadoop-Framework zum Einsatz, das verteilt arbeitende Software verwaltet. Insbesondere von Mapreduce macht Twitter intensiven Gebrauch. Mapreduce stammt von Google und ist für die gleichzeitige Berechnung großer Datenmengen gedacht. Twitter nutzt auch Pig für die Mapreduce-Steuerung. Pig ist ebenfalls eine Komponente des Hadoop-Frameworks.

Memcached und ein eigenes MySQL

Außerdem hat Twitter Memcached weiterentwickelt und setzt es unter dem Namen Twemcache ein, um den Datenverkehr zwischenspeichern zu können. Der Nachrichtendienst hat den Quellcode seiner Version des Cache-Servers für Datenbankdaten freigegeben.

Als Datenbank kommt ein eigener Fork von MySQL zum Einsatz, der ebenfalls quelloffen weiterentwickelt wird. Auch hier geht der von Twitter veränderte Code in das Originalprojekt zurück.

Quelloffene Eigenentwicklungen

Golem Karrierewelt
  1. LPI DevOps Tools Engineer – Prüfungsvorbereitung: virtueller Zwei-Tage-Workshop
    21./22.07.2022, Virtuell
  2. Einführung in Unity: virtueller Ein-Tages-Workshop
    21.06.2022, Virtuell
Weitere IT-Trainings

Twitter entwickele auch eigens Open-Source-Software, sagte Aniszczyk. Mit Lago testet Twitter seine eigenen Dienste auf Belastung, bevor sie produktiv eingesetzt werden. Zipkin ist ein verteiltes Tracing-System, das Zeitdaten der diversen Dienste sammelt, die eingesetzt werden, um eine Anfrage an die Twitter-API zu verwalten. Außerdem entwickelt Twitter Scalding, eine auf Scala basierende Bibliothek, mit der Mapreduce-Aufträge erstellt werden können.

Eckpfeiler Mesos

Seine Anwendungen erstellt Twitter mit Hilfe von Mesos, das speziell für verteilte Applikationen entwickelt wurde und ebenfalls Teil des Apache-Projekts ist. Aniszczyk nennt Mesos einen wichtigen Eckpfeiler der gesamten Twitter-Technik.

Aniszczyk wird eine Keynote zu dem gleichen Thema auf der diesjährigen Linuxcon in San Diego, Kalifornien, halten. Die Konferenz findet vom 29. bis zum 31. August 2012 statt.

Im Februar 2010 startete Twitter eine Webseite, auf der das Unternehmen seine Open-Source-Projekte vor- und zur Verfügung stellt. Der Sourcecode steht auf dem Github-Server des Unternehmens zum Download bereit.

Bitte aktivieren Sie Javascript.
Oder nutzen Sie das Golem-pur-Angebot
und lesen Golem.de
  • ohne Werbung
  • mit ausgeschaltetem Javascript
  • mit RSS-Volltext-Feed


Aktuell auf der Startseite von Golem.de
"Macht mich einfach wahnsinnig"
Kelber beklagt digitale Inkompetenz von VW

Der Bundesdatenschutzbeauftragte Ulrich Kelber hat vor einem Jahr ein Elektroauto bei VW bestellt. Und seitdem nichts mehr davon gehört.

Macht mich einfach wahnsinnig: Kelber beklagt digitale Inkompetenz von VW
Artikel
  1. Unikate: Deutsche Post verkauft eine Milliarde Matrixcode-Briefmarken
    Unikate
    Deutsche Post verkauft eine Milliarde Matrixcode-Briefmarken

    Die Deutsche Post begann im Februar 2021, Briefmarken mit Matrixcode zu verkaufen. Nun wurden bereits eine Milliarde Stück verkauft.

  2. Telemetrie: Voyager 1 weiß wohl nicht, wo sie ist
    Telemetrie
    Voyager 1 weiß wohl nicht, wo sie ist

    Seit 1977 befindet sich die Raumsonde Voyager 1 auf ihrer Reise durchs All. Die neusten Daten scheinen einen falschen Standort anzuzeigen.

  3. Agile Softwareentwicklung: Einfach mal so drauflos programmiert?
    Agile Softwareentwicklung
    Einfach mal so drauflos programmiert?

    Ohne Scrum wäre das nicht passiert, heißt es oft, wenn etwas schiefgeht. Dabei ist es umgekehrt: Ohne agiles Arbeiten geht es nicht mehr. Doch es gibt drei fundamentale Missverständnisse.
    Von Frank Heckel

Du willst dich mit Golem.de beruflich verändern oder weiterbilden?
Zum Stellenmarkt
Zur Akademie
Zum Coaching
  • Schnäppchen, Rabatte und Top-Angebote
    Die besten Deals des Tages
    Daily Deals • Xbox Series X bestellbar • Samsung schenkt 19% MwSt. • MindStar (u. a. AMD Ryzen 9 5950X 488€) • Cyber Week: Jetzt alle Deals freigeschaltet • LG OLED TV 77" 62% günstiger: 1.749€ • Bis zu 35% auf MSI • Alternate (u. a. AKRacing Core EX SE Gaming-Stuhl 169€) [Werbung]
    •  /