Twitter Algorithmus sagt Trendthemen voraus

Devavrat Shah und Stanislav Nikolov haben einen Algorithmus entwickelt, der mit 95-prozentiger Genauigkeit Trendthemen auf Twitter voraussagen soll.

Twitter bietet eine ständig aktualisierte Liste von "Trendthemen" an. Zu Themen, die hier auftauchen, gab es zuvor plötzlich eine große Zahl an Tweets. Ausgewählt werden die Themen von einem proprietären Algorithmus, der neben der Zahl der Tweets zu einem Thema auch einbezieht, wie schnell sich die Zahl erhöht hat.

Devavrat Shah und Stanislav Nikolov vom Massachusetts Institute of Technology (MIT) haben nun ihrerseits einen Algorithmus entwickelt, der mit einer Genauigkeit von 95 Prozent Themen identifiziert, im Durchschnitt 90 Minuten, bevor sie in Twitters Trendthemen auftauchen, manchmal aber auch schon 5 Stunden früher.

Der von Shah und Nikolov entwickelte Algorithmus kann aber auch zur Analyse anderer Daten, die in ihrer Quantität im Zeitverlauf variieren, angewandt werden, beispielsweise zur Prognose der Dauer einer Busfahrt, Verkäufen von Kinokarten und möglicherweise auch der Vorhersage von Aktienkursen.

Die beiden MIT-Wissenschaftler setzten dabei auf maschinelles Lernen, so dass ihr Algorithmus für das jeweilige Anwendungsfeld trainiert werden muss. Im Fall von Twitter haben die beiden ihren Algorithmus mit je 200 Themen gefüttert, die in Twitters Trendthemen auftauchten und solchen, die es nicht tun. Der Algorithmus versucht dann, wiederkehrende Muster zu finden und anhand dieser Vorhersagen zu erstellen, ohne dass es dazu Annahmen bezüglich der Muster bedarf.

Nach dem Training haben sie den Algorithmus mit Echtzeitdaten getestet: Die Vorhersagen waren zu 95 Prozent korrekt, die Zahl der False-Positive lag bei nur 4 Prozent. Shah geht aber davon aus, dass die Genauigkeit weiter steigen wird, je länger der Algorithmus trainiert wird. Damit steigt dann aber auch die benötigte Rechenleistung, die auf viele Systeme verteilt werden kann.