Neuromorphic Computing: Künstliche Neuronen bis zu 16 Mal effizienter als GPUs

Mit einer Optimierung des Kurzzeitgedächtnisses machen österreichische Forscher die Verarbeitung von Datensequenzen effizienter.

Artikel veröffentlicht am 25. Mai 2022, 15:45 Uhr, Johannes Hiltscher

Auf einem solchen Nahuku-Board sitzen 32 von Intels Loihi-Chips für neuromorphes Computing. (Bild: Intel)

Neuromorphe Computer sollen durch Nachbildung realer Neuronen künstliche Intelligenz effizienter machen. Die Verarbeitung sequentieller Daten, beispielsweise von Sätzen, erfordert allerdings zusätzliche Schaltkreise und macht den Effizienzvorteil zunichte. Forscher der TU Graz konnten zeigen, dass diese Schaltkreise nicht erforderlich sind, ihre Ergebnisse wurden in Nature Machine Intelligence veröffentlicht, eine Vorabversion gibt es kostenfrei.

Anstelle großer Matrizen kommen bei neuromorphen Computern künstliche Neuronen zum Einsatz. Das geht mit einem anderen Netzwerkmodell einher, dem sogenannten Spiking Neural Network (SNN). Bei diesem sind die Neuronen die meiste Zeit inaktiv und erzeugen lediglich einen kurzen Stromimpuls, wenn ihr Aktionspotential erreicht wird. Nur wenn ein Neuron einen Impuls auslöst, müssen die Potentiale der mit ihm verbundenen Neurone neu berechnet werden, was Energie spart.

Für lange Sequenzen wird bei rückgekoppelten Netzen ein langes Kurzzeitgedächtnis (long short-term memory, LSTM) genutzt. Müssen Informationen lange erinnert werden steigert es die Leistung des Netzes. Neuromorphe Computer wie Intels Loihi, den die Forscher nutzten, greifen hierfür auf einen Speicher zurück.

Noch mehr vom Gehirn abgeschaut

Das ist nicht besonders effizient, weshalb die Forscher einen anderen, ebenfalls von realen Neuronen inspirierten Ansatz nutzten. Reale Neuronen sind, nachdem sie einmal gefeuert haben, eine Zeit lang weniger erregbar. Laut Wolfgang Maass, Professor an der TU Graz, ist dies mutmaßlich die Grundlage des Kurzzeitgedächtnisses im realen Gehirn. Bei den künstlichen Neuronen wird die geringere Empfindlichkeit über einen kleinen Strom erreicht, der dem eingehenden aktivierenden Strom entgegenwirkt. Er nimmt mit der Zeit ab, diese Funktion ist zudem auf dem Loihi-Chip leicht umsetzbar. Das Neuron behält so kurzzeitig, was in der Vergangenheit geschah.

Getestet haben die Forscher ihren Ansatz mit dem bAbI-Datensatz, bei dem das Netz eine Folge von Sätzen liest und dann eine Frage zu deren Inhalt beantworten muss. Hierfür wandelten sie ein existierendes Netz in ein SNN um und ließen es gegen das Original, das eine GTX 2070 Super berechnete, antreten. Dabei war die neuromorphe Implementierung bis zu 16 Mal effizienter, allerdings nur beim kleinsten Netz für zwei Sätze. Musste sich das Netz 20 Sätze merken, waren die Loihis nur noch vier Mal effizienter.

Noch effizienter mit neuem Chip

Je mehr Sätze das Modell zu verarbeiten hatte, desto geringer fiel der Effizienzgewinn aus. Der Grund hierfür ist, dass mehr künstliche Neuronen und somit mehr der 32 Loihi-Chips auf dem verwendeten Nahuku-Board benötigt werden. Das zur Verarbeitung einer Folge von 20 Sätzen genutzte Netz nutzte 22 Chips. Vom Nachfolger des verwendeten Loihi erhoffen sich die Forscher weitere Effizienzsteigerungen. Da dieser acht Mal so viele künstliche Neuronen enthält, entfällt viel Kommunikation zwischen den einzelnen Chips.