Neuromorphic Computing: Künstliche Neuronen bis zu 16 Mal effizienter als GPUs

Mit einer Optimierung des Kurzzeitgedächtnisses machen österreichische Forscher die Verarbeitung von Datensequenzen effizienter.

Artikel veröffentlicht am , Johannes Hiltscher
Auf einem solchen Nahuku-Board sitzen 32 von Intels Loihi-Chips für neuromorphes Computing.
Auf einem solchen Nahuku-Board sitzen 32 von Intels Loihi-Chips für neuromorphes Computing. (Bild: Intel)

Neuromorphe Computer sollen durch Nachbildung realer Neuronen künstliche Intelligenz effizienter machen. Die Verarbeitung sequentieller Daten, beispielsweise von Sätzen, erfordert allerdings zusätzliche Schaltkreise und macht den Effizienzvorteil zunichte. Forscher der TU Graz konnten zeigen, dass diese Schaltkreise nicht erforderlich sind, ihre Ergebnisse wurden in Nature Machine Intelligence veröffentlicht, eine Vorabversion gibt es kostenfrei.

Stellenmarkt
  1. IT-Planerin/IT-Planer Rechenzentrum (w/m/d)
    Berliner Verkehrsbetriebe (BVG), Berlin
  2. ERP Product Owner (m/w/d)
    Goldbeck GmbH, Bielefeld
Detailsuche

Anstelle großer Matrizen kommen bei neuromorphen Computern künstliche Neuronen zum Einsatz. Das geht mit einem anderen Netzwerkmodell einher, dem sogenannten Spiking Neural Network (SNN). Bei diesem sind die Neuronen die meiste Zeit inaktiv und erzeugen lediglich einen kurzen Stromimpuls, wenn ihr Aktionspotential erreicht wird. Nur wenn ein Neuron einen Impuls auslöst, müssen die Potentiale der mit ihm verbundenen Neurone neu berechnet werden, was Energie spart.

Für lange Sequenzen wird bei rückgekoppelten Netzen ein langes Kurzzeitgedächtnis (long short-term memory, LSTM) genutzt. Müssen Informationen lange erinnert werden steigert es die Leistung des Netzes. Neuromorphe Computer wie Intels Loihi, den die Forscher nutzten, greifen hierfür auf einen Speicher zurück.

Noch mehr vom Gehirn abgeschaut

Das ist nicht besonders effizient, weshalb die Forscher einen anderen, ebenfalls von realen Neuronen inspirierten Ansatz nutzten. Reale Neuronen sind, nachdem sie einmal gefeuert haben, eine Zeit lang weniger erregbar. Laut Wolfgang Maass, Professor an der TU Graz, ist dies mutmaßlich die Grundlage des Kurzzeitgedächtnisses im realen Gehirn. Bei den künstlichen Neuronen wird die geringere Empfindlichkeit über einen kleinen Strom erreicht, der dem eingehenden aktivierenden Strom entgegenwirkt. Er nimmt mit der Zeit ab, diese Funktion ist zudem auf dem Loihi-Chip leicht umsetzbar. Das Neuron behält so kurzzeitig, was in der Vergangenheit geschah.

Golem Karrierewelt
  1. Cinema 4D Grundlagen: virtueller Drei-Tage-Workshop
    04.-06.07.2022, Virtuell
  2. Entwicklung mit Unity auf der Microsoft HoloLens 2 Plattform: virtueller Zwei-Tage-Workshop
    10./11.10.2022, Virtuell
Weitere IT-Trainings

Getestet haben die Forscher ihren Ansatz mit dem bAbI-Datensatz, bei dem das Netz eine Folge von Sätzen liest und dann eine Frage zu deren Inhalt beantworten muss. Hierfür wandelten sie ein existierendes Netz in ein SNN um und ließen es gegen das Original, das eine GTX 2070 Super berechnete, antreten. Dabei war die neuromorphe Implementierung bis zu 16 Mal effizienter, allerdings nur beim kleinsten Netz für zwei Sätze. Musste sich das Netz 20 Sätze merken, waren die Loihis nur noch vier Mal effizienter.

Noch effizienter mit neuem Chip

Je mehr Sätze das Modell zu verarbeiten hatte, desto geringer fiel der Effizienzgewinn aus. Der Grund hierfür ist, dass mehr künstliche Neuronen und somit mehr der 32 Loihi-Chips auf dem verwendeten Nahuku-Board benötigt werden. Das zur Verarbeitung einer Folge von 20 Sätzen genutzte Netz nutzte 22 Chips. Vom Nachfolger des verwendeten Loihi erhoffen sich die Forscher weitere Effizienzsteigerungen. Da dieser acht Mal so viele künstliche Neuronen enthält, entfällt viel Kommunikation zwischen den einzelnen Chips.

Bitte aktivieren Sie Javascript.
Oder nutzen Sie das Golem-pur-Angebot
und lesen Golem.de
  • ohne Werbung
  • mit ausgeschaltetem Javascript
  • mit RSS-Volltext-Feed


Aktuell auf der Startseite von Golem.de
TADF Technologie
Samsung kauft Cynora in Bruchsal und entlässt alle

Der Cynora-Chef wollte das deutsche Start-up zum Einhorn entwickeln. Nun wurden die Patente und die TADF-Technologie von Samsung für 300 Millionen Dollar gekauft und das Unternehmen zerschlagen.

TADF Technologie: Samsung kauft Cynora in Bruchsal und entlässt alle
Artikel
  1. Brandenburg: DNS:Net-Verteiler wegen Telekom-Werbebanner überhitzt?
    Brandenburg  
    DNS:Net-Verteiler wegen Telekom-Werbebanner überhitzt?

    Bei DNS:Net kam es in dieser Woche bei starker Hitze zu einem Netzausfall in einem Ort. Schuld soll ein Werbebanner der Konkurrenz gewesen sein.

  2. Kryptogeld: Bitcoin wieder unter 20.000 US-Dollar, Fonds vor dem Aus
    Kryptogeld
    Bitcoin wieder unter 20.000 US-Dollar, Fonds vor dem Aus

    Ein Gericht hat die Liquidation von Three Arrows Capital angeordnet. Der Bitcoin sinkt wieder unter die Grenze von 20.000 US-Dollar.

  3. Vodafone: Vantage Towers betreibt Sendestationen mit Wasserstoff
    Vodafone
    Vantage Towers betreibt Sendestationen mit Wasserstoff

    Bei der Entwicklung des Containers mit Wasserstoffmotor sind Erfahrungen aus Einsätzen bei der Flutkatastrophe im Ahrtal eingeflossen.

Du willst dich mit Golem.de beruflich verändern oder weiterbilden?
Zum Stellenmarkt
Zur Akademie
Zum Coaching
  • Schnäppchen, Rabatte und Top-Angebote
    Die besten Deals des Tages
    Daily Deals • PNY RTX 3080 12GB günstig wie nie: 929€ • MindStar (MSI RX 6700 XT 499€, G.Skill DDR4-3600 32GB 165€, AMD Ryzen 9 5900X 375€) • Nur noch heute: NBB Black Week • Top-TVs bis 53% Rabatt • Top-Gaming-PC mit AMD Ryzen 7 RTX 3070 Ti 1.700€ • Samsung Galaxy S20 FE 5G 128GB 359€ [Werbung]
    •  /