Neuromorphic Computing: Künstliche Neuronen bis zu 16 Mal effizienter als GPUs

Mit einer Optimierung des Kurzzeitgedächtnisses machen österreichische Forscher die Verarbeitung von Datensequenzen effizienter.

Artikel veröffentlicht am , Johannes Hiltscher
Auf einem solchen Nahuku-Board sitzen 32 von Intels Loihi-Chips für neuromorphes Computing.
Auf einem solchen Nahuku-Board sitzen 32 von Intels Loihi-Chips für neuromorphes Computing. (Bild: Intel)

Neuromorphe Computer sollen durch Nachbildung realer Neuronen künstliche Intelligenz effizienter machen. Die Verarbeitung sequentieller Daten, beispielsweise von Sätzen, erfordert allerdings zusätzliche Schaltkreise und macht den Effizienzvorteil zunichte. Forscher der TU Graz konnten zeigen, dass diese Schaltkreise nicht erforderlich sind, ihre Ergebnisse wurden in Nature Machine Intelligence veröffentlicht, eine Vorabversion gibt es kostenfrei.

Stellenmarkt
  1. Technischer Produktmanager (m/w/d)
    CCV GmbH, Au in der Hallertau
  2. IT-Systemadministrator (m/w/d)
    SONAX GmbH, Neuburg an der Donau
Detailsuche

Anstelle großer Matrizen kommen bei neuromorphen Computern künstliche Neuronen zum Einsatz. Das geht mit einem anderen Netzwerkmodell einher, dem sogenannten Spiking Neural Network (SNN). Bei diesem sind die Neuronen die meiste Zeit inaktiv und erzeugen lediglich einen kurzen Stromimpuls, wenn ihr Aktionspotential erreicht wird. Nur wenn ein Neuron einen Impuls auslöst, müssen die Potentiale der mit ihm verbundenen Neurone neu berechnet werden, was Energie spart.

Für lange Sequenzen wird bei rückgekoppelten Netzen ein langes Kurzzeitgedächtnis (long short-term memory, LSTM) genutzt. Müssen Informationen lange erinnert werden steigert es die Leistung des Netzes. Neuromorphe Computer wie Intels Loihi, den die Forscher nutzten, greifen hierfür auf einen Speicher zurück.

Noch mehr vom Gehirn abgeschaut

Das ist nicht besonders effizient, weshalb die Forscher einen anderen, ebenfalls von realen Neuronen inspirierten Ansatz nutzten. Reale Neuronen sind, nachdem sie einmal gefeuert haben, eine Zeit lang weniger erregbar. Laut Wolfgang Maass, Professor an der TU Graz, ist dies mutmaßlich die Grundlage des Kurzzeitgedächtnisses im realen Gehirn. Bei den künstlichen Neuronen wird die geringere Empfindlichkeit über einen kleinen Strom erreicht, der dem eingehenden aktivierenden Strom entgegenwirkt. Er nimmt mit der Zeit ab, diese Funktion ist zudem auf dem Loihi-Chip leicht umsetzbar. Das Neuron behält so kurzzeitig, was in der Vergangenheit geschah.

Golem Karrierewelt
  1. Airtable Grundlagen: virtueller Ein-Tages-Workshop
    31.08.2022, Virtuell
  2. Entwicklung mit Unity auf der Microsoft HoloLens 2 Plattform: virtueller Zwei-Tage-Workshop
    10./11.10.2022, Virtuell
Weitere IT-Trainings

Getestet haben die Forscher ihren Ansatz mit dem bAbI-Datensatz, bei dem das Netz eine Folge von Sätzen liest und dann eine Frage zu deren Inhalt beantworten muss. Hierfür wandelten sie ein existierendes Netz in ein SNN um und ließen es gegen das Original, das eine GTX 2070 Super berechnete, antreten. Dabei war die neuromorphe Implementierung bis zu 16 Mal effizienter, allerdings nur beim kleinsten Netz für zwei Sätze. Musste sich das Netz 20 Sätze merken, waren die Loihis nur noch vier Mal effizienter.

Noch effizienter mit neuem Chip

Je mehr Sätze das Modell zu verarbeiten hatte, desto geringer fiel der Effizienzgewinn aus. Der Grund hierfür ist, dass mehr künstliche Neuronen und somit mehr der 32 Loihi-Chips auf dem verwendeten Nahuku-Board benötigt werden. Das zur Verarbeitung einer Folge von 20 Sätzen genutzte Netz nutzte 22 Chips. Vom Nachfolger des verwendeten Loihi erhoffen sich die Forscher weitere Effizienzsteigerungen. Da dieser acht Mal so viele künstliche Neuronen enthält, entfällt viel Kommunikation zwischen den einzelnen Chips.

Bitte aktivieren Sie Javascript.
Oder nutzen Sie das Golem-pur-Angebot
und lesen Golem.de
  • ohne Werbung
  • mit ausgeschaltetem Javascript
  • mit RSS-Volltext-Feed


Aktuell auf der Startseite von Golem.de
Google Fonts
Abmahnungen an Webseitenbetreiber mit Google-Schriftarten

Nach einer Entscheidung des Landgerichts München erhalten Webseitenbetreiber mit eingebundenen Google Fonts vermehrt Abmahnungen.

Google Fonts: Abmahnungen an Webseitenbetreiber mit Google-Schriftarten
Artikel
  1. Open Source: Die Open Software Foundation feiert 19 Releases im Juli
    Open Source
    Die Open Software Foundation feiert 19 Releases im Juli

    Im GNU Spotlight Announcement für den Juli blickt die die Free Software Foundation auf eine lange Liste mit neuen Versionen zurück.

  2. Programmiersprache: JSON-Erfinder will Javascript in Rente schicken
    Programmiersprache
    JSON-Erfinder will Javascript in Rente schicken

    Douglas Crockford, der Erfinder des Datenformats JSON und Mitentwickler von Javascript, findet, dass die Sprache in Rente geschickt werden sollte.

  3. Gehalt in der IT-Branche: Verdienen treue Angestellte weniger als Wechsler?
    Gehalt in der IT-Branche
    Verdienen treue Angestellte weniger als Wechsler?

    Es gibt gute Gründe, lang bei einer Firma zu bleiben. Finanziell wird diese Treue aber eher nicht belohnt, sagt ein IT-Personalberater.
    Ein Interview von Peter Ilg

Du willst dich mit Golem.de beruflich verändern oder weiterbilden?
Zum Stellenmarkt
Zur Akademie
Zum Coaching
  • Schnäppchen, Rabatte und Top-Angebote
    Die besten Deals des Tages
    Daily Deals • Günstig wie nie: WD SSD 1TB m. Kühlkörper (PS5) 119,90€, MSI 29,5" 200 Hz 259€, LG QNED 75" 120 Hz 1.455,89€ • MindStar (XFX RX 6950 XT 999€, Gainward RTX 3070 559€) • Gigabyte Deals • Der beste Gaming-PC für 2.000€ • Apple Week bei Media Markt • be quiet! Deals [Werbung]
    •  /