Neuromorphic Computing: Künstliche Neuronen bis zu 16 Mal effizienter als GPUs

Mit einer Optimierung des Kurzzeitgedächtnisses machen österreichische Forscher die Verarbeitung von Datensequenzen effizienter.

Artikel veröffentlicht am , Johannes Hiltscher
Auf einem solchen Nahuku-Board sitzen 32 von Intels Loihi-Chips für neuromorphes Computing.
Auf einem solchen Nahuku-Board sitzen 32 von Intels Loihi-Chips für neuromorphes Computing. (Bild: Intel)

Neuromorphe Computer sollen durch Nachbildung realer Neuronen künstliche Intelligenz effizienter machen. Die Verarbeitung sequentieller Daten, beispielsweise von Sätzen, erfordert allerdings zusätzliche Schaltkreise und macht den Effizienzvorteil zunichte. Forscher der TU Graz konnten zeigen, dass diese Schaltkreise nicht erforderlich sind, ihre Ergebnisse wurden in Nature Machine Intelligence veröffentlicht, eine Vorabversion gibt es kostenfrei.

Stellenmarkt
  1. Senior Softwareingenieur - Test für Hubschraubersysteme (gn)
    ESG Elektroniksystem- und Logistik-GmbH, Donauwörth
  2. Solution Expert (m/w/d) Digital Business
    EPLAN GmbH & Co. KG, Langenfeld (Rheinland), deutschlandweit
Detailsuche

Anstelle großer Matrizen kommen bei neuromorphen Computern künstliche Neuronen zum Einsatz. Das geht mit einem anderen Netzwerkmodell einher, dem sogenannten Spiking Neural Network (SNN). Bei diesem sind die Neuronen die meiste Zeit inaktiv und erzeugen lediglich einen kurzen Stromimpuls, wenn ihr Aktionspotential erreicht wird. Nur wenn ein Neuron einen Impuls auslöst, müssen die Potentiale der mit ihm verbundenen Neurone neu berechnet werden, was Energie spart.

Für lange Sequenzen wird bei rückgekoppelten Netzen ein langes Kurzzeitgedächtnis (long short-term memory, LSTM) genutzt. Müssen Informationen lange erinnert werden steigert es die Leistung des Netzes. Neuromorphe Computer wie Intels Loihi, den die Forscher nutzten, greifen hierfür auf einen Speicher zurück.

Noch mehr vom Gehirn abgeschaut

Das ist nicht besonders effizient, weshalb die Forscher einen anderen, ebenfalls von realen Neuronen inspirierten Ansatz nutzten. Reale Neuronen sind, nachdem sie einmal gefeuert haben, eine Zeit lang weniger erregbar. Laut Wolfgang Maass, Professor an der TU Graz, ist dies mutmaßlich die Grundlage des Kurzzeitgedächtnisses im realen Gehirn. Bei den künstlichen Neuronen wird die geringere Empfindlichkeit über einen kleinen Strom erreicht, der dem eingehenden aktivierenden Strom entgegenwirkt. Er nimmt mit der Zeit ab, diese Funktion ist zudem auf dem Loihi-Chip leicht umsetzbar. Das Neuron behält so kurzzeitig, was in der Vergangenheit geschah.

Golem Karrierewelt
  1. Adobe Photoshop Aufbaukurs: virtueller Zwei-Tage-Workshop
    30.06./01.07.2022, Virtuell
  2. Blender Grundkurs: virtueller Drei-Tage-Workshop
    06.-08.09.2022, Virtuell
Weitere IT-Trainings

Getestet haben die Forscher ihren Ansatz mit dem bAbI-Datensatz, bei dem das Netz eine Folge von Sätzen liest und dann eine Frage zu deren Inhalt beantworten muss. Hierfür wandelten sie ein existierendes Netz in ein SNN um und ließen es gegen das Original, das eine GTX 2070 Super berechnete, antreten. Dabei war die neuromorphe Implementierung bis zu 16 Mal effizienter, allerdings nur beim kleinsten Netz für zwei Sätze. Musste sich das Netz 20 Sätze merken, waren die Loihis nur noch vier Mal effizienter.

Noch effizienter mit neuem Chip

Je mehr Sätze das Modell zu verarbeiten hatte, desto geringer fiel der Effizienzgewinn aus. Der Grund hierfür ist, dass mehr künstliche Neuronen und somit mehr der 32 Loihi-Chips auf dem verwendeten Nahuku-Board benötigt werden. Das zur Verarbeitung einer Folge von 20 Sätzen genutzte Netz nutzte 22 Chips. Vom Nachfolger des verwendeten Loihi erhoffen sich die Forscher weitere Effizienzsteigerungen. Da dieser acht Mal so viele künstliche Neuronen enthält, entfällt viel Kommunikation zwischen den einzelnen Chips.

Bitte aktivieren Sie Javascript.
Oder nutzen Sie das Golem-pur-Angebot
und lesen Golem.de
  • ohne Werbung
  • mit ausgeschaltetem Javascript
  • mit RSS-Volltext-Feed


Aktuell auf der Startseite von Golem.de
Franziska Giffey
Deepfake von Klitschko täuscht Berlins Bürgermeisterin

Berlins Regierende Bürgermeisterin Franziska Giffey (SPD) hat per Videokonferenz mit einem Deepfake von Vitali Klitschko gesprochen. Der Betrug flog auf.

Franziska Giffey: Deepfake von Klitschko täuscht Berlins Bürgermeisterin
Artikel
  1. Datenpanne: IT-Mitarbeiter verliert USB-Stick mit Meldedaten einer Stadt
    Datenpanne
    IT-Mitarbeiter verliert USB-Stick mit Meldedaten einer Stadt

    Die Tasche mit dem USB-Stick wurde über ein in ihr ebenfalls enthaltenes Smartphone geortet und gefunden.

  2. Logistik: Post will mit Solarschiff Pakete in Berlin verteilen
    Logistik
    Post will mit Solarschiff Pakete in Berlin verteilen

    Die Post will Pakettransporte von der Straße aufs Wasser verlagern. Das erste der Schiffe wird mit Solarstrom betrieben. In Zukunft sollen sie autonom fahren.

  3. Qualitätsprobleme: VW muss ID.Buzz-Produktion wegen Akkufehlern stoppen
    Qualitätsprobleme
    VW muss ID.Buzz-Produktion wegen Akkufehlern stoppen

    Qualitätsprobleme mit dem Akku des Volkswagen ID. Buzz sorgen für einen Produktionsstopp. Schuld soll eine Akkuzelle eines neuen Lieferanten sein.

Du willst dich mit Golem.de beruflich verändern oder weiterbilden?
Zum Stellenmarkt
Zur Akademie
Zum Coaching
  • Schnäppchen, Rabatte und Top-Angebote
    Die besten Deals des Tages
    Daily Deals • MSI 323CQRDE (WQHD, 165 Hz) 399€ • LG OLED 48C17LB 919€ • Samsung 980 PRO (PS5-komp.) 2 TB 234,45€ • Apple HomePod Mini 84€ • 16.000 Artikel günstiger bei Media Markt • MindStar (u. a. AMD Ryzen 7 5700G 239€, Samsung 970 EVO Plus 250 GB 39€ und Corsair Crystal 680X RGB 159€) [Werbung]
    •  /