Energiebedarf großer Sprachmodelle: Effizientere KI mit Hardware-Aware-Optimierung
Inhalt
Dieser Golem-Plus-Text ist 24 Stunden frei verfügbar.
Die Ursache für den immensen Energiebedarf großer Sprachmodelle (Large Language Models, LLMs) liegt in deren Größe. Mit hunderten Milliarden von Parametern haben LLMs einen Speicherbedarf von über einem Terabyte, und jeder generierte Output erfordert, dass diese Milliarden Parameter aus dem Speicher gelesen und verarbeitet werden. Das erfordert eine Menge Energie, aber es gibt Ansätze, diesen Bedarf zu reduzieren.
Golem hat mit Taha Soliman gesprochen, der für Bosch Research in Renningen an innovativen Hardware-Architekturen und Optimierungsmethoden für LLMs und eingebettete Systeme forscht. Für seinen Beitrag zur Weiterentwicklung von Wissenschaft und Technik wurde Soliman von der Stiftung Werner-von-Siemens-Ring(öffnet im neuen Fenster) ausgezeichnet.
Software lässt sich in hohem Tempo anpassen, Hardware nicht
Soliman erklärt, dass der immense Rechenaufwand zu drei Dimensionen des Energieverbrauchs führt: auf Speicherebene, wo die massiven Datenmengen kontinuierlich ausgelesen werden, auf der Computing-Ebene, wo das Verarbeiten der Daten stattfindet, und bei der Kühlung dieser Systeme.
Ein Hauptproblem bei der Reduzierung des Energiebedarfs sei, dass sich Software in einem hohen Tempo weiterentwickeln und anpassen lasse, dagegen nehme die Entwicklung neuer Hardware Jahre in Anspruch. Entsprechend laufe aktuelle Software fast immer auf älterer, nicht angepasster Hardware.
Als Beispiel nennt Soliman den Weg, den KI-Modelle in den letzten 15 Jahren genommen haben. Für die von 2010 bis 2017 laufenden Imagenet-Wettbewerbe mussten Teilnehmer Objekte in digitalen Bildern von Convolutional Neural Networks (CNN) erkennen und klassifizieren lassen.
Aktuelle LLMs sind der Hardware voraus
CNNs ließen sich auf Grafikprozessoren gut trainieren, mit dem Aufkommen von Transformer-Modellen Ende des Jahres 2018 erreichte die Software für maschinelles Lernen, auf denen auch die heutigen großen LLMs basieren, aber eine neue Qualität. Bis die Hardware leistungsfähig genug war, dauerte es bis zum Jahr 2022.
Die Software aktueller LLMs ist der Hardware immer noch voraus. "Die Hardware, die wir benutzen, wurde nicht für die aktuellen Workloads designt" , sagt Soliman. "Wir müssen uns daher fragen, wie wir die verfügbare Hardware optimal ausnutzen können" .
- Anzeige Hier geht es zu Künstliche Intelligenz: Wissensverarbeitung bei Amazon Wenn Sie auf diesen Link klicken und darüber einkaufen, erhält Golem eine kleine Provision. Dies ändert nichts am Preis der Artikel.