Energiebedarf großer Sprachmodelle: Effizientere KI mit Hardware-Aware-Optimierung
Die Ursache für den immensen Energiebedarf großer Sprachmodelle (Large Language Models, LLMs) liegt in deren Größe. Mit hunderten Milliarden von Parametern haben LLMs einen Speicherbedarf von über einem Terabyte, und jeder generierte Output erfordert, dass diese Milliarden Parameter aus dem Speicher gelesen und verarbeitet werden. Das erfordert eine Menge Energie, aber es gibt Ansätze, diesen Bedarf zu reduzieren.
Golem hat mit Taha Soliman gesprochen, der für Bosch Research in Renningen an innovativen Hardware-Architekturen und Optimierungsmethoden für LLMs und eingebettete Systeme forscht. Für seinen Beitrag zur Weiterentwicklung von Wissenschaft und Technik wurde Soliman von der Stiftung Werner-von-Siemens-Ring(öffnet im neuen Fenster) ausgezeichnet.