Doom-Macher: John Carmack stellt sich Glasfaser als RAM-Ersatz vor
Der Programmierer und Doom-Erfinder John Carmack hat sich Gedanken gemacht, wie ein moderner Zwischenspeicher für große KI-Modelle aussehen könnte. Er stellt sich vor, dass Glasfaserkabel als Cache genutzt werden könnten. Schließlich sind damit bereits Datenraten von 256 Terabyte pro Sekunde auf einer Länge von 200 Kilometern demonstriert worden.
"Dies ergibt 32 GByte an Daten im aktiven Transit, also in der Faser gespeichert" , schreibt Carmack auf X(öffnet im neuen Fenster) . "Es ist amüsant, über ein System ohne DRAM nachzudenken, bei dem KI-Gewichtungen stets in einem L2-Cache und in einer Glasfaserschleife gestreamt werden." Um die notwendigen Datenraten zu erreichen, müssten laut seinen Überlegungen mehrere dieser Schleifen parallel laufen.
Außerdem müssten Daten für die Nutzung mit einem solchen Speicher gut in einer speziellen Pipeline sortiert werden. Schließlich würde eine solche Methode typische Random-Reads, wie bei elektronischem RAM üblich, nicht einfach so umsetzen können, da Daten in einem zusammenhängenden Strom über ein Medium wie Glasfaser transportiert werden.
Elon Musk und das Vakuum als Speicher
Es wird also in Sequenzen auf Daten zugegriffen, wie es auch bei altem Delay-Line-Speicher(öffnet im neuen Fenster) der Fall ist. Carmack stellt sich vor, dass Flash-Hersteller und KI-Unternehmen einen einheitlichen Standard definieren müssten, damit eine solche Speichermethode realistisch umsetzbar ist.
Diverse Menschen beschreiben auf X Herausforderungen der Technik. So würde es eine große Menge Glasfaser benötigen, um brauchbare Speicher zu bauen. Diese dann noch in ein nutzbares Format zu komprimieren, wäre eine weitere Herausforderung. Auch X-Besitzer Elon Musk scheint die Idee interessant zu finden.
Er stellt sich das Vakuum im Weltall als Zwischenspeicher vor. Es könnte etwa ein Signal vom Mond reflektiert und zwischen Computersystem und dem Himmelskörper gespeichert werden. Dies würde allerdings die Datenraten durch Lichtstreuung deutlich reduzieren.
- Anzeige Hier geht es zu Künstliche Intelligenz: Wissensverarbeitung bei Amazon Wenn Sie auf diesen Link klicken und darüber einkaufen, erhält Golem eine kleine Provision. Dies ändert nichts am Preis der Artikel.