Oceanstor A800: Ein Hochleistungs-NAS-Speicher soll viele KI-Probleme lösen
Der OceanStor A800 von Huawei ist ein Hochleistungsspeicher für KI-Daten und ganze KI-Modelle, die so weltweit verfügbar werden. Peter Zhou, President der Data-Storage-Produkt-Linie des Konzerns, hat auf dem IDF (Innovative Data Infrastructure Forum) am 7. Mai 2024 in Berlin die Rolle des neuen NAS-Speichers OceanStor A800 für KI-Daten von Unternehmen betont(öffnet im neuen Fenster) .
Seit den 1990er Jahren hätten sich Unternehmensanwendungen von einzelnen Hosts, Datenbanken, Virtualisierung und File Sharing zu Big Data und High Performance Data Analytics (HPDA) weiterentwickelt, betonte Zhou. "Mit dem Aufstieg der generativen KI ist die Nachfrage nach robusten Datenspeicherlösungen noch wichtiger geworden" , sagte er.
Das Anwachsen der Cluster großer KI-Modelle auf Zehntausende oder Hunderttausende GPUs habe zu häufigeren Clusterfehlern und Trainingsunterbrechungen geführt. Der langwierige Prozess des wiederholten Schreibens von Prüfpunktdaten und der Wiederaufnahme des Trainings führe zu längeren Leerlaufzeiten der Rechner-Cards, wodurch die Clusterauslastung unter 50 Prozent sinke, betonte Zhou.
KI sorgt für extremen Energiebedarf
"Mehr als die Hälfte des Stroms in Rechenzentren wird künftig von KI verbraucht" , sagte Zhou. "Daher wird erwartet, dass der Stromverbrauch globaler Rechenzentren bis 2026 das 2,3-Fache des Jahres 2022 erreichen wird und dem jährlichen Stromverbrauch Japans entspricht."
Der OceanStor A800 biete deswegen eine Architektur zur Trennung von Daten- und Steuerebene und das parallele Dateisystem OceanFS. Die Retrieval-Augmented-Generation(RAG)-Technologie arbeitet mit der eingebetteten Wissensbasis, um Halluzinationen in großen KI-Modellen zu verringern.
Kapazität von 128 TB pro Festplatte
Laut der Präsentation von Zhou bringt der OceanStor A800 durch paralleles NFS+ eine Bandbreite von 500 GBit/s. Lesen und Schreiben von Checkpoints im TByte-Volumen sei im Bereich von zehn Sekunden möglich.
"Für KI-Trainingsdaten wurde die Erfassung, Vorverarbeitung und Trainingseffizienz verbessert" , sagte Zhou, OceanProtect E8000 und X9000 sind dagegen Backup Appliances. Wegen des US-Handelsembargos gegen Huawei werden Hardwarespezifikationen für Produkte wie den OceanStor A800 nur sehr spärlich kommuniziert . OceanStor A800 unterstützt laut der Präsentation die Skalierung mit bis zu 512 Controllern und 4.096 Rechnerkarten. Huaweis neue SSDs bieten eine Kapazität von 128 TB pro Festplatte bei geringerer Größe.