Grafikkarten im Serverraum und andere neue Herausforderungen

Wer aktuell als Sysadmin anfängt und im Bereich von KI, ML oder Deep Learning arbeitet, wird um ein Thema kaum herumkommen: GPU-gestützte Serverinfrastruktur. Ich selbst habe vor etwa zehn Jahren Systeme wie die HP Proliant DL 785 eingebaut, die monolithisch aufgebaut waren und keine leistungsfähigen Grafikadapter hatten.

Mit RAM-Größen von mehr als 250 GB und 48 Kernen sowie einer Investitionssumme im hohen fünfstelligen Bereich erfreuten sie das Adminherz und konnten damals viele PhD-Studenten und Forscher glücklich machen, weil sie nach Belieben ihren manchmal schlecht geschriebenen Java-Code (ohne Speicherbeschränkung) ausprobieren konnten.

Heute liegen die Beschränkungen im KI-Bereich bei den Speichergrößen der Grafikbeschleuniger – und der Fokus bei ML und RL (Reinforcement Learning) daher vermehrt auf Grafikadaptern und verteilten Systemen, die die Rechenleistung hauptsächlich von Modulen wie die Nvidia A100(H100) beziehen.

Das heißt: Es reicht nicht, einen monolithischen großen Server anzustecken, ihn zu installieren, die Skripte zu starten – und fertig ist die Integration. Vielmehr gibt es viele iterative, kleine Schritte, um das komplexe Arbeitsumfeld den gewünschten Anforderungen anzupassen. Ich fand den Austausch mit Postdocs, PhD-Studenten und Professoren immer bereichernd und habe mich als IT-Architekt immer für alle Anmerkungen und Verbesserungsvorschläge interessiert und versucht, diese umzusetzen.

Diese dynamischen Zeiten als Sysadmin zu erleben, kann sehr fordernd, aber auch abwechslungsreich und interessant sein. Dabei hatte ich als Sysadmin und – später – Abteilungsleiter das Glück, hauptsächlich mit Linux-basierten Serversystemen in einer homogenen Serverinfrastruktur zu arbeiten und kann das Arbeiten in einer solchen Umgebung nur als sehr lehrreichen und spannenden Prozess beschreiben.

Linux-Wissen hilft

Die Deep-Learning/ML-Forschung findet meist auf Linux-basierten Systemen statt, erstens wegen einer großen Freiheit bei der Softwarewahl, zweitens wegen der Lizenzgebühren und Softwarekosten. Nicht zu vergessen, dass ein großer Teil der Forschungscommunity Linux benutzt. Erfahrung mit Linux hilft in jedem Fall, denn der überwiegende Teil aller Server läuft weltweit mit diesem Betriebsystem.

Die berühmte "bash"-Konsole Vim sollten einen nicht schrecken – auch wenn der erste Versuch, Vim zu beenden, lustig aussehen kann, wenn man das Manual nicht sorgfältig gelesen hat. Die Lernkurve danach ist steil, wenn man am Ball bleibt.

Admins sind Einkäufer, Hausmeister, Elektrotechniker

Generell bleibt man als Sysadmin viel am Ball – allein schon, weil man in der Regel immer mehrere Hüte aufhat. Man ist Einkäufer, Hausmeister, Elektrotechniker etc.

Wenn man dann plötzlich große Systeme wie zwei Nvidia DGX A100 einbauen muss, kann beim ersten Burn-In-Test schonmal die Sicherung rausfliegen (hoffentlich hat man keine Glassicherungen mehr im Haus, denn der Hausmeister hat zu den Adminunzeiten bestimmt schon Feierabend gemacht). Wenn man aber seine Hausaufgaben gemacht hat, sind die 3-Phasen-Anschlüsse schon vor dem Einbau richtig dimensioniert – und es läuft so ab wie geplant.

Mit 13 kW Spitzenverbrauch ist allein die Stromanbindung eine kleine Herausforderung, von der Überwachung der Kühlung der Anlage im Sommer ganz zu schweigen. Was ich damit sagen möchte: Der Stromverbrauch ist massiv gestiegen und darum müssen sich Sysadmins auch kümmern.

Will man jetzt noch der Chefetage begreiflich machen, warum mehr Investitionen in den historisch gewachsenen Serverraum gesteckt werden müssen, ist Fingerspitzengefühl gefragt. Wenn man Glück hat, übernimmt ein IT-Abteilungsleiter diese Aufgabe – wenn nicht, hat man unter Umständen noch einen zusätzlichen Hut im Schrank zu verstauen.