Sysadmin Day 2023: Die Stunde der modernen MacGyvers
Alle reden über künstliche Intelligenz, genauer gesagt: Machine Learning. Dabei wird schnell vergessen, wer dafür sorgt, dass tagtäglich all diese Services weltweit funktionieren. Dieser Text wirft einen Blick auf die aktuellen und künftigen Herausforderungen von Sysadmins, ist aber zugleich ein Loblied auf alle System- und Netzwerkadministratoren, IT-Systemelektronikerinnen, Fachinformatikerinnen für Systemintegration, Fachinformatiker für Anwendungsentwicklung - überhaupt sämtliche IT-Fachleute.
Das Tolle an Sysadmins ist, dass sie Spezialisten und Generalisten zugleich sind und auf den unterschiedlichsten Wegen zu ihrem Job kommen. Es gibt ja gar keinen festen Weg. Man kann zum Beispiel Informatik oder Elektrotechnik und Physik studieren (das habe ich gemacht). Doch das Studium bereitet nur teilweise darauf vor, was einen als verantwortlichen Systemadministrator im echten Leben erwartet.
Gute Voraussetzungen haben alle, die in ihrer Freizeit unzählige Stunden an dunklen Orten an offenen Computergehäusen rumbasteln, Mainboards und Prozessoren installieren, Tutorials und Manuals studieren. Ein unerschöpfliches Interesse an und Begeisterung für (neue) Hard- und Software ist eine Grundvoraussetzung, um gegen alle Widerstände in diesem Beruf anzukommen. Idealerweise machte man sich früh mit Linux und BSD bekannt und konnte dann zusätzlich das größte "Text-Adventuregame" der Welt spielen.
Dass Sysadmins soziale Skills fehlen, halte ich übrigens für ein Gerücht. Sollte es jemals gestimmt haben: Jetzt stimmt es nicht mehr - zumindest nach meiner Erfahrung. Die meisten Systeme müssen feingetunt werden, um den Anforderungen von Kunden, Forschern, Anwendern zu genügen. Das erfordert gute Softskills und vor allem viel Geduld.
Doch wie war das nun eigentlich mit den Admins und der KI?
Admins und die künstliche Intelligenz
Nach ChatGPT 3.5 von OpenAI hat sich die mediale Aufmerksamkeit stark auf Machine Learning, Deep Learning und künstliche Intelligenz fokussiert, Programme und Tools schießen wie Pilze aus dem Boden. Für Forscher und Mitarbeiter im Bereich Deep Learning war ChatGPT eigentlich nichts Neues - bloß der nächste logische Schritt in einer Entwicklung. Aber niemand konnte ahnen, wann er kommen würde und wie stark er sich auswirken würde.
Doch wie verändert das nun den Alltag eines Admins? Das klassische Geschäft bleibt: Man muss immer noch Platten tauschen, Raid Arrays einrichten, Firewalls einstellen, Skripte modifizieren und so weiter.
Doch zwischen User und Admin reicht es nicht mehr aus, einfach die Credentials zu schicken und die wichtigsten Dienste startfähig zu machen. Mannigfaltige Parameter müssen angepasst werden, damit fordernde Dienste und der parallele Zugriff von Hunderten Mitarbeitern sichergestellt ist. Das ist mit Big Data und Deep Learning auf jeden Fall komplexer geworden.
Zunehmend übernehmen KI-basierte Anwendungen manche dieser Aufgaben und auch wenn sie noch nicht perfekt laufen, kann man sich sicher sein, dass sie in der zukünftigen Welt eine wichtige Rolle spielen werden. Dass der Job von Systemadministratoren von der KI übernommen wird, ist aber sehr unwahrscheinlich. Weder jetzt noch in naher Zukunft wird das passieren.
Welcher Bot kriecht schon unter den Tisch, um Kabel zu entwirren?
Denn aktuell schaffen es der Tesla-Bot Optimus oder Boston Dynamics Atlas nicht, im Zwischenboden sich verwindend das beschädigte Netzwerkkabel aus dem Kabelsalat zu entwirren oder die RAM-Module vorsichtig in der richtigen Reihenfolge im neuen Board einzustecken.
Andererseits werden inzwischen 41 Prozent des Github-Codes von KI generiert - zumindest laut Emad Mustaque, dem Gründer und CEO von Stability AI. Er sagt, dass es in ein paar Jahren keine Programmierer mehr brauche. Ob das tatsächlich so sein wird, bleibt abzuwarten.
Was die Sysadmins angeht: Sie fehlen derzeit überall, ob im großen Konzern, im kleinen und mittleren Unternehmen oder im öffentlichen Dienst (was wegen der geringen Bezahlung aber auch kein Wunder ist).
Grafikkarten im Serverraum und andere neue Herausforderungen
Wer aktuell als Sysadmin anfängt und im Bereich von KI, ML oder Deep Learning arbeitet, wird um ein Thema kaum herumkommen: GPU-gestützte Serverinfrastruktur. Ich selbst habe vor etwa zehn Jahren Systeme wie die HP Proliant DL 785 eingebaut, die monolithisch aufgebaut waren und keine leistungsfähigen Grafikadapter hatten.
Mit RAM-Größen von mehr als 250 GB und 48 Kernen sowie einer Investitionssumme im hohen fünfstelligen Bereich erfreuten sie das Adminherz und konnten damals viele PhD-Studenten und Forscher glücklich machen, weil sie nach Belieben ihren manchmal schlecht geschriebenen Java-Code (ohne Speicherbeschränkung) ausprobieren konnten.
Heute liegen die Beschränkungen im KI-Bereich bei den Speichergrößen der Grafikbeschleuniger - und der Fokus bei ML und RL (Reinforcement Learning) daher vermehrt auf Grafikadaptern und verteilten Systemen, die die Rechenleistung hauptsächlich von Modulen wie die Nvidia A100(H100) beziehen.
Das heißt: Es reicht nicht, einen monolithischen großen Server anzustecken, ihn zu installieren, die Skripte zu starten - und fertig ist die Integration. Vielmehr gibt es viele iterative, kleine Schritte, um das komplexe Arbeitsumfeld den gewünschten Anforderungen anzupassen. Ich fand den Austausch mit Postdocs, PhD-Studenten und Professoren immer bereichernd und habe mich als IT-Architekt immer für alle Anmerkungen und Verbesserungsvorschläge interessiert und versucht, diese umzusetzen.
Diese dynamischen Zeiten als Sysadmin zu erleben, kann sehr fordernd, aber auch abwechslungsreich und interessant sein. Dabei hatte ich als Sysadmin und - später - Abteilungsleiter das Glück, hauptsächlich mit Linux-basierten Serversystemen in einer homogenen Serverinfrastruktur zu arbeiten und kann das Arbeiten in einer solchen Umgebung nur als sehr lehrreichen und spannenden Prozess beschreiben.
Linux-Wissen hilft
Die Deep-Learning/ML-Forschung findet meist auf Linux-basierten Systemen statt, erstens wegen einer großen Freiheit bei der Softwarewahl, zweitens wegen der Lizenzgebühren und Softwarekosten. Nicht zu vergessen, dass ein großer Teil der Forschungscommunity Linux benutzt. Erfahrung mit Linux hilft in jedem Fall, denn der überwiegende Teil aller Server läuft weltweit mit diesem Betriebsystem.
Die berühmte "bash"-Konsole Vim sollten einen nicht schrecken - auch wenn der erste Versuch, Vim zu beenden, lustig aussehen kann, wenn man das Manual nicht sorgfältig gelesen hat. Die Lernkurve danach ist steil, wenn man am Ball bleibt.
Admins sind Einkäufer, Hausmeister, Elektrotechniker
Generell bleibt man als Sysadmin viel am Ball - allein schon, weil man in der Regel immer mehrere Hüte aufhat. Man ist Einkäufer, Hausmeister, Elektrotechniker etc.
Wenn man dann plötzlich große Systeme wie zwei Nvidia DGX A100(öffnet im neuen Fenster) einbauen muss, kann beim ersten Burn-In-Test schonmal die Sicherung rausfliegen (hoffentlich hat man keine Glassicherungen mehr im Haus, denn der Hausmeister hat zu den Adminunzeiten bestimmt schon Feierabend gemacht). Wenn man aber seine Hausaufgaben gemacht hat, sind die 3-Phasen-Anschlüsse schon vor dem Einbau richtig dimensioniert - und es läuft so ab wie geplant.
Mit 13 kW Spitzenverbrauch ist allein die Stromanbindung eine kleine Herausforderung, von der Überwachung der Kühlung der Anlage im Sommer ganz zu schweigen. Was ich damit sagen möchte: Der Stromverbrauch ist massiv gestiegen und darum müssen sich Sysadmins auch kümmern.
Will man jetzt noch der Chefetage begreiflich machen, warum mehr Investitionen in den historisch gewachsenen Serverraum gesteckt werden müssen, ist Fingerspitzengefühl gefragt. Wenn man Glück hat, übernimmt ein IT-Abteilungsleiter diese Aufgabe - wenn nicht, hat man unter Umständen noch einen zusätzlichen Hut im Schrank zu verstauen.
Nichts ist so schön wie ein stabiles, sicheres System
Wenn man es am Ende dieser langen Liste von Aufgaben geschafft hat, ein stabiles, gut abgesichertes, gut gekühltes und mit einem regelmäßigen Backup versorgtes Hochleistungssystem im Serverraum blinken zu sehen, ist das aber einfach ein schönes Gefühl. Es entschädigt für alle Mühen, den Papierkram, die Schwierigkeiten und die vielen Überstunden, die man investiert hat.
Auf Lob aus der Chefetage muss man nicht warten. Das kommt meist von den zufriedenen Entwicklern, Forschern und Studenten, die sich - zumindest ab und an - begeistert bedanken und sagen, wie viel schneller ihr Script nun durchgelaufen sei und dass sie schon das nächste Experiment hätten starten können oder ihre Deadline einhalten.
Ein Helfer-Syndrom bringt viel bei der Arbeit eines Sysadmin. Denn wenn vor Deadlines von Publikationen oder Demos alle zehn Minuten das Telefon klingelt und ständig neue Messenger-Nachrichten aufpoppen, kann das schnell überfordern.
Ruhe bewahren zu können und strukturiert zu arbeiten, ist eine der wichtigsten Eigenschaften für diesen Beruf. Es gibt Tage mit 14 oder 15 Stunden - und keiner garantiert, dass der Feierabend mit einem Erfolgserlebnis endet. Wenn man sich dann aber vergegenwärtigt, dass ein paar Hundert Mitarbeiter auf diesen einen Dienst gerade dringend angewiesen sind, hilft das der Motivation ungemein.
Ebenfalls unabdingbar, wenn nicht gar überlebenswichtig: Humor. Sysadmin ist zweifelsohne einer der stressigsten Berufe überhaupt. Wer nicht mit einer positiven Grundeinstellung an Situationen und Probleme herangeht, verpasst womöglich sehr viele unterhaltsame Momente und macht sich das Leben unnötig schwer.
"Hilfe, ich habe das Internet gelöscht!"
Tatsächlich bekommt man oft sehr viele "unterhaltsame" oder missverständliche Tickets, Mails und Nachrichten. Ich erinnere mich zum Beispiel an eine panische Mail, in der von einem Mitarbeiter behauptet wurde, er habe das Internet aus Versehen gelöscht! Am Ende war es nur der Desktop-Link des Internet Explorers, der gelöscht wurde.
Es gibt so viele skurrile Begebenheiten im Sysadmin-Alltag, dass sogar eine Serie dazu gemacht wurde. In The IT Crowd sind viele alltägliche Situationen natürlich überzeichnet, im Kern stellen sie aber sehr oft die Realität in einigen IT-Abteilungen dar. Die Serie ist auch für Nicht-Itler ganz unterhaltsam. Für den etwas dunkleren Humor sei der berühmt-berüchtigte BOFH von Simon Travaglia erwähnt, auch Dilbert-Comics machen gute Laune.
Sysadmins erwarten kein Lob, aber schaden tut's auch nicht!
Sysadmin ist ein Beruf mit Zukunft und vielen Aufstiegschancen. Meist geht es als Hiwi an einer Firma oder an einem Institut los, dann wird man Junior Sysadmin, verantwortlicher Sysadmin oder Architekt und kann dann, als IT-Leiter, Personalverantwortung übernehmen.
Letzteres wird am besten bezahlt, was aber nicht heißt, dass Arbeiten wie einen Server aufzusetzen, Ip configs anzupassen oder andere alltägliche Dinge wegfallen. Systemadministrator - oder wie auch immer der Job künftig heißen wird - wird ein sehr gefragter Beruf bleiben. Die Entwicklung der letzten 20 Jahre zeigt das aus meiner Sicht.
Hoffentlich wird auch die Wertschätzung noch steigen - nicht nur monetär.
Denn wenn wir ehrlich sind: Ohne Systemadministratoren würden IT-Services nicht 24/7 laufen. Sysadmins sorgen täglich dafür, dass sich die digitale Welt immer weiter dreht. Dafür machen sie viele unbezahlte Überstunden, verbreiten unerschütterlichen Optimismus und trinken ganz viel Kaffee.
Wenige kriegen mit, was im Serverraum alles los ist: Ob das letzte Update durchgelaufen ist, ob eine Festplatte abgeraucht ist oder ein Hotspare gerade eingesprungen ist oder nicht. Klar ist es so gedacht, dass die Nutzer das nicht mitbekommen. Trotzdem: Es steckt extrem viel Arbeit dahinter.
Sysadmins lassen jeden Tag nichts unversucht, um alle möglichen IT-Probleme zu lösen. Damit wir unsere Mail abfragen, im Internet surfen, telefonieren, chatten und alles mögliche andere tun können, arbeiten sie unermüdlich und werden das auch morgen tun!
Schulterklopfen, nachfragen, einen Kaffee ausgeben
Lob und Dankbarkeit erwarten sie in den wenigsten Fällen. Aber es kann nicht schaden!
Also: Wer das nächste Mal einen über den Flur hastenden Sysadmin sieht, klopfe ihm auf die Schulter, frage ihn, wie es ihm geht, gebe ihm einen Kaffee aus oder irgendeine extrem ungesunde Süßigkeit - oder sage einfach Mal: Danke!
Er wird sich sicher freuen - und die Response Time des nächsten Tickets wird dann bestimmt auch viel kürzer sein.
Dimitar Mitev ist Senior-IT-Manager. Er arbeitet als Senior-Systemarchitekt und IT-Consultant im Bereich Deep Learning/ML mit Server-Infrastruktur von Nvidia DGX, Supermicro und HPE Proliant.