IT-True-Crime: Blinkenlights aus der Hölle
True Crime ist gerade in allen Medien der Renner. Manche von euch brauchen aber keine Serie und keinen Podcast, denn sie haben ihre Jobs. IT-Spezialisten müssen oft knifflige Fälle lösen und Tätern auf die Spur kommen. Wir haben euch nach euren True Crimes gefragt – hier sind eure Geschichten!
Hier kommen eure persönlichen Krimis:
➤ Ich habe eine Telefonanlage für einen Kunden eingerichtet. Je nach Situation nutze ich die lokale Appliance des Anbieters, manchmal aber auch ein Proxmox-System mit einer VM dieser Appliance. Diesmal war es ein Proxmox-System. Der Kunde beschwerte sich dreimal, dass das System morgens nicht mehr funktioniert habe. Der Proxmox-Host war verfügbar, aber die VM stürzte jedes Mal zwischen 01:00 und 01:15 ab, obwohl in dieser Zeit nichts Ungewöhnliches passiert. Im Log stand nichts: kein Speichermangel, keine dmesg-Log-Einträge. Die VM war nicht mehr pingbar, zeigte kein Konsolenfenster mehr an, lief aber angeblich noch. Sehr untypisch war das alles – und für mich offensichtlich kein Hardwareproblem, weil Proxmox ja noch lief.
Um dem Kunden zu helfen, programmierte ich ein Bashskript, das ich alle sechs Minuten ausführte. Es pingt die VM und wenn nichts zurückkommt, wird drei Minuten später erneut ein Ping versucht. Kommt auch da keine Antwort, wird die VM hart neugestartet und ein Log-Eintrag erstellt. Den Log-Eintrag und den Neustart testete ich, indem ich die zu pingende Adresse auf eine nicht existente Adresse im Netz änderte. Alles lief, wie es sollte. Also schaltete ich scharf.
Es passierte: nichts! Kein Kunde mehr, der mich diesbezüglich anrief, kein Log-Eintrag. Ein halbes Jahr später entdeckte ich das Konstrukt zufällig bei Wartungsarbeiten und nahm den Cronjob heraus. Lief ja jetzt alles. Zwei Tage später rief der Kunde jedoch wieder an: Die Anlage lief nicht.
Das Konstrukt läuft bis heute so. Ich habe es nicht mehr angefasst. Ein Ping alle sechs Minuten auf das Interface hält die Maschine am Leben – und ich weiß nicht warum.
➤ Weil wir über Scans im Internet ein IoT-Gerät mit horrenden Schwachstellen entdeckt hatten, sollte ich als Security Analyst bei einem Telekommunikationsunternehmen herausfinden, wem das Gerät gehört, weil es in unserem Zuständigkeitsbereich online war. Das Gerät, über LTE angebunden, war wegen Carrier Grade Nat und schwieriger Datenlage nicht eindeutig einem Kunden zuzuordnen, allerdings war auf dem Gerät public eine MQTT-Web-UI verfügbar. Die UI deutete aufgrund der verfügbaren Daten an, dass es sich um eine Wetterstation handeln musste.
Mit dem dort ersichtlichen Modelltyp und Hostnamen konnte ich über die Unternehmens-Social-Media-Plattform einen Beitrag finden, der ein baugleiches Gerät auf einem Foto darstellte und damit auch einen Hinweis auf den Geo-Standort gab. Diese Info, in Kombination mit Google-Street-View-Aufnahmen, führten zur erfolgreichen Kundenzuordnung und Behebung der Schwachstellen.
Wie – es gibt ein Mailarchiv?
➤ Ich arbeitete zum Zeitpunkt dieser Geschichte im Gesundheitswesen und da man dort mit potenziell infektiösem Material in Kontakt kommen konnte, war ein Impfnachweis für Masern Pflicht. Die Personalabteilung rief einen Kollegen aus dem Support an und bat ihn, seinen Impfnachweis nachzureichen, da sie ihn noch nicht erhalten hätten. Der Kollege war sich aber sicher, den Nachweis schon abgegeben zu haben.
Also durchsuchte er seine Mails und fand eine vor rund anderthalb Jahren abgeschickte Mail mit dem Impfnachweis. Er leitete sie an die Personalabteilung weiter mit der Frage, wie es sein könne, dass er den Nachweis nochmal zuschicken musste. Aus der Personalabteilung hieß es dann etwas kleinlaut, dass es da ein etwas größeres Problem gebe und einige Nachweise nicht mehr da seien. Es waren allerdings nicht nur einige, sondern mehrere Hundert. Anstatt es zu melden, wurden alle in ihrem Bereich der Reihe nach abtelefoniert. Der Verlust wäre ein riesiges Problem, daher haben wir uns an die Suche nach der Ursache gemacht.
Die Lösung war einfacher als gedacht: Die Nachweise wurden im Postfach der Personalabteilung gesammelt, allerdings war dort niemandem bewusst, dass alles, was älter als ein Jahr ist, aus den Postfächern ins Mailarchiv verschoben wird. Wir haben also im Mailarchiv nachgeschaut, alles war da. Der Gesichtsausdruck war Gold wert.
➤ Es war zur Zeit der CRT-Monitore, etwa 20 Jahre her. Im Wareneingang stand ein Monitor, der ein extrem verzerrtes Bild zeigte. Der Monitor wurde ausgetauscht, aber der neue hatte das gleiche Problem. Noch ein Austausch, noch ein Versuch, nichts half. Wir tauschten den PC aus, der dort stand – wieder kein Erfolg.
Aus lauter Hilflosigkeit baten wir die Betriebselektriker, sich die Stromversorgung an der Stelle anzusehen. Aber auch sie fanden nichts. Der Leiter des Wareneingangs wurde immer ungeduldiger, er konnte nicht verstehen, warum die IT ein so simples Problem wie einen defekten Monitor nicht in den Griff bekommen konnte. Auch meine damalige Teamleiterin und der IT-Leiter Deutschland schauten sich das Problem vor Ort an. Ohne Lösung.
Das Ganze zog sich über Wochen hin – bis ich eines Tages einen Supportfall in der angrenzenden Halle hatte. Dort stellte sich heraus: Seit Wochen wurden hinter der Wand, an der der Monitor stand, Magnete zwischengelagert. Das war des Rätsels Lösung!
➤ Eine Story aus der Rubrik "Omma erzählt vom Krieg" ... Tatort: der AStA einer deutschen Universität, Mitte der 90er Jahre. In liebe- und mühevoller Kleinarbeit wurde daheim mit MS Paint ein Plakat für eine Veranstaltung entworfen, nun musste es noch schnell gedruckt werden. Also ab zum AStA, Rechner hochgefahren, Diskette rein (die Älteren erinnern sich!), Drucker eingeschaltet.
Nur – der existierte für das System nicht (ich weiß nicht mehr, ob es Windows 95 oder sogar noch 3.1 war, vermutlich eher Letzteres). Weder über "Datei drucken" noch über die Gerätesteuerung wurde ein Drucker angezeigt. Einen offiziellen Admin gab es natürlich nicht, nur ein paar Leute, die sich mehr oder weniger gut mit Computern auskennen – und sich jetzt alle um das Gerät versammelten und herumrätselten. Kabel wurden gecheckt, Handbücher konsultiert ("schnell mal googlen" lag noch in der Zukunft) und sogar tief auf der DOS-Ebene gegraben – doch der Drucker blieb verschwunden.
Nach etlichen nervenaufreibenden Stunden war die Lösung so klischeehaft, wie man es sich nur vorstellen kann: runterfahren und neu starten. Allerdings mit einem kleinen Dreh: Es stellte sich raus, dass der Drucker vom System nur erkannt wurde, wenn er vor dem Hochfahren des Rechners eingeschaltet war. Die Geschichte mag von vorgestern sein, was sich aber nicht geändert hat, ist die Launenhaftigkeit von Druckern.
Auf den Spuren der verschwundenen Grafikkarten
➤ Vor einigen Jahren bestellten wir bei einem früheren Arbeitgeber eine angepasste CAD-Workstation von Lenovo für Simulationsberechnungen. Es handelte sich um die bis dato teuerste von Lenovo verkaufte Workstation in Europa. Das System wurde neben einem Dualprozessor-Setup mit zwei sehr teuren Nvidia-Karten ausgestattet, die seinerzeit 6.000 Euro netto pro Stück kosteten. Das Gesamtsystem kam auf rund 18.000 Euro.
Da die Lieferung ungewöhnlich lange dauerte, hakte ich einige Wochen später bei Lenovo nach. Antwort: Die Annahme wurde angeblich verweigert, was uns schon komisch vorkam. Das System stand beim Spediteur – warum es nicht zurückging, blieb ebenfalls im Dunkeln.
Nach einigen Tagen kam das System dann an. Leider akzeptierte unsere Warenannahme das Paket, obwohl der Karton einigermaßen stark ramponiert war. Wir machten vor dem Öffnen Fotos und ich bat meine Auszubildende, das Paket auszupacken und das Gerät schonmal anzuschließen, um es für die Installation vorzubereiten.
Nach einiger Zeit kam sie zu mir und sagte, sie wisse nicht, wo sie den Bildschirm anschließen solle. In dem Moment dachte ich zugegebenermaßen etwas genervt: "Kann ja nicht sein, dass du im zweiten Ausbildungsjahr es nicht schaffst, einen Bildschirm anzuschließen." Noch bevor ich was sagen konnte, sagte sie, es seien hinten "vier Slots ohne Slotblech frei" .
Ich machte mir sofort ein Bild, öffnete das Gehäuse und stellte fest, dass die Karten fehlten. Etwas irritiert stellte ich eine kurze Rückfrage bei Lenovo, ob sie denn separat kämen. Die Antwort folgte prompt: Nein und warum ich fragen würde. Ich sagte: "Na ja, die Grafikkarte fehlt." Darauf Lenovo: "Beide?!" Ich: "Ähm, ich hatte gar nicht mehr in Erinnerung, dass es zwei Karten waren ... aber ja, beide dann wohl."
Lenovo hakte intern nach, wir untersuchten den Karton genauer: Es war zu sehen, dass über das mit Lenovo beschriftete Klebeband fein säuberlich ein transparentes geklebt worden war. Bei Lenovo stellte sich recht schnell heraus: Die Karten sollten drin sein, fehlten jetzt aber. Diebstahl?!
Ich bat die Auszubildende also, Ebay zu beobachten. Nach rund zwei Wochen tauchten dort exakt zwei Grafikkarten auf: "praktisch neu, ohne Staub, Stückpreis 3.000 Euro von privat" . Durch die Vergrößerung der Bilder waren die Seriennummern zu erkennen, sie waren aufeinanderfolgend. Der Ort des Verkäufers war in der Nähe des Depots des Dienstleisters. Ansonsten verkaufte der Verkäufer – immer von privat – Server-CPUs, jedoch immer gebrauchte.
Wir fragten bei Lenovo nach den Seriennummern. Es waren exakt die Nummern der Karten, die in unserem System fehlten! Wir übergaben sämtliche Infos an Lenovo, es wurde wohl Anzeige erstattet – wir hörten jedoch (leider) nie wieder etwas davon. Wir bekamen neue Karten, alle anderen Komponenten waren anscheinend noch vollständig.
Veruntreuung aufgedeckt
➤ Es war zu meiner Ausbildungszeit (um 2001 herum) und passierte einem Klassenkollegen in der Berufsschule: Er erzählte uns, dass die Server in seiner Arbeitsstelle immer zu einer bestimmten Uhrzeit zusammenbrachen und etwa zehn Minuten später wieder hochfuhren. Alle hatten Skripte/Viren/Trojaner im Verdacht. Ich sagte scherzeshalber: "Guckt mal, wann eure Putzfrau unterwegs ist."
Er erzählte es den Kollegen und im nächsten Blockunterricht berichtete er, dass, als er das nächste Mal im Büro gewesen sei, die Steckdosen abgesperrt und mit Panzertape abgesichert worden seien. Seitdem gab es zu besagter Uhrzeit keinen Ausfall mehr.
➤ Ich habe meinen damaligen Chef erwischt, wie er Hunderttausende Euro veruntreut hat, unter anderem, um eine Geliebte und deren Sohn (seiner?) mit einem Haus zu versorgen. Er fälschte Eingangs- und Ausgangsrechnungen und hatte Vertraute bei einem Dienstleister, die mit ihm gemeinsame Sache gemacht haben.
Eigentlich bin ich nur durch Zufall draufgekommen: Ich wollte mehr Mitsprache im Einkauf haben, weil wir immer sehr teuer bei besagtem Dienstleister eingekauft haben. Das verstand ich nicht und dachte: "Die nehmen ihn aus!" . Ich bat ihn also, mich zukünftig einzubeziehen, um Geld einzusparen. Er wollte aber nicht und erinnerte mich daran, dass ich genug andere Sachen um die Ohren hätte. Er hatte da nicht unrecht und ich dachte mir nichts weiter dabei – das Budget war ja seine Aufgabe.
Als ich einige Monate später ein Vertragsdokument suchte, fiel mir eine seltsame Rechnung in seinem Ablagestapel in die Hände, von der ich wusste, dass wir solche IT-Produkte gar nicht eingekauft hatten. Das fand ich seltsam und meine Neugier war geweckt. Ich habe dann auf eigene Faust recherchiert und letztlich auch seine Datenablage durchforstet. Mir kam das Grauen: Rechnungsvorlagen, die er hat anpassen müssen; seltsame Korrespondenz mit dem Dienstleister; Rechnungen mit Produkten, die niemals bei uns gelandet sind und so weiter.
Mir wurde schlagartig klar, dass es sich um Betrug handeln musste. Ich war hin und hergerissen, weil ich wusste, dass er seinen Job verlieren würde, wenn ich das an die Geschäftsleitung trage – und ich möglicherweise auch, weil ich seine Daten durchsucht habe. Andererseits wusste ich nun von dem Betrug und nichts zu sagen wäre falsch gewesen. Das war irrsinnig schwer: Ich hatte die Angst, dass er sich vielleicht sogar etwas antut, weil es um sehr viel Geld ging. Zudem hat mein Vater etwas Ähnliches verbrochen, das hat bei mir böse Erinnerungen an eine katastrophale Phase meines Lebens geweckt.
Ich bin dann letztlich zum Betriebsrat und habe dort nochmal alles dargelegt. Ich konnte es ja selbst nicht glauben und dachte, ich habe etwas übersehen und das Ganze ist möglicherweise doch ganz normal. Dort hat man mich auch gut unterstützt und die Dokumente und Einschätzung anonymisiert an die Geschäftsleitung kommuniziert.
Die wusste aber relativ schnell Bescheid, dass ich das "Leak" war – es gab eigentlich kaum eine andere logische Möglichkeit. Da ich mir mit Lügen sehr schwer tue, habe ich, als ich die Aufforderung aus der Geschäftsleitung bekam, offiziell Beweise zu sichern, den Geschäftsführer über mein Tun informiert. Ich wollte und konnte nicht Unwissen und Verwunderung vortäuschen. Danach bin ich dann erst einmal zusammengebrochen, weil ich das Schlimmste sowohl für meinen Chef als auch für mich befürchtete.
Man hat mich nicht entlassen, aber das Versprechen, meinen Namen aus der Sache herauszuhalten, wurde gebrochen. Nach nur wenigen Tagen wusste die ganze Firma Bescheid (und so auch mein Chef). Das fand ich extrem enttäuschend und im Nachgang war es wohl auch ein Versuch, mich auf diesem Wege loszuwerden. Ich fand das extrem undankbar.
Mein Chef wurde sofort entlassen, machte aber einen Deal mit der Firma (Rückzahlung der Gelder, dafür keine Anzeige). Das mag angesichts meiner möglicherweise illegalen Recherche doppelzüngig klingen, aber ich fand, dass er durchaus eine Strafe hätte bekommen müssen – alleine schon aus Präventionsgründen.
Er fand relativ schnell eine neue Stelle, als Finanz- und Controllingleiter, ausgerechnet. Ich selbst habe nach einiger Zeit schweren Herzens gekündigt. Ich habe dort sehr gerne gearbeitet, aber manche Kolleginnen und Kollegen haben mich danach anders behandelt – mein Chef war sehr beliebt, auch bei mir. Außerdem hat man mir von der Geschäftsleitung signalisiert, dass ich im Unternehmen keine Zukunft habe.
Im Nachgang denke ich mir: Hätte ich besser nichts gesagt.
RAID ist toll ...
➤ Admin kommt aus dem Urlaub zurück und arbeitet seine E-Mails der Reihe nach ab. Eine kam vom RAID-System, eine Platte werfe zu viele Fehler. "Ist ja Hot-Swap und automatisch selbst-replizierend" , sagt er sich, geht selbstsicher mit einer frischen Platte ins RZ und hat *zupp* auf einmal die Blinkenlights der Hölle vor sich ...
Hätte er seine E-Mails erst zu Ende gelesen, hätte er gemerkt, dass im gleichen System schon eine andere Platte einen Totalausfall hatte – und zwei Platten konnte das System nicht kompensieren.
➤ Bei einem Kunden im RZ wurden mehrere Server heruntergefahren. Es war ein großer Hypervisor mit zig Kunden drauf, was natürlich finanzielle Konsequenzen nach sich zog. Ein Blick in die Logs ergab, dass der Power-Button gedrückt worden war. Sofort wurden alle Hebel in Bewegung gesetzt, Besuchsprotokolle und Aufnahmen der Videoüberwachung angefordert.
Es stellte sich heraus: Die Türen der Racks waren so konstruiert, dass, wenn eine offen steht, man dann das Rack daneben öffnet und die Tür aufschwingen lässt, sie an das geöffnete Rack daneben anschlägt – und genau den Power-Button des Servers trifft.
Ein Techniker war da, hat zwecks Wartungsarbeiten alle Rack-Türen geöffnet und so alle Server in der Reihe nacheinander heruntergefahren. Und dann das RZ wieder verlassen, ohne davon etwas mitbekommen zu haben.
Die Maßnahme: Der ACPI-Shutdown via Power-Button wurde auf allen Servern deaktiviert.
Wir hatten viel Spaß an euren Geschichten, sind uns aber sicher: Irgendwo da draußen ist noch mehr. Wenn ihr Lust habt, uns davon zu erzählen, beschreibt uns kurz, was ihr macht und welches Ereignis ihr mit uns teilen möchtet, und wir setzen euch mit euch in Verbindung!
- Anzeige Hier geht es zu Hacking & Security: Das umfassende Handbuch bei Amazon Wenn Sie auf diesen Link klicken und darüber einkaufen, erhält Golem eine kleine Provision. Dies ändert nichts am Preis der Artikel.