Besuch im Rechenzentrum: So betreibt Hetzner Tausende Server effizient
Im Vogtland in Sachsen, in der Nähe der Kleinstadt Falkenstein, liegt idyllisch inmitten von Feldern und Wäldern einer der größten Serverparks Deutschlands: Hetzner betreibt hier mehr als 250.000 Server, verteilt auf zehn Gebäude. Was für einen reibungslosen und möglichst sparsamen Betrieb alles erforderlich ist, erfahren wir beim Besuch vor Ort.
Besonders einladend wirkt das Gelände mit dem mehrere Meter hohen Zaun, gekrönt mit Stacheldraht, erst einmal nicht. Dass es sich um ein modernes Rechenzentrum handelt, verraten die Freikühler zwischen den einzelnen Hallen sowie die verdächtige Nähe zu einem Umspannwerk. Hinter dem großen Tor erwarten uns Andreas Fischer und Christian Fitz von der Marketingabteilung.
Von ihnen bekommen wir zunächst einen groben Überblick über den Standort Falkenstein, an dem 2008 die ersten Hallen gebaut wurden – seitdem wird der Standort ständig erweitert. Die vier zuletzt gebauten Hallen sind fast bezugsfertig, damit ist das 100.000 Quadratmeter große Grundstück nahezu vollständig bebaut. Die Hälfte der 400 Mitarbeiter in Deutschland arbeitet in Falkenstein, dem größten Standort, die anderen im etwa 200 Kilometer entfernten Gunzenhausen und Nürnberg.
Alles selbst entwickelt, vom Server bis zum Rechenzentrum
Großen Wert legen Fischer und Fitz darauf, dass Hetzner soweit wie möglich alles selbst macht: Nicht nur die meisten Root-Server, die das Unternehmen anbietet, sind selbst entwickelt und gefertigt, auch die Hallen des Rechenzentrums sind Eigenentwicklungen. Alles wird ständig weiterentwickelt, um auf veränderte Bedürfnisse oder neue Entwicklungen zu reagieren. So sind die beiden ersten Hallen in drei Abschnitte unterteilt, die neuen bestehen nur noch aus zwei Abschnitten – die größeren Räume funktionieren für Hetzner besser.
Die Hallen voller Server sehen wir uns noch genauer an. Dass sie in Falkenstein stehen, hat mehrere Gründe. Das Gelände hat für den Betrieb eines Rechenzentrums einige Vorteile: Es liegt direkt neben dem Umspannwerk, das Falkenstein mit Strom versorgt, und ist ausreichend groß. Außerdem gibt es zwei Glasfasertrassen, aktuell ist das Rechenzentrum mit über 22 TBit angebunden. Direkt nebenan im Umspannwerk stehen Transformatoren extra für das Rechenzentrum – das bedeutet kurze Kabel und entsprechend eine geringere Gefahr, dass unvorsichtige Baggerfahrer diese durchtrennen.
Anzeige
WD Elements Desktop-Speicher 20 TB (externe Festplatte, USB 3.0-kompatibel, Zusatzspeicher für Fotos, Musik, Videos und alle anderen Dateien, stoßfest) schwarz
Wenn Sie auf diesen Link klicken und darüber einkaufen, erhält Golem eine kleine Provision. Dies ändert nichts am Preis der Artikel.
Kühle Umgebung gleich sparsame Kühlung
Auch klimatisch hat das Vogtland Vorteile: Hier ist es immer etwas kühler als am zweiten deutschen Standort in Nürnberg. Das kommt der Kühlung zugute. Aus dem gleichen Grund betreibt Hetzner in Finnland seinen zweitgrößten Standort. Hier ist zudem der Strom deutlich günstiger als in Deutschland und wird aus Wind- und Wasserkraftwerk erzeugt.
Auf die Kühllösung ist man bei Hetzner stolz, da sie ziemlich effizient ist: Die Power Usage Effectiveness (PUE)(öffnet im neuen Fenster) liegt bei rund 1,1 – das bedeutet, dass lediglich knapp 10 Prozent der elektrischen Leistung für Kühlung und andere nicht rechnende Verbraucher benötigt wird. Zum Vergleich: Microsoft erreicht in seinen europäischen Rechenzentren(öffnet im neuen Fenster) eine PUE von 1,18. Der Branchendurchschnitt liegt bei 1,57.
Möglich wird das dank sogenannter Freiluftkühlung, mit der unser Rundgang startet.
Kühlung (fast) ohne Kühler
Für den Rundgang durchs Rechenzentrum holt uns Sebastian Lippold ab, er ist zuständig für ISO-Zertifizierungen und Datensicherheit. Bevor es ins warme Innere geht, werfen wir draußen noch einen Blick auf die sogenannte Netzersatzanlage, die bei einem Stromausfall die Server weiterlaufen lässt. Jede Halle wird über zwei unabhängige Stromschienen – A und B genannt – versorgt, an die A-Schiene schließt die USV-Schiene an, die über eine unterbrechungsfreie Stromversorgung (USV) abgesichert ist.
Zur USV gehören pro Halle ein Generator, mehrere Schaltschränke sowie ein Raum mit Regalen voller Bleibatterien: 960 Stück sorgen dafür, dass die Server weiterlaufen, während der Generator anläuft. Springt er einmal nicht direkt an, bleiben 15 Minuten, um das Problem zu lösen. Lippold hält es aber für sehr unwahrscheinlich, dass dieser Fall eintritt. Denn jeder Generator wird monatlich gewartet, einmal im Jahr muss er die komplette elektrische Last seiner Halle übernehmen, um zu zeigen, dass er für den Ernstfall fit ist.
Die Generatoren können im Extremfall den Normalbetrieb drei bis vier Tage aufrechterhalten, dann gehen die 30.000 Liter Treibstoff, die für jeden gelagert sind, zur Neige. Die zwei getrennten Spannungsversorgungen haben, neben der größeren Ausfallsicherheit, einen weiteren Vorteil: Bei Bau- oder Wartungsarbeiten kann eine Spannungsversorgung vollständig abgeschaltet werden, ohne das Rechenzentrum außer Betrieb zu nehmen. So ein Fall steht aktuell an: Die Versorgungsspannung wird von 10 auf 20 Kilovolt erhöht.
Regale voller Server
In der Halle sieht es deutlich anders aus, als es der gängigen Vorstellung eines Rechenzentrums entsprechen würde: Anstelle von 19-Zoll-Racks mit dünnen Einschüben stehen hier Regale voller Midi-Tower, unlackiert und ohne Plastikverkleidung. Dabei handelt es sich um das alte Server-Design von Hetzner, das neue ist deutlich kompakter und kommt einem 19-Zoll-Einschub näher. Auf die Standard-Racks verzichtet man bewusst – warum, erfahren wir später. Lediglich im Colocation-Bereich, in dem Kunden eigene Server unterbringen können, kommen sie zum Einsatz.
Anzeige
WD Elements Desktop-Speicher 20 TB (externe Festplatte, USB 3.0-kompatibel, Zusatzspeicher für Fotos, Musik, Videos und alle anderen Dateien, stoßfest) schwarz
Wenn Sie auf diesen Link klicken und darüber einkaufen, erhält Golem eine kleine Provision. Dies ändert nichts am Preis der Artikel.
Das eigene Rack-System wird in Falkenstein modular gebaut: Es besteht aus fünf Modulen pro Reihe, die komplett verkabelt auch für die anderen Standorte produziert werden. Immer zwei der Regalreihen bilden eine Einheit: Die Rechenzentren sind mit sogenanntem Kalt- und Warmgang aufgebaut, die sich abwechselnd zwischen zwei Regalreihen befinden. Über den Kaltgang wird, der Name lässt es vermuten, kühle Luft zugeführt. Die Lüfter der Server saugen sie ein, auf der anderen Seite des Gehäuses strömt sie wieder heraus – in den Warmgang.
Fast das ganze Jahr ohne Klimaanlage
Im Warmgang übernimmt die Physik: Anstatt die aufsteigende warme Luft über Radiatoren zu kühlen, leitet das Schrägdach sie einfach nach oben. An der Dachspitze strömt sie durch große Öffnungen nach außen. Das macht komplexe Klimatechnik überflüssig, zumindest den größten Teil des Jahres.
Es muss lediglich die kühle Außenluft angesaugt und in den Kaltgang geblasen werden. Die Frischluft strömt unter unseren Füßen, das Rechenzentrum hat einen doppelten Boden. Dort verlaufen die Kabel. Dank einem Meter Aufbauhöhe strömen große Luftmengen ungehindert hindurch. Laut Andreas Fischer ist das ausreichend, um die Temperatur im Rechenzentrum an 98 Prozent der Tage im Jahr bei etwa 25° C zu halten. Lediglich an besonders heißen Tagen müssen die Freikühler zwischen den Hallen die Außenluft vorkühlen.
Bei unserem Besuch ist es draußen sogar zu kalt, weshalb ein Teil der warmen Innenluft zurückgeführt wird. Da die Freiluftkühlung mit natürlicher Konvektion arbeitet, benötigt sie deutlich weniger Energie als Lösungen mit Klimaanlage – allerdings erfordert sie ein entsprechendes Gebäudedesign und eignet sich nur, wenn ausreichend viele Rechner zu kühlen sind. Dafür haben die Schrägdächer einen weiteren Vorteil: Sie eignen sich ideal für Solarzellen. In Falkenstein sind noch keine Solarzellen installiert, die Hallen sind jedoch nach Süden ausgerichtet. Die Nachrüstung sei nicht trivial, sagt Andreas Fischer, da bauliche Gegebenheiten berücksichtigt und das Stromversorgungskonzept angepasst werden müssen.
Eigene Ökostromversorgung möglich
Bei den neuen Rechenzentren sei die Bestückung mit Photovoltaikmodulen allerdings eingeplant. Überlegungen gebe es auch zur Abwärmenutzung, abseits der Heizung der eigenen Gebäude sei aber auch das kompliziert: Die warme Abluft erreicht maximal 30° C, was für die Übertragung durch ein Nahwärmenetz ziemlich wenig ist. Zu groß darf der Aufwand für die Abwärmenutzung nicht werden, schließlich soll das Rechenzentrum am Ende besser dastehen als aktuell.
Anzeige
WD Elements Desktop-Speicher 20 TB (externe Festplatte, USB 3.0-kompatibel, Zusatzspeicher für Fotos, Musik, Videos und alle anderen Dateien, stoßfest) schwarz
Wenn Sie auf diesen Link klicken und darüber einkaufen, erhält Golem eine kleine Provision. Dies ändert nichts am Preis der Artikel.
Zuletzt zeigt uns Sebastian Lippold noch ein weiteres Sicherheitssystem: Ein Ansaugrauchmelder reagiert auf Rauchpartikel, gelöscht werden muss allerdings manuell. Dafür stehen regelmäßig große CO2-Löscher bereit. Natürlich will auch jeder Server ans Internet angebunden werden, dafür teilen sich jeweils zwei Regaleinheiten einen Glasfaser-Switch, dahinter geht es mit normalem Ethernet weiter.
Alle Server in den Hallen – mit Ausnahme der Server, die Kunden im Colocation-Bereich installieren, der Server für Hetzners Cloud-Angebot sowie einigen Servern für Markenhardware-Angebote – stammen aus der eigenen Fertigung, in die wir ebenfalls einen Blick werfen.
Kein Server von der Stange
Bereits im Ladebereich der Fertigung zeigt sich: Hier werden in großem Umfang Server gebaut. Etwa ein Dutzend Paletten stehen hier, bepackt ausschließlich mit Netzteilen. Daneben rüstet ein Mitarbeiter alte Netzteile um: Neue Kondensatoren steigern ihre Effizienz und machen sie fit für einen weiteren Einsatz.
Auch sonst versucht Hetzner, möglichst wenig wegzuwerfen: Server bleiben im Einsatz, solange sich ein Kunde dafür findet – oder bis sie ausfallen. Komponenten werden so lange wie möglich genutzt, verkauft oder gespendet. Jede Serverkonfiguration, so erfahren wir, ist auf eine Laufzeit von mindestens fünf Jahren ausgelegt. Durchschnittlich laufen die Systeme deutlich länger: ganze acht Jahre.
Auffällige Festplatten und SSDs werden mit ebenfalls selbst entwickelten Testrechnern überprüft. Nur wenn sie tatsächlich defekt sind, landen sie im Müll. Um sicherzugehen, dass Kundendaten effektiv gelöscht sind, wandern sie in einen Schredder. Übrig bleiben bemitleidenswert aussehende Metallstücke und fein zerhackte Platinen. Sie gehen in großen Drahtkörben zum Recycling.
Blick in die Server-Fertigung
Vom Ende eines Server-Lebens kommen wir nun an den Anfang: Wir betreten eine große Lagerhalle, die manchen Elektronikhändler neidisch machen würde. In etlichen Hochregalen lagern Komponenten, insgesamt sind es, so schätzt ein Mitarbeiter, zwischen 100 und 150 verschiedene Komponenten.
Natürlich ist die Auswahl begrenzt, jedes Teil ist genau ausgewählt und wird in so vielen Systemen wie möglich verwendet. Die Auswahlkriterien erfahren wir später noch. Innerhalb des Lagers befindet sich ein weiterer, abgetrennter Bereich. Hier werden die Server zusammengebaut, auch die teuren Komponenten wie Prozessoren befinden sich hier.
Auf dem Weg durch die Regale in der Werkstatt entdecken wir einen Bekannten: Mehrere Ampere Altra Q80-30 teilen sich das Fach mit Trays voller AMD Epycs. Hunderte Server werden hier jede Woche fertiggestellt, der Rekord liegt bei 1.200 Stück in einer Woche. Dafür wurde in zwei Schichten geschraubt.
Solche Zahlen brauchen eine effektive Arbeitsorganisation. Daher werden die Komponenten zuerst kommissioniert und alles, was in den Server kommt, wird in eine Kiste gepackt. Anschließend müssen die Komponenten nur noch zusammengeschraubt werden.
Anzeige
WD Elements Desktop-Speicher 20 TB (externe Festplatte, USB 3.0-kompatibel, Zusatzspeicher für Fotos, Musik, Videos und alle anderen Dateien, stoßfest) schwarz
Wenn Sie auf diesen Link klicken und darüber einkaufen, erhält Golem eine kleine Provision. Dies ändert nichts am Preis der Artikel.
Eigener Gehäuse-Formfaktor
Hier können wir zudem einen unverstellten Blick auf das neue Gehäusedesign werfen: Es ist extrem minimalistisch und besteht im Prinzip nur aus einem gestanzten und gebogenen Blech. Darin werden Mainboard, Netzteil und ein Lüfter verschraubt, mechanische Festplatten und SATA-SSDs finden in einem Halter Platz.
Das eigene Design hat bereits einige Überarbeitungen erfahren: Mittlerweile ist ein Halter für PCIe-Steckkarten aus Metall integriert, bei einer älteren Version wurde der nur bei Bedarf eingebaut. Selbst entwickelte Plastikverkleidungen, sogenannte Air Ducts, sorgen dafür, dass die Luft möglichst ausschließlich durch den Kühler strömt. Dadurch wird die Wärme effizient abgeführt, auch umliegende Komponenten werden mitgekühlt.
Im Vergleich zu den Midi-Towern ist das neue Gehäuse deutlich kompakter. Da es zum Kaltgang hin offen ist, sind zudem die Datenträger einfacher zugänglich. Wartungen können so oft ohne Ausbau erfolgen. Abschließend erfahren wir noch, nach welchen Kriterien die Server bei Hetzner zusammengestellt werden.
Optimierte Systemeffizienz
Wie neue Serverkonfigurationen entstehen erklärt uns Tommy Giesler. Er ist Produktentwickler bei Hetzner, 2013 begann er hier in Falkenstein seine Ausbildung zum Fachinformatiker. Seit 2017 ist er zusammen mit drei Kollegen für die Auswahl der Hardware, die in die Root-Server kommt, verantwortlich. Sie verbringen den Großteil ihrer Zeit damit, neue Komponenten zu testen und die Effizienz der Systeme zu optimieren.
Das sei ein wichtiger Wettbewerbsfaktor, sagt Giesler, ein effizientes System bedeutet geringere Strom- und idealerweise auch Hardwarekosten. Dank seiner Größe bekommt Hetzner etwa angepasste Mainboards. Giesler zeigt uns eines dieser Semi-Custom-Boards: Es ist eine Variante eines Gaming-Mainboards, allerdings fehlen mehrere Chips und Schnittstellen. Außerdem ist ein anderer Chipsatz verlötet, der ein Übertakten verhindert. Die raumgreifende extravagante Kühllösung beim Ausgangsmodell ist zwei simplen Aluminiumkühlkörpern gewichen.
So wird das Mainboard einerseits günstiger, andererseits effizienter, da nicht benötigte Hardware komplett entfernt ist. Auch die Verwendung von Standardkomponenten statt teurer Server-Hardware sorgt für einen Kostenvorteil. Um sicherzustellen, dass sie jahrelang hält, wird sie umfangreich getestet.
Feedback geht an Mainboard-Hersteller
Die Produktentwickler vergleichen nicht nur unterschiedliche Komponenten, sondern auch verschiedene UEFI- und Firmware-Versionen. Das könne durchaus einen Unterschied machen, sagt Giesler, und bei Tausenden Servern sei jedes Watt wichtig.
Die Erkenntnisse melde man auch den Hardwareherstellern zurück, damit die optimieren können. Die Tests hören auch nicht auf, wenn eine Konfiguration ins Angebot genommen wurde: In der Halle, in der Giesler und seine Kollegen arbeiten, laufen Dutzende Systeme aus den vergangenen Jahren im Dauertest, das älteste seit 2012. Hier wird auch getestet, ob das selbst entwickelte und gepflegte Rettungssystem mit allen Hardwarekonfigurationen funktioniert.
Hauptsächlich beobachtet das Entwicklerteam mit der Dauertest-Hardware jedoch Alterungserscheinungen, etwa die Entwicklung der Leistungsaufnahme. Daran lasse sich oft schon ablesen, wann ein System drohe instabil zu werden. Oft lasse sich seine Lebensdauer dann noch mit anderer Firmware verlängern.
Anzeige
WD Elements Desktop-Speicher 20 TB (externe Festplatte, USB 3.0-kompatibel, Zusatzspeicher für Fotos, Musik, Videos und alle anderen Dateien, stoßfest) schwarz
Wenn Sie auf diesen Link klicken und darüber einkaufen, erhält Golem eine kleine Provision. Dies ändert nichts am Preis der Artikel.
Jede Komponente wird getestet
Auch zunächst unscheinbare Komponenten befinden sich hier im Dauertest: Im Abluftstrom zweier USVs laufen Hunderte Lüfter. Da es hier deutlich wärmer ist als im Rest der Halle, zeigen sich Alterungserscheinungen früher. Die Testkandidaten laufen zudem mit maximaler Leistung, jährlich werden bis zu 40 Testexemplare überprüft.
Ziel der umfangreichen Tests ist es, die effizienteste und langlebigste Hardware zu finden. Stellt sich eine Komponente als unzuverlässig heraus, weil sie oft früh ausfällt, ihre Leistung sinkt oder sie schnell altert, wird zunächst versucht, sie gemeinsam mit dem Hersteller zu verbessern. Gelingt das nicht, wird sie im Extremfall nicht weiterverwendet. Wenn es der Effizienz dient wird sogar umgebaut, auch wenn das Handarbeit bedeutet.
Den Testpark hingegen hat das Team weitgehend automatisiert. Dabei kommen Ansible, viele Shell-Scripts und die Phoronix Test Suite zum Einsatz. Damit werden Kandidaten für neue Hardwarekonfigurationen untersucht, bevor sie den Kunden angeboten werden.
So entstehen neue Systeme
Grundsätzlich versucht Hetzner, Systeme mit der neuesten Hardware anzubieten. Die muss allerdings besser, sprich in erster Linie effizienter, als der Vorgänger sein. Überzeugt eine Prozessorgeneration nicht, wird sie auch einmal ausgelassen.
Wer angepasste, teils sogar extra entworfene Mainboards bekommt, erhält natürlich auch stets die neueste Hardware. Neue Prozessoren müssen dann zuerst einmal zeigen, was sie können. Mit dem, natürlich ebenfalls selbst entwickelten, Testsystem werden sie in verschiedenen Last- und Kühlszenarien getestet. Neben der maximalen Leistung bei optimaler Kühlung wird auch das Verhalten unter ungünstigen Bedingungen – 50° C Umgebungstemperatur – in einer Klimakammer getestet.
Dabei wird permanent überwacht, wie viel Leistung das System aufnimmt. Nur wenn das Verhältnis aus Rechenleistung, Energiebedarf und Preis überzeugt, wird ein System ins Angebot genommen: "Wir bringen nichts raus, wo wir nicht 100 Prozent dahinter stehen", sagt Giesler.
Möglichst viele Optionen
Um möglichst viele Optionen zu haben, schaut sich das Team auch exotisch anmutende Hardware an, etwa den Ampere Altra. Dessen Leistung fanden Hetzners Produktentwickler so interessant, dass sie beschlossen, ihn ins Angebot aufzunehmen. Die Odroid-Microserver nahm Hetzner wieder aus dem Programm, zu gering war die Nachfrage.
Anzeige
WD Elements Desktop-Speicher 20 TB (externe Festplatte, USB 3.0-kompatibel, Zusatzspeicher für Fotos, Musik, Videos und alle anderen Dateien, stoßfest) schwarz
Wenn Sie auf diesen Link klicken und darüber einkaufen, erhält Golem eine kleine Provision. Dies ändert nichts am Preis der Artikel.
Steht eine Konfiguration, wird das System zusammengestellt, das dann in die Fertigung geht. Dazu werden bevorzugt OEM-Komponenten verwendet. Wenn es sich lohnt, kommt Semi- oder Full-Custom-Hardware zum Einsatz. Das bedeutet allerdings, dass man später am Markt ist, da die Custom-Hardware bei den Herstellern nicht oberste Priorität hat.
Einige Komponenten wie Netzteile und Lüfter sind bei Hetzner Standard. Die Netzteile hat Hetzner in den vier Varianten mit 150, 250, 350 und 500 Watt vorrätig. Für jede Hardwarekonfiguration wird das am besten passende ausgewählt, um einen guten Wirkungsgrad zu erreichen. Das könne zwar bedeuten, dass ein Server umgebaut werden muss, wenn ein Kunde ihn aufrüsten möchte, allerdings sei der Fall sehr selten.
Beim abschließenden Kaffee erläutert Tommy Giesler noch den Grund für das eigene Serverformat: Die eigenen Anforderungen erfüllen die selbst entwickelten Systeme besser und effizienter als 19-Zoll-Standardserver. Da einige Kunden solche Systeme nachfragen, habe man sie trotzdem im Angebot, sagt Giesler – und verabschiedet sich just zu einem Termin mit einem Hersteller von Standardservern, während wir uns nach unserem Fünf-Stunden-Besuch auf den Heimweg machen.
- Anzeige Hier geht es zur WD Elements Desktop Festplatte mit 20 TB bei Amazon Wenn Sie auf diesen Link klicken und darüber einkaufen, erhält Golem eine kleine Provision. Dies ändert nichts am Preis der Artikel.