Deep-Learning: Microsoft skaliert KI-Infrastruktur auf hunderttausende GPUs

Deep-Learning ist sehr ressourcenintensiv. Microsoft beschreibt nun, wie dies global auf hunderttausenden GPUs skaliert werden kann.

Artikel veröffentlicht am 23. Februar 2022, 15:15 Uhr, Sebastian Grüner

Microsoft skaliert sein KI-Training über die gesamte Azure-Cloud. (Bild: Oriental Image via Reuters Connect)

Der Software-Konzern Microsoft betreibt offenbar einen weltweit verteilten Dienst zum Scheduling von Machine-Learning-Aufgaben. Das genutzte System heißt Singularity und wird in einem aktuellen Forschungspaper von Microsoft beschrieben, das gleich 26 beteiligte Autoren listet - darunter auch Mark Russinovich, CTO von Microsofts Cloud-Sparte Azure. Primäres Ziel ist dabei vor allem, Kosten zu sparen.

Das grundlegende Problem, das Microsoft hier lösen möchte, ist, dass vor allem für das Training von Deep-Learning-Systemen immer größere Systeme benötigt werden, diese jedoch extrem teuer sind. Damit sich die Anschaffung dennoch rechnet, sollten diese Systeme möglichst voll ausgelastet werden, etwa indem alle Aufgaben innerhalb der Azure-Cloud auf gerade freie Ressourcen verteilt werden können.

Microsoft schreibt dazu: "Singularity verfolgt ein zentrales Ziel: die Senkung der KI-Kosten durch Maximierung des gesamten nützlichen Durchsatzes bei einem bestimmten festen Pool von Beschleunigern im globalen Maßstab". Wie groß das Gesamtsystem inzwischen ist, schreibt Microsoft ebenfalls: "Singularity ist von Grund auf so konzipiert, dass es über eine globale Flotte von Hunderttausenden von GPUs und anderen KI-Beschleunigern skaliert werden kann".

Erreicht wird dies vor allem über zwei Hauptmechanismen: Eine ausgeklügelte Unterbrechung und anschließende Migration einerseits, sowie eine Elastizität andererseits. Für ersteres erstellt Singularity einen kompletten RAM-Schnappschuss des Zustands, der anschließend transferiert und direkt weiter ausgeführt werden kann. Darüber hinaus setzt das Team auf ein sogenanntes Replica-Slicing der eigentlichen Aufgaben, die dadurch elastisch ausgeführt werden können. So soll eine variable Anzahl von Beschleunigern angesprochen werden.

Zur Evaluation setzt Microsoft auf Nvidias DGX-2-Server, die per Infiniband verbunden sind. Jeder dieser Server nutzt einen Xeon Platinum 8168 mit zwei Sockeln und je 20 CPU-Kernen sowie 692 GByte RAM. Hinzu kommen 8 V100 GPUs.