• IT-Karriere:
  • Services:

HBM-PIM: Stapelspeicher erhält integrierte AI-Engines

Bei Samsungs HBM-PIM werden die Speicherbänke um Recheneinheiten erweitert, was Performance und Effizienz drastisch steigern soll.

Artikel veröffentlicht am ,
HBM-PIM
HBM-PIM (Bild: Samsung)

Samsung hat den HBM-PIM angekündigt, eine spezielle Variante des bekannten HBM2-Stapelspeichers, die um einen AI-Beschleuniger erweitert wurde. Die Abkürzung steht folgerichtig für High Bandwidth Memory with Processing in Memory, was das Prinzip gut beschreibt.

Stellenmarkt
  1. Wildeboer Bauteile GmbH, Weener
  2. GK Software SE, verschiedene Standorte oder Home-Office

Basis des HBM-PIM ist der ältere HBM2 alias Aquabolt, den Samsung entsprechend angepasst hat: Ein solcher Stack umfasst eigentlich acht 8-GBit-Dies an DRAM, was 8 GByte ergibt. Samsung aber nutzt vier 8-GBit-Dies und vier 4-GBit-Dies, wobei Letztere pro zwei Speicherbänken eine PCU (Programmable Computing Unit) aufweisen. Die laufen mit 300 MHz für 1,2 Teraflops mit FP16-Präzision.

Diese sollen sich für AI-Workloads wie Computer Vision und Objektklassifizierung eignen, weshalb sich verglichen mit regulären Von-Neumann-Lösungen die Performance verdoppeln (2,1x) und die Energieeffizienz um 71 Prozent steigen soll. Ohne PIM müssten die zu berechnenden Daten erst vom HBM2 zum Host-Chip wie einem ASIC oder einer GPU und wieder zurück transportiert werden, was entsprechend Zeit und Strom benötigt. Für PIM seien überdies keine Software-Anpassungen notwendig.

  • HBM-PIM (Bild: Samsung)
  • HBM-PIM (Bild: Samsung)
  • HBM-PIM (Bild: Samsung)
  • HBM-PIM (Bild: Samsung)
HBM-PIM (Bild: Samsung)

Als Szenarien für HBM-PIM sieht Samsung unter anderem Datacenter, HPC-Systeme (High Performance Computing) und AI-Anwendungen im Mobile-Segment vor. Bisher lässt sich HBM2 einzig mit Host-Prozessoren verbinden, auch bei HBM-PIM ist ein solcher Chip notwendig.

Denkbar wäre daher beispielsweise ein Beschleuniger für AI-Inferencing, welcher neben der selbstgestellten Rechenleistung zusätzlich HBM-PIM verwendet. Solche Co-Prozessoren könnten für latenzkritische Workloads eingesetzt werden, die vergleichsweise wenig Performance erfordern.

Momentaner Stand bei High Bandwidth Memory ist HBM2E: Samsung und SK Hynix bieten Stacks mit 16 GByte Kapazität an, die Geschwindigkeit liegt bei 3,2 GBit/s respektive 3,6 GBit/s. Nvidia verwendet HBM2E für den A100-Beschleuniger mit 80 GByte Speicher.

Bitte aktivieren Sie Javascript.
Oder nutzen Sie das Golem-pur-Angebot
und lesen Golem.de
  • ohne Werbung
  • mit ausgeschaltetem Javascript
  • mit RSS-Volltext-Feed


Anzeige
Top-Angebote
  1. (u. a. LG OLED65BX9LA 100Hz HDMI 2.1 für 1.499€ - Bestpreis)
  2. (u. a. Gainward GeForce RTX 3060 PEGASUS für 629€)
  3. gratis (bis 10. März, 10 Uhr)
  4. mit 299€ neuer Bestpreis auf Geizhals

ms (Golem.de) 17. Feb 2021 / Themenstart

Ich tippe auf Morsezeichen ehrlich gesagt!

Kommentieren


Folgen Sie uns
       


Demon's Souls Remake (PS5) - Fazit

Im Testvideo stellt Golem.de das Remake des epischen Fantasy-Rollenspiels Demon's Souls für die Playstation 5 vor.

Demon's Souls Remake (PS5) - Fazit Video aufrufen
Gamestop-Blase: Am Ende haben wieder die Großinvestoren gewonnen
Gamestop-Blase
Am Ende haben wieder die Großinvestoren gewonnen

Der Börsenrausch um die Gamestop-Aktie hat weder Kapital umverteilt noch wurde der Finanzmarkt dadurch demokratisiert. Vielmehr gewannen wie bei jeder Blase die großen Investoren.
Eine Analyse von Gerd Mischler

  1. Trade Republic EU will Trading-Apps wegen Gamestop-Aktie untersuchen
  2. Wallstreetbets Gamestop-Aktie steigt massiv - Handel zeitweise gestoppt
  3. Wallstreetbets Finanzchef von Gamestop tritt zurück

Chaos Computer Club: Was eine Smoking Gun von Huawei anrichten könnte
Chaos Computer Club
Was eine Smoking Gun von Huawei anrichten könnte

Der Chaos Computer Club hat einmal durchgespielt, welche Möglichkeiten ein böswilliger Ausrüster im 5G-Netz wirklich hätte. Dies wird vom IT-Sicherheitsgesetz aber ignoriert.
Ein Bericht von Achim Sawall

  1. Kritische Infrastruktur Massive Probleme im europäischen Stromnetz
  2. rC3 Neue Tickets für den CCC
  3. rC3 Tickets für den CCC sind aus

AOC Agon AG493UCX im Test: Breit und breit macht ultrabreit
AOC Agon AG493UCX im Test
Breit und breit macht ultrabreit

Der AOC Agon AG493UCX deckt die Fläche zweier 16:9-Monitore in einem Gerät ab. Dafür braucht es allerdings auch ähnlich viel Platz.
Ein Test von Mike Wobker

  1. Agon AG493UCX AOC verkauft 49-Zoll-Ultrawide-Monitor mit USB-C und 120 Hz

    •  /