HBM-PIM: Stapelspeicher erhält integrierte AI-Engines

Bei Samsungs HBM-PIM werden die Speicherbänke um Recheneinheiten erweitert, was Performance und Effizienz drastisch steigern soll.

Artikel veröffentlicht am ,
HBM-PIM
HBM-PIM (Bild: Samsung)

Samsung hat den HBM-PIM angekündigt, eine spezielle Variante des bekannten HBM2-Stapelspeichers, die um einen AI-Beschleuniger erweitert wurde. Die Abkürzung steht folgerichtig für High Bandwidth Memory with Processing in Memory, was das Prinzip gut beschreibt.

Stellenmarkt
  1. Software-Ingenieure / -Architekten (m/w/d) Java/C++
    IVU Traffic Technologies AG, Berlin, Aachen
  2. Consultant IT Security (m/w/d)
    Hays AG, Ulm
Detailsuche

Basis des HBM-PIM ist der ältere HBM2 alias Aquabolt, den Samsung entsprechend angepasst hat: Ein solcher Stack umfasst eigentlich acht 8-GBit-Dies an DRAM, was 8 GByte ergibt. Samsung aber nutzt vier 8-GBit-Dies und vier 4-GBit-Dies, wobei Letztere pro zwei Speicherbänken eine PCU (Programmable Computing Unit) aufweisen. Die laufen mit 300 MHz für 1,2 Teraflops mit FP16-Präzision.

Diese sollen sich für AI-Workloads wie Computer Vision und Objektklassifizierung eignen, weshalb sich verglichen mit regulären Von-Neumann-Lösungen die Performance verdoppeln (2,1x) und die Energieeffizienz um 71 Prozent steigen soll. Ohne PIM müssten die zu berechnenden Daten erst vom HBM2 zum Host-Chip wie einem ASIC oder einer GPU und wieder zurück transportiert werden, was entsprechend Zeit und Strom benötigt. Für PIM seien überdies keine Software-Anpassungen notwendig.

  • HBM-PIM (Bild: Samsung)
  • HBM-PIM (Bild: Samsung)
  • HBM-PIM (Bild: Samsung)
  • HBM-PIM (Bild: Samsung)
HBM-PIM (Bild: Samsung)

Als Szenarien für HBM-PIM sieht Samsung unter anderem Datacenter, HPC-Systeme (High Performance Computing) und AI-Anwendungen im Mobile-Segment vor. Bisher lässt sich HBM2 einzig mit Host-Prozessoren verbinden, auch bei HBM-PIM ist ein solcher Chip notwendig.

Golem Akademie
  1. IT-Fachseminare der Golem Akademie
    Live-Workshops zu Schlüsselqualifikationen
  2. 1:1-Videocoaching mit Golem Shifoo
    Berufliche Herausforderungen meistern
  3. Online-Sprachkurse mit Golem & Gymglish
    Kurze Lektionen, die funktionieren
Weitere IT-Trainings

Denkbar wäre daher beispielsweise ein Beschleuniger für AI-Inferencing, welcher neben der selbstgestellten Rechenleistung zusätzlich HBM-PIM verwendet. Solche Co-Prozessoren könnten für latenzkritische Workloads eingesetzt werden, die vergleichsweise wenig Performance erfordern.

Momentaner Stand bei High Bandwidth Memory ist HBM2E: Samsung und SK Hynix bieten Stacks mit 16 GByte Kapazität an, die Geschwindigkeit liegt bei 3,2 GBit/s respektive 3,6 GBit/s. Nvidia verwendet HBM2E für den A100-Beschleuniger mit 80 GByte Speicher.

Bitte aktivieren Sie Javascript.
Oder nutzen Sie das Golem-pur-Angebot
und lesen Golem.de
  • ohne Werbung
  • mit ausgeschaltetem Javascript
  • mit RSS-Volltext-Feed


Aktuell auf der Startseite von Golem.de
Google
Neues Pixel 6 kostet 650 Euro

Das Pixel 6 Pro mit Telekamera und schnellerem Display kostet ab 900 Euro. Google verbaut erstmals einen eigenen Prozessor.

Google: Neues Pixel 6 kostet 650 Euro
Artikel
  1. M1 Pro/Max: Dieses Apple Silicon ist gigantisch
    M1 Pro/Max
    Dieses Apple Silicon ist gigantisch

    Egal ob AMD-, Intel- oder Nvidia-Hardware: Mit dem M1 Pro und dem M1 Max schickt sich Apple an, die versammelte Konkurrenz zu düpieren.
    Eine Analyse von Marc Sauter

  2. Klimaforscher: Das Konzept der Klimaneutralität ist eine gefährliche Falle
    Klimaforscher
    Das Konzept der Klimaneutralität ist eine gefährliche Falle

    Mit der Entnahme von CO2 in den nächsten Jahrzehnten netto auf null Emissionen zu kommen, klingt nach einer guten Idee. Ist es aber nicht, sagen Klimaforscher.
    Von James Dyke, Robert Watson und Wolfgang Knorr

  3. Kalter Krieg 2.0?: Die Aufregung um Chinas angebliche Hyperschallwaffe
    Kalter Krieg 2.0?
    Die Aufregung um Chinas angebliche Hyperschallwaffe

    Die Volksrepublik China soll eine Hyperschallwaffe getestet haben. China dementiert die Vorwürfe aber und sagt, es wäre ein Raumschiff gewesen.
    Eine Analyse von Patrick Klapetz

Du willst dich mit Golem.de beruflich verändern oder weiterbilden?
Zum Stellenmarkt
Zur Akademie
Zum Coaching
  • Schnäppchen, Rabatte und Top-Angebote
    Die besten Deals des Tages
    Daily Deals • Cyber Week: Bis zu 16% auf SSDs & RAM von Adata & bis zu 30% auf Alternate • 3 Spiele für 49€: PC, PS5 uvm. • Switch OLED 369,99€ • 6 Blu-rays für 40€ • MSI 27" Curved WQHD 165Hz HDR 479€ • Chromebooks zu Bestpreisen • Alternate (u. a. Team Group PCIe-4.0-SSD 1TB 152,90€) [Werbung]
    •  /