Cloud AI 100: Qualcomm will Nvidia bei Inferencing schlagen

Dank der Smartphone-Expertise erreichen Qualcomms Cloud-AI-100-Karten exzellente Werte bei Performance und Leistung pro Watt.

Artikel veröffentlicht am ,
Cloud AI 100 für Datacenter und Edge
Cloud AI 100 für Datacenter und Edge (Bild: Qualcomm)

Bald soll es losgehen: Nachdem Qualcomm die Cloud AI 100 erstmals 2019 vorgestellt hatte, wurden Partner bemustert und nun steht der kommerzielle Start kurz bevor. Die für Inferencing gedachten Beschleuniger eignen sich für 5G-Edge-Systeme sowie Datacenter und sollen die Nvidia-Konkurrenz schlagen.

Stellenmarkt
  1. Junior IT-Manager (m/w/d) Anwendungs-Support
    ABO Wind AG, Ingelheim am Rhein
  2. Senior Product Model Designer (m/w/d)
    Vodafone GmbH, Eschborn
Detailsuche

Die Cloud AI 100 unterteilen sich in drei Modelle: An der Spitze steht eine PCIe-Gen4-x8-Steckkarte für Server, die 75 Watt benötigt und 400 Teraops (INT8) respektive 200 Teraflops (FP16) leisten soll. Hinzu kommen zwei doppelt ausgelegte M.2-Kärtchen mit 15 bis 25 Watt, die zwischen 70 und 200 Teraops erreichen sollen.

Als Konkurrenz hat sich Qualcomm die entsprechenden Nvidia-Beschleuniger in den jeweiligen Segmenten ausgesucht und Benchmarks mit MLPerf Inference durchgeführt. Dort soll die Steckkarte fast die vierfache Durchsatzrate von Nvidias älterer Tesla T4 erreichen und die aktuellen A10/A30-Modelle bei weniger als der halben Leistungsaufnahme schlagen.

Schneller als ältere Modelle

Im Edge-Bereich bis 50 Watt sieht sich Qualcomm mit den DM.2(e)-Ablegern ebenfalls vor Nvidia, da deren Jetson-Xavier-Modelle nur ein Drittel bis die Hälfte an Durchsatz erreichen. Zumindest diese Beschleuniger sind aber von 2019, die Tesla T4 gar von 2018 - wohingegen Qualcomms Cloud AI 100 erst in den nächsten Wochen startet.

  • Cloud AI 100 für Datacenter und Edge (Bild: Qualcomm)
  • Cloud AI 100 umfasst drei Modelle (Bild: Qualcomm)
  • Benchmark der Cloud AI 100 mit ResNet50 (Bild: Qualcomm)
  • Benchmark der Cloud AI 100 mit SSD-ResNet34 (Bild: Qualcomm)
  • Die Cloud AI 100 unterstützten diverse Frameworks. (Bild: Qualcomm)
Cloud AI 100 für Datacenter und Edge (Bild: Qualcomm)
Golem Akademie
  1. Jira für Anwender: virtueller Ein-Tages-Workshop
    4. Februar 2022, virtuell
  2. ITIL 4® Foundation: virtueller Zwei-Tage-Workshop
    24.–25. Januar 2022, virtuell
Weitere IT-Trainings

Zur Technik der Inferencing-Karten hat sich der Hersteller bisher nicht im Detail geäußert, sondern nur allgemein von einem 7-nm-Design gesprochen. Die Cloud AI 100 unterstützen typische Frameworks wie Caffe2, MX-Net, ONNX, Pytorch und Tensorflow.

Zu den ersten Partnern gehört Gigabyte: Der Hersteller zeigte das RG292-Z43, welches mit zwei Epyc 7003 und 16 der Cloud AI 100 ausgerüstet war. Die theoretische Leistung liegt daher bei 6,4 Petaops für Inferencing.

Bitte aktivieren Sie Javascript.
Oder nutzen Sie das Golem-pur-Angebot
und lesen Golem.de
  • ohne Werbung
  • mit ausgeschaltetem Javascript
  • mit RSS-Volltext-Feed


Aktuell auf der Startseite von Golem.de
Fernwartung
Der Kundenansturm, der Teamviewer nicht gut getan hat

Wie schätzt man die weitere Geschäftsentwicklung ein, wenn die Kunden in der Pandemie plötzlich Panikkäufe machen? Das gelang bei Teamviewer nicht.
Ein Bericht von Achim Sawall

Fernwartung: Der Kundenansturm, der Teamviewer nicht gut getan hat
Artikel
  1. Pluton in Windows 11: Lenovo will Microsofts Sicherheitschip nicht aktivieren
    Pluton in Windows 11
    Lenovo will Microsofts Sicherheitschip nicht aktivieren

    Die neuen Windows-11-Laptops kommen mit dem Chip Pluton. Lenovo will diesen aber noch nicht selbst aktivieren.

  2. Netzneutralität: Google und Meta verteidigen sich gegen Telekom-Vorwürfe
    Netzneutralität
    Google und Meta verteidigen sich gegen Telekom-Vorwürfe

    Die beiden großen Internetkonzerne Google und Meta verweisen im Gespräch mit Golem.de auf ihren Beitrag zur weltweiten Infrastruktur wie Seekabel und Connectivity.

  3. Probefahrt mit BMW-Roller CE 04: Beam me up, BMW
    Probefahrt mit BMW-Roller CE 04
    Beam me up, BMW

    Mit futuristischem Design und elektrischem Antrieb hat BMW ein völlig neues Fahrzeug für den urbanen Bereich entwickelt.
    Ein Bericht von Peter Ilg

Du willst dich mit Golem.de beruflich verändern oder weiterbilden?
Zum Stellenmarkt
Zur Akademie
Zum Coaching
  • Schnäppchen, Rabatte und Top-Angebote
    Die besten Deals des Tages
    Daily Deals • RTX 3070 989€ • The A500 Mini Retro-Konsole mit 25 Amiga-Spielen vorbestellbar 189,90€ • RX 6800 16GB 1.129€ • Intel Core i9 3.7 459,50€ Ghz • WD Black 1TB inkl. Kühlkörper PS5-kompatibel 189,99€ • Switch: 3 für 2 Aktion • RX 6700 12GB 869€ • MindStar (u.a. 1TB SSD 69€) [Werbung]
    •  /