Machine Learning: Facebooks KI-Chef sucht neue Sprache für Deep Learning

Der KI-Chef von Facebook möchte die aktuelle Herangehensweise an Deep-Learning-Probleme gern völlig neu denken. Dazu gehört eine Programmiersprache, die effizienter ist als Python, ebenso wie neue Hardware, die nicht nur Matrizen multipliziert.

Artikel veröffentlicht am ,
Facebooks KI-Chef Yann Lecun sucht nach neuen Ansätzen für Deep-Learning.
Facebooks KI-Chef Yann Lecun sucht nach neuen Ansätzen für Deep-Learning. (Bild: Facebook)

Der Auftakt zur diesjährigen International Solid-State Circuits Conference (ISSCC) ist ein historischer Abriss von Facebooks KI-Chef Yann Lecun (PDF), der zusätzlich zu einem Rückblick auf Jahrzehnte von Forschungsarbeit auch über die Zukunft von Deep-Learning-Problemen nachdenkt. Dabei kommt der Forscher zu dem Schluss, dass sich einiges an der bisherigen Vorgehensweise und den Ansätzen zur algorithmischen Umsetzung ändern muss.

Stellenmarkt
  1. IT Teamleiter - Development (gn)
    HORNBACH Baumarkt AG, Bornheim bei Landau / Pfalz
  2. SAP S / 4HANA Inhouse Berater/in SD (m/w/d)
    Friedrich Lange GmbH, Hamburg
Detailsuche

Dazu gehöre etwa, dass zum Deep Learning eine effizientere Programmiersprache nötig sein könnte, wie Venturebeat berichtet. Bisher werden die meisten Frameworks in diesem Bereich wie zum Beispiel Googles Tensorflow oder Facebooks Pytorch in Python geschrieben. Laut Lecun suchen derzeit aber Google, Facebook und auch andere nach einer kompilierten Sprache, mit der Deep-Learning-Algorithmen effizienter umgesetzt werden können.

Lecun selbst weist aber auch darauf hin, dass dies ein sehr schwierig umzusetzender Schritt sein könnte. Immerhin sei überhaupt nicht klar, ob die Community aus Forschern und Entwicklern diesem Weg überhaupt folgen würde, da "die Leute einfach Python benutzen möchten". Einer Untersuchung von Github zufolge sind Python und bestimmte Python-Pakete derzeit die beliebtesten Werkzeuge für Deep Learning.

Neue Hardware braucht die Community

Lecun ist sich darüber hinaus auch sicher, dass der Bedarf für spezialisierte Hardware, die Deep-Learning-Aufgaben übernimmt, künftig weiter ansteigen wird, wie es im KI-Blog von Facebook heißt. Allerdings verändern sich auch die Algorithmen, die für Deep Learning genutzt werden, teilweise grundsätzlich im Vergleich zu bisherigen Ansätzen.

Golem Akademie
  1. LDAP Identitätsmanagement Fundamentals: virtueller Drei-Tage-Workshop
    , Virtuell
  2. Advanced Python – Fortgeschrittene Programmierthemen: virtueller Zwei-Tage-Workshop
    27.–28. Januar 2022, Virtuell
Weitere IT-Trainings

"Möglicherweise müssen wir deshalb die Art und Weise neu erfinden, wie wir Arithmetik in Schaltkreisen durchführen", sagt Lecun zu diesem Problem. Derzeit seien Unternehmen größtenteils abhängig von dem Zulieferer Nvidia zum Beschleunigen der Algorithmen oder darauf angewiesen, eigene Hardware zu gestalten wie etwa Google mit seinen TPU. Dem Magazin ZDnet bestätigte Lecun außerdem, dass auch Facebook intern an eigener Hardware zum Beschleunigen der Berechnungen arbeite, auch wenn er keine Details dazu nennen wollte.

Derzeit werden die Deep-Learning-Aufgaben und -Berechnungen meist auf einfache Matrix-Multiplikationen zurückgeführt, die sich etwa in GPUs sehr schnell ausführen lassen. Mit den TPUs von Google oder den Tensor-Einheiten von Nvidias Modulen für autonome Fahrzeuge wird davon auch massiv Gebrauch gemacht.

Mit Bezug auf dieses Vorgehen sagte Lecun: "Ich denke nicht, dass das die Antwort ist". Was dann aber als Ersatz dienen könnte, weiß auch der Forscher selbst nicht und lagert die Umsetzung einfach aus. "Ich denke, dass die echten Hardware-Genies neue Wege finden müssen, um diese Dinge zu tun".

Bitte aktivieren Sie Javascript.
Oder nutzen Sie das Golem-pur-Angebot
und lesen Golem.de
  • ohne Werbung
  • mit ausgeschaltetem Javascript
  • mit RSS-Volltext-Feed


Aktuell auf der Startseite von Golem.de
Geforce Now (RTX 3080) im Test
1440p120 mit Raytracing aus der Cloud

Höhere Auflösung, mehr Bilder pro Sekunde, kürzere Latenzen: Geforce Now mit virtueller Geforce RTX 3080 ist Cloud-Gaming par excellence.
Ein Test von Marc Sauter

Geforce Now (RTX 3080) im Test: 1440p120 mit Raytracing aus der Cloud
Artikel
  1. Encrochat-Hack: Damit würde man keinen Geschwindigkeitsverstoß verurteilen
    Encrochat-Hack
    "Damit würde man keinen Geschwindigkeitsverstoß verurteilen"

    Der Anwalt Johannes Eisenberg hat sich die Daten aus dem Encrochat-Hack genauer angesehen und viel Merkwürdiges entdeckt.
    Ein Interview von Moritz Tremmel

  2. SpaceX: Starlink testet Satelliteninternet in Flugzeugen
    SpaceX
    Starlink testet Satelliteninternet in Flugzeugen

    Bald dürften mehrere Flugesellschaften Starlink-Service anbieten. Laut einem Manager soll es so schnell wie möglich gehen.

  3. Gigafactory Grünheide: Tesla rekrutiert hauptsächlich regionale Arbeitskräfte
    Gigafactory Grünheide
    Tesla rekrutiert hauptsächlich regionale Arbeitskräfte

    Entgegen den Befürchtungen der Gegner profitieren vor allem Berlin und Brandenburg von Teslas neuer Fabrik in Brandenburg.

Du willst dich mit Golem.de beruflich verändern oder weiterbilden?
Zum Stellenmarkt
Zur Akademie
Zum Coaching
  • Schnäppchen, Rabatte und Top-Angebote
    Die besten Deals des Tages
    Daily Deals • Gaming-Monitore zu Bestpreisen (u. a. Samsung G9 49" 32:9 Curved QLED 240Hz 1.149€) • Spiele günstiger: PC, PS5, Xbox, Switch • Zurück in die Zukunft Trilogie 4K 31,97€ • be quiet 750W-PC-Netzteil 87,90€ • Cambridge Audio Melomonia Touch 89,95€ • Gaming-Stühle zu Bestpreisen [Werbung]
    •  /