Deep Learning: Microsofts Software kann zu Musikstücken singen

Deep Singer ist ein Projekt von Microsoft AI, das synthetische Gesänge erstellt. Dazu werden Tonhöhen und -längen von Songs analysiert.

Artikel veröffentlicht am ,
Microsofts Software singt schon ganz gut - auf Englisch und Chinesisch.
Microsofts Software singt schon ganz gut - auf Englisch und Chinesisch. (Bild: Pixabay.com/CC0 1.0)

Ein Forscherteam von Microsoft AI arbeitet derzeit an einem Stimmensynthetisierer, der zu Musikstücken passenden Gesang erstellt. Die KI-Software Deepsinger verwendet dazu diverse Lieder von echten Menschen als Referenz, um aus diesen zu lernen und eigene Kreationen zu generieren. Die Songs stammen laut Microsoft von "einer bekannten Musikwebseite", deren Name nicht genannt wird. Kostenlose und ohne Einschränkungen verfügbare Portale wie Soundcloud wären dafür geeignet.

Stellenmarkt
  1. Software Entwickler / Anwendungsentwickler JAVA JEE (m/w/d)
    Versicherungskammer Bayern Versicherungsanstalt des öffentlichen Rechts, München, Saarbrücken
  2. Ingenieur FH / Bachelor (m/w/d) der Fachrichtung Elektrotechnik, Nachrichtentechnik, Hochfrequenztechnik ... (m/w/d)
    Bayerisches Landeskriminalamt, Königsbrunn
Detailsuche

Es werden nur bestimmte Songs als Quellmaterial zugelassen. Lieder, die länger als fünf Minuten und kürzer als eine Minute sind, werden direkt ignoriert. Außerdem werden vor der Stimmsynthetisierung ungeeignete Songs gefiltert, in denen Gesangsstimmen schlecht erkennbar sind, etwa durch schlechte Aufnahmequalität des Originals oder durch komplett falsche Tonspuren.

Deepsinger kombiniert diverse andere Open-Source-Tools, um Gesänge zu synthetisieren. Mithilfe von Phonemizer werden etwa Klanglaute aus Worten extrahiert. Das ist für die englische Sprache und die chinesischen Varianten Mandarin und Kantonesisch möglich. Für die letztgenannten Sprachen werden die in lateinische Buchstaben umgeschriebenen Schriftzeichen - genannt Pinyin - verwendet.

Länge und Tonlage der Laute bestimmen

Verschiedene Phoneme müssen zudem zu den Längen verschiedener Noten im Lied passen. Das Entwicklerteam hat ein Alignment Model Songtext-to-singing erstellt, welches diese Aufgabe übernehmen soll. So werden verschiedene Wortlaute von der KI länger gezogen - je nach vorliegender Melodie. Die einzelnen Gesangssilben werden zudem der jeweiligen Tonlage des darunterliegenden Liedes angepasst, wodurch eine melodische Stimme erzeugt wird.

Golem Akademie
  1. Microsoft Teams effizient nutzen
    19. November 2021, online
  2. PowerShell Praxisworkshop
    20.-23. Dezember 2021, online
  3. Mobile Device Management mit Microsoft Intune
    22.-23. November 2021, online
Weitere IT-Trainings

In einigen Hörbeispielen zeigt das Forschungsteam bereits recht überzeugende Ergebnisse. Mit Musikbegleitung sind die synthetischen Stimmen kaum zu erkennen. Nur für sich genommen sind klare Audioartefakte und hallende Beitöne wahrnehmbar. Für Gesangssolos im Disneyfilm reicht das Programm also noch nicht aus, für Top-10-Popsongs eventuell schon.

Bitte aktivieren Sie Javascript.
Oder nutzen Sie das Golem-pur-Angebot
und lesen Golem.de
  • ohne Werbung
  • mit ausgeschaltetem Javascript
  • mit RSS-Volltext-Feed


Aktuell auf der Startseite von Golem.de
Macbook Pro
Apple bestätigt High Power Mode für M1 Max

Käufer des Macbook Pro mit M1 Max können wohl in MacOS Monterey per Klick noch mehr Leistung aus dem Gerät herausholen.

Macbook Pro: Apple bestätigt High Power Mode für M1 Max
Artikel
  1. Bundesregierung: Autobahn App 2.0 im ersten Quartal 2022 geplant
    Bundesregierung
    Autobahn App 2.0 im ersten Quartal 2022 geplant

    Die Opposition kritisiert die massiven Kosten, Nutzer bewerten die App schlecht. Dennoch soll die Autobahn App nun erweitert werden.

  2. Klage: Google soll E-Privacy und Werbemarkt manipuliert haben
    Klage
    Google soll E-Privacy und Werbemarkt manipuliert haben

    Mehrere US-Bundesstaaten haben Klage gegen Google eingereicht. Das Unternehmen rühmt sich derweil, Regulierungen verlangsamt zu haben.

  3. Silence S04: Günstiges Elektroauto mit herausnehmbaren Akku vorgestellt
    Silence S04
    Günstiges Elektroauto mit herausnehmbaren Akku vorgestellt

    Beim Elektroauto Silence S04 kann der Nutzer den Akku selbst wechseln, wenn dieser leergefahren ist.

Du willst dich mit Golem.de beruflich verändern oder weiterbilden?
Zum Stellenmarkt
Zur Akademie
Zum Coaching
  • Schnäppchen, Rabatte und Top-Angebote
    Die besten Deals des Tages
    Daily Deals • Saturn-Gutscheinheft mit Direktabzügen und Zugaben • Nur noch heute: Mehrwertsteuer-Aktion bei MediaMarkt • Roccat Suora 43,99€ • Razer Goliathus Extended Chroma Mercury ab 26,99€ • Seagate SSDs & HDDs günstiger • Alternate (u. a. ASUS ROG Strix Z590-A Gaming WIFI 258€) [Werbung]
    •  /