• IT-Karriere:
  • Services:

Deep Learning: Microsofts Software kann zu Musikstücken singen

Deep Singer ist ein Projekt von Microsoft AI, das synthetische Gesänge erstellt. Dazu werden Tonhöhen und -längen von Songs analysiert.

Artikel veröffentlicht am ,
Microsofts Software singt schon ganz gut - auf Englisch und Chinesisch.
Microsofts Software singt schon ganz gut - auf Englisch und Chinesisch. (Bild: Pixabay.com/CC0 1.0)

Ein Forscherteam von Microsoft AI arbeitet derzeit an einem Stimmensynthetisierer, der zu Musikstücken passenden Gesang erstellt. Die KI-Software Deepsinger verwendet dazu diverse Lieder von echten Menschen als Referenz, um aus diesen zu lernen und eigene Kreationen zu generieren. Die Songs stammen laut Microsoft von "einer bekannten Musikwebseite", deren Name nicht genannt wird. Kostenlose und ohne Einschränkungen verfügbare Portale wie Soundcloud wären dafür geeignet.

Stellenmarkt
  1. Schock GmbH, Regen
  2. LORENZ Life Sciences Group, Frankfurt am Main

Es werden nur bestimmte Songs als Quellmaterial zugelassen. Lieder, die länger als fünf Minuten und kürzer als eine Minute sind, werden direkt ignoriert. Außerdem werden vor der Stimmsynthetisierung ungeeignete Songs gefiltert, in denen Gesangsstimmen schlecht erkennbar sind, etwa durch schlechte Aufnahmequalität des Originals oder durch komplett falsche Tonspuren.

Deepsinger kombiniert diverse andere Open-Source-Tools, um Gesänge zu synthetisieren. Mithilfe von Phonemizer werden etwa Klanglaute aus Worten extrahiert. Das ist für die englische Sprache und die chinesischen Varianten Mandarin und Kantonesisch möglich. Für die letztgenannten Sprachen werden die in lateinische Buchstaben umgeschriebenen Schriftzeichen - genannt Pinyin - verwendet.

Länge und Tonlage der Laute bestimmen

Verschiedene Phoneme müssen zudem zu den Längen verschiedener Noten im Lied passen. Das Entwicklerteam hat ein Alignment Model Songtext-to-singing erstellt, welches diese Aufgabe übernehmen soll. So werden verschiedene Wortlaute von der KI länger gezogen - je nach vorliegender Melodie. Die einzelnen Gesangssilben werden zudem der jeweiligen Tonlage des darunterliegenden Liedes angepasst, wodurch eine melodische Stimme erzeugt wird.

In einigen Hörbeispielen zeigt das Forschungsteam bereits recht überzeugende Ergebnisse. Mit Musikbegleitung sind die synthetischen Stimmen kaum zu erkennen. Nur für sich genommen sind klare Audioartefakte und hallende Beitöne wahrnehmbar. Für Gesangssolos im Disneyfilm reicht das Programm also noch nicht aus, für Top-10-Popsongs eventuell schon.

Bitte aktivieren Sie Javascript.
Oder nutzen Sie das Golem-pur-Angebot
und lesen Golem.de
  • ohne Werbung
  • mit ausgeschaltetem Javascript
  • mit RSS-Volltext-Feed


Anzeige
Top-Angebote
  1. (u. a. ASUS TUF Gaming VG32VQ1B WQHD/165 Hz für 330,45€ statt 389€ im Vergleich und Tastaturen...
  2. 8€
  3. (u. a. The Crew 2 für 8,49€, Doom Eternal für 21,99€, Two Point Hospital für 8,29€, The...
  4. (u. a. Terminator: Dark Fate, Jumanji: The Next Level (auch in 4K), 21 Bridges, Cats (auch in 4K...

DebugErr 14. Jul 2020 / Themenstart

Haha. Da reicht auch Babygeschrei mit Autotune

Kommentieren


Folgen Sie uns
       


Cyberpunk 2077 - Trailer Juni 2020

Ds Spiel soll für alle aktuellen Plattformen im November 2020 erscheinen.

Cyberpunk 2077 - Trailer Juni 2020 Video aufrufen
Ryzen Pro 4750G/4650G im Test: Die mit Abstand besten Desktop-APUs
Ryzen Pro 4750G/4650G im Test
Die mit Abstand besten Desktop-APUs

Acht CPU-Kerne und flotte integrierte Grafik: AMDs Renoir verbindet Zen und Vega überzeugend in einem Chip.
Ein Test von Marc Sauter

  1. AMD Ryzen Threadripper Pro unterstützen 2 TByte RAM
  2. Ryzen 3000XT im Test Schneller dank Xtra Transistoren
  3. Ryzen 4000 (Vermeer) "Zen 3 erscheint wie geplant 2020"

Sysadmin Day 2020: Du kannst doch Computer ...
Sysadmin Day 2020
Du kannst doch Computer ...

Das mit den Computern könne er vergessen, sagte ihm das Arbeitsamt nach dem Schulabschluss. Am Ende wurde Michael Fischer aber doch noch Sysadmin, zur allerbesten Sysadmin-Zeit.
Ein Porträt von Boris Mayer


    Mars 2020: Was ist neu am Marsrover Perseverance?
    Mars 2020
    Was ist neu am Marsrover Perseverance?

    Er hat 2,5 Milliarden US-Dollar gekostet und sieht genauso aus wie Curiosity. Einiges ist dennoch neu, manches auch nur Spielzeug.
    Von Frank Wunderlich-Pfeiffer


        •  /