Coqui AI: Eigene Sprache klonen und in "fremden Zungen" sprechen

Das neue Modell von Mozillas ehemaligem KI-Sprachforschungsteam soll leicht Sprache synthetisieren und so Text-to-Speech transferieren können.

Artikel veröffentlicht am ,
Der Namensgeber des Startups Coqui: eine Froschart
Der Namensgeber des Startups Coqui: eine Froschart (Bild: Jesse Avilés, flickr.com/CC-BY 2.0)

Das auf KI-Sprachforschung spezialisierte Startup Coqui hat mit YourTTS ein neues Sprachmodell veröffentlicht, das geschriebenen Text in vorgelesene Sprache synthetisiert (Text-to-Speech, TTS), wobei sogar eine besonders kurze Spracheingabe ausreichen soll. Darüber hinaus sollen sich die gesprochenen Eingaben auch dazu nutzen lassen, diese in andere Sprachen zu übertragen.

Stellenmarkt
  1. Spezialist (m/w/d) für Informationssicherheit
    Versicherungskammer Bayern Versicherungsanstalt des öffentlichen Rechts, München Obergiesing-Fasangarten
  2. Softwareentwickler C++ (m/w/d)
    vitero GmbH, Stuttgart
Detailsuche

Wie das Team von Coqui in seinem Blog zu dem Modell schreibt, nutzen die meisten bisher verfügbaren TTS-Modelle wohl mindestens 20-40 Stunden gesprochene Eingaben von professionellen Sprecherinnen und Sprechern. "In dieser Umgebung ist die Erweiterung der Lösung auf mehrere Sprachen und Sprecher nicht für jeden möglich", heißt es dazu bei Coqui. Besonders schwer sei dies zudem für jene Sprachen, die in der Forschung eher wenig beachtet werden und über wenige Ressourcen hierfür verfügen.

Diese Limitierungen soll YourTTS von Coqui überwinden können. Das Modell könne dabei Stimmen in verschiedenen Sprachen synthetisieren und reduziere die Voraussetzungen für die Datenmengen "signifikant", indem Wissen aus einer Sprache in eine andere transferiert werde, heißt es in der Beschreibung. So könnten letztlich zum Beispiel Stimmen für brasilianisches Portugiesisch auch aus einer englischen Stimmeingabe erzeugt werden.

Davon, ob und wie gut das funktioniert, können sich interessierte Nutzer zunächst durch eine kleine Demo überzeugen, die das Coqui-Team derzeit auf seiner Homepage unter der Überschrift "in fremden Zungen sprechen" anbietet. Dazu schreiben die Beteiligten, dass sie sich durchaus auch des möglichen Missbrauchspotenzials ihrer Technik bewusst seien. Um dies zumindest für die öffentliche Demo abzumildern, werden die so verfügbaren Clips mit Hintergrundmusik unterlegt.

Bitte aktivieren Sie Javascript.
Oder nutzen Sie das Golem-pur-Angebot
und lesen Golem.de
  • ohne Werbung
  • mit ausgeschaltetem Javascript
  • mit RSS-Volltext-Feed


Aktuell auf der Startseite von Golem.de
Framework Laptop im Hardware-Test
Schrauber aller Länder, vereinigt euch!

Der modulare Framework Laptop ist ein wahrgewordener Basteltraum. Und unsere Begeisterung für das, was damit alles möglich ist, lässt sich nur schwer bändigen.
Ein Test von Oliver Nickel und Sebastian Grüner

Framework Laptop im Hardware-Test: Schrauber aller Länder, vereinigt euch!
Artikel
  1. FTTH: Liberty Network startet noch mal in Deutschland
    FTTH
    Liberty Network startet noch mal in Deutschland

    Das erste FTTH-Projekt ist gescheitert. Jetzt wandert Liberty von Brandenburg nach Bayern an den Starnberger See.

  2. 5.000 Dollar Belohnung: Elon Musk wollte Twitter-Konto von 19-Jährigem stilllegen
    5.000 Dollar Belohnung
    Elon Musk wollte Twitter-Konto von 19-Jährigem stilllegen

    Tesla-Chef Elon Musk bot einem US-Teenager jüngst angeblich 5.000 US-Dollar, damit der seinen auf Twitter betriebenen Flight-Tracker einstellt.

  3. Let's Encrypt: Was Admins heute tun müssen
    Let's Encrypt
    Was Admins heute tun müssen

    Heute um 17 Uhr werden bei Let's Encrypt Zertifikate zurückgezogen. Wir beschreiben, wie Admins prüfen können, ob sie betroffen sind.
    Eine Anleitung von Hanno Böck

Du willst dich mit Golem.de beruflich verändern oder weiterbilden?
Zum Stellenmarkt
Zur Akademie
Zum Coaching
  • Schnäppchen, Rabatte und Top-Angebote
    Die besten Deals des Tages
    Daily Deals • RTX 3080 12GB 1.499€ • iPhone 13 Pro 512GB 1.349€ • DXRacer Gaming-Stuhl 159€ • LG OLED 55 Zoll 1.149€ • PS5 Digital mit o2-Vertrag bestellbar • Prime-Filme für je 0,99€ leihen • One Plus Nord 2 335€ • Intel i7 3,6Ghz 399€ • Alternate: u.a. Sennheiser Gaming-Headset 169,90€ [Werbung]
    •  /