Coqui AI: Eigene Sprache klonen und in "fremden Zungen" sprechen

Das neue Modell von Mozillas ehemaligem KI-Sprachforschungsteam soll leicht Sprache synthetisieren und so Text-to-Speech transferieren können.

Artikel veröffentlicht am ,
Der Namensgeber des Startups Coqui: eine Froschart
Der Namensgeber des Startups Coqui: eine Froschart (Bild: Jesse Avilés, flickr.com/CC-BY 2.0)

Das auf KI-Sprachforschung spezialisierte Startup Coqui hat mit YourTTS ein neues Sprachmodell veröffentlicht, das geschriebenen Text in vorgelesene Sprache synthetisiert (Text-to-Speech, TTS), wobei sogar eine besonders kurze Spracheingabe ausreichen soll. Darüber hinaus sollen sich die gesprochenen Eingaben auch dazu nutzen lassen, diese in andere Sprachen zu übertragen.

Wie das Team von Coqui in seinem Blog zu dem Modell schreibt, nutzen die meisten bisher verfügbaren TTS-Modelle wohl mindestens 20-40 Stunden gesprochene Eingaben von professionellen Sprecherinnen und Sprechern. "In dieser Umgebung ist die Erweiterung der Lösung auf mehrere Sprachen und Sprecher nicht für jeden möglich", heißt es dazu bei Coqui. Besonders schwer sei dies zudem für jene Sprachen, die in der Forschung eher wenig beachtet werden und über wenige Ressourcen hierfür verfügen.

Diese Limitierungen soll YourTTS von Coqui überwinden können. Das Modell könne dabei Stimmen in verschiedenen Sprachen synthetisieren und reduziere die Voraussetzungen für die Datenmengen "signifikant", indem Wissen aus einer Sprache in eine andere transferiert werde, heißt es in der Beschreibung. So könnten letztlich zum Beispiel Stimmen für brasilianisches Portugiesisch auch aus einer englischen Stimmeingabe erzeugt werden.

Davon, ob und wie gut das funktioniert, können sich interessierte Nutzer zunächst durch eine kleine Demo überzeugen, die das Coqui-Team derzeit auf seiner Homepage unter der Überschrift "in fremden Zungen sprechen" anbietet. Dazu schreiben die Beteiligten, dass sie sich durchaus auch des möglichen Missbrauchspotenzials ihrer Technik bewusst seien. Um dies zumindest für die öffentliche Demo abzumildern, werden die so verfügbaren Clips mit Hintergrundmusik unterlegt.

Bitte aktivieren Sie Javascript.
Oder nutzen Sie das Golem-pur-Angebot
und lesen Golem.de
  • ohne Werbung
  • mit ausgeschaltetem Javascript
  • mit RSS-Volltext-Feed


Aktuell auf der Startseite von Golem.de
HPC-Mythen
Es gibt keine Silberkugel beim Hochleistungsrechnen

Revolutionieren Quantencomputer, neue Beschleuniger oder Programmiersprachen die Hochleistungsrechner? Eine Gruppe von Experten sagt: nein.
Von Johannes Hiltscher

HPC-Mythen: Es gibt keine Silberkugel beim Hochleistungsrechnen
Artikel
  1. Militär: China gelingt Durchbruch bei Abwehr von Hyperschallraketen
    Militär
    China gelingt Durchbruch bei Abwehr von Hyperschallraketen

    Das Shanghai Institute of Mechanical and Electrical Engineering hat einen Durchbruch bei der Erforschung eines Abwehrsystems für Hyperschallwaffen erzielt.

  2. Arbeitsmarktstudie: Die Schweiz als Einkommensparadies für ITler
    Arbeitsmarktstudie
    Die Schweiz als Einkommensparadies für ITler

    Mit einem Umzug aus Deutschland in die Schweiz können IT-Fachkräfte ihr Einkommen von einem auf den anderen Tag verdoppeln. Dann können sie sich auch ihren größten beruflichen Wunsch leisten: die 4-Tage-Woche.
    Von Peter Ilg

  3. AMD RDNA3: Hinweise auf mögliche Radeon RX 7900 X3D
    AMD RDNA3
    Hinweise auf mögliche Radeon RX 7900 X3D

    Bereits zur Ankündigung der Chiplet-GPU war es ein offenes Geheimnis, dass 3D-Vcache möglich wäre. Nun gibt es Hinweise, dass die Speichercontroller bereits darauf ausgelegt sind.

Du willst dich mit Golem.de beruflich verändern oder weiterbilden?
Zum Stellenmarkt
Zur Akademie
Zum Coaching
  • Schnäppchen, Rabatte und Top-Angebote
    Die besten Deals des Tages
    Daily Deals • AMD CPU kaufen, SW Jedi Survivor gratis dazu • Philips LED TV 65" 120 Hz Ambilight 999€ • KF DDR4-3600 32GB 91,89€ • Asus Mainboard 279€ • Bosch Prof. bis -55% • PCGH Cyber Week • Acer Predator 32" WQHD 170Hz 529€ • Philips Hue bis -50% • Asus Gaming-Laptops bis -25% [Werbung]
    •  /