Vertonung

Picasso findet passende Musik zu Bildern

Wissenschaftler der Universität des Saarlandes in Saarbrücken haben eine Software entwickelt, die Bilder analysiert und Musik auswählt, die zu den Bildern passt. Die Software nennt sich Picasso.

Artikel veröffentlicht am ,
Picasso sucht automatisch passende Musik zu den Urlaubsfotos.
Picasso sucht automatisch passende Musik zu den Urlaubsfotos. (Bild: Universität des Saarlandes/Golem.de)

Wer einen Bildervortrag über den letzten Urlaub oder die Feier zu Großmutters 90. Geburtstag vorbereitet, der kennt das Problem: Musik kann Bilder gut untermalen, aber nicht jede Musik passt zu jedem Bild. Künftig soll der Computer bei dieser Auswahl behilflich sein, genauer gesagt die Software Picture Categorisation for Suggestion Soundtracks, kurz: Picasso. Das Programm analysiert Fotos und findet dazu passende Musik.

Stellenmarkt
  1. Service Manager (m/w/d) Datenbanksysteme
    operational services GmbH & Co. KG, Leinfelden-Echterdingen, Dresden, Ingolstadt, Wolfsburg
  2. IT-Systemadministrator (m/w/d)
    Verwaltungsgesellschaft der Akademie zur Förderung der Kommunikation mbH, Stuttgart
Detailsuche

Als Grundlage für das System dienten Kinofilme, erzählt Sebastian Michel, Informatiker von der Universität des Saarlandes in Saarbrücken und einer der Entwickler des Systems. "Filmregisseure achten in der Regel sehr genau darauf, welche Melodie auf eine Szene passt" sagt Michel. Deshalb hätten sich die Entwickler Dutzende Filme angeschaut und dabei ausgewertet, welche Musik zu welchen Szenen gespielt wird. Daraus haben sie dann eine Datenbank erstellt. Sie umfasse mehrere tausend Bilder und die dazu passende Musik.

Soll Picasso Bilder oder ein Video vertonen, vergleicht es die Daten zunächst mit den Bildern in der Datenbank. Dann analysiert das Programm, welche Musik unter diesen Bildern liegt und sucht aus einem gegebenen Konvolut diejenige aus, deren Stimmung am besten zu der abgebildeten Szene zu passen scheint.

"Die Trefferquote unseres Systems ist erstaunlich hoch", sagt Michel. Allerdings müsse der erste Vorschlag nicht gleich der treffendste sein. Fehler entstünden beispielsweise aus einer unterschiedlichen Interpretation einer Szene heraus. "Ein einsames Haus zum Beispiel kann einer mit romantischen Abenden verbinden, der andere denkt nur an gespenstische Nächte". Das System biete deshalb mehrere Musikstücke an, aus denen der Benutzer auswählen kann.

Golem Akademie
  1. IT-Fachseminare der Golem Akademie
    Live-Workshops zu Schlüsselqualifikationen
  2. 1:1-Videocoaching mit Golem Shifoo
    Berufliche Herausforderungen meistern
  3. Online-Sprachkurse mit Golem & Gymglish
    Kurze Lektionen, die funktionieren
Weitere IT-Trainings

Im ersten Schritt nutzt Picasso eine Datenbank mit lizenzfreien Musikstücken. "Das schränkt die Bandbreite im Musikgeschmack derzeit noch ein", gibt Michel zu. Sein Team und er wollen jedoch eine App für das iPhone programmieren, die die eigene Mediathek nach passender Musik zu den eigenen Fotos durchsucht.

Die Entwickler wollen das System außerdem so erweitern, dass es nicht nur Musik zu Fotos sucht, sondern auch Videos und sogar Hörbücher und Hörspiele vertont. "Wir haben dafür bereits Regiebücher von Filmen ausgewertet und die Szenenbeschreibungen mit der Filmmusik abgeglichen. Auf dieser Datenbasis kann man auch für gesprochene Texte eine geeignete Hintergrundmusik recherchieren."

Michel und seine Kollegen wollen Picasso auf der ACM SIGIR Conference vorstellen, die vom 24. bis 28. Juli 2011 in Peking stattfindet.

Bitte aktivieren Sie Javascript.
Oder nutzen Sie das Golem-pur-Angebot
und lesen Golem.de
  • ohne Werbung
  • mit ausgeschaltetem Javascript
  • mit RSS-Volltext-Feed


Aktuell auf der Startseite von Golem.de
Foundation bei Apple TV+
Die unverfilmbare Asimov-Trilogie grandios verfilmt

Gegen die Welt von Asimovs Foundation-Trilogie wirkt Game of Thrones überschaubar. Apple hat mit einem enormen Budget eine enorme Science-Fiction-Serie geschaffen.
Eine Rezension von Peter Osteried

Foundation bei Apple TV+: Die unverfilmbare Asimov-Trilogie grandios verfilmt
Artikel
  1. Elektroauto: Porsche plant kommende 718er Baureihe mit Elektroantrieb
    Elektroauto
    Porsche plant kommende 718er Baureihe mit Elektroantrieb

    Die nächste Generation der Baureihe 718 von Porsche wird elektrisch. Damit verabschieden sich Modelle wie Boxster und Cayman vom Verbrenner.

  2. 600 Millionen Euro: Bundeswehr lässt Funkgeräte von 1982 nachbauen
    600 Millionen Euro
    Bundeswehr lässt Funkgeräte von 1982 nachbauen

    Das SEM 80/90 mit 16 KBit/s wird exakt nachgebaut, zum Stückpreis von rund 20.000 Euro. Das Retrogerät geht für die Bundeswehr in Serie.

  3. Lenovo Legion 5 bei Amazon um 300 Euro reduziert
     
    Lenovo Legion 5 bei Amazon um 300 Euro reduziert

    Das Gaming-Notebook ist bei Amazon zum Top-Preis erhältlich. Zudem sind weitere Artikel von Lenovo und Huawei sowie der Kindle Paperwhite im Angebot.
    Ausgewählte Angebote des E-Commerce-Teams

Du willst dich mit Golem.de beruflich verändern oder weiterbilden?
Zum Stellenmarkt
Zur Akademie
Zum Coaching
  • Schnäppchen, Rabatte und Top-Angebote
    Die besten Deals des Tages
    Daily Deals • Samsung G7 31,5" WQHD 240Hz 499€ • Lenovo-Laptops zu Bestpreisen • 19% auf Sony-TVs bei MM • Samsung SSD 980 Pro 1TB 150,50€ • Dualsense-Ladestation 35,99€ • iPhone 13 erschienen ab 799€ • Sega Discovery Sale bei GP (u. a. Yakuza 0 4,50€) [Werbung]
    •  /