Ad-Hoc-Cloud

Handys verschlagworten Fotos mit Umgebungssensoren

Forscher der Duke Universität im US-Bundesstaat North Carolina haben eine Methode entwickelt, mit der das lästige Verschlagworten von Fotos per Hand durch automatische Methoden ergänzt wird. Sie nutzen Sensoren in Handys und binden sogar die der fotografierten Personen mit ein.

Artikel veröffentlicht am ,
Schlagworte
Schlagworte (Bild: Duke Universität/Universität South Carolina)

Bei dem Verschlagwortungssystem Tagsense sorgt eine Gesichtserkennung dafür, dass die fotografierten Personen erkannt werden. Sind sie schon mit Namen bekannt, werden - auf freiwilliger Basis - deren Mobiltelefone dazu genutzt, die Fotos besser zu kategorisieren.

Stellenmarkt
  1. IT Systemadministrator (m/w/d)
    Königsteiner Services GmbH, Stuttgart
  2. Specialist* Digital Production Systems
    HARTING Stiftung & Co. KG, Espelkamp
Detailsuche

So kann zum Beispiel durch die Auswertung eines Beschleunigungsmessers erkannt werden, ob sich die Person zum Aufnahmezeitpunkt bewegte. Auch die Uhrzeit, der Standort über GPS oder das Wetter kann in die Kriterien einfließen, mit denen das Foto einsortiert wird.

  • Tagsense - erstellte  Schlagworte (Bild: Duke Universität/Universität South Carolina)
  • Tagsense - Funktionsprinzip  (Bild: Duke Universität/Universität South Carolina)
Tagsense - erstellte Schlagworte (Bild: Duke Universität/Universität South Carolina)

Informatiker Xuan Bao und Chuan Qin haben die App zusammen mit Romit Roy Choudhury an der Duke Pratt School of Engineering entwickelt. Qin und Bao absolvieren derzeit ein Sommerpraktikum bei Microsoft, hob die Uni ausdrücklich hervor.

Mobiltelefone haben zahlreiche Sensoren, die man nutzen kann, sagte Qin. Sie sammeln Informationen wie Töne, Bewegungen, Orte und den Lichteinfall. Diese Informationen gilt es auszuwerten und geschickt zu verknüpfen, um die Fotos zu beschreiben und Attribute zu finden, die etwas über ihren Inhalt aussagen.

Golem Akademie
  1. ITIL 4® Foundation: virtueller Zwei-Tage-Workshop
    16.–17. Dezember 2021, virtuell
  2. Netzwerktechnik Kompaktkurs: virtueller Fünf-Tage-Workshop
    6.–10. Dezember 2021, virtuell
Weitere IT-Trainings

Durch die Umgebungsinformationen wollen die Studenten genauere Beschreibungen von Fotos erzielen, als sie alleine durch eine Gesichtserkennung möglich sind. Je genauer die Fotos beschrieben werden, desto besser lassen sie sich später auch wieder über eine Stichwortsuche auffinden.

Beispielsweise kann man über den Beschleunigungsmesser erkennen, ob eine Person still steht oder tanzt. Lichtsensoren in der Kamera erkennen, ob die Aufnahme im Freien bei Sonnenschein, Bewölkung oder im Gebäude gemacht wurde. Wetterinformationen für den Standort können auch übers Internet abgefragt werden. Über das Mikrofon kann erkannt werden, ob eine Person lacht oder still ist. Zusammen lässt sich schon ziemlich gut beschreiben, was während der Aufnahme passierte.

Tagsense ist darauf angewiesen, nicht nur das Handy des Fotografen zu nutzen, sondern auch die der Fotomotive. Wenn sich die Gruppe kennt, dürfte es natürlich leichter sein, die Personen zu überreden, ihre Handys ebenfalls mit Tagsense auszurüsten und die gewonnenen Sensorinformationen zu teilen, meint Bao.

Tagsense wurde von Studenten der Duke Universität und der Universität South Carolina entwickelt und auf der Konferenz Computing Machinery International Conference on Mobile Systems, Applications and Services (Mobisys) vorgestellt. Die Experimente des Teams wurden auf acht Google Nexus One mit rund 200 Fotos vorgenommen. Die derzeitige App ist ein Prototyp - ein kommerzielles Produkt ist erst in einigen Jahren zu erwarten, teilten die Forscher mit. Die Veröffentlichung "Tagsense: A Smartphone-based Approach to Automatic Image Tagging" kann als PDF heruntergeladen werden.

Bitte aktivieren Sie Javascript.
Oder nutzen Sie das Golem-pur-Angebot
und lesen Golem.de
  • ohne Werbung
  • mit ausgeschaltetem Javascript
  • mit RSS-Volltext-Feed


Aktuell auf der Startseite von Golem.de
Koalitionsvertrag
Was bedeuten die Ampel-Pläne für die Elektromobilität?

Nach dem Willen der Ampelkoalition sollen 15 Millionen Elektroautos bis 2030 auf deutschen Straßen unterwegs sein. Wir haben uns angeschaut, wie das genau umgesetzt werden soll.
Eine Analyse von Friedhelm Greis

Koalitionsvertrag: Was bedeuten die Ampel-Pläne für die Elektromobilität?
Artikel
  1. Zu wenig Triebwerke: Musk warnt vor SpaceX-Pleite
    Zu wenig Triebwerke
    Musk warnt vor SpaceX-Pleite

    Elon Musk sieht sich der nächsten "Produktionshölle" ausgesetzt. Dieses Mal stockt die Fertigung im Raumfahrtunternehmen SpaceX.

  2. Chinesische Provinz Henan: Mit Gesichtserkennung nach Journalisten fahnden
    Chinesische Provinz Henan
    Mit Gesichtserkennung nach Journalisten fahnden

    Das Beispiel aus China macht deutlich, wie Gesichtserkennung missbraucht werden kann. Beteiligt sind die Firmen Neusoft und Huawei.

  3. CD Projekt: Große Erweiterung und Fortsetzung für Cyberpunk 2077 geplant
    CD Projekt
    Große Erweiterung und Fortsetzung für Cyberpunk 2077 geplant

    Ein neues Witcher und mehr Cyberpunk 2077: Vertreter von CD Projekt haben die Firmenpläne vorgestellt. Der Onlineshop Gog.com hat Probleme.

Du willst dich mit Golem.de beruflich verändern oder weiterbilden?
Zum Stellenmarkt
Zur Akademie
Zum Coaching
  • Schnäppchen, Rabatte und Top-Angebote
    Die besten Deals des Tages
    Daily Deals • Crucial-SSDs zu Bestpreisen • Nur noch heute: Bis 75% auf Switch-Spiele • Gaming-Sale bei MM • G.Skill 64GB Kit 3800MHz 319€ • Bis zu 300€ Direktabzug auf TVs, Laptops uvm. • WD MyBook ext. HDD 18TB 329€ • Alternate (u. a. Biostar Mainboard 64,90€) • Xbox Series S 275,99€ [Werbung]
    •  /