Bilderkennung: Google Lens kann auch Videos durchsuchen
Google hat für Google Lens(öffnet im neuen Fenster) eine Suchfunktion für Videoinhalte freigeschaltet. Diese neue Funktion, die über Search Labs auf Android- und iOS-Plattformen verwendet werden kann, ermöglicht es den Nutzern, mit kurzen Videoclips statt nur mit statischen Bildern zu suchen.
Die Funktion ist für Situationen gedacht, in denen ein einzelnes Foto das gewünschte Motiv möglicherweise nicht ausreichend erfasst. Nutzer können kurze Videos in der App aufnehmen und sogar mündliche Fragen zu dem stellen, was sie gerade beobachten. Diese Kombination wird dann verarbeitet, um eine KI-Übersicht und relevante Suchergebnisse zu generieren.
Google hat diese Videosuchfunktion erstmals während seiner I/O-Veranstaltung im Mai 2024 angedeutet und ihr Potenzial in verschiedenen realen Anwendungen demonstriert. So könnten beispielsweise Besucher eines Aquariums diese Funktion nutzen, um mehr über die Meereslebewesen zu erfahren, die sie gerade betrachten.
Die Technologie hinter der Videosuche
Die Grundlage dieser neuen Funktion baut auf den bestehenden Bilderkennungsfunktionen von Google auf. Rajan Patel, Vice President of Engineering bei Google, erklärte gegenüber The Verge(öffnet im neuen Fenster) , dass das System Videos als eine Reihe einzelner Frames verarbeitet. Diese Frames werden dann mithilfe der KI analysiert, die denen ähneln, die bei der herkömmlichen bildbasierten Lens-Suche zum Einsatz kommen.
Aktuell kann Google Lens aber noch nicht auf den aufgenommenen Ton im Video reagieren. Dem Bericht nach untersucht Google die Möglichkeit, in zukünftigen Updates die Audioerkennung zu integrieren. Dies könnte es den Nutzern ermöglichen, Vögel anhand ihres Gesangs oder andere Objekte anhand ihrer charakteristischen Geräusche zu identifizieren.
Zusätzlich zur Videosuche erweitert Google Lens seine Fotosuchfunktion um die Unterstützung von Sprachabfragen. Benutzer können nun Fragen zu einem aufgenommenen Bild mündlich stellen, anstatt ihre Abfragen einzutippen. Diese sprachgesteuerte Fotosuche wird weltweit auf Android- und iOS-Geräten eingeführt, ist derzeit jedoch auf die englische Sprache beschränkt.