Die wunderliche Geschichte der Vita Cola

Diese erkannte Gemini korrekt als Flasche Vita Cola – danach wurde es aber wild. Gemini zufolge wurde Vita Cola in Westdeutschland erfunden und erstmals 1950 auf den Markt gebracht, was nicht ferner von der Wirklichkeit sein könnte. Besonders unverständlich bei Googles KI finden wir, dass es die Möglichkeit eines Faktenchecks über eine Websuche ja gibt – diese aber manuell von uns über eine Schaltfläche aufgerufen werden muss.

Microsoft gleicht seine KI-Ergebnisse direkt mit Bing ab und gibt uns entsprechende Links, die die Angaben untermauern. Google hingegen lässt Gemini offenbar erst einmal freien Lauf und überlässt es dann den Nutzern, sich die Fehler anzeigen zu lassen – ein problematischer und unnötiger Ansatz. Entsprechend präsentierte uns die Copilot-App übrigens eine deutlich knappere, aber korrekte Geschichte der Vita Cola.

Falls Gemini irgendwann einmal komplett den Google Assistant ablösen sollte, sollte Google die KI-Halluzinationen im Griff haben. Gemini denkt sich nämlich auch bei Fotos von Lebensmittelpackungen die Inhaltsstoffe und Nährwertangaben komplett aus – in unserem Test beispielsweise bei einem Müsli. Sollte die KI dann irgendwelche Allergene verschweigen, könnte das für Nutzer, die sich auf die Angaben verlassen, zu einem großen Problem werden.

Google muss am Blödsinn-Problem arbeiten

Google muss vor allem in solchen Fällen schlicht verhindern, dass Gemini irgendwelchen erfundenen Blödsinn kommuniziert. Aktuell weist Google unter anderem in den Hilfedateien zur Gemini-App darauf hin, dass man sich nicht auf die Antworten der KI verlassen solle. Das ist gut, besser wäre es aber, wenn Google ein wenig mehr Kontrolle über die Halluzinationen ausüben würde. Auch bei der Bilderkennung denkt sich Gemini mitunter einfach Hintergrundgeschichten aus.

Im direkten Vergleich mit Copilot wirkt Gemini zunächst langsamer, im Endeffekt nehmen sich die beiden Apps aber nicht viel. Gemini präsentiert uns direkt immer die komplette Antwort, während wir sie bei Copilot Wort für Wort bekommen. Bis dort die vollständige Antwort erschienen ist, haben wir diese auch in der Gemini-App. Qualitativ gesehen sind die Antworten von Copilot oft etwas knapper, dafür neigt Microsofts KI weniger zu Halluzinationen. Außerdem bindet Copilot besser aktuelle Informationen ein, etwa bei der Frage, was man am Abend unternehmen kann.

Fazit

Die Gemini-App für Android-Smartphones punktet in unserem Test vor allem durch die Einbindung in das Betriebssystem. Als Ersatz für den Google Assistant können wir bestimmte Funktionen ausführen, die vorher nicht so einfach möglich waren – etwa direkt per Sprachkommando eine Antwort auf eine E-Mail eine Zusammenfassung einer Webseite anzufordern.

Das ist in der Praxis hilfreich, auch die Ergebnisse sind gut. Interessant finden wir auch die Möglichkeiten, Antworten formulieren zu lassen. Grundsätzlich neigen KIs bei Aufgaben, die keine Eigenrecherche erfordern, zu genaueren Ergebnissen – bei der Zusammenfassung einer Webseite müssen in der Regel keine Inhalte ermittelt werden. Die Ergebnisse in unserem Test waren entsprechend zuverlässig.

Das können wir bei Wissensfragen nicht immer bestätigen: Wer Gemini nach Informationen fragt, sollte die Antwort vor dem Lesen immer über die Google-Taste durch die Suchmaschine überprüfen lassen. Auch dann werden unserer Erfahrung nach aber nicht alle Fehler markiert. Grundsätzlich raten wir dazu, bei Wissensfragen wenn möglich eher eine Suchmaschine zu bemühen oder die Gemini-Ergebnisse separat nachzuprüfen.

Außerdem empfehlen wir aktuell, Anfragen möglichst auf Englisch zu verfassen, da die Gemini-App auf Deutsch einfach noch nicht zuverlässig funktioniert. Dies können wir nicht Google ankreiden, da das Unternehmen die Anwendung offiziell noch nicht für Deutschland freigegeben hat.

Googles möglicher Ansatz, Gemini als Assistant-Ersatz in Android einzubinden, erfordert eine größere Sorgfalt als das bloße Bereitstellen einer KI oder einer KI-App. Es ist schlichtweg wahrscheinlicher, dass Nutzer mit weniger Ahnung die KI benutzen und sich auf die Antworten einfach verlassen werden.

Dafür finden wir die Antworten von Gemini zu oft zu ungenau und schlicht falsch. Es bleibt abzuwarten, wie Google dieses Problem lösen will und wie sich das neue Gemini 1.5 auf die Qualität der Antworten auswirken wird. Vielleicht kann sich Google ein bisschen was bei Microsoft abschauen, dessen Copilot im direkten Vergleich auf uns zuverlässiger wirkt.