Quelle: Google, Mehrwert: niedrig

Zum Release von Bing Chat war die Software für falsche und nicht mehr aktuelle Informationen kritisiert worden. Das gleiche Argument können wir auch für Googles Bard anbringen. Offenbar gilt das hier aber noch einmal mehr. Nicht nur werden Informationen teilweise falsch dargestellt, die KI greift dabei auf veraltete Informationen zurück, obwohl sie theoretisch auch auf Googles Suchressourcen Zugriff haben müsste.

Im jetzigen Zustand fallen für Bard deshalb Nutzungsszenarien weg – beispielsweise, wenn wir aktuelle Nachrichten lesen oder uns über die politische Lage informieren möchten. Für Bard leitet beispielsweise Christine Lambrecht (SPD) noch immer das Bundesverteidigungsministerium, während Bing Chat die aktuelle Information zur Verfügung stellen kann. Schließlich ist SPD-Politiker Boris Pistorius seit Januar 2023 in diesem Amt tätig.

Ironischerweise kann auch Bard diese Antwort richtig ausgeben. Der zielführende Prompt muss nur möglichst präzise gestellt werden. "Wer ist Boris Pistorius?" gibt uns die Antwort, die wir suchen. "Wer ist für das Verteidigungsministerium verantwortlich?" funktioniert nur mit Bing Chat.

Dieses Beharren auf veralteten Informationen können wir bei weiteren Prompts beobachten. So wollten wir von Bard und Bing Chat etwa drei wichtige News im Bereich IT und Tech erhalten. Bing Chat teilt uns etwa mit, dass Google Bard nun in Deutschland verfügbar gemacht wurde, Apple eine Sicherheitslücke in iOS geschlossen habe und die EU Regeln für den Datenaustausch mit den USA aufstellt – alles relevante News aus dem genannten Sektor.

Bard bleibt bei gleicher Fragestellung sehr allgemein – und liegt vor allem daneben. So hält es für neu, dass Meta neue Metaverse-Features angekündigt, Apple neue Macbooks vorgestellt und Google neue Pixel-Smartphones angekündigt hat. Das alles ist passiert, aber vor einigen Wochen und Monaten.

Veraltete Infos

Es scheint, als greift Bard auf ein trainiertes Sprachmodell zurück, das bereits vor einiger Zeit fertiggestellt und seither nicht wirklich aktualisiert wurde. Das Gleiche trifft auch auf das hinter Bing Chat arbeitende ChatGPT zu, das auf Daten aus den Vorjahren basiert. Allerdings führt das Tool nach jedem Prompt eine Suchanfrage auf Bing durch. Die gefundenen Ergebnisse fließen dann in die generierte Antwort mit ein.

Das sollte in allen Fällen bei Bard eigentlich auch so funktionieren. Die Praxis sieht allerdings anders aus, so dass die Software für aktuelle Themen noch unbrauchbar ist. Das gilt übrigens auch für die generelle Transparenz. Haben wir Microsofts Tool noch für die übersichtlichen Quellenangaben und den schnellen Zugriff auf Sucheregebnisse gelobt, können wir Bard nur dafür kritisieren.

Das ist klar, denn es gibt schlicht keine Quellenangaben zu Bards Antworten. Wollen wir etwa Fakten und Ergebnisse nachprüfen, müssen wir den Umweg über manuelle Suchmaschinen gehen. Das ist sowas von 2022!

Fehlende Transparenz

Statt einer Quellenangabe bietet Bard die Möglichkeit, weitere Suchanfragen über eine Google-Suche zu stellen. Auf Basis der Prompts werden dabei drei Vorschläge generiert, die wir anklicken können. Bard führt uns anschließend zur Google-Webseite und führt eine Suchanfrage mit dem ausgewählten Text durch. Teilweise ist selbst dieses Feature noch kaputt. Manchmal gelangen wir etwa auf englischsprachige Suchergebnisse.

Bing Chat löst das unserer Meinung nach viel besser, denn es führt uns direkt zu den Primärquellen und geht meist nicht den Umweg über Bing, Google oder eine andere Suchmaschine. Die in einer Antwort genutzten Quellen werden hier zudem immer übersichtlich aufgelistet.

Bei Bard ist es umso schwerer, den Gedankenweg der Software nachzuvollziehen. Da sie auf teils nicht mehr aktuellen Informationen basiert, sind Ausgaben oft mit Fehlern versehen. Es ist hier besonders wichtig, Fakten noch einmal manuell nachzuprüfen. Schließlich hat der Planet Jupiter nach aktuellem Kenntnisstand nicht mehr 92, sondern 95 Monde.

Übrigens liegt auch Bing Chat hier daneben. Der Unterschied ist, dass wir direkt nachvollziehen können, aus welcher Quelle die genannte Zahl stammt. So findet die Software in unserer ersten Anfrage "Wie viele Monde hat der Jupiter?" nur 75 Monde. Als Quelle wird dabei ein alter Artikel eines Wissenschaftsmagazins zitiert. Lassen wir ChatGPT einen Schulaufsatz über den Jupiter schreiben, greift das System aber auf den aktualisierten Wikipedia-Artikel zurück und trägt die seit März 2023 bestätigten 95 Monde entsprechend korrekt ein.

In Sachen Kreativität steht Bard dem Microsoft-Tool in nichts nach. Den vom Programm generierten Aufsatz könnten wir minimal bearbeiten und so im Astronomieunterricht abgeben. Spätestens die veralteten Informationen würden jede gescheite Lehrkraft aber schnell skeptisch machen.