Copilot: Das kann Microsofts KI-Assistent für Windows 11
Microsoft bringt den eigenen KI-Assistenten Copilot(öffnet im neuen Fenster) ab dem 26. September für alle Windows-User heraus. Das KI-Tool soll bei diversen Aufgaben helfen und die Arbeit erleichtern. Copilot wird dabei direkt in Windows 11 integriert und kann von dort aus aufgerufen werden. Als integraler Bestandteil des Betriebssystems können Einstellungen über Textprompts verändert werden; Microsoft zeigte beispielsweise das Anschalten des dunklen Modus oder das Öffnen installierter Apps mittels Textnachricht.
Copilot fasst viele Teilmodule zusammen, die Microsoft bereits im Vorfeld einige Zeit lang entwickelt hat. Zentrales Element ist Bing Chat auf Basis von GPT-4. Das Programm interpretiert Texteingaben und verwendet bei Bedarf weitere Tools für das Beantworten von Fragen. So können User innerhalb von Windows und Microsoft Edge Bilder mittels Bing Image Creator auf Basis von Textprompts erstellen.
Microsoft hat das Diffusionsmodell Dall-E 3 für die eigenen Zwecke angepasst, um es für den alltäglichen Gebrauch nutzbar zu machen. Die von KI erstellten Bilder sollen zudem als solche gekennzeichnet werden - auch in den Metadaten.
Schummeln bei den Mathehausaufgaben
Copilot kann kontextbasiert weiterführende Informationen einblenden. Wird etwa ein Text in die Zwischenablage kopiert, analysiert die Software ihn und bietet einige Optionen an. Microsoft zeigt das anhand einer langen E-Mail in Outlook: Copilot extrahiert auf Textanfrage weitere Informationen zur E-Mail und sucht im Internet beispielsweise nach zusätzlichen Daten - in diesem Beispiel sind das die Standortdaten verschiedener in der Nachricht genannter Sehenswürdigkeiten.
Neu ist zudem das Feature Windows Ink Anywhere. Dabei kann ein Eingabestift genutzt werden, um Screenshots oder angezeigte Elemente zu markieren und aus ihnen zusätzliche Informationen zu zeigen. Microsoft zeigt das(öffnet im neuen Fenster) an einem mathematischen Graph und einer passenden Gleichung. In der Demo werden der Graph und die darunterstehende Mathehausaufgabe markiert und in Copilot kopiert.
Die Software analysiert das ausgewählte Bild und gibt eine passende Lösung automatisch aus. Theoretisch könnten sich Schüler so ihre Hausaufgaben erschummeln. Das funktioniert auch mit handgeschriebenen Bruchgleichungen, die von Copilot automatisch gelöst werden.
Copilot soll aber nicht nur auf das Internet und geteilte lokale Daten zugreifen können. Die App kann auch auf Daten zugreifen, die auf dem eigenen Smartphone liegen - vorausgesetzt, es ist mit Windows 11 synchronisiert. Im Beispiel durchsucht Copilot auf dem Telefon liegende Textnachrichten nach Informationen zu einem Flug nach Alaska. Die benötigte Information gibt Copilot im Windows-Textfenster aus.
Copilot in Microsoft 365
Microsoft verbessert parallel dazu die online verfügbare Bing-Chat-Suche. Das Tool soll sich vergangene Suchanfragen und Konversationen merken, damit zukünftige Anfragen personalisiert ausgegeben werden können. Im Beispiel hat sich Bing Suchen zum Thema Sport und Golden Retriever gemerkt. Auf die Anfrage, welche guten Sportereignisse es am Wochenende in Seattle gibt, werden dann primär hundefreundliche Locations herausgesucht.
Seit einiger Zeit wird Copilot auch innerhalb von Microsoft 365 getestet. Die Software soll ab dem 1. November 2023 für Enterprise-Kunden veröffentlicht werden. Sie wird in diversen 365-Produkten wie Word, Excel, Powerpoint, Outlook und Teams integriert. Das Ganze wird unter dem Produkt Microsoft 365 Chat zusammengefasst.
Wie der Windows Copilot soll auch der Microsoft 365 Copilot Zugriff auf möglichst viele Daten bekommen, um diese nach wichtigen Informationen zu durchsuchen. Microsoft zeigt das an einem Beispiel, in dem nach den aktuell wichtigsten E-Mails im Posteingang gefragt wird. Der Assistent fasst die Informationen in einer generierten Antwort zusammen.
Wissensdatenbank für Prompts
Anschließend können weitere Prompts zusätzliche Informationen ausgeben, beispielsweise, wenn nach einem bestimmten Thema aus der generierten Antwort gefragt wird. Microsoft 365 Copilot soll dabei Zugriff auf E-Mails, Meetings, Chatverläufe und gespeicherte Dateien bekommen. Entsprechend können sich Textprompts auch auf Meetings oder andere gespeichert Dateien zugreifen. In der Demonstration verlinkt Microsoft eine Powerpoint-Datei, um einen dazu passenden Blog-Post zu generieren.
Innerhalb von Outlook führt Microsoft ein neues Feature namens Sound Like Me ein. Der Microsoft 365 Copilot verwendet dafür von den Usern verfasste E-Mails, um den eigenen Schreibstil darauf anzupassen. Das soll bis auf kleine Details hin funktionieren.
Damit Kunden sich besser mit all diesen Funktionen zurechtfinden, führt Microsoft zudem das Copilot Lab ein. Dabei handelt es sich um eine Wissensdatenbank, um bessere Prompts für Copilot zu verfassen und beliebte Prompts unter Kollegen und Accounts zu teilen.
Inwiefern Copilot ein optionales Feature von Windows 11 bleibt, ist bisher nicht bekannt. Schließlich hat die Software Zugriff auf teilweise sensible Daten. Modelle wie GPT-4 und Dall-E 3 laufen typischerweise online in Rechenzentren, so dass Daten an Microsoft-Server übertragen werden müssen. Es wird sich zeigen, wie gut sich das mit europäischen Datenschutzgesetzen vereinbaren lässt.