Phi-Silica: Microsoft stellt lokale KI für Copilot+ PCs vor
Microsoft hat auf der Entwicklerkonferenz Build in Seattle ein Small Language Model (SLM) namens Phi-Silica angekündigt. Das berichtete Venture-Beat(öffnet im neuen Fenster) . Phi-Silica soll in alle Copilot+ PCs integriert werden, wenn diese im Juni 2024 auf den Markt kommen.
Lokale Sprachmodelle bieten den Vorteil, dass die Daten, die damit verarbeitet werden sollen, auf dem Gerät bleiben. Das soll Datenschutzbedenken zerstreuen und die Offlinenutzung ermöglichen.
Laut Microsoft bietet Phi-Silica eine hohe Antwortgeschwindigkeit bei einem Stromverbrauch von nur 1,5 Watt. Dieses Design stellt sicher, dass das Modell die PC-Ressourcen nicht überstrapaziert, so dass sich CPU und GPU auf andere Berechnungen konzentrieren können. Darüber hinaus nutzt die Token-Generierung des Modells den Cache der NPU und läuft auf der CPU, wobei etwa 27 Token pro Sekunde erzeugt werden.
Wichtiger Schritt in der lokalen KI-Implementierung
Ein Microsoft-Sprecher betonte: "Die Besonderheit von Phi-Silica ist, dass es das erste lokal eingesetzte Sprachmodell für Windows ist. Optimiert für die Ausführung auf den NPUs der Copilot+ PCs, bringt es blitzschnelles lokales Inferencing auf Ihr Gerät."
Phi-Silica reiht sich in die Reihe der Phi-3-Modellvarianten von Microsoft ein, zu denen Phi-3-Mini (3,8 Milliarden Parameter), Phi-3-Small (7 Milliarden Parameter), Phi-3-Medium (14 Milliarden Parameter) und Phi-3-Vision (4,2 Milliarden Parameter) gehören. Mit seiner kompakten Größe und optimierten Leistung soll Phi-Silica in der Lage sein, die Fähigkeiten von Copilot+ PCs deutlich zu verbessern.