Chat with RTX: Nvidias lokaler Chatbot kann PDFs und Videos durchsuchen
Nvidia hat heute Chat with RTX vorgestellt, einen KI-Chatbot, der auf einer Grafikkarte aus der RTX30(öffnet im neuen Fenster) - oder 40-Serie(öffnet im neuen Fenster) läuft und sich mit wenig Aufwand installieren lässt. Das Programm kann mit einer Reihe von Dateiformaten wie PDF, Text, Docx und XML umgehen und so Zusammenfassungen oder Inhalte auf dessen Basis erstellen.
Die Daten dienen dem Chatbot als Kontext für eine Unterhaltung beziehungsweise einen Prompt. Es können auch Youtube-Playlisten als Quelle angegeben werden, die anschließend als Transkript verwendet werden können. Anders als bisher macht Nvidia damit einen Schritt weg von der Cloud, hin zur lokalen Datenverarbeitung.
Nvidia vereinfacht mit dem Programm die händische Konfiguration von Chatbots mit frei verfügbaren Modellen wie Llama2(öffnet im neuen Fenster) oder Mistral(öffnet im neuen Fenster) , auf denen auch Chat with RTX basiert. Die Modelle werden bei der Installation automatisch heruntergeladen und vorbereitet, dazu wird Cuda(öffnet im neuen Fenster) und Miniconda(öffnet im neuen Fenster) installiert und eingerichtet. Wir müssen lediglich noch unsere eigenen Daten angeben, den Rest erledigt das Installationsprogramm bereits im Vorfeld.
Modelle brauchen viel Speicher
Wer schon einmal einen lokalen Chatbot installiert hat, wird die großen Datenmengen der Modelle bereits kennen. Auch bei der Installation von Chat with RTX sollte man vorher für genügend freien Platz sorgen. Das Installationsprogramm selbst ist 38,3 GByte groß, im installierten Zustand kann es aber schnell deutlich mehr werden. 100 bis 150 GByte sollten deshalb freigehalten werden.
Die verwendete Grafikkarte muss genügend Speicher für das Llama2-13B-Modell haben. Alle RTX-30- und RTX-40-Modelle mit 8 GByte oder mehr sind also kompatibel. Damit bleibt lediglich die Geforce RTX 3050 6-GByte außen vor. Zu älteren GPUs äußerte sich Nvidia noch nicht, mindestens Turing-GPUs müssten technisch ebenfalls in der Lage sein, Chat with RTX auszuführen.
Das bisher größte Problem ist, dass innerhalb der Unterhaltungen kein Kontext erhalten bleibt. Rückfragen sind daher aktuell noch nicht möglich, was allerdings bereits als bekanntes Problem gelistet ist. Außerdem beantwortet der Chatbot ausschließlich Fragen mit direktem Bezug zum angegebenen Quellmaterial. Fragen zu Cyberpunk 2077 und Pathtracing konnte Chat with RTX gut beantworten. Was eine Katze ist, wusste das Programm hingegen erst, nachdem wir es mit einer Textdatei über Katzen aus der Wikipedia aufgeklärt haben.