Der neue KI-Chatbot von NVIDIA basiert auf lokalen Dateien, nicht auf der Cloud
Der Chat With RTX LLM läuft lokal und bietet personalisierte Antworten auf Anfragen.
Wer über kompatible Hardware verfügt, kann jetzt Chat With RTX installieren, einen KI-Chatbot, der lokale Dateien in seinen Datensatz umwandelt. Die Anwendung „Chat With RTX“ gilt als „Tech-Demo“, eignet sich jedoch effektiv zum Abrufen, Zusammenfassen und Synthetisieren von Informationen aus textbasierten Dateien.
Im Kern ist Chat With RTX ein persönlicher Assistent, der Ihre Dokumente und Notizen durchforstet. Es erspart Ihnen die Mühe, Dateien, die Sie geschrieben, heruntergeladen oder von anderen erhalten haben, manuell zu durchsuchen. Sie könnten Chat With RTX bitten, eine Information aus einem langen technischen Dokument abzurufen, Sie können es aber auch zur Beantwortung gelegentlicher Fragen wie „Welches Restaurant hat mein Partner in Las Vegas empfohlen?“ verwenden.
Das personalisierte LLM kann auch Transkripte aus YouTube-Videos abrufen. Wenn Sie eine Schritt-für-Schritt-Anleitung für ein Holzbearbeitungsprojekt zum Ausdrucken benötigen, suchen Sie einfach ein YouTube-Tutorial, kopieren Sie die URL und fügen Sie sie in Chat With RTX ein. Dies funktioniert mit eigenständigen YouTube-Videos und Playlists.
Da Chat With RTX lokal ausgeführt wird, werden schnelle Ergebnisse erzielt, ohne dass Ihre persönlichen Daten in die Cloud gesendet werden müssen. Der LLM scannt nur Dateien oder Ordner, die vom Benutzer ausgewählt wurden. Ich sollte beachten, dass andere LLMs, einschließlich derer von HuggingFace und OpenAI, lokal ausgeführt werden können. Chat With RTX ist aus zwei Gründen bemerkenswert: Es erfordert kein Fachwissen und zeigt die Fähigkeiten von NVIDIAs Open-Source-TensorRT-LLM RAG, mit dem Entwickler ihre eigenen KI-Anwendungen erstellen können.
Wir haben „Chat With RTX“ auf der CES 2024 praktisch ausprobiert. Es handelt sich auf jeden Fall um eine „Tech-Demo“, und es ist etwas, das mit Absicht genutzt werden muss. Aber es ist trotzdem beeindruckend. Selbst wenn Sie kein Interesse an den Informationsabruf- oder Dokumentzusammenfassungsfunktionen von Chat With RTX haben, ist dies ein großartiges Beispiel dafür, wie sich lokal betriebene LLMs in die Arbeitsabläufe von Menschen einmischen können.
Und obwohl es auf der Website von NVIDIA nicht erwähnt wird, kann „Chat With RTX“ interessante Antworten auf kreative Aufforderungen liefern. Wir haben das LLM gebeten, eine Geschichte basierend auf den Transkripten einer YouTube-Playlist zu schreiben, und es kam dieser Bitte nach, wenn auch in einem sachlichen Ton. Ich bin gespannt, wie die Leute mit dieser Anwendung experimentieren werden.
Sie können Chat With RTX von der NVIDIA-Website installieren. Beachten Sie, dass diese App eine RTX-GPU der 30er- oder 40er-Serie mit mindestens 8 GB VRAM erfordert. NVIDIA bietet außerdem ein Open-Source-Referenzprojekt TensorRT-LLM RAG für diejenigen an, die Apps erstellen möchten, die Chat with RTX ähneln.
Quelle: NVIDIA