Nur 4-8 GB RAM? Diese lokalen LLMs können direkt auf Ihrem PC arbeiten

Wichtige Erkenntnisse

• Der Einsatz lokaler LLM-gestützter Chatbots stärkt den Datenschutz, erhöht die Chatbot-Verfügbarkeit und trägt dazu bei, die Kosten für monatliche Online-KI-Abonnements zu minimieren.
• Die lokalen LLM-basierten Chatbots DistilBERT, ALBERT, GPT-2 124M und GPT-Neo 125M funktionieren gut auf PCs mit 4 bis 8 GB RAM.

Lokale KI-Chatbots, die auf großen Sprachmodellen (LLMs) basieren, funktionieren nur auf Ihrem Computer, nachdem Sie sie ordnungsgemäß heruntergeladen und eingerichtet haben. Sie benötigen normalerweise viel Computerspeicher (RAM), um gut zu funktionieren. Einige großartige Modelle können jedoch auch auf Computern mit nur 4 GB RAM funktionieren.

Warum lokale LLM-Chatbots verwenden?

Online-KI-Chatbots sind leistungsstarke Tools, die Ihre tägliche Effizienz erheblich steigern können. Sie geben ein, was Sie möchten, und diese LLMs erstellen Text basierend auf Ihren Anweisungen. Wenn Sie gerade erst mit der Verwendung von KI-Chatbots vertraut sind, lesen Sie unseren Vergleichsartikel zu den Unterschieden zwischen ChatGPT, Claude und Perplexity, um sich mit den Grundlagen vertraut zu machen.

Warum sollten Sie einen lokalen Chatbot anstelle einer beliebten Online-Option verwenden? Erstens macht es einfach Spaß, einen Chatbot zu haben, mit dem nur man reden kann. Letztendlich hängt es jedoch davon ab, wie sehr Ihnen Datenschutz, Verfügbarkeit und Kosten am Herzen liegen.

So peinlich es für manche auch sein mag, ich mache mir keine allzu großen Sorgen, wenn Online-Chatbot-Ersteller meinen Chat-Verlauf einsehen und sehen können, dass ich wissen muss, wie lange es dauert, einen Truthahn zu braten oder wie ich meine Schuhe richtig putze. Unabhängig davon gibt es Informationen, die ich vielleicht mit einem Chatbot teilen möchte und die immer unter uns bleiben sollten.

Ich habe zum Beispiel am häufigsten mit dem lokalen LLM-basierten GPT-Neo 125M-Chatbot gearbeitet, um meine Finanzen zu organisieren. Bei der Auszahlung des Studienkredits, der Zinsberechnung und Ähnlichem kann es ziemlich kompliziert werden. Es ist sehr hilfreich, Ideen durchzusprechen und Fragen an einen lokalen Chatbot zu stellen, der nie vom Laptop wegkommen und meine Geheimnisse verkaufen kann.

Sie müssen auch bedenken, dass Big-Data-Verstöße erschreckend häufig sind. Daher ist es besser, vertrauliche Informationen über sich selbst und Ihre Lieben auf Ihrem PC aufzubewahren, als in der Datenbank eines großen KI-Unternehmens.

Ebenso sind einige lokale Chatbots nach der Installation vollständig internetunabhängig, sodass Sie zum Chatten nicht mit dem Internet verbunden sein müssen. Andere benötigen gelegentlich einen Internetzugang für Updates. Dennoch sind lokale Chatbots zuverlässiger zugänglich als Online-Chatbots, da Sie sich in wichtigen Momenten keine Sorgen über Serviceausfälle machen müssen.

Schließlich generieren Online-Chatbots ihren Unternehmen Hunderte Millionen Dollar an Abonnementgebühren. OpenAI, das Unternehmen hinter den berühmten ChatGPT-Modellen, verlangt derzeit 20 US-Dollar pro Monat für den Zugriff auf seinen neuesten Chatbot. Sein enger Konkurrent Anthropic verlangt für seine fortschrittlichsten Funktionen ebenfalls 20 US-Dollar pro Monat. Wenn Sie mehrere Dienste abonnieren, müssen Sie jährlich mindestens 240 US-Dollar ausgeben.

Lokale Chatbots können helfen, diese Kosten zu senken. Allerdings sind nicht alle davon kostenlos. Einige erfordern Lizenz- und/oder Nutzungsgebühren, wie etwa GPT-3 von OpenAI. Allerdings können mehrere lokale Open-Source-Chatbot-Modelle kostenlos heruntergeladen und verwendet werden. Diese sollten strategisch für einfachere Probleme eingesetzt werden. Daher rüsten Sie nur dann auf die zugegebenermaßen fortgeschritteneren Online-Varianten um, wenn dies unbedingt erforderlich ist.

Diese LLM-Chatbots laufen auf PCs mit wenig RAM

Ich musste mehrere kostenlose LLM-basierte Chatbots auf PCs mit wenig RAM zum Laufen bringen, hauptsächlich weil das bis vor Kurzem alles war, was ich mir leisten konnte.

Daher habe ich festgestellt, dass die Modelle DistilBERT und ALBERT am einfachsten zu handhaben sind, auch weil sie einfach so leicht sind. Leichtgewicht bedeutet, dass diese Modelle hinsichtlich Speichernutzung und Rechenleistung äußerst effizient konzipiert sind. Dies schränkt ihre Chatbot-Leistungen für komplexe Aufgaben ein, die andere Online-Chatbots problemlos bewältigen könnten. Beide können jedoch problemlos mit nur 4 GB RAM ausgeführt werden, was den Entwicklern von Hugging Face zu verdanken ist.

Für DistilBERT haben die Entwickler von Hugging Face viel Leistung in ein kleines, effizientes Modell gepackt, indem sie dessen Design optimiert haben. Ich denke, dass DistilBERT eines der bisher verfügbaren Modelle ist, wenn nicht sogar das effizienteste.

ALBERT ist anders konzipiert als DistilBERT, da Teile des Modells so gemeinsam genutzt werden, dass Daten schnell verarbeitet werden können, ohne viel Speicher zu verbrauchen.

Ich empfehle dringend, als Anfänger mit DistilBERT und ALBERT zu beginnen, auch wenn Sie einen PC mit viel Speicher haben. Indem ich mit diesen beiden Modellen begann, konnte ich die Grundlagen erlernen, ohne von der Komplexität größerer Modelle überwältigt zu werden.

Wenn Sie ehrgeizig sind oder eine Maschine mit 8 GB oder mehr haben, können Sie die BERTs überspringen und mit den GPT-2-Modellen von OpenAI arbeiten. Die wie die Schweizer Taschenmesser der lokalen KI-Welt sind. GPT-2-Modelle gibt es in verschiedenen Größen, von denen einige eher für PCs mit wenig RAM geeignet sind als andere.

Die 124M-Parameterversion ist die leichteste. Obwohl der 124M weniger leistungsstark ist als seine Online-Chatbot-Geschwister, ist er bei der Spracherstellung leistungsstark und ist meiner Erfahrung nach bei der Spracherstellung mindestens gleichwertig, wenn nicht sogar besser, als die beiden BERTs.

Mein mit Abstand liebstes leichtes LLM ist das GPT-Neo 125M aufgrund seiner anpassbaren Anpassungsoptionen. Es wurde von den angesehenen Entwicklern von EleutherAI entwickelt und ist so etwas wie der Open-Source-Cousin von GPT-2.

Der Neo 125M ist darauf ausgelegt, Leistung und Ressourcenbedarf in Einklang zu bringen. Die Leistung dieses Modells entspricht der von GPT-2, wurde jedoch angepasst, um den Speicher effizienter zu nutzen. Es ist leistungsstark genug für viele Aufgaben und dennoch leicht genug, um mit nur 8 GB zu laufen, obwohl es mit weniger als dem zu kämpfen hat.

Erste Schritte mit lokalen LLM-Chatbots

Das Betreiben eines eigenen Chatbots ist einfacher als Sie denken. Zunächst müssen Sie wissen, was Ihr Computer kann. Überprüfen Sie, wie viel Arbeitsspeicher (RAM) Sie haben und wie schnell Ihr Computer ist. Stellen Sie anhand der oben bereitgestellten Informationen sicher, dass das System Ihres Computers mit dem gewünschten Chatbot kompatibel ist.

Sobald Sie dies wissen, können Sie die richtige Software herunterladen. Möglicherweise benötigen Sie etwas namens Docker, ein Tool, mit dem Sie Anwendungen in speziellen Boxen namens Containern ausführen können, um sicherzustellen, dass sie auf jedem Computer gleich funktionieren.

Suchen Sie auf Websites wie Hugging Face und GitHub nach LLM-Software. Lesen Sie unbedingt die Anweisungen für jedes von Ihnen verwendete Modell, um zu verstehen, wie es funktioniert. Dann laden Sie es herunter und chatten Sie. Denken Sie daran, auch nach möglichen Aktualisierungen der Modellsoftware Ausschau zu halten.

Wenn Ihr Computer nicht sehr leistungsfähig ist, sollten Sie unbedingt mit DistilBERT oder ALBERT beginnen. Wenn Sie mehr erfahren, können Sie GPT-2 mit unserer umfassenden GPT-2-Installationsanleitung für Windows ausprobieren oder Dutzende anderer Modelle mit unserer LM Studio-Anleitung ausprobieren.

Sie werden Fragen haben. Die Chancen stehen gut, dass viele bereits in Online-Communities oder Foren beantwortet wurden. Schauen Sie sich r/MachineLearning von Reddit, die Hugging Face-Community oder unseren ausführlichen Artikel über die Funktionsweise von LLMs an, falls Sie irgendwann nicht weiterkommen.

Lassen Sie sich von der Hardware nicht davon abhalten, sich an lokalen LLM-Chatbots zu versuchen. Es gibt viele Optionen, die auf Systemen mit wenig Speicher effizient ausgeführt werden können. Probieren Sie es noch heute aus!