So führen Sie Dutzende KI-Modelle auf Ihrem Mac oder PC aus - keine Cloud eines Drittanbieters erforderlich

Das Ausführen fortschrittlicher LLMs wie Metas Llama 3.1 auf Ihrem Mac-, Windows- oder Linux-System bietet Ihnen Datenschutz, Anpassung und Kosteneinsparungen. So machen Sie es.

Mit den rasanten Fortschritten in der künstlichen Intelligenz (KI) wird die lokale Ausführung anspruchsvoller Modelle wie Metas Llama 3.1 auf PCs immer beliebter. Das Ausführen eines LLM auf Ihrem lokalen PC oder Mac bietet eine Sandbox zum Experimentieren und Entwickeln, ohne den Datenschutz zu beeinträchtigen, und ermöglicht mehr Flexibilität bei der Modellnutzung.

Hier ist eine Kurzanleitung, die Ihnen beim Einrichten und Ausführen von Llama 3.1 - sowie vielen anderen Modellen wie Google Gemma2 - auf Mac, Linux und Windows hilft. Ich werde auch die Vorteile privat gehosteter Modelle besprechen.

Warum verschiedene Open-Source-Modelle entwickeln und testen?

Llama 3.1 8b läuft auf Ollama/Open WebUI

Das Entwickeln und Testen anhand verschiedener Open-Source-Modelle, die Sie privat hosten und ausführen, bietet mehrere Vorteile gegenüber der ausschließlichen Verwendung öffentlich gehosteter großer Sprachmodelle (LLMs) von Anbietern wie OpenAI, Microsoft CoPilot, Meta AI und Google Gemini.

Datenschutz: Öffentlich gehostete LLMs erfordern die Übermittlung von Daten über das Internet, was zu Datenschutz- und Sicherheitsbedenken führen kann. Durch die lokale Ausführung von Modellen wird sichergestellt, dass vertrauliche Daten auf Ihrer eigenen Hardware verbleiben.

Anpassung: Open-Source-Modelle ermöglichen eine stärkere Anpassung. Entwickler können Modelle verfeinern, Hyperparameter anpassen und die Architektur modifizieren, um sie besser an bestimmte Anwendungsfälle anzupassen.

Kostenkontrolle: Cloudbasierte KI-Dienste können kostspielig sein, insbesondere bei umfangreichen Anwendungen. Lokale Hosting-Modelle können die laufende API-Nutzung und die Datenübertragungskosten erheblich reduzieren.

Offline-Fähigkeit: Lokale Modelle können ohne Internetverbindung verwendet werden, was für Anwendungen, die eine hohe Verfügbarkeit erfordern, oder in Gebieten mit unzuverlässigem Internetzugang unerlässlich ist.

Flexibilität und Experimentierfreudigkeit: Durch das Hosten Ihrer eigenen Modelle können Sie mit verschiedenen Algorithmen und Konfigurationen experimentieren, was zu innovativen Lösungen und einem tieferen Verständnis der KI-Technologien führt.

Freiheit von Nutzungsrichtlinien: Die lokale Ausführung von LLMs bedeutet, dass Sie durch die Nutzungsrichtlinien von Unternehmen wie OpenAI, Microsoft, Meta und Google nicht eingeschränkt werden. Sie können beliebige Eingabeaufforderungen verwenden und modifizierte LLMs mit aufgehobenen Einschränkungen verwenden, die auf Daten trainiert sind, die diese Dienste möglicherweise einschränken.

Einführung in Ollama

Ollama ist eine vielseitige und vom MIT lizenzierte Open-Source-Plattform, die Entwicklern und Forschern dabei helfen soll, Modelle für maschinelles Lernen einfach lokal auf ihrer eigenen Hardware auszuführen und zu verwalten. Es wurde von einem Team aus KI-Enthusiasten und Ingenieuren entwickelt, deren Ziel es ist, Tools bereitzustellen, die Datenschutz, Flexibilität und Kontrolle über KI-Anwendungen gewährleisten. Ollama unterstützt verschiedene KI-Modelle und ist damit eine wertvolle Ressource für diejenigen, die KI-Technologien erkunden und nutzen möchten, ohne auf Cloud-Dienste Dritter angewiesen zu sein.

Hier sind einige Beispielmodelle, die heruntergeladen werden können:

Laut Ollamas GitHub-Seite sollten Sie mindestens 8 GB RAM für die Ausführung der 7B-Modelle, 16 GB für die Ausführung der 13B-Modelle und 32 GB für die Ausführung der 33B-Modelle zur Verfügung haben.

Unsere Testsysteme

Ich habe Ollama mit M1 Pro- und M1 Ultra-Macs mit 32 GB und 64 GB RAM getestet, die ein paar Generationen hinter den aktuellen MacBook Pro-Modellen zurückliegen. Trotzdem haben wir mithilfe reiner CPU-Unterstützung erfolgreich 8B-10B-Parametermodelle von Metas Llama 3.1 und Googles Gemma2 sowie verschiedene speziell trainierte Varianten von Ollamas Website mit einer überdurchschnittlichen Leistung ausgeführt.

Bei der Verwendung dieser Systeme traten jedoch erhebliche Leistungsprobleme mit der 70B-Parametervariante auf. Ich bin zuversichtlich, dass neuere Hardware mit diesen Modellen noch effizienter umgehen kann, insbesondere mit Linux-PCs, die mit Nvidia- und AMD-GPUs ausgestattet sind.

Schritt-für-Schritt-Einrichtung

Laden Sie Ollama herunter und installieren Sie es

• Gehen Sie zur Download-Seite von Ollama und laden Sie das für Ihr Betriebssystem (MacOS, Linux, Windows) geeignete Installationsprogramm herunter.
• Befolgen Sie die bereitgestellten Installationsanweisungen für Ihr spezifisches Betriebssystem.

Laden Sie das 8B-Parameter-Llama-3.1-Modell

Die Ollama-Befehlszeilenschnittstelle mit Chat-Funktionalität.

• Gehen Sie zur Llama 3.1-Bibliotheksseite auf Ollama und kopieren Sie den Befehl zum Laden des 8B Llama 3.1-Modells: ollama run llama3.1:8b
• Öffnen Sie ein Terminal (MacOS, Linux) oder eine Eingabeaufforderung/PowerShell (Windows), fügen Sie den obigen Befehl ein und drücken Sie die Eingabetaste.
• Dieser Befehl startet die Ausführung von Llama 3.1. Im Terminal können Sie dann Chat-Anfragen an das Modell stellen, um dessen Funktionalität zu testen.

Verwalten Sie installierte Modelle

• Modelle auflisten: Verwenden Sie den Befehl ollama list, um alle auf Ihrem System installierten Modelle anzuzeigen.
• Modelle entfernen: Um ein Modell zu entfernen, verwenden Sie den Befehl ollama rm . Um beispielsweise den 8B-Parameter Llama 3.1 zu entfernen, würden Sie ollama rm llama3.1:8b verwenden
• Neue Modelle hinzufügen: Um ein neues Modell hinzuzufügen, durchsuchen Sie die Ollama-Bibliothek und verwenden Sie dann den entsprechenden Befehl ollama run , um es in Ihr System zu laden.

Hinzufügen einer WebUI

Installieren Sie Docker Desktop

• Besuchen Sie die Seite „Erste Schritte“ von Docker und laden Sie Docker Desktop für Ihr Betriebssystem (MacOS, Linux, Windows) herunter.
• Befolgen Sie die Installationsanweisungen für Ihr spezifisches Betriebssystem und starten Sie Docker nach der Installation.

Installieren Sie Open WebUI

Öffnen Sie ein Terminal (MacOS, Linux) oder eine Eingabeaufforderung/PowerShell (Windows) und führen Sie den folgenden Befehl aus, um Open WebUI zu installieren:
docker run -d -p 3000:8080 --add-host=host.docker .internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart Always ghcr.io/open-webui/open-webui:main

Greifen Sie auf die Open WebUI zu

Öffnen Sie die WebUI, die auf Docker Desktop ausgeführt wird

• Öffnen Sie Docker Desktop und gehen Sie zum Dashboard.
• Suchen Sie den Container „WebUI öffnen“ und klicken Sie auf den Link unter „Port“, um die WebUI in Ihrem Browser zu öffnen.

Erstellen Sie Ihr Open WebUI-Konto und melden Sie sich an

Auswählen eines Modells in Open WebUI

• Wenn Sie noch kein Open WebUI-Konto haben, erstellen Sie eines.
• Melden Sie sich über die WebUI bei Ihrem Konto an.

Integration mit IDEs und APIs

Ollama kann mithilfe von APIs in verschiedene integrierte Entwicklungsumgebungen (IDEs) integriert werden, was den Entwicklungsworkflow durch eine nahtlose Interaktion mit KI-Modellen verbessert. Ein leistungsstarkes Tool für diese Integration ist Continue, ein Open-Source-Code-Assistent, der die Ollama-API nutzt.

Verwenden Sie Continue für die IDE-Integration

• Stellen Sie sicher, dass Ollama läuft und zugänglich ist.
• Befolgen Sie die Anweisungen im Ollama Continue-Blog, um Continue in Ihrer bevorzugten IDE zu installieren.
• Mit Continue und der Ollama-API können Sie KI-gestützte Funktionen wie Codevorschläge, Vervollständigungen und Debugging-Unterstützung direkt in Ihrer Entwicklungsumgebung nutzen.

Skalieren Sie mit leistungsstarken GPUs

Für anspruchsvollere Anwendungen, insbesondere solche, die größere Modelle wie die Llama 3.1-Modelle mit den Parametern 70B und 405B erfordern, wird die Ausführung von Ollama auf einem Linux-basierten System mit leistungsstarken GPUs empfohlen. Dieses Setup kann die Rechenlast bewältigen und schnellere Reaktionszeiten bieten, wodurch es für KI-Anwendungen auf Unternehmensebene geeignet ist.

Gehen Sie folgendermaßen vor, um GPUs zum Ausführen von Ollama zu verwenden:

Für NVIDIA-GPUs:

• Befolgen Sie die Anweisungen in der NVIDIA CUDA-Dokumentation, um CUDA und cuDNN auf Ihrem System zu installieren.
• Stellen Sie nach der Installation von CUDA und cuDNN sicher, dass Ihre Umgebung richtig konfiguriert ist, und führen Sie dann den folgenden Befehl aus:
  ollama run llama3.1:70b --use-gpu
  

Für AMD-GPUs:

• Befolgen Sie die Anweisungen in der ROCm-Dokumentation, um ROCm auf Ihrem System zu installieren.
• Stellen Sie nach der Installation von ROCm sicher, dass Ihre Umgebung korrekt konfiguriert ist, und führen Sie dann den folgenden Befehl aus:
  ollama run llama3.1:70b --use-gpu
  

Diese Befehle stellen sicher, dass Ollama die verfügbaren GPUs auf Ihrem System nutzen kann und so die erforderliche Rechenleistung für die Ausführung großer Modelle bereitstellt. Ausführlichere Anweisungen finden Sie in der Ollama GPU-Dokumentation.

Ollama in einem Docker-Container ausführen

Sie können weiterhin die GPU-Unterstützung nutzen, wenn Sie Ollama lieber in einem Container ausführen möchten. Bitte beachten Sie, dass diese Anweisungen vorerst nur für Linux gelten.

Für NVIDIA-GPUs mit Docker

• Installieren Sie CUDA und cuDNN wie im vorherigen Abschnitt beschrieben auf Ihrem System. Befolgen Sie dann die Anweisungen in der NVIDIA Docker-Dokumentation, um die NVIDIA Container Engine auf Ihrem System zu installieren.
• Verwenden Sie den folgenden Befehl, um Ollama mit NVIDIA-GPU-Unterstützung in einem Docker-Container auszuführen:
  docker run --gpus all -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v ollama:/app/backend/data --name ollama --restart immer ollama/ollama:latest
  

Für AMD-GPUs mit Docker

• Befolgen Sie die Anweisungen in der ROCm-Dokumentation, um ROCm auf Ihrem System zu installieren.
• Verwenden Sie den folgenden Befehl, um Ollama mit ROCm-Unterstützung in einem Docker-Container auszuführen:
  docker run -d --device /dev/kfd --device /dev/dri -v olama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama:rocm
  

Diese Befehle stellen sicher, dass der Docker-Container auf alle verfügbaren GPUs auf Ihrem System zugreifen kann und so die erforderliche Rechenleistung für die Ausführung großer Modelle bereitstellt. Weitere Informationen zur Verwendung von GPUs mit Docker und Ollama finden Sie auf der Docker-Seite zur Verwendung von GPUs mit Ollama.

Abschluss

Das lokale Ausführen von KI-Modellen wie Metas Llama 3.1 auf Ihrem Mac oder PC bietet zahlreiche Vorteile, darunter verbesserten Datenschutz, größere Anpassungsmöglichkeiten und Kosteneinsparungen. Wenn Sie die Schritte in diesem Leitfaden befolgen, können Sie erweiterte KI-Modelle nutzen und verschiedene Konfigurationen testen, um Ihre Anforderungen zu erfüllen. Unabhängig davon, ob Sie Entwickler, Forscher oder KI-Enthusiast sind, eröffnet Ihnen die Möglichkeit, komplexe Modelle lokal auszuführen, viele Möglichkeiten.