Warten Sie auf eine Verbesserung von ChatGPT? Möglicherweise warten Sie eine Weile, hier ist der Grund dafür

Zusammenfassung

• Der Veröffentlichungsrhythmus von ChatGPT verlangsamt sich und geht in Richtung jährlicher Updates.
• Transformatorentechnologie und sinkende Erträge führen zu einer Verlangsamung der LLM-Entwicklung.
• Ein Mangel an Trainingsdaten und unsichere Gewinnmodelle stellen die Zukunft von KI-Projekten wie ChatGPT vor Herausforderungen.

ChatGPT hat die Art und Weise, wie viele Menschen auf der ganzen Welt leben und arbeiten, verändert, aber diejenigen, die ein scharfes Auge auf den Modellrhythmus haben, haben bemerkt, dass er in letzter Zeit langsamer geworden ist. Was ist mit der LLM-Entwicklung los und steuern wir im Jahr 2025 und darüber hinaus auf ein dunkles KI-Zeitalter zu?

ChatGPT: Eine Zeitleiste

Als OpenAI im November 2022 sein erstes öffentliches Modell, ChatGPT 3.5, auf den Markt brachte, eroberte es die Such- und KI-Branche im Sturm. Bis zur Einführung von Meta Threads im Jahr 2023 war ChatGPT die am schnellsten wachsende Anwendung aller Zeiten und fügte in weniger als drei Monaten 100 Millionen Benutzer hinzu.

Seitdem ist das Unternehmen von einem etwa sechsmonatigen Rhythmus zwischen neuen Modellen zu einer verstärkten jährlichen Aktualisierung übergegangen. Während zwischen der Einführung von ChatGPT 3.5 und ChatGPT 4.0 nur fünf Monate lagen, dauerte es von März 2023 bis Dezember 2024, bis ChatGPT o1 danach veröffentlicht wurde.

Da für o3 kein fester Starttermin bekannt ist, lässt sich nicht wirklich sagen, wann wir das nächste große Modell von OpenAI sehen werden. Einige frühe Tester haben die Beta bereits in die Hände bekommen, aber das gibt keinen großen Hinweis darauf, wann wir mit der nächsten Entwicklung von LLMs auf öffentlichen PCs rechnen können. Was sind also einige der Gründe dafür, dass sich die LLM-Entwicklung zu verlangsamen beginnt, und werden sich die Investitionen der Technologiewelt am Ende auszahlen?

Autobots, Roll-out

Transformatoren sind die grundlegende Technologie, die ab etwa 2017 (in Ermangelung eines besseren Begriffs) erstmals die KI-Branche verändert hat. Durch die Nutzung der CUDA-Architektur in GPUs als vollständige Rechenplattform und nicht nur für die Bildwiedergabe sind Transformatoren in der Lage, selbst die meisten zu verwandeln einfache Grafikkarten in KI-freundliche Prozessoren umzuwandeln.

Doch während viele der frühesten Modelle großer Sprachmodelle (LLMs) und ihre kleineren Token-Eingaben größere Vorteile aus der CUDA-Architektur ziehen konnten, sind in letzter Zeit sinkende Erträge zu verzeichnen. Wie eine beschleunigte Version des Mooreschen Gesetzes - das zugegebenermaßen eine drastische Vereinfachung der Technologie im Dienste der Kürze darstellt - haben GPUs trotz gestiegener Investitionen in Transistordichte und VRAM-Spezifikationen von Jahr zu Jahr begonnen, ihren Höhepunkt in der KI-Leistung zu erreichen.

Sogar Nvidias Keynote auf der CES in diesem Jahr stieß auf verhaltene Reaktionen, da klar wurde, dass wir bereits die „evolutionäre“ Phase der KI-Hardware erreicht haben und nicht die „revolutionären“ Sprünge, die einige angesichts der Entwicklung der letzten Jahre erwartet hatten.

Wir sind noch nicht so nah dran, GPU-basierte KI-Hardware an ihre theoretische physikalische Grenze zu bringen, wie wir es bei einigen klassischen CPUs sind. (Hinweis: Dies schließt neuere 3D-basierte Ansätze nicht ein.) Die großen Zuwächse, die wir in den letzten fünf Jahren bei GPUs und der Unterstützung von Transformer-Architekturen gesehen haben, verlangsamen sich jedoch langsam und nicht mehr so schnell wie manche in der Branche hofften zwischen den 1980er- und frühen 2000er-Jahren auf ein a'la klassisches Computing.

Den Boden des Fasses abkratzen

Eine weitere große Hürde, mit der viele LLM-Unternehmen derzeit konfrontiert sind, darunter auch OpenAI mit ChatGPT, ist der Mangel an Trainingsdaten. Da jedes von FAANG unterstützte LLM (Gemini, Claude und ChatGPT) bereits aufgesaugt und trainiert hat, was praktisch als die Gesamtheit der im offenen Web verfügbaren öffentlichen Informationen angesehen werden könnte, stoßen Unternehmen auf eine Mauer aus Input-to-Output kehrt zurück.

Da nicht mehr viele neue Daten übrig sind, um die nächste Generation von Modellen zu trainieren, haben sich einige Entwickler dem sogenannten „rekursiven“ Trainingsmodell zugewandt. In diesen Fällen wird KI verwendet, um KI zu trainieren, aber die Ergebnisse sind bestenfalls gemischt. Während einfachere Konzepte und Aufgaben rekursiv trainiert werden können, ist es ein Problem der Halluzination, bessere Ergebnisse zu erzielen als mit KI, die auf menschliche Ergebnisse trainiert wurde. Wenn Sie vorher dachten, dass KIs halluzinieren könnten, versuchen Sie, eine KI einer KI zuzuführen und sehen Sie, welche Art von Ausgaben zurückkommen. Kurz gesagt, ein nicht unerheblicher Teil davon wird vor Ort nachgeholt.

Wer bezahlt die Rechnung?

Der Wettlauf um die Vorherrschaft in den Bereichen KI und LLM hat zu einem riesigen Feuer an Geld geführt, das in die Branche geflossen ist und sich laut einer aktuellen Analyse von Goldman Sachs in den nächsten Jahren auf über 1 Billion US-Dollar belaufen wird. Doch selbst mit all dem Bargeld auf Abruf sind die Kosten für Schulung und Wartung gesunken, und ein LLM wie ChatGPT ist immer noch auf der Suche nach einem Gewinnkanal, um das Licht am Laufen zu halten.

Die Schulung, der Betrieb und die Pull-Requests von LLMs kosten erheblich mehr als Ihre Standard-Google-Suche. Einige Schätzungen gehen davon aus, dass eine ChatGPT-Anfrage das Zehnfache des Rechen- und Leistungsbedarfs einer Google-Anfrage verbrauchen könnte, obwohl die tatsächlichen Zahlen von OpenAI ein gut gehütetes Geheimnis sind. Bis vor Kurzem wandten sich alle großen FAANG-Akteure an KI mit dem Standard-Handbuch: „1. Setzen Sie mehr VC-Geld ein als Ihre Konkurrenten. 2. Erobern Sie den größtmöglichen Marktanteil. 3. ??? 4. Gewinnen Sie.“

Doch die Welt der KI ist alles andere als Standard. Da die Rechenkosten nicht zufällig parallel zum Aktienkurs von Nvidia in die Höhe geschossen sind, scheint das tatsächliche Gewinnmodell zur Deckung dieser Kosten bestenfalls unklar zu sein.

ChatGPT berechnet 20 US-Dollar pro Monat für den Zugriff auf seine fortschrittlichsten und neuesten Modelle. Aber trotz seiner 11 Millionen zahlenden Abonnenten erwägt OpenAI laut einem Bericht von The Information, in dem der COO von OpenAI zitiert wird, immer noch neue Abonnementstufen für fortgeschrittenere LLMs, die je nach Leistungsfähigkeit bis zu 2.000 US-Dollar pro Monat betragen könnten.

Dieses Problem wird durch sinkende Ergebnisrenditen noch verschärft. Da viele Leute zu dem Schluss kommen, dass kostenlose Modelle wie ChatGPT 4o „gut genug“ für das sind, was sie brauchen - „genug“ ist natürlich eine subjektive Erfahrung für jeden Benutzer und seinen Anwendungsfall -, verliert das Verkaufsargument eines monatlichen Abonnements seinen Wert. Diese Angst vor potenziellem Kapitalverlust hat zu einer Verlangsamung der KI-Investitionen im Vergleich zu den Vorjahren geführt, was zu einer Verlangsamung der Entwicklungsleistung in Form von Sachleistungen führt.

Wann macht ChatGPT seinen nächsten Sprung?

Während sich ChatGPT auf die Einführung seines o3-Modells vorbereitet, gehen Branchenanalysten davon aus, dass es sich möglicherweise um die einzige neue öffentliche Veröffentlichung handelt, die wir im gesamten Jahr 2025 von OpenAI sehen werden. Viele sind froh, wenn sich das Gegenteil beweisen lässt, aber angesichts der oben genannten Probleme sieht es gut aus von Tag zu Tag wahrscheinlicher.

Aber ist das letztendlich so eine schlechte Sache? Wie die Bestenliste bei Chatbot Arena zeigt, haben Modelliterationen, die zuvor nur Monate brauchten, um Hunderte von Punkten zwischen den Veröffentlichungen zu überspringen, in über einem Jahr kaum mehr als ein paar Dutzend erreicht. Wir erreichen den Höhepunkt dessen, wozu LLMs selbst in ihren leistungsstärksten Umgebungen fähig sind, und während skalierte Unternehmensanwendungen immer noch reif für die Auswahl sind, scheint das, was ein LLM für einen durchschnittlichen Benutzer tun kann, langsam an seine theoretische Grenze zu stoßen.

Wann erhalten Sie also die nächste Version von ChatGPT? Nur die Zeit wird es zeigen. Aber während wir warten, sind Modelle wie ChatGPT o1 und 4o immer noch sehr leistungsstark, um eine nach Gängen sortierte Einkaufsliste zu erstellen und Ihnen dabei zu helfen, sich daran zu erinnern, in welchem Buch Sie ein bestimmtes Zitat gelesen haben oder wofür Sie Ihren Lieblings-Chatbot am liebsten verwenden oft.