KI-Wissenschaftler: „Wir müssen über den Tellerrand der großen Sprachmodelle hinausdenken“

Yoav Shoham, Mitbegründer von AI21 Labs, sagt, dass etwas Besonderes erforderlich ist, um eine bessere und intelligentere generative künstliche Intelligenz aufzubauen.

Entwickler generativer künstlicher Intelligenz (Gen AI) erweitern kontinuierlich die Grenzen des Möglichen, wie beispielsweise Gemini 1.5 von Google, das eine Million Informationstokens gleichzeitig aufnehmen kann.

Dennoch reicht selbst dieser Entwicklungsstand nicht aus, um echte Fortschritte in der KI zu erzielen, sagen Konkurrenten, die auf Augenhöhe mit Google stehen. „Wir müssen über den LLM-Rahmen hinausdenken“, sagte Yoav Shoham, Mitbegründer und Co-CEO von AI21 Labs, in einem Interview mit ZDNET.

AI21 Labs, ein privat finanziertes Startup, konkurriert mit Google bei LLMs, den großen Sprachmodellen, die das Fundament der Gen AI bilden. Shoham, der einst leitender Wissenschaftler bei Google war, ist auch emeritierter Professor an der Stanford University.

„Sie sind großartig in der Leistung, die sie liefern, aber sie verstehen nicht wirklich, was sie tun“, sagte er über LLMs. „Ich denke, dass selbst die eingefleischtesten Neuronalen-Netz-Leute nicht glauben, dass man nur ein größeres Sprachmodell erstellen kann, und sie werden alles lösen.“

Forscher von AI21 Labs heben grundlegende Fehler von OpenAIs GPT-3 als Beispiel dafür hervor, wie Modelle bei grundlegenden Fragen stolpern. Die Antwort, so argumentiert das Startup, bestehe darin, LLMs um etwas anderes zu erweitern, beispielsweise um Module, die konsistent funktionieren können.

Das Startup von Shoham hat neuartige Gen-KI-Ansätze entwickelt, die über den traditionellen „Transformer“, das Kernelement der meisten LLMs, hinausgehen. Beispielsweise stellte AI21 Labs im April ein Modell namens Jamba vor, eine faszinierende Kombination von Transformatoren mit einem zweiten neuronalen Netzwerk namens State Space Model (SSM).

Diese Mischung hat es Jamba ermöglicht, andere KI-Modelle in wichtigen Kennzahlen zu übertreffen. Shoham bat ZDNET um eine ausführliche Erklärung einer wichtigen Metrik: der Kontextlänge.

Die Kontextlänge ist die Menge an Eingaben - in Tokens, normalerweise Wörtern -, die ein Programm verarbeiten kann. Metas Llama 3.1 unterstützt bis zu 128.000 Token in seinem Kontextfenster. Jamba von AI21 Labs, ebenfalls eine Open-Source-Software, hat die doppelte Zahl - ein Kontextfenster mit 256.000 Token.

Schoham. „Selbst die eingefleischtesten Neuronalnetz-Leute glauben nicht, dass man nur ein größeres Sprachmodell erstellen kann, und sie werden alles lösen.“

In direkten Vergleichstests unter Verwendung eines von Nvidia erstellten Benchmark-Tests sagte Shoham, dass das Jamba-Modell außer Gemini das einzige Modell sei, das dieses 256-KB-Kontextfenster „in der Praxis“ beibehalten könne. Die Kontextlänge kann als eine Sache beworben werden, kann jedoch auseinanderfallen, da ein Modell mit zunehmender Kontextlänge schlechter abschneidet.

„Wir sind die Einzigen mit der Wahrheit in der Werbung“, was die Kontextlänge angeht, sagte Shoham. „Alle anderen Modelle verschlechtern sich mit zunehmender Kontextlänge.“

Googles Gemini könne nicht über 128 KB hinaus getestet werden, sagte Shoham angesichts der von Google der Gemini-Anwendungsprogrammierschnittstelle auferlegten Grenzen. „Sie haben tatsächlich ein gutes effektives Kontextfenster, zumindest bei 128K“, sagte er.

Jamba sei bei gleichem 128K-Fenster wirtschaftlicher als Gemini, sagte Shoham. „Sie sind etwa zehnmal teurer als wir“, sagte er im Hinblick auf die Kosten für die Bereitstellung von Vorhersagen von Gemini versus Jamba, der Praxis der Schlussfolgerung.

All dies, betonte Shoham, ist ein Produkt der „architektonischen“ Entscheidung, etwas anderes zu machen und einen Transformator mit einem SSM zu verbinden. „Man kann dem Modell genau zeigen, wie viele [API-]Aufrufe getätigt werden“, sagte er gegenüber ZDNET. „Es sind nicht nur die Kosten und die Latenz, es liegt in der Architektur.“

Shoham hat die Ergebnisse in einem Blogbeitrag beschrieben.

Dieser Fortschritt spielt jedoch keine Rolle, es sei denn, Jamba kann etwas Besseres leisten. Die Vorteile eines großen Kontextfensters werden laut Shoham deutlich, wenn die Welt sich Dingen wie Retrieval-Augmented Generation (RAG) zuwendet, einem immer beliebter werdenden Ansatz zur Anbindung eines LLM an eine externe Informationsquelle, beispielsweise eine Datenbank.

Ein großes Kontextfenster ermöglicht es dem LLM, weitere Informationen aus der RAG-Quelle abzurufen und zu sortieren, um die Antwort zu finden.

„Letztendlich sollten Sie so viel wie möglich [aus der Datenbank] abrufen, aber nicht zu viel“, sei der richtige Ansatz für RAG, sagte Shoham. „Jetzt können Sie mehr als zuvor abrufen, wenn Sie ein langes Kontextfenster haben, und jetzt verfügt das Sprachmodell über mehr Informationen, mit denen es arbeiten kann.“

Auf die Frage, ob es ein praktisches Beispiel für diese Bemühungen gebe, sagte Shoham gegenüber ZDNET: „Es ist noch zu früh, um ein laufendes System zu zeigen. Ich kann Ihnen sagen, dass wir mehrere Kunden haben, die mit den RAG-Lösungen frustriert waren und jetzt mit uns zusammenarbeiten.“ Und ich bin ziemlich sicher, dass wir die Ergebnisse öffentlich zeigen können, aber es ist noch nicht lange genug draußen.“

Jamba, das seit seiner Veröffentlichung auf HuggingFace 180.000 Downloads verzeichnete, ist über den Bedrock-Inferenzdienst von Amazon AWS und Microsoft Azure verfügbar, und „die Leute machen interessante Dinge damit“, sagte Shoham.

Allerdings ist selbst ein verbessertes RAG letztendlich nicht die Rettung für die verschiedenen Mängel der Gen-KI, von Halluzinationen bis hin zum Risiko, dass Generationen der Technologie in Unsinn versinken.

„Ich denke, wir werden Leute sehen, die mehr fordern, fordern, dass Systeme nicht lächerlich sind und etwas haben, das nach echtem Verständnis aussieht und nahezu perfekte Antworten hat“, sagte Shoham, „und das werden keine reinen LLMs sein.“

In einem letzten Monat auf dem Pre-Print-Server arXiv veröffentlichten Artikel mit dem Mitarbeiter Kevin Leyton-Brown mit dem Titel „Understanding Understanding: A Pragmatic Framework Motivated by Large Language Models“ demonstrierte Shoham, wie dies anhand zahlreicher Operationen wie Mathematik und Manipulation von Tabellendaten lieferten LLMs „überzeugend klingende Erklärungen, die das metaphorische Papier, auf dem sie geschrieben sind, nicht wert sind.“

„Wir haben gezeigt, wie naiv das Anschließen eines LLM an eine Tabelle diese Tabellenfunktion in 70 % oder 80 % der Fälle zum Erfolg führt“, sagte Shoham gegenüber ZDNET. „Das ist oft sehr erfreulich, weil man etwas umsonst bekommt, aber wenn es sich um geschäftskritische Arbeit handelt, kann man das nicht machen.“

Solche Mängel, sagte Shoham, bedeuten, dass „der gesamte Ansatz zur Schaffung von Intelligenz besagt, dass LLMs eine Rolle spielen, aber sie sind Teil eines größeren KI-Systems, das Dinge auf den Tisch bringt, die man mit LLMs nicht machen kann.“

Zu den Dingen, die erforderlich sind, um über LLMs hinauszugehen, gehören die verschiedenen Tools, die in den letzten Jahren entstanden sind, sagte Shoham. Elemente wie Funktionsaufrufe ermöglichen es einem LLM, eine Aufgabe an eine andere Art von Software zu übergeben, die speziell für eine bestimmte Aufgabe entwickelt wurde.

„Wenn Sie Additionen durchführen möchten, können Sprachmodelle Additionen ausführen, aber sie leisten schreckliche Ergebnisse“, sagte Shoham. „Hewlett-Packard gab uns 1970 einen Taschenrechner. Warum sollte man dieses Rad neu erfinden? Das ist ein Beispiel für ein Werkzeug.“

Die Verwendung von LLMs mit Werkzeugen wird von Shoham und anderen grob unter der Rubrik „zusammengesetzte KI-Systeme“ zusammengefasst. Mit Hilfe des Datenverwaltungsunternehmens Databricks organisierte Shoham kürzlich einen Workshop über Perspektiven für den Aufbau solcher Systeme.

Ein Beispiel für den Einsatz solcher Tools sei die Präsentation der „semantischen Struktur“ tabellenbasierter Daten für LLMs, sagte Shoham. „Jetzt erreicht man mit dem LLM eine nahezu hundertprozentige Genauigkeit“, sagte er, „und das würde man nicht erreichen, wenn man einfach ein Sprachmodell ohne zusätzliche Dinge verwenden würde.“

Über die Tools hinaus plädiert Shoham für die wissenschaftliche Erforschung anderer Richtungen außerhalb des reinen Deep-Learning-Ansatzes, der die KI seit über einem Jahrzehnt dominiert. „Man wird keine belastbaren Argumente erhalten, wenn man nur auf das Beste hofft“, sagte Shoham und bezog sich dabei auf Back-Propagation, die Lernregel, nach der die meisten heutigen KIs trainiert werden.

Shoham achtete darauf, die nächsten Produktinitiativen nicht zu diskutieren, deutete jedoch an, dass das, was möglicherweise benötigt wird, - zumindest philosophisch - in einem System dargestellt wird, das er und seine Kollegen 2022 eingeführt haben und das MRKL-System (Modular Reasoning, Knowledge, and Language) genannt wird .

Das Papier beschreibt das MRKL-System sowohl als „neural, einschließlich des universellen riesigen Sprachmodells sowie anderer kleinerer, spezialisierter LMs“ als auch als „symbolisch, zum Beispiel ein mathematischer Rechner, ein Währungsumrechner oder ein API-Aufruf“. zu einer Datenbank.“

Diese Breite ist ein neurosymbolischer Ansatz für KI. In dieser Hinsicht stimmt Shoham mit einigen prominenten Denkern überein, die Bedenken hinsichtlich der Dominanz der Generation AI haben. Der häufige KI-Kritiker Gary Marcus hat beispielsweise gesagt, dass KI ohne die Fähigkeit zur Symbolmanipulation niemals die menschliche Intelligenz erreichen wird.

MRKL wurde als Programm namens Jurassic-X implementiert, das das Startup mit seinen Partnern getestet hat.

Ein MRKL-System sollte in der Lage sein, das LLM zu verwenden, um Probleme zu analysieren, die knifflige Formulierungen beinhalten, wie zum Beispiel „99 Flaschen Bier an der Wand. Eine ist heruntergefallen. Wie viele Flaschen Bier stehen an der Wand?“ Die eigentliche Arithmetik übernimmt ein zweites neuronales Netz mit Zugriff auf die arithmetische Logik, wobei die vom ersten Modell aus dem Text extrahierten Argumente verwendet werden.

Ein „Router“ zwischen den beiden hat die schwierige Aufgabe, auszuwählen, welche Dinge aus dem vom LLM analysierten Text extrahiert werden sollen, und auszuwählen, an welches „Modul“ die Ergebnisse weitergeleitet werden sollen, um die Logik auszuführen.

Diese Arbeit bedeute, dass „es kein kostenloses Mittagessen gibt, aber dass das Mittagessen in vielen Fällen erschwinglich ist“, schrieb Shohams Team.

Aus Produkt- und Geschäftssicht „möchten wir den Leuten weiterhin zusätzliche Funktionalitäten zum Bauen von Dingen bieten“, sagte Shoham.

Der wichtige Punkt sei, dass ein System wie MRKL nicht alles tun müsse, um praktisch zu sein, sagte er. „Wenn man versucht, ein universelles LLM aufzubauen, das mathematische Probleme versteht und weiß, wie man Bilder von Eseln auf dem Mond erzeugt und wie man Gedichte schreibt und all das tut, kann das teuer werden“, bemerkte er. „Aber 80 % der Daten im Unternehmen sind Text - es gibt Tabellen, es gibt Diagramme, aber Esel auf dem Mond sind im Unternehmen nicht so wichtig.“

Besteht angesichts Shohams Skepsis gegenüber LLMs allein die Gefahr, dass die heutige Gen-KI einen sogenannten KI-Winter auslösen könnte (einen plötzlichen Aktivitätseinbruch, da Interesse und Finanzierung völlig versiegen)?

„Das ist eine berechtigte Frage, und ich kenne die Antwort nicht wirklich“, sagte er. „Ich denke, dieses Mal ist es anders, da in den 1980er Jahren, im letzten KI-Winter, „nicht genug Wert durch KI geschaffen wurde, um den unbegründeten Hype auszugleichen. Es gibt jetzt eindeutig einen unbegründeten Hype, aber ich verstehe das.“ ist, dass genug Wert geschaffen wurde, um uns durchzuhalten.“