Mit der neuen Infini-Attention-Technik von Google können Sie unendlich viel Text in LLMs eingeben
Die Technik könnte den Weg für besonders faszinierende KI-Implementierungen ebnen.
Heutige große Sprachmodelle (LLMs) haben Grenzen hinsichtlich der Menge an Informationen, die Sie eingeben können, bevor sie ein Ergebnis liefern. Google hat eine Möglichkeit vorgestellt, dies zu ändern: eine Methode, die es LLMs ermöglicht, unendlich viel Text zu akzeptieren. Die Infini-Attention genannte Technik funktioniert ohne Einbußen bei Speicher und Rechenleistung und sorgt so für ein effizienteres - und potenziell wirkungsvolleres - LLM-Ergebnis.
„Ein effektives Gedächtnissystem ist nicht nur für das Verständnis langer Zusammenhänge mit LLMs von entscheidender Bedeutung, sondern auch für das Denken, Planen, die kontinuierliche Anpassung an neues Wissen und sogar für das Erlernen des Lernens“, schreiben die Autoren in einem ihrer Ankündigung beigefügten Forschungspapier.
Kontextfenster spielen eine zentrale Rolle bei der Funktionsweise von LLMs, und zum jetzigen Zeitpunkt verfügen alle gängigen KI-Modelle, einschließlich GPT-4 von OpenAI und Claude 3 von Anthropic, über ein endliches Kontextfenster. Claude 3 ermöglicht beispielsweise bis zu 200.000 Token oder alphanumerische Zeichen in einer einzigen Abfrage. Das Kontextfenster von GPT-4 ermöglicht 128.000 Token.
Das Kontextfenster ist für LLMs von großer Bedeutung. Je mehr Token im Kontextfenster zulässig sind, desto mehr Daten können Benutzer eingeben, um das gewünschte Ergebnis zu erzielen. LLM-Ersteller versuchen daher, die Anzahl der Token mit jeder neuen Iteration zu erhöhen, um ihre Modelle beim Lernen, Verstehen und Liefern von Ergebnissen effektiver zu machen.
Um dies zu erreichen, müssen Technologieunternehmen jedoch den Speicher- und Rechenanforderungen Rechnung tragen. Mit jeder Verdoppelung des Kontextfensters eines LLM steigen der Speicher- und Rechenbedarf um den Faktor vier, schreiben die Google-Forscher. Jede Erhöhung des Speichers und der Rechenleistung ist natürlich nicht nur ressourcenintensiv, sondern auch äußerst teuer.
Googles Infini-attention löst dieses Problem, indem es vorhandene Speicher- und Rechenanforderungen nutzt. Wenn die Forscher über die Grenzen der von ihnen getesteten Modelle hinaus zusätzliche Details in ein Kontextfenster eingaben, übertrugen sie alle Daten bis zur Grenze in den sogenannten „komprimierenden Speicher“ und entfernten sie aus dem aktiven Speicher, der dann für die Arbeit freigegeben wurde zusätzlichen Kontext. Sobald alle Daten eingegeben waren, konnte das Modell den komprimierenden Speicher mit allen Eingaben in seinem aktiven Speicher koppeln, um eine Antwort zu liefern. Diese Technik ermöglicht „eine natürliche Erweiterung vorhandener LLMs auf unendlich lange Kontexte durch kontinuierliches Vortraining und Feinabstimmung“, schreiben die Forscher.
Ausgestattet mit der Fähigkeit, so viel Kontext in ihre Modelle einzubauen, wie sie wollten, verglichen die Forscher ihre Infini-Aufmerksamkeitstechnik mit bestehenden LLMs und stellten fest, dass ihre Option überlegen war. „Unser Ansatz lässt sich auf natürliche Weise auf eine Million Längen von Eingabesequenzen skalieren und übertrifft gleichzeitig die Basislinien bei Benchmarking- und Buchzusammenfassungsaufgaben für die Sprachmodellierung mit langem Kontext“, schrieben die Forscher.
Die Forscher haben ihre Daten nicht geteilt oder nachgewiesen, dass ihre Methode tatsächlich besser funktioniert als bestehende Modelle. Es liegt jedoch auf der Hand, dass Modelle, die mit dieser Technik ausgestattet sind, diejenigen mit bestehenden Einschränkungen übertreffen sollten, wenn sie die Einschränkungen des Kontextfensters beseitigen können.
Die Technik von Google könnte den Weg für dramatische Verbesserungen der LLM-Leistung ebnen und es Unternehmen ermöglichen, neue Anwendungen zu erstellen, zusätzliche Erkenntnisse zu gewinnen und vieles mehr. Im Moment ist Infini-attention jedoch reine Forschung. Es ist unklar, ob die Technik in allgemein verfügbaren LLMs Einzug halten wird.