Microsoft und TikTok verleihen der generativen KI eine Art Gedächtnis
Die Programme nutzen Datenbanken, um ChatGPT bei Hunderten von Dialogrunden zu schlagen. Die Innovationen können jedem großen Sprachmodell ChatGPT-ähnliche Fähigkeiten verleihen.
Das „Self-Controlled Memory System“ des TikTok-Besitzers ByteDance kann auf eine Datenbank mit Hunderten von Dialogrunden und Tausenden von Zeichen zugreifen, um jedem Sprachmodell bessere Fähigkeiten als ChatGPT zu bieten, um Fragen zu vergangenen Ereignissen zu beantworten.
Wenn Sie Dinge in die Eingabeaufforderung eines generativen Programms für künstliche Intelligenz (KI) wie ChatGPT eingeben, gibt Ihnen das Programm eine Antwort, die nicht nur auf dem basiert, was Sie eingegeben haben, sondern auch auf allen Dingen, die Sie zuvor eingegeben haben.
Sie können sich diesen Chatverlauf als eine Art Erinnerung vorstellen. Dies reicht jedoch nicht aus, sagen Forscher mehrerer Institutionen, die versuchen, generative KI eher mit einem organisierten Gedächtnis auszustatten, das das, was sie produziert, erweitern kann.
Ein diesen Monat von der Forscherin Weizhi Wang von der University of California in Santa Barbara und Mitarbeitern von Microsoft veröffentlichter Artikel mit dem Titel „Augmenting Language Models with Long-Term Memory“, der auf dem arXiv-Preprint-Server veröffentlicht wurde, fügt der Sprache eine neue Komponente hinzu Modelle.
Das Problem besteht darin, dass ChatGPT und ähnliche Programme nicht in jedem Moment genug Text aufnehmen können, um einen sehr langen Kontext für die Dinge zu haben.
Wie Wang und sein Team bemerken, „hindert die Begrenzung der Eingabelänge bestehender LLMs, dass sie sich auf reale Szenarien übertragen lassen, bei denen die Fähigkeit, lange Informationen über eine Sitzung fester Größe hinaus zu verarbeiten, von entscheidender Bedeutung ist.“
GPT-3 von OpenAI akzeptiert beispielsweise eine maximale Eingabe von 2.000 Token, Bedeutungen, Zeichen oder Wörtern. Sie können das Programm beispielsweise nicht mit einem Artikel mit 5.000 Wörtern oder einem Roman mit 70.000 Wörtern füttern.
Es ist möglich, das Eingabefenster weiter zu erweitern, aber das führt zu einem heiklen Rechenproblem. Die Aufmerksamkeitsoperation - das wesentliche Werkzeug aller großen Sprachprogramme, einschließlich ChatGPT und GPT-4 - weist eine „quadratische“ Rechenkomplexität auf (siehe „Zeitkomplexität“ des Rechnens). Diese Komplexität bedeutet, dass die Zeit, die ChatGPT benötigt, um eine Antwort zu erstellen, mit dem Quadrat der Datenmenge zunimmt, die ihm als Eingabe zugeführt wird. Durch Erhöhen des Fensters wird die erforderliche Rechenleistung angezeigt.
Und so haben einige Wissenschaftler, so Wang und sein Team, bereits versucht, eine grobe Erinnerung zu entwickeln. Yuhuai Wu und Kollegen bei Google stellten letztes Jahr den sogenannten Memorizing Transformer vor, der eine Kopie früherer Antworten speichert, auf die er in Zukunft zurückgreifen kann. Dieser Prozess ermöglicht den gleichzeitigen Betrieb mit 65.000 Token.
Aber Wang und sein Team weisen darauf hin, dass die Daten „veralten“ können. Der Trainingsprozess des Memory Transformer führt dazu, dass einige Dinge im Speicher nicht mehr mit dem neuronalen Netzwerk synchron sind, da seine neuronalen Gewichte oder Parameter aktualisiert werden.
Die Lösung von Wang und seinem Team mit dem Namen „Language Models Augmented with Long-Term Memory“ (LongMem) verwendet ein traditionelles großes Sprachmodell, das zwei Dinge tut. Während die Eingabe überprüft wird, speichert sie einen Teil davon in der Speicherbank. Außerdem wird die Ausgabe jeder aktuellen Eingabeaufforderung an ein zweites neuronales Netzwerk, das sogenannte SideNet, weitergeleitet.
Das SideNet, das wie das erste Netzwerk ebenfalls ein Sprachmodell ist, hat die Aufgabe, die aktuell von einer Person eingegebene Eingabeaufforderung mit dem Speicherinhalt zu vergleichen, um festzustellen, ob eine relevante Übereinstimmung vorliegt. Das SideNet kann im Gegensatz zum Memory Transformer unabhängig vom Hauptsprachenmodell eigenständig trainiert werden. Auf diese Weise wird es immer besser, Speicherinhalte auszuwählen, die nicht veraltet sind.
Wang und sein Team führen Tests durch, um LongMem sowohl mit dem Memorizing Transformer als auch mit dem GPT-2-Sprachmodell von OpenAI zu vergleichen. Sie vergleichen LongMem auch mit berichteten Ergebnissen aus der Literatur für andere Sprachmodelle, einschließlich des 175-Milliarden-Parameters GPT-3.
Sie verwenden Aufgaben, die auf drei Datensätzen basieren, bei denen sehr lange Texte, darunter ganze Artikel und Lehrbücher, zusammengefasst werden: Project Gutenberg, der arXiv-Dateiserver und ChapterBreak.
Um Ihnen eine Vorstellung vom Umfang dieser Aufgaben zu geben: ChapterBreak, das letztes Jahr von Simeng Sun und Kollegen an der University of Massachusetts Amherst eingeführt wurde, nimmt ganze Bücher und testet ein Sprachmodell, um zu sehen, ob es bei einem vorgegebenen Kapitel als Eingabe korrekt funktioniert Identifizieren Sie aus mehreren Kandidatenpassagen, welche der Beginn des nächsten Kapitels ist. Eine solche Aufgabe „erfordert ein umfassendes Verständnis langfristiger Abhängigkeiten“, wie z. B. Orts- und Zeitänderungen von Ereignissen, und Techniken wie „Analepsis“, bei der „das nächste Kapitel ein ‚Rückblick‘ auf einen früheren Punkt der Erzählung ist.“ ."
Dabei werden Zehntausende oder sogar Hunderttausende Token verarbeitet.
Als Sun und sein Team diese ChapterBreak-Tests durchführten, berichteten sie letztes Jahr, hätten die vorherrschenden Sprachmodelle „Probleme“ gehabt. Beispielsweise lag der große GPT-3 nur in 28 % der Fälle richtig.
Aber das LongMem-Programm schlug „überraschenderweise“ alle Standard-Sprachmodelle, einschließlich GPT-3, einschließlich GPT-3, und lieferte eine hochmoderne Punktzahl von 40,5 %, obwohl LongMem nur über etwa 600 Millionen neuronale Parameter verfügt , weit weniger als die 175 Milliarden von GPT-3.
„Die erheblichen Verbesserungen dieser Datensätze zeigen, dass LONGMEM vergangene lange Kontexte im zwischengespeicherten Speicher verstehen kann, um die Sprachmodellierung für zukünftige Eingaben gut zu vervollständigen“, schreiben Wang und sein Team.
Die Arbeit von Microsoft spiegelt aktuelle Forschungen bei ByteDance wider, der Muttergesellschaft der Social-Media-App TikTok.
In einem im April auf arXiv veröffentlichten Artikel mit dem Titel „Unleashing Infinite-Length Input Capacity for Large-scale Language Models with Self-Controlled Memory System“ entwickelten der Forscher Xinnian Liang von ByteDance und seine Kollegen ein Zusatzprogramm, das jedes große Sprachmodell ermöglicht die Fähigkeit, sehr lange Sequenzen der besprochenen Dinge zu speichern.
In der Praxis, so behaupten sie, kann das Programm die Fähigkeit eines Programms, jede neue Eingabeaufforderung in einen Kontext zu stellen und dadurch entsprechende Antworten zu geben, erheblich verbessern - sogar besser als ChatGPT.
Im sogenannten „Self-Controlled Memory System“ (SCM) wird die Eingabe, die ein Benutzer an der Eingabeaufforderung eingibt, von einem Speichercontroller ausgewertet, um festzustellen, ob ein Eintauchen in ein Archivspeichersystem namens „Memory Stream“ erforderlich ist, das alles enthält die vergangenen Interaktionen zwischen dem Benutzer und dem Programm. Es ähnelt eher dem SideNet von Wang und seinem Team und der dazugehörigen Speicherbank.
Wenn Speicher benötigt wird, kann über ein Vektordatenbanktool wie Pinecone auf diese Sammlung vergangener Eingaben zugegriffen werden. Bei der Eingabe des Benutzers handelt es sich um eine Abfrage, deren Relevanz mit den Angaben in der Datenbank abgeglichen wird.
Einige Benutzerabfragen erfordern keinen Speicher, z. B. „Erzähl mir einen Witz“, eine zufällige Anforderung, die jedes Sprachmodell verarbeiten kann. Aber eine Benutzeraufforderung wie: „Erinnern Sie sich an die Schlussfolgerung, die wir letzte Woche zu den Fitnessdiäten gezogen haben?“ ist die Art von Dingen, die Zugriff auf früheres Chat-Material erfordern.
In einer raffinierten Wendung werden die Benutzeraufforderung und der Speicher, den sie abruft, kombiniert, was in der Arbeit als „Eingabefusion“ bezeichnet wird - und es ist dieser kombinierte Text, der zur eigentlichen Eingabe für das Sprachmodell wird, auf der er seine Antwort generiert .
Das Endergebnis ist, dass der SCM ChatGPT bei Aufgaben übertreffen kann, die einen Verweis auf Hunderte von Runden früher in einem Dialog erfordern, schreiben Liang und sein Team. Sie verbanden ihr SCM mit einer Version von GPT-3 namens text-davinci-003 und testeten, wie es mit der gleichen Eingabe im Vergleich zu ChatGPT funktionierte.
Wenn der Mensch in einer Serie von mehr als 100 Runden, bestehend aus 4.000 Token, die Maschine auffordert, sich an die Hobbys der zu Beginn der Sitzung besprochenen Person zu erinnern, „gibt das SCM-System eine genaue Antwort auf die Anfrage und demonstriert ein außergewöhnliches Gedächtnis.“ -erweiterte Fähigkeiten“, schreiben sie, während „im Gegensatz dazu offenbar ChatGPT durch eine beträchtliche Menge irrelevanter historischer Daten abgelenkt wurde.“
Das Werk kann auch Tausende von Wörtern langer Texte, etwa Berichte, zusammenfassen. Dies geschieht durch eine iterative Zusammenfassung des Textes, was bedeutet, dass die erste Zusammenfassung im Speicherstrom gespeichert wird und dann die nächste Zusammenfassung in Kombination mit der vorherigen Zusammenfassung erstellt wird und so weiter.
Der SCM kann auch dafür sorgen, dass sich große Sprachmodelle, die keine Chatbots sind, wie Chatbots verhalten. „Experimentelle Ergebnisse zeigen, dass unser SCM-System es LLMs, die nicht für Multi-Turn-Dialoge optimiert sind, ermöglicht, Multi-Turn-Dialogfunktionen zu erreichen, die mit ChatGPT vergleichbar sind“, schreiben sie.
Sowohl die Arbeit von Microsoft als auch die von TikTok können als Erweiterung der ursprünglichen Absicht von Sprachmodellen angesehen werden. Vor ChatGPT und seinem Vorgänger, Googles Transformer, wurden Aufgaben in natürlicher Sprache häufig von sogenannten rekurrenten neuronalen Netzen (RNNs) ausgeführt. Ein wiederkehrendes neuronales Netzwerk ist eine Art Algorithmus, der auf frühere Eingabedaten zurückgreifen kann, um diese mit der aktuellen Eingabe zu vergleichen.
Der Transformer und LLMs wie ChatGPT ersetzten RNNs durch den einfacheren Ansatz - Aufmerksamkeit. Aufmerksamkeit vergleicht automatisch alles, was eingegeben wurde, mit allem, was zuvor eingegeben wurde, sodass immer die Vergangenheit ins Spiel gebracht wird.
Die Forschungsarbeit von Microsoft und TikTok erweitert daher einfach die Aufmerksamkeit mit Algorithmen, die explizit darauf ausgelegt sind, Elemente der Vergangenheit auf organisiertere Weise abzurufen.
Das Hinzufügen von Speicher ist eine so grundlegende Anpassung, dass es in Zukunft wahrscheinlich zu einem Standardaspekt großer Sprachmodelle werden wird, sodass Programme viel häufiger in der Lage sind, Verbindungen zu früherem Material wie dem Chat-Verlauf herzustellen oder sich mit dem zu befassen Gesamttext sehr langer Werke.