Metas GenAI bewegt sich von einfachen Vorhersagen zu einem Schachspiel mit Konsequenzen
Anstelle des herkömmlichen Ansatzes von ChatGPT plädieren Meta-Wissenschaftler für eine optimierte „Multi-Token-Vorhersage“, die falsche Antworten bestraft.
Eine schematische Darstellung von Metas Ansatz zur sogenannten Multi-Token-Vorhersage. Während des Trainings des KI-Modells werden die Eingaben wie üblich eingespeist, aber anstatt das KI-Modell darauf zu trainieren, einen einzelnen Token als Antwort zu erzeugen - beispielsweise das nächstwahrscheinlichste Wort -, wird das Modell darauf trainiert, gleichzeitig vier oder mehr zu generieren wahrscheinlich Token.
Generative KI-Modelle wie GPT-4 haben uns alle mit der Fähigkeit verblüfft, Textausgaben zu erzeugen, die Gedanken ähneln, beispielsweise Antworten auf Multiple-Choice-Fragen. Das Erreichen des „richtigen“ Gedankens, beispielsweise die Beantwortung der Frage, bleibt jedoch ein tiefer liegendes Problem, wie das Phänomen der „Halluzinationen“ zeigt, bei denen KI-Modelle - mit scheinbarer Sicherheit - falsche Aussagen behaupten.
In einer neuen Arbeit haben Wissenschaftler bei Meta große Sprachmodelle (LLMs) optimiert, um Ergebnisse zu erzeugen, die in einer bestimmten Situation korrekter sein könnten, indem sie den Begriff der Strafen für falsche Antworten eingeführt haben.
Der als „Multi-Token-Vorhersage“ bekannte Ansatz zielt darauf ab, in einem KI-Modell Kosten für weniger wünschenswerte Antworten zu erzeugen. In diesem Sinne ist es analog zu gängigen Ansätzen zur Festlegung von Leitplanken in der KI wie „Reinforcement Learning from Human Feedback“ oder RLHF, einer Methode, die OpenAI populär gemacht hat, um die empörendsten Ergebnisse von ChatGPT einzudämmen.
(Ein „KI-Modell“ ist Teil eines KI-Programms, das zahlreiche neuronale Netzparameter und Aktivierungsfunktionen enthält, die die Schlüsselelemente für die Funktionen eines KI-Programms sind.)
„Besonders ausgeprägt sind die Zuwächse bei generativen Benchmarks wie der Codierung, wo unsere Modelle durchweg starke Basislinien um mehrere Prozentpunkte übertreffen“, schreiben die Autoren von „Better & Faster Large Language Models via Multi-token Prediction“. Der Hauptautor Fabian Gloeckle hat das Papier zusammen mit Kollegen von Facebook AI Research und den kooperierenden Institutionen CERMICS École des Ponts ParisTech und LISN Université Paris-Saclay letzten Monat auf dem arXiv-Preprint-Server veröffentlicht.
Die Hauptsorge der Autoren besteht darin, dass LLMs trotz ihrer beeindruckenden Leistungen Dinge wie Argumentation oder Planung nicht leisten. Der herkömmliche Ansatz von ChatGPT und anderen, der als „Next-Token-Vorhersage“ bezeichnet wird, sei „nach wie vor eine ineffiziente Methode zum Erwerb von Sprache, Weltwissen und Denkfähigkeiten.“
Anstelle einer einfachen Vorhersage des nächsten Tokens, bei der das KI-Modell darauf trainiert wird, ein einzelnes „Token“ vorherzusagen, beispielsweise ein Wort oder Zeichen in einer Zeichenfolge - beispielsweise das nächste Wort in einem Satz - hat das Meta-Team mehrere Die Token-Version ist darauf trainiert, mehrere Text-Tokens gleichzeitig vorherzusagen, von denen jedes könnte die korrekte Vervollständigung der Sequenz sein.
Technisch gesehen verändert Gloeckles Team die Grundstruktur des LLM, bekannt als Transformer, so, dass er statt des standardmäßigen einzelnen Kopfes über vier Ausgabe-„Köpfe“ verfügt, die jeweils ein Wort, ein Zeichen oder ein anderes Symbol erzeugen.
Der unmittelbare Vorteil des Ansatzes besteht darin, dass er speichereffizienter sein kann, wenn das KI-Modell live ist und Vorhersagen für Benutzer trifft, was als Inferenzphase der KI bezeichnet wird. Da hinter den Kulissen mehrere Ausgabeköpfe arbeiten können, um Möglichkeiten auszuprobieren, kann es zu einem hohen Grad an Parallelität kommen. Diese Form der „spekulativen Dekodierung“ bedeutet, dass der Multi-Token-Ansatz „die Schlussfolgerung um den Faktor 3x beschleunigen kann“ im Vergleich zur Vorhersage jeweils einer Sache.
Es gibt auch einen tieferen Einblick. Normale KI-Modelle, die jeweils einen Token auswählen, sind in gewisser Weise flach: Sie betrachten keine einzelne Vorhersage als wichtiger als die letzte, solange die aktuelle Vorhersage gut ist.
Tatsächlich stellt das Team fest, dass es einen großen Unterschied zwischen bestimmten Token in einer Phrase gibt. In dem oft zitierten Interpunktionsmem „Hört auf, in die Clubs zu gehen, Robbenbabys“ - macht das Vorhandensein oder Fehlen eines Kommas in der Mittelphrase den Unterschied zwischen einem dringenden Plädoyer für Tierrechte und einem amüsanten Bild aus. Der Humor in der Äußerung spielt im Kopf eine Rolle, weil das Komma die Semantik der Phrase verändert.
Der Punkt ist, wie andere bemerkt haben, dass „nicht alle Token-Entscheidungen gleichermaßen wichtig für die Generierung nützlicher Texte aus Sprachmodellen sind“, schrieb Gloeckles Team. „Während einige Token stilistische Variationen zulassen, die den Rest des Textes nicht einschränken, stellen andere Auswahlpunkte dar, die mit semantischen Eigenschaften des Textes auf höherer Ebene verknüpft sind und darüber entscheiden können, ob eine Antwort als nützlich empfunden wird oder entgleisen.“
Der Multi-Head- und Multi-Token-Ansatz, schrieb das Team, weist jeder Vorhersage die Fitness auf der Grundlage der anderen gleichzeitigen Vorhersagen zu. „Im Allgemeinen glauben wir, dass die Qualität der Textgenerierung davon abhängt, dass an Auswahlpunkten die richtigen Entscheidungen getroffen werden, und dass N-Token-Vorhersageverluste diese fördern“, schrieb das Team.
Der „Choice Point“ umfasst jene Momente, in denen eine Vorhersage andere in der Zukunft nach sich zieht, die über Erfolg oder Misserfolg der Gesamtphrase entscheiden können. „Die Multi-Token-Vorhersage weist Trainingstokens implizit Gewichte zu, je nachdem, wie eng sie mit ihren Nachfolgern korrelieren“, schrieb das Team.
In Analogie dazu vergleicht Gloeckles Team die Wahl des nächsten Wortes mit der Bewegung durch ein Labyrinth: Jede Wahl kann ein Weg zur Belohnung oder ein Weg zu einem schrecklichen Schicksal sein.
Sie verwenden das Bild eines Labyrinths, um die „sequentielle Vorhersageaufgabe“ (wie sie sich auf die Vorhersage des nächsten Wortes beziehen) zu veranschaulichen. Der nächste richtige Schritt könnte ein entscheidender sein, der das KI-Modell auf den richtigen oder falschen Weg schickt - eine „konsequente Entscheidung“, wie sie es nennen.
Die Wahl des nächsten richtigen Tokens gleicht einem Spaziergang durch ein Labyrinth, schreiben die Autoren: In bestimmten Momenten ist die Wahl eine „konsequente“ Entscheidung, die das Programm zum Erfolg (die Trophäe) oder zur Niederlage (Totenkopf mit gekreuzten Knochen) führt.
In einer bemerkenswerten Kombination von Technologien verknüpfen die Autoren den Multi-Token-Ansatz mit dem RLHF-Ansatz und versuchen, eine spätere Belohnung vorherzusagen: „Angenommen, das Sprachmodell wird in einer Umgebung des verstärkenden Lernens eingesetzt, etwa beim verstärkenden Lernen aus menschlichem Feedback.“ … [wobei] Aktionen einzelne Token sind, die […] generiert werden müssen.“
Durch die Verknüpfung der Textvorhersage mit Belohnungsfunktionen werden alle Bereiche ins Spiel gebracht, in denen Belohnungsfunktionen im Gaming große Fortschritte gemacht haben. Belohnungsfunktionen werden bei allen Arten von KI-Problemen verwendet, die als Reinforcement Learning bezeichnet werden, nicht nur bei RLHF.
Googles DeepMind-Einheit nutzte beispielsweise Reinforcement Learning, um AlphaZero zu entwickeln, das Programm, das Menschen beim Schach und Go schlagen kann. Es wurde auch im Programm AlphaStar verwendet, um im Echtzeit-Strategiespiel StarCraft II in Videospiel-Geschicklichkeitswettbewerben gegen Menschen anzutreten.
Diese Gamifizierung hat unmittelbar zur Folge, dass der Multi-Token-Ansatz eine „optimalere“ Antwort liefert. Die Autoren liefern eine Vielzahl von Benchmark-Ergebnissen. Einer vergleicht beispielsweise, wie ein KI-Modell mit 7 Milliarden neuronalen Parametern oder Gewichten die Leistung verbessert, wenn es von der Einzel- zur Multi-Token-Vorhersage übergeht.
Bei einem Test namens „Mostly Basic Programming Problems“ (MBPP), der 2021 bei Google entwickelt wurde, muss ein KI-Modell Code wie Python-Zeilen für eine bestimmte Funktion erzeugen. Bei diesem Benchmark erreicht das Programm mit der Multi-Token-Vorhersage immer eine höhere Genauigkeit.
Es gibt auch einen Sweet Spot. Das KI-Modell scheint bei vier gleichzeitigen Token die beste Leistung zu erbringen, während die Vorhersage von mehr als dieser Zahl - sechs oder acht - zu nicht so guten Ergebnissen führt.
Bei standardisierten Tests wie „Mostly Basic Programming Problems“, bei denen ein LLM Programmiercode generieren muss, erreicht das gleich große KI-Modell, eines mit 7 Milliarden neuronalen Parametern oder Gewichten, eine höhere Genauigkeit, wenn mehr Token produziert werden, wie durch angegeben „n“, die Anzahl der gleichzeitig generierten Token.
Wie bei vielen Dingen in neuronalen Netzen ist es nicht sofort sicher, warum die Multi-Token-Vorhersage besser sein sollte als die Einzel-Token-Vorhersage. Die Autoren gehen davon aus, dass durch das Training eines Modells für die Multi-Token-Vorhersage das resultierende Modell eine Unterbrechung vermeidet, die auftritt, wenn das KI-Modell Live-Vorhersagen mit echten Eingabeaufforderungen der Benutzer macht. Das nennt man „Verteilungsinkongruenz zwischen lehrererzwungener Ausbildung und autoregressiver Generation“.
Es gebe noch viel zu klären, schrieben Gloeckle und seine Kollegen. Ein Ziel besteht darin, eine Methode zur Automatisierung des Sweet Spots zu entwickeln, der optimalen Anzahl gleichzeitiger Token, die zu höchster Genauigkeit führt. Eine andere Möglichkeit besteht darin, automatisch die richtige Datenmenge zu bestimmen, die zum Trainieren des KI-Modells erforderlich ist, da „die optimalen Vokabulargrößen für die Multi-Token-Vorhersage sich wahrscheinlich von denen für die Next-Token-Vorhersage unterscheiden und ihre Optimierung zu besseren Ergebnissen führen könnte.“
Eine größere Erkenntnis ist, dass traditionelles Reinforcement Learning der generativen KI möglicherweise viel mehr zu bieten hat, als viele bisher vermutet haben, was darauf hindeutet, dass es in Zukunft zu einer stärkeren Verschmelzung der beiden Methoden kommen wird.