Wie IBMs Blaupause für die Branchentransformation KI, 5G und Zusammenarbeit nutzt
Trotz der Besessenheit von Deep Learning mit großen Modellen und generalistischen Ansätzen zeigt Amazon, dass mit wirtschaftlichen Modellen Spitzenergebnisse erzielt werden können.
Eine einfache Aufgabe, alle Wörter eines Artikels auf eine kompakte Abfolge von Wörtern zu reduzieren, die den zentralen Punkt des Artikels erklärt, gehört zu den Benchmark-Aufgaben im Deep Learning. Hier sagen die Alexa-KI-Wissenschaftler von Amazon, dass sie die Bemühungen weitaus größerer Computerprogramme von DeepMind, Google, Meta, OpenAI und anderen übertreffen können. Die Arbeit hat Auswirkungen auf den Energieverbrauch und die Effizienz des CO2-Fußabdrucks.
Zwei Forschungsstränge dominieren heutzutage das maschinelle Lernen stark: Programme in ihrem Ansatz allgemeiner zu machen (um jede potenzielle Aufgabe zu bewältigen) und sie größer zu machen.
Die größten neuronalen Netze, gemessen an ihren Parametern oder "Gewichten", erreichen über eine halbe Billion Gewichte. Modelle wie Googles Pathways Language Model (PaLM) und Nvidias und Microsofts Megatron-Turing NLG 530B gehören mit 540 Milliarden bzw. 530 Milliarden Parametern zu den größten. Je mehr Parameter ein Programm hat, desto größer ist im Allgemeinen die Menge an Rechenleistung, die es für das Training und auch für die Ausführung von Vorhersagen verbraucht, was als Inferenz bezeichnet wird.
Neben dem Paper hat Soltan einen Blogbeitrag zu dem Thema verfasst.
Die Arbeit von Amazon ist Teil eines breiten Trends in der neueren Literatur, Alternativen zur Vergrößerung zu finden. Ein Papier, das letzte Woche von Meta (Eigentümer von Facebook und Instagram) mit dem Titel "Few-shot Learning with Retrieval Augmented Language Models" veröffentlicht wurde, ist ein gutes Beispiel. Es beschreibt ein Sprachmodell namens Atlas, das nur 11 Milliarden Parameter hat und mit nur 64 Beispieldatenpunkten trainiert wird.
Wie bei AlexaTM 20B übertrifft das Atlas-Programm PaLM bei weitem, schreiben die Autoren, selbst mit nur 64 Beispielen. Der Schlüssel zu Atlas liegt darin, das vortrainierte Sprachmodell mit der Fähigkeit zu kombinieren, Informationen aus Online-Quellen wie Wikipedia abzurufen, als ob man einen Freund anrufen würde, um die Antwort zu erhalten.
Im Fall von AlexaTM 20B verwenden die Amazon-Autoren drei Optimierungen, um ihre Punktzahl zu erreichen.
Amazon 2022 AlexTM 20B Diagramm
Die erste interessante Änderung besteht darin, zu den Grundlagen zurückzukehren und etwas wiederherzustellen, das aus den jüngsten riesigen Sprachmodellen entnommen wurde. Die Basis von AlexaTM 20B ist die gleiche wie bei PaLM und GPT-3 und anderen, ein Transformer-Encoder-Decoder - der Ansatz, der 2017 von den Google-Wissenschaftlern Ashish Vaswani und Kollegen entwickelt wurde.
Der Transformer verwendet Einheiten, die als "Selbstaufmerksamkeit" bezeichnet werden, um einen Wahrscheinlichkeitswert dafür zu ermitteln, wie jedes Wort im Kontext anderer Wörter gefunden werden kann. Diese Punktzahl wird dann verwendet, um die Lücken bei der Vorhersage von Wörtern zu füllen, um sinnvolle Textblöcke zu bilden.
Im Fall von AlexaTM 20B nehmen Soltan und Kollegen eine kritische Abkehr von PaLM und GPT-3 und anderen gigantischen Nachkommen des ursprünglichen Transformers. Diese neueren Modelle verzichteten auf eine Hälfte des Transformers, den sogenannten Encoder (das Ding, das Eingabedaten in versteckte Zustände abbildet, um dann in eine Antwort dekodiert zu werden). Stattdessen verschmelzen PaLM und GPT-3 die Eingabe mit dem Decoder, um ein abgespecktes Programm zu bilden, das ein "Nur-Decoder"-Modell ist.
Das Alexa-Team fügt den Encoder wieder in das Programm ein. Sie behaupten, dass beide Elemente dazu beitragen, die Genauigkeit beim sogenannten "Entrauschen" zu verbessern, was bedeutet, dass ein ursprünglicher Satz rekonstruiert wird, bei dem einige der Wörter weggefallen sind.
Im Nur-Decoder-Modell verläuft die bedingte Wahrscheinlichkeit des vorhergesagten Textes nur in eine Richtung: Jede nächste Antwort basiert nur auf dem, was vorher war. In der vollständigen Encoder-Decoder-Version hingegen nimmt das Modell eine Bewertung der Wahrscheinlichkeiten in beide Richtungen vor: was vor einem bestimmten Wort war und was folgt. Das funktioniert besser bei Aufgaben, bei denen man nicht nur das nächste Element in einem Satz generiert, sondern auch Dinge wie Wort-für-Wort-Vergleiche durchführt, wie z. B. bei Übersetzungsaufgaben von einer Sprache in eine andere.
Amazon 2022 AlexTM 20B Modelle nur mit Decoder
Sie schreiben: "AlexaTM 20B erreicht einen neuen Stand der Technik von 82,63 % in der Zero-Shot-Einstellung im Rauschunterdrückungsmodus. Der Hauptgrund, warum der Rauschunterdrückungsmodus für diese Aufgabe besser abschneidet, besteht darin, dass im Rauschunterdrückungsmodus die Eingabe in Encoder und Decoder wiederholt wird, sodass das Modell sowohl Encoder als auch Decoder vollständig nutzen kann, um die beste Antwort zu finden."
Die zweite Sache, die die Autoren hinzufügen, ist, das Modell mit dem zu trainieren, was als "kausale Sprachmodellierung" bezeichnet wird. CLM, kurz CLM, ist die Aufgabe, die in GPT-3 und anderen reinen Decoder-Transformern verwendet wird. Es stellt ausdrücklich dar, dass jedes Wort nur von den Wörtern abhängt, die davor kamen - eine sequenzielle, unidirektionale Abhängigkeit, die darauf trainiert ist, Sätze basierend auf einer anfänglichen Eingabeaufforderung zu generieren.
Die Autoren mischen die Entrauschungsaufgabe mit der kausalen Aufgabe beim Training von AlexaTM 20B, wobei die Entrauschung 80 % der Trainingsaktivität und die kausale Modellierung das restliche Fünftel einnimmt.
Der Vorteil der zusätzlichen kausalen Modellierung besteht darin, dass sie, ähnlich wie GPT-3, das sogenannte "In-Context-Learning" unterstützt. In-Context-Learning ist eine breite Rubrik, die alle Modelle abdeckt, die in der Lage sind, Zero- oder Few-Shot-Lernen durchzuführen. Das bedeutet, dass das Programm über kein domänenspezifisches Wissen verfügt; Sie geben ihm einfach eine Beispielaufforderung, und das Programm macht eine Vorhersage, die mit der Art der gestellten Frage übereinstimmt.
Aufgrund dieses hybriden Trainingsregimes ist AlexTM 20B nicht nur gut darin, Sätze zu rekonstruieren - die Entrauschungsaufgabe, sondern auch "das erste mehrsprachige seq2seq-Modell [Sequenz zu Sequenz], das in der Lage ist, kontextbezogen zu lernen", schreiben die Autoren. Mit anderen Worten, es handelt sich um ein hybrides Programm.
Die dritte interessante Änderung von Soltan und Kollegen besteht darin, die Anzahl der Datenpunkte, die während des Trainings in das Programm eingegeben werden, enorm zu erhöhen. Sie geben während des Trainings eine Billion "Token", also einzelne Datenstücke, ein. Das sind mehr als dreimal so viele, wie GPT-3 erhält. Die Trainingsdatensätze bestehen in diesem Fall aus Wikipedia-Einträgen und auch aus dem sogenannten mC4, einem Datensatz für das Training von Transformern, der letztes Jahr von Linting Xue und Kollegen bei Google vorgestellt wurde. Es basiert auf natürlichsprachlichem Text in 101 Sprachen aus den Common Crawl Web-Scraped Datenquellen.
Die Verwendung einer sehr großen Menge an eingegebenen Trainingsdaten ist eines der Schlüsselelemente der Alexa-Arbeit. Soltan und sein Team beschlossen, diesen Weg zu gehen, schreiben sie, basierend auf einer Beobachtung von Jordan Hoffman und Kollegen bei OpenAI, die im vergangenen März in einem Artikel mit dem Titel "Training compute-optimal large language models" veröffentlicht wurde.
In diesem Artikel kommen Hoffman und Kollegen zu dem Schluss, dass "die derzeitigen großen Sprachmodelle erheblich untertrainiert sind, eine Folge des jüngsten Fokus auf die Skalierung von Sprachmodellen bei gleichzeitiger Beibehaltung der Menge der Trainingsdaten." Indem eine breite Palette von Sprachmodellen unterschiedlicher Größe genommen und alle mit unterschiedlichen Mengen an Eingabetoken getestet wird, Die Autoren kamen zu dem Schluss, dass "für ein rechenoptimales Training die Modellgröße und die Anzahl der Trainingstoken gleich skaliert werden sollten".
AlexaTM 20B ist also nicht nur sparsam - es zielt darauf ab, zu beweisen, dass weniger Parameter mit mehr Trainingsdaten ausgeglichen werden können, um eine überzeugende Leistung zu erzielen.
Übrigens geben sich die Autoren auch Mühe, den Großteil der Eingaben als natürlichen gesprochenen Text zu gestalten, indem sie auf Großschreibung und Interpunktion verzichten, was in einer Alexa-Umgebung wichtig ist. "Wir beziehen mehr gesprochenen als geschriebenen Text ein, um unsere internen Anwendungsfälle zu erfüllen", schreiben sie.
Einige der Technologien des Alexa-KI-Teams werden in Alexa-Produkten verwendet, obwohl Amazon ZDNet in einer E-Mail mitteilte, dass die Gruppe "auch zukunftsweisende Forschung betreibt". Das AlexaTM 20B-Modell, so Amazon, "ist in dieser Phase in erster Linie ein Forschungsprojekt".
Amazon fügte hinzu: "Es ist möglich, dass dieses Modell in Zukunft in der Produktion eingesetzt wird, aber nur die modifizierte Version mit Leitplanken wird für die Entwicklung von Alexa-Funktionen und -Produkten verwendet."
Die Autoren trainieren das AlexaTM 20B-Modell "120 Tage lang auf 128 [Nvidia] A100-GPUs für die insgesamt 500.000 Updates mit der kumulierten Batch-Größe von 2 Millionen Token (insgesamt 1 Billion Token-Updates)", schreiben sie.
Das mag nach viel klingen, ist aber weniger als PaLM, das von Google auf zwei seiner TPU-Pods der vierten Generation trainiert wurde, die aus 3.072 TPU-Chips in jedem Pod bestehen, die an 768 Host-Computer angeschlossen sind.
Wie die Google-Autoren Aakanksha Chowdhery und ihr Team im April feststellten, war dies "die größte bisher beschriebene TPU-Konfiguration".
Die Ergebnisse werden in spezifischen Testergebnissen festgehalten. Soltan und Team legen besonderen Wert auf ihren Erfolg bei bestimmten Aufgaben im Gegensatz zu allen denkbaren Aufgaben. Soltan und sein Team stellen beispielsweise fest, dass "AlexaTM 20B bei der Zusammenfassung sowohl in 1-Shot- als auch in Feinabstimmungseinstellungen besser oder gleichwertig mit dem bisher größten Nur-Decoder-Modell mit hoher Dichte (d. h. PaLM 540B) abschneidet." Dies gilt insbesondere für eine Aufgabe der Zusammenfassung von Absätzen, die als MLSum bekannt ist. in Deutsch, Spanisch und Französisch schlug AlexaTM 20B PaLM mit Leichtigkeit.
Der MLSum-Benchmark-Test, der 2020 vom französischen Nationalen Zentrum für wissenschaftliche Forschung eingeführt wurde, umfasst 1,5 Millionen Artikel aus Zeitungen. Die Aufgabe besteht darin, dass ein Sprachmodell einige Textsätze ausgibt, die die Idee ausdrücken, die im gesamten Artikel dargelegt ist. Dies erfordert natürlich eine große Reduzierung von Hunderten von Wörtern auf vielleicht ein paar Dutzend.
Bei einem vierten Test, XSum, der auf Englisch durchgeführt wurde, lag das AlexaTM 20B-Modell knapp an zweiter Stelle und schlug eine Version von PaLM, die größer als AlexaTM 20B, aber kleiner als die 540-Milliarden-Parameter-Version von PaLM war.
Während er sich bei der Zusammenfassung auszeichnet, fällt der AlexTM 20B bei einigen anderen Aufgaben zurück. Zum Beispiel, getestet an "Reasoning"-Datensätzen (wie MultiArith) und "Chain of Thought"-Denkaufgaben (das sind sehr einfache arithmetische Aufgaben, die in natürlicher Sprache geschrieben sind), bleibt das Programm weit hinter dem zurück, was von den viel größeren Modellen wie GPT-3 erreicht wird.
Soltan und sein Team schreiben: "AlexaTM 20B schneidet etwas besser ab als Modelle ähnlicher Größe, aber wir haben nicht den Gewinn beobachtet, den viel größere Modelle wie GPT3 175B durch solche speziellen Eingabeaufforderungen zeigen", was bedeutet, dass das Programm Hinweise auf den nächsten Schritt in einem Problem erhält.
"Die Ergebnisse deuten darauf hin, dass das Hochskalieren der Modellparameter entscheidend ist, um bei 'Reasoning'-Aufgaben gut abzuschneiden, wie zuvor gezeigt wurde [...] in reinen Decoder-Architekturen mit Instruct-GPT3-Modellen."
Soltan und sein Team konzentrieren sich auf die erfolgreiche Aufgabe, wie z. B. die Zusammenfassung, und die wichtigste Schlussfolgerung, zu der sie kommen, ist, dass ihr gemischter Ansatz beim Training des Programms - unter Verwendung beider Ziele der Rauschunterdrückung und der kausalen Sprachmodellierung - ein Schlüssel zu mehr Effizienz ist.
"Dies deutet darauf hin, dass gemischtes Vortraining und nicht unbedingt zusätzliches Multitasking-Training [...] der Schlüssel zum Training starker seq2seq-basierter Large-scale Language Models (LLM) ist", schreiben sie.
Um auf die ursprüngliche Frage der Größe zurückzukommen: Wie in vielen Zusammenhängen festgestellt wurde, ist der Energieverbrauch immer größerer KI-Programme ein ethisches Problem innerhalb der KI-Praktiken. Die Autoren plädieren nachdrücklich für die Relevanz ihres effizienteren Ansatzes.
Da die AlexaTM 20B "viel kleiner ist als Modelle wie GPT3 175B, aber dennoch eine ähnliche oder bessere Leistung bei verschiedenen Aufgaben erzielt", schreiben sie, "sind die anhaltenden Auswirkungen der Verwendung von AlexaTM 20B für die Inferenz auf die Umwelt viel geringer als bei größeren Modellen (etwa 8,7-mal geringer)."
Sie fügen hinzu: "Daher hat AlexaTM 20B im Laufe der Zeit auch einen geringeren CO2-Fußabdruck."
Die Autoren bieten eine Tabelle mit Statistiken an, die den relativen CO2-Fußabdruck zeigen, und es gibt einen großen Unterschied in den Zahlen.
Dies ist eine Amazon 2022 AlexTM 20B-Vergleichstabelle der CO2-Fußabdrücke.
Diese Tabelle der CO2-Fußabdrücke ist vielleicht der interessanteste Aspekt von all dem. Es scheint, dass mehr Deep-Learning-Forschung versuchen wird, Bewertungen für Umweltbewertungen zu erstellen, um zu zeigen, wie energieeffizient ein bestimmter Ansatz sein kann. Dies steht im Einklang mit dem weltweit zunehmenden Fokus auf "ESG", d. h. Umwelt-, Sozial- und Governance-Faktoren, in allen Dingen.
Das könnte bedeuten, dass Umweltbewusstsein in gewisser Weise Teil des Ziels der Mainstream-KI-Forschung geworden ist.