Könnte KI Sie im Jahr 2025 zum Milliardär machen?
Die autoregressive Aufmerksamkeit, die dem Transformer und ähnlichen Programmen zugrunde liegt, wird zu einem skalierenden Albtraum. Eine kürzlich erschienene Arbeit von DeepMind/Google schlägt eine Möglichkeit vor, solche Programme auf Diät zu setzen.
Die Perceiver-AR-Architektur von DeepMind und Google Brain reduziert die Aufgabe, die kombinatorische Natur von Ein- und Ausgängen in einen latenten Raum zu berechnen, jedoch mit der Wendung, dass der latente Raum eine "kausale Maskierung" aufweist, um die autoregressive Ordnung eines typischen Transformers hinzuzufügen.
Einer der alarmierenden Aspekte des unglaublich beliebten Deep-Learning-Segments der künstlichen Intelligenz ist die immer größere Größe der Programme. Experten auf diesem Gebiet sagen, dass Computeraufgaben dazu bestimmt sind, immer größer und größer zu werden, weil es auf die Skalierung ankommt.
Solche immer größeren Programme sind Ressourcenfresser, und das ist ein wichtiges Thema in der Ethik des Deep Learning für die Gesellschaft, ein Dilemma, das die Aufmerksamkeit von Mainstream-Wissenschaftszeitschriften wie Nature auf sich gezogen hat.
Deshalb ist es jedes Mal interessant, wenn der Begriff Effizienz fällt, wie in: Können wir dieses KI-Programm effizienter machen?
Wissenschaftler von DeepMind und der Brain-Abteilung von Google haben kürzlich ein neuronales Netzwerk, das sie letztes Jahr vorgestellt haben, Perceiver, angepasst, um es in Bezug auf seinen Computerleistungsbedarf effizienter zu machen.
Das neue Programm, Perceiver AR, ist nach dem "autoregressiven" Aspekt einer zunehmenden Anzahl von Deep-Learning-Programmen benannt. Die Autoregression ist eine Technik, bei der eine Maschine ihre Ausgaben als neue Eingaben für das Programm verwendet, eine rekursive Operation, die eine Aufmerksamkeitskarte bildet, die zeigt, wie mehrere Elemente miteinander in Beziehung stehen.
Der Transformer, das äußerst beliebte neuronale Netzwerk, das Google 2017 eingeführt hat, hat diesen autoregressiven Aspekt. Und viele Modelle tun dies seither, darunter GPT-3 und die erste Version des Perceivers.
Perceiver AR folgt auf eine zweite Version von Perceiver, genannt Perceiver IO, die im März eingeführt wurde, und auf das ursprüngliche Perceiver vor einem Jahr.
Die Innovation des ursprünglichen Wahrnehmenden bestand darin, den Transformer so zu optimieren, dass er alle Arten von Eingaben, einschließlich Text, Ton und Bilder, in einer flexiblen Form konsumieren kann, anstatt auf eine bestimmte Art von Eingabe beschränkt zu sein, für die normalerweise separate Arten von neuronalen Netzen entwickelt werden.
Perceiver ist eines von einer wachsenden Anzahl von Programmen, die autoregressive Aufmerksamkeitsmechanismen verwenden, um verschiedene Eingabemodalitäten und verschiedene Aufgabenbereiche zu mischen. Weitere Beispiele sind Pathways von Google, Gato von DeepMind und data2vec von Meta.
Dann, im März, stellte das gleiche Team aus Andrew Jaegle und Kollegen, die Perceiver entwickelt hatten, die "IO"-Version vor, die die Ausgabe von Perceiver verbesserte, um mehr als nur die Klassifizierung zu ermöglichen, und eine Vielzahl von Ausgaben mit allen Arten von Strukturen erreichte, die von der Textsprachausgabe über optische Flussfelder bis hin zu audiovisuellen Sequenzen und symbolischen ungeordneten Sets reichten. Es kann sogar Bewegung im Spiel StarCraft II erzeugen.
In dem Artikel "All-purpose, long-context autoregressive modeling with Perceiver AR" stellen sich Jaegle und sein Team nun der Frage, wie die Modelle skaliert werden sollten, wenn sie bei diesen multimodalen Ein- und Ausgabeaufgaben immer ehrgeiziger werden.
Das Problem ist, dass die autoregressive Qualität des Transformers und jedes anderen Programms, das eine Aufmerksamkeitskarte von der Eingabe bis zur Ausgabe erstellt, darin besteht, dass es eine enorme Skalierung in Bezug auf die Verteilung über Hunderttausende von Elementen erfordert.
Das ist die Achillesferse der Aufmerksamkeit, die Notwendigkeit, sich um alles und jedes zu kümmern, um die Wahrscheinlichkeitsverteilung zusammenzusetzen, die die Aufmerksamkeitskarte ausmacht.
Wie Jaegle und sein Team es ausdrücken, wird es in Bezug auf die Informatik zu einem Skalierungsalbtraum, da die Anzahl der Dinge, die in der Eingabe miteinander verglichen werden müssen, zunimmt:
Es besteht eine Spannung zwischen dieser Art von langer, kontextueller Struktur und den Recheneigenschaften von Transformern. Transformatoren wenden wiederholt eine Selbstbeobachtungsoperation auf ihre Eingaben an: Dies führt zu Rechenanforderungen, die gleichzeitig quadratisch mit der Eingangslänge und linear mit der Modelltiefe wachsen. Je länger die Eingabedaten werden, desto mehr Eingabe-Token werden benötigt, um sie zu beobachten, und da die Muster in den Eingabedaten subtiler und komplizierter werden, ist mehr Tiefe erforderlich, um die daraus resultierenden Muster zu modellieren. Rechenbedingte Einschränkungen zwingen die Benutzer von Transformern dazu, entweder die Eingaben für das Modell zu kürzen (was verhindert, dass es viele Arten von Langstreckenmustern beobachtet) oder die Tiefe des Modells einzuschränken (es der Ausdruckskraft zu berauben, die zum Modellieren komplexer Muster erforderlich ist).
Der ursprüngliche Perceiver brachte in der Tat eine verbesserte Effizienz gegenüber Transformern, indem er die Aufmerksamkeit auf eine latente Repräsentation der Eingabe richtete, anstatt auf direkt. Dies hatte zur Folge, dass "die Rechenanforderungen für die Verarbeitung eines großen Eingabearrays von denen entkoppelt wurden, die erforderlich sind, um ein Netzwerk sehr tief zu machen".
Der Vergleich von Perceiver AR mit einem Standard-Transformer-Deep-Netzwerk und dem verbesserten Transformer XL.
Der latente Teil, in dem Repräsentationen von Eingaben komprimiert werden, wird zu einer Art effizienterem Motor für die Aufmerksamkeit, so dass "für tiefe Netzwerke der Selbstaufmerksamkeitsstapel der Ort ist, an dem der Großteil der Rechenleistung stattfindet", anstatt mit unzähligen Eingaben zu arbeiten.
Aber die Herausforderung blieb, dass ein Perceiver keine Ausgaben generieren kann, wie es der Transformer tut, weil diese latente Repräsentation keinen Sinn für Ordnung hat und Ordnung bei der Autoregression unerlässlich ist. Jeder Output soll ein Produkt dessen sein, was davor war, nicht danach.
"Da jedoch jedes latente Modell alle Eingaben unabhängig von seiner Position berücksichtigt, können Perceiver nicht direkt für die autoregressive Generierung verwendet werden, was erfordert, dass jede Modellausgabe nur von Eingaben abhängt, die ihr nacheinander vorausgehen", schreiben sie.
Mit Perceiver AR geht das Team noch einen Schritt weiter und fügt Ordnung in den Perceiver ein, um ihn in die Lage zu versetzen, diese autoregressive Funktion auszuführen.
Der Schlüssel liegt in der sogenannten "kausalen Maskierung" sowohl der Eingabe, bei der eine "Queraufmerksamkeit stattfindet", als auch der latenten Repräsentation, um das Programm zu zwingen, sich nur auf Dinge zu konzentrieren, die einem gegebenen Symbol vorausgehen. Dieser Ansatz stellt die Richtungsqualität des Transformers wieder her, jedoch mit weitaus weniger Rechenleistung.
Das Ergebnis ist die Fähigkeit, das zu tun, was der Transformer mit viel mehr Eingängen kann, aber mit deutlich verbesserter Leistung.
"Perceiver AR kann lernen, lange Kontextmuster über Entfernungen von mindestens 100.000 Token bei einer synthetischen Kopieraufgabe perfekt zu erkennen", schreiben sie, im Gegensatz zu einem harten Limit von 2.048 Token für den Transformer, bei dem mehr Token einen längeren Kontext bedeuten, was einer höheren Raffinesse in der Programmausgabe entsprechen sollte.
Und Perceiver AR tut dies mit "verbesserter Effizienz im Vergleich zu den weit verbreiteten reinen Decoder-Architekturen Transformer und Transformer-XL und der Möglichkeit, die zum Testzeitpunkt verwendete Rechenleistung zu variieren, um einem Zielbudget zu entsprechen."
Insbesondere die Wanduhrzeit für die Berechnung von Perceiver AR, schreiben sie, wird bei gleicher Aufmerksamkeit drastisch reduziert und bietet die Möglichkeit, bei gleichem Rechenbudget einen viel größeren Kontext - mehr Eingabesymbole - zu erhalten:
Der Transformer ist auf eine Kontextlänge von 2.048 Token beschränkt, selbst mit nur 6 Schichten - größere Modelle und eine größere Kontextlänge benötigen zu viel Speicher. Mit der gleichen 6-Layer-Konfiguration können wir den Transformer-XL-Speicher auf eine Gesamtkontextlänge von 8.192 skalieren. Perceiver AR lässt sich auf eine Kontextlänge von 65k skalieren und kann mit weiterer Optimierung auf über 100k Kontext skaliert werden.
All dies bedeutet Flexibilität bei der Berechnung: "Dies gibt uns mehr Kontrolle darüber, wie viel Rechenleistung für ein bestimmtes Modell zur Testzeit verwendet wird, und ermöglicht es uns, Geschwindigkeit und Leistung reibungslos abzuwägen."
Der Ansatz, schreiben Jaegle und Kollegen, kann auf jeden Eingabetyp angewendet werden, nicht nur auf Wortsymbole, zum Beispiel Pixel eines Bildes:
Das gleiche Verfahren kann auf jede Eingabe angewendet werden, die bestellt werden kann, solange die Maskierung angewendet wird. Beispielsweise können die RGB-Kanäle eines Bildes in der Rasterscan-Reihenfolge angeordnet werden, indem die R-, G- und B-Farbkanäle für jedes Pixel in der Sequenz oder sogar unter verschiedenen Permutationen decodiert werden.
Die Autoren sehen ein großes Potenzial für Perceiver, weit zu gehen, und schreiben, dass "Perceiver AR ein guter Kandidat für ein universelles, langkontextbezogenes autoregressives Modell ist".
Es gibt jedoch eine zusätzliche Welligkeit im Effizienzfaktor des Computers. Einige neuere Bemühungen, so die Autoren, haben versucht, das Rechenbudget für autoregressive Aufmerksamkeit zu verschlanken, indem sie "Sparsity" verwendeten, den Prozess, bei dem begrenzt wird, welchen Eingabeelementen Bedeutung beigemessen wird.
Bei gleicher Wanduhr kann der Perceiver AR mehr Symbole aus der Eingabe durch die gleiche Anzahl von Schichten laufen lassen oder die gleiche Anzahl von Eingabesymbolen ausführen, während er weniger Rechenzeit benötigt - eine Flexibilität, von der die Autoren glauben, dass sie ein allgemeiner Ansatz für mehr Effizienz in großen Netzwerken sein kann.
Das hat einige Nachteile, vor allem weil es zu starr ist. "Der Nachteil von Methoden, die Sparsity verwenden, besteht darin, dass diese Sparsity von Hand abgestimmt oder mit Heuristiken erstellt werden muss, die oft domänenspezifisch sind und schwer zu optimieren sein können", schreiben sie. Dazu gehören Bemühungen wie OpenAI und Nvidias "Sparse Transformer" aus dem Jahr 2019.
"Im Gegensatz dazu zwingt unsere Arbeit den Aufmerksamkeitsschichten kein handgemachtes Sparsity-Muster auf, sondern ermöglicht es dem Netzwerk zu lernen, welche Long-Context-Eingaben es beachten und durch das Netzwerk verbreiten soll", schreiben sie.
"Die anfängliche Cross-Attend-Operation, die die Anzahl der Positionen in der Sequenz reduziert, kann als eine Form der erlernten Sparsamkeit angesehen werden", fügen sie hinzu.
Es ist möglich, dass die auf diese Weise erlernte Sparsamkeit in den kommenden Jahren selbst ein mächtiges Werkzeug im Werkzeugkasten von Deep-Learning-Modellen sein könnte.