Wer ist am stärksten haftbar, wenn Ihr KI-generierter Code fehlerhaft wird?
Der Hyena-Code ist in der Lage, Datenmengen zu verarbeiten, die dazu führen, dass der GPT-ähnlichen Technologie der Speicher ausgeht und sie ausfällt.
Die Hyena-Hierarchie von Stanford und MILA ist eine Technologie zur Verknüpfung von Datenelementen, seien es Wörter oder Pixel in einem digitalen Bild. Die Technologie kann bei Benchmark-KI-Aufgaben eine ähnliche Genauigkeit erreichen wie der bestehende „Goldstandard“ für große Sprachmodelle, der „Aufmerksamkeits“-Mechanismus, jedoch mit nur 100-mal weniger Rechenleistung.
Bei aller Begeisterung für das Chatbot-KI-Programm ChatGPT von OpenAI und seine Nachfolgetechnologie GPT-4 sind die Programme letztlich nur Softwareanwendungen. Und wie alle Anwendungen unterliegen sie technischen Einschränkungen, die dazu führen können, dass ihre Leistung nicht optimal ist.
In einem im März veröffentlichten Artikel schlugen Wissenschaftler für künstliche Intelligenz (KI) der Stanford University und des kanadischen MILA-Instituts für KI eine Technologie vor, die weitaus effizienter als GPT-4 - oder etwas Ähnliches - bei der Verarbeitung großer Datenmengen sein könnte es in eine Antwort umwandeln.
Die als Hyena bekannte Technologie ist in der Lage, bei Benchmark-Tests wie der Beantwortung von Fragen eine gleichwertige Genauigkeit zu erreichen und dabei nur einen Bruchteil der Rechenleistung zu verbrauchen. In einigen Fällen ist der Hyena-Code in der Lage, Textmengen zu verarbeiten, die dazu führen, dass der GPT-ähnlichen Technologie einfach nicht mehr genügend Speicher zur Verfügung steht und sie ausfällt.
„Unsere vielversprechenden Ergebnisse auf der Submilliarden-Parameterskala legen nahe, dass Aufmerksamkeit möglicherweise nicht alles ist, was wir brauchen“, schreiben die Autoren. Diese Bemerkung bezieht sich auf den Titel eines wegweisenden KI-Berichts aus dem Jahr 2017: „Aufmerksamkeit ist alles, was Sie brauchen“. In diesem Artikel stellten der Google-Wissenschaftler Ashish Vaswani und seine Kollegen der Welt Googles Transformer AI-Programm vor. Der Transformer wurde zur Grundlage für jedes der jüngsten großen Sprachmodelle.
Aber der Transformer hat einen großen Fehler. Es verwendet etwas namens „Aufmerksamkeit“, bei dem das Computerprogramm die Informationen in einer Gruppe von Symbolen, beispielsweise Wörtern, übernimmt und diese Informationen in eine neue Gruppe von Symbolen verschiebt, beispielsweise die Antwort, die Sie von ChatGPT sehen, die die Ausgabe darstellt.
Diese Aufmerksamkeitsoperation - das wesentliche Werkzeug aller großen Sprachprogramme, einschließlich ChatGPT und GPT-4 - hat eine „quadratische“ Rechenkomplexität (Wiki „Zeitkomplexität“ der Berechnung). Diese Komplexität bedeutet, dass die Zeit, die ChatGPT benötigt, um eine Antwort zu erstellen, mit dem Quadrat der Datenmenge zunimmt, die ihm als Eingabe zugeführt wird.
Irgendwann, wenn es zu viele Daten gibt - zu viele Wörter in der Eingabeaufforderung oder zu viele Gesprächsstränge im Laufe stundenlanger Chats mit dem Programm - dann bleibt das Programm entweder bei der Bereitstellung einer Antwort hängen, oder es muss es tun Immer mehr GPU-Chips werden benötigt, um immer schneller zu laufen, was zu einem Anstieg der Rechenanforderungen führt.
In dem neuen Artikel „Hyena Hierarchy: Towards Larger Convolutional Language Models“, der auf dem Pre-Print-Server arXiv veröffentlicht wurde, schlagen Hauptautor Michael Poli aus Stanford und seine Kollegen vor, die Aufmerksamkeitsfunktion des Transformers durch etwas subquadratisches zu ersetzen. nämlich Hyäne.
Die Autoren erklären den Namen nicht, aber man kann sich mehrere Gründe für ein „Hyena“-Programm vorstellen. Hyänen sind in Afrika lebende Tiere, die kilometerweit jagen können. In gewisser Weise könnte ein sehr leistungsfähiges Sprachmodell wie eine Hyäne sein, die kilometerweit auf der Suche nach Nahrung ist.
Aber den Autoren geht es in Wirklichkeit um „Hierarchie“, wie der Titel schon sagt, und Hyänenfamilien haben eine strenge Hierarchie, nach der Mitglieder eines lokalen Hyänenclans unterschiedliche Rangstufen haben, die die Dominanz begründen. In ähnlicher Weise wendet das Hyena-Programm, wie Sie sehen werden, eine Reihe sehr einfacher Operationen immer wieder an, sodass sie zusammen eine Art Hierarchie der Datenverarbeitung bilden. Es ist dieses kombinatorische Element, das dem Programm seinen Namen Hyena gibt.
Zu den mitwirkenden Autoren des Papiers gehören Koryphäen der KI-Welt, wie Yoshua Bengio, der wissenschaftliche Direktor von MILA, der 2019 mit dem Turing Award ausgezeichnet wurde, dem Informatik-Äquivalent des Nobelpreises. Bengio wird allgemein die Entwicklung des Aufmerksamkeitsmechanismus zugeschrieben, lange bevor Vaswani und sein Team ihn für den Transformer adaptierten.
Zu den Autoren gehört auch Christopher Ré, außerordentlicher Professor für Informatik an der Stanford University, der in den letzten Jahren dazu beigetragen hat, die Vorstellung von KI als „Software 2.0“ voranzutreiben.
Um eine subquadratische Alternative zur Aufmerksamkeit zu finden, machten sich Poli und sein Team daran, zu untersuchen, wie der Aufmerksamkeitsmechanismus das tut, was er tut, um herauszufinden, ob diese Arbeit effizienter erledigt werden könnte.
Eine neuere Praxis in der KI-Wissenschaft, bekannt als mechanistische Interpretierbarkeit, liefert Erkenntnisse darüber, was tief im Inneren eines neuronalen Netzwerks, innerhalb der rechnerischen „Schaltkreise“ der Aufmerksamkeit, vor sich geht. Man kann es sich so vorstellen, als würde man Software auseinandernehmen, so wie man eine Uhr oder einen PC auseinandernehmen würde, um ihre Einzelteile zu sehen und herauszufinden, wie sie funktionieren.
Eine von Poli und seinem Team zitierte Arbeit ist eine Reihe von Experimenten des Forschers Nelson Elhage vom KI-Startup Anthropic. Diese Experimente nehmen die Transformer-Programme auseinander, um zu sehen, was die Aufmerksamkeit bewirkt.
Im Wesentlichen haben Elhage und sein Team herausgefunden, dass die Aufmerksamkeit auf ihrer grundlegendsten Ebene durch sehr einfache Computeroperationen funktioniert, wie etwa das Kopieren eines Wortes aus der letzten Eingabe und das Einfügen in die Ausgabe.
Wenn man zum Beispiel anfängt, in ein großes Sprachmodellprogramm wie ChatGPT einen Satz aus „Harry Potter und der Stein der Weisen“ einzugeben, etwa „Mr. Dursley war der Direktor einer Firma namens Grunnings…“ und einfach „D-u-r-s“ eintippt, Der Anfang des Namens könnte ausreichen, um das Programm zu veranlassen, den Namen „Dursley“ zu vervollständigen, da es den Namen in einem früheren Satz von „Stein der Weisen“ gesehen hat. Das System ist in der Lage, den Datensatz der Zeichen „l-e-y“ aus dem Speicher zu kopieren, um den Satz automatisch zu vervollständigen.
Allerdings stößt die Aufmerksamkeitsoperation auf das Problem der quadratischen Komplexität, wenn die Anzahl der Wörter immer größer wird. Mehr Wörter erfordern mehr sogenannte „Gewichte“ oder Parameter, um die Aufmerksamkeitsoperation auszuführen.
Wie die Autoren schreiben: „Der Transformer-Block ist ein leistungsstarkes Werkzeug für die Sequenzmodellierung, aber er ist nicht ohne Einschränkungen. Einer der bemerkenswertesten ist der Rechenaufwand, der mit zunehmender Länge der Eingabesequenz schnell ansteigt.“
Obwohl die technischen Details von ChatGPT und GPT-4 von OpenAI nicht bekannt gegeben wurden, geht man davon aus, dass sie über eine Billion oder mehr solcher Parameter verfügen könnten. Für die Ausführung dieser Parameter sind mehr GPU-Chips von Nvidia erforderlich, was die Rechenkosten in die Höhe treibt.
Um diese quadratischen Rechenkosten zu reduzieren, ersetzen Poli und sein Team die Aufmerksamkeitsoperation durch eine sogenannte „Faltung“, eine der ältesten Operationen in KI-Programmen, die bereits in den 1980er Jahren verfeinert wurde. Eine Faltung ist lediglich ein Filter, der Elemente in Daten herausfiltern kann, seien es die Pixel in einem digitalen Foto oder die Wörter in einem Satz.
Poli und sein Team machen eine Art Mash-up: Sie nutzen die Arbeit des Stanford-Forschers Daniel Y. Fu und seines Teams, um Faltungsfilter auf Wortfolgen anzuwenden, und kombinieren diese mit der Arbeit des Wissenschaftlers David Romero und Kollegen von der Vrije Universiteit Amsterdam Dadurch kann das Programm die Filtergröße im Handumdrehen ändern. Diese Fähigkeit zur flexiblen Anpassung reduziert die Anzahl der kostspieligen Parameter oder Gewichte, die das Programm haben muss.
Hyena ist eine Kombination von Filtern, die aufeinander aufbauen, ohne dass die Parameter des neuronalen Netzwerks enorm ansteigen.
Das Ergebnis des Mash-ups ist, dass eine Faltung auf eine unbegrenzte Textmenge angewendet werden kann, ohne dass immer mehr Parameter erforderlich sind, um immer mehr Daten zu kopieren. Es handelt sich um einen „aufmerksamkeitsfreien“ Ansatz, wie die Autoren es ausdrücken.
„Hyena-Betreiber sind in der Lage, die Qualitätslücke durch skalierbare Aufmerksamkeit erheblich zu verringern“, schreiben Poli und ihr Team, „und erreichen eine ähnliche Verwirrung und Downstream-Leistung mit einem geringeren Rechenbudget.“ Perplexität ist ein technischer Begriff, der sich darauf bezieht, wie ausgefeilt die Antwort ist, die von einem Programm wie ChatGPT generiert wird.
Um die Leistungsfähigkeit von Hyena zu demonstrieren, testen die Autoren das Programm anhand einer Reihe von Benchmarks, die bestimmen, wie gut ein Sprachprogramm bei verschiedenen KI-Aufgaben ist.
Ein Test ist The Pile, eine 825 Gigabyte große Textsammlung, die 2020 von Eleuther.ai, einem gemeinnützigen KI-Forschungsunternehmen, zusammengestellt wurde. Die Texte stammen aus „hochwertigen“ Quellen wie PubMed, arXiv, GitHub, dem US-Patentamt und anderen, sodass die Quellen eine strengere Form haben als beispielsweise nur Reddit-Diskussionen.
Die größte Herausforderung für das Programm bestand darin, das nächste Wort zu erzeugen, wenn eine Reihe neuer Sätze als Eingabe eingegeben wurden. Das Hyena-Programm konnte mit 20 % weniger Rechenoperationen eine gleichwertige Punktzahl wie das ursprüngliche GPT-Programm von OpenAI aus dem Jahr 2018 erreichen - „die erste aufmerksamkeitsfreie Faltungsarchitektur, die der GPT-Qualität entspricht“ mit weniger Operationen, schreiben die Forscher.
Hyena konnte das ursprüngliche GPT-Programm von OpenAI mit 20 % weniger Rechenoperationen erreichen.
Als nächstes testeten die Autoren das Programm an Denkaufgaben namens SuperGLUE, die 2019 von Wissenschaftlern der New York University, Facebook AI Research, der DeepMind-Einheit von Google und der University of Washington eingeführt wurden.
Wenn man zum Beispiel den Satz „Mein Körper warf einen Schatten über das Gras“ und zwei Alternativen für den Grund erhielt, „die Sonne ging auf“ oder „das Gras wurde gemäht“, und man ihn aufforderte, sich für das eine oder das andere zu entscheiden Das Programm sollte als entsprechende Ausgabe „Die Sonne ging auf“ generieren.
Bei mehreren Aufgaben erzielte das Hyena-Programm Ergebnisse, die denen einer GPT-Version entsprachen oder nahekamen, während es mit weniger als der Hälfte der Trainingsdaten trainiert wurde.
Noch interessanter ist, was geschah, als die Autoren die Länge der als Eingabe verwendeten Phrasen erhöhten: Mehr Wörter bedeuteten eine bessere Leistungsverbesserung. Mit 2.048 „Tokens“, die man sich als Wörter vorstellen kann, benötigt Hyena weniger Zeit für die Erledigung einer Sprachaufgabe als der Aufmerksamkeitsansatz.
Bei 64.000 Token erreichen die Autoren „Hyena-Geschwindigkeiten bis zum Hundertfachen“ - eine hundertfache Leistungssteigerung.
Poli und sein Team argumentieren, dass sie mit Hyena nicht nur einen anderen Ansatz versucht haben, sondern auch „die quadratische Barriere durchbrochen“ haben, was zu einer qualitativen Veränderung der Schwierigkeit für ein Programm geführt hat, Ergebnisse zu berechnen.
Sie deuten darauf hin, dass es in der Zukunft möglicherweise auch erhebliche Qualitätsverschiebungen geben wird: „Das Durchbrechen der quadratischen Barriere ist ein wichtiger Schritt hin zu neuen Möglichkeiten für Deep Learning, wie etwa die Nutzung ganzer Lehrbücher als Kontext, die Generierung langer Musik oder die Verarbeitung von Bildern im Gigapixel-Maßstab.“ " schreiben sie.
Die Fähigkeit der Hyäne, einen Filter zu verwenden, der sich effizienter über Tausende und Abertausende von Wörtern erstreckt, bedeutet laut den Autoren, dass es praktisch keine Grenzen für den „Kontext“ einer Abfrage an ein Sprachprogramm geben kann. Es könnte sich tatsächlich an Elemente von Texten oder früheren Gesprächen erinnern, die weit vom aktuellen Gesprächsthema entfernt sind - genau wie die Hyänen, die kilometerweit jagen.
„Hyänenbetreiber haben einen unbegrenzten Kontext“, schreiben sie. „Sie sind nämlich nicht künstlich z. B. durch die Lokalität eingeschränkt und können weitreichende Abhängigkeiten zwischen jedem der Elemente von [Eingabe] lernen.“
Darüber hinaus kann das Programm nicht nur auf Wörter, sondern auch auf Daten unterschiedlicher Modalitäten angewendet werden, beispielsweise auf Bilder und möglicherweise auf Videos und Töne.
Es ist wichtig zu beachten, dass das im Papier gezeigte Hyena-Programm im Vergleich zu GPT-4 oder sogar GPT-3 klein ist. Während GPT-3 über 175 Milliarden Parameter oder Gewichte verfügt, verfügt die größte Version von Hyena nur über 1,3 Milliarden Parameter. Daher bleibt abzuwarten, wie gut Hyena im direkten direkten Vergleich mit GPT-3 oder 4 abschneiden wird.
Wenn die erzielte Effizienz jedoch auch bei größeren Versionen des Hyena-Programms Bestand hat, könnte es sich um ein neues Paradigma handeln, das genauso weit verbreitet ist, wie es im letzten Jahrzehnt der Fall war.
Poli und sein Team kommen zu dem Schluss: „Einfachere subquadratische Designs wie Hyena, die auf einer Reihe einfacher Leitprinzipien und der Bewertung mechanistischer Interpretierbarkeits-Benchmarks basieren, können die Grundlage für effiziente große Modelle bilden.“