Kann ChatGPT die Zukunft vorhersagen? KI trainieren, um herauszufinden, was als nächstes passiert
Zeitreihendaten sind nützlich für Dinge wie die Vorhersage von Wetter, medizinischen Ereignissen oder finanziellen Veränderungen, und generative KI kann solche Sequenzen modellieren, wenn sie ein wenig Hilfe erhält, finden NYU-Wissenschaftler.
Das LLMtime-Programm der NYU findet das nächste wahrscheinliche Ereignis in einer Folge von Ereignissen, die in Zeichenfolgen numerischer Ziffern dargestellt werden.
Die heutigen generativen Programme für künstliche Intelligenz, Tools wie ChatGPT, sind auf dem besten Weg, viel mehr Arten von Ergebnissen als nur Text zu produzieren, wie ZDNET ausführlich untersucht hat.
Eine der wichtigsten dieser sogenannten „Modalitäten“ sind die sogenannten Zeitreihendaten - Daten, die dieselben Variablen zu unterschiedlichen Zeitpunkten messen, um Trends zu erkennen. Daten im Zeitreihenformat können wichtig sein, um beispielsweise die Krankengeschichte eines Patienten im Zeitverlauf anhand der von einem Arzt vorgenommenen Einträge in einem Diagramm zu verfolgen. Bei der sogenannten Zeitreihenvorhersage geht es darum, historische Daten zu nutzen und vorherzusagen, was als nächstes passiert. zum Beispiel: „Wird es diesem Patienten besser gehen?“
Bei herkömmlichen Ansätzen für Zeitreihendaten handelt es sich um Software, die speziell für genau diesen Datentyp entwickelt wurde. Aber jetzt erlangt die generative KI eine neue Fähigkeit, Zeitreihendaten auf die gleiche Weise zu verarbeiten, wie sie Aufsatzfragen, Bildgenerierung, Softwarecodierung und die verschiedenen anderen Aufgaben handhabt, bei denen ChatGPT und ähnliche Programme hervorragende Leistungen erbracht haben.
In einer neuen Studie, die diesen Monat von Nate Gruver von der New York University und Kollegen von der NYU und Carnegie Mellon veröffentlicht wurde, ist das GPT-3-Programm von OpenAI darauf trainiert, das nächste Ereignis in einer Zeitreihe vorherzusagen, ähnlich wie das nächste Wort in einem Satz.
„Da Sprachmodelle so aufgebaut sind, dass sie komplexe Wahrscheinlichkeitsverteilungen über Sequenzen darstellen, eignen sie sich theoretisch gut für die Modellierung von Zeitreihen“, schreiben Gruver und sein Team in ihrem Artikel „Large Language Models Are Zero-Shot Time Series Forecasters“, der auf der Website veröffentlicht wurde arXiv Pre-Print-Server. „Zeitreihendaten haben typischerweise genau die gleiche Form wie Sprachmodellierungsdaten, nämlich eine Sammlung von Sequenzen.“
Das von ihnen entwickelte Programm, LLMTime, sei „außerordentlich einfach“, schreiben Gruver und sein Team, und sei in der Lage, „speziell entwickelte Zeitreihenmethoden bei einer Reihe unterschiedlicher Probleme in einer Zero-Shot-Manier zu übertreffen oder zu übertreffen“. , was bedeutet, dass LLMTime ohne Feinabstimmung der von anderen Modellen verwendeten Downstream-Daten verwendet werden kann.“
Der Schlüssel zum Aufbau von LLMTime bestand für Gruver und sein Team darin, die sogenannte „Tokenisierung“ zu überdenken, also die Art und Weise, wie ein großes Sprachmodell die Daten darstellt, an denen es arbeitet.
Programme wie GPT-3 verwenden eine bestimmte Methode zur Eingabe von Wörtern und Zeichen, indem sie diese in Blöcke aufteilen, die einzeln aufgenommen werden können. Zeitreihendaten werden als Zahlenfolgen dargestellt, z. B. „123“; Die Zeitreihe ist lediglich das Muster, in dem solche Ziffernfolgen auftreten.
Vor diesem Hintergrund ist die Tokenisierung von GPT-3 problematisch, da diese Zeichenfolgen häufig in unangenehme Gruppierungen aufgeteilt werden. „Zum Beispiel wird die Zahl 42235630 vom GPT-3-Tokenizer als [422, 35, 630] tokenisiert, und Änderungen auch nur um eine einzelne Ziffer können zu einer völlig anderen Tokenisierung führen“, berichten Gruver und sein Team.
Um diese unangenehmen Gruppierungen zu vermeiden, haben Gruver und sein Team Code entwickelt, um um jede Ziffer einer Ziffernfolge Leerzeichen einzufügen, sodass jede Ziffer separat codiert wird.
Anschließend machten sie sich daran, GPT-3 zu trainieren, um die nächste Ziffernfolge in realen Beispielen von Zeitreihen vorherzusagen.
Jede Zeitreihe ist eine Abfolge von Dingen, die nacheinander passieren, wie zum Beispiel „Der Hund sprang von der Couch und rannte zur Tür“, wo es ein Ereignis und dann ein anderes gibt. Ein Beispiel für einen realen Datensatz, über den Menschen Vorhersagen treffen möchten, wäre die Vorhersage von Geldautomatenabhebungen auf der Grundlage historischer Abhebungen. Eine Bank wäre sehr daran interessiert, solche Dinge vorherzusagen.
Die Vorhersage von Abhebungen an Geldautomaten ist in der Tat eine der Herausforderungen eines Echtzeit-Serienwettbewerbs wie des Artificial Neural Network & Computational Intelligence Forecasting Competition, der von der britischen Lancaster University durchgeführt wird. Dieser Datensatz besteht einfach aus Zeichenfolgen und Zahlenfolgen in dieser Form:
T1: 18.03.1996 00-00-00: 13.4070294784581, 14.7250566893424 usw.
Der erste Teil ist offensichtlich der Datums- und Zeitstempel für „T1“, der den ersten Zeitpunkt darstellt, und was folgt, sind Beträge (getrennt durch Punkte, nicht durch Kommas, wie es in der europäischen Notation der Fall ist). Die Herausforderung für ein neuronales Netz besteht darin, anhand von Tausenden oder sogar Millionen solcher Elemente vorherzusagen, was im nächsten Moment nach dem letzten Beispiel in der Serie passieren würde - wie viel morgen von den Kunden abgehoben wird.
Die Autoren berichten: „LLMTime ist nicht nur in der Lage, plausible Vervollständigungen der realen und synthetischen Zeitreihen zu generieren, es erreicht auch höhere Wahrscheinlichkeiten […] bei der Zero-Shot-Auswertung als die dedizierten Zeitreihenmodelle […]“, die seit Jahrzehnten erstellt werden .
Das LLMtime-Programm findet heraus, wo sich eine Zahl in einer Verteilung befindet, ein eindeutiges Muster der Wiederkehr von Zahlen, um daraus zu schließen, ob eine Folge eines der üblichen Muster wie „exponentiell“ oder Gaußsches Muster darstellt.
Gruver und sein Team weisen jedoch darauf hin, dass eine der Einschränkungen der großen Sprachmodelle darin besteht, dass sie jeweils nur eine begrenzte Datenmenge aufnehmen können, die als „Kontextfenster“ bezeichnet wird. Um immer größere Zeitreihen verarbeiten zu können, müssen die Programme dieses Kontextfenster auf viel mehr Token erweitern. Dieses Projekt wird von zahlreichen Parteien untersucht, unter anderem vom Hyena-Team der Stanford University und dem kanadischen MILA Institute for AI und Microsoft.
Die offensichtliche Frage ist, warum ein großes Sprachmodell gut in der Lage sein sollte, Zahlen vorherzusagen. Wie die Autoren anmerken, gibt es für jede Zahlenfolge wie etwa die Abhebungen am Geldautomaten „beliebig viele Generierungsregeln, die mit der Eingabe konsistent sind“. Übersetzung: Es gibt so viele Gründe, warum diese bestimmten Zahlenfolgen erscheinen könnten, dass es schwer wäre, die zugrunde liegende Regel zu erraten, die sie erklärt.
Die Antwort ist, dass GPT-3 und seinesgleichen die Regeln finden, die unter allen möglichen Regeln die einfachsten sind. „LLMs können effektiv vorhersagen, weil sie Vervollständigungen bevorzugen, die sich aus einfachen Regeln ableiten und eine Art Occam-Rasiermesser übernehmen“, schreiben Gruver und sein Team und beziehen sich dabei auf das Prinzip der Sparsamkeit.
Manchmal wird das GPT-4-Programm in die Irre geführt, wenn es versucht, das Muster einer Zeitreihe herauszufinden, und zeigt, dass es die Zeitreihe nicht wirklich im herkömmlichen Sinne „versteht“.
Das bedeutet nicht, dass GPT-3 wirklich versteht, was vor sich geht. In einem zweiten Experiment übermittelten Gruver und sein Team GPT-4 (dem leistungsstärkeren Nachfolger von GPT-3) einen neuen Datensatz, den sie mithilfe einer bestimmten mathematischen Funktion erstellt hatten. Sie baten GPT-4, die mathematische Funktion abzuleiten, die die Zeitreihe erzeugte, um die Frage zu beantworten, „ob GPT-4 sein Verständnis einer bestimmten Zeitreihe im Text erklären kann“, schreiben Gruver und sein Team.
Sie fanden heraus, dass GPT-4 die mathematische Funktion besser erraten konnte als der Zufall, lieferte jedoch einige Erklärungen, die nicht stimmten. „Das Modell zieht manchmal falsche Schlussfolgerungen über das Verhalten der gesehenen Daten oder das erwartete Verhalten der Kandidatenfunktionen.“ Mit anderen Worten: Selbst wenn ein Programm wie GPT-4 das nächste Ereignis in einer Zeitreihe gut vorhersagen kann, sind seine Erklärungen am Ende „Halluzinationen“, also die Tendenz, falsche Antworten zu geben.
Gruver und sein Team sind begeistert davon, wie Zeitreihen in eine multimodale Zukunft für generative KI passen. „Die Einordnung der Zeitreihenvorhersage in die Generierung natürlicher Sprache kann als ein weiterer Schritt hin zur Vereinheitlichung weiterer Fähigkeiten in einem einzigen großen und leistungsstarken Modell angesehen werden, in dem das Verständnis zwischen vielen Aufgaben und Modalitäten geteilt werden kann“, schreiben sie in ihrem abschließenden Abschnitt.
Der Code für LLMTime ist auf GitHub veröffentlicht.