OpenAIs o3 ist noch kein AGI, aber es hat einfach etwas getan, was keine andere KI getan hat

Das neue KI-Modell „macht etwas völlig anderes als die GPT-Serie.“

Sam Altman und Vertreter von OpenAI diskutieren die Leistung des neuen o3-Modells beim ARC-AGI-Test.

Das neueste große Sprachmodell von OpenAI ist noch nicht im Umlauf, aber wir haben bereits einige Möglichkeiten zu erkennen, was es kann und was nicht.

Die „o3“-Version von OpenAI wurde am 20. Dezember in Form einer Video-Werbung vorgestellt, was bedeutet, dass die meisten Menschen außerhalb des Unternehmens keine Ahnung haben, wozu sie wirklich fähig ist. (Externe Sicherheitstestgruppen erhalten frühzeitigen Zugang.)

Obwohl das Video viele Diskussionen über verschiedene Benchmark-Erfolge enthielt, war die Botschaft von OpenAI-Mitbegründer und CEO Sam Altman im Video sehr kurz. Seine größte und vageste Aussage war, dass o3 „ein unglaublich intelligentes Modell ist“.

ARC-AGI hat o3 auf die Probe gestellt

OpenAI plant, die „Mini“-Version von o3 gegen Ende Januar und die Vollversion irgendwann danach zu veröffentlichen, sagte Altman.

Ein Außenstehender hatte jedoch die Chance, o3 gewissermaßen auf die Probe zu stellen.

Der Test wird in diesem Fall „Abstraction and Reasoning Corpus for Artificial General Intelligence“ oder ARC-AGI genannt. Es ist eine Sammlung von „Herausforderungen für intelligente Systeme“, ein neuer Maßstab. Der ARC-AGI gilt als „der einzige Benchmark, der speziell zur Messung der Anpassungsfähigkeit an Neuheiten entwickelt wurde“. Das heißt, es soll der Erwerb neuer Fähigkeiten getestet werden, nicht nur die Anwendung von auswendig gelerntem Wissen.

AGI, künstliche allgemeine Intelligenz, wird von manchen in der KI als der Heilige Gral angesehen - das Erreichen eines Niveaus maschineller Intelligenz, das der menschlichen Intelligenz ebenbürtig oder diese übertreffen könnte. Die Idee von ARC-AGI besteht darin, die KI zu „intelligenteren und menschenähnlicheren künstlichen Systemen“ zu führen.

Das o3-Modell erzielte bei ARC-AGI eine Genauigkeit von 76 % in einer offiziell von OpenAI und dem Autor von ARC-AGI, François Chollet, einem Wissenschaftler in der Abteilung für künstliche Intelligenz von Google, koordinierten Bewertung.

Eine Verschiebung der KI-Fähigkeiten

Auf der Website von ARC-AGI schrieb Chollet letzte Woche, dass die Punktzahl von 76 % das erste Mal sei, dass die KI bei der Prüfung die Punktzahl eines Menschen übertroffen habe, wie die Antworten menschlicher Mechanical Turk-Arbeiter zeigen, die die Prüfung abgelegt haben und die Im Durchschnitt wurden knapp über 75 % richtig bewertet.

François Chollet, Erfinder von ARC-AGI, sagt, dass die Menge an Aktivitäten, die mit o3 stattfinden, darauf hindeutet, dass es eine völlig andere Architektur verwendet als seine GPT-4-Vorgänger.

Chollet schrieb, dass die hohe Punktzahl „eine überraschende und wichtige Stufenfunktionssteigerung der KI-Fähigkeiten darstellt und eine neuartige Fähigkeit zur Aufgabenanpassung zeigt, die in den Modellen der GPT-Familie noch nie zuvor gesehen wurde.“ Er fügte hinzu: „Alle Kenntnisse über KI-Fähigkeiten müssen für o3 aktualisiert werden.“

Die Errungenschaft stelle „einen echten Durchbruch“ und „eine qualitative Veränderung der KI-Fähigkeiten“ dar, erklärte Chollet. Chollet prognostiziert, dass die Fähigkeit von o3, sich „an Aufgaben anzupassen, mit denen es noch nie zuvor konfrontiert wurde“, bedeutet, dass „man planen sollte, dass diese Fähigkeiten innerhalb relativ kurzer Zeit mit menschlicher Arbeit konkurrenzfähig werden“.

Chollets Bemerkungen sind bemerkenswert, weil er nie ein Befürworter der KI war. Als er 2019 ARC-AGI gründete, erzählte er mir in einem Interview für ZDNET, dass der stetige Strom an „bombastischen Presseartikeln“ von KI-Unternehmen „irreführend darauf hindeutet, dass KI auf menschlicher Ebene vielleicht noch ein paar Jahre entfernt ist“. er betrachtete eine solche Übertreibung als „eine Illusion“.

Die ARC-AGI-Fragen sind für die Menschen leicht zu verstehen und ziemlich einfach zu lösen. Jede Herausforderung zeigt drei bis fünf Beispiele der Frage und die richtige Antwort. Anschließend wird dem Testteilnehmer eine ähnliche Frage vorgelegt und er wird gebeten, die fehlende Antwort anzugeben.

Die Grundform von ARC-AGI besteht darin, drei bis fünf Eingabe- und Ausgabebeispiele zu haben, die die Frage und ihre Antwort darstellen, und dann ein letztes Eingabebeispiel, für das die Antwort durch Bereitstellung des richtigen Ausgabebilds bereitgestellt werden muss. Für einen Menschen ist es ziemlich einfach herauszufinden, welches Bild er erzeugen soll, indem er auf farbige Pixel tippt, auch wenn er die Regel nicht per se formulieren kann.

Die Fragen sind nicht textbasiert, sondern bestehen aus Bildern. Zuerst wird ein Raster aus Pixeln mit farbigen Formen angezeigt, gefolgt von einer zweiten Version, die in irgendeiner Weise verändert wurde. Die Frage ist: Welche Regel ändert das erste Bild in das zweite Bild?

Mit anderen Worten: Die Herausforderung beruht nicht direkt auf der natürlichen Sprache, dem gefeierten Bereich großer Sprachmodelle. Stattdessen wird die Formulierung abstrakter Muster im visuellen Bereich getestet.

Probieren Sie ARC-AGI selbst aus

Auf der Challenge-Website von Chollet können Sie ARC-AGI selbst ausprobieren. Sie beantworten die Herausforderung, indem Sie in einem leeren Raster „zeichnen“ und jedes Pixel mit der richtigen Farbe füllen, um das richtige Raster aus farbigen Pixeln als „Antwort“ zu erstellen.

Es macht Spaß, ähnlich wie Sudoku oder Tetris. Selbst wenn Sie die Regel nicht verbal formulieren können, werden Sie wahrscheinlich ziemlich schnell herausfinden, welche Kästchen eingefärbt werden müssen, um die Lösung zu erhalten. Der zeitaufwändigste Teil besteht tatsächlich darin, auf jedes Pixel im Raster zu tippen, um seine Farbe zuzuweisen.

Eine richtige Antwort erzeugt eine Konfetti-Wurf-Animation auf der Webseite und die Meldung „Sie haben das ARC Prize Daily Puzzle gelöst. Sie sind immer noch (im Allgemeinen) intelligenter als KI.“

Beachten Sie, dass der Test von o3 oder einem anderen Modell nicht direkt auf die Pixel wirkt. Stattdessen wird das Äquivalent als Matrix aus Zahlenzeilen und -spalten in die Maschine eingespeist, die als Antwort in eine andere Matrix umgewandelt werden muss. Daher „sehen“ KI-Modelle den Test nicht auf die gleiche Weise wie ein Mensch.

Was noch unklar ist

Trotz der Leistung von o3 ist es schwierig, definitive Aussagen über die Fähigkeiten von o3 zu treffen. Da es sich bei dem OpenAI-Modell um eine Closed-Source-Lösung handelt, ist immer noch nicht genau klar, wie das Modell die Herausforderung löst.

Da Chollet kein Teil von OpenAI ist, muss er darüber spekulieren, wie o3 das macht, was es tut.

Er vermutet, dass dieser Erfolg darauf zurückzuführen ist, dass OpenAI die „Architektur“ von o3 gegenüber der seiner Vorgänger verändert hat. Eine Architektur in der KI bezieht sich auf die Anordnung und Beziehung der Funktionselemente, die dem Code seine Struktur verleihen.

Chollet spekuliert im Blog: „Zur Testzeit durchsucht das Modell den Raum möglicher Gedankenketten (Chains of Thought, CoTs) und beschreibt die Schritte, die zur Lösung der Aufgabe erforderlich sind, auf eine Weise, die der Monte-Carlo-Baumsuche im AlphaZero-Stil vielleicht nicht allzu unähnlich ist.“

Der Begriff „Denkkette“ bezieht sich auf einen immer beliebter werdenden Ansatz in der generativen KI, bei dem das KI-Modell die Abfolge der Berechnungen detailliert beschreiben kann, die es auf der Suche nach der endgültigen Antwort durchführt. AlphaZero ist das berühmte KI-Programm der DeepMind-Einheit von Google, das 2016 Menschen im Schach besiegte. Eine Monte-Carlo-Baumsuche ist ein jahrzehntealter Ansatz der Informatik.

In einem E-Mail-Austausch erzählte mir Chollet etwas mehr über seine Gedanken. Ich fragte, wie er zu dieser Idee einer Suche über Gedankenketten gekommen sei. „Wenn das Modell stundenlang ‚denkt‘ und beim Lösen eines einzelnen Rätsels Millionen von Token generiert, muss es eindeutig eine Art Suche durchführen“, antwortete Chollet.

Chollet fügte hinzu:

It is completely obvious from the latency/cost characteristics of the model that it is doing something completely different from the GPT series. It's not the same architecture, nor in fact anything remotely close. The defining factor of the new system is a huge amount of test-time search. Previously, 4 years of scaling up the same architecture (the GPT series) had yielded no progress on ARC, and now this system which clearly has a new architecture is creating a step function change in capabilities, so architecture is everything.

Hier gibt es eine Reihe von Vorbehalten. OpenAI gab nicht bekannt, wie viel Geld für eine seiner o3-Versionen zur Lösung von ARC-AGI ausgegeben wurde. Das ist ein erhebliches Versäumnis, denn ein Kriterium von ARC-AGI sind die tatsächlichen Kosten für die Verwendung von GPU-Chips als Stellvertreter für die „Effizienz“ des KI-Modells.

Chollet teilte mir in einer E-Mail mit, dass der Ansatz von o3 keinem „Brute-Force“-Ansatz gleichkomme, aber er witzelte: „Natürlich könnte man Brute-Force auch so definieren, dass man übermäßig viel Rechenleistung auf ein einfaches Problem wirft, „In diesem Fall könnte man sagen, dass es sich um rohe Gewalt handelt.“

Chollet weist außerdem darauf hin, dass o3 mithilfe des Trainingsdatensatzes des Wettbewerbs für die Durchführung des ARC-AGI-Tests trainiert wurde. Das heißt, es ist noch nicht klar, wie eine saubere Version von o3 ohne Prüfungsvorbereitung an die Prüfung herangehen würde.

Chollet sagte mir in einer E-Mail: „Es wird interessant sein zu sehen, welche Ergebnisse das Basissystem ohne ARC-bezogene Informationen erzielt, aber die Tatsache, dass das System über den Trainingssatz auf ARC abgestimmt ist, beeinträchtigt seine Leistung auf keinen Fall.“ . Dafür ist das Trainingsset gedacht, selbst nach dem Training an Millionen generierter ARC-Aufgaben konnte bisher niemand ähnliche Ergebnisse erzielen.

o3 schlägt bei einigen einfachen Aufgaben immer noch fehl

Trotz der Unsicherheit scheint eines ganz klar zu sein: Wer sich nach AGI sehnt, wird enttäuscht sein. Chollet betont, dass der ARC-AGI-Test „ein Forschungsinstrument“ sei und dass „das Bestehen des ARC-AGI nicht mit dem Erreichen des AGI gleichzusetzen ist.“

„Tatsächlich glaube ich noch nicht, dass o3 AGI ist“, schreibt Chollet im ARC-AGI-Blog. „o3 versagt immer noch bei einigen sehr einfachen Aufgaben, was auf grundlegende Unterschiede zur menschlichen Intelligenz hinweist.“

Um zu zeigen, dass wir immer noch nicht die Intelligenz auf menschlicher Ebene erreicht haben, weist Chollet auf einige der einfachen Probleme in ARC-AGI hin, die o3 nicht lösen kann. Ein solches Problem besteht darin, ein farbiges Quadrat einfach um einen bestimmten Betrag zu verschieben - ein Muster, das einem Menschen schnell klar wird.

Ein Beispielproblem von ARC-AGI, bei dem das o3-Modell versagt hat.