Mit dem RT-2 von DeepMind wird die Robotersteuerung zu einer Angelegenheit eines KI-Chats

Das Unterrichten eines Roboters kann einfach eine Frage eines großen Sprachmodells sein, das Aktionen in derselben Eingabeaufforderung wie Bilder und Wörter verarbeitet.

Der Robotik-Transformator Version 2 von DeepMind ist ein großes Sprachmodell, das nicht nur auf Bildern und Text, sondern auch auf Koordinatendaten der Bewegung eines Roboters im Raum trainiert wird. Sobald es trainiert ist, kann es mit einem Bild und einem Befehl konfrontiert werden und sowohl einen Aktionsplan als auch die zur Ausführung des Befehls erforderlichen Koordinaten ausspucken.

Ein Schlüsselelement der Zukunft der Robotik wird darin bestehen, wie Menschen Maschinen in Echtzeit anweisen können. Doch welche Art von Unterricht das ist, ist in der Robotik eine offene Frage.

Neue Untersuchungen der DeepMind-Abteilung von Google legen nahe, dass ein großes Sprachmodell, ähnlich dem ChatGPT von OpenAI, bei einer Verknüpfung zwischen Wörtern und Bildern und einer Reihe von Daten, die von einem Roboter aufgezeichnet wurden, eine Möglichkeit schafft, Anweisungen an eine Maschine so einfach einzugeben, wie man sich unterhält mit ChatGPT.

Der Artikel von DeepMind, „RT-2: Vision-Language-Action Models Transfer Web Knowledge to Robotic Control“, der von Anthony Brohan und Kollegen verfasst und in einem Blogbeitrag veröffentlicht wurde, stellt RT-2 vor, was es als „Vision-Language-Action Models Transfer Web Knowledge to Robotic Control“ bezeichnet. „Sprache-Aktion“-Modell. (Es gibt auch ein begleitendes GitHub-Repository.) Das Akronym RT steht für „Robotics Transformer“.

Die Herausforderung besteht darin, ein Programm dazu zu bringen, Bilder und Text zu verarbeiten, um als Ausgabe eine Reihe von Aktionen zu erzeugen, die für einen Roboter von Bedeutung sind. „Damit Vision-Language-Modelle einen Roboter steuern können, müssen sie darauf trainiert werden, Aktionen auszugeben“, wie sie es ausdrücken.

Die wichtigste Erkenntnis der Arbeit ist: „Wir stellen Roboteraktionen als eine andere Sprache dar“, schreiben Brohan und sein Team. Das bedeutet, dass von einem Roboter aufgezeichnete Aktionen zur Quelle neuer Aktionen werden können, so wie das Training mit Texten aus dem Internet dazu führt, dass ChatGPT neuen Text generiert.

Die Aktionen des Roboters werden im Robotics Transformer als Koordinaten im Raum, sogenannte Freiheitsgrade, kodiert.

„Der Aktionsraum besteht aus 6-DoF [Freiheitsgrad] Positions- und Rotationsverschiebung des Roboter-Endeffektors sowie dem Ausfahrgrad des Robotergreifers und einem speziellen diskreten Befehl zum Beenden der Episode, der ausgelöst werden sollte durch die Richtlinie, um den erfolgreichen Abschluss zu signalisieren.“

Die Token werden während des Trainings in derselben Phrase wie die Sprach-Tokens von Wörtern und die Bild-Tokens von Bildern in das Programm eingespeist. Roboterkoordinaten werden zu einem weiteren Teil einer Phrase.

Die Aktionen des Roboters werden im Robotics Transformer als Koordinaten im Raum, sogenannte Freiheitsgrade, kodiert. Die Token werden während des Trainings in derselben Phrase wie die Sprach-Tokens von Wörtern und die Bild-Tokens von Bildern in das Programm eingespeist. Roboterkoordinaten werden zu einem weiteren Teil einer Phrase.

Die Verwendung von Koordinaten ist ein bedeutender Meilenstein. Normalerweise wird die Physik von Robotern durch eine Low-Level-Programmierung spezifiziert, die sich von sprachlichen und bildbasierten neuronalen Netzen unterscheidet. Hier ist alles gemischt.

Das RT-Programm baut auf zwei früheren Bemühungen von Google auf, PaLI-X und PaLM-E genannt, die beide sogenannte Vision-Language-Modelle sind. Wie der Name schon sagt, handelt es sich bei Vision-Language-Modellen um Programme, die Daten aus Text mit Daten aus Bildern mischen, sodass das Programm die Fähigkeit entwickelt, die beiden in Beziehung zu setzen, beispielsweise Bildunterschriften zuzuweisen oder eine Frage zu den Inhalten eines Bildes zu beantworten .

Während sich PaLI-X nur auf Bild- und Textaufgaben konzentriert, geht PaLM-E, das kürzlich von Google eingeführt wurde, noch einen Schritt weiter, indem es die Sprache und das Bild verwendet, um einen Roboter zu steuern, indem es Befehle als Ausgabe generiert. RT geht über PaLM-E hinaus, indem es nicht nur den Aktionsplan, sondern auch die Koordinaten der Bewegung im Raum generiert.

RT-2 „ist ein bedeutender Fortschritt“, sagte Sergey Levine, außerordentlicher Professor an der Fakultät für Elektrotechnik an der University of California in Berkeley, in einer E-Mail-Korrespondenz mit ZDNET. „RT-2 kann man sich im Wesentlichen als End-to-End-Version dessen vorstellen, was PaLM-E + RT1 in einem Modell leisten“, sagte Levine, der am PaLM-E-Projekt gearbeitet hat. „Dies ermöglicht eine direktere Übertragung von Wissen im Internetmaßstab an Roboter und könnte in Zukunft eine skalierbarere Klasse von Ansätzen bieten.“

Im Fall von RT-2 handelt es sich um einen Nachfolger der letztjährigen Version RT-1. Der Unterschied zwischen RT-1 und RT-2 besteht darin, dass das erste RT auf einem kleinen Sprach- und Bildprogramm, EfficientNet-B3, basierte. RT-2 basiert jedoch auf PaLI-X und PaLM-E, sogenannten großen Sprachmodellen. Das bedeutet, dass sie viel mehr neuronale Gewichte oder Parameter haben, die Programme tendenziell leistungsfähiger machen. PaLI-X hat 5 Milliarden Parameter in einer Version und 55 Milliarden in einer anderen. PaLM-E hat 12 Milliarden.

Das Training von RT-2 umfasst sowohl Bild- als auch Textkombinationen sowie Aktionen, die aus aufgezeichneten Roboterdaten extrahiert werden.

Sobald der RT-2 trainiert wurde, führen die Autoren eine Reihe von Tests durch, bei denen der Roboter Dinge aufheben, bewegen, fallen lassen usw. muss, indem er bei der Eingabeaufforderung Befehle in natürlicher Sprache und ein Bild eingibt , genau so, als würde man ChatGPT bitten, etwas zu verfassen.

Wenn beispielsweise eine Eingabeaufforderung angezeigt wird, bei der das Bild einen Tisch mit einem Bündel Dosen und einem Schokoriegel zeigt:

Given  Instruction: Pick the object that is different from all other objects

Der Roboter generiert eine von Koordinaten begleitete Aktion, um den Schokoriegel aufzunehmen:

Prediction: Plan: pick rxbar chocolate. Action: 1 128 129 125 131 125 128 127

Die dreistelligen Zahlen sind der Schlüssel zu einem Codebuch der Koordinatenbewegungen.

Wenn RT-2 dazu aufgefordert wird, generiert es sowohl einen Aktionsplan als auch eine Reihe von Koordinaten im Spacer, um diese Aktionen auszuführen.

Ein wichtiger Aspekt ist, dass es sich bei vielen Elementen der Aufgaben um brandneue, noch nie zuvor gesehene Objekte handeln kann. „RT-2 ist in der Lage, auf eine Vielzahl realer Situationen zu verallgemeinern, die Argumentation, Symbolverständnis und menschliches Erkennen erfordern“, beziehen sie sich darauf.

„Wir beobachten eine Reihe neuer Fähigkeiten“, so das Ergebnis. „Das Modell ist in der Lage, aus Roboterdaten erlernte Pick-and-Place-Fähigkeiten zu nutzen, um Objekte in der Nähe semantisch angegebener Orte, wie etwa bestimmter Zahlen oder Symbole, zu platzieren, obwohl diese Hinweise in den Roboterdaten nicht vorhanden sind. Das Modell kann auch Beziehungen zwischen ihnen interpretieren.“ Objekte, um zu bestimmen, welches Objekt ausgewählt und wo platziert werden soll, obwohl in den Roboterdemonstrationen keine solchen Beziehungen bereitgestellt werden.

In Tests mit RT-1 und anderen Programmen ist der RT-2, der entweder PaLI-X oder PaLM-E verwendet, viel kompetenter bei der Erledigung von Aufgaben und bewältigt im Durchschnitt etwa 60 % der Aufgaben mit bisher unbekannten Objekten, gegenüber weniger als 50 % bei die bisherigen Programme.

Es gibt auch Unterschiede zwischen PaLI-X, das nicht speziell für Roboter entwickelt wurde, und PaLM-E, das speziell für Roboter entwickelt wurde. „Wir stellen außerdem fest, dass das größere, auf PaLI-X basierende Modell zwar im Durchschnitt zu einem besseren Symbolverständnis, Argumentation und einer besseren Personenerkennungsleistung führt, das kleinere, auf PaLM-E basierende Modell jedoch bei Aufgaben, die mathematisches Denken beinhalten, einen Vorteil hat.“ Die Autoren führen diesen Vorteil auf „die unterschiedliche vorab trainierte Mischung, die in PaLM-E verwendet wird, was zu einem Modell führt, das bei mathematischen Berechnungen leistungsfähiger ist als das größtenteils visuell vorab trainierte PaLI-X.“

Die Autoren kommen zu dem Schluss, dass der Einsatz von Vision-Language-Action-Programmen „den Bereich des Roboterlernens in eine strategische Position bringen kann, um sich mit Fortschritten in anderen Bereichen weiter zu verbessern“, so dass der Ansatz von einer besseren Sprach- und Bildverarbeitung profitieren kann.

Es gibt jedoch einen Vorbehalt, der auf die Idee der Steuerung des Roboters in Echtzeit zurückgeht. Die großen Sprachmodelle sind sehr rechenintensiv, was beim Erhalten von Antworten zu einem Problem wird.

„Der Rechenaufwand dieser Modelle ist hoch, und da diese Methoden auf Umgebungen angewendet werden, die eine Hochfrequenzsteuerung erfordern, kann die Echtzeitinferenz zu einem großen Engpass werden“, schreiben sie. „Eine spannende Richtung für die zukünftige Forschung ist die Erforschung von Quantisierungs- und Destillationstechniken, die es solchen Modellen ermöglichen könnten, mit höheren Raten oder auf kostengünstigerer Hardware zu laufen.“