Warum Nvidia Robotern das Drehen von Stiften beibringt und wie generative KI dabei hilft

Nvidia nutzte GPT-4, um das Verstärkungslernen für Roboter zu verbessern, indem bessere Belohnungen geschaffen wurden, als es menschliche Programmierer könnten.

Nvidias Roboterhand in der Simulation.

Der Bereich der Robotik, eine klassische Anwendung künstlicher Intelligenz, wurde kürzlich durch die sehr neue und modische Technologie der generativen KI erweitert, Programme wie große Sprachmodelle von OpenAI, die mit Aussagen natürlicher Sprache interagieren können.

Beispielsweise hat Googles DeepMind-Einheit dieses Jahr RT-2 vorgestellt, ein großes Sprachmodell, dem ein Bild und ein Befehl präsentiert werden können und der dann sowohl einen Aktionsplan als auch die zur Ausführung des Befehls erforderlichen Koordinaten ausspuckt.

Es gibt jedoch eine Schwelle, die generative Programme nicht überschreiten können: Sie können „hochrangige“ Aufgaben wie die Planung der Route eines Roboters zu einem Ziel erledigen, aber sie können keine „niedrigrangigen“ Aufgaben wie die Manipulation der Gelenke eines Roboters bewältigen Roboter zur Feinmotoriksteuerung.

Neue in diesem Monat veröffentlichte Arbeiten von Nvidia deuten darauf hin, dass Sprachmodelle dieser Kluft möglicherweise näher kommen könnten. Ein Programm namens Eureka verwendet Sprachmodelle, um Ziele zu setzen, die wiederum dazu verwendet werden können, Roboter auf einem niedrigen Niveau zu steuern, einschließlich der Veranlassung, sie zu feinmotorischen Aufgaben wie der Manipulation von Objekten durch Roboterhände zu veranlassen.

Das Eureka-Programm ist nur das erste von wahrscheinlich vielen Versuchen, die Kluft zu überwinden, da Eureka innerhalb einer Computersimulation der Robotik arbeitet; Es steuert noch keinen physischen Roboter in der realen Welt.

„Die Nutzung [großer Sprachmodelle] zum Erlernen komplexer Manipulationsaufgaben auf niedriger Ebene, wie etwa das geschickte Drehen eines Stifts, bleibt ein offenes Problem“, schreiben Hauptautor Yecheng Jason Ma und Kollegen von Nvidia, der University of Pennsylvania, Caltech und der University of Pennsylvania Texas at Austin, in dem Artikel „Eureka: Human-level, Belohnungsdesign durch Codierung großer Sprachen, Modelle“, der diesen Monat auf dem arXiv-Preprint-Server veröffentlicht wurde.

Es gibt auch einen begleitenden Blogbeitrag von Nvidia.

Die Beobachtung von Ma und Team stimmt mit der Ansicht langjähriger Robotikforscher überein. Laut Sergey Levine, außerordentlicher Professor am Fachbereich Elektrotechnik an der University of California in Berkeley, sind Sprachmodelle keine gute Wahl für „den letzten Zentimeter, den Teil, der damit zu tun hat, dass der Roboter tatsächlich Dinge auf der Welt physisch berührt“. weil eine solche Aufgabe „größtenteils frei von Semantik“ ist.

„Es könnte möglich sein, ein Sprachmodell zu verfeinern, um auch Griffe vorherzusagen, aber es ist nicht klar, ob das tatsächlich helfen wird, denn was sagt Ihnen die Sprache darüber, wo Sie Ihre Finger auf das Objekt legen müssen?“ Levine sagte gegenüber ZDNET. „Vielleicht sagt es Ihnen ein wenig, aber vielleicht nicht so viel, dass es tatsächlich einen Unterschied macht.“

Das Eureka-Papier geht das Problem indirekt an. Anstatt das Sprachmodell der Robotersimulation mitteilen zu lassen, was sie tun soll, wird es verwendet, um „Belohnungen“ zu schaffen, Zielzustände, die der Roboter anstreben kann. Belohnungen sind als Methode im sogenannten Reinforcement Learning gut etabliert, einer Form der maschinellen Lern-KI, auf die Levine aus Berkeley und andere Robotiker beim Robotertraining zurückgreifen.

Die Hypothese von Ma und seinem Team ist, dass ein großes Sprachmodell diese Belohnungen für das verstärkende Lernen besser gestalten kann als ein menschlicher KI-Programmierer.

In einem Prozess, der als Belohnungs-„Evolution“ bekannt ist, schreibt der Programmierer als Eingabeaufforderung für GPT-4 alle Details des Problems, die Daten über die Robotersimulation - Dinge wie die Umgebungseinschränkungen für das, was ein Roboter tun kann - aus. und die bereits ausprobierten Belohnungen und bittet GPT-4, diese zu verbessern. GPT-4 entwickelt dann neue Belohnungen und testet die Belohnungen iterativ.

Evolution ist der Name des Programms: „Evolution-driven Universal REward Kit for Agents“ oder Eureka.

Der Grundriss, wie Eureka funktioniert: Alle grundlegenden Entwürfe des menschlichen Programmierers für die Robotersimulation übernehmen, dann viele Belohnungen erstellen und sie iterativ ausprobieren.

Ma und ihr Team stellten ihre Erfindung auf Herz und Nieren bei zahlreichen Simulationen von Aufgaben unter Beweis, beispielsweise indem sie einen Roboterarm dazu brachten, eine Schublade zu öffnen. Sie berichten, dass Eureka „Leistungen auf menschlichem Niveau bei der Belohnungsgestaltung in einer vielfältigen Suite von 29 Open-Source-RL-Umgebungen erreicht, die 10 verschiedene Robotermorphologien umfassen, darunter Vierbeiner, Quadrocopter, Zweibeiner, Manipulator sowie mehrere geschickte Hände.“

Eine Reihe von Robotersimulationsaufgaben, für die das Eureka-Programm Belohnungen erstellt hat.

„Ohne aufgabenspezifische Aufforderungen oder Belohnungsvorlagen generiert Eureka selbstständig Belohnungen, die bei 83 % der Aufgaben die menschlichen Belohnungen von Experten übertreffen, und erzielt eine durchschnittliche normalisierte Verbesserung von 52 %“, berichten sie.

Eines der eindrucksvollsten Beispiele für das, was sie erreicht haben, ist, eine simulierte Roboterhand dazu zu bringen, einen Stift zu drehen, so wie es ein gelangweilter Schüler im Unterricht tun würde. „Wir betrachten das Stiftdrehen, bei dem eine Hand mit fünf Fingern einen Stift in vordefinierten Drehkonfigurationen so viele Zyklen wie möglich schnell drehen muss“, schreiben sie. Dazu kombinieren sie Eureka mit einem vor einigen Jahren entwickelten maschinellen Lernansatz namens „Curriculum Learning“, bei dem eine Aufgabe in mundgerechte Teile zerlegt wird.

„Wir demonstrieren zum ersten Mal schnelle Stiftdrehmanöver an einer simulierten anthropomorphen Schattenhand“, erzählen sie.

Die Autoren machen auch eine überraschende Entdeckung: Wenn sie ihre beiden verbesserten Belohnungen von Eureka mit menschlichen Belohnungen kombinieren, schneidet die Kombination bei Tests besser ab als menschliche oder Eureka-Belohnungen allein. Sie vermuten, dass der Grund dafür darin liegt, dass Menschen über einen Teil des Puzzles verfügen, den das Eureka-Programm nicht hat, nämlich über die Kenntnis der Sachlage.

„Menschliche Designer kennen sich im Allgemeinen mit relevanten Zustandsvariablen aus, sind jedoch weniger kompetent darin, Belohnungen unter Verwendung dieser Variablen zu entwerfen“, schreiben sie. „Dies ist intuitiv sinnvoll, da die Identifizierung relevanter Zustandsvariablen, die in die Belohnungsfunktion einbezogen werden sollten, größtenteils vernünftiges Denken erfordert, das Belohnungsdesign jedoch spezielle Kenntnisse und Erfahrung in RL erfordert.“

Das deutet auf eine mögliche Mensch-KI-Partnerschaft hin, ähnlich wie GitHub Copilot und andere Assistenzprogramme: „Zusammengenommen demonstrieren diese Ergebnisse die Fähigkeiten von Eureka als Belohnungsassistenten, die das Wissen menschlicher Designer über nützliche Zustandsvariablen perfekt ergänzen und ihre geringeren Kenntnisse im Design ausgleichen.“ Belohnungen, wenn man sie nutzt.“