OpenAI gab 160.000 US-Dollar für Upwork für Minecraft-Spieler aus, um ein neuronales Netz zu trainieren
Der Sinn der Arbeit besteht darin, einen Weg zu finden, einen Allzweck-Computer-"Agenten" zu trainieren, der die Fülle der Daten im Internet nutzen kann, um alle Arten von Computeraufgaben auszuführen.
Aus dem Video von VPT, wie er die Herstellung einer Diamong Spitzhacke in Minecraft verfolgt. Das Computerprogramm vollbrachte das Kunststück in zehn Minuten, die Hälfte der Zeit, die ein geübter menschlicher Spieler dafür benötigen würde.
Wie wichtig könnte es sein, das "Diamantwerkzeug" in Minecraft zu beherrschen?
Wichtig genug, um 160.000 US-Dollar auszugeben, so OpenAI, das Startup für künstliche Intelligenz.
Das ist der Geldbetrag, den ein Team von OpenAI ausgegeben hat, um Spieler von Minecraft auf der Online-Jobbörse Upwork einzustellen, um Videos von sich selbst beim Spielen des Spiels einzureichen.
Die Arbeit am Aufbau des neuronalen Netzwerks, VPT genannt, fand in zwei Phasen statt. Für die erste Phase wurden menschliche Spieler oder Auftragnehmer benötigt, die 4.500 Stunden Spielzeit aufbrachten. Später fanden die Forscher heraus, dass sie in Wirklichkeit nur etwa 2.000 Stunden benötigten.
Baker und Team beschreiben den Prozess:
Wir hatten die Bewerbungen einen Tag lang offen und wählten dann nach dem Zufallsprinzip 10 Bewerber für die erste Runde der Auftragnehmer aus. Später im Projekt, als wir mehr Daten benötigten und einige Auftragnehmer darum baten, ihre Verträge zu kündigen, fügten wir weitere Bewerber aus dem ursprünglichen Pool sowie Empfehlungen von den derzeit arbeitenden Auftragnehmern hinzu. Die Auftragnehmer erhielten 20 US-Dollar pro Stunde (abzüglich der Gebühren für die Upwork-Plattform und der anfallenden Steuern). Alle Ergebnisse, die in diesem Artikel vorgestellt werden, basieren auf etwa 4.500 Stunden Daten (einschließlich Daten, die aufgezeichnet wurden, um Statistiken über menschliches Spiel zu sammeln, die nicht für das Training verwendet wurden), was uns etwa 90.000 US-Dollar gekostet hat. Im Laufe des Projekts haben wir einige Daten gesammelt, die wir aufgrund von Fehlern im Rekorder nicht verwendet haben und für einige Ideen letztendlich nicht weiterverfolgt haben. Insgesamt haben wir im Laufe des Projekts etwa 160.000 US-Dollar für die Entschädigung von Auftragnehmern ausgegeben. Wie wir jedoch in Abschnitt 4.6 erörtern, könnten wir die meisten unserer Ergebnisse wahrscheinlich mit einem IDM erzielen, das mit Daten im Wert von nur 2000 US-Dollar trainiert wurde, d. h. mit dem Basis-VPT-Modell, der BC-Feinabstimmung des earlygame_keyword Datensatzes und den RL-Feinabstimmungsergebnissen. Das Sammeln des contractor_house Datensatzes kostete etwa 8000 US-Dollar. Da wir das IDM verwendeten, das mit etwa 2000 Stunden Auftragnehmerdaten trainiert wurde, beliefen sich die tatsächlichen Kosten für die Auftragnehmerdaten für diese Ergebnisse auf rund 40.000 US-Dollar.
Während dieser 4.500 Stunden haben sie die Frames des Spielvideos mit Beschriftungen versehen, um Aktionen wie "Inventar" zu ermöglichen, um die Objektsammlung eines Spielers mit der "E"-Taste zu überprüfen; und "Sneak", um sich mit der SHIFT-Taste "vorsichtig" in die aktuelle Richtung zu bewegen. Diese Aktionen werden zu jedem Zeitpunkt des Spiels als JSON-Textzeichenfolgen aufgezeichnet und mit den Videoframes gespeichert.
Die Frames des Gameplays mit ihren beschrifteten Aktionen wurden verwendet, um ein neuronales Netz zu trainieren, das als inverses Dynamikmodell (IDM) bezeichnet wird und lernt, welche Aktionen zu welchen Frames gehören. Das IDM ist eine Mischung aus verschiedenen Arten von neuronalen Netzen, darunter ein 3D-Faltungsnetz und ein ResNet zum Parsen der Videoframes sowie mehrere Transformer-Netzwerke der Aufmerksamkeit, um den nächsten Videoframe vorherzusagen.
Die trainierte Fähigkeit von IDM wird dann für eine viel größere Menge an Videomaterial verwendet, insgesamt 70.000 Stunden unbeschriftetes Minecraft-Material, das aus dem Internet gesammelt wurde. Das IDM wendet "Pseudo-Labels" auf diese weitaus größere Sammlung an. Mit anderen Worten, das IDM und die Auftragnehmergebühren sind eine Möglichkeit, ein riesiges Video-Trainingsset zu starten.
Das Trainingsprogramm für VPT.
So teuer die Bezahlung des Auftragnehmers auch erscheinen mag, der Ansatz stellt eine große Kosteneinsparung dar, schreiben die Autoren. Wenn sie Daten von Auftragnehmern sammeln müssten, die den 70.000 Stunden Webvideos entsprechen, wäre das erheblich teurer.
"Wenn wir kostengünstig einen beschrifteten Datensatz von Auftragnehmern in einer ähnlichen Größenordnung wie web_clean sammeln könnten, wäre das nicht wichtig; Das Sammeln von Daten in diesem Umfang hätte jedoch Millionen von Dollar gekostet."
Mit den 70.000 Stunden trainieren die Autoren dann ein zweites neuronales Netzwerk, das ebenfalls aus Transformer-Schichten besteht, um die Benutzeraktionen in den Videos nachzuahmen, eine gängige Praxis, die als "verhaltensbezogenes Klonen" bekannt ist.
Der Sinn der Arbeit besteht darin, einen Weg zu finden, einen Allzweck-Computer-"Agenten" zu trainieren, der die Fülle der Daten im Internet nutzen kann, die keine Bezeichnungen haben, um Aufgaben zu lösen, die Kausalität, Bedeutung und Abfolgen von Handlungen beinhalten, die eine notwendige Beziehung von einem zum nächsten haben.
"Die in diesem Artikel vorgestellten Ergebnisse ebnen den Weg zur Nutzung der Fülle an unbeschrifteten Daten im Web für sequentielle Entscheidungsbereiche", schreiben sie.
Die Arbeit kann möglicherweise für zahlreiche Computeraufgaben verwendet werden, die Sequenzen von Mausklicks und andere menschliche Bedienelemente erfordern, schlagen sie vor.
"Obwohl wir nur mit Minecraft experimentieren, glauben wir, dass VPT ein allgemeines Rezept für das Training von Verhaltensprioren in harten, aber generischen Aktionsräumen in jedem Bereich bietet, der eine große Menge an frei verfügbaren, nicht gekennzeichneten Daten enthält, wie z. B. die Computernutzung."
Open-AI ist vor allem für das große Sprachprogramm GPT-3 bekannt, das ebenfalls einen "vortrainierten" Ansatz verwendet, der auf Tonnen von Webdaten basiert, die nicht gekennzeichnet sind. In gewisser Weise erweitert das Minecraft-Spiel diesen Ansatz auf die Nachahmung von Verhalten im Bereich sequenzieller Computeraufgaben, die per Video aufgezeichnet werden.
Die ultimative Errungenschaft besteht darin, in einigen Fällen die Zeit zu übertreffen, die ein Mensch benötigt, um eine der schwierigsten Aufgaben zu erfüllen, nämlich die Beschaffung einer Diamantspitzhacke.
In Minecraft halten diamantbasierte Werkzeuge einfach länger und können mehr Schaden anrichten. Diamant-Spitzhacken sind die einzigen, die für die meisten Gamer besonders wichtig sind. Du brauchst eine Diamant-Spitzhacke, um Obsidian abzubauen, und ein fiktives Material namens Netherit, die beide wichtig für Endgame-Aktivitäten wie das Verzaubern von Tischen und die Herstellung von Netherit-Ausrüstung sind.
Nachdem sie das VPT darauf trainiert hatten, alle Arten von Minecraft-Aufgaben zu lernen, verwendeten die Autoren einen "Feinabstimmungs"-Ansatz, der ein neuronales Netzwerk mit Verstärkungslernen entwickelte, um eine Diamant-Spitzhacke in schneller als normal zu formen.
"Um die Wirksamkeit der RL-Feinabstimmung zu demonstrieren, haben wir das herausfordernde Ziel gewählt, innerhalb von 10 Minuten eine Diamant-Spitzhacke aus einer frischen Minecraft-Überlebenswelt zu erhalten", schreiben sie.
Dies ist eine Herausforderung für den Menschen, der in der Regel doppelt so lange dafür braucht, wenn er es überhaupt kann:
Dazu musst du eine Reihe von schwer zu beschaffenden Gegenständen erwerben, die komplexe Fähigkeiten erfordern, wie z. B. Bergbau, Inventarverwaltung, Handwerk mit und ohne Handwerkstisch, Werkzeuggebrauch, Bedienen eines Ofens und Bergbau in den untersten Tiefen, wo viele Gefahren wie Feinde und Lava bestehen (Abb. 6). Erschwerend kommt hinzu, dass der Fortschritt leicht verloren gehen kann, indem Gegenstände fallengelassen, Gegenstände zerstört oder gestorben werden. Um eine Diamant-Spitzhacke zu erhalten, benötigt ein geschickter Mensch in den meisten Fällen mehr als 20 Minuten (24.000 Aktionen).
Bei der Zusammenstellung sowohl der Auftragnehmerdaten als auch der unbeschrifteten 70.000 Stunden Webvideo waren sich die Autoren der Aussicht auf anstößige Inhalte bewusst. "Die Auftragnehmer könnten theoretisch die Open-World-Eigenschaft von Minecraft nutzen, um persönlich identifizierbare Informationen und/oder anstößige Inhalte zu generieren (z. B. indem sie Minecraft-Blöcke verwenden, um ihren Namen oder anstößige Nachrichten zu schreiben, und dann eine Stelle finden, von der aus die Nachricht sichtbar wäre)", schreiben sie, obwohl sie dies in den Videos von Auftragnehmern, die sich die Autoren angesehen haben, nicht gesehen haben.
"Natürlich trainieren wir unsere BC-Modelle [Behavioral Cloning] mit Videos aus dem Internet von Menschen, die Minecraft spielen, und wenn ein solches Verhalten in diesen Videos vorkommt, könnte unser Modell es möglicherweise auch lernen, obwohl wir davon ausgehen, dass ein solches Verhalten selten genug ist, dass unser Modell es wahrscheinlich nicht reproduzieren würde", schreiben sie.
Wohin geht so ein Generalagent als nächstes? Die Idee ist, dass VPT oder seine Nachkommen nach dem Sieg über Diamantäxte alle möglichen Dinge tun können, die eine Person mit Maus und Tastatur tun würde, einschließlich des Ausbuhens von Tickets, des Surfens in sozialen Medien oder des Navigierens auf Karten.