Wie IBMs Blaupause für die Branchentransformation KI, 5G und Zusammenarbeit nutzt

Grundlegende Probleme entziehen sich vielen Strömungen des Deep Learning, sagt LeCun, einschließlich des Rätsels, wie man Informationen misst.

"Ich denke, KI-Systeme müssen in der Lage sein, logisch zu denken", sagt Yann LeCun, Chief AI Scientist bei Meta. Die heute populären KI-Ansätze wie Transformers, von denen viele auf seiner eigenen Pionierarbeit auf diesem Gebiet aufbauen, werden nicht ausreichen. "Man muss einen Schritt zurücktreten und sagen: Okay, wir haben diese Leiter gebaut, aber wir wollen zum Mond, und diese Leiter wird uns auf keinen Fall dorthin bringen", sagt LeCun.

 (Der Artikel wird mit Widerlegungen von Gary Marcus und Jürgen Schmidhuber im Kontext aktualisiert.)

Yann LeCun, Chief AI Scientist von Meta, Eigentümer von Facebook, Instagram und WhatsApp, wird wahrscheinlich viele Leute auf seinem Gebiet abhaken. 

Mit der Veröffentlichung eines Think-Posts auf dem Open Review-Server im Juni bot LeCun einen umfassenden Überblick über einen Ansatz, der seiner Meinung nach vielversprechend ist, um Intelligenz auf menschlichem Niveau in Maschinen zu erreichen. 

Impliziert, wenn nicht sogar artikuliert in dem Papier, ist die Behauptung, dass die meisten der heutigen großen KI-Projekte niemals in der Lage sein werden, dieses Ziel auf menschlicher Ebene zu erreichen.

In einer Diskussion mit ZDNET über Zoom in diesem Monat machte LeCun deutlich, dass er viele der derzeit erfolgreichsten Forschungsrichtungen im Bereich Deep Learning mit großer Skepsis betrachtet.

"Ich denke, sie sind notwendig, aber nicht ausreichend", sagte der Turing-Preisträger gegenüber ZDNET über die Bestrebungen seiner Kollegen. 

Dazu gehören große Sprachmodelle wie das Transformer-basierte GPT-3 und dergleichen. Wie LeCun es charakterisiert, glauben die Transformer-Anhänger: "Wir tokenisieren alles und trainieren gigantischeModelle, um diskrete Vorhersagen zu treffen, und irgendwie wird KI daraus hervorgehen."

"Sie haben nicht unrecht", sagt er, "in dem Sinne, dass dies eine Komponente eines zukünftigen intelligenten Systems sein könnte, aber ich denke, dass wesentliche Teile fehlen."

Es ist eine verblüffende Kritik an dem, was zu funktionieren scheint, wenn sie von dem Wissenschaftler kommt, der den Einsatz von Convolutional Neural Networks perfektioniert hat, einer praktischen Technik, die sich in Deep-Learning-Programmen als unglaublich produktiv erwiesen hat. 

LeCun sieht Fehler und Grenzen in vielen anderen sehr erfolgreichen Bereichen der Disziplin. 

Reinforcement Learning werde auch nie ausreichen, behauptet er. Forscher wie David Silver von DeepMind, der das AlphaZero-Programm entwickelt hat, das Schach, Shogi und Go beherrscht, konzentrieren sich auf Programme, die "sehr aktionsbasiert" sind, beobachtet LeCun, aber "das meiste Lernen, das wir machen, tun wir nicht, indem wir tatsächlich handeln, sondern indem wir beobachten." 

Lecún, 62, drückt aus der Perspektive jahrzehntelanger Errungenschaften dennoch die Dringlichkeit aus, sich mit dem auseinanderzusetzen, was er für die Sackgassen hält, auf die viele zueilen könnten, und zu versuchen, sein Fachgebiet in die Richtung zu bewegen, in die sich die Dinge seiner Meinung nach entwickeln sollten. 

"Wir sehen viele Behauptungen, was wir tun sollten, um in Richtung KI auf menschlichem Niveau voranzukommen", sagt er. "Und es gibt Ideen, die ich für fehlgeleitet halte."

"Wir sind noch nicht so weit, dass unsere intelligenten Maschinen so viel gesunden Menschenverstand haben wie eine Katze", stellt Lecun fest. "Also, warum fangen wir nicht dort an?" 

Er hat seinen früheren Glauben an die Verwendung generativer Netzwerke aufgegeben, z. B. bei der Vorhersage des nächsten Frames in einem Video. "Es war ein kompletter Fehlschlag", sagt er. 

LeCun prangert diejenigen an, die er die "religiösen Probabilisten" nennt, die "glauben, dass die Wahrscheinlichkeitstheorie der einzige Rahmen ist, den man zur Erklärung des maschinellen Lernens verwenden kann". 

Der rein statistische Ansatz sei unlösbar, sagt er. "Es ist zu viel verlangt, dass ein Weltmodell völlig probabilistisch ist; Wir wissen nicht, wie wir das machen sollen."

Nicht nur die Akademiker, sondern auch die industrielle KI müsse grundlegend neu überdacht werden, argumentiert LeCun. Die Menge der selbstfahrenden Autos, Start-ups wie Wayve, seien "ein bisschen zu optimistisch" gewesen, sagt er, indem sie dachten, sie könnten "Daten auf große neuronale Netze werfen" und man könne so ziemlich alles lernen.

"Wissen Sie, ich denke, es ist durchaus möglich, dass wir autonome Autos der Stufe fünf ohne gesunden Menschenverstand haben werden", sagt er und bezieht sich auf die "ADAS", die Begriffe für fortschrittliche Fahrerassistenzsysteme für selbstfahrende Fahrer, "aber man wird es verdammt noch mal entwickeln müssen."

Eine solche überkonstruierte selbstfahrende Technologie wird so knarrend und spröde sein wie all die Computer-Vision-Programme, die durch Deep Learning obsolet geworden sind, glaubt er.

"Letztendlich wird es eine zufriedenstellendere und möglicherweise bessere Lösung geben, die Systeme beinhaltet, die besser verstehen, wie die Welt funktioniert."

Auf dem Weg dorthin gibt LeCun einige vernichtende Ansichten über seine größten Kritiker ab, wie z. B. NYU-Professor Gary Marcus - "er hat nie etwas zur KI beigetragen" - und Jürgen Schmidhuber, Co-Direktor des Dalle Molle Institute for Artificial Intelligence Research - "es ist sehr einfach, Flagge zu hissen".

Abgesehen von der Kritik ist der wichtigere Punkt, den LeCun anführt, dass bestimmte grundlegende Probleme die gesamte KI betreffen, insbesondere die Messung von Informationen.

"Man muss einen Schritt zurücktreten und sagen: Okay, wir haben diese Leiter gebaut, aber wir wollen zum Mond, und diese Leiter wird uns auf keinen Fall dorthin bringen", sagt LeCun über seinen Wunsch, ein Umdenken in grundlegenden Konzepten anzuregen. "Im Grunde genommen schreibe ich hier, dass wir Raketen bauen müssen, ich kann Ihnen keine Details darüber geben, wie wir Raketen bauen, aber hier sind die Grundprinzipien."

Das Papier und LeCuns Gedanken in dem Interview können besser verstanden werden, wenn man LeCuns Interview mit ZDNET Anfang des Jahres liest, in dem er für energiebasiertes selbstüberwachtes Lernen als Weg in die Zukunft für Deep Learning plädiert. Diese Reflexionen vermitteln einen Eindruck von der Kernansatzweise dessen, was er als Alternative zu den Dingen aufbauen möchte, von denen er behauptet, dass sie es nicht bis zur Ziellinie schaffen werden. 

Was folgt, ist ein leicht bearbeitetes Transkript des Interviews.

ZDNET: Das Thema unseres Gesprächs ist dieses Papier, "Ein Weg zur autonomen maschinellen Intelligenz", von dem Version 0.9.2 die existierende Version ist, ja?

Yann LeCun: Ja, ich betrachte dies als eine Art Arbeitsdokument. Also habe ich es auf Open Review gepostet und darauf gewartet, dass die Leute Kommentare und Vorschläge machen, vielleicht zusätzliche Referenzen, und dann werde ich eine überarbeitete Version erstellen. 

ZDNET: Ich sehe, dass Jürgen Schmidhuber bereits einige Kommentare zu Open Review hinzugefügt hat.

YL: Nun, ja, das tut er immer. Ich zitiere eine seiner Arbeiten dort in meiner Arbeit. Ich denke, die Argumente, die er in den sozialen Netzwerken vorgebracht hat, dass er das alles im Grunde 1991 erfunden hat, wie er es in anderen Fällen getan hat, sind einfach nicht der Fall. Ich meine, es ist sehr einfach, Flaggen zu hissenund eine Idee zu schreiben, ohne irgendwelche Experimente, ohne jegliche Theorie, einfach zu suggerieren, dass man es so machen könnte. Aber wissen Sie, es ist ein großer Unterschied, ob man nur die Idee hat und sie dann bei einem Spielzeugproblem zum Laufen bringt, oder ob man sie dann an einem echten Problem arbeitet, oder ob man dann eine Theorie entwickelt, die zeigt, warum sie funktioniert, und ob man sie dann einsetzt. Es gibt eine ganze Kette, und seine Vorstellung von wissenschaftlicher Anerkennung ist, dass es die allererste Person ist, die einfach die Idee dazu hatte, die ganze Anerkennung bekommen sollte. Und das ist lächerlich. 

(Update: Jürgen Schmidhuber antwortet: "LeCun behauptet, dass meine 'Vorstellung von wissenschaftlicher Anerkennung darin besteht, dass es die allererste Person ist, die einfach die Idee dazu hatte, die ganze Anerkennung zu bekommen.' In keinem Universum ist das wahr. Wie ich [DLC] schrieb: "Der Erfinder einer wichtigen Methode sollte Anerkennung dafür bekommen, dass er sie erfunden hat. Sie ist vielleicht nicht immer diejenige, die es populär macht. Dann sollte der Popularisierer Anerkennung dafür bekommen, dass er es populär gemacht hat (aber nicht dafür, dass er es erfunden hat)." LeCun gibt sich jedoch offenbar nicht damit zufrieden, die Erfindungen anderer populär gemacht zu haben; er will auch die Anerkennung des Erfinders . Er vertritt eine unhaltbare Position , die mit den grundlegenden, allgemein akzeptierten Regeln wissenschaftlicher Integrität unvereinbar ist [T22].")

ZDNET: Glauben Sie nicht alles, was Sie in den sozialen Medien hören. 

YL: Ich meine, die Hauptarbeit, von der er sagt, dass ich sie zitieren sollte, enthält keine der Hauptideen, über die ich in der Arbeit spreche. Er hat das auch mit GANs und anderen Dingen gemacht, die sich nicht als wahr herausgestellt haben. Es ist einfach, Flaggen zu hissen, es ist viel schwieriger, einen Beitrag zu leisten. Übrigens, in dieser speziellen Arbeit habe ich ausdrücklich gesagt, dass es sich nicht um eine wissenschaftliche Arbeit im üblichen Sinne des Wortes handelt. Es ist eher ein Positionspapier darüber, wohin das Ding gehen soll. Und es gibt ein paar Ideen, die neu sein könnten, aber die meisten davon sind es nicht. Ich beanspruche im Wesentlichen keine Priorität für das meiste, was ich in diesem Papier geschrieben habe.

(Update: Schmidhuber antwortet: "LeCun behauptet über mich: '... Die Hauptarbeit, von der er sagt, dass ich sie zitieren sollte, enthält keine der Hauptideen, über die ich in der Arbeit spreche.' Das macht keinen Sinn.Ich habe nicht nur eine, sondern mehrere relevante Arbeiten aufgelistet (einschließlich [AC90][UN1][AC02][HRL1] [PLAN4]), die das meiste von dem enthalten, was LeCun ausdrücklich als seine "wichtigsten Originalbeiträge" bezeichnet [LEC22a]. LeCun sagt [LEC22c]: "Ich beanspruche im Wesentlichen keine Priorität für das meiste, was ich in diesem Papier geschrieben habe.Er listete jedoch seine 'wichtigsten originären Beiträge' auf [LEC22a] und ich zeigte, dass sie alles andere als [LEC] waren. LeCun behauptet über mich: "Er hat das auch mit GANs gemacht." Diese falsche Behauptung hat keine Rechtfertigung und keine Referenzen. Meine gradientenbasierten generativen und kontradiktorischen NNs von 1990 [AC90-AC90b] beschrieben die (häufig zitierten und implementierten und verwendeten) Grundprinzipien des GAN von 2014 - dessen Arbeit [GAN1] es versäumt hat, die Credits  [T22] korrekt zuzuweisen. Meine begutachtete Veröffentlichung [AC20] zu diesem Thema bleibt unangefochten. )

Reinforcement Learning wird auch nie ausreichen, behauptet LeCun. Forscher wie David Silver von DeepMind, der das AlphaZero-Programm entwickelt hat, das Schach, Shogi und Go beherrscht, sind "sehr handlungsorientiert", beobachtet LeCun, aber "das meiste, was wir lernen, tun wir nicht, indem wir tatsächlich handeln, sondern indem wir beobachten." 

ZDNET: Und das ist vielleicht ein guter Anfang, denn ich bin neugierig, warum Sie jetzt diesen Weg eingeschlagen haben? Wie sind Sie darüber nachgedacht? Warum wollten Sie das schreiben?

YL: Nun, ich habe schon sehr lange darüber nachgedacht, über einen Weg zu menschlicher oder tierischer Intelligenz oder Lernen und Fähigkeiten. Und in meinen Vorträgen habe ich ziemlich lautstark darüber gesprochen, dass sowohl überwachtes Lernen als auch verstärkendes Lernen nicht ausreichen, um die Art von Lernen nachzuahmen, die wir bei Tieren und Menschen beobachten. Ich mache das seit etwa sieben oder acht Jahren. Es ist also nicht neu. Ich hatte vor vielen Jahren eine Keynote auf der NeurIPS, in der ich diesen Punkt im Wesentlichen angesprochen habe, und es gibt Aufzeichnungen in verschiedenen Vorträgen. Nun, warum jetzt eine Arbeit schreiben? Ich bin an dem Punkt angelangt - [Google Brain-Forscher] Geoff Hinton hat etwas Ähnliches getan - ich meine, sicherlich, er mehr als ich, wir sehen, dass die Zeit abläuft. Wir sind nicht jung.

ZDNET: Sixty ist das neue Fifty. 

YL: Das stimmt, aber der Punkt ist, dass wir viele Behauptungen darüber sehen, was wir tun sollten, um die KI auf menschliches Niveau zu bringen. Und es gibt Ideen, die ich für fehlgeleitet halte. Eine Idee ist also: Oh, wir sollten einfach symbolisches Denken zu den neuronalen Netzen hinzufügen. Und ich weiß nicht, wie ich das machen soll. Vielleicht ist das, was ich in dem Artikel erklärt habe, ein Ansatz, der das Gleiche ohne explizite Symbolmanipulation tun würde. Das ist die Art von traditionell Gary Marcuses dieser Welt. Gary Marcus ist übrigens kein KI-Mensch, er ist Psychologe. Er hat nie etwas zur KI beigetragen. Er hat wirklich gute Arbeit in der experimentellen Psychologie geleistet, aber er hat noch nie eine von Experten begutachtete Arbeit über KI geschrieben. Also, da gibt es diese Leute. 

(Update: Gary Marcus widerlegt die Behauptung des Mangels an begutachteten Artikeln. Er stellte ZDNet in einer E-Mail die folgenden von Experten begutachteten Artikel zur Verfügung: Commonsense Reasoning about Containers using Radically Incomplete Information in Artificial Intelligence; Schlussfolgerung aus radikal unvollständigen Informationen: Der Fall von Containern im Voraus in Cog Sys; der Umfang und die Grenzen der Simulation im automatisierten Denken in der künstlichen Intelligenz; Vernünftiges Denken und Wissen über den gesunden Menschenverstand in der Kommunikation der ACM; Eliminativer Konnektionismus neu denken, Cog Psy)

Es gibt den [DeepMind-Prinzipalforscher] David Silvers der Welt, der sagt, wissen Sie, Belohnung ist genug, im Grunde geht es nur um verstärkendes Lernen, wir müssen es nur ein wenig effizienter machen, okay? Und ich denke, sie haben nicht unrecht, aber ich denke, die notwendigen Schritte, um das Reinforcement Learning effizienter zu gestalten, würden das Reinforcement Learning im Grunde zu einer Art Sahnehäubchen degradieren. Und der wichtigste fehlende Teil ist das Lernen, wie die Welt funktioniert, meist durch Beobachtung ohne Handlung. Reinforcement Learning ist sehr handlungsbasiert, man lernt Dinge über die Welt, indem man Maßnahmen ergreift und die Ergebnisse sieht.

ZDNET: Und es ist auf Belohnungen ausgerichtet.

YL: Es ist auf Belohnungen fokussiert, und es ist auch handlungsorientiert. Man muss also in der Welt handeln, um etwas über die Welt lernen zu können. Und die Hauptbehauptung, die ich in der Arbeit über selbstüberwachtes Lernen aufstelle, ist, dass wir das meiste Lernen, das wir tun, nicht tun, indem wir tatsächlich handeln, sondern indem wir beobachten. Und es ist sehr unorthodox, sowohl für Menschen mit Reinforcement Learning im Besonderen, als auch für viele Psychologen und Kognitionswissenschaftler, die denken, dass Handeln - ich sage nicht, dass Handeln nicht essentiell ist, es ist essentiell. Aber ich denke, der Großteil dessen, was wir lernen, dreht sich hauptsächlich um die Struktur der Welt und beinhaltet natürlich Interaktion, Aktion und Spiel und solche Dinge, aber vieles davon ist Beobachtung.

ZDNET: Sie werden es auch schaffen, gleichzeitig die Transformer-Leute abzuhaken, die Language-First-Leute. Wie kann man das aufbauen, ohne zuerst Sprache zu sprechen? Vielleicht schaffst du es, viele Leute abzuhaken. 

YL: Ja, daran bin ich gewöhnt. Also, ja, es gibt die Leute, die die Sprache in den Vordergrund stellen, die sagen, wissen Sie, bei Intelligenz geht es um Sprache, das Substrat der Intelligenz ist Sprache, bla, bla, bla. Aber das vernachlässigt die Intelligenz der Tiere. Wissen Sie, wir sind noch nicht an dem Punkt, an dem unsere intelligenten Maschinen so viel gesunden Menschenverstand haben wie eine Katze. Also, warum fangen wir nicht dort an? Was ist es, das es einer Katze ermöglicht, die umgebende Welt zu erfassen, ziemlich kluge Dinge zu tun und zu planen und solche Dinge, und Hunde noch besser? 

Dann gibt es all die Leute, die sagen: Oh, Intelligenz ist eine soziale Sache, oder? Wir sind intelligent, weil wir miteinander reden und Informationen austauschen, und bla, bla, bla. Es gibt alle Arten von unsozialen Spezies, die nie ihre Eltern treffen, die sehr schlau sind, wie Tintenfische oder Orang-Utans. Ich meine, sie [Orang-Utans] werden sicherlich von ihrer Mutter erzogen, aber sie sind keine sozialen Tiere. 

Aber die andere Kategorie von Menschen, die ich vielleicht abhaken könnte, sind Leute, die sagen, dass Skalierung genug ist. Im Grunde verwenden wir einfach gigantische Transformer, wir trainieren sie mit multimodalen Daten, die Video, Text, bla, bla, bla beinhalten. Wir versteinerngewissermaßen alles, tokenisieren alles und trainieren dann gigantischeModelle, um diskrete Vorhersagen zu treffen, und irgendwie wird daraus KI hervorgehen. Sie haben nicht unrecht, in dem Sinne, dass dies eine Komponente eines zukünftigen intelligenten Systems sein könnte. Aber ich denke, es fehlen wesentliche Teile. 

Es gibt noch eine andere Kategorie von Menschen, die ich mit diesem Papier abhaken werde. Und es sind die Probabilisten, die religiösen Probabilisten. Also, die Leute, die denken, dass die Wahrscheinlichkeitstheorie der einzige Rahmen ist, den man verwenden kann, um maschinelles Lernen zu erklären. Und wie ich in dem Artikel zu erklären versucht habe, ist es im Grunde zu viel verlangt, dass ein Weltmodell vollständig probabilistisch ist. Wir wissen nicht, wie wir das machen sollen. Da ist die rechnerische Widerspenstigkeit. Also schlage ich vor, diese ganze Idee fallen zu lassen. Und natürlich ist dies eine enorme Säule nicht nur des maschinellen Lernens, sondern der gesamten Statistik, die behauptet, der normale Formalismus für maschinelles Lernen zu sein. 

Die andere Sache ... 

ZDNET: Sie haben einen Lauf...

Und der Grund, warum es ein völliger Fehlschlag ist, liegt wiederum in den Einschränkungen probabilistischer Modelle, bei denen es relativ einfach ist, diskrete Token wie Wörter vorherzusagen, da wir die Wahrscheinlichkeitsverteilung über alle Wörter im Wörterbuch berechnen können. Das ist einfach. Aber wenn wir das System bitten, die Wahrscheinlichkeitsverteilung über alle möglichen Videoframes zu erzeugen, haben wir keine Ahnung, wie wir sie parametrisieren können, oder wir haben eine Idee, wie wir sie parametrisieren können, aber wir wissen nicht, wie wir sie normalisieren sollen. Es stößt auf ein hartnäckiges mathematisches Problem, von dem wir nicht wissen, wie wir es lösen sollen. 

"Wir sind noch nicht so weit, dass unsere intelligenten Maschinen so viel gesunden Menschenverstand haben wie eine Katze", stellt Lecun fest. "Also, warum fangen wir nicht dort an? Was ist es, das es einer Katze ermöglicht, die umgebende Welt zu begreifen, ziemlich kluge Dinge zu tun, zu planen und solche Dinge, und Hunde noch besser?"

Deshalb sage ich, lasst uns die Wahrscheinlichkeitstheorie oder den Rahmen für solche Dinge aufgeben, den schwächeren, energiebasierte Modelle. Ich setze mich auch seit Jahrzehnten dafür ein, es ist also keine neue Sache. Aber gleichzeitig geben wir die Idee der generativen Modelle auf, denn es gibt viele Dinge auf der Welt, die nicht verständlich und nicht vorhersehbar sind. Wenn man Ingenieur ist, nennt man es Lärm. Wenn man Physiker ist, nennt man es Wärme. Und wenn Sie ein Mensch für maschinelles Lernen sind, nennen Sie es irrelevante Details oder was auch immer.

Das Beispiel, das ich in der Arbeit oder in Vorträgen verwendet habe, ist: Sie wollen ein Weltvorhersagesystem, das in einem selbstfahrenden Auto helfen würde, richtig? Es will in der Lage sein, im Voraus vorherzusagen, wie sich alle anderen Autos bewegen, was mit anderen Objekten passieren wird, die sich bewegen könnten, Fußgänger, Fahrräder, ein Kind, das einem Fußball hinterherläuft, solche Dinge. Also, alle möglichen Dinge über die Welt. Aber am Rande der Straße könnten Bäume stehen, und es weht Wind, also bewegen sich die Blätter im Wind, und hinter den Bäumen ist ein Teich, und es gibt Wellen im Teich. Und das sind im Wesentlichen weitgehend unvorhersehbare Phänomene. Und Sie möchten nicht, dass Ihr Modell eine erhebliche Menge an Ressourcen aufwendet, um Dinge vorherzusagen, die sowohl schwer vorherzusagen als auch irrelevant sind. Deshalb plädiere ich für die gemeinsame Einbettungsarchitektur, also für Dinge, bei denen die Variable, die Sie zu modellieren versuchen, nicht versucht, sie vorherzusagen, sondern sie zu modellieren versucht, sondern durch einen Encoder läuft, und dieser Encoder kann viele Details über die Eingabe eliminieren, die irrelevant oder zu kompliziert sind - im Grunde, äquivalent zu Lärm.

ZDNET: Wir haben Anfang des Jahres über energiebasierte Modelle gesprochen, das JEPA und das H-JEPA. Mein Gefühl, wenn ich Sie richtig verstehe, ist, dass Sie den Punkt niedriger Energie finden, an dem diese beiden Vorhersagen der X- und Y-Einbettungen am ähnlichsten sind, was bedeutet, dass, wenn es eine Taube in einem Baum in einer gibt, und es etwas im Hintergrund einer Szene gibt, dies möglicherweise nicht die wesentlichen Punkte sind, die diese Einbettungen nahe beieinander bringen.

YL: Richtig. Die JEPA-Architektur versucht also, einen Kompromiss, einen Kompromiss zwischen der Extraktion von Darstellungen zu finden, die maximal informativ über die Eingaben sind, aber auch voneinander mit einem gewissen Maß an Genauigkeit oder Zuverlässigkeit vorhersagbar sind. Es findet einen Kompromiss. Wenn es also die Wahl hat, eine große Menge an Ressourcen aufzuwenden, einschließlich der Details der Bewegung der Blätter, und dann die Dynamik zu modellieren, die darüber entscheidet, wie sich die Blätter in einer Sekunde bewegen, oder das einfach auf den Boden fallen zu lassen, indem es die Y-Variable einfach durch einen Prädiktor laufen lässt, der all diese Details eliminiert, Es wird es wahrscheinlich nur eliminieren, weil es einfach zu schwer zu modellieren und zu erfassen ist.

ZDNET: Eine Sache, die überraschend ist, ist, dass Sie ein großer Befürworter der Aussage waren: "Es funktioniert, wir werden später die Theorie der Thermodynamik herausfinden, um es zu erklären." Hier haben Sie einen Ansatz gewählt, der besagt: "Ich weiß nicht, wie wir das unbedingt lösen werden, aber ich möchte einige Ideen vorschlagen, um darüber nachzudenken" und mich vielleicht sogar einer Theorie oder einer Hypothese zu nähern. Das ist interessant, weil es viele Leute gibt, die viel Geld für die Arbeit an einem Auto ausgeben, das den Fußgänger sehen kann, unabhängig davon, ob das Auto einen gesunden Menschenverstand hat. Und ich kann mir vorstellen, dass einige dieser Leute nicht abgehakt sein werden, aber sie werden sagen: "Das ist in Ordnung, es ist uns egal, wenn es keinen gesunden Menschenverstand hat, wir haben eine Simulation entwickelt, die Simulation ist fantastisch, und wir werden uns weiter verbessern, wir werden die Simulation weiter skalieren." 

Und deshalb ist es interessant, dass Sie jetzt in der Lage sind zu sagen: Lasst uns einen Schritt zurücktreten und darüber nachdenken, was wir tun. Und die Branche sagt, wir werden einfach skalieren, skalieren, skalieren, skalieren, weil diese Kurbel wirklich funktioniert. Ich meine, die Halbleiterkurbel von GPUs funktioniert wirklich.

YL: Da gibt es etwa fünf Fragen. Also, ich meine, Skalierung ist notwendig. Ich kritisiere nicht die Tatsache, dass wir skalieren sollten. Wir sollten skalieren. Diese neuronalen Netze werden besser, je größer sie werden. Es steht außer Frage, dass wir skalieren sollten. Und diejenigen, die ein gewisses Maß an gesundem Menschenverstand haben, werden groß sein. Daran führt kein Weg vorbei, denke ich. Skalierung ist also gut, sie ist notwendig, aber nicht ausreichend. Das ist der Punkt, den ich sagen will. Es geht nicht nur um die Skalierung. Das ist der erste Punkt. 

Zweiter Punkt, ob die Theorie an erster Stelle steht und solche Dinge. Also, ich denke, es gibt Konzepte, die an erster Stelle stehen, bei denen man einen Schritt zurücktreten und sagen muss, okay, wir haben diese Leiter gebaut, aber wir wollen zum Mond fliegen, und es gibt keine Möglichkeit, dass diese Leiter uns dorthin bringt. Was ich hier schreibe, ist im Grunde, dass wir Raketen bauen müssen. Ich kann Ihnen keine Details darüber geben, wie wir Raketen bauen, aber hier sind die Grundprinzipien. Und ich schreibe keine Theorie dafür oder so, aber es wird eine Rakete sein, okay? Oder ein Weltraumaufzug oder was auch immer. Es kann sein, dass wir nicht alle Details der gesamten Technologie kennen. Wir versuchen, einige dieser Dinge zum Laufen zu bringen, so wie ich bei JEPA gearbeitet habe. Die gemeinsame Einbettung funktioniert sehr gut für die Bilderkennung, aber es gibt  Schwierigkeiten, sie zum Trainieren eines Weltmodells zu verwenden. Wir arbeiten daran, wir hoffen, dass wir es bald zum Laufen bringen werden, aber wir könnten dort auf einige Hindernisse stoßen, die wir möglicherweise nicht überwinden können. 

Dann gibt es in dem Papier eine Schlüsselidee über das Denken: Wenn wir wollen, dass Systeme in der Lage sind zu planen, was man sich als eine einfache Form des Denkens vorstellen kann, müssen sie latente Variablen haben. Mit anderen Worten, Dinge, die nicht von einem neuronalen Netz berechnet werden, sondern Dinge, die abgeleitet werden - deren Wert abgeleitet wird, um eine objektive Funktion, eine Kostenfunktion zu minimieren. Und dann können Sie diese Kostenfunktion verwenden, um das Verhalten des Systems zu steuern. Und das ist doch gar nicht so neu, oder? Dies ist eine sehr klassische optimale Steuerung, deren Grundlage bis in die späten 50er, frühen 60er Jahre zurückreicht. Also, ich behaupte hier nicht, dass es etwas Neues gibt. Aber was ich sagen will, ist, dass diese Art von Schlussfolgerung Teil eines intelligenten Systems sein muss, das in der Lage ist zu planen, und dessen Verhalten nicht durch ein fest verdrahtetes Verhalten spezifiziert oder gesteuert werden kann, nicht durch Nachahmung, sondern durch eine objektive Funktion, die das Verhalten antreibt - nicht das Lernen antreibt. Unbedingt, aber es steuert das Verhalten. Wissen Sie, wir haben das in unserem Gehirn, und jedes Tier hat intrinsische Kosten oder intrinsische Motivationen für Dinge. Das treibt neun Monate alte Babys dazu, aufstehen zu wollen. Der Preis dafür, glücklich zu sein, wenn man aufsteht, dieser Begriff in der Kostenfunktion ist fest verdrahtet. Aber wie du aufstehst, ist es nicht, das ist Lernen.

"Skalierung ist gut, sie ist notwendig, aber nicht ausreichend", sagt LeCun über riesige Sprachmodelle wie die Transformer-basierten Programme der GPT-3-Variante. Die Transformer-Anhänger glauben: "Wir tokenisieren alles und trainieren gigantischeModelle, um diskrete Vorhersagen zu treffen, und irgendwie wird KI daraus hervorgehen ... aber ich denke, es fehlen wesentliche Teile."

ZDNET: Um diesen Punkt abzurunden: Ein Großteil der Deep-Learning-Community scheint damit einverstanden zu sein, mit etwas fortzufahren, das nicht dem gesunden Menschenverstand entspricht. Es scheint, als würdest du hier ein ziemlich klares Argument vorbringen, dass es irgendwann in eine Sackgasse gerät. Manche Leute sagen: Wir brauchen kein autonomes Auto mit gesundem Menschenverstand, weil die Skalierung es tun wird. Klingt so, als würdest du sagen, dass es nicht in Ordnung ist, diesen Weg einfach weiterzugehen?

YL: Weißt du, ich denke, es ist durchaus möglich, dass wir autonome Autos der Stufe fünf ohne gesunden Menschenverstand haben werden. Aber das Problem mit diesem Ansatz wird nur vorübergehend sein, denn man muss es verdammt noch mal entwickeln. Also, wissen Sie, kartieren Sie die gesamte Welt, verdrahten Sie alle Arten von spezifischem Eckfallverhalten, sammeln Sie genug Daten, um all die seltsamen Situationen zu haben, denen Sie auf den Straßen begegnen können, bla, bla, bla. Und ich vermute, dass man mit genügend Investitionen und Zeit einfach so viel wie möglich entwickeln kann. Aber letztendlich wird es eine befriedigendere und möglicherweise bessere Lösung geben, die Systeme beinhaltet, die besser verstehen, wie die Welt funktioniert, und die ein gewisses Maß an dessen haben, was wir als gesunden Menschenverstand bezeichnen würden. Es muss nicht der gesunde Menschenverstand sein, sondern eine Art von Wissen, das sich das System aneignen kann, indem es jemanden beim Fahren beobachtet, aber nicht beobachtet, sondern einfach Dinge beobachtet, die sich bewegen, und viel über die Welt versteht, eine Grundlage an Hintergrundwissen darüber aufbaut, wie die Welt funktioniert, auf der man das Fahren lernen kann. 

Lassen Sie mich dafür ein historisches Beispiel anführen. Die klassische Computer Vision basierte auf vielen fest verdrahteten, technischen Modulen, auf denen man sozusagen eine dünne Schicht des Lernens hatte. Also, das Zeug, das 2012 von AlexNet geschlagen wurde, hatte im Grunde eine erste Stufe, eine Art handgefertigte Merkmalsextraktionen, wie SIFTs [Scale-Invariant Feature Transform (SIFT), eine klassische Bildverarbeitungstechnik zur Identifizierung hervorstechender Objekte in einem Bild] und HOG [Histogramm orientierter Gradienten, eine weitere klassische Technik] und verschiedene andere Dinge. Und dann die zweite Schicht von Funktionen der mittleren Ebene, die auf Feature-Kernen und was auch immer basieren, und eine Art unüberwachte Methode. Und dann setzen Sie eine Support-Vektor-Maschine oder einen relativ einfachen Klassifikator darauf. Und das war so etwas wie die Standard-Pipeline von Mitte der 2000er Jahre bis 2012. Und das wurde durch End-to-End-Faltungsnetze ersetzt, bei denen man nichts davon fest verdrahtet, sondern nur eine Menge Daten hat und das Ding von Ende zu Ende trainiert, was der Ansatz ist, den ich schon lange befürwortet habe, aber bis dahin für große Probleme nicht praktikabel war. 

Ähnlich verhält es sich mit der Spracherkennung, wo es wiederum einen enormen Detailaufwand für die Vorverarbeitung der Daten gab, man extrahierte Cepstrum im Massenmaßstab [eine Umkehrung der schnellen Fourier-Transformation für die Signalverarbeitung] und dann gab es Hidden-Markov-Modelle, mit einer Art voreingestellter Architektur, bla, bla, bla, bla, mit einer Mischung aus Gaußschen Operatoren. Und so ist es ein bisschen die gleiche Architektur wie bei Vision, wo man ein handgefertigtes Frontend hat, dann eine etwas unbeaufsichtigte, trainierte, mittlere Schicht und dann eine überwachte Schicht darüber. Und jetzt wurde das im Grunde durch neuronale End-to-End-Netze ausgelöscht. Ich sehe dort also etwas Ähnliches, wenn man versucht, alles zu lernen, aber man muss die richtige Priorität, die richtige Architektur, die richtige Struktur haben.

Die Menge der selbstfahrenden Autos, Start-ups wie Waymo und Wayve, waren "ein bisschen zu optimistisch", sagt er, indem sie dachten, sie könnten "mit Daten beworfen werden, und man kann so ziemlich alles lernen". Selbstfahrende Autos auf Stufe 5 von ADAS sind möglich, "aber man muss das verdammt noch mal konstruieren" und das Ergebnis wird "spröde" sein wie frühe Computer-Vision-Modelle.

ZDNET: Was Sie damit sagen wollen, ist, dass einige Leute versuchen werden, das, was derzeit nicht mit Deep Learning funktioniert, für die Anwendbarkeit zu entwickeln, sagen wir, in der Industrie, und sie werden anfangen, etwas zu schaffen, das das ist, was in der Computer Vision obsolet geworden ist?

YL: Richtig. Und das ist zum Teil der Grund, warum die Menschen, die am autonomen Fahren arbeiten, in den letzten Jahren etwas zu optimistisch waren, weil es diese generischen Dinge wie Faltungsnetze und Transformers gibt, auf die man Daten werfen kann, und es kann so ziemlich alles lernen. Also sagst du: Okay, ich habe die Lösung für dieses Problem. Das erste, was Sie tun, ist, eine Demo zu erstellen, in der das Auto ein paar Minuten lang von selbst fährt, ohne jemanden zu verletzen. Und dann stellst du fest, dass es viele Eckfälle gibt, und du versuchst, die Kurve zu zeichnen, wie viel besser ich werde, wenn ich den Trainingssatz verdoppele, und du realisierst, dass du nie dorthin kommen wirst, weil es alle möglichen Eckfälle gibt. Und Sie müssen ein Auto haben, das weniger als alle 200 Millionen Kilometer einen tödlichen Unfall verursacht, oder? Also, was machst du? Nun, man läuft in zwei Richtungen. 

Die erste Richtung ist: Wie kann ich die Datenmenge reduzieren, die mein System zum Lernen benötigt? Und hier kommt das selbstüberwachte Lernen ins Spiel. Viele selbstfahrende Autohersteller sind sehr an selbstüberwachtem Lernen interessiert, weil dies eine Möglichkeit ist, immer noch gigantische Mengen an Überwachungsdaten für das Nachahmenlernen zu verwenden, aber im Wesentlichen durch Vortraining eine bessere Leistung zu erzielen. Und es hat noch nicht ganz geklappt, aber es wird geklappt. Und dann gibt es noch die andere Option, die die meisten Unternehmen, die zu diesem Zeitpunkt weiter fortgeschritten sind, angenommen haben, nämlich "Okay, wir können die End-to-End-Schulung durchführen, aber es gibt eine Menge Eckfälle, mit denen wir nicht umgehen können, also werden wir nur Systeme entwickeln, die sich um diese Eckfälle kümmern. Und behandeln Sie sie im Grunde als Sonderfälle, und verdrahten Sie das Steuerelement fest und dann viele grundlegende Verhaltensweisen, um spezielle Situationen zu bewältigen. Und wenn Sie über ein ausreichend großes Team von Ingenieuren verfügen, können Sie es schaffen. Aber es wird lange dauern, und am Ende wird es immer noch ein wenig spröde sein, vielleicht zuverlässig genug, dass man es einsetzen kann, aber mit einem gewissen Maß an Sprödigkeit, das Autos mit einem lernbasierteren Ansatz, der in Zukunft auftauchen könnte, nicht haben werden, weil es vielleicht ein gewisses Maß an gesundem Menschenverstand und Verständnis dafür hat, wie die Welt funktioniert. 

Kurzfristig wird der gewissermaßen konstruierte Ansatz gewinnen - er gewinnt bereits. Das ist das Waymo und Cruise der Welt und Wayveund was auch immer, das ist es, was sie tun. Dann gibt es noch den Ansatz des selbstüberwachten Lernens, der wahrscheinlich dazu beitragen wird, dass der technische Ansatz Fortschritte macht. Aber auf lange Sicht, und das könnte für diese Unternehmen zu lange sein, um darauf zu warten, wäre es wahrscheinlich eine Art integrierteres autonomes intelligentes Fahrsystem.

ZDNET: Wir sagen, über den Anlagehorizont der meisten Anleger hinaus.

YL: Das stimmt. Die Frage ist also, ob die Menschen die Geduld verlieren oder das Geld ausgehen wird, bevor die Leistung das gewünschte Niveau erreicht.

ZDNET: Gibt es etwas Interessantes darüber zu sagen, warum Sie einige der Elemente ausgewählt haben, die Sie in das Modell aufgenommen haben? Denn Sie zitieren Kenneth Craik [1943, The Nature of Explanation], und Sie zitieren Bryson und Ho [1969, Angewandte optimale Kontrolle], und ich bin neugierig, warum Sie mit diesen Einflüssen begonnen haben, wenn Sie besonders glaubten, dass diese Leute es auf den Punkt gebracht hatten, was sie getan hatten. Warum haben Sie dort angefangen?

YL: Nun, ich glaube nicht, dass sie alle Details festgenagelt hatten. Also, Bryson und Ho, das ist ein Buch, das ich 1987 gelesen habe, als ich Postdoc bei Geoffrey Hinton in Toronto war. Aber ich wusste schon vorher von dieser Arbeit, als ich meine Doktorarbeit schrieb, und stellte im Wesentlichen die Verbindung zwischen optimaler Steuerung und Backprop her. Wenn man wirklich ein weiterer Schmidhuber sein wollte, würde man sagen, dass die wirklichen Erfinder des Backprop tatsächlich die Theoretiker der optimalen Kontrolle Henry J. Kelley, Arthur Bryson und vielleicht sogar Lev Pontryagin waren, der in den späten 50er Jahren ein russischer Theoretiker der optimalen Kontrolle war. 

Also haben sie es herausgefunden, und tatsächlich kann man tatsächlich sehen, dass die Wurzel davon, die Mathematik dahinter, die Lagrange-Mechanik ist. Man kann also zu Euler und Lagrange zurückgehen und einen Hauch davon in ihrer Definition der klassischen Lagrange-Mechanik finden. Im Zusammenhang mit der optimalen Steuerung waren diese Jungs also im Grunde daran interessiert, Raketenflugbahnen zu berechnen. Wissen Sie, das war das frühe Weltraumzeitalter. Und wenn Sie ein Modell der Rakete haben, dann sagt es Ihnen, hier ist der Zustand der Rakete zum Zeitpunkt t, und hier ist die Aktion, die ich ergreifen werde, also, Schub und Aktuatoren verschiedener Art, hier ist der Zustand der Rakete zum Zeitpunkt t+1.

ZDNET: Ein Zustands-Aktions-Modell, ein Wertemodell.

YL: Richtig, die Basis der Kontrolle. Jetzt können Sie also das Abschießen Ihrer Rakete simulieren, indem Sie sich eine Abfolge von Befehlen vorstellen, und dann haben Sie eine Kostenfunktion, die die Entfernung der Rakete zu ihrem Ziel, einer Raumstation oder was auch immer ist, ist. Und dann kann man durch eine Art Gradientenabstieg herausfinden, wie ich meine Aktionssequenz so aktualisieren kann, dass meine Rakete tatsächlich so nah wie möglich an das Ziel herankommt. Und das muss geschehen, indem Signale in der Zeit rückwärts propagiert werden. Und das ist Backpropagation, Gradient Backpropagation. Diese Signale werden in der Lagrange-Mechanik als konjugierte Variablen bezeichnet, aber in Wirklichkeit handelt es sich um Gradienten. Also erfanden sie Backprop, aber sie wussten nicht, dass dieses Prinzip verwendet werden könnte, um ein mehrstufiges System zu trainieren, das Mustererkennung oder etwas Ähnliches leisten kann. Das wurde vielleicht erst in den späten 70ern, frühen 80ern realisiert und dann erst Mitte der 80er Jahre implementiert und zum Laufen gebracht. Okay, das ist der Punkt, an dem Backprop wirklich abgehoben hat, weil die Leute gezeigt haben, dass hier ein paar Codezeilen sind, mit denen man ein neuronales Netz trainieren kann, Ende-zu-Ende, mehrschichtig. Und das hebt die Grenzen des Perzeptron auf. Und, ja, es gibt Verbindungen mit optimaler Steuerung, aber das ist in Ordnung.

ZDNET: Das ist also eine lange Art zu sagen, dass diese Einflüsse, mit denen du angefangen hast, auf Backprop zurückgingen, und das war wichtig für dich als Ausgangspunkt?

YL: Ja, aber ich denke, was die Leute ein bisschen vergessen haben, es gab eine ganze Menge Arbeit daran, weißt du, damals in den 90er oder sogar 80er Jahren, einschließlich von Leuten wie Michael Jordan [MIT Dept. of Brain and Cognitive Sciences] und solchen Leuten, die keine neuronalen Netze mehr machen. Aber die Idee, dass man neuronale Netze zur Steuerung verwenden kann, und man kann klassische Ideen der optimalen Steuerung verwenden. Also, Dinge wie das, was man modellprädiktive Regelung nennt, was man jetzt modellprädiktive Regelung nennt, diese Idee, dass man das Ergebnis einer Abfolge von Aktionen simulieren oder sich vorstellen kann, wenn man ein gutes Modell des Systems hat, das man zu kontrollieren versucht, und der Umgebung, in der es sich befindet. Und dann können Sie durch Gradientenabstieg im Wesentlichen - das ist kein Lernen, das ist Schlussfolgerung - herausfinden, was die beste Abfolge von Aktionen ist, die mein Ziel minimieren wird. Die Verwendung einer Kostenfunktion mit einer latenten Variablen für die Inferenz ist also, denke ich, etwas, das die aktuellen Kulturen großer neuronaler Netze vergessen haben. Aber es war lange Zeit ein sehr klassischer Bestandteil des maschinellen Lernens. Jedes Bayes'sche Netz, jedes grafische Modell oder jedes probabilistische grafische Modell verwendete also diese Art von Inferenz. Sie haben ein Modell, das die Abhängigkeiten zwischen einer Reihe von Variablen erfasst, Ihnen wird der Wert einiger Variablen mitgeteilt, und dann müssen Sie den wahrscheinlichsten Wert der restlichen Variablen ableiten. Das ist das Grundprinzip der Inferenz in grafischen Modellen und Bayes'schen Netzen und solchen Dingen. Und ich denke, das ist im Grunde das, worum es beim Denken gehen sollte, um Argumentation und Planung.

ZDNET: Sie sind ein heimlicher Bayesianer.

YL: Ich bin ein nicht-probabilistischer Bayesianer. Ich habe diesen Witz schon einmal gemacht. Ich war tatsächlich vor ein paar Jahren bei NeurIPS, ich glaube, es war 2018 oder 2019, und ich wurde von einem Bayesianer auf Video festgehalten, der mich fragte, ob ich ein Bayesianer sei, und ich sagte: Ja, ich bin ein Bayesianer, aber ich bin ein nicht-probabilistischer Bayesianer, eine Art energiebasierter Bayesianer, wenn Sie wollen. 

ZDNET: Das klingt definitiv wie etwas aus Star Trek. Sie haben am Ende dieses Papiers erwähnt, dass es Jahre wirklich harter Arbeit brauchen wird, um zu verwirklichen, was Sie sich vorstellen. Erzählen Sie mir, worin ein Teil dieser Arbeit im Moment besteht.

YL: Also, ich erkläre in dem Papier, wie Sie die JEPA trainieren und aufbauen. Und das Kriterium, für das ich plädiere, ist, eine Möglichkeit zu haben, den Informationsgehalt zu maximieren, den die extrahierten Repräsentationen über den Input haben. Und dann ist der zweite Schritt die Minimierung des Vorhersagefehlers. Und wenn Sie eine latente Variable im Prädiktor haben, die es dem Prädiktor ermöglicht, nicht deterministisch zu sein, müssen Sie auch diese latente Variable regularisieren, indem Sie ihren Informationsgehalt minimieren. Sie haben jetzt also zwei Probleme, nämlich wie Sie den Informationsgehalt der Ausgabe eines neuronalen Netzes maximieren, und die andere ist, wie Sie den Informationsgehalt einer latenten Variablen minimieren können. Und wenn Sie diese beiden Dinge nicht tun, wird das System zusammenbrechen. Es wird nichts Interessantes lernen. Es wird alles mit null Energie versorgen, so etwas in der Art, was kein gutes Modell für Abhängigkeit ist. Es ist das Problem der Einsturzprävention, das ich erwähne. 

Und ich sage, von all den Dingen, die Menschen jemals getan haben, gibt es nur zwei Kategorien von Methoden, um einen Zusammenbruch zu verhindern. Die eine sind kontrastive Methoden, und die andere sind die regularisierten Methoden. Also, diese Idee, den Informationsgehalt der Repräsentationen der beiden Eingaben zu maximieren und den Informationsgehalt der latenten Variablen zu minimieren, gehört zu regulierten Methoden. Aber ein Großteil der Arbeit in diesen gemeinsamen Einbettungsarchitekturen verwendet kontrastive Methoden. Tatsächlich sind sie im Moment wahrscheinlich die beliebtesten. Die Frage ist also, wie man den Informationsgehalt so misst, dass man ihn optimieren oder minimieren kann. Und hier wird es kompliziert, weil wir nicht wissen, wie wir den Informationsgehalt messen sollen. Wir können es approximieren, wir können es nach oben begrenzen, wir können solche Dinge tun. Aber sie messen nicht wirklich den Informationsgehalt, der in gewisser Weise nicht einmal genau definiert ist.

ZDNET: Es ist nicht Shannons Gesetz? Es ist nicht Informationstheorie? Du hast eine bestimmte Menge an Entropie, gute Entropie und schlechte Entropie, und die gute Entropie ist ein Symbolsystem, das funktioniert, schlechte Entropie ist Rauschen. Ist das nicht alles von Shannon gelöst?

YL: Du hast Recht, aber dahinter steckt ein großer Fehler. Sie haben Recht in dem Sinne, dass, wenn Daten auf Sie zukommen und Sie die Daten irgendwie in diskrete Symbole quantisieren können, und dann die Wahrscheinlichkeit jedes dieser Symbole messen, dann ist die maximale Menge an Information, die von diesen Symbolen getragen wird, die Summe über die möglichen Symbole von Pi log Pi. Rechts? Wobei Pi die Wahrscheinlichkeit des Symbols i ist - das ist die Shannon-Entropie. [Das Shannonsche Gesetz wird allgemein als H=- ∑ pi log pi formuliert.]

Hier ist jedoch das Problem: Was ist Pi? Es ist einfach, wenn die Anzahl der Symbole klein ist und die Symbole unabhängig voneinander gezeichnet werden. Wenn es viele Symbole und Abhängigkeiten gibt, ist es sehr schwierig. Wenn Sie also eine Folge von Bits haben und davon ausgehen, dass die Bits unabhängig voneinander sind und die Wahrscheinlichkeit zwischen eins und null oder was auch immer gleich ist, dann können Sie die Entropie problemlos messen, kein Problem. Aber wenn die Dinge, die zu Ihnen kommen, hochdimensionale Vektoren sind, wie z.B. Videoframes oder so etwas, was ist Pi? Wie ist die Verteilung? Zuerst muss man diesen Raum quantisieren, der ein hochdimensionaler, kontinuierlicher Raum ist. Sie haben keine Ahnung, wie Sie das richtig quantisieren können. Sie können k-means usw. verwenden. Das ist es, was Menschen tun, wenn sie Videokomprimierung und Bildkomprimierung durchführen. Aber das ist nur eine Annäherung. Und dann muss man von der Unabhängigkeit ausgehen. Es ist also klar, dass in einem Video aufeinanderfolgende Frames nicht unabhängig sind. Es gibt Abhängigkeiten, und dieser Frame kann von einem anderen Frame abhängen, den Sie vor einer Stunde gesehen haben und bei dem es sich um ein Bild derselben Sache handelt. Also, wissen Sie, man kann Pi nicht messen. Um Pi zu messen, benötigen Sie ein maschinelles Lernsystem, das lernt, Vorhersagen zu treffen. Und damit sind Sie wieder beim vorherigen Problem. Sie können also im Wesentlichen nur das Maß an Informationen annähern. 

"Die Frage ist genau, wie man den Informationsgehalt so misst, dass man ihn optimieren oder minimieren kann", sagt LeCun. "Und hier wird es kompliziert, weil wir nicht wissen, wie wir den Informationsgehalt messen sollen." Das Beste, was bisher getan werden kann, ist, einen Proxy zu finden, der "gut genug für die Aufgabe ist, die wir wollen".

Lassen Sie mich ein konkreteres Beispiel nehmen. Einer der Algorithmen, mit dem wir gespielt haben und über den ich in dem Artikel gesprochen habe, ist dieses Ding namens VICReg, Varianz-Invarianz-Kovarianz-Regularisierung. Es steht in einem separaten Papier, das bei ICLR veröffentlicht wurde, und es wurde etwa ein Jahr zuvor, 2021, auf arXiv veröffentlicht. Und die Idee dahinter ist, Informationen zu maximieren. Und die Idee kam eigentlich aus einer früheren Arbeit meiner Gruppe mit dem Titel Barlow Twins. Sie maximieren den Informationsgehalt eines Vektors, der aus einem neuronalen Netz kommt, indem Sie im Grunde davon ausgehen, dass die einzige Abhängigkeit zwischen Variablen die Korrelation ist, die lineare Abhängigkeit. Wenn Sie also davon ausgehen, dass die einzige Abhängigkeit, die zwischen Variablenpaaren oder zwischen Variablen in Ihrem System möglich ist, Korrelationen zwischen Paaren von Werten sind, was die extrem grobe Näherung ist, dann können Sie den Informationsgehalt maximieren, der aus Ihrem System kommt, indem Sie sicherstellen, dass alle Variablen eine Varianz ungleich Null aufweisen - sagen wir, Varianz eins, es spielt keine Rolle, was es ist - und dann sie rückwärts zu korrelieren, derselbe Prozess, der als Whitening bezeichnet wird, ist auch nicht neu.

Das Problem dabei ist, dass Sie sehr wohl extrem komplexe Abhängigkeiten zwischen Gruppen von Variablen oder sogar nur Paaren von Variablen haben können, die keine linearen Abhängigkeiten sind, und sie zeigen sich nicht in Korrelationen. Wenn Sie also zum Beispiel zwei Variablen haben und alle Punkte dieser beiden Variablen in einer Art Spirale angeordnet sind, besteht eine sehr starke Abhängigkeit zwischen diesen beiden Variablen, richtig? Aber wenn Sie die Korrelation zwischen diesen beiden Variablen berechnen, sind sie nicht korreliert. Hier ist ein Beispiel, bei dem der Informationsgehalt dieser beiden Variablen tatsächlich sehr klein ist, es ist nur eine Größe, weil es Ihre Position in der Spirale ist. Sie sind dekorreliert, so dass Sie denken, dass Sie eine Menge Informationen aus diesen beiden Variablen haben, während Sie dies in Wirklichkeit nicht tun, sondern nur, wissen Sie, Sie können im Wesentlichen eine der Variablen aus der anderen vorhersagen. Das zeigt also, dass wir nur sehr ungefähre Möglichkeiten haben, den Informationsgehalt zu messen.

ZDNET: Und das ist eines der Dinge, an denen Sie jetzt arbeiten müssen? Dies ist die größere Frage: Woher wissen wir, wann wir den Informationsgehalt maximieren und minimieren?

YL:  Oder ob der Proxy, den wir dafür verwenden, gut genug für die Aufgabe ist, die wir wollen. Tatsächlich tun wir dies beim maschinellen Lernen ständig. Die Kostenfunktionen, die wir minimieren, sind nie die, die wir eigentlich minimieren wollen. Also, zum Beispiel, möchten Sie eine Klassifizierung durchführen, okay? Die Kostenfunktion, die Sie beim Trainieren eines Klassifikators minimieren möchten, ist die Anzahl der Fehler, die der Klassifikator macht. Aber das ist eine nicht differenzierbare, schreckliche Kostenfunktion, die Sie nicht minimieren können, weil Sie die Gewichtungen Ihres neuronalen Netzes ändern werden, nichts wird sich ändern, bis eine dieser Stichproben ihre Entscheidung umdreht, und dann ein Sprung im Fehler, positiv oder negativ.

ZDNET: Sie haben also einen Proxy, der eine objektive Funktion ist, von der man definitiv sagen kann, dass wir definitiv Gradienten von diesem Ding fließen lassen können.

YL: Das stimmt. Die Leute verwenden also diesen Kreuzentropieverlust oder SOFTMAX, es gibt mehrere Namen dafür, aber es ist dasselbe. Und es ist im Grunde eine glatte Annäherung an die Anzahl der Fehler, die das System macht, wobei die Glättung im Grunde genommen unter Berücksichtigung der Punktzahl erfolgt, die das System jeder der Kategorien gibt.

ZDNET: Gibt es etwas, das wir noch nicht behandelt haben und das Sie gerne behandeln würden?

YL: Es geht wahrscheinlich darum, die wichtigsten Punkte zu betonen. Ich denke, KI-Systeme müssen in der Lage sein, zu argumentieren, und der Prozess, den ich dafür befürworte, besteht darin, ein Ziel in Bezug auf eine latente Variable zu minimieren. Das ermöglicht es den Systemen, zu planen und zu argumentieren. Ich denke, wir sollten den probabilistischen Rahmen aufgeben, weil er unlösbar ist, wenn wir Dinge wie die Erfassung von Abhängigkeiten zwischen hochdimensionalen, kontinuierlichen Variablen tun wollen. Und ich plädiere dafür, generative Modelle aufzugeben, weil das System zu viele Ressourcen für die Vorhersage von Dingen aufwenden muss, die zu schwer vorherzusagen sind und vielleicht zu viele Ressourcen verbrauchen. Und das war's auch schon. Das sind die Hauptbotschaften, wenn Sie wollen. Und dann die gesamte Architektur. Dann gibt es diese Spekulationen über die Natur des Bewusstseins und die Rolle des Konfigurators, aber das ist wirklich Spekulation.

ZDNET: Dazu kommen wir beim nächsten Mal. Ich wollte Sie fragen, wie Sie das Ding bewerten? Aber ich schätze, Sie sind gerade ein bisschen weiter vom Benchmarking entfernt?

YL: Nicht unbedingt so weit in einer Art vereinfachter Version. Man kann das tun, was jeder beim Control oder Reinforcement Learning tut, nämlich das Ding darauf zu trainieren, Atari-Spiele zu spielen oder so etwas oder ein anderes Spiel, das eine gewisse Unsicherheit in sich trägt.

ZDNET: Vielen Dank für Ihre Zeit, Yann.