Könnte KI Sie im Jahr 2025 zum Milliardär machen?

Gary Marcus, Deep-Learning-Gadfly, sagt, dass er und der leitende KI-Wissenschaftler von Meta, Yann LeCun, sich über die wichtigsten Herausforderungen in diesem Bereich einig sind.

Der emeritierte NYU-Professor Gary Marcus, ein häufiger Kritiker des Hypes um künstliche Intelligenz, setzte sich kürzlich mit ZDNET zusammen, um die Äußerungen von Yann LeCun, Metas Chef-KI-Wissenschaftler, in einem ZDNET-Interview mit LeCun im September zu widerlegen. 

LeCun hatte Marcus' Argument zugunsten der Symbolmanipulation als Weg zu einer ausgefeilteren KI in Zweifel gezogen. LeCun merkte auch an, dass Marcus keine von Experten begutachteten Artikel in KI-Zeitschriften hatte.

Marcus hat in der Tat von Experten begutachtete Arbeiten veröffentlicht, von denen eine Liste im Kontext des folgenden Interviews erscheint. Aber Marcus' Gegendarstellung befasst sich inhaltlicher mit der Kluft zwischen den beiden, die sich seit Jahren in den sozialen Medien streiten.

"Es gibt einen Raum möglicher Architekturen für KI", sagt der emeritierte NYU-Professor Gary Marcus. "Das meiste, was wir untersucht haben, befindet sich in einer winzigen Ecke dieses Raums."

Marcus behauptet, LeCun habe sich nicht wirklich mit Marcus' Ideen auseinandergesetzt, sondern sie einfach verworfen. Er argumentiert auch, dass LeCun anderen Wissenschaftlern kein faires Gehör geschenkt hat, wie z.B. Judea Pearl, deren Ansichten über KI und Kausalität ein bemerkenswertes Werk bilden.

Marcus argumentiert, dass LeCuns Verhalten Teil eines Musters von Deep-Learning-Forschern ist, die Kollegen von außerhalb des Deep Learning ablehnen, die Kritik äußern oder auf andere Fragewege drängen. 

"Es gibt einige Leute, die eine Menge Geld und einen Haufen Anerkennung haben, die versuchen, andere Leute zu verdrängen", sagte Marcus über LeCun und andere Deep-Learning-Gelehrte. Sie seien, so sagte er, in Anlehnung an einen Begriff der Computerlinguistin Emily Bender, "saugen den Sauerstoff aus dem Raum", indem sie sich nicht mit konkurrierenden Ideen auseinandersetzen. 

Das Zerwürfnis zwischen Marcus und LeCun ist aus Marcus' Sicht seltsam, wenn man bedenkt, dass Marcus behauptet, dass LeCun endlich dazu gekommen ist, vielen Kritikpunkten zuzustimmen, die Marcus seit Jahren vorbringt. 

"Es schien im Grunde so, als würde er sagen, dass all die Dinge, die ich gesagt hatte und von denen er gesagt hatte, dass sie falsch waren, die Wahrheit waren", sagte Marcus. Marcus hat seine starken Ansichten zum Deep Learning sowohl in Büchern zum Ausdruck gebracht, zuletzt in Rebooting AI von 2019 mit Ernie Davis, obwohl es Elemente in einem viel früheren Werk, The Algebraic Mind, gibt; und in zahlreichen Aufsätzen, darunter seine umfangreichste Kritik aus dem Jahr 2018, "Deep Learning: A Critical Appraisal".

Tatsächlich sind die Gemeinsamkeiten zwischen den beiden Gelehrten so, dass "LeCun und ich in einer anderen Welt Verbündete wären", sagte Marcus. 

"Der Punkt Nr. 1, in dem LeCun und ich uns einig sind, ist, dass Skalierung allein nicht ausreicht", sagte Marcus, womit er meint, dass die Herstellung immer größerer Versionen von neuronalen Netzen wie GPT-3 an und für sich nicht zu der Art von Intelligenz führen wird, auf die es ankommt. 

Es gibt auch nach wie vor grundsätzliche Meinungsverschiedenheiten zwischen den beiden Gelehrten. Marcus hat bereits in seinem Buch "Der algebraische Geist" leidenschaftlich für das plädiert, was er "Angeborenheit" nennt, etwas, das mit dem Verstand verdrahtet ist, um der Intelligenz Struktur zu geben. 

"Wenn man sich die Biologie ansieht, bin ich der Meinung, dass wir nur eine riesige Mischung aus angeborenen Strukturen sind", sagte Marcus. LeCun wolle, dass alles gelernt werde.

"Ich denke, die große Ironie ist, dass LeCuns größter Beitrag zur KI der angeborene Prior der Faltung ist, den manche Leute Translationsinvarianz nennen", sagte Marcus in Anspielung auf Convolutional Neural Networks. 

Das Einzige, was größer ist als die beiden Forscher und größer als der Streit zwischen ihnen, ist, dass sich die KI in einer Sackgasse befindet, ohne eine klare Richtung, um die Art von Intelligenz zu erreichen, von der das Feld immer geträumt hat. 

"Es gibt einen Raum für mögliche Architekturen für KI", sagte Marcus. "Das meiste, was wir untersucht haben, befindet sich in einer winzigen Ecke dieses Raums; Diese Ecke des Raumes funktioniert nicht ganz. Die Frage ist: Wie kommen wir aus dieser Ecke heraus und fangen an, uns nach anderen Orten umzusehen?"

Im Folgenden finden Sie ein Transkript des Interviews, das der Länge nach bearbeitet wurde.

Wenn Sie in Marcus' aktuelle Schriften über KI eintauchen möchten, schauen Sie sich seinen Substack an. 

ZDNET: Dieses Gespräch ist eine Reaktion auf das kürzliche ZDNET-Interview mit Yann LeCun von Meta , in dem Sie erwähnt wurden. Und was ist also zunächst einmal wichtig an diesem Interview mit LeCún zu erwähnen?

Gary Marcus: LeCun hat mich in letzter Zeit viel kritisiert, im ZDNET-Interview, in einem Artikel in Noema und auf Twitter und Facebook, aber ich weiß immer noch nicht, wie viel LeCun tatsächlich von dem gelesen hat, was ich gesagt habe. Und ich denke, ein Teil der Spannung hier ist, dass er manchmal meine Arbeit kritisiert hat, ohne sie zu lesen, nur auf der Grundlage von Dingen wie Titeln. Ich habe 2018 diesen Artikel mit dem Titel "Deep Learning: A Critical Appraisal" geschrieben, und er hat ihn bei der ersten Gelegenheit, die er auf Twitter bekam, öffentlich niedergeschlagen. Er sagte, es sei "größtenteils falsch" und ich versuchte, ihn darauf zu drängen, was daran falsch sei. Er hat es nie gesagt. 

Ich glaube, er denkt, dass dieser Artikel sagt, dass wir Deep Learning wegwerfen sollten. Und ich habe ihn in dieser Hinsicht unzählige Male korrigiert. Er hat diesen Fehler [im ZDNET-Interview] wieder gemacht. Wenn man das Papier liest, heißt es, dass ich denke, dass Deep Learning nur ein Werkzeug unter vielen ist und dass wir auch andere Dinge brauchen. 

Wie auch immer, er hat diese Zeitung schon früher angegriffen, und er ist ein großer älterer Kerl. Zu dieser Zeit [2018] leitete er Facebook AI. Jetzt ist er Chief AI Scientist bei Facebook und Vizepräsident dort. Er ist Turing-Preisträger. Seine Worte haben also Gewicht. Und wenn er jemanden angreift, folgen die Leute seinem Beispiel. 

Natürlich müssen wir nicht alle die Artikel der anderen lesen, aber wir sollten nicht sagen, dass sie größtenteils falsch sind, wenn wir sie nicht gelesen haben. Das ist nicht wirklich fair. Und für mich fühlte es sich ein bisschen wie ein Machtmissbrauch an. Und dann war ich wirklich erstaunt über das Interview, das Sie mit ihm geführt haben, weil es sich so anhörte, als würde er für all die Dinge argumentieren, die ich in dieser Zeitung veröffentlicht hatte und über die er sich lustig gemacht hatte: Wir werden nicht den ganzen Weg dorthin gehen, zumindest nicht mit den aktuellen Deep-Learning-Techniken. Es gab viele andere, irgendwie feine Überschneidungen, so dass es im Grunde so aussah, als würde er sagen, dass all die Dinge, die ich gesagt hatte, von denen er gesagt hatte, dass sie falsch waren, die Wahrheit waren. 

Und das wäre für mich irgendwie irritierend genug - kein Akademiker mag es, nicht zitiert zu werden -, aber dann schoss er mich an und sagte, dass ich noch nie etwas in einer von Experten begutachteten KI-Zeitschrift veröffentlicht hätte. Was nicht stimmt. Er muss das nicht überprüft haben. Ich fürchte, du hast es auch nicht getan. Sie haben es freundlicherweise korrigiert.

ZDNET: Ich entschuldige mich dafür, dass ich es nicht überprüft habe.

GM: So etwas passiert. Ich meine, ein Teil davon ist, dass es so ist, als ob eine Autorität etwas sagt und man es einfach glaubt. Rechts. Ich meine, er ist Yann LeCun.

ZDNET: Es sollte einer Faktenprüfung unterzogen werden. Ich stimme Ihnen zu.

GM: Wie auch immer. Er hat es gesagt. Ich korrigierte ihn. Er hat sich nie öffentlich entschuldigt. Wie auch immer, was ich dort sah, die Kombination aus im Grunde den gleichen Dingen, die ich schon seit einiger Zeit sage, und Angriffen auf mich, war Teil einer Neupositionierungsbemühung. Und ich lege die Argumente dafür in diesem Substack-Artikel dar: "Wie neu sind Yann LeCuns 'neue' Ideen?"

Und das Argument, das ich dort vorgebracht habe, ist, dass er tatsächlich versucht, die Geschichte neu zu schreiben. Ich habe zahlreiche Beispiele genannt; wie man heutzutage sagt, habe ich Quittungen mitgebracht. Wer neugierig ist, kann es lesen. Ich möchte hier nicht alle Argumente wiederholen, aber ich sehe dies in mehreren Dimensionen. Nun, einige Leute sahen das und fragten: "Wird LeCun dafür bestraft werden?" Und natürlich lautet die Antwort: Nein, das wird er nicht. Er ist mächtig. Mächtige Menschen werden nie für Dinge bestraft, oder nur selten. 

Aber es gibt noch eine Reihe von Punkten, die tiefer gehen. Weißt du, abgesehen davon, dass ich persönlich sauer und erschrocken bin, bin ich nicht allein. Ich habe ein Beispiel [im Substack-Artikel] genannt, bei dem [Jürgen] Schmidhuber [außerordentlicher Professor am IDSIA Dalle Molle Institute for Artificial Intelligence] genauso denkt. In der Zwischenzeit kam heraus, dass Judea Pearl, der wie Yann auch Turing-Award-Gewinner ist, auch das Gefühl hat, dass seine Arbeit von der Mainstream-Community des maschinellen Lernens nicht erwähnt wurde. Pearl sagte das auf eine ziemlich bissige Art und Weise, indem er sagte: "LeCun war gemein zu Marcus, aber er hat sich nicht einmal die Mühe gemacht, mich zu erwähnen", ist mehr oder weniger das, was Pearl sagte. Und das ist ziemlich vernichtend, dass ein Turing-Award-Gewinner den anderen nicht einmal zitiert

LeCun denkt über Kausalität nach, und wir alle wissen, dass der Anführer in Sachen Kausalität Pearl ist. Das bedeutet nicht, dass Pearl alle Probleme gelöst hat, aber er hat mehr als jeder andere getan, um darauf aufmerksam zu machen, warum maschinelles Lernen wichtig ist. Er hat mehr formale Maschinerie dazu beigetragen. Ich glaube nicht, dass er dieses Problem gelöst hat, aber er hat es aufgebrochen. Wenn LeCun sagt, ich werde Weltmodelle erstellen, nun, bei Weltmodellen geht es darum, Kausalität zu verstehen, und Pearl zu vernachlässigen, ist schockierend. 

Und es ist Teil eines Stils von "Nicht hier erfunden". Nun, eine Ironie ist, dass ich denke, dass LeCun wahrscheinlich alles, was er in Ihrem Interview gesagt hat - nicht das Zeug über mich, sondern über diese Art von Zustand des Feldes - wahrscheinlich von selbst zu ihm gekommen ist. Ich glaube nicht, dass er es von mir plagiiert hat. Und das sage ich im [Substack]-Artikel. Aber warum vier Jahre warten, um dieses Zeug herauszufinden, wenn Ihr Nachbar an der NYU etwas zu sagen hat? 

Marcus ist ein unerbittlicher Kritiker des Deep Learning, am eindringlichsten in seinem 2019 zusammen mit seinem NYU-Kollegen Ernest Davis erschienenen Buch Rebooting AI. Das Duo argumentiert, dass der Mangel an gesundem Menschenverstand bei Programmen für maschinelles Lernen einer der größten Faktoren für den potenziellen Schaden ist, den diese Programme anrichten können.

Er hatte auch vor ein paar Jahren einen großen Streit mit Timnit Gebru [ehemaliger Google-Forscher und jetzt Gründer und Geschäftsführer des Distributed Artificial Intelligence Research Institute, DAIR] auf Twitter - das können Sie nachschlagen, wenn Sie möchten - so dass er [LeCun] Twitter tatsächlich verlassen hat. Er mobbte Timnit. Er spielt, glaube ich, Schmidhubers Beiträge herunter. Er spielt Pearl's herunter. Wie viele Leute, die die Ehre der Art und Weise, wie maschinelles Lernen derzeit betrieben wird, verteidigen wollen, hat er mich irgendwie verteufelt. Und Sie haben gesehen, dass er mich [im ZDNET-Interview] ziemlich direkt angegriffen hat. 

Meiner Meinung nach ist das alles Teil der größeren Sache, nämlich dass es einige Leute gibt, die eine Menge Geld und einen Haufen Anerkennung haben, die versuchen, andere Leute zu verdrängen. Und sie erkennen die Ironie dahinter nicht wirklich, weil sie selbst bis etwa 2012 verdrängt wurden. Sie hatten also wirklich gute Ideen, und ihre wirklich guten Ideen sahen 2010 nicht so gut aus. Mein Lieblingszitat dazu gehört immer noch Emily Bender. Sie sagte, das Problem dabei sei, dass sie den Sauerstoff aus dem Raum saugen, sie machen es anderen Menschen schwer, andere Ansätze zu verfolgen, und sie engagieren sich nicht für diese Ansätze. 

Es gibt ein ganzes Feld der neurosymbolischen KI, mit dem sich LeCun nicht auseinandersetzt und das er manchmal als inkohärent bezeichnet; als ich mich 2018 dafür einsetzte, sagte er, dass es "größtenteils falsch" sei. Aber er setzt sich nie wirklich mit der Arbeit auseinander. Und das ist nicht schicklich für jemanden seiner Statur, so etwas zu tun. Weißt du, es ist in Ordnung, wenn er damit nicht einverstanden ist und sagt: "Ich würde es auf diese andere, bessere Art und Weise machen, oder diese Prämissen sind falsch." Aber er lässt sich nicht darauf ein. 

Es gab einen wunderbaren Tweet [...] zu einem anderen Thema von Mikell Taylor, die Robotikerin ist, und sie sagte, dass ein Haufen dieser Tesla-Fans im Grunde sagt: "Nun, warum kümmert ihr euch nicht darum? Und ihr Punkt war: Nun, niemand kann die Dinge tun, die Tesla im Moment verspricht. Und niemand kann die Dinge tun, für die Deep Learning im Moment gedacht ist. Die Realität ist, dass diese Dinge übertrieben verkauft wurden. 

Wir haben im Jahr 2022 nicht die technologische Bereitschaft, einen Haushaltsroboter anzutreiben, um die Welt verstehen zu können. Wir scheitern immer noch an selbstfahrenden Autos. Wir haben diese Chatbots, die manchmal großartig und manchmal absolut dumm sind. Und meine Meinung ist, es ist, als wären wir auf dem K2, wir haben diesen unglaublichen Berg bestiegen, aber es stellt sich heraus, dass es der falsche Berg ist. Einige von uns haben schon eine Weile darauf hingewiesen, LeCun erkennt jetzt, dass es nicht der richtige Berg ist.

Taylors Punkt ist, dass es legitim ist, etwas zu kritisieren, auch wenn man keine bessere Lösung hat. Manchmal sind die besseren Lösungen einfach nicht zur Hand. Aber Sie müssen trotzdem verstehen, was gerade schief gelaufen ist. Und LeCun will beides, weil er auch keine Lösung für diese Probleme hat. Er geht jetzt herum und hält einen Vortrag und sagt: "Ich sehe, dass das Feld ein Chaos ist. Ungefähr am selben Tag, an dem dieses Interview veröffentlicht wurde, hielt er einen Vortrag, in dem er sagte: ML ist. Natürlich, wenn ich das sage, würden die Leute mir die Reifen aufschlitzen, aber er kann es sagen, weil er LeCun ist. 

Er sagt, ML sei, und dann hat er ein paar vage Geräusche darüber, wie er das Problem lösen wird. Ein interessantes Manifestpapier ("A Path Towards Autonomous Machine Intelligence"), das er diesen Sommer geschrieben hat und das mehrere Module umfasst, darunter eine Art konfigurierbaren Prädiktor. Der Punkt ist, dass [LeCuns neuer Ansatz] auch nicht wirklich eine umgesetzte Theorie ist. Es ist nicht so, dass LeCun nach Hause gehen und sagen kann: "All diese Dinge, über die sich Marcus Sorgen gemacht hat und über die ich mir jetzt Sorgen mache, sind damit gelöst." Alles, was er sagen kann, ist: "Ich habe einen Instinkt, dass wir diesen Weg gehen könnten." 

Ich denke, es ist etwas dran zu sagen, dass wir reichhaltigere Modelle der Welt brauchen. Tatsächlich ist es das, was ich seit Jahren sage. Einer der von Experten begutachteten Artikel, die ich zufällig in KI-Fachzeitschriften habe, ist ein Modell dafür, wie man versteht, was in einem Container passiert, was eine sehr interessante Sache ist, denn vieles von dem, was wir in der Welt tun, befasst sich tatsächlich mit Containern. 

Also, im Moment habe ich auf meinem Schreibtisch einen Behälter, in dem Kugelschreiber und Bleistifte und solche Sachen aufbewahrt werden, und ich habe einen anderen, in dem ein Glas Wasser steht. Ich weiß Dinge über sie, wie zum Beispiel, wenn ich etwas herausnehme, ist es nicht mehr im Behälter. Wenn ich den Behälter umkippe, fällt alles heraus. Wir können alle Arten von physikalischen Argumenten über Container anstellen. Wir wissen, wenn wir eine Kaffeetasse mit Löchern hätten und ich den Kaffee hineingieße, dann würde der Kaffee herauslaufen. 

Ernie Davis, ein Kollege von LeCun an der NYU, und ich haben diesen Artikel in Artificial Intelligence, einer der führenden Fachzeitschriften auf diesem Gebiet, geschrieben, in dem wir eine klassische formale Logikdarstellung geben. Und LeCun sprach in seinem Interview mit Ihnen über physikalisches Denken unter Umständen des gesunden Menschenverstandes. Hier ist also ein perfektes Beispiel für eine mögliche [alternative] Theorie, die Davis und ich vorgeschlagen haben. Um ehrlich zu sein, glaube ich nicht, dass die Theorie, die Davis und ich vorgeschlagen haben, richtig ist. Ich denke, das verzerrt das Problem. Aber es ist ein schwieriges Problem, und es gibt Raum, um mehr daran zu arbeiten. Aber der Punkt ist, dass es nicht so ist, dass LeCun tatsächlich eine Theorie des physikalischen Denkens über Container implementiert hat, von der er sagen kann, dass sie eine Alternative ist. Also zeigt er auf mich und sagt: "Nun, du hast keine Alternative. Nun, er hat keine Alternative zu dem, was ich vorgeschlagen habe.   

Man bekommt keine gute Wissenschaft, wenn das, was Menschen tun, darin besteht, die Glaubwürdigkeit von Menschen anzugreifen. Francis Crick war kein Biologe. Bedeutet das, dass sein DNA-Modell falsch ist? Nein. Er war Physiker, aber man kann auch aus einem anderen Bereich kommen und etwas zu sagen haben. Dafür gibt es historisch gesehen viele, viele Beispiele. 

Wenn man den Sauerstoff aus dem Raum saugt, indem man andere Menschen von alternativen Hypothesen abhält, läuft man Gefahr, eine falsche Vorstellung davon zu haben. Es gibt einen großartigen historischen Präzedenzfall dafür, groß und traurig, ein klarer, nämlich in den frühen 1900er Jahren, als die meisten Leute auf diesem Gebiet dachten, dass Gene, die Mendel entdeckt hatte, aus Proteinen bestehen. Sie suchten nach den molekularen Grundlagen der Gene und lagen alle falsch. Und sie schrieben stolze Artikel darüber. Jemand gewann einen Nobelpreis für, ich glaube, es war 1946, für das Tabakvirus, von dem er dachte, es sei ein Protein, und das war es in Wirklichkeit nicht. Es ist einer der wenigen Nobelpreise, der tatsächlich zu Unrecht vergeben wurde. Und es stellt sich heraus, dass DNA eigentlich eine Säure ist, dieses seltsame Ding namens DNA, über das die Menschen damals nicht viel wussten. Es gibt also diese Perioden in der Geschichte, in denen die Menschen sich sehr darüber im Klaren sind, was die Antwort ist und was nicht. 

Langfristig korrigiert sich die Wissenschaft selbst. Aber der Grund, warum wir eine Art Etikette und Best Practice haben, die besagt, dass man nicht ad hominem die Arbeit anderer Leute zitieren und darauf aufbauen darf, ist, dass wir solche Fehler nicht machen und damit wir effizienter sein können. Wenn wir abweisend sind, und das ist wirklich das Wort, das ich am meisten in Bezug auf LeCun verwenden würde, wenn wir die Arbeit anderer Leute ablehnen, wie die Arbeit von Judea Pearl, meine Arbeit, Schmidhubers Arbeit, die gesamte neuro-symbolische Gemeinschaft, riskieren wir, uns zu lange mit den falschen Modellen aufzuhalten.

ZDNET: In Bezug auf Ihre Studie aus dem Jahr 2018, die ein wunderbarer Artikel ist, lautet das Schlüsselzitat für mich: "Deep Learning ist bisher oberflächlich, es hat eine begrenzte Übertragungskapazität, obwohl Deep Learning zu einigen erstaunlichen Dingen fähig ist." Wir sind alle irgendwie verliebt in die erstaunlichen Dinge, was bedeutet, dass es unsere Fotos in unsere hochauflösenden Smartphone-Bilder verwandelt. Seien wir ehrlich: Das Zeug funktioniert auf einer gewissen Ebene. Und jetzt sagen Sie und LeCun beide, das ist keine Intelligenz, und es ist nicht einmal ein Anfang von Intelligenz, es ist wirklich primitiv. Ihr habt es beide mit einem industriellen Regime zu tun, das immer mehr davon profitiert, diese erstaunlichen Dinge zu präsentieren, die diese Maschinen tun.

GM: Das erste, was ich sagen werde, ist, dass ich nicht darüber streiten möchte, ob es Intelligenz ist oder nicht. Das hängt davon ab, wie Sie die Begriffe definieren. Ich würde also sagen, dass es nicht unvernünftig ist, Deep Learning als eine Form der Intelligenz zu bezeichnen, je nachdem, wie man es definiert. Du könntest einen Taschenrechner intelligent nennen, wenn du willst, oder einen Schachcomputer. Das ist mir eigentlich egal. Aber die Form der Intelligenz, die wir als allgemeine Intelligenz oder adaptive Intelligenz bezeichnen könnten, ist mir die adaptive Intelligenz. Ich frage mich, wie wir Maschinen bauen können, bei denen man sagen kann: "Hier ist mein Problem, löse es", so wie man einem Praktikanten im Grundstudium ein paar Dinge über etwas erzählen und ihn dazu bringen kann, daran zu arbeiten und eine anerkennenswerte Arbeit zu leisten.

Solche Maschinen haben wir nicht. Wir haben keine Maschinen, die ein ausreichend hohes Maß an Verständnis für die Welt oder das Verständnis der Welt haben, um mit Neuem umgehen zu können. Viele der Beispiele, von denen Sie sprechen, sind Dinge, bei denen wir eine riesige Datenmenge haben, die sich nicht allzu sehr ändert. Sie können also Milliarden von Versuchen mit Menschen erhalten, die das Wort "Alexa" sagen, und dann können Sie diese Algorithmen sicherlich verwenden, um das Wort "Alexa" zu erkennen.

Auf der anderen Seite hat Eric Topol, einer meiner Lieblingsmenschen, der sich mit KI und Medizin beschäftigt, vor zwei Tagen einen Tweet veröffentlicht, in dem er zeigt, dass es immer noch ernsthafte Probleme gibt, KI dazu zu bringen, etwas wirklich Nützliches in der Medizin zu tun. Und das liegt daran, dass sich die Biologie ständig verändert. 

Um einen anderen Fall zu nennen: Viele dieser großen Sprachmodelle denken, dass Trump immer noch Präsident ist, weil es viele Daten gibt, die Präsident Trump sagen, und sie machen nicht die grundlegende zeitliche Argumentation, um zu verstehen, dass man nicht mehr Präsident ist, sobald jemand anderes vereidigt ist. Das tun sie einfach nicht.

Wenn man nur statistische Beweise anhäuft und die Dynamik der Dinge nicht versteht, hat man ein Problem. Oder Walid Saba [KI- und ML-Wissenschaftler] hatte dieses schöne Beispiel. Von wem würden Sie sich lieber beraten lassen, fragte er GPT-3, ein kleines Kind oder einen brillanten Tisch. Und es kennt einfach das Wort brillant, und so sagt es, ich würde den Rat von der brillanten Tabelle annehmen. Da gibt es keine Tiefe, es geht nicht wirklich darum, die Welt zu verstehen. 

Es ist eine Art Brillanz, aber auch ein Schrecken des Marketings, dass der Begriff Deep Learning konzeptionelle Tiefe impliziert, und die ist es, was ihm fehlt. Es bedeutet eigentlich nur eine bestimmte Anzahl von Schichten im Netzwerk, sagen wir drei oder mehr, und heutzutage könnten es 150 sein, aber Deep im Deep Learning bedeutet nur die Anzahl der Schichten, es bedeutet nicht konzeptionelle Tiefe. Es bedeutet nicht, dass eines dieser Systeme weiß, was eine Person ist, was ein Tisch ist, was irgendetwas ist. 

ZDNET: Dann scheint es, dass die Kräfte gegen Sie größer sind als die Kräfte zwischen Ihnen und LeCun. Sie haben es beide mit einem Regime zu tun, in dem die Dinge, wie er es ausdrückte, manipuliert sein werden. Die Welt wird etwas erreichen, das irgendwie funktioniert, aber es ist wirklich nicht intelligent.

GM: Es ist interessant: In einer anderen Welt wären LeCun und ich Verbündete. Es gibt eine sehr große Anzahl von Dingen, über die wir uns einig sind. Ich habe sie kürzlich in einem Stück mit dem Titel skizziert, hatte die Worte darin, Paradigmenwechsel. Ich habe eigentlich auf den Slate Star Codex, Scott Alexander, geantwortet. Ich habe einen Artikel in meinem Substack geschrieben, "Braucht KI wirklich einen Paradigmenwechsel?" Und dort gibt es einen Abschnitt, in dem ich alle Aspekte skizziere, in denen LeCun und ich übereinstimmen. 

Wenn man sich die größere Textur des Feldes ansieht, sind wir tatsächlich bei den meisten Punkten in Ausrichtung. Und ich werde einige davon überprüfen, weil ich denke, dass sie wichtig sind. Der Punkt Nr. 1, in dem LeCun und ich uns einig sind, ist, dass Skalierung allein nicht ausreicht. Nun, wir sind nicht die Einzigen, die das denken, aber es gibt eine echte Spaltung auf diesem Gebiet.

Ich denke, dass ein Großteil der jüngeren Generation von den Skalierungsdemonstrationen sehr beeindruckt war. [DeepMind-Forscher] Nando de Freitas schrieb etwas auf Twitter, in dem er sagte, das Spiel sei vorbei, AGI sei nur eine Frage der Skalierung. Darauf schrieb ich eine Antwort mit dem Titel "Alt Intelligence", die das erste Stück im Substack war, das ich behalten habe. Die Leute nennen es in letzter Zeit Skalierungsmaximalismus, als ob Skalierung alles ist, was man braucht. Das ist derzeit eine der größten Fragen in diesem Bereich. Und LeCun und ich sind uns absolut einig, dass skalierender Maximalismus, dass das einfach nicht ausreicht, um uns zu der Art von tieferer adaptiver Intelligenz zu bringen, die ihm und mir meiner Meinung nach wichtig ist. 

In ähnlicher Weise sind er und ich beide der Meinung, dass Reinforcement Learning, mit dem DeepMind viel Zeit verbracht hat, aber auch andere Leute haben, unserer Meinung nach ebenfalls unzureichend ist. Er verwendet gerne die Metapher "Es ist nur die Kirsche auf dem Kuchen", und da stimme ich ihm zu. Ich denke, man kann kein gutes Reinforcement Learning machen, bis man die Welt tatsächlich versteht. 

Wir sind uns beide einig, dass große Sprachmodelle, obwohl sie wirklich cool sind, wirklich problematisch sind. Nun, ich glaube, ich habe wirklich zuerst darauf hingewiesen, und er war wirklich ziemlich bösartig, als ich darauf hinwies. Aber wir sind am selben Ort zusammengekommen. Wir denken beide, dass diese Systeme, so auffällig sie auch sind, uns nicht zu allgemeiner Intelligenz führen. Und das hängt mit dem Skalierungspunkt zusammen. 

Dies sind einige der wichtigsten Themen. Und in gewisser Weise ist unsere kollektive Ansicht dort eine Minderheitsansicht, und ich glaube, dass wir beide in diesen Punkten Recht haben. Die Zeit wird es zeigen. Das sind alles empirische Fragen. Wir müssen noch mehr tun. Wir kennen die wissenschaftlichen Antworten nicht, aber LeCun und ich teilen sicherlich ziemlich tiefe Intuitionen in Bezug auf diese Punkte.

Ein weiterer Punkt, an dem wir uns wirklich zutiefst einig sind, nämlich dass man Modelle und gesunden Menschenverstand braucht, sind wirklich zwei Dinge. Man braucht Modelle davon, wie die Welt funktioniert, und damit verbunden, obwohl wir uns wahrscheinlich auch einig sind, dass es nebulös ist, denken wir beide, dass man so etwas wie gesunden Menschenverstand braucht und dass das wirklich entscheidend ist. 

Ich könnte mir vorstellen, dass wir eine Podiumsdiskussion auf dem World Science Festival teilen, und dann würden wir anfangen darüber zu sprechen, hier sind die sieben Dinge, mit denen wir übereinstimmen, und hier ist der Grund, warum ich denke, dass Weltmodelle so oder so sein müssen, und es wäre eine interessante Diskussion, wenn wir wieder an den Ort zurückkehren könnten, an dem wir einmal waren. 

ZDNET: Und wo unterscheiden Sie sich?

GM: Ich würde behaupten, dass es eine Menge symbolisches Wissen gibt, das wir vielleicht nutzen möchten. Ich würde argumentieren, dass symbolische Werkzeuge bisher immer noch eine viel bessere Möglichkeit bieten, über die Verteilung hinaus zu verallgemeinern, und das ist wirklich wichtig. Wir alle wissen heutzutage, dass die Verschiebung des Vertriebs ein kritisches Problem ist. Ich habe es 2018 angesprochen, ich denke, es ist immer noch das wesentliche Problem, wie man über die Daten, die man gesehen hat, hinaus verallgemeinert. Und ich denke, symbolische Modelle könnten da einen gewissen Vorteil haben. Ich würde zugeben, dass wir nicht wissen, wie wir diese Modelle lernen können. Und ich denke, dass LeCuns beste Hoffnung, dort Fortschritte zu machen, auf der Lernseite dieser Modelle liegen würde. Ich bin mir nicht sicher, ob er die richtige Architektur hat, aber zumindest hat er in diesem Sinne den richtigen Geist. 

Und dann der andere Punkt, an dem wir inhaltlich unterschiedlicher Meinung sind, und das war die Debatte von 2017, in der es um Angeborenheit ging. Ich denke, wir brauchen mehr Angeborenheit. Und ich denke, die große Ironie ist, dass LeCuns größter Beitrag zur KI der angeborene Prior der Faltung ist, den manche Leute als Übersetzungsinvarianz bezeichnen. Und es besagt, dass es im Wesentlichen eine Art der Verdrahtung ist, dass ein Objekt gleich aussieht, wenn es an verschiedenen Orten erscheint. Ich denke, wir brauchen mehr solche Prioritäten. Mehr angeborenes Zeug wie dieses. Und LeCun will das eigentlich nicht. Er will wirklich nicht, dass es eine angeborene Struktur gibt. Er ist auf einem Gebiet, das nicht zufällig maschinelles Lernen genannt wird. Und die Leute im Bereich des maschinellen Lernens wollen, dass alles gelernt wird. Nicht alle, aber viele. 

Wenn man sich die Biologie ansieht, bin ich der Meinung, dass wir nur eine riesige Mischung aus angeborener Struktur und erlernter kalibrierbarer Maschinerie sind. Die Struktur unseres Herzens zum Beispiel ist also eindeutig angeboren. Es gibt eine gewisse Kalibrierung. Deine Herzmuskeln können wachsen, wenn du Sport treibst, und so weiter. Aber es gibt viele, viele angeborene Strukturen. Ich finde, dass es im Bereich des maschinellen Lernens eine Voreingenommenheit gegen die Angeborenheit gibt, die meiner Meinung nach dem Feld wirklich geschadet und es zurückgehalten hat. Das ist also ein Punkt, an dem wir unterschiedlicher Meinung sind. 

Ich tue, was die Leute meiner Meinung nach tun sollten. Ich verstehe die Ansichten meines Gegners. Ich denke, dass ich sie charakterisieren und über Punkte der Übereinstimmung und Meinungsverschiedenheit sprechen und charakterisieren kann, was sie sind. Wohingegen ich glaube, dass LeCun versucht hat, mich einfach von der Bühne zu vertreiben. Ich glaube nicht, dass das der richtige Weg ist, Wissenschaft zu betreiben.

ZDNET: Ausgangsfrage: Was ist Ihrer Meinung nach wichtig, mit dem wir uns auseinandersetzen, das größer ist als Sie und Yann LeCun?

GM: Nun, ich glaube nicht, dass einer von uns die Antwort hat, ist das erste, was ich sagen werde. Und der Grund, warum ich mir wünschte, er würde letztendlich mit mir debattieren, ist, weil ich denke, dass das Feld feststeckt und dass der einzige Weg, wie wir uns daraus befreien können, darin besteht, wenn ein Student oder ein junger Mensch die Dinge ein wenig anders sieht als der Rest von uns. Und Leute wie LeCun und mich zu haben, die starke Standpunkte haben, die sie artikulieren können, können den Menschen helfen, zu sehen, wie sie das Problem beheben können. Es gibt also eindeutig gute Gründe, ein lernbasiertes System zu wollen und sich nicht fest verdrahten zu wollen. Und es gibt eindeutig gute Gründe, die Vorteile der Symbolmanipulation zu wollen. Und es gibt keinen bekannten Weg, wie das Sprichwort sagt, unseren Kuchen zu haben und ihn auch zu essen.

Ich stelle mir also gerne vor, dass es einen Raum möglicher Modelle gibt, oder? Bei neuronalen Netzen dreht sich alles um die Erkundung mehrdimensionaler Räume. Es gibt einen Raum für mögliche Architekturen für KI. Das meiste, was wir untersucht haben, befindet sich in einer winzigen Ecke dieses Raums. Diese Ecke des Raumes funktioniert nicht ganz. Da sind LeCun und ich uns einig. Die Frage ist: Wie kommen wir aus dieser Ecke heraus und fangen an, uns nach anderen Orten umzusehen? Und wir haben beide unsere Vermutungen darüber, aber wir wissen es sicherlich nicht genau.

Und ich denke, es gibt noch viel Raum für viele kommende Paradigmenwechsel. In dem Artikel von mir, der "Paradigmenwechsel" genannt wird, zitiere ich LeCun sogar, wie er das sagt. Es gibt diesen Teil des Feldes, der denkt, dass wir keinen weiteren Paradigmenwechsel brauchen, sondern nur mehr Daten. Aber LeCun und ich sind beide der Meinung, dass wir einen Paradigmenwechsel brauchen, das heißt, wir müssen über den Raum der Modelle hinausblicken, den wir gerade betrachten. Der beste Weg, anderen Menschen dabei zu helfen, besteht darin, zu artikulieren, wo wir nicht weiterkommen.