KI: Das Muster liegt nicht in den Daten, sondern in der Maschine
Nein, die Muster, die Computer erzeugen, sind keine inhärente Eigenschaft von Daten, sie sind eine emergente Eigenschaft der Struktur des Programms selbst.
Ein neuronales Netz transformiert die Eingabe, die Kreise auf der linken Seite, in die Ausgabe auf der rechten Seite. Dies geschieht durch eine Transformation der Gewichte, des Zentrums, das wir oft mit Mustern in den Daten selbst verwechseln.
Es ist ein Gemeinplatz der künstlichen Intelligenz zu sagen, dass maschinelles Lernen, das auf riesigen Datenmengen beruht, funktioniert, indem es Muster in Daten findet.
Die Phrase "Muster in Daten finden" ist in der Tat seit Jahren ein Standardwort für Dinge wie Data Mining und Knowledge Discovery, und es wurde angenommen, dass maschinelles Lernen und insbesondere seine Deep-Learning-Variante nur die Tradition fortsetzen, solche Muster zu finden.
KI-Programme führen in der Tat zu Mustern, aber genau wie "Der Fehler, lieber Brutus, liegt nicht in unseren Sternen, sondern in uns selbst", ist die Tatsache dieser Muster nicht etwas in den Daten, sondern das, was das KI-Programm aus den Daten macht.
Fast alle Modelle des maschinellen Lernens funktionieren über eine Lernregel, die die sogenannten Gewichte, auch als Parameter bezeichnet, des Programms ändert, während das Programm mit Beispielen von Daten und möglicherweise mit Beschriftungen gefüttert wird, die an diese Daten angehängt sind. Es ist der Wert der Gewichte, der als "Wissen" oder "Verstehen" gilt.
Das Muster, das gefunden wird, ist in Wirklichkeit ein Muster dafür, wie sich Gewichte ändern. Die Gewichte simulieren, wie man glaubt, dass echte Neuronen "feuern", das Prinzip, das vom Psychologen Donald O. Hebb entwickelt wurde und als Hebb'sches Lernen bekannt wurde, die Idee, dass "Neuronen, die zusammen feuern, miteinander verbunden sind".
Es ist das Muster der Gewichtsveränderungen, das das Modell für das Lernen und Verstehen im maschinellen Lernen ist, was die Begründer des Deep Learning betont haben. Wie vor fast vierzig Jahren in einem der grundlegenden Texte des Deep Learning, Parallel Distributed Processing, Volume I, zum Ausdruck gebracht, schrieben James McClelland, David Rumelhart und Geoffrey Hinton:
Gespeichert werden die Verbindungsstärken zwischen den Einheiten, die es ermöglichen, diese Muster zu erzeugen [...] Wenn das Wissen die Stärken der Verbindungen sind, muss es beim Lernen darum gehen, die richtigen Verbindungsstärken zu finden, damit die richtigen Aktivierungsmuster unter den richtigen Umständen erzeugt werden.
McClelland, Rumelhart und Hinton schrieben für ein ausgewähltes Publikum, Kognitionspsychologen und Informatiker, und sie schrieben in einem ganz anderen Zeitalter, einem Zeitalter, in dem die Menschen nicht einfach davon ausgingen, dass alles, was ein Computer tat, "Wissen" darstellte. Sie arbeiteten in einer Zeit, in der KI-Programme überhaupt nicht viel tun konnten. Und sie beschäftigten sich hauptsächlich damit, wie man eine Berechnung - irgendeine Berechnung - aus einer ziemlich begrenzten Anordnung von Transistoren erzeugen kann.
Dann, beginnend mit dem Aufkommen leistungsstarker GPU-Chips vor etwa sechzehn Jahren, begannen Computer wirklich ein interessantes Verhalten zu produzieren, das durch die bahnbrechende ImageNet-Leistung von Hintons Arbeit mit seinen Doktoranden im Jahr 2012 gekrönt wurde, die das Erwachsenwerden des Deep Learning markierte.
Als Folge der neuen Errungenschaften des Computers begann die öffentliche Meinung, alle Arten von Mythologien rund um KI und Deep Learning aufzubauen. Es gab eine Flut von wirklich schlechten Schlagzeilen, die die Technologie mit übermenschlicher Leistung verglichen.
Die heutige Auffassung von KI hat verschleiert, worauf sich McClelland, Rumelhart und Hinton konzentrierten, nämlich die Maschine und wie sie Muster "erzeugt", wie sie es ausdrücken. Sie waren sehr gut vertraut mit der Mechanik von Gewichten, die ein Muster als Reaktion auf das konstruierten, was in der Eingabe lediglich Daten waren.
Warum ist das alles wichtig? Wenn die Maschine der Schöpfer von Mustern ist, dann sind die Schlussfolgerungen, die Menschen über KI ziehen, wahrscheinlich größtenteils falsch. Die meisten Menschen gehen davon aus, dass ein Computerprogramm ein Muster in der Welt wahrnimmt, was dazu führen kann, dass Menschen ihr Urteil der Maschine überlassen. Wenn er Ergebnisse liefert, so die Überlegung, muss der Computer etwas sehen, was Menschen nicht sehen.
Nur dass eine Maschine, die Muster konstruiert, nicht explizit etwas sieht. Es geht darum, ein Muster zu konstruieren. Das bedeutet, dass das, was "gesehen" oder "gekannt" wird, nicht dasselbe ist wie der umgangssprachliche, alltägliche Sinn, in dem Menschen von sich selbst als wissenden Dingen sprechen.
Anstatt von der anthropozentrischen Frage auszugehen: Was weiß die Maschine? Es ist am besten, mit einer genaueren Frage zu beginnen: Was stellt dieses Programm in den Verbindungen seiner Gewichte dar?
Je nach Aufgabenstellung nimmt die Antwort auf diese Frage viele Formen an.
Denken Sie an Computer Vision. Das Convolutional Neural Network, das maschinellen Lernprogrammen für die Bilderkennung und andere visuelle Wahrnehmung zugrunde liegt, besteht aus einer Sammlung von Gewichten, die Pixelwerte in einem digitalen Bild messen.
Das Pixelgitter ist bereits eine Auferlegung eines 2D-Koordinatensystems in der realen Welt. Ausgestattet mit der maschinenfreundlichen Abstraktion des Koordinatengitters läuft die Repräsentationsaufgabe eines neuronalen Netzes darauf hinaus, die Stärke von Pixelsammlungen mit einer auferlegten Bezeichnung wie "Vogel" oder "Blauhäher" abzugleichen.
In einer Szene, in der ein Vogel oder speziell ein Blauhäher vorkommt, können viele Dinge passieren, darunter Wolken, Sonnenschein und Passanten. Aber die Szene in ihrer Gesamtheit ist nicht das Ding. Was für das Programm zählt, ist die Sammlung von Pixeln, die am ehesten ein entsprechendes Label erzeugen. Mit anderen Worten, das Muster ist ein reduktiver Akt der Fokussierung und Selektion, der der Aktivierung neuronaler Netzverbindungen inhärent ist.
Man könnte sagen, ein Programm dieser Art "sieht" oder "wahrnimmt" nicht so sehr, als dass es filtert.
Das Gleiche gilt für Spiele, in denen die KI Schach und Poker beherrscht. Beim "Vollinformations"-Schachspiel, das vom AlphaZero-Programm von DeepMind beherrscht wird, läuft die Aufgabe des maschinellen Lernens darauf hinaus, in jedem Moment eine Wahrscheinlichkeitsbewertung zu erstellen, die zeigt, wie viel ein potenzieller nächster Zug letztendlich zu Sieg, Niederlage oder Unentschieden führen wird.
Da die Anzahl potenzieller zukünftiger Spielbrettkonfigurationen selbst von den schnellsten Computern nicht berechnet werden kann, verkürzen die Gewichtungen des Computers die Suche nach Zügen, indem sie das tun, was man als Zusammenfassung bezeichnen könnte. Das Programm fasst die Wahrscheinlichkeit eines Erfolgs zusammen, wenn man mehrere Schritte in eine bestimmte Richtung verfolgt, und vergleicht diese Zusammenfassung dann mit der Zusammenfassung potenzieller Schritte, die in eine andere Richtung unternommen werden können.
Während der Zustand des Bretts zu einem bestimmten Zeitpunkt - die Position der Figuren und die verbleibenden Figuren - für einen menschlichen Schachgroßmeister etwas "bedeuten" könnte, ist es nicht klar, ob der Begriff "Mittelwert" für AlphaZero von DeepMind eine Bedeutung für eine solche zusammenfassende Aufgabe hat.
Eine ähnliche zusammenfassende Aufgabe wird für das Pluribus-Programm gelöst, das 2019 die härteste Form des Pokers, das No-Limit Texas Hold'em, erobert hat. Dieses Spiel ist insofern noch komplexer, als es versteckte Informationen, die verdeckten Karten der Spieler und zusätzliche "stochastische" Elemente des Bluffens enthält. Aber die Darstellung ist wiederum eine Zusammenfassung der Wahrscheinlichkeiten in jeder Runde.
Selbst in Programmen, die mit menschlicher Sprache umgehen, unterscheidet sich das, was sich in den Gewichtungen befindet, von dem, was der zufällige Beobachter vermuten könnte. GPT-3, das Top-Sprachprogramm von OpenAI, kann in Sätzen und Absätzen eine auffallend menschenähnliche Ausgabe erzeugen.
"Beherrscht" das Programm die Sprache? Seine Gewichtungen enthalten eine Darstellung der Wahrscheinlichkeit, wie einzelne Wörter und sogar ganze Textzeichenfolgen in Folge mit anderen Wörtern und Zeichenfolgen gefunden werden.
Man könnte diese Funktion eines neuronalen Netzes eine Zusammenfassung ähnlich wie AlphaGo oder Pluribus nennen, da das Problem eher wie Schach oder Poker ist. Aber die möglichen Zustände, die als Verbindungen im neuronalen Netz dargestellt werden können, sind nicht nur riesig, sie sind unendlich angesichts der unendlichen Zusammensetzbarkeit der Sprache.
Auf der anderen Seite, da die Ausgabe eines Sprachprogramms wie GPT-3, eines Satzes, eher eine unscharfe Antwort als eine eigenständige Punktzahl ist, ist die "richtige Antwort" etwas weniger anspruchsvoll als der Gewinn, die Niederlage oder das Remis bei Schach oder Poker. Man könnte diese Funktion von GPT-3 und ähnlichen Programmen auch als "Indizierung" oder "Inventar" von Dingen in ihren Gewichten bezeichnen.
Haben Menschen eine ähnliche Art von Inventar oder Index der Sprache? In den Neurowissenschaften scheint es bisher keine Hinweise darauf zu geben. Erkennt GPT-3 in dem Ausdruck "den Tänzer vom Tanz unterscheiden" die verschiedenen Bedeutungsebenen in der Phrase oder die Assoziationen? Es ist nicht klar, ob eine solche Frage im Zusammenhang mit einem Computerprogramm überhaupt eine Bedeutung hat.
In jedem dieser Fälle - Schachbrett, Karten, Wortfolgen - sind die Daten das, was sie sind: ein gestaltetes Substrat, das auf verschiedene Weise unterteilt ist, ein Satz rechteckiger Papierprodukte aus Kunststoff, eine Ansammlung von Klängen oder Formen. Ob solche Erfindungen für den Computer kollektiv etwas "bedeuten", ist nur eine Art zu sagen, dass ein Computer als Reaktion auf einen bestimmten Zweck abgestimmt wird.
Die Dinge, die solche Daten in der Maschine auslösen - Filter, Zusammenfassungen, Indizes, Inventare oder wie auch immer Sie diese Darstellungen charakterisieren möchten - sind nie das Ding an sich. Sie sind Erfindungen.
Aber, man könnte sagen, die Leute sehen Schneeflocken und sehen ihre Unterschiede, und katalogisieren diese Unterschiede auch, wenn sie es wollen. Es stimmt, dass das menschliche Handeln immer versucht hat, Muster zu finden, und zwar mit verschiedenen Mitteln. Direkte Beobachtung ist eines der einfachsten Mittel, und in gewisser Weise ist das, was in einem neuronalen Netzwerk gemacht wird, eine Art Erweiterung davon.
Man könnte sagen, dass das neuronale Netzwerk enthüllt, was in der menschlichen Aktivität seit Jahrtausenden immer wahr war, dass das Sprechen von Mustern eher etwas ist, was der Welt auferlegt wird, als ein Ding in der Welt. In der Welt haben Schneeflocken eine Form, aber diese Form ist nur ein Muster für eine Person, die sie sammelt, indiziert und kategorisiert. Mit anderen Worten, es handelt sich um eine Konstruktion.
Die Aktivität des Erstellens von Mustern wird dramatisch zunehmen, da immer mehr Programme auf die Daten der Welt losgelassen werden und ihre Gewichtungen so abgestimmt werden, dass sie Verbindungen bilden, von denen wir hoffen, dass sie nützliche Darstellungen schaffen. Solche Darstellungen können unglaublich nützlich sein. Vielleicht heilen sie eines Tages Krebs. Es ist jedoch nützlich, sich daran zu erinnern, dass die Muster, die sie offenbaren, nicht da draußen in der Welt sind, sondern im Auge des Wahrnehmenden.