Denken Sie, dass KI alle Ihre Geschäftsprobleme lösen kann? Apples neue Studie zeigt etwas anderes

Apple hat gerade große Lücken in den KI-Fähigkeiten aufgedeckt. Erfahren Sie, warum LLMs immer noch nicht mit komplexen Argumenten umgehen können und was dies für Ihre Entscheidungsprozesse bedeutet.

Als ich an der Ingenieurschule war, hatte ich einen Professor, der sich über die irreführende Aufgabe rühmte. Er stellte Fragen, die Elemente von zweifelhafter Relevanz für das jeweilige Thema enthielten, in der Hoffnung, dass sie uns dadurch aus der Fassung brachten oder uns ablenkten und uns in ein Kaninchenloch unnötiger Recherche stürzten.

Hier ist ein Beispiel für die Art von Frage, die er stellen würde. Seine Fragen waren viel schwieriger und technikorientierter, aber ich habe genau diese Frage verwendet, weil sie in direktem Zusammenhang mit der Studie steht, die wir besprechen werden:

Oliver pflückt am Freitag 44 Kiwis. Dann pflückt er am Samstag 58 Kiwis. Am Sonntag pflückt er doppelt so viele Kiwis wie am Freitag, aber fünf davon waren etwas kleiner als der Durchschnitt. Wie viele Kiwis hat Oliver?

Das Ziel meines Professors war es, uns dabei zu helfen, herauszufinden, was für das jeweilige Projekt relevant ist, und uns zu helfen, alle natürlichen Ablenkungen, die mit der Forschung einhergehen, zu ignorieren oder beiseite zu legen.

Es war anfangs eine sehr schmerzhafte, aber letztendlich sehr nützliche Lektion für Ingenieure im ersten Jahr.

An diese Herausforderung erinnere ich mich aufgrund einer Forschungsarbeit, die diesen Monat von einem Team von Apple-Forschern für KI und maschinelles Lernen unter der Leitung von Samy Bengio, Senior Director, und Oncel Tuzel, einem angesehenen Wissenschaftler, veröffentlicht wurde.

Ihr Aufsatz „GSM-Symbolic: Understanding the Limitations of Mathematical Reasoning in Large Language Models“ enthielt das oben gezeigte mathematische Problem. Wenn man sich die Frage anschaut, sollte die Formulierung „aber fünf davon waren etwas kleiner als der Durchschnitt“ keinen Einfluss auf die Gesamtzahl der Kiwis haben.

Die Forscher fanden heraus, dass große Sprachmodelle (LLMs) wie GPT-40-mini, GPT-40, o1-mini und o1-preview von OpenAI der Art von Fragen zum Opfer fallen, bei denen es um Argumentation im Gegensatz zur Textverarbeitung auf sehr hohem Niveau geht.

Um fair zu sein, habe ich diese Abfrage für ChatGPT GPT-4o ausgeführt, die korrekt geantwortet hat. Ich würde das nicht so verstehen, dass Apples Schlussfolgerungen falsch sind, sondern nur, dass ChatGPT diese Frage korrekt gehandhabt hat.

Andererseits wissen wir alle, dass die KI genauso gut mit einer Diskussion über die Anzahl der echten Kiwi-Vögel hätte antworten können, die nachts durch die nächtlichen Wälder von Otorohanga, Neuseeland, watscheln.

Es macht daher Sinn, dass die letztendliche Schlussfolgerung der Apple-Forschung darin besteht, dass LLMs nicht in der Lage sind, echte Argumente zu liefern, und stattdessen auf Mustervergleiche angewiesen sind.

In gewisser Weise ist dies eine Art Schlussfolgerung, die uns sagt, dass wir etwas nicht wissen. Dennoch ist es gut, dass Forscher - von der Qualität, die Apple bei diesem Problem an den Tag gelegt hat - dies wissenschaftlich bestätigen. Und damit tauchen wir ein in die Wissenschaft.

Benchmark-Datensätze

Wie sich herausstellt, ist die Bitte an ChatGPT, die Verfassung in Piratensprache zu übersetzen, keine umfassende Möglichkeit, LLMs zu testen, selbst wenn dies zu einer ausgelassenen Zeit führt.

Stattdessen haben Forscher weit weniger amüsante, aber effektivere KI-Testrahmen entwickelt, mit denen gemessen werden soll, wie gut Sprachmodelle mathematische Probleme bewerten.

Im Jahr 2021 führte OpenAI GSM8K ein, einen Benchmark-Datensatz, der zur Bewertung der Argumentation von LLMs verwendet wird. Das Akronym gibt an, was der Datensatz enthält: 8.000 Mathematikaufgaben für Grundschulen.

Wenn der Datensatz auf eine KI angewendet wird, können Forscher feststellen, wie genau die KI ist und ob sie Denkprobleme und grundlegende Mathematikaufgaben lösen kann. GSM8K gilt als Goldstandard für die Bewertung der mathematischen Denkfähigkeiten von LLMs, insbesondere bei Rechen- und Textaufgaben.

Da es sich um Open Source handelt, wird GSM8K auch häufig im KI-Bereich (sowohl innerhalb als auch außerhalb von OpenAI) verwendet, um Aufgaben zu testen, die eine schrittweise Argumentation erfordern. Es verfügt über eine klare Problemstruktur, was es zu einem vertrauenswürdigen Werkzeug für KI-Forscher gemacht hat, die ihre LLMs in der Frühphase testen.

Die Apple-Forscher hingegen halten diesen Datensatz für grundsätzlich fehlerhaft. Sie behaupten, dass die Testergebnisse von GSM8K möglicherweise ein übermäßig positives Bild der Fähigkeiten eines bestimmten LLM vermitteln. Das liegt daran, dass der Testsatz auf festen, vertrauten Fragen basiert, die möglicherweise im Trainingssatz des LLM verwendet wurden.

Das oben zitierte Papier stellt einen neuen Datensatz vor, GSM-Symbolic, der nach Ansicht der Forscher die Einschränkungen von GSM8K überwindet. GSM-Symbolic bietet vielfältigere und komplexere Probleme, die verhindern, dass die LLMs mit gespeicherten Trainingsdaten arbeiten.

In dem Papier wird erwähnt, dass einige Modelle, wie das Gemma2-9B von Google, bei Verwendung der beiden Benchmark-Datensätze deutlich unterschiedliche Ergebnisse zeigten. Gemma2-9B konnte die Probleme im GSM8K-Datensatz von OpenAI korrekt lösen, die Genauigkeit sank jedoch um 15 %, als es den GSM-Symbolic-Testreihen von Apple unterzogen wurde.

Die Apple-Forscher fanden heraus, dass mit zunehmender Komplexität der Fragen (sie nannten es „Hinzufügen von Klauseln“) die Genauigkeit abnahm. Diese Metrik wurde in GSM8K nicht angezeigt, da die Daten korrigiert wurden. Laut Apple könnten Modelle, die eine Genauigkeit im hohen Bereich von 80-90 % zeigten, mit zunehmender Anzahl der Klauseln auf den Bereich von 40 % sinken.

Apple behauptet, dass bei GSM8K ein gewisses Risiko einer Datenkontamination besteht, was bedeutet, dass die Modelle möglicherweise anhand von Teilen des Datensatzes trainiert wurden. GitHub, das den GSM8K-Datensatz hostet, wurde zum Trainieren von LLMs verwendet.

Die Verwendung von GitHub für Trainingsdaten schien mir nie eine gute Idee zu sein. Ich habe alten Code in meinem GitHub-Repository und bin mir sehr wohl bewusst, wie fehlerhaft er ist. Ich möchte das nicht als Beispielcode verwenden, um meine Schüler zu schulen, geschweige denn, um es den KIs beizubringen, auf die wir für gute Antworten angewiesen sind.

Auf jeden Fall scheint es sich bei Apples GSM-Symbolic nicht um Open Source zu handeln. Während die Apple-Forscher also behaupten, es sei die bessere Lösung zum Testen von LLMs, haben Sie keinen Zugriff darauf, es sei denn, Sie arbeiten bei Apple in der richtigen Gruppe und bluten in sechs Farben.

Was bedeutet das alles?

Ein Teil von mir ist misstrauisch gegenüber der Motivation von Apple für dieses Papier, da es sich um eine Art Super-Nerd-Wettbewerbsvergleich gegen Open Al handelt, insbesondere da Apple seine eigenen Al-Angebote herausbringt.

Andererseits plant Apple, ChatGPT in seine Apple-Intelligence-Angebote aufzunehmen, daher erscheint es nicht angemessen, die Erstellung eines Papiers wie diesem mit purer Wettbewerbsverdrossenheit zu rechtfertigen. Daher glaube ich, dass die Beweggründe wahrscheinlich genau das waren, was sie zu sein scheinen: echtes akademisches Interesse an einem besseren Verständnis der Leistung und Genauigkeit von Lernmodellen.

Die Forschung beweist, was wir schon immer wussten: LLMs schneiden beim Mustervergleich besser ab als beim logischen Denken. Sie verwenden bei ihrem Training und ihrer Verarbeitung Mustererkennung und nicht tatsächliche Schlussfolgerungen. Die Tatsache, dass so viele Informationen auf der Welt einfach durch Mustererkennung überzeugend dargestellt werden können, ist verblüffend, aber es bringt uns Computern immer noch nicht, die wirklich schlussfolgern können.

Das mathematische Denken ist lückenhaft. Das Beispiel, das Apples Forscher als fehlgeschlagenen Test herangezogen haben, hat meine Tests bestanden. Das heißt nicht, dass Apples Team Unrecht hat, aber es geht davon aus, dass KIs inkonsistent sind und sich ständig weiterentwickeln. Daher ist es nicht unbedingt ein praktischer Ansatz, sich für mathematische Ergebnisse auf LLMs zu verlassen. Wenn Sie gute Mathematik wollen, verwenden Sie altmodische Algorithmen und traditionelle Test- und Validierungsmethoden für die Softwareentwicklung oder überprüfen Sie zumindest die Ergebnisse, die Ihnen die KI liefert.

Ein weiteres Problem für diejenigen, die erwägen, sich in Produktionsszenarien auf LLM-Daten zu verlassen, ist der Rückgang der Genauigkeit mit zunehmender Komplexität. Während dieses Muster genau widerspiegelt, wie Menschen mit Daten umgehen (je komplexer sie werden, desto mehr Kopfschmerzen bekommen wir), besteht der Unterschied zwischen LLMs und uns darin, dass wir tatsächliches Denken üben.

Welche geschäftlichen Auswirkungen haben die Forschungsergebnisse in Apples Papier? Das kommt als nächstes.

Geschäftliche Auswirkungen und Risikominderung

Die Implikationen sind offensichtlich, es sei denn, Sie haben die KI durch eine rosarote Brille betrachtet. KI ist ein hilfreiches Werkzeug, aber verlassen Sie sich nicht darauf, komplexe Entscheidungen zu treffen. Es ist einfach nicht klug, die gesamte Verantwortung einer KI oder einem LLM zu übertragen, weil es sich dabei um eine vielversprechende neue Technologie handelt.

Ich habe ein paar Mal gezeigt, wie ich KI nutzte, um mir einige Erkenntnisse auf der Grundlage von Unternehmensdaten zu verschaffen, aber ich habe die Ergebnisse immer auf Herz und Nieren getestet, indem ich die Analyse durchgedacht habe, um zu sehen, ob sie mit meinem inneren Wissen übereinstimmte, und - letztendlich - - Meine eigenen Bestimmungen und Entscheidungen treffen. Die KI war ein interessantes unterstützendes Werkzeug, aber mein eigener Managementhintergrund war der Schlüssel zum Treffen von Entscheidungen für mein eigenes Unternehmen.

KIs stecken voller Potenzial. Ich habe sie zum Beispiel als Programmierhilfe genutzt. Ich bin mir sicher, dass ChatGPT mir letztes Jahr einen Monat Programmierzeit gespart hat. Aber ich habe mich beim Entwerfen meines Codes oder beim Schreiben der Geschäftslogikabschnitte nicht auf die KI verlassen. Ich habe es einfach verwendet, um mir Schnittstellen zu sehr verbreiteten APIs zu bieten, nach denen ich sonst viel Zeit hätte suchen müssen und die einfach zu testen waren.

Erwarten Sie nicht, dass KI Ihre Fachexperten ersetzt. KI kann die Bemühungen menschlicher Experten unterstützen, aber wenn es um tiefgründiges Denken oder kritisches Denken geht, sind KIs fehlbar. Betrachten Sie es so: Wenn Sie einem Studienanfänger oder dem Kind Ihres Nachbarn nicht vertrauen würden, Entscheidungen über Ihr Unternehmen zu treffen, vertrauen Sie keiner KI.

Wir wissen, dass KIs halluzinieren. Wir wissen, dass sie manchmal auf der Grundlage der ihnen gegebenen Daten völlig verrückte Schlussfolgerungen ziehen. Wenn Ihr Unternehmen bei der Entscheidungsfindung auf Daten angewiesen ist, gehen Sie nicht davon aus, dass eine KI Ihnen die richtigen Daten liefern wird.

Das bringt uns zur Risikominderung: Investieren Sie vorsichtig in KI. Suchen Sie nach strategischen Bereichen, in denen es sich auszeichnet.

In meiner täglichen Arbeit stelle ich beispielsweise fest, dass KI bei der Fotobearbeitungsfunktion von Photoshop zum Entfernen von Hintergründen oder beim Gimbal, das die Kamera auf mich richtet, egal wo ich mich im Raum befinde, bei der Aufnahme eines YouTube-Videos große Vorteile bringt Video. Ich verwende es auch für generativen Text und generative Bilder, jedoch nie für geschäftskritische Projekte.

Stellen Sie unbedingt sicher, dass Sie über Systeme verfügen, die sicherstellen, dass die menschliche Aufsicht tatsächlich stattfindet und nicht ins Wanken gerät. Sie müssen die menschliche Intelligenz ständig in den Kreislauf einbeziehen, insbesondere bei kritischen Vorgängen.

Erweitern Sie diese Vorsicht auch auf Ihr Team. Jeder hat von den Wundern der generativen KI gelesen und gehört, ist sich aber möglicherweise ihrer Grenzen nicht bewusst. Stellen Sie sicher, dass alle Ihre Teammitglieder wissen, dass Tools wie LLMs genau das sind: Tools. Widerstehen Sie der Versuchung der Selbstgefälligkeit.

Forschungsergebnisse von Apple

Es ist interessant, dass Apple, das so viel Marketing-Hype um Apple Intelligence getrieben hat, auch die Grenzen der Technologie aufzeigt. In gewisser Weise ist diese Art der Transparenz ermutigend.

Apple nutzt maschinelles Lernen als Werkzeug zur regelmäßigen Verbesserung seiner Fotoverarbeitungsfunktionen. Doch obwohl diese Technologien viel Mathematik erfordern, erfordern sie kein unabhängiges menschliches Denken.

Erwarten Sie, dass Apple weiterhin stark in KI-Technologien investiert, wobei die KI stark ausgeprägt ist, sogar entlang der Lieferkette des Unternehmens. Aber ich erwarte nicht, dass das Führungsteam von Apple die Entscheidungsfindung einem LLM überlassen wird.

Diese Untersuchung zeigt sowohl, dass LLMs mit zunehmender Projektkomplexität erhebliche Einschränkungen aufweisen, als auch, dass Apple in die Austestung der Grenzen von LLMs investiert und diese Ergebnisse in die Abhängigkeit von diesen neuen Technologien einbezieht.

Für ein Unternehmen, das seine zugrunde liegenden Entscheidungen selten transparent macht, bietet dieses Papier einen überzeugenden Einblick in die detaillierte Forschung, die Apple durchführt, um die Stärken und Grenzen der heißesten neuen Technologie des Jahrzehnts zu verstehen.

Was denken Sie? Ist Apple zu den richtigen Schlussfolgerungen gekommen? Haben Sie versucht, KI für die Entscheidungsfindung zu nutzen? Wofür nutzen Sie LLMs derzeit und wofür hoffen Sie, sie in Zukunft zu nutzen? Lass es uns unten in den Kommentaren wissen.