ChatGPT hat den Turing-Test bestanden - das bedeutet das!

Wichtige Erkenntnisse

GPT-4 hat den Turing-Test der UC San Diego mit einer Erfolgsquote von 54 % bestanden.
Menschliche Teilnehmer wurden in 67 % der Fälle fälschlicherweise als KI identifiziert.
Die Vernehmungsbeamten verwendeten unterschiedliche Ansätze, wobei sich persönliche Angaben und logische Fragen als am effektivsten erwiesen.

Die UC San Diego hat ein Papier veröffentlicht, das möglicherweise den ersten belastbaren Beweis dafür liefert, dass ein KI-System den legendären Turing-Test bestanden hat. Was bedeutet das also? Wie wurde der Test durchgeführt? Lassen Sie uns diesen Meilenstein und seine Auswirkungen auf unser digitales Leben näher erläutern.

Was ist der Turing-Test?

Der legendäre Mathematiker Alan Turing schlug eine Methode vor, um zu bewerten, ob die Intelligenz einer Maschine der eines Menschen ebenbürtig ist. Dies ist als der berühmte Turing-Test bekannt. In seiner einfachsten Form besteht der Test darin, dass ein menschlicher Prüfer ein textbasiertes Gespräch sowohl mit einem Menschen als auch mit einer Maschine führt, ohne zu wissen, wer welcher ist. Wenn der Richter die Maschine nicht zuverlässig vom Menschen unterscheiden kann, besteht die Maschine den Test.

Ursprünglich ging man davon aus, dass eine Maschine den Test bestanden hat, wenn sie menschliche Vernehmer in 30 % der Fälle davon überzeugt, dass sie mit einem anderen Menschen sprechen. Viele argumentieren jedoch, dass eine Erfolgsquote von 50 % - bei der die Richter bei der Identifizierung der KI nicht besser abschneiden als der Zufall - ein aussagekräftigerer Schwellenwert sei.

Im Laufe der Jahre gab es zahlreiche Behauptungen, dass KI-Chatbots den Turing-Test bestanden hätten, aber diesen Tests mangelt es an ausreichender Genauigkeit und Kontrolle, um KI-Wissenschaftler tatsächlich zu überzeugen. Die Studie der UC San Diego zielte darauf ab, diese Mängel zu beheben und eine definitivere Bewertung zu liefern.

Der Turing-Test, durchgeführt von der UC San Diego

Cameron R. Jones und Benjamin K. Bergen vom Department of Cognitive Science der UC San Diego veröffentlichten einen Artikel mit dem Titel Menschen können GPT-4 in einem Turing-Test nicht von einem Menschen unterscheiden. Sie führten eine Version des Turing-Tests durch, die sich durch ihre strenge Methodik und ihren Umfang auszeichnet. Gemäß dem Papier:

Die Ergebnisse liefern den ersten belastbaren empirischen Beweis dafür, dass jedes künstliche System einen interaktiven 2-Spieler-Turing-Test besteht.

Hier ist eine Übersicht über den Aufbau des Experiments:

Stichprobengröße: 500 Teilnehmer
Dauer: 5-minütige Nur-Text-Chat-Sitzungen
Getestete KI-Modelle: GPT-3.5 und GPT-4
Steuerung:ELIZA (ein Chatbot aus den 1960er Jahren)
Mittel: Textbasierte Konversation über eine konventionell aussehende Messaging-App.

Vor dem Test führte jeder Teilnehmer eine demografische Umfrage durch, um Faktoren zu ermitteln, die sich auf seine Eignung auswirken könnten. Dazu gehören Alter, Geschlecht, Bildungsniveau, Vertrautheit mit KI-Technologien usw. Der Test wurde randomisiert, kontrolliert und vorregistriert, um die wissenschaftliche Validität sicherzustellen.

Die Spieloberfläche wurde so gestaltet, dass sie wie eine herkömmliche Messaging-App aussieht, wobei der Vernehmer die erste Nachricht sendet und jeder Teilnehmer auf jeweils eine Nachricht beschränkt ist. Nach Ablauf der 5-Minuten-Grenze musste der Vernehmungsbeamte ein Urteil darüber abgeben, ob er den Zeugen für einen Menschen oder eine KI hielt, zusammen mit seinem Vertrauensniveau und seiner Begründung.

Die KI-Eingabeaufforderung und -Anweisungen

Beide GPT-Modelle wurden dazu veranlasst, sich bewusst locker zu verhalten, Rechtschreibfehler zu machen und Internet-Slang zu verwenden, um eine natürlichere menschliche Konversation nachzuahmen. Sie hatten Zugriff auf aktuelle Schlagzeilen und die drei beliebtesten Songs auf der Werbetafel, um nicht entdeckt zu werden, weil sie die aktuellen Ereignisse nicht kannten. Die KI-Antworten wurden auch basierend auf der Nachrichtenlänge verzögert, um zu verhindern, dass übermenschliche Tippgeschwindigkeiten ein weiterer verräterischer Faktor sind.

Wenn Sie wollen Humanisieren Sie Ihre ChatGPT-Antworten , es lohnt sich, die obige Eingabeaufforderung selbst auszuprobieren.

Die Forscher stellten den KI-Modellen außerdem ein Bild der Benutzeroberfläche der Messaging-App zur Verfügung, damit sie auf alle Fragen im Zusammenhang mit der App, die sie für die Kommunikation verwenden, vorbereitet sind.

GPT-4 wurde in 54 % der Fälle erfolgreich als menschlich ausgegeben

Die Forscher definierten die „Erfolgsquote“ als den Anteil der Spiele, bei denen die Vernehmer die Versuchsperson (als „Zeuge“ bezeichnet) als menschlich beurteilten. Hier ist die Erfolgsquote jedes Modells und jeder Person im Test:

GPT-4: 54 %.
GPT-3.5: 50 %
ELIZA (Basiswert): 22 %
Menschliche Teilnehmer: 67 %

Wie Sie sehen können, übertreffen sowohl GPT-4 als auch GPT-3.5 die ELIZA-Basislinie und erreichen sowohl die 30 %- als auch die 50 %-Schwelle.

Da die Ergebnisse bei beiden Testmodellen jedoch bei nahezu 50 % lagen, kann dies auf Zufall oder Zufall zurückzuführen sein? Nun nein! Hier kommt die ELIZA-Baseline als Manipulationsprüfung ins Spiel. Die ELIZA-Kontrolle schnitt erwartungsgemäß deutlich schlechter ab als beide GPT-Modelle. Wenn die Vernehmungsbeamten nur geraten hätten, hätte ELIZA den GPT-Modellen ebenbürtig abschneiden müssen.

Außerdem sammelten die Forscher die Vertrauenswerte und Entscheidungsbegründungen der Teilnehmer. Vernehmer, die zu dem Schluss kamen, dass es sich bei GPT-4 um einen Menschen handelt, hatten eine durchschnittliche Konfidenzbewertung von 73 %, was bedeutet, dass sie sich ihrer Einschätzung einigermaßen sicher waren.

Es ist erwähnenswert, dass ältere Teilnehmer weniger genau beurteilten, ob es sich bei einem Probanden um eine KI oder einen Menschen handelte. Das ist einigermaßen zu erwarten! Das Verwirrendere daran - was auch im Widerspruch zu den Erwartungen der Forscher steht - ist, dass Teilnehmer, die nach eigenen Angaben mehr Kenntnisse über KI und Large Language Models (LLMs) hatten, diese nicht besser identifizieren konnten.

Menschen wurden nur in 67 % der Fälle korrekt identifiziert

Überraschender als GPT-4 das Bestehen des Turing-Tests ist, dass nur 67 % der Menschen korrekt als Menschen identifiziert wurden. Verwechseln Menschen also KI mit Menschen, während sie Menschen für Bots halten? Für mich ist dies ein sehr beunruhigendes Szenario, das große Bedenken hervorruft!

Laut der Studie spiegelt die relativ niedrige Erfolgsquote bei Menschen wahrscheinlich veränderte Annahmen über die KI-Fähigkeiten wider. Je bewusster die Menschen über fortschrittliche KI-Systeme werden, desto wahrscheinlicher wird es, dass sie Menschen mit KI verwechseln - da sie erwarten, dass sich KI eher wie Menschen verhält.

Aber was bedeutet es, „Mensch“ zu sein? Welche Kriterien oder Maßstäbe verwendeten die Vernehmungsbeamten, um zu beurteilen, ob es sich bei der Versuchsperson um einen Menschen oder eine KI handelte?

Wie haben Vernehmungsbeamte einen Chat als KI gekennzeichnet?

Die Forscher sammelten alle Strategien, die die Vernehmer verwendeten, um festzustellen, ob es sich bei einem Probanden um KI handelte oder nicht, sowie die Gründe für ihre Urteilsfindung. Anschließend kategorisierten und bewerteten sie, welche Strategien bei der Identifizierung von KI am effektivsten waren, und nannten auch die Gründe dafür.

Hier ist ein Diagramm aus der Studie, das die Anteile der verwendeten Strategien (links) und die Genauigkeit der Strategie bei der Identifizierung von KI (rechts) zeigt.

Wie Sie sehen, fragten die meisten Vernehmer nach persönlichen Daten, gefolgt von Meinungen und täglichen Aktivitäten, um KI zu identifizieren. Allerdings hatten alle diese Strategien eine Erfolgsquote von 50-60 %. Die erfolgreichsten Strategien bestanden darin, Fragen zu menschlichen Erfahrungen, Logik und Mathematik zu stellen und das Thema einfach als KI zu beschuldigen, was eine Erfolgsquote von über 75 % hatte. Leider werden diese Strategien in weniger als 5 % der Fälle eingesetzt.

Auch auf die Frage, warum ein Vernehmungsbeamter ein Subjekt als KI gekennzeichnet habe, gaben sie als drei Hauptgründe eine erzwungene Persönlichkeit, zu informelles Verhalten und mangelnde Persönlichkeit an. Allerdings markierten sie ein Subjekt als menschlich, wenn sie einen informellen, menschenähnlichen Ton anschlugen.

Was bedeutet es also, einen menschenähnlichen Ton zu haben? Und wo wird ein „informeller“ Ton zu „zu informell“, sodass man anfängt zu glauben, ein Mensch könnte eine KI sein? Leider waren Antworten auf diese Fragen nicht im Rahmen der Studie enthalten.

Wird KI nicht mehr von menschlicher Intelligenz zu unterscheiden sein?

Dieser Test gab den Vernehmern nur fünf Minuten Zeit, um Menschen von KI zu unterscheiden. Wenn Menschen mehr als 5 Minuten Zeit haben, können sie KI besser von Menschen unterscheiden. Allerdings halte ich persönlich das 5-Minuten-Fenster für sehr wichtig. Wenn Sie sich online mit jemandem unterhalten und entscheiden müssen, ob es sich um einen Menschen oder eine KI handelt, haben Sie wahrscheinlich keine Stunde Zeit, um diesen Anruf zu tätigen.

Darüber hinaus wurden in der Studie GPT-4 und GPT-3.5 verwendet. Seitdem haben wir Zugriff auf GPT-4o und Claude 3.5 Sonnet, die beide in fast allen Abteilungen besser als GPT-4 sind. Es versteht sich von selbst, dass zukünftige KI-Systeme noch intelligenter und überzeugender menschlich sein werden.

Daher denke ich, dass wir Fähigkeiten entwickeln müssen, um KI schnell und effizient von Menschen zu unterscheiden. Die Studie zeigt deutlich, dass die Erfolgsquote der gängigsten Strategien kaum über der des Zufalls liegt. Selbst das Wissen über die Funktionsweise von KI-Systemen verschaffte den Vernehmungsbeamten keinen nennenswerten Vorteil. Wir müssen also neue Strategien und Techniken zur Identifizierung von KI erlernen, sonst laufen wir Gefahr, Opfer von Hackern und böswilligen Akteuren zu werden, die KI nutzen.

Im Moment scheint das beste Heilmittel mehr Aufmerksamkeit zu sein. Wenn Sie sich mit mehr KI-Inhalten beschäftigen, werden Sie Hinweise und Feinheiten erkennen, die Ihnen helfen, sie schneller zu identifizieren.

Ich verwende Claude zum Beispiel häufig und kann leicht erkennen, ob damit Artikel oder YouTube-Videoskripte generiert werden. Claude neigt dazu, eher das Passiv als das Aktiv zu verwenden. Wenn Sie sie bitten, prägnanter zu schreiben, generieren sie unnatürliche (wenn auch grammatikalisch korrekte) Sätze oder Fragen mit zwei bis drei Wörtern.

Allerdings ist das Erkennen von KI-Inhalten für mich immer noch ein sehr intuitiver Prozess und nicht etwas, das ich algorithmisch aufschlüsseln und erklären kann. Ich glaube jedoch, dass eine stärkere Auseinandersetzung mit KI-Inhalten den Menschen die nötige Denkweise vermitteln wird, um sie zu erkennen.