Das Spiel „Mensch oder nicht“ ist vorbei: Das sagt uns der neueste Turing-Test
Der Zweck dieses Experiments war ganz einfach: zwei Minuten lang chatten und dann raten, ob der andere Teilnehmer ein Mensch oder ein Bot war. Konnten Sie es richtig erraten?
AI21 Labs führte in diesem Frühjahr ein soziales Experiment durch, bei dem mehr als 2 Millionen Teilnehmer über seine Website an mehr als 15 Millionen Gesprächen teilnahmen. Am Ende jedes Chats musste ein Teilnehmer erraten, ob sein Gesprächspartner ein Mensch oder ein KI-Bot war. Fast ein Drittel hat falsch geraten.
Da ChatGPT und andere KI-Chatbots immer beliebter werden, stellt sich auch die Frage, ob solche KI-Tools so intelligent sein können wie Menschen, ob die von diesen Tools generierten Inhalte als menschliche Schöpfung gelten können und ob KI die Arbeitsplätze der Menschen gefährdet.
AI21 Labs fanden Inspiration für das „Mensch oder nicht?“ Experiment aus Alan Turings Bewertung der Fähigkeit einer Maschine, ein Intelligenzniveau zu zeigen, das nicht von dem eines Menschen zu unterscheiden ist.
Diese Art von Experiment wurde später als Turing-Test bekannt, basierend auf der Beobachtung des Mathematikers aus dem Jahr 1950: „Ich glaube, dass es in 50 Jahren möglich sein wird, Computer dazu zu bringen, das Nachahmungsspiel so gut zu spielen, dass ein durchschnittlicher Vernehmer dies tun wird.“ haben nicht mehr als 70 % Chance, nach 5 Minuten Befragung die richtige Aussage zu treffen.“
Die Ergebnisse des „Human or Not“-Experiments stützen Turings Vorhersage: Insgesamt haben die Teilnehmer des Experiments in 68 % der Fälle richtig geraten. In Verbindung mit einem KI-Chatbot rieten die Teilnehmer nur in etwa 60 % der Fälle richtig. Wenn der Gesprächspartner ein anderer Mensch war, haben sie in 73 % der Fälle richtig geraten.
Obwohl dies kein perfekter Turing-Test war, zeigte das Human or Not-Experiment von AI21 Labs, wie KI-Modelle menschliche Gespräche überzeugend genug nachahmen können, um Menschen zu täuschen. Dies stellt unsere Annahmen über die Grenzen der KI in Frage und könnte Auswirkungen auf die KI-Ethik haben.
Das Experiment ergab, dass menschliche Teilnehmer unterschiedliche Strategien verwendeten, um die KI-Bots zu erkennen, z. B. persönliche Fragen stellen, sich nach aktuellen Ereignissen erkundigen und den Grad der Höflichkeit in den Antworten beurteilen.
Andererseits stellten die Autoren fest, dass Bots die Spieler durch menschenähnliches Verhalten verwirrten, etwa durch die Verwendung von Slang, Tippfehler, unhöfliche Antworten und das Zeigen von Bewusstsein für den Kontext des Spiels.
„Wir haben ‚Human or Not‘ mit dem Ziel geschaffen, der breiten Öffentlichkeit, Forschern und politischen Entscheidungsträgern Anfang 2023 ein besseres Verständnis des Zustands der KI zu ermöglichen“, so Amos Meron, kreativer Produktleiter bei AI21 Labs zum Zeitpunkt des Experiments . Ein Ziel, fügte er hinzu, bestehe darin, „KI nicht nur als Produktivitätswerkzeug zu betrachten, sondern als zukünftige Mitglieder unserer Online-Welt, in einer Zeit, in der die Menschen sich fragen, wie KI in unserer Zukunft implementiert werden sollte.“
Da ich es selbst verwendet habe, solange es verfügbar war, wurde ich jedes Mal mit Menschen gepaart und habe jedes Mal richtig geraten. Die Antwort erschien mir klar, weil meine Gesprächspartner Internet-Slang verwendeten (z. B. idk), sich weigerten, Fragen zu beantworten, oder die Antworten nicht kannten.
Spieler versuchten, andere Spieler zu verwirren, indem sie KI-Chatbots nachahmten und Begriffe wie „als KI-Sprachmodell“ verwendeten. Dies gelang jedoch oft nicht perfekt, und menschliche Teilnehmer am anderen Ende konnten die Versuche durchschauen.