Wird das neue KI-Erkennungstool von OpenAI dem Betrug von Schülern ein Ende setzen?
OpenAI behauptet, dass seine neue Methode mit einer Genauigkeit von 99,9 % erkennen kann, wenn jemand ChatGPT verwendet, um einen Aufsatz oder eine Forschungsarbeit zu schreiben. Deshalb bin ich skeptisch.
Laut einer BestColleges-Umfrage nutzen mehr als die Hälfte der Studenten KI zum Betrügen. Diese Zahlen stehen im Einklang mit einer Studie der Stanford University, die ergab, dass 60 bis 70 Prozent der Studenten betrügen. Allerdings könnte KI bald nicht mehr die Antwort des faulen Studenten auf das Schreiben von Hausarbeiten sein. In einem Artikel des Wall Street Journal (WSJ) heißt es: „OpenAI verfügt über eine Methode, mit der zuverlässig erkannt werden kann, wenn jemand ChatGPT verwendet, um einen Aufsatz oder eine Forschungsarbeit zu schreiben“ - mit einer Genauigkeit von 99,9 %.
Wie mein Kollege David Gewritz betont hat, versprechen viele Programme bereits, KI-geschriebenen Text zu erkennen. Allerdings kam er zu dem Schluss: „Ich würde mich sicherlich nicht wohl dabei fühlen, den akademischen Ruf eines Studenten zu gefährden oder ihn des Betrugs zu beschuldigen, basierend auf den Ergebnissen dieser Tools.“
OpenAI hat nicht im Detail verraten, wie seine neue Methode bei der Identifizierung von KI-geschriebenem Text nahezu perfekt sein kann. Das liegt sicherlich nicht daran, dass es KI-Halluzinationen erkennen kann. Das geht nicht. Wie OpenAI-Mitbegründer John Schulman letztes Jahr sagte: „Unsere größte Sorge galt der Faktizität, weil das Modell gerne Dinge fabriziert.“
Das wird sich nie ändern. Laut Mohamed Elgendy, Mitbegründer und Geschäftsführer von Kolena, einem Testdienst für maschinelles Lernen: „Die Häufigkeit von Halluzinationen wird abnehmen, aber sie wird niemals verschwinden - genauso wie selbst hochgebildete Menschen falsche Informationen preisgeben können.“
Anstelle einer magischen Tiefenmethode zur Erkennung von KI-Text scheint OpenAI eine viel einfachere Methode zur Identifizierung von KI-geschriebenem Text zu verwenden: Der Dienst kann seine Ergebnisse mit einem Wasserzeichen versehen.
In einem neu überarbeiteten Blogbeitrag „Understanding the source of what we see and listen online“ enthüllt OpenAI, dass es mithilfe von Klassifikatoren, Wasserzeichen und Metadaten geforscht hat, um von KI erstellte Produkte zu erkennen. Wir wissen noch nicht, wie dieses Wasserzeichen genau funktioniert.
Wir wissen, dass OpenAI berichtet, dass es „sehr genau und sogar wirksam gegen lokalisierte Manipulationen wie Paraphrasierung“ war. Allerdings sei das Wasserzeichen „weniger robust gegenüber globalisierten Manipulationen“.
Das bedeutet, dass die Funktion bei übersetztem Text oder bei etwas so sinnlos Einfachem wie dem Einfügen von Sonderzeichen in den Text und dem anschließenden Löschen dieser Zeichen nicht gut funktioniert. Und natürlich kann es keine Werke eines anderen KI-Modells erkennen. Wenn Sie dem ChatAPT AI-Text Spotter beispielsweise ein von Google Gemini oder Perplexity erstelltes Dokument füttern, kann dieser es wahrscheinlich nicht als von der KI erstelltes Dokument identifizieren.
Kurz gesagt: Mit etwas mehr Aufwand können Studierende und Autoren die Arbeit eines KI-Chatbots immer noch als ihre eigene ausgeben. Nun, sie können es trotzdem versuchen. Nach meiner Erfahrung mit KI sind die Ergebnisse immer noch bestenfalls zweitklassig. Aber wenn das gut genug ist, um Ihnen eine bestandene Note zu bescheren, ist es möglicherweise alles, was Sie brauchen.
Zumindest ein selbsternannter Professor auf Reddit ist nicht beeindruckt: „Das Problem ist, dass man den Text einfach in ein anderes Programm kopieren, in eine andere Sprache übersetzen und dann zurückübersetzen kann. Aber ehrlich gesagt sind es die meisten Studenten.“ Das werde ich nicht tun, also würde es so ziemlich jeden erwischen.
Das stört OpenAI-CEO Sam Altman natürlich nicht, der gegenüber der Harvard Gazette sagte: „Betrug bei Hausaufgaben ist offensichtlich schlecht. Aber was wir unter Betrug verstehen und was die erwarteten Regeln sind, ändert sich mit der Zeit.“
Darüber weiß ich nichts. Betrug ist Betrug, aber dieses neue Tool im OpenAI-Arsenal scheint nicht viel dabei zu helfen, dies zu verhindern.
Während OpenAI immer noch darüber ringt, wann - oder ob - es diesen neuen Dienst veröffentlichen soll, wird das Unternehmen seltsamerweise bald einen DALL·E 3-Herkunftsklassifikator herausbringen. Das bedeutet, dass letztendlich fast jedes Bild, das Sie mit DALL-E erstellen, als DALL-E-KI-Kreation markiert wird. OpenAI stützt sich auf C2PA-Metadaten, einen Standard für digitale Inhalte, um Bilder zu markieren und zu identifizieren. Wenn Sie ein Grafikdesigner sind, der sich bei der Erstellung „originaler“ Grafiken auf DALL-E verlassen hat, ist es möglicherweise an der Zeit, zu Photoshop zurückzukehren.