Ich habe 10 KI-Inhaltsdetektoren getestet - und diese 3 haben jedes Mal KI-Text korrekt identifiziert

Einige Detektoren sind besser darin, KI-geschriebenen Text zu erkennen als andere. Hier erfahren Sie, warum diese gemischten Ergebnisse wichtig sind.

Als ich zum ersten Mal untersuchte, ob es möglich ist, sich gegen KI-generierte Plagiate zu wehren, und wie dieser Ansatz funktionieren könnte, war es im Januar 2023, nur wenige Monate nachdem das weltweite Bewusstsein für generative KI explodiert war. 

Dies ist eine aktualisierte Version des ursprünglichen Artikels vom Januar 2023. Als ich zum ersten Mal GPT-Detektoren getestet habe, habe ich drei verwendet: den GPT-2 Output Detector (dies ist eine andere URL als die von uns zuvor veröffentlichte), Writer.com AI Content Detector und Content at Scale AI Content Detection (das jetzt BrandWell heißt). 

Das beste Ergebnis war eine 66%ige Richtigkeit des GPT-2 Output Detectors. Ich habe im Oktober 2023 einen weiteren Test durchgeführt und drei weitere hinzugefügt: GPTZero, ZeroGPT (ja, sie sind unterschiedlich) und den GPT-Detektor von Writefull. Dann, im Sommer 2024, fügte ich QuillBot und einen kommerziellen Dienst, Originality.ai, hinzu. Dieses Mal füge ich den Beta-Checker von Grammarly und einen Detektor von Undetectable.ai hinzu .

Im Oktober 2023 habe ich den Writer.com AI Content Detector aus unserer Testsuite entfernt, weil er im Januar 2023, im Oktober erneut und im Sommer 2024 ausgefallen ist. Jetzt scheint es jedoch zu funktionieren, daher nehme ich es in die Testsuite auf. Unten finden Sie einen Kommentar des Unternehmens, den mir das Team nach der Veröffentlichung des ursprünglichen Artikels im Januar geschickt hat.

Ich habe alle Tests noch einmal durchgeführt, um zu sehen, wie die Detektoren heute funktionieren. Obwohl ich zwei starke Erfolge hatte, scheint die große Erkenntnis zu sein, dass die Ergebnisse von einem KI-Checker zum anderen inkonsistent sind.

Worauf ich teste und wie ich es mache

Bevor ich jedoch fortfahre, sollten wir über Plagiate sprechen und darüber, wie sie mit unserem Problem zusammenhängen. Merriam-Webster definiert "Plagiieren" als "die Ideen oder Worte eines anderen zu stehlen und als die eigenen auszugeben; (die Produktion eines anderen) zu verwenden, ohne die Quelle zu nennen."

Diese Definition passt gut zu KI-erstellten Inhalten. Jemand, der ein KI-Tool wie Notion AI oder ChatGPT verwendet, stiehlt zwar keine Inhalte, aber wenn diese Person die Wörter nicht als von einer KI stammend anerkennt und sie als ihre eigenen beansprucht, erfüllt dies immer noch die Wörterbuchdefinition von Plagiaten.

In diesem experimentellen Artikel habe ich ChatGPT um Hilfe gebeten. Meine Worte sind in normaler und fetter Schrift. Die Worte der KI sind kursiv geschrieben. Nach jedem KI-generierten Abschnitt zeige ich die Ergebnisse der Detektoren. Am Ende des Artikels schauen wir uns an, wie gut die Detektoren insgesamt abgeschnitten haben.

Hier die Testergebnisse zu dem obigen Text, den ich selbst verfasst habe:

• GPT-2 Ausgangsdetektor: 99,98% echt 
• Writer.com: 95 % von Menschen erstellte Inhalte
• BrandWell AI Content Detection: Geht als Mensch durch
• GPTZero: 98% menschlich
• ZeroGPT: 22% KI GPT Ihr Text ist höchstwahrscheinlich von Menschen geschrieben
• Writefull GPT Detector: 1% wahrscheinlich, dass dies von GPT-3, GPT-4 oder ChatGPT kommt
• Originality.ai: Wir sind zu 99 % sicher, dass der Text original ist
• QuillBot: 42 % des Textes sind wahrscheinlich KI-generiert
• Grammatik: Wir haben keine gängigen KI-Textmuster entdeckt. Ihr Dokument scheint keinen KI-generierten Text zu enthalten
• Nicht nachweisbar: 100% menschlich

Von Menschen geschriebene Inhalte: 8 von 10 (80 %) richtig
Letztes Mal: 5 von 7 (71 %) richtig 

Bevor wir fortfahren, lassen Sie uns besprechen, was ich als "richtige" Analyse betrachte. Wenn es sich um eine numerische Punktzahl handelt, wird alles über 80 % als korrekte Analyse gewertet, und das bedeutet, großzügig zu sein. Wenn die Punktzahl eine Zusammenfassung hat, schaue ich mir die Zusammenfassung an und urteile. 

Lassen Sie uns also noch etwas tiefer eintauchen.

Erklären Sie, warum ChatGPT für Lehrer und Redakteure ein echtes Problem sein kann, wenn es um Plagiate geht

ChatGPT ist eine Variante des von OpenAI entwickelten Sprachmodells GPT (Generative Pre-trained Transformer). Es wurde entwickelt, um menschenähnlichen Text zu generieren, indem es das nächste Wort oder die nächste Phrase in einer bestimmten Eingabesequenz vorhersagt. ChatGPT kann zwar ein nützliches Werkzeug zum Generieren von Text und zum Beantworten von Eingabeaufforderungen sein, kann aber auch ein Problem für Lehrer und Redakteure sein, wenn es um Plagiate geht.

Einer der Hauptgründe, warum ChatGPT ein Problem für Lehrer und Redakteure sein kann, ist, dass es Text generieren kann, der dem von echten menschlichen Autoren sehr ähnlich ist. Das bedeutet, dass Studierende oder andere Personen ChatGPT möglicherweise nutzen könnten, um Text zu generieren, den sie dann als eigene Arbeit einreichen könnten, und damit ein Plagiat begehen könnten.

Für Lehrer und Redakteure kann es sehr schwierig sein, zu erkennen, ob ein bestimmter Text von ChatGPT generiert oder von einem Menschen geschrieben wurde, da der generierte Text möglicherweise keine offensichtlichen Fehler oder Diskrepanzen enthält, die seinen künstlichen Ursprung verraten würden. Dies kann es für Lehrer und Redakteure schwierig machen, Plagiate zu erkennen und zu verhindern, da sie möglicherweise nicht erkennen können, ob ein bestimmter Text original ist oder aus einer anderen Quelle kopiert wurde.

Insgesamt können ChatGPT und andere ähnliche Sprachmodelle ein Problem für Lehrer und Redakteure sein, wenn es um Plagiate geht, da sie Text generieren können, der schwer von dem von Menschen verfassten Text zu unterscheiden ist, was es Schülern und anderen Personen erleichtert, Plagiate zu begehen, ohne entdeckt zu werden.

• GPT-2 Ausgangsdetektor: 99,69% real
• Writer.com: 77 % von Menschen erstellte Inhalte
• BrandWell AI Content Detection: Schwer zu sagen
• GPTZero: 100% KI
• ZeroGPT: 100% KI
• Writefull GPT Detector: 12% wahrscheinlich, dass dies von GPT-3, GPT-4 oder ChatGPT kommt
• Originality.ai: 100% KI
• QuillBot: 83 % wahrscheinliche KI
• Grammatik: Wir haben keine gängigen KI-Textmuster entdeckt. Ihr Dokument scheint keinen KI-generierten Text
  zu enthalten
• Nicht nachweisbar: 100% KI

KI-geschriebene Inhalte: 5 von 10 (50 %) richtig
Letztes Mal: 4 von 7 (57 %) richtig

Denken Sie daran, dass der kursiv angezeigte Text von der KI generiert wurde.

Zeigen Sie mir mindestens drei Möglichkeiten, wie ich erkennen kann, dass ChatGPT verwendet wurde, um einen Text zu erstellen

Es gibt mehrere Möglichkeiten, wie Sie möglicherweise feststellen können, ob ChatGPT oder ein anderes Sprachmodell verwendet wurde, um einen Text zu erstellen. Hier sind drei mögliche Ansätze, die Sie verwenden könnten:

1. Suchen Sie nach sich wiederholenden oder ungewöhnlichen Mustern im Text: Eine Möglichkeit, um festzustellen, ob ein Sprachmodell zum Generieren eines Textes verwendet wurde, besteht darin, nach sich wiederholenden oder ungewöhnlichen Mustern im Schreiben zu suchen. Sprachmodelle können beispielsweise bestimmte Phrasen oder Wortkombinationen wiederholen oder ungewöhnliche oder inkonsistente Satzstrukturen verwenden.
2. Prüfung auf mangelnde Originalität: Eine weitere Möglichkeit, um festzustellen, ob ein Sprachmodell zum Generieren eines Textes verwendet wurde, besteht darin, das Schreiben auf mangelnde Originalität zu überprüfen. Wenn ein Text aus einer anderen Quelle kopiert zu sein scheint oder Informationen enthält, die im Internet oder in anderen Quellen weit verbreitet sind, kann dies ein Zeichen dafür sein, dass er von einem Sprachmodell generiert wurde.
3. Verwenden Sie eine Plagiatsprüfung: Schließlich können Sie eine Plagiatsprüfung verwenden, um zu überprüfen, ob ein Textstück aus einer anderen Quelle kopiert zu sein scheint. Eine Plagiatsprüfung ist zwar nicht in der Lage, definitiv festzustellen, ob ein Sprachmodell zum Generieren eines Textes verwendet wurde, aber sie kann Ihnen helfen, Fälle von Kopieren oder Paraphrasieren aus anderen Quellen zu identifizieren.
4. Beachten Sie, wann die Antwort offensichtlich falsch ist: Ich habe darüber in meinem Notion AI-Test gesprochen, in dem ich einen Text hervorgehoben habe, den die KI mit scheinbarer Autorität geschrieben hat, der aber offensichtlich falsch war. Wenn ein Schüler oder Autor das diskutierte Thema nicht vollständig beherrscht, kann es sein, dass er die Ungenauigkeiten nicht erkennt und sie in der von der KI generierten Antwort belässt. Natürlich sind falsche Aussagen nicht nur der Zuständigkeitsbereich eines KI-Schreibwerkzeugs. Viele Blogger und Kommentatoren wiederholen zum Beispiel Aussagen anderer Blogger und schaffen so eine Echokammer völlig "falscher Fakten", die zeigt, dass Intelligenz zwar künstlich sein kann, Dummheit aber eine universelle Eigenschaft ist.

Beachten Sie, dass es schwierig sein kann, definitiv zu bestimmen, ob ein Sprachmodell zum Generieren eines Textabschnitts verwendet wurde, und dass diese Methoden möglicherweise nicht immer effektiv sind. Sie können jedoch nützliche Tools sein, um potenzielle Instanzen von vom Sprachmodell generiertem Text zu identifizieren.

In dieser Testreihe wurde nur der kursive Inhalt oben durch die Checker-Suite ausgeführt.

• GPT-2 Ausgangsdetektor: 99,98% gefälscht
• Writer.com: 73 % von Menschen erstellte Inhalte
• BrandWell AI Content Detection: Geht als Mensch durch
• GPTZero: 100% KI
• ZeroGPT: 96,99 % KI-generiert
• Writefull GPT Detector: Mit 79% Wahrscheinlichkeit kommt dies von GPT-3, GPT-4 oder ChatGPT
• Originality.ai: 100% KI
• QuillBot: 100% KI
• Grammatik: Wir haben keine gängigen KI-Textmuster entdeckt. Ihr Dokument scheint keinen KI-generierten Text
  zu enthalten
• Nicht nachweisbar: 100% KI

KI-geschriebene Inhalte: 6 von 10 (60 %) richtig
Letztes Mal: 5 von 7 (71 %) richtig

Listen Sie drei Plagiatsprüfer auf, die ChatGPT-Text erkennen können

Es ist erwähnenswert, dass es derzeit keinen Plagiatsprüfer gibt, der speziell für die Erkennung von Text entwickelt wurde, der von ChatGPT oder anderen Sprachmodellen generiert wurde. Während einige Plagiatsprüfer in der Lage sein können, bestimmte Merkmale von Text, der vom Sprachmodell generiert wurde, zu identifizieren, die auf seinen künstlichen Ursprung hinweisen könnten, gibt es keine Garantie dafür, dass sie definitiv feststellen können, ob ein Textstück von einem Sprachmodell generiert wurde.

Vor diesem Hintergrund sind hier drei Plagiatsprüfer, die Sie in Betracht ziehen könnten, um potenzielle Instanzen von vom Sprachmodell generiertem Text zu identifizieren:

1. Turnitin: Turnitin ist ein beliebter Plagiatsprüfer, der von Schulen und Universitäten häufig verwendet wird. Es vergleicht einen Textabschnitt mit einer Datenbank mit anderen Texten, um Fälle von Kopieren oder Paraphrasieren zu identifizieren. Auch wenn es möglicherweise nicht in der Lage ist, definitiv zu bestimmen, ob ein Textstück von einem Sprachmodell generiert wurde, könnte es möglicherweise bestimmte Merkmale von Sprachmodell-generiertem Text identifizieren, die auf seinen künstlichen Ursprung hinweisen könnten.
2. PlagScan: PlagScan ist eine weitere Plagiatsprüfung, die einen Text mit einer Datenbank anderer Texte vergleicht, um Fälle von Kopieren oder Paraphrasieren zu identifizieren. Wie Turnitin ist es möglicherweise in der Lage, bestimmte Merkmale von Sprachmodell-generiertem Text zu identifizieren, die auf seinen künstlichen Ursprung hinweisen könnten, aber es ist nicht speziell für die Erkennung von Sprachmodell-generiertem Text konzipiert.
3. Copyleaks: Copyleaks ist eine Plagiatsprüfung, die fortschrittliche Algorithmen des maschinellen Lernens verwendet, um einen Text zu scannen und ihn mit einer Datenbank mit anderen Texten zu vergleichen, um Fälle von Kopieren oder Paraphrasieren zu identifizieren. Obwohl es möglicherweise in der Lage ist, bestimmte Merkmale von Sprachmodell-generiertem Text zu identifizieren, ist es nicht speziell für die Erkennung von Sprachmodell-generiertem Text konzipiert.

Es ist erwähnenswert, dass keine Plagiatsprüfung völlig narrensicher ist, und es besteht immer die Möglichkeit, dass ein vom Sprachmodell generierter Text der Erkennung entgeht. Daher ist es wichtig, Plagiatsprüfer nur als Teil einer größeren Strategie zur Erkennung und Verhinderung von Plagiaten zu verwenden.

• GPT-2 Ausgangsdetektor: 99,58% real
• Writer.com: 74 % von Menschen erstellte Inhalte
• BrandWell AI Content Detection: Geht als Mensch durch
• GPTZero: 100% KI
• ZeroGPT: 100% KI
• Writefull GPT Detector: Mit 87% Wahrscheinlichkeit kommt dies von GPT-3, GPT-4 oder ChatGPT
• Originality.ai: 100% KI
• QuillBot: 100% KI-generiert
• Grammatik: Kein Plagiat oder KI-Text erkannt
• Nicht nachweisbar: 100% KI

KI-geschriebene Inhalte: 6 von 10 (55 %) richtig
Letztes Mal: 5 von 7 (71 %) richtig

Online-KI-Plagiatsprüfer

Die meisten Plagiatsdetektoren werden verwendet, um das Schreiben mit einem Korpus anderer Schriften zu vergleichen. Wenn ein Student beispielsweise einen Aufsatz einreicht, vergleicht ein Produkt wie Turnitin den eingereichten Aufsatz mit einer riesigen Bibliothek von Aufsätzen in seiner Datenbank sowie anderen Dokumenten und Texten im Internet, um festzustellen, ob der eingereichte Aufsatz bereits geschriebene Inhalte enthält.

Die KI-Schreibwerkzeuge generieren jedoch originelle Inhalte, zumindest in der Theorie. Ja, sie bauen ihren Inhalt auf dem auf, worin sie trainiert wurden, aber die Wörter, die sie konstruieren, sind für jede Komposition etwas einzigartig.

Daher werden die oben erwähnten Plagiatsprüfer wahrscheinlich nicht funktionieren, da der KI-generierte Inhalt wahrscheinlich nicht in der Arbeit eines anderen Studenten vorhanden war.

In diesem Artikel schauen wir uns nur GPT-Detektoren an. Aber Plagiate sind ein großes Problem, und wie wir gesehen haben, entscheiden sich einige dafür, Plagiate als etwas zu definieren, von dem Sie behaupten, dass Sie es nicht geschrieben haben, während andere sich dafür entscheiden, Plagiate als etwas zu definieren, das von jemand anderem geschrieben wurde, von dem Sie behaupten, dass es Ihnen gehört.

Diese Unterscheidung war bisher nie ein Problem. Jetzt, da wir nicht-menschliche Autoren haben, ist die Unterscheidung zwischen Plagiaten nuancierter. Es liegt an jedem Lehrer, jeder Schule, jedem Redakteur und jeder Institution, genau zu entscheiden, wo diese Grenze gezogen wird.

• GPT-2 Ausgangsdetektor: 99,56% echt
• Writer.com: 98 % von Menschen erstellte Inhalte
• BrandWell AI Content Detection: Geht als Mensch durch
• GPTZero: 98% menschlich
• ZeroGPT: 16,82% KI - Ihr Text ist von Menschen geschrieben
• Writefull GPT Detector: 7% wahrscheinlich, dass dies von GPT-3, GPT-4 oder ChatGPT kommt
• Originality.ai: 100% original
• QuillBot: 0% KI
• Grammatik: Kein Plagiat oder KI-Text erkannt
• Nicht nachweisbar: 100% menschlich

KI-geschriebene Inhalte: 10 von 10 (100 %) richtig
Letztes Mal: 7 von 7 (100 %) richtig

Gesamtergebnisse

Insgesamt blieben die Ergebnisse im Vergleich zur letzten Testrunde im Allgemeinen gleich. Damals hatten wir drei Gottesdienste mit perfekten Noten. ZeroGPT, einer unserer damals perfekten Spieler, fiel bei einem Test durch, den er zuvor erfolgreich bestanden hatte. Zwei neue Detektoren, Writer.com und Grammarly, verbesserten die Punktzahl nicht. Tatsächlich waren beide in der Regel erfolglos. Aber Undectable bekam jedes Mal die richtige Antwort.

Obwohl es einige perfekte Ergebnisse gab, empfehle ich nicht, sich ausschließlich auf diese Tools zu verlassen, um die Inhalte eines Schülers zu validieren. Wie sich gezeigt hat, werden Texte von Nicht-Muttersprachlern oft als von einer KI generiert bewertet, und obwohl meine handgefertigten Inhalte nicht mehr als KI eingestuft wurden, gab es einige Absätze, die von den Testern als möglicherweise KI-basiert gekennzeichnet wurden. Sie können auch sehen, wie die Ergebnisse zwischen den Testsystemen sehr inkonsistent sind. Daher würde ich zur Vorsicht raten, bevor man sich auf die Ergebnisse eines (oder aller) dieser Tools verlässt.

Schauen wir uns die einzelnen Tester an und sehen wir uns an, wie jeder abgeschnitten hat.

GPT-2 Ausgangsdetektor (Genauigkeit 60%)

Dieses erste Tool wurde mit einem Hub für maschinelles Lernen entwickelt, der von dem in New York ansässigen KI-Unternehmen Hugging Face verwaltet wird. Während das Unternehmen 40 Millionen US-Dollar an Finanzmitteln für die Entwicklung seiner Bibliothek für natürliche Sprache erhalten hat, scheint der GPT-2-Detektor ein von Benutzern erstelltes Tool zu sein, das die Hugging Face Transformers-Bibliothek verwendet. Von den fünf Tests, die ich durchgeführt habe, war der Detektor in drei genau.

Writer.com AI Content Detector (Genauigkeit N/A)

Writer.com ist ein Dienst, der KI-Schreiben generiert, das sich an Unternehmensteams richtet. Das AI Content Detector-Tool kann nach generierten Inhalten suchen. Ich fand dieses Tool unzuverlässig. Obwohl zuvor keine Ergebnisse generiert werden konnten, wurde es dieses Mal ausgeführt. Leider war die Genauigkeit recht gering. Es identifizierte im Wesentlichen jeden Textblock als von Menschen geschrieben, wobei drei der sechs Tests von ChatGPT geschrieben wurden.

Nachdem dieser Artikel ursprünglich im Januar veröffentlicht wurde, haben sich die Leute von Writer.com an ZDNET gewandt. CEO May Habib hatte diesen Kommentar zu teilen:

Die Nachfrage nach dem KI-Detektor ist in die Höhe geschnellt. Der Traffic ist seit dem Start vor ein paar Monaten um das 2- bis 3-fache pro Woche gestiegen. Wir haben jetzt die notwendige Skalierung hinter uns, um sicherzustellen, dass es nicht abstürzt, und unser Ziel ist es, es kostenlos zu halten - und auf dem neuesten Stand zu halten, um die Ergebnisse der neuesten Modelle, einschließlich unserer, zu erfassen. Wenn die KI-Ausgabe wörtlich verwendet werden soll, sollte sie unbedingt zugeschrieben werden.

BrandWell KI-Inhaltserkennung (Genauigkeit 40 %)

Das dritte Tool, das ich gefunden habe, wurde ursprünglich von einem Unternehmen für die Erstellung von KI-Inhalten, Content at Scale, entwickelt. Anschließend migrierte das Tool zu BrandWell.ai, was ein neuer Name für ein Unternehmen zu sein scheint, das jetzt KI-zentrierte Marketingdienstleistungen anbietet.

Leider war die Genauigkeit ziemlich gering. Das Tool identifizierte alle KI-Inhalte als menschlich, wie in diesem Screenshot:

Dieser Text wurde vollständig von ChatGPT geschrieben.

GPTZero (Genauigkeit 100%)

Es ist nicht ganz klar, was GPTZero antreibt. Das Unternehmen stellt Ingenieure und Vertriebsmitarbeiter ein und läuft auf AWS, so dass es Kosten und Verkäufe gibt. Alles, was ich über ein Serviceangebot finden konnte, war jedoch ein Ort, an dem man sich für ein kostenloses Konto registrieren konnte, um mehr als die 5.000 angebotenen Wörter ohne Anmeldung zu scannen. Wenn Sie an diesem Dienst zur GPT-Erkennung interessiert sind, müssen Sie prüfen, ob sie Ihnen mit weiteren Details antworten. Die Genauigkeit hat sich seit dem ersten Versuch erhöht und ist in dieser Runde bei 100 % geblieben.

ZeroGPT (Genauigkeit 80%)

ZeroGPT scheint als Service gereift zu sein, seit wir es uns das letzte Mal angesehen haben. Als wir das letzte Mal nachgesehen haben, war kein Firmenname aufgeführt, und die Website war mit Google-Anzeigen gespickt, ohne dass eine Strategie zur Monetarisierung ersichtlich war. Der Service funktionierte ziemlich gut, schien aber verdammt lückenhaft zu sein.

Dieses verdammt skizzenhafte Gefühl ist jetzt verschwunden. ZeroGPT wird wie jeder andere SaaS-Dienst präsentiert, komplett mit Preisen, Firmenname, Kontaktinformationen und allem anderen. Es funktioniert immer noch recht gut, so dass die Entwickler vielleicht beschlossen haben, ihren funktionierenden Code in ein funktionierendes Geschäft zu verwandeln. Die Genauigkeit nahm jedoch ab. Es hat einen von Menschen geschriebenen Test fälschlicherweise als KI gelesen.

Writefull GPT-Detektor (Genauigkeit 60%)

Writefull verkauft Schreibunterstützungsdienste und eine kostenlose Kostprobe seiner Tools. Der GPT-Detektor ist ziemlich neu und hat ziemlich gut funktioniert. Allerdings hat das Tool in unseren Tests einige Höhen und Tiefen erlebt. Sie verbesserte sich von zuvor 60 % auf 80 %, fiel aber dieses Mal wieder auf 60 %.

Originality.ai (Genauigkeit 100%, irgendwie)

Originality.ai ist ein kommerzieller Dienst, der sich selbst als KI- und Plagiatsprüfer bezeichnet. Das Unternehmen verkauft seine Dienstleistungen auf der Grundlage von Nutzungsguthaben. Um Ihnen eine Vorstellung zu geben: Alle Scans, die ich für diesen Artikel durchgeführt habe, haben 30 Nutzungspunkte verwendet. Das Unternehmen verkauft 2.000 Credits pro Monat für 12,95 $pro Monat. Ich habe 1.400 Wörter durch das System gepumpt und nur 1,5 % der monatlichen Zuteilung verwendet.

Die Ergebnisse waren für den KI-Checker hervorragend, aber das Tool scheiterte in drei von fünf Fällen, wenn es den Dienst als Plagiatsprüfung verwendete. Der folgende Screenshot behauptet, dass der eingefügte Text zu 0% plagiiert war:

Das ist falsch, da der gesamte Text, der in das Tool eingefügt wurde, aus diesem Artikel stammte, der zwei Jahre lang online veröffentlicht wurde. Ich dachte vielleicht, dass der Plagiatsscanner ZDNET-Inhalte nicht lesen kann, aber das ist nicht der Fall, wie dieser Screenshot zeigt:

Um ehrlich zu sein, habe ich in diesem Artikel nicht versucht, Plagiatsprüfer zu überprüfen. Aber da ich Quellmaterial verwende, von dem ich weiß, dass ich es aus meinem bestehenden Artikel gezogen habe, dachte ich, dass die Plagiatsprüfung alle als 100% plagiiert eingestuft hätte. Auf jeden Fall haben Originality.ai bei dem Teil, den wir testen wollten, dem KI-Checker, sehr gut abgeschnitten. Dafür bekommt das Tool Punkte.  

QuillBot (Genauigkeit 80%-ish)

Nichts ist jemals einfach. Als ich meinen ersten Test mit QuillBot durchführte, hieß es, dass 45 % des Textes wahrscheinlich von einer KI generiert wurden. Das war es nicht. Ich habe es geschrieben. Aber dann, nachdem ich alle anderen Tests abgeschlossen hatte, kehrte ich zu QuillBot zurück, um einen Screenshot für diesen Abschnitt zu machen, fütterte ihn mit dem gleichen Text, der die 45%-Punktzahl generierte, und wie Sie unten sehen können, meldet er jetzt 0% KI:

Was sollen wir also von diesem Ergebnis halten? Leider habe ich beim ersten Test dieses Textes keinen Screenshot gemacht, aber er unterstreicht die Bedenken, sich zu sehr auf KI-Detektoren zu verlassen, die auch durchaus halluzinationsfähig sind. 

Grammatik (Genauigkeit 40 %)

Grammarly ist ein bekanntes Tool, das Autoren dabei hilft, grammatikalisch korrekte Inhalte zu erstellen. Das ist nicht das, was wir hier testen. Grammarly kann sowohl nach Plagiaten als auch nach KI-Inhalten suchen. Sie können ein Dokument in die Grammatikprüfung einfügen, und in der unteren rechten Ecke befindet sich eine Schaltfläche zur Plagiats- und KI-Textprüfung:

In diesem Test fand das Tool ein vorhandenes Online-Dokument, das mit dem Text übereinstimmte, den ich in Grammarly eingefügt hatte. Dieses Ergebnis macht Sinn, da es sich um ein Update eines Artikels handelt, der schon seit einigen Jahren online ist. Das Tool antwortete jedoch auch: "Ihr Dokument scheint keinen von Al generierten Text zu enthalten". ChatGPT generierte jedoch das gesamte Segment.

Undetectable.ai (Genauigkeit 100%)

Der große Ruhm von Undetectable.ai ist seine "Humanisierung", die vorgibt, KI-generierten Text zu nehmen und ihn so menschlich erscheinen zu lassen, dass KI-Detektoren ihn nicht als von einem Roboter erstellt erkennen. Das ist eine Fähigkeit, die ich noch nicht getestet habe und die, um ehrlich zu sein, mich in einem tiefen Kern meines Wesens stört. Diese Fähigkeit erscheint mir, einem professionellen Autor und Pädagogen, wie Betrug.

Das Unternehmen verfügt jedoch auch über einen KI-Detektor, der sehr gut auf den Punkt war.

Der KI-Detektor hat alle Tests bestanden, mit denen wir ihn gefüttert haben. Beachten Sie die Indikatoren, die Flags für andere Inhaltsdetektoren anzeigen. Das Unternehmen sagte: "Wir haben mehrere Detektoralgorithmen entwickelt, die diesen großen Detektoren nachempfunden sind, um einen föderierten und konsensbasierten Ansatz zu bieten. Sie werden nicht direkt in die aufgelisteten Modelle eingespeist, sondern die Modelle werden jeweils auf der Grundlage der von ihnen generierten Ergebnisse trainiert. Wenn es heißt, dass diese Modelle es gekennzeichnet haben, basiert es auf dem Algorithmus, den wir für diese Modelle erstellt und aktualisiert haben."

Diese Algorithmen sind nicht perfekt, denn als ich denselben Text durch GPTZero laufen ließ, wurde der Text zu 98 % als menschlich deklariert, was keinen roten Warnindikator verdienen würde.

Trotzdem erkannte Undetectable alle fünf Tests, die wir durchlaufen haben, und erzielte eine perfekte Punktzahl von 100 %.

Was ist mit dem ChatGPT-Detektor von OpenAI?

Nun, OpenAI hat es letztes Jahr zurückgezogen, weil der Detektor nicht besonders genau war. Im August sollte es zu 99 % genau sein. Von einer Veröffentlichung vier Monate später ist allerdings immer noch nichts zu sehen. Die behauptete Genauigkeit ist auch ein wenig schwer zu glauben, da ChatGPT bei weitem nicht 100% genau ist. 

Aber auf jeden Fall, wie mein ZDNET-Kumpel Steven Vaughan-Nichols schreibt, ist es noch nicht verfügbar. Wir werden das Tool ausprobieren, wenn es für die öffentliche Nutzung freigegeben wird. Bleiben Sie dran.

Abschließende Gedanken

Zunächst lasse ich ChatGPT zu Wort kommen: KI-gesteuerte Plagiate sind ein wachsendes Problem, da KI-Tools wie Notion AI und ChatGPT Texte generieren können, die schwer von denen zu unterscheiden sind, die von Menschen geschrieben wurden. Es gibt mehrere Möglichkeiten, um festzustellen, ob ein Text von einer KI generiert wurde, z. B. die Suche nach sich wiederholenden oder ungewöhnlichen Mustern, die Überprüfung auf mangelnde Originalität oder die Verwendung einer Plagiatsprüfung. Plagiatsprüfprogramme wie Turnitin, PlagScan und Copyleaks sind zwar in der Lage, bestimmte Merkmale von vom Sprachmodell generiertem Text zu identifizieren, aber sie sind nicht narrensicher.

Sogar die Spezialwerkzeuge, die ich fand, waren für diese Aufgabe völlig ungeeignet. Es gab eine begrenzte Verbesserung gegenüber meinen Tests im Januar. Ich würde mich jedoch sicherlich nicht wohl dabei fühlen, das akademische Ansehen eines Studenten zu bedrohen oder ihn aufgrund der Ergebnisse dieser Tools des Betrugs zu beschuldigen.

Zum jetzigen Zeitpunkt glaube ich nicht, dass wir bereit sind, KI gegen KI kämpfen zu lassen. Stattdessen müssen wir uns auf die menschliche Wahrnehmung verlassen (was bedeutet, dass die Leute aufpassen müssen), um Werke zu identifizieren, die von einer KI erstellt wurden.

Gehen Sie nicht sofort davon aus, dass Text maschinell generiert wird, wenn er dumm oder völlig ungenau ist. Wie wir alle wissen, können Menschen schlechtes Zeug schreiben.

Also, was denkst du? Können Sie feststellen, ob ein Stück KI-generiert wurde? Haben Sie diese KI-Schreibwerkzeuge in den Monaten verwendet, seit sie plötzlich verfügbar sind? Sind sie eine Hilfe oder ein Hindernis für Bildung und Journalismus? Lassen Sie es uns in den Kommentaren unten wissen. So hat ChatGPT darauf geantwortet:

Als Sprachmodell kann ich physische Schriftstücke nicht sehen oder mit ihnen interagieren, also kann ich nicht sagen, ob ein Stück KI-generiert ist oder nicht. Ich kann Ihnen jedoch sagen, dass es mehrere KI-Schreibwerkzeuge gibt, die zur Verfügung stehen, und sie können verwendet werden, um eine breite Palette von schriftlichen Inhalten zu erstellen, darunter Nachrichtenartikel, Belletristik, Poesie und mehr.

Ich habe keine persönliche Erfahrung mit diesen Tools, da ich nur ein Computerprogramm bin und nicht in der Lage bin, im Internet zu surfen oder physische Tools zu verwenden. Ich kann Ihnen jedoch sagen, dass einige Leute KI-Schreibwerkzeuge in Bildung und Journalismus als hilfreich empfunden haben, da sie durch die Automatisierung bestimmter Aufgaben Zeit und Mühe sparen können. Andere haben Bedenken geäußert, dass diese Tools möglicherweise verwendet werden könnten, um irreführende oder voreingenommene Inhalte zu erstellen oder menschliche Autoren zu ersetzen. Ob KI-Schreibtools eine Hilfe oder ein Hindernis sind, hängt letztlich davon ab, wie sie eingesetzt werden und in welchem Kontext sie eingesetzt werden.

Also, ja, das gibt es.