Wie man KI für die Forschung richtig einsetzt – verantwortungsvoll und effektiv

Zwei der sieben von mir getesteten KI-Detektoren erkannten KI-generierte Inhalte in 100 % der Fälle korrekt. Dies ist ein Anstieg gegenüber Null während meiner ersten Runden, aber ein Rückgang gegenüber meiner letzten Testrunde.

Als ich zum ersten Mal untersuchte, ob es möglich ist, sich gegen KI-generiertes Plagiat zu wehren, und wie das funktionieren könnte, war es Januar 2023, nur wenige Monate nach dem weltweit explodierenden Bewusstsein für generative KI. 

Dies ist eine aktualisierte Version des ursprünglichen Artikels vom Januar 2023. Als ich GPT-Detektoren zum ersten Mal getestet habe, habe ich drei verwendet: den GPT-2 Output Detector (dies ist eine andere URL als die, die wir zuvor veröffentlicht haben), Writer.com AI Content Detector und Content at Scale AI Content Detection (der jetzt anscheinend BrandWell heißt). ). 

Das beste Ergebnis mit dem GPT-2-Ausgabedetektor war zu 66 % korrekt. Im Oktober 2023 habe ich einen weiteren Test durchgeführt und drei weitere hinzugefügt: GPTZero, ZeroGPT (ja, sie sind unterschiedlich) und den GPT-Detektor von Writefull. Dann, im Sommer 2024, fügte ich QuillBot und einen kommerziellen Dienst, Originality.ai, zum Mix hinzu. Dieses Mal werde ich auch den Beta-Checker von Grammarly hinzufügen.

Im Oktober 2023 habe ich den Writer.com AI Content Detector aus unserer Testsuite entfernt, weil er im Januar 2023, im Oktober erneut und im Sommer 2024 ausgefallen ist. Jetzt scheint er jedoch zu funktionieren, also bin ich der Meinung Aufnahme in die Testsuite. Unten finden Sie einen Kommentar des Unternehmens, den mir sein Team nach der Veröffentlichung des Originalartikels im Januar geschickt hat.

Ich habe alle Tests noch einmal durchgeführt, um zu sehen, wie die Detektoren heute funktionieren. Obwohl ich zwei große Erfolge hatte, scheint die große Erkenntnis darin zu liegen, wie inkonsistent die Ergebnisse von einem KI-Prüfer zum anderen sind.

Worauf ich teste und wie ich es mache

Bevor ich jedoch fortfahre, sollten wir über Plagiate und ihren Zusammenhang mit unserem Problem sprechen. Merriam-Webster definiert „plagiieren“ als „stehlen und (die Ideen oder Worte eines anderen) als eigene ausgeben; (die Produktion eines anderen) verwenden, ohne die Quelle anzugeben.“

Diese Definition passt gut zu KI-erstellten Inhalten. Während jemand, der ein KI-Tool wie Notion AI oder ChatGPT verwendet, keine Inhalte stiehlt, erfüllt die Wörterbuchdefinition von Plagiat dennoch die Definition von Plagiat, wenn diese Person die Wörter nicht als von einer KI stammend angibt und behauptet, sie seien ihre eigenen.

In diesem experimentellen Artikel habe ich ChatGPT um Hilfe gebeten. Meine Worte sind in normaler und fetter Schrift geschrieben. Die Wörter der KI sind kursiv geschrieben. Nach jedem KI-generierten Abschnitt zeige ich die Ergebnisse der Detektoren. Am Ende des Artikels schauen wir uns an, wie gut die Detektoren insgesamt abgeschnitten haben.

Hier sind die Testergebnisse zum obigen Text, den ich selbst geschrieben habe:

• GPT-2-Ausgabedetektor: 99,98 % real 
• Writer.com: 95 % von Menschen erstellte Inhalte
• BrandWell KI-Inhaltserkennung: Wird als menschlich angesehen
• GPTZero: 98 % menschlich
• ZeroGPT: 22 % AI GPT Ihr Text ist höchstwahrscheinlich von Menschen geschrieben
• Writefull GPT Detector: 1 % wahrscheinlich, dass dies von GPT-3, GPT-4 oder ChatGPT stammt
• Originality.ai: Wir sind zu 99 % davon überzeugt, dass der Text original ist
• QuillBot: 42 % des Textes sind wahrscheinlich KI-generiert
• Grammatik: Wir haben keine gängigen KI-Textmuster erkannt. Ihr Dokument scheint keinen KI-generierten Text zu enthalten.

Von Menschen verfasster Inhalt: 7 von 9 (77 %) richtig
Letztes Mal: 5 von 7 (71 %) richtig 

Bevor wir fortfahren, besprechen wir, was ich als „richtige“ Analyse betrachte. Wenn die Punktzahl numerisch ist, wird alles über 80 % als korrekte Analyse gewertet, und das ist großzügig. Wenn die Partitur eine Zusammenfassung enthält, schaue ich mir die Zusammenfassung an und treffe ein Urteil. 

Lassen Sie uns nun noch etwas näher darauf eingehen.

Erklären Sie, warum ChatGPT ein echtes Problem für Lehrer und Redakteure sein kann, wenn es um Plagiate geht

ChatGPT is a variant of the GPT (Generative Pre-trained Transformer) language model developed by OpenAI. It is designed to generate human-like text by predicting the next word or phrase in a given input sequence. While ChatGPT can be a useful tool for generating text and responding to prompts, it can also be a problem for teachers and editors when it comes to plagiarism.

One of the main reasons why ChatGPT can be a problem for teachers and editors is that it can generate text that is very similar to that of real human writers. This means that students or other individuals could potentially use ChatGPT to generate text that they could then submit as their own work, thereby committing plagiarism.

For teachers and editors, detecting whether a given piece of text was generated by ChatGPT or written by a human can be very difficult, as the generated text may not contain any obvious errors or discrepancies that would reveal its artificial origin. This can make it difficult for teachers and editors to identify and prevent plagiarism, as they may not be able to tell whether a given piece of text is original or copied from another source.

Overall, ChatGPT and other similar language models can be a problem for teachers and editors when it comes to plagiarism because they can generate text that is difficult to distinguish from that written by humans, making it easier for students and other individuals to commit plagiarism without being detected.

• GPT-2-Ausgabedetektor: 99,69 % echt
• Writer.com: 77 % von Menschen erstellte Inhalte
• BrandWell AI Content Detection: Schwer zu sagen
• GPTZero: 100 % KI
• ZeroGPT: 100 % KI
• Writefull GPT Detector: 12 % wahrscheinlich, dass dies von GPT-3, GPT-4 oder ChatGPT stammt.
• Originality.ai: 100 % KI
• QuillBot: 83 % wahrscheinlich KI
• Grammatik: Wir haben keine gängigen KI-Textmuster erkannt. Ihr Dokument scheint keinen KI-generierten Text zu enthalten
  

KI-geschriebener Inhalt: 4 von 9 (44 %) richtig
Letztes Mal: 4 von 7 (57 %) richtig

Denken Sie daran, dass der in Kursivschrift angezeigte Text von der KI generiert wurde.

Zeigen Sie mir mindestens drei Möglichkeiten, wie ich erkennen kann, dass ChatGPT zur Erstellung eines Textes verwendet wurde

There are several ways that you can potentially detect whether ChatGPT or another language model was used to produce a piece of text. Here are three potential approaches you could use:

1. Suchen Sie nach sich wiederholenden oder ungewöhnlichen Mustern im Text: Eine Möglichkeit herauszufinden, ob ein Sprachmodell zum Generieren eines Textstücks verwendet wurde, besteht darin, nach sich wiederholenden oder ungewöhnlichen Mustern im Text zu suchen. Beispielsweise können Sprachmodelle bestimmte Phrasen oder Wortkombinationen wiederholen oder ungewöhnliche oder inkonsistente Satzstrukturen verwenden.
2. Auf mangelnde Originalität prüfen: Eine weitere Möglichkeit, festzustellen, ob ein Sprachmodell zum Generieren eines Textstücks verwendet wurde, besteht darin, den Text auf mangelnde Originalität zu prüfen. Wenn ein Text aus einer anderen Quelle kopiert zu sein scheint oder Informationen enthält, die im Internet oder in anderen Quellen weit verbreitet sind, könnte dies ein Zeichen dafür sein, dass er von einem Sprachmodell generiert wurde.
3. Verwenden Sie einen Plagiatsprüfer: Schließlich können Sie einen Plagiatsprüfer verwenden, um zu überprüfen, ob ein Text aus einer anderen Quelle kopiert zu sein scheint. Während ein Plagiatsprüfer möglicherweise nicht definitiv feststellen kann, ob ein Sprachmodell zum Generieren eines Textstücks verwendet wurde, kann er Ihnen dabei helfen, Fälle von Kopieren oder Paraphrasieren aus anderen Quellen zu identifizieren.
4. Hinweis, wenn die Antwort offensichtlich falsch ist: Ich habe darüber in meiner Notion AI-Rezension gesprochen, in der ich einen Text hervorgehoben habe, den die KI mit scheinbarer Autorität geschrieben hat, der aber offensichtlich falsch war. Wenn ein Student oder Autor das diskutierte Thema nicht vollständig beherrscht, erkennt er möglicherweise die Ungenauigkeiten nicht und belässt sie in der von der KI generierten Antwort. Natürlich sind falsche Aussagen nicht nur Gegenstand eines KI-Schreibtools. Viele Blogger und Kommentatoren wiederholen beispielsweise Aussagen anderer Blogger und erzeugen so einen Echoraum völlig „falscher Fakten“, der zeigt, dass Intelligenz zwar künstlich sein mag, Dummheit jedoch ein universelles Merkmal ist.

Keep in mind that it can be difficult to definitively determine whether a language model was used to generate a piece of text, and these methods may not always be effective. However, they can be useful tools to help you identify potential instances of language model-generated text.

In dieser Reihe von Tests wurde nur der oben kursiv gedruckte Inhalt durch die Checker-Suite ausgeführt.

• GPT-2-Ausgabedetektor: 99,98 % gefälscht
• Writer.com: 73 % von Menschen erstellte Inhalte
• BrandWell KI-Inhaltserkennung: Wird als menschlich angesehen
• GPTZero: 100 % KI
• ZeroGPT: 96,99 % KI generiert
• Writefull GPT Detector: 79 % wahrscheinlich, dass dies von GPT-3, GPT-4 oder ChatGPT stammt.
• Originality.ai: 100 % KI
• QuillBot: 100 % KI
• Grammatik: Wir haben keine gängigen KI-Textmuster erkannt. Ihr Dokument scheint keinen KI-generierten Text zu enthalten
  

KI-geschriebener Inhalt: 5 von 9 (55 %) richtig
Letztes Mal: 5 von 7 (71 %) richtig

Listen Sie drei Plagiatsprüfer auf, die ChatGPT-Text erkennen können

It is worth noting that there is currently no plagiarism checker that is specifically designed to detect text generated by ChatGPT or other language models. While some plagiarism checkers may be able to identify certain characteristics of language model-generated text that could indicate its artificial origin, there is no guarantee that they will be able to definitively determine whether a piece of text was generated by a language model.

With that said, here are three plagiarism checkers that you might consider using to help identify potential instances of language model-generated text:

1. Turnitin: Turnitin ist ein beliebter Plagiatsprüfer, der häufig von Schulen und Universitäten verwendet wird. Es vergleicht einen Text mit einer Datenbank anderer Texte, um Fälle von Kopieren oder Paraphrasieren zu identifizieren. Während es möglicherweise nicht in der Lage ist, definitiv zu bestimmen, ob ein Textstück von einem Sprachmodell generiert wurde, könnte es möglicherweise bestimmte Merkmale eines durch ein Sprachmodell generierten Textes identifizieren, die auf seinen künstlichen Ursprung hinweisen könnten.
2. PlagScan: PlagScan ist ein weiterer Plagiatsprüfer, der einen Text mit einer Datenbank anderer Texte vergleicht, um Fälle von Kopieren oder Paraphrasieren zu identifizieren. Wie Turnitin ist es möglicherweise in der Lage, bestimmte Merkmale von sprachmodellgeneriertem Text zu identifizieren, die auf dessen künstlichen Ursprung hinweisen könnten, es ist jedoch nicht speziell für die Erkennung von sprachmodellgeneriertem Text konzipiert.
3. Copyleaks: Copyleaks ist ein Plagiatsprüfer, der fortschrittliche Algorithmen für maschinelles Lernen verwendet, um einen Text zu scannen und ihn mit einer Datenbank anderer Texte zu vergleichen, um Fälle von Kopieren oder Paraphrasieren zu identifizieren. Es ist zwar möglicherweise in der Lage, bestimmte Merkmale von sprachmodellgeneriertem Text zu identifizieren, es ist jedoch nicht speziell für die Erkennung von sprachmodellgeneriertem Text konzipiert.

It is worth noting that no plagiarism checker is completely foolproof, and there is always the possibility that a piece of language model-generated text could escape detection. Therefore, it is important to use plagiarism checkers as just one part of a larger strategy to detect and prevent plagiarism.

• GPT-2-Ausgabedetektor: 99,58 % real
• Writer.com: 74 % von Menschen erstellte Inhalte
• BrandWell KI-Inhaltserkennung: Wird als menschlich angesehen
• GPTZero: 100 % KI
• ZeroGPT: 100 % KI
• Writefull GPT Detektor: 87 % wahrscheinlich, dass dies von GPT-3, GPT-4 oder ChatGPT stammt.
• Originality.ai: 100 % KI
• QuillBot: 100 % KI-generiert
• Grammatik: Kein Plagiat oder KI-Text erkannt

KI-geschriebener Inhalt: 5 von 9 (55 %) richtig
Letztes Mal: 5 von 7 (71 %) richtig

Online-KI-Plagiatsprüfer

Die meisten Plagiatsdetektoren werden verwendet, um Texte mit anderen Texten zu vergleichen. Wenn beispielsweise ein Student einen Aufsatz einreicht, vergleicht ein Produkt wie Turnitin den eingereichten Aufsatz mit einer riesigen Aufsatzbibliothek in seiner Datenbank sowie mit anderen Dokumenten und Texten im Internet, um festzustellen, ob der eingereichte Aufsatz bereits geschriebene Inhalte enthält.

Allerdings generieren die KI-Schreibwerkzeuge zumindest theoretisch Originalinhalte. Ja, sie bauen ihren Inhalt auf dem auf, was sie gelernt haben, aber die Wörter, die sie konstruieren, sind für jede Komposition irgendwie einzigartig.

Daher werden die oben genannten Plagiatsprüfer wahrscheinlich nicht funktionieren, weil der KI-generierte Inhalt wahrscheinlich nicht in der Arbeit eines anderen Studenten vorhanden war.

In diesem Artikel betrachten wir nur GPT-Detektoren. Aber Plagiate sind ein großes Problem, und wie wir gesehen haben, definieren einige Plagiate als etwas, von dem Sie behaupten, dass es Ihnen gehört und das Sie nicht geschrieben haben, während andere sich dafür entscheiden, Plagiat als etwas zu definieren, das von jemand anderem geschrieben wurde und von dem Sie behaupten, dass es Ihnen gehört.

Diese Unterscheidung war bisher nie ein Problem. Da wir nun nicht-menschliche Autoren haben, ist die Unterscheidung zwischen Plagiaten differenzierter. Es liegt an jedem Lehrer, jeder Schule, jedem Redakteur und jeder Institution, genau zu entscheiden, wo diese Grenze gezogen wird.

• GPT-2-Ausgabedetektor: 99,56 % echt
• Writer.com: 98 % von Menschen erstellte Inhalte
• BrandWell KI-Inhaltserkennung: Wird als menschlich angesehen
• GPTZero:98 % menschlich
• ZeroGPT: 16,82 % KI – Ihr Text ist von Menschen geschrieben
• Writefull GPT Detector: 7 % wahrscheinlich, dass dies von GPT-3, GPT-4 oder ChatGPT stammt.
• Originality.ai: 100 % Original
• QuillBot: 0 % KI
• Grammatik: Kein Plagiat oder KI-Text erkannt

KI-geschriebener Inhalt: 9 von 9 (100 %) richtig
Letztes Mal: 7 von 7 (100 %) richtig

Gesamtergebnisse

Insgesamt waren die Ergebnisse im Vergleich zur letzten Testrunde rückläufig. Dieses Mal hatten wir drei Aufschläge mit perfekten Ergebnissen. Das sind jetzt nur noch zwei, weil ZeroGPT, einer unserer damals besten Spieler, einen Test nicht bestanden hat, den es zuvor bestanden hatte. Die beiden neuen Detektoren, die wir hinzugefügt haben, Writer.com und Grammarly, haben die Punktzahl nicht verbessert. Tatsächlich waren beide im Allgemeinen erfolglos.

Obwohl sich die Gesamtergebnisse verbessert haben, wäre es für mich kein gutes Gefühl, mich ausschließlich auf diese Tools zu verlassen, um die Inhalte eines Schülers zu validieren. Wie sich gezeigt hat, wird das Schreiben von Nicht-Muttersprachlern oft als von einer KI generiert bewertet, und obwohl meine handgefertigten Inhalte nicht mehr als KI eingestuft wurden, gab es einige Absätze, die von den Testern als möglicherweise KI-basiert gekennzeichnet wurden . Sie können auch sehen, dass die Ergebnisse zwischen den Testsystemen völlig inkonsistent sind. Daher rate ich zur Vorsicht, bevor ich mich auf die Ergebnisse eines (oder aller) dieser Tools verlasse.

Schauen wir uns die einzelnen Tester an und sehen, wie sie jeweils abgeschnitten haben.

GPT-2-Ausgangsdetektor (Genauigkeit 60 %)

Dieses erste Tool wurde mithilfe eines Hubs für maschinelles Lernen entwickelt, der von der in New York ansässigen KI-Firma Hugging Face verwaltet wird. Während das Unternehmen 40 Millionen US-Dollar für die Entwicklung seiner Bibliothek natürlicher Sprache erhalten hat, scheint der GPT-2-Detektor ein vom Benutzer erstelltes Tool zu sein, das die Hugging Face Transformers-Bibliothek nutzt. Von den fünf Tests, die ich durchgeführt habe, war der Detektor bei drei genau.

Writer.com KI-Inhaltsdetektor (Genauigkeit N/A)

Writer.com ist ein Dienst, der KI-Schreiben generiert und sich an Unternehmensteams richtet. Sein AI Content Detector-Tool kann nach generierten Inhalten suchen. Ich fand dieses Tool unzuverlässig. Während zuvor keine Ergebnisse generiert wurden, wurde es dieses Mal ausgeführt. Leider war die Genauigkeit recht gering. Es identifizierte im Wesentlichen jeden Textblock als von Menschen geschrieben, wobei drei der sechs Tests von ChatGPT geschrieben wurden.

Nachdem dieser Artikel ursprünglich im Januar veröffentlicht wurde, wandten sich die Leute von Writer.com an ZDNET. CEO May Habib hatte diesen Kommentar zu teilen:

Die Nachfrage nach dem KI-Detektor ist sprunghaft angestiegen. Der Traffic ist seit unserer Einführung vor ein paar Monaten um das Zwei- bis Dreifache pro Woche gestiegen. Wir haben jetzt die nötige Skalierung dahinter, um sicherzustellen, dass es nicht abstürzt, und unser Ziel ist es, es kostenlos zu halten – und auf dem neuesten Stand zu halten, um die Ausgaben der neuesten Modelle, einschließlich unserer, abzufangen. Wenn die KI-Ausgabe wörtlich verwendet werden soll, sollte sie unbedingt angegeben werden.

BrandWell KI-Inhaltserkennung (Genauigkeit 40 %)

Das dritte Tool, das ich gefunden habe, wurde ursprünglich von einem Unternehmen zur Erstellung von KI-Inhalten, Content at Scale, entwickelt. Anschließend wurde das Tool zu Brandwell.ai migriert, was ein neuer Name für das heutige KI-zentrierte Marketingdienstleistungsunternehmen zu sein scheint.

Leider war die Genauigkeit ziemlich gering. Das Tool identifizierte alle KI-Inhalte als menschlich, wie in diesem Screenshot:

Dieser Text wurde vollständig von ChatGPT geschrieben.

GPTZero (Genauigkeit 100 %)

Es ist nicht ganz klar, was GPTZero antreibt. Das Unternehmen stellt Ingenieure und Vertriebsmitarbeiter ein und läuft auf AWS, sodass Kosten und Umsätze anfallen. Allerdings konnte ich über ein Serviceangebot nur einen Ort finden, an dem man sich für ein kostenloses Konto registrieren konnte, um mehr als die 5.000 angebotenen Wörter ohne Anmeldung zu scannen. Wenn Sie an diesem Dienst zur GPT-Erkennung interessiert sind, müssen Sie prüfen, ob Ihnen weitere Details mitgeteilt werden. Die Genauigkeit hat sich seit der ersten Durchführung der Tests erhöht und blieb in dieser Runde bei 100 %.

ZeroGPT (Genauigkeit 80 %)

ZeroGPT scheint als Dienst ausgereift zu sein, seit wir es uns das letzte Mal angesehen haben. Als wir uns das letzte Mal umsahen, war kein Firmenname aufgeführt und die Website war mit Google-Anzeigen übersät, ohne dass eine erkennbare Monetarisierungsstrategie vorhanden war. Der Service funktionierte recht gut, wirkte aber verdammt dürftig.

Dieses dämliche Gefühl ist jetzt verschwunden. ZeroGPT präsentiert sich wie jeder andere SaaS-Dienst mit Preisen, Firmennamen, Kontaktinformationen und allem anderen. Die Leistung ist immer noch recht gut, daher haben die Entwickler vielleicht beschlossen, ihren Arbeitscode eher in ein funktionierendes Geschäft umzuwandeln. Allerdings ist die Genauigkeit gesunken. Es hat einen von Menschen geschriebenen Test fälschlicherweise als KI interpretiert.

Writefull GPT-Detektor (Genauigkeit 60 %)

Writefull verkauft Schreibunterstützungsdienste sowie eine kostenlose Testversion seiner Tools. Der GPT-Detektor ist ziemlich neu und funktioniert ziemlich gut. Allerdings hatte das Tool in unseren Tests einige Höhen und Tiefen. Sie verbesserte sich von 60 % auf 80 %, sank dieses Mal jedoch wieder auf 60 %.

Originality.ai (Genauigkeit 100 %, sozusagen)

Originality.ai ist ein kommerzieller Dienst, der sich sowohl als KI-Prüfer als auch als Plagiatsprüfer bezeichnet. Das Unternehmen verkauft seine Dienste auf Basis von Nutzungsgutschriften. Um Ihnen eine Vorstellung zu geben: Für alle Scans, die ich für diesen Artikel durchgeführt habe, wurden 30 Nutzungsguthaben verbraucht. Das Unternehmen verkauft 2.000 Credits pro Monat für 12,95 $pro Monat. Ich habe ungefähr 1.400 Wörter durch das System gepumpt und nur 1,5 % des monatlichen Kontingents verbraucht.

Die Ergebnisse des KI-Prüfers waren großartig, aber bei der Verwendung des Dienstes als Plagiatsprüfer scheiterte das Tool in drei von fünf Fällen. Der folgende Screenshot behauptet, dass der eingefügte Text zu 0 % plagiiert war:

Das ist falsch, da der gesamte in das Tool eingefügte Text aus diesem Artikel stammt, der zwei Jahre lang online veröffentlicht wurde. Ich dachte vielleicht, dass der Plagiatsscanner ZDNET-Inhalte nicht lesen könnte, aber das ist nicht der Fall, wie dieser Screenshot zeigt:

Fairerweise muss ich sagen, dass ich mir in diesem Artikel nicht vorgenommen habe, Plagiatsprüfer zu überprüfen. Aber da ich Quellenmaterial verwende, von dem ich weiß, dass ich es aus meinem bestehenden Artikel entnommen habe, ging ich davon aus, dass der Plagiatsprüfer sie alle als 100 % plagiiert eingestuft hätte. Auf jeden Fall hat Originality.ai bei dem Teil, den wir testen wollten, dem KI-Checker, sehr gut abgeschnitten. Dafür bekommt das Tool Punkte.  

QuillBot (Genauigkeit ca. 80 %)

Nichts ist jemals einfach. Als ich zum ersten Mal meinen ersten Test mit QuillBot durchführte, hieß es, 45 % des Textes seien wahrscheinlich von einer KI generiert worden. Das war es nicht. Ich habe es geschrieben. Aber dann, nachdem ich alle anderen Tests abgeschlossen hatte, kehrte ich zu QuillBot zurück, um einen Screenshot für diesen Abschnitt zu machen, fütterte ihn mit dem gleichen Text, der die 45 %-Punktzahl generierte, und wie Sie sehen können, meldet er jetzt 0 % KI.

Was sollen wir also von diesem Ergebnis halten? Leider habe ich keinen Screenshot davon gemacht, als ich diesen Text zum ersten Mal getestet habe, aber er verdeutlicht die Bedenken, sich zu sehr auf KI-Detektoren zu verlassen, da diese auch durchaus zu Halluzinationen fähig sind. 

Grammatik (Genauigkeit 40 %)

Grammarly ist ein bekanntes Tool, das Autoren dabei hilft, grammatikalisch korrekte Inhalte zu erstellen. Das ist nicht das, was wir hier testen. Grammarly kann sowohl auf Plagiate als auch auf KI-Inhalte prüfen. Sie können ein Dokument in die Grammatikprüfung einfügen. In der unteren rechten Ecke befindet sich eine Schaltfläche zur Plagiats- und KI-Textprüfung.

Bei diesem Test hat das Tool ein vorhandenes Online-Dokument gefunden, das mit dem übereinstimmt, was ich eingefügt habe. Dieses Ergebnis macht Sinn, da es sich um eine Aktualisierung eines Artikels handelt, der seit einigen Jahren online ist. Was jedoch nicht korrekt ist, ist die Aussage „Ihr Dokument scheint keinen Al-generierten Text zu enthalten“, da das gesamte Segment von ChatGPT generiert wurde.

Was ist mit dem ChatGPT-Detektor von OpenAI?

Nun, OpenAI hat es letztes Jahr eingestellt, weil der Detektor nicht besonders genau war. Im August sollte eine Genauigkeit von 99 % vorliegen, aber vier Monate später gibt es immer noch keine Anzeichen für eine Veröffentlichung. Auch die angebliche Genauigkeit ist etwas schwer zu glauben, da ChatGPT selbst alles andere als 100 % genau ist. 

Aber auf jeden Fall ist es, wie mein ZDNET-Kumpel Steven Vaughan-Nichols schreibt, noch nicht verfügbar. Wir werden das Tool testen, sobald es für die öffentliche Nutzung freigegeben wird. Bleiben Sie dran.

Letzte Gedanken

Zunächst lasse ich ChatGPT zu Wort kommen: KI-gesteuertes Plagiat ist ein wachsendes Problem, da KI-Tools wie Notion AI und ChatGPT Texte generieren können, die schwer von von Menschen geschriebenen Texten zu unterscheiden sind. Es gibt verschiedene Möglichkeiten, um festzustellen, ob ein Text von einer KI generiert wurde, z. B. durch die Suche nach sich wiederholenden oder ungewöhnlichen Mustern, die Prüfung auf mangelnde Originalität oder die Verwendung einer Plagiatsprüfung. Plagiatsprüfer wie Turnitin, PlagScan und Copyleaks können möglicherweise bestimmte Merkmale von durch Sprachmodelle generierten Texten identifizieren, sind jedoch nicht narrensicher.

Sogar die Spezialwerkzeuge, die ich gefunden habe, waren für diese Aufgabe völlig ungeeignet. Im Vergleich zu meinen Tests im Januar gab es einige begrenzte Verbesserungen. Ich würde mich jedoch sicher nicht wohl fühlen, wenn ich aufgrund der Ergebnisse dieser Tools den akademischen Ruf eines Studenten gefährden oder ihn des Betrugs bezichtigen würde.

Zum jetzigen Zeitpunkt glaube ich nicht, dass wir bereit sind, KI gegen KI kämpfen zu lassen. Stattdessen müssen wir uns auf die menschliche Wahrnehmung verlassen (was bedeutet, dass die Leute aufmerksam sein müssen), um Werke zu identifizieren, die von einer KI erstellt wurden.

Gehen Sie nicht sofort davon aus, dass etwas maschinell erzeugt wird. Nur weil etwas dumm oder völlig ungenau ist, heißt das nicht, dass es nicht von einem Menschen geschrieben wurde. Wie wir alle wissen, können Menschen selbst einige schlechte Dinge schreiben.

Also, was denken Sie? Können Sie erkennen, ob ein Stück KI-generiert ist? Haben Sie diese KI-Schreibwerkzeuge in den Monaten verwendet, seit sie plötzlich verfügbar waren? Glauben Sie, dass sie eine Hilfe oder ein Hindernis für Bildung und Journalismus sind? Lass es uns unten in den Kommentaren wissen. So hat ChatGPT darauf geantwortet:

As a language model, I can't see or interact with physical pieces of writing, so I can't tell if a piece is AI-generated or not. However, I can tell you that there are several AI writing tools that are available, and they can be used to generate a wide range of written content, including news articles, fiction, poetry, and more.

I don't have personal experience using these tools since I am just a computer program and don't have the ability to browse the internet or use physical tools. However, I can tell you that some people have found AI writing tools to be helpful in education and journalism, as they can save time and effort by automating certain tasks. Others have expressed concerns about the potential for these tools to be used to produce misleading or biased content or to replace human writers. Ultimately, whether AI writing tools are a help or hindrance depends on how they are used and the context in which they are used.

Also, ja, das gibt es.

You can follow my day-to-day project updates on social media. Be sure to subscribe to my weekly update newsletter, and follow me on Twitter/X at @DavidGewirtz, on Facebook at Facebook.com/DavidGewirtz, on Instagram at Instagram.com/DavidGewirtz, and on YouTube at YouTube.com/DavidGewirtzTV.