Wer ist am stärksten haftbar, wenn Ihr KI-generierter Code fehlerhaft wird?
Der Bericht des Columbia Tow Center for Digital Journalism zeigt, dass die ChatGPT-Suche möglicherweise nicht so genau ist wie beworben.
Im Oktober integrierte OpenAI die ChatGPT-Suche in ChatGPT und versprach ein Erlebnis, bei dem Benutzer im Internet surfen und auf die neuesten Nachrichten seiner Nachrichtenpartner und Websites zugreifen können, die den Webcrawler von OpenAI nicht blockiert haben. Eine neue Untersuchung des Columbia Tow Center for Digital Journalism zeigt, dass der Prozess möglicherweise nicht so effizient ist, wie es sich anhört.
Das Tow Center hat einen Test durchgeführt, um festzustellen, wie gut Publisher-Inhalte auf ChatGPT dargestellt werden. Es wurden 10 Artikel von 20 zufälligen Verlagen ausgewählt, die mit OpenAI zusammenarbeiten, an Klagen gegen OpenAI beteiligt sind oder nicht verbundenen Verlagen, die den Webcrawler entweder zugelassen oder blockiert haben.
Anschließend extrahierte der Forscher 200 Zitate, die, wenn sie in Suchmaschinen wie Google oder Bing aufgerufen wurden, auf die Quelle in den ersten drei Ergebnissen verwiesen. Schließlich war es an der Zeit, ChatGPT die Quellen der Zitate identifizieren zu lassen. Letztendlich bestand das Ziel darin, herauszufinden, ob die KI Veröffentlichungen korrekt bedient und ihnen Anerkennung für ihre Arbeit gibt. Wenn der Ansatz wie beworben funktioniert, sollte die Zuordnung der Quellen genauso gut möglich sein.
Die Ergebnisse waren unterschiedlich genau, einige waren völlig richtig oder falsch, andere teilweise richtig. Dennoch wurden fast alle Antworten souverän präsentiert, ohne dass die KI sagte, sie könne selbst von Herausgebern, die ihren Webcrawler blockiert hatten, keine Antwort liefern. Nur in sieben der Ausgaben gab ChatGPT an, Wörter oder Phrasen zu verwenden, die darauf hindeuteten, dass es unklar sei, wie unten zu sehen:
„Über die Irreführung der Benutzer hinaus könnte das falsche Vertrauen von ChatGPT dazu führen, dass der Ruf der Herausgeber geschädigt wird“, heißt es in dem Artikel.
Diese Aussage wurde durch ein Beispiel gestützt, in dem ChatGPT ein Zitat aus dem Orlando Sentinel fälschlicherweise einem Time-Artikel zuordnete, wobei über ein Drittel der Antworten von ChatGPT mit falschen Zitaten dieser Art waren. Eine falsche Zuordnung schadet nicht nur dem Datenverkehr, sondern kann auch der Marke einer Publikation und dem Vertrauen ihres Publikums schaden.
Zu den weiteren problematischen Ergebnissen des Experiments gehört, dass ChatGPT einen Artikel der New York Times zitiert, die ihn blockiert hat, von einer anderen Website, die den Artikel plagiiert hatte, oder dass anstelle des Originalartikels eine syndizierte Version eines Artikels von MIT Tech Review zitiert wird , obwohl MIT Tech Review das Crawlen zulässt.
Letztendlich wirft diese Untersuchung eine größere Frage auf, ob die Zusammenarbeit mit diesen KI-Unternehmen den Verlagen mehr Kontrolle bietet oder nicht und ob die Entwicklung neuer KI-Suchmaschinen den Verlagen wirklich nützt oder ihren Unternehmen auf lange Sicht schadet. Die Daten hinter der Methodik werden auf GitHub geteilt und können von der Öffentlichkeit eingesehen werden.
Verbraucher sollten die Quelle immer überprüfen, indem sie auf die von der KI bereitgestellte Fußnote klicken oder eine schnelle Suche in einer etablierten Suchmaschine wie Google durchführen. Diese zusätzlichen Schritte helfen, Halluzinationen vorzubeugen.