Durch die Verknüpfung generativer KI mit medizinischen Daten wurde der Nutzen für Ärzte verbessert
Durch die Aufforderung an GPT-4, Empfehlungen aus einer Datenbank abzurufen, veränderten sich die Antworten des Modells auf spontane medizinische Fragen von schrecklich zu potenziell nützlich.
Überblick über den von Heidelberger Wissenschaftlern verwendeten RAG-Ansatz.
Generative künstliche Intelligenz (KI) hat eine bemerkenswerte Fähigkeit bewiesen, Fragen in strukturierten Tests zu beantworten, einschließlich der Erzielung einer deutlich über der bestandenen Punktzahl bei der medizinischen Zulassungsprüfung der Vereinigten Staaten.
Aber in einer unstrukturierten Umgebung, wenn die KI-Modelle mit einem Strom neuartiger, von Menschen erstellter Fragen gefüttert werden, können die Ergebnisse schrecklich sein, da die Modelle oft mehrere ungenaue oder völlig falsche Behauptungen zurückgeben, was als „Halluzinationen“ bekannt ist.
Forscher des Universitätsklinikums Heidelberg berichteten diese Woche im renommierten New England Journal of Medicine (NEJM), dass die Verknüpfung generativer KI-Modelle mit einer Datenbank relevanter Informationen die Fähigkeit des Modells, unstrukturierte Anfragen im Bereich der Onkologie zu beantworten, erheblich verbesserte , die Behandlung von Krebs.
Der Ansatz der Retrieval-Augmented Generation (RAG), bei dem die großen Sprachmodelle auf externe Informationsquellen zugreifen, habe die spontane Beantwortung von Fragen dramatisch verbessert, so die Autoren Dyke Ferber und das Team in Heidelberg in einer Studie, die sie diese Woche in NEJM beschreiben , „GPT-4 zur Informationsbeschaffung und zum Vergleich medizinischer Onkologierichtlinien.“ (Um den vollständigen Bericht lesen zu können, ist ein Abonnement von NEJM erforderlich.)
Anlass für die Studie war die Tatsache, dass die Medizin einer einzigartigen Informationsflut ausgesetzt ist - die Berufsverbände der Medizin generieren ständig mehr Empfehlungen für Best Practices. Sich über diese Vorschläge auf dem Laufenden zu halten, stellt eine Belastung für Ärzte dar, die versuchen, mit einer Bevölkerung zurechtzukommen, die immer älter wird und den Bedarf an Pflege erhöht.
Gruppen wie die American Society of Clinical Oncology (ASCO), Ferber und sein Team veröffentlichen „in zunehmendem Maße aktualisierte Leitlinien“, die von Ärzten verlangen, „mehrere Dokumente zu vergleichen, um die optimale Behandlung für ihre Patienten zu finden, ein Aufwand in der Klinik.“ Praxis, die voraussichtlich anspruchsvoller und verbreiteter werden wird, insbesondere angesichts des erwarteten weltweiten Mangels an Onkologen.“
Ferber und sein Team stellten die Hypothese auf, dass ein KI-Assistent Klinikern dabei helfen könnte, diese wachsende Literatur zu sortieren.
Tatsächlich fanden sie heraus, dass GPT-4 mit RAG ein Genauigkeitsniveau erreichen kann, das zumindest als eine Art erster Schritt bei der Zusammenfassung relevanter Empfehlungen dient und so den Verwaltungsaufwand für Ärzte verringert.
Die Autoren testeten den GPT-4 von OpenAI, indem sie humanonkologische Experten 30 „klinisch relevante Fragen“ zu Bauchspeicheldrüsenkrebs, metastasiertem Darmkrebs und hepatozellulärem Karzinom einreichen ließen und das Modell als Antwort einen Bericht mit Aussagen zu empfohlenen Behandlungsansätzen erstellen ließen.
Die Ergebnisse waren für GPT-4 allein katastrophal. Als das Modell in der Aufforderung aufgefordert wurde, als Antwort auf die 30 Fragen „detaillierte und wahrheitsgetreue Informationen bereitzustellen“, war es in 47 % der Fälle fehlerhaft, wobei 29 von 163 Aussagen ungenau waren, wie von zwei geschulten Klinikern mit langjähriger Erfahrung überprüft wurde und 41 Aussagen sind falsch.
„Diese Ergebnisse wurden deutlich verbessert, als die Dokumentensuche mit RAG angewendet wurde“, berichteten die Autoren. GPT-4 erreichte mit RAG eine Genauigkeit von 84 % in seinen Aussagen, mit 60 von 71, 62 von 75 und 62 von 72 richtigen Antworten auf die drei in den 30 Fragen abgedeckten Krebsbereiche.
„Wir haben gezeigt, dass die Erweiterung von GPT-4 mit RAG die Fähigkeit von GPT-4, korrekte Antworten auf Anfragen im medizinischen Kontext zu liefern, erheblich verbesserte“, schrieben Ferber und sein Team, „und übertraf damit einen Standardansatz bei der Verwendung von GPT-4 ohne Retrieval-Augmentation.“
Um natives GPT-4 mit GPT-4 mit RAG zu vergleichen, verwendeten sie zwei Eingabeaufforderungsstrategien. In seiner nativen, nicht-RAG-Form wurde GPT-4 gefragt: „Basierend auf dem, was Sie aus den Leitlinien zur medizinischen Onkologie gelernt haben, geben Sie bei Anfragen eines Arztes detaillierte und wahrheitsgemäße Informationen an“, und dann wurde eine der Fragen dazu gestellt, wie um einen bestimmten Krebsfall zu behandeln.
GPT-4 wurde in dieser nativen Eingabeaufforderung sowohl bei der sogenannten „Zero-Shot“-Fragenbeantwortung verwendet, bei der nur die Eingabeaufforderungsfrage angeboten wird, als auch bei der Eingabeaufforderung mit wenigen Eingaben, bei der ein Dokument in die Eingabeaufforderung eingefügt und das Modell angezeigt wird wie das Dokument eine ähnliche Frage beantworten kann.
Ein RAG-Ansatz ermöglicht es GPT-4, auf eine Datenbank mit klinischem Wissen zuzugreifen.
Beim RAG-Ansatz weist die Eingabeaufforderung GPT-4 an, „Blöcke“ relevanter medizinischer Dokumente, die von ASCO und der European Society for Medical Oncology (ESMO) bereitgestellt werden, aus einer Datenbank abzurufen. Dann muss das Modell auf eine Aussage antworten wie: „Was sagen die Dokumente über die Erstlinienbehandlung bei metastasierten MSI-Tumoren?“
Die beiden Humanmediziner am Universitätsklinikum Heidelberg bewerteten die Antworten auf ihre Richtigkeit, indem sie die Antworten von GPT-4 manuell mit den bereitgestellten Dokumenten verglichen.
„Sie haben jede Antwort systematisch in einzelne Aussagen zerlegt, basierend auf den von GPT-4 bereitgestellten Aufzählungspunkten“, schrieben Ferber und sein Team.
„Jede Aussage wurde sorgfältig hinsichtlich ihrer Übereinstimmung mit den jeweiligen Informationen aus den ASCO- und ESMO-Dokumenten bewertet“, und „für jede Frage führten die Kliniker eine detaillierte manuelle Überprüfung der Richtlinien für jede Abfrage durch, um unsere Grundwahrheit zu definieren.“
Diese manuelle Auswertung zeige einen wichtigen Aspekt des RAG-Ansatzes, stellten Ferber und sein Team fest: Er sei überprüfbar. „Durch den Zugriff auf die abgerufenen Leitliniendokumente erleichterte der RAG-Mechanismus die Überprüfung der Genauigkeit, da Ärzte die Informationen im Dokumentblock schnell nachschlagen konnten“, schrieben sie.
Das Fazit ist vielversprechend: „Unser Modell kann bereits als Prescreening-Tool für Anwender wie Onkologen mit Fachkenntnissen dienen“, schreiben Ferber und sein Team.
Es gibt jedoch Einschränkungen für RAG. Als GPT-4 RAG verwendete, um relevante Passagen abzurufen, die widersprüchliche Ratschläge zur Behandlung gaben, antwortete das Modell manchmal mit ungenauen Vorschlägen.
„In Fällen, in denen GPT-4 Informationen aus widersprüchlichen Aussagen (klinische Studien, Expertenmeinungen und Ausschussempfehlungen) verarbeiten muss, reichte unser aktuelles Modell nicht aus, um zuverlässig genaue Antworten zu liefern“, schreiben Ferber und sein Team.
Es stellt sich heraus, dass Sie noch einige zeitnahe technische Arbeiten durchführen müssen. Ferber und sein Team konnten Ungenauigkeiten abmildern, indem sie GPT-4 baten, die widersprüchlichen Meinungen in der Literatur zu identifizieren und dann eine überarbeitete Antwort zu geben, die sich als richtig herausstellte.