Was bedeutet ein langes Kontextfenster für ein KI-Modell wie Gemini?

Wenn Sie mit KI-Modellen und Chatbots vertraut sind, haben Sie wahrscheinlich schon einmal gehört, dass der Begriff „Kontext“ anders verwendet wird, als Sie es gewohnt sind. Hier erfahren Sie, was das bedeutet.

Google hat gerade angekündigt, dass es seinen Gemini Advanced-Dienst mit einem Kontextmodell von einer Million erweitert und bald auf zwei Millionen ansteigen wird.

Stellen Sie sich vor, Sie schauen sich eine Fernsehserie an, können sich aber jeweils nur an eine Episode erinnern. Wenn Sie zur nächsten Folge übergehen, vergessen Sie sofort alles, was Sie gerade gesehen haben. Stellen Sie sich nun vor, Sie könnten sich an jede Folge und jede Staffel dieser Fernsehsendung erinnern, die Sie gesehen haben. Dies würde es Ihnen ermöglichen, die Geschichte, die Charaktere und Wendungen zu verstehen.

Bei der Erörterung von Modellen der künstlichen Intelligenz (KI) stellt die Fähigkeit, sich jeweils nur an eine Episode zu erinnern und beim Übergang zur nächsten Episode gezwungen zu sein, diese zu vergessen, ein kurzes Kontextfenster dar. Das Erinnern an alle Episoden einer Serie stellt ein KI-Modell mit einem großen Kontext - oder einem langen Kontextfenster - dar.

Kurz gesagt bedeutet ein langes Kontextfenster, dass sich das Modell viele Informationen gleichzeitig merken kann.

Um mehr über ein langes Kontextfenster und dessen Auswirkungen auf die Leistung eines Bots oder eines anderen Systems zu erfahren, ist es notwendig zu wissen, was Kontext in der KI darstellt.

KI-Systeme wie ChatGPT, der Gemini-Chatbot und Microsoft Copilot basieren auf KI-Modellen, in diesem Fall GPT-3.5, Gemini bzw. GPT-4. Diese Modelle fungieren im Wesentlichen als Gehirne der Systeme, indem sie das Wissen speichern, sich Informationen innerhalb einer Konversation merken und angemessen auf Benutzeranfragen reagieren.

Kontext bezieht sich in der KI auf Informationen, die den aktuellen Daten, die die KI verarbeitet, Bedeutung und Relevanz verleihen. Dabei handelt es sich um die Informationen, die das Modell berücksichtigt, wenn es entscheidet oder eine Antwort generiert.

Der Kontext wird in Token gemessen und das Kontextfenster stellt die maximale Anzahl von Token dar, die das Modell gleichzeitig berücksichtigen oder verarbeiten kann. Jeder Token repräsentiert je nach Sprache ein Wort oder einen Teil eines Wortes. Im Englischen stellt ein Token in der Regel ein Wort dar, sodass ein KI-Modell wie GPT-4 mit einem 16.000 (16.000) Token-Fenster etwa 12.000 Wörter verarbeiten kann.

Die Tokenisierungsmethoden - also die Art und Weise, wie Wörter gezählt und in Token übersetzt werden - variieren je nach System. Hier ist ein Beispiel dafür, wie eine Tokenisierungsmethode aussehen könnte:

Ein KI-Chatbot, der etwa 12.000 Wörter verarbeiten kann, kann einen Artikel mit 3.000 Wörtern oder eine Forschungsarbeit mit 5.000 Wörtern zusammenfassen und dann Folgefragen beantworten, ohne zu vergessen, was in dem vom Benutzer geteilten Dokument enthalten war. Token aus vorangegangenen Nachrichten werden in allen Konversationen berücksichtigt und geben dem Bot den Kontext für das, was besprochen wird.

Wenn also eine Konversation innerhalb des Token-Limits bleibt, kann der KI-Chatbot den vollständigen Kontext aufrechterhalten. Wenn jedoch das Token-Limit überschritten wird, werden die frühesten Token wahrscheinlich ignoriert oder gehen verloren und bleiben innerhalb des Fensters, sodass der Bot möglicherweise etwas Kontext verliert.

Aus diesem Grund wirbt Google stolz für das große Kontextfenster von Gemini 1.5 Pro mit einer Million Token. Laut Sundar Pichai, CEO von Google, bedeutet eine Million Token, dass sein Gemini Advanced-Chatbot über 30.000 Codezeilen, PDFs mit bis zu 1.500 Seiten Länge oder 96 Cheesecake Factory-Menüs verarbeiten kann.