Ich habe Metas Llama 3.1 405B mit einer Frage kaputt gemacht (welches GPT-4o richtig macht)
Das Scheitern des großen Sprachmodells könnte auf Probleme bei der breiten Verwendung synthetischer Daten hinweisen.
Letzte Woche stellte Meta sein bisher größtes Large Language Model (LLM) vor, Llama 3.1 405B, das nach Angaben des Unternehmens das erste Open-Source-„Frontier-Modell“ ist - also ein Modell, das mit dem Besten konkurrieren kann, das Closed-Source zu bieten hat zu bieten, wie etwa GPT-4 von OpenAI und Gemini 1.5 von Google.
Es stellt sich heraus, dass Llama 3.1 genauso leicht oder zumindest einfacher kaputt gehen kann als diese Modelle. Ähnlich wie ich Gemini 1.5 mit einer Anfrage zur Sprachübersetzung kaputt gemacht habe, als es zum ersten Mal verfügbar war, konnte ich Llama 3.1 bei meiner allerersten Frage dazu bringen, auf Kauderwelsch zurückzugreifen.
Das Scheitern von Google Gemini war ein so schönes Beispiel für eine einfache Frage, dass es nun meine erste Frage zum Testen von LLMs geworden ist. Tatsächlich konnte ich damit gleich beim ersten Versuch Metas Llama 3.1 405B kaputt machen.
Man könnte sagen, dass eine Frage zum georgischen Verb „ყოგნა“, das „sein“ bedeutet, ein Eckfall ist. Abgesehen davon, dass das in der Kaukasusregion zwischen dem Schwarzen Meer und dem Kaspischen Meer gelegene Land Georgien die Heimat von fast 4 Millionen Sprechern der georgischen Sprache ist, scheint es ein bisschen mehr zu sein, die Konjugation ihres wichtigsten Verbs durcheinander zu bringen Eckgehäuse.
Auf jeden Fall habe ich meine Anfrage an Llama 3.1 405B in der folgenden Form übermittelt: „Wie lautet die Konjugation des georgischen Verbs ყოფნა?“
Ich habe sowohl die Meta AI-Site von Meta verwendet, auf der Sie Llama 3.1 405B kostenlos verwenden können, als auch HuggingChat von HuggingFace, auf der Sie Chatbots aus jedem Open-Source-KI-Modell mit einem öffentlichen Code-Repository erstellen können. Ich habe die Abfrage auch mit dem kommerziell gehosteten Chatbot Groq ausprobiert. In allen Fällen war die Antwort Kauderwelsch.
Hier ist zunächst die richtige Antwort aus GPT-4o von OpenAI:
(Die meisten anderen LLMs und Chatbots, darunter auch Googles Gemini, beantworten diese Frage mittlerweile richtig.)
Zunächst protestierte die Meta AI-Site mit der Meldung, dass ყოფნა zu kompliziert sei. Nachdem ich darauf bestanden hatte, kamen mir lächerlich erfundene Wörter in den Sinn. Hier ist die Antwort von Llama 3.1 405B:
Wie Sie feststellen werden, sind die Llama 3.1-Antworten im Vergleich zur obigen richtigen Antwort nicht einmal annähernd so gut.
Die HuggingFace- und Groq-Versionen protestierten nicht einmal; Sie gaben direkt die gleiche lächerliche Antwort. In der Antwort von HuggingFace gab Meta AI einen anderen Satz Kauderwelschwörter an als die auf der Meta AI-Website angebotenen:
Das völlige Scheitern von Llama 3.1 bei einer fremdsprachigen Frage ist besonders ärgerlich, wenn man bedenkt, dass die Meta-Forscher in ihrem Fachartikel ausführlich darüber sprechen, welche Fortschritte Llama 3.1 gegenüber der Vorgängerversion im Hinblick auf das macht, was sie „Mehrsprachigkeit“ nennen, also die Unterstützung für a viele andere Sprachen außer Englisch.
Die Autoren haben viel mehr menschliches Feedback zu sprachlichen Antworten eingeholt. „Wir sammeln hochwertige, manuell annotierte Daten von Linguisten und Muttersprachlern“, schreiben sie. „Diese Anmerkungen bestehen meist aus offenen Eingabeaufforderungen, die reale Anwendungsfälle darstellen.“
Es lassen sich einige interessante Aspekte erkennen, die darauf hinweisen, was im Fehlerfall mit Llama 3.1 405B vor sich geht. Die Schreibweise der falschen Ich-Antwort „ვაყოფ“ klingt selbst für meine nicht-muttersprachlichen Ohren sicherlich wie ein legitimes georgisches Wort. Das Präfix „ვ-“ ist ein gebräuchliches Präfix für die Konjugation in der ersten Person, und das Suffix „-ოფ“ ist ein gültiges Suffix in der georgischen Sprache.
Es kann also sein, dass das Modell übermäßig verallgemeinert und einen schnellen Weg zur Beantwortung einer Frage findet, indem es, wenn man so will, synthetische Antworten liefert, Antworten, die für viele Teile einer bestimmten Sprache als Muster funktionieren, aber scheitern, wenn übermäßig angewendet werden, ohne Ausnahmen zu beachten.
Die Antworten von Lama 3.1 405B können bei mehreren Versuchen variieren. Wenn die Frage hier beispielsweise erneut gestellt wird, gibt das Modell eine gültige Konjugationstabelle für die Gegenwart aus:
Wenn das Modell jedoch nach der Zukunftsform gefragt wird, macht es es fast richtig, aber nicht ganz. Wenn es nicht gelingt, das Präfix der ersten Person ვ- zur allerersten Konjugation in der Tabelle hinzuzufügen:
Interessanterweise erhält der kleinere Cousin von Llama 3.1 405B, 70B, tatsächlich schon beim ersten Versuch die richtige Antwort für die Gegenwart. Das deutet darauf hin, dass all die zusätzliche Schulung und Rechenleistung, die in die größere 405B-Version geflossen ist, dazu führt, dass sich die Ergebnisse möglicherweise in kleinen Fällen tatsächlich verschlechtern.
Ich könnte mir vorstellen, dass die Ingenieure von Meta ihre Eckfälle und Fehlerfälle genau untersuchen und prüfen müssen, ob ihre Software zu stark verallgemeinert.
Die Forscher von Meta nutzten in großem Umfang synthetische Daten, um das Modell zu „verfeinern“ und das gesammelte menschliche Feedback zu ergänzen. Es ist eine offene Frage, ob die Verwendung synthetischer Daten in großem Maßstab zu einer Überregulierung beiträgt, wie diese Woche in einem Artikel im Nature-Magazin nahegelegt wird.