Das kleine LLaMA-Modell von Meta bringt große Vorteile für KI-Forscher mit sich
Die Muttergesellschaft von Facebook hat LLaMA veröffentlicht, ein relativ kleines, aber leistungsstarkes Modell, das Forschern dabei helfen soll, die potenziell schädlichen und manchmal verrückten Fallstricke der KI zu bewältigen.
Große Sprachmodelle haben die Technologiewelt im Sturm erobert. Sie unterstützen KI-Tools - wie zum Beispiel ChatGPT und andere Konversationsmodelle - die Probleme lösen, Fragen beantworten, Vorhersagen treffen und mehr können. Allerdings birgt die Verwendung dieser Tools ein erhebliches Risiko. Es ist bekannt, dass sie plausibel klingende, aber unwahre Erklärungen abgeben, giftige Inhalte generieren und die in KI-Trainingsdaten verankerte Voreingenommenheit nachahmen.
Um Forschern bei der Bewältigung dieser Probleme zu helfen, kündigte Meta am Freitag die Veröffentlichung eines neuen großen Sprachmodells namens LLaMA (Large Language Model Meta AI) an. Das Unternehmen stellt es unter einer nichtkommerziellen Lizenz zur Verfügung, die sich auf Forschungsanwendungsfälle konzentriert, und plant, den Zugriff von Fall zu Fall zu gewähren. Es steht akademischen Forschern zur Verfügung; diejenigen, die mit Organisationen in Regierung, Zivilgesellschaft und Wissenschaft verbunden sind; und Industrieforschungslabore auf der ganzen Welt.
Das Interessante an LLaMA ist, dass es relativ wenig davon gibt.
Wie der Name schon sagt, sind große Sprachmodelle ziemlich groß. Um ein KI-Modell zu erstellen, das ausgereift genug ist, um Probleme in dieser Sprache zu lösen, Antworten zu finden oder eigene Kompositionen zu generieren, sind riesige Mengen an Sprachdaten erforderlich (sei es gesprochene Sprache, Computercode, genetische Daten oder andere „Sprachen“).
„Das Training kleinerer Basismodelle wie LLaMA ist im Bereich großer Sprachmodelle wünschenswert, da es weit weniger Rechenleistung und Ressourcen erfordert, um neue Ansätze zu testen, die Arbeit anderer zu validieren und neue Anwendungsfälle zu erkunden“, bemerkte Meta.
Um ein relativ „kleines“ LLM zu trainieren, verwendete Meta „Tokens“ - Wortteile anstelle ganzer Wörter. Meta trainierte LLaMA mit Texten aus den 20 Sprachen mit den meisten Sprechern und konzentrierte sich dabei auf Sprachen mit lateinischen und kyrillischen Alphabeten.
LLaMA ist eigentlich eine Sammlung von Modellen mit 7 bis 65 Milliarden Parametern. LLaMA 65B und LLaMA 33B wurden mit 1,4 Billionen Token trainiert, während das kleinste Modell, LLaMA 7B, mit einer Billion Token trainiert wurde. Die Modelle wurden ausschließlich mit öffentlich verfügbaren Datensätzen trainiert.
Obwohl sie klein sind, sind die LLaMA-Modelle leistungsstark. Laut Meta übertrifft LLaMA-13B GPT-3 (175B) bei den meisten Benchmarks, während LLaMA-65B mit den besten Modellen Chinchilla70B und PaLM-540B konkurrenzfähig ist.
LLaMA ist auch als eine Reihe von Grundlagenmodellen für die Forschungsgemeinschaft wertvoll. Foundation-Modelle werden auf unbeschrifteten Daten trainiert, was bedeutet, dass sie für eine Vielzahl von Anwendungsfällen maßgeschneidert werden können.
Meta wird LLaMA in verschiedenen Größen verfügbar machen (7B-, 13B-, 33B- und 65B-Parameter) und stellt außerdem eine LLAMA-Modellkarte zur Verfügung, die detailliert beschreibt, wie das Modell erstellt wurde. Das Unternehmen stellt außerdem eine Reihe von Bewertungen zu Benchmarks zur Bewertung von Modellverzerrungen und Toxizität bereit, damit Forscher die Grenzen von LLaMA verstehen und die Forschung in diesen Bereichen vorantreiben können.