Das neueste KI-Modell von Meta wird Inhalte in Hunderten von Sprachen verfügbar machen
Der Social-Media-Riese stellt ein neues KI-Modell namens No Language Left Behind als Open Source zur Verfügung, das in 200 Sprachen, darunter 55 afrikanische Sprachen, übersetzen kann.
Meta hat ein KI-Modell als Open Source veröffentlicht, das in 200 verschiedene Sprachen übersetzen kann, teilte das Unternehmen am Mittwoch mit - ein Schritt, der verschiedene Technologien und digitale Inhalte einem viel breiteren Publikum zugänglich machen soll. Das Modell mit dem Namen "No Language Left Behind" kann in 200 Sprachen, darunter 55 afrikanische Sprachen, übersetzen und liefert qualitativ hochwertige Ergebnisse.
"Eine Handvoll Sprachen - darunter Englisch, Mandarin, Spanisch und Arabisch - dominieren das Web", so das Unternehmen in einem Blogbeitrag. "Muttersprachler dieser sehr weit verbreiteten Sprachen mögen es als selbstverständlich ansehen, wie bedeutungsvoll es ist, etwas in der eigenen Muttersprache zu lesen. NLLB wird mehr Menschen helfen, Dinge in ihrer bevorzugten Sprache zu lesen, anstatt immer eine Zwischensprache zu benötigen, die oft die Stimmung oder den Inhalt falsch wiedergibt."
Meta nutzt NLLB natürlich, um seine eigenen Produkte zu verbessern, aber durch das Open Sourcing des Modells können Technologen es nutzen, um andere Tools zu entwickeln - wie einen KI-Assistenten, der in Sprachen wie Javanisch und Usbekisch gut funktioniert, oder Untertitel in Swahili oder Oromo für Bollywood-Filme.
SIEHE: Metaverse: Die Dynamik nimmt zu, aber die Unternehmen bleiben vorsichtig
NLLB verdoppelt fast die Anzahl der Sprachen, die von einem einzigen, hochmodernen KI-Modell abgedeckt werden. Meta sagt, dass viele dieser Sprachen, wie Kamba und Laotisch, von den bestehenden Übersetzungstools nicht gut oder gar nicht unterstützt wurden. Weniger als 25 afrikanische Sprachen werden derzeit von weit verbreiteten Übersetzungstools unterstützt.
Das Modell verbessert auch die Qualität der Übersetzungen um durchschnittlich 44 % im Vergleich zu früheren KI-Forschungen. Bei einigen afrikanischen und indischen Sprachen waren die Übersetzungen des NLLB-200 um mehr als 70 % genauer. Um die Qualität der Übersetzungen zu bestimmen, führte Meta sowohl automatisierte Metrikbewertungen als auch menschliche Bewertungen durch.
Um die Qualität der Übersetzungen zu gewährleisten, haben die Meta-Forscher FLORES-200 erstellt , einen Datensatz, mit dem sie die Leistung von NLLB in 40.000 verschiedenen Sprachrichtungen bewerten können.
Neben dem Open Source von NLLB-200-Modellen stellt Meta Entwicklern den FLORES-200-Datensatz sowie den Modelltrainingscode und den Code zur Neuerstellung des Trainingsdatensatzes zur Verfügung.
Darüber hinaus vergibt das Unternehmen Zuschüsse in Höhe von bis zu 200.000 US-Dollar für wirkungsvolle Anwendungen von NLLB-200 an Forscher und gemeinnützige Organisationen mit Initiativen, die sich auf Nachhaltigkeit, Ernährungssicherheit, geschlechtsspezifische Gewalt, Bildung oder andere Bereiche zur Unterstützung der UN-Ziele für nachhaltige Entwicklung konzentrieren.
Meta geht davon aus, dass das Modell für seine eigenen Produkte täglich mehr als 25 Milliarden Übersetzungen unterstützen wird. Neben der Übersetzung von Inhalten und der Bereitstellung besserer Anzeigen wird das Modell auch dazu verwendet, schädliche Inhalte und Fehlinformationen zu erkennen.
Die NLLB-Forschung von Meta wird auch auf Übersetzungssysteme angewendet, die von Wikipedia-Autoren verwendet werden. Meta hat sich mit der Wikimedia Foundation zusammengetan, der gemeinnützigen Organisation, die Wikipedia und andere Projekte für freies Wissen betreibt, um die Übersetzungssysteme in der Wikipedia zu verbessern. Es gibt Versionen von Wikipedia in mehr als 300 Sprachen, aber die meisten haben weit weniger Artikel als die mehr als sechs Millionen, die auf Englisch verfügbar sind.
Redakteure können die Technologie hinter NLLB-200 über das Content Translation Tool der Wikimedia Foundation nutzen, um Artikel in mehr als 20 ressourcenarme Sprachen zu übersetzen (solche, die keine umfangreichen Datensätze zum Trainieren von KI-Systemen haben).