IBM testet südostasiatisches LLM und erleichtert Lokalisierungsbemühungen
Durch die Partnerschaft von Big Blue mit AI Singapore wird das große Sprachmodell SEA-LION getestet und auf den KI-Plattformen von IBM verfügbar gemacht.
IBM hat eine Vereinbarung mit AI Singapore (AISG) unterzeichnet, um dessen südostasiatisches Großsprachenmodell (LLM) zu testen und es Entwicklern zur Verfügung zu stellen, um maßgeschneiderte Anwendungen für künstliche Intelligenz (KI) zu erstellen.
Im Rahmen der Partnerschaft wird IBM das SEA-LION-Modell (Southeast Asian Languages in One Network) mithilfe der KI-Technologie und Datenplattform Watsonx von Big Blue testen und mit AISG an der Feinabstimmung des LLM arbeiten. Ziel sei es, Unternehmen bei der Auswahl geeigneter KI-Modelle für ihre Geschäftsanforderungen zu unterstützen, erklärten IBM und AISG am Dienstag in einer gemeinsamen Erklärung.
IBM wird SEA-LION auch in seiner KI-Anwendungsfallbibliothek mit dem Namen Digital Self-Serve Co-Create Experience (DSCE) verfügbar machen und es Entwicklern und Datenwissenschaftlern ermöglichen, lokalisierte generative KI-Anwendungen (GenAI) zu erstellen.
Laut AISG ist SEA-LION ein von AISG entwickeltes Open-Source-LLM, das kleiner, flexibler und schneller als andere LLMs ist. Die aktuelle Iteration basiert auf zwei Basismodellen: einem 3-Milliarden-Parameter-Modell und einem 7-Milliarden-Parameter-Modell. Die Trainingsdaten des LLM bestehen aus 981 Milliarden Sprach-Tokens, die AISG als Wortfragmente definiert, die durch die Zerlegung von Text während des Tokenisierungsprozesses entstehen. Zu diesen Fragmenten gehören 623 Milliarden englische Token, 128 Milliarden südostasiatische Token und 91 Milliarden chinesische Token.
Mit SEA-LION möchte Singapur die Entwicklung von LLMs vorantreiben, die die gesellschaftliche Mischung Südostasiens besser widerspiegeln und ein stärkeres kontextbezogenes Verständnis der Kulturen und Sprachen der Region aufweisen.
Laut Leslie Teo, Senior Director für KI-Produkte bei AISG, zielt die Partnerschaft darauf ab, ein „maßgeschneidertes Gründungsmodell“ für Südostasien voranzutreiben, das von Südostasiaten hergestellt wird. Die beiden Organisationen werden auch versuchen, Anwendungsfälle zu entwickeln, die Einführung von SEA-LION voranzutreiben und Organisationen dabei zu helfen, „KI sicher und verantwortungsvoll zu skalieren“, sagte Teo.
Die Zusammenarbeit umfasst Bemühungen, die KI-Governance in SEA-LION zu integrieren, damit Unternehmen Compliance, Risikomanagement und Modelllebenszyklusmanagement besser steuern können, auch wenn sich die staatlichen Vorschriften zu KI ständig weiterentwickeln.
„[IBM] glaubt, dass weitere Fortschritte bei GenAI zu einer höheren Leistung kleinerer Sprachmodelle führen werden, wobei Benutzern die Möglichkeit gegeben wird, Modelle basierend auf ihren Geschäfts- und Branchenanforderungen zu personalisieren“, sagte Catherine Lian, General Managerin und Technologieleiterin von IBM Asean, in einer Erklärung .
„Für Unternehmen gibt es kein einheitliches Modell, und Organisationen müssen die Möglichkeit haben, ihre Modelle je nach Bedarf zu nutzen“, sagte Lian. „[Das] SEA-LION LLM ist ein großer Schritt vorwärts bei der Schaffung eines offenen KI-Systems und der Bewältigung der Asean-Sprachherausforderungen, mit denen Unternehmen und Regierungen bei der Arbeit mit KI konfrontiert sind.“
Im März kündigte AISG außerdem eine Partnerschaft mit Google an, um Datensätze zu verbessern, die zum Trainieren, Feinabstimmen und Bewerten von KI-Modellen in für Südostasien spezifischen Sprachen verwendet werden. Die Initiative mit dem Namen „Project Southeast Asian Languages in One Network Data“ zielt darauf ab, „das Bewusstsein für den kulturellen Kontext“ in LLMs zu verbessern, die für die Region entwickelt wurden.
Zunächst wird sich das Projekt auf Indonesisch, Thailändisch, Tamilisch, Philippinisch und Burmesisch konzentrieren - Sprachen, für die AISG und Google Translokalisierungs- und Übersetzungsmodelle entwickeln werden. Sie werden außerdem Tools entwickeln, die bei der Skalierung von Translokalisierungsfunktionen helfen, Best Practices für die Optimierung von Datensätzen austauschen und Vorschulungsleitfäden für südostasiatische Sprachen veröffentlichen.