Wer ist am stärksten haftbar, wenn Ihr KI-generierter Code fehlerhaft wird?
Microsofts Kosmos-1 kann Bild- und Audioansagen entgegennehmen und ebnet damit den Weg für die nächste Stufe über die Textansagen von ChatGPT hinaus.
Microsoft hat Kosmos-1 vorgestellt, das es als multimodales großes Sprachmodell (MLLM) beschreibt, das nicht nur auf Sprachaufforderungen, sondern auch auf visuelle Hinweise reagieren kann, das für eine Reihe von Aufgaben verwendet werden kann, darunter Bildunterschriften, visuelle Beantwortung von Fragen, und mehr.
ChatGPT von OpenAI hat dazu beigetragen, das Konzept von LLMs bekannt zu machen, beispielsweise das GPT-Modell (Generative Pre-trained Transformer) und die Möglichkeit, eine Texteingabe oder -eingabe in eine Ausgabe umzuwandeln.
Während die Menschen von diesen Chat-Funktionen beeindruckt sind, haben LLMs immer noch Probleme mit multimodalen Eingaben wie Bild- und Audio-Eingabeaufforderungen, argumentieren die KI-Forscher von Microsoft in einem Artikel mit dem Titel „Language Is Not All You Need: Aligning Perception with Language Models“. Das Papier legt nahe, dass multimodale Wahrnehmung oder Wissenserwerb und „Erdung“ in der realen Welt erforderlich sind, um über ChatGPT-ähnliche Fähigkeiten hinaus hin zu künstlicher allgemeiner Intelligenz (AGI) zu gelangen.
„Noch wichtiger ist, dass die Erschließung multimodaler Eingaben die Anwendungsmöglichkeiten von Sprachmodellen auf höherwertige Bereiche wie multimodales maschinelles Lernen, Dokumentenintelligenz und Robotik erheblich erweitert“, heißt es in dem Papier.
Das zu Alphabet gehörende Robotikunternehmen Everyday Robots und das Brain Team von Google haben letztes Jahr die Rolle der Erdung demonstriert, als sie mithilfe von LLMs Roboter dazu brachten, menschlichen Beschreibungen physischer Aufgaben zu folgen. Der Ansatz bestand darin, das Sprachmodell auf Aufgaben zu stützen, die in einem bestimmten realen Kontext möglich sind. Microsoft nutzte die Grundlagen auch in seinem Prometheus-KI-Modell, um die GPT-Modelle von OpenAI mit realem Feedback aus dem Bing-Suchranking und den Suchergebnissen zu integrieren.
Laut Microsoft kann sein Kosmos-1 MLLM allgemeine Modalitäten erkennen, Anweisungen befolgen (Zero-Shot-Lernen) und im Kontext lernen (Few-Shot-Lernen). „Ziel ist es, die Wahrnehmung mit LLMs in Einklang zu bringen, sodass die Modelle sehen und sprechen können“, heißt es in dem Papier.
Zu den Demonstrationen der Ausgaben von Kosmos-1 an Eingabeaufforderungen gehört das Bild eines Kätzchens mit einer Person, die ein Papier mit einem gezeichneten Lächeln über dem Mund hält. Die Aufforderung lautet: „Erklären Sie, warum dieses Foto lustig ist?“ Die Antwort von Kosmos-1 lautet: „Die Katze trägt eine Maske, die der Katze ein Lächeln schenkt.“
Andere Beispiele zeigen es: Auf einem Bild zu erkennen, dass ein Tennisspieler einen Pferdeschwanz hat; Ablesen der Uhrzeit auf einem Bild eines Zifferblatts um 10:10 Uhr; Berechnen der Summe aus einem Bild von 4 + 5; antwortet: „Was ist TorchScale?“ (eine PyTorch-Bibliothek für maschinelles Lernen), basierend auf einer GitHub-Beschreibungsseite; und Ablesen der Herzfrequenz von einem Apple Watch-Zifferblatt.
Jedes der Beispiele zeigt das Potenzial von MLLMs wie Kosmos-1, eine Aufgabe in mehreren Situationen zu automatisieren, von der Anweisung an einen Windows 10-Benutzer, wie er seinen Computer neu starten soll (oder einer anderen Aufgabe mit einer visuellen Aufforderung), bis hin zum Lesen einer zu startenden Webseite B. eine Websuche, die Interpretation von Gesundheitsdaten eines Geräts, das Versehen von Bildern usw. Das Modell verfügt jedoch nicht über Videoanalysefunktionen.
Die Forscher testeten auch die Leistung von Kosmos-1 im Zero-Shot-Raven-IQ-Test. Die Ergebnisse zeigten eine „große Leistungslücke zwischen dem aktuellen Modell und dem durchschnittlichen Niveau von Erwachsenen“, stellten aber auch fest, dass seine Genauigkeit das Potenzial für MLLMs zeigte, „abstrakte konzeptionelle Muster in einem nonverbalen Kontext wahrzunehmen“, indem sie die Wahrnehmung an Sprachmodellen ausrichteten.
Die Forschung zum Thema „Beantwortung von Fragen auf Webseiten“ ist angesichts des Plans von Microsoft, Transformer-basierte Sprachmodelle zu verwenden, um Bing zu einem besseren Konkurrenten für die Google-Suche zu machen, interessant.
„Bei der Beantwortung von Fragen auf Webseiten geht es darum, Antworten auf Fragen von Webseiten zu finden. Dafür muss das Modell sowohl die Semantik als auch die Struktur von Texten verstehen. Die Struktur der Webseite (z. B. Tabellen, Listen und HTML-Layout) spielt eine Schlüsselrolle.“ „Die Aufgabe kann uns dabei helfen, die Fähigkeit unseres Modells zu bewerten, die Semantik und die Struktur von Webseiten zu verstehen“, erklären die Forscher.
