Das neue KI-Modell von Apple könnte Ihren Startbildschirm verstehen und Siri aufladen
Lernen Sie Ferret-UI kennen, ein multimodales großes Sprachmodell, das in der Lage ist, die Elemente auf Ihrem Startbildschirm zu verstehen und Siri möglicherweise dabei zu helfen, tatsächlich Aufgaben für Sie auszuführen.
Obwohl Apple seit Beginn der generativen KI-Begeisterung keine KI-Modelle auf den Markt gebracht hat, arbeitet es an einigen KI-Projekten. Erst letzte Woche haben Apple-Forscher ein Papier veröffentlicht, in dem sie ein neues Sprachmodell vorstellen, an dem das Unternehmen arbeitet, und Insider-Quellen berichteten, dass Apple zwei Roboter mit KI-Antrieb in Arbeit hat. Nun zeigt die Veröffentlichung eines weiteren Forschungsberichts, dass Apple gerade erst am Anfang steht.
Am Montag veröffentlichten Apple-Forscher ein Forschungspapier, das Ferret-UI vorstellt, ein neues multimodales Large Language Model (MLLM), das in der Lage ist, Bildschirme mobiler Benutzeroberflächen (UI) zu verstehen.
MLLMs unterscheiden sich von Standard-LLMs dadurch, dass sie über Text hinausgehen und ein tiefes Verständnis multimodaler Elemente wie Bilder und Audio zeigen. In diesem Fall wird Ferret-UI darauf trainiert, die verschiedenen Elemente des Startbildschirms eines Benutzers zu erkennen, beispielsweise App-Symbole und kleinen Text.
Die Identifizierung von App-Bildschirmelementen war in der Vergangenheit für MLLMs aufgrund ihrer geringen Größe eine Herausforderung. Um dieses Problem zu lösen, fügten die Forscher dem Papier zufolge zusätzlich zu Ferret eine „beliebige Auflösung“ hinzu, die es ihm ermöglicht, die Details auf dem Bildschirm zu vergrößern.
Darauf aufbauend verfügt Apples MLLM auch über „Referring-, Grounding- und Reasoning-Fähigkeiten“, die es Ferret-UI ermöglichen, UI-Bildschirme vollständig zu verstehen und Aufgaben auszuführen, wenn sie auf der Grundlage des Inhalts des Bildschirms angewiesen werden, wie im Dokument zu sehen ist Foto unten.
Um die Leistung des Modells im Vergleich zu anderen MLLMs zu messen, verglichen Apple-Forscher Ferret-UI mit GPT-4V, dem MLLM von OpenAI, in öffentlichen Benchmarks, elementaren Aufgaben und fortgeschrittenen Aufgaben.
Ferret-UI übertraf GPT-4V bei fast allen Aufgaben in der Grundkategorie, einschließlich Symbolerkennung, OCR, Widget-Klassifizierung, Symbolsuche und Widget-Suchaufgaben auf iPhone und Android. Die einzige Ausnahme war die Aufgabe „Text suchen“ auf dem iPhone, bei der GPT-4V die Ferret-Modelle leicht übertraf, wie in der Tabelle unten zu sehen ist.
Wenn es darum geht, Gespräche auf den Ergebnissen der Benutzeroberfläche zu gründen, hat GPT-4V einen leichten Vorteil und übertrifft Ferret um 93,4 % bis 91,7 %. Die Forscher stellen jedoch fest, dass die Leistung der Ferret-Benutzeroberfläche immer noch „bemerkenswert“ ist, da sie Rohkoordinaten generiert und nicht den Satz vordefinierter Felder, aus denen GPT-4V auswählt. Ein Beispiel finden Sie unten.
Das Papier geht nicht darauf ein, wofür Apple die Technologie nutzen will oder ob dies überhaupt der Fall sein wird. Stattdessen geben die Forscher allgemeiner an, dass die erweiterten Fähigkeiten von Ferret-UI das Potenzial haben, sich positiv auf UI-bezogene Anwendungen auszuwirken.
„Das Aufkommen dieser erweiterten Fähigkeiten verspricht erhebliche Fortschritte für eine Vielzahl nachgelagerter UI-Anwendungen und verstärkt dadurch die potenziellen Vorteile, die Ferret-UI in diesem Bereich bietet“, schreiben die Forscher.
Die Möglichkeiten, wie Ferret-UI Siri verbessern kann, liegen auf der Hand. Aufgrund des umfassenden Verständnisses des Modells für den App-Bildschirm eines Benutzers und des Wissens darüber, wie bestimmte Aufgaben ausgeführt werden, könnte Ferret-UI verwendet werden, um Siri dazu zu bringen, Aufgaben für Sie auszuführen.
Es besteht durchaus Interesse an einem Assistenten, der mehr kann, als nur auf Anfragen zu antworten. Neue KI-Gadgets wie der Rabbit R1 erfreuen sich großer Beliebtheit, weil sie eine ganze Aufgabe, wie zum Beispiel die Buchung eines Fluges oder die Bestellung einer Mahlzeit, für Sie erledigen können, ohne dass Sie sie Schritt für Schritt anleiten müssen.