Googles KI-Modell VLOGGER kann aus Bildern Video-Avatare generieren - was könnte da schiefgehen?
Diese KI-Technologie könnte zu verlässlicheren Helpdesk-Agenten oder einer neuen Welle überzeugender Deepfakes führen.
VLOGGER kann ein einzelnes Foto von jemandem aufnehmen und daraus Clips in High-Fidelity und unterschiedlicher Länge mit präzisen Gesichtsausdrücken und Körperbewegungen bis hin zum Blinzeln erstellen, was frühere Arten von „Talking Head“-Software übertrifft.
Die Community der künstlichen Intelligenz (KI) ist so gut darin geworden, gefälschte bewegte Bilder zu produzieren - werfen Sie einen Blick auf Sora von OpenAI, das letzten Monat mit seinen raffinierten imaginären Durchflügen vorgestellt wurde -, dass man sich eine intellektuelle und praktische Frage stellen muss: Was sollen wir mit all diesen Videos etwas anfangen?
Diese Woche antworteten Google-Wissenschaftler Enric Corona und seine Kollegen: Kontrollieren Sie sie mit unserem VLOGGER-Tool. VLOGGER kann auf der Grundlage eines einzelnen Fotos ein hochauflösendes Video von sprechenden Personen erstellen. Noch wichtiger ist, dass VLOGGER das Video anhand einer Sprachprobe animieren kann, was bedeutet, dass die Technologie die Videos als kontrolliertes Abbild einer Person animieren kann - eines „Avatars“ mit hoher Wiedergabetreue.
Dieses Tool könnte alle Arten von Kreationen ermöglichen. Auf der einfachsten Ebene schlägt Coronas Team vor, dass VLOGGER einen großen Einfluss auf Helpdesk-Avatare haben könnte, da realistischer aussehende, synthetisch sprechende Menschen „Empathie entwickeln“ können. Sie schlagen vor, dass die Technologie „völlig neue Anwendungsfälle ermöglichen könnte, wie etwa verbesserte Online-Kommunikation, Bildung oder personalisierte virtuelle Assistenten“.
VLOGGER könnte möglicherweise auch zu einer neuen Grenze bei Deepfakes führen, d. h. real wirkenden Abbildern, die Dinge sagen und tun, die die tatsächliche Person nie tatsächlich getan hat. Das Corona-Team beabsichtigt, die gesellschaftlichen Auswirkungen von VLOGGER in ergänzenden unterstützenden Materialien zu berücksichtigen. Dieses Material ist jedoch nicht auf der GitHub-Seite des Projekts verfügbar. ZDNET wandte sich an Corona, um nach den unterstützenden Materialien zu fragen, hatte jedoch zum Zeitpunkt der Veröffentlichung keine Antwort erhalten.
Wie im formellen Papier „VLOGGER: Multimodal Diffusion for Embodied Avatar Synthesis“ beschrieben, zielt Coronas Team darauf ab, die Ungenauigkeiten des Stands der Technik bei Avataren zu überwinden. „Die Erstellung realistischer Videos von Menschen ist immer noch komplex und voller Artefakte“, schrieb Coronas Team.
Das Team stellte fest, dass vorhandene Video-Avatare häufig den Körper und die Hände ausschneiden und nur das Gesicht zeigen. VLOGGER kann ganze Oberkörper zusammen mit Handbewegungen anzeigen. Andere Tools verfügen normalerweise nur über begrenzte Variationen von Gesichtsausdrücken oder Posen und bieten nur eine rudimentäre Lippensynchronisierung. VLOGGER kann „hochauflösende Videos von Kopf- und Oberkörperbewegungen […] mit erheblich unterschiedlichen Gesichtsausdrücken und Gesten“ erzeugen und ist „der erste Ansatz, um sprechende und sich bewegende Menschen anhand von Spracheingaben zu erzeugen.“
Wie das Forschungsteam erklärte, „sind es genau Automatisierung und Verhaltensrealismus, die wir in dieser Arbeit anstreben: VLOGGER ist eine multimodale Schnittstelle zu einem verkörperten Gesprächsagenten, ausgestattet mit einer Audio- und animierten visuellen Darstellung, die komplexe Funktionen bietet.“ Gesichtsausdrücke und zunehmende Körperbewegungen, die darauf ausgelegt sind, natürliche Gespräche mit einem menschlichen Benutzer zu unterstützen.“
Basierend auf einem einzelnen Foto (links) sagt die VLOGGER-Software mithilfe eines als „Diffusion“ bekannten Prozesses die Videobilder (rechts) voraus, die jeden Moment einer Tondatei einer sprechenden Person begleiten sollten, und generiert diese Videobilder dann in hoher Auflösung -Definitionsqualität.
VLOGGER vereint einige aktuelle Trends im Deep Learning.
Multimodalität vereint die vielen Modi, die KI-Tools aufnehmen und synthetisieren können, darunter Text und Audio sowie Bilder und Videos.
Große Sprachmodelle wie GPT-4 von OpenAI ermöglichen die Verwendung natürlicher Sprache als Eingabe für Aktionen verschiedener Art, sei es die Erstellung von Textabschnitten, einem Lied oder einem Bild.
Forscher haben in den letzten Jahren auch zahlreiche Möglichkeiten gefunden, durch die Verfeinerung der „Diffusion“ lebensechte Bilder und Videos zu erstellen. Der Begriff stammt aus der Molekularphysik und bezieht sich darauf, wie Materieteilchen mit steigender Temperatur von einer hohen Konzentration in einem Bereich zu einer zunehmenden Ausbreitung übergehen. Analog dazu können Teile digitaler Informationen als „diffus“ angesehen werden, je inkohärenter sie mit digitalem Rauschen werden.
Die KI-Diffusion führt Rauschen in ein Bild ein und rekonstruiert das Originalbild, um ein neuronales Netzwerk zu trainieren, die Regeln zu finden, nach denen es erstellt wurde. Diffusion ist die Wurzel des beeindruckenden Bilderzeugungsprozesses in Stability AIs Stable Diffusion und OpenAIs DALL-E. Auf diese Weise erstellt OpenAI auch raffinierte Videos in Sora.
Für VLOGGER trainierte Coronas Team ein neuronales Netzwerk, um den Ton eines Sprechers mit einzelnen Videobildern dieses Sprechers zu verknüpfen. Das Team kombinierte einen Diffusionsprozess zur Rekonstruktion des Videobilds aus dem Audio mit einer weiteren neuen Innovation, dem Transformer.
Der Transformer verwendet die Aufmerksamkeitsmethode, um Videobilder basierend auf in der Vergangenheit aufgetretenen Bildern in Verbindung mit dem Audio vorherzusagen. Durch die Vorhersage von Aktionen lernt das neuronale Netzwerk, präzise Hand- und Körperbewegungen sowie Gesichtsausdrücke Bild für Bild synchron mit dem Ton wiederzugeben.
Der letzte Schritt besteht darin, die Vorhersagen dieses ersten neuronalen Netzwerks zu nutzen, um anschließend die Generierung hochauflösender Videobilder mithilfe eines zweiten neuronalen Netzwerks voranzutreiben, das ebenfalls Diffusion nutzt. Auch dieser zweite Schritt stellt einen Datenhöchststand dar.
Um die hochauflösenden Bilder zu erstellen, hat Coronas Team MENTOR zusammengestellt, einen Datensatz mit 800.000 „Identitäten“ von Videos sprechender Menschen. MENTOR besteht aus 2.200 Stunden Videomaterial, was nach Angaben des Teams „der größte bisher verwendete Datensatz in Bezug auf Identitäten und Länge“ ist und zehnmal größer ist als frühere vergleichbare Datensätze.
Die Autoren stellen fest, dass sie diesen Prozess durch einen Folgeschritt namens „Feinabstimmung“ verbessern können. Durch die Übermittlung eines Videos in voller Länge an VLOGGER, nachdem es bereits auf MENTOR „vorab trainiert“ wurde, können sie die Eigenheiten der Kopfbewegung einer Person, wie z. B. das Blinzeln, realistischer erfassen: „Durch die Feinabstimmung unseres Diffusionsmodells mit mehr Daten.“ „Auf einem monokularen Video eines Motivs kann VLOGGER lernen, die Identität besser zu erfassen, z. B. wenn das Referenzbild die Augen als geschlossen anzeigt“, ein Prozess, den das Team als „Personalisierung“ bezeichnet.
Das neuronale Netz von VLOGGER ist eine Kombination aus zwei verschiedenen neuronalen Netzen. Die erste Methode nutzt „maskierte Aufmerksamkeit“ über einen Transformer, um basierend auf dem Ton des aufgezeichneten Audiosignals des Sprechers vorherzusagen, welche Posen in einem Videobild auftreten sollen. Das zweite neuronale Netz nutzt Diffusion, um anhand der Hinweise auf Körperbewegung und Ausdruck aus dem ersten neuronalen Netz eine konsistente Folge von Videobildern zu erzeugen.
Der größere Sinn dieses Ansatzes - die Verknüpfung von Vorhersagen in einem neuronalen Netzwerk mit hochauflösenden Bildern und was VLOGGER so provokativ macht - besteht darin, dass das Programm nicht nur ein Video generiert, wie es Sora tut. VLOGGER verknüpft dieses Video mit Aktionen und Ausdrücken, die gesteuert werden können. Seine lebensechten Videos können während ihrer Entfaltung wie Puppen manipuliert werden.
„Unser Ziel ist es, die Lücke zwischen den jüngsten Videosynthesebemühungen zu schließen“, schrieb Coronas Team, „die dynamische Videos ohne Kontrolle über Identität oder Pose erzeugen können, und kontrollierbaren Bilderzeugungsmethoden.“
VLOGGER kann nicht nur ein sprachgesteuerter Avatar sein, sondern auch zu Bearbeitungsfunktionen führen, beispielsweise zum Ändern des Mundes oder der Augen einer sprechenden Person. Beispielsweise könnte eine virtuelle Person, die in einem Video viel blinzelt, so verändert werden, dass sie nur wenig oder gar nicht blinzelt. Eine weitläufige Sprechweise könnte auf eine diskretere Bewegung der Lippen beschränkt werden.
Nachdem VLOGGER eine Möglichkeit gefunden hat, hochauflösendes Video über Sprachhinweise zu steuern, eröffnet es den Weg für Manipulationen, wie z. B. die Änderung der Lippenbewegungen des Sprechers in jedem Abschnitt des Videos, um sie vom ursprünglichen Quellvideo abzuweichen.
Nachdem das Corona-Team einen neuen Stand der Technik bei der Simulation von Menschen erreicht hat, geht es nicht um die Frage, was die Welt von einem Missbrauch der Technologie zu erwarten hat. Es ist leicht, sich das Bild einer politischen Persönlichkeit vorzustellen, die etwas absolut Katastrophales sagt, beispielsweise über einen bevorstehenden Atomkrieg.
Vermutlich werden die nächste Stufe in diesem Avatar-Spiel neuronale Netze sein, die, wie der „Voight-Kampff-Test“ im Film Blade Runner, der Gesellschaft dabei helfen können, zu erkennen, welche Sprecher echt sind und welche nur Deepfakes mit bemerkenswert lebensechten Manieren.