"The Beatles: Get Back" zeigt, dass Deepfake-Technologie nicht immer böse ist

Die Deepfake-Technologie ist eine neue Möglichkeit, die Filmgeschichte zu bewahren. Darf ich Ihnen vorstellen: Sgt. Pepper's Machine Learning Band?

Obwohl es mir selten passiert, beobachte ich gelegentlich etwas, das einen tatsächlichen Wendepunkt für den technologischen Fortschritt darstellt und anerkennen kann, dass die Möglichkeit des Guten durch die Nutzung dieser Technologien das Potenzial für das Böse überwiegen könnte.

Für mich war so ein Moment, als ich The Beatles: Get Back sah, das jetzt auf Disney+ ausgestrahlt wird. Ich hatte davon gehört und gesehen, wie einige der Aufnahmen etwa ein Jahr lang langsam veröffentlicht wurden, aber ich hatte keine Ahnung, wie viel Technologie in die Produktion gesteckt worden war.

Ich habe viele Filme gesehen, die mit historischem Filmmaterial aus den 1960er Jahren und sogar aus den 1970er und 1980er Jahren gedreht wurden, und so viel von dem Ausgangsmaterial ist in schlechtem Zustand. In vielen Fällen wird das Filmmaterial, selbst wenn es in makellosem Zustand ist und nur minimale Restaurierung erfordert, gedämpfte Farben aufweisen. Der Ton aus dieser Zeit kann zischend sein und klingt oft, als wäre er mit weniger als professionellen Aufnahmegeräten produziert worden. Selbst bei Live-Auftritten wie Woodstock ist das Archivmaterial aufgrund der Art dessen, was für die Aufnahme verwendet wurde, wie z. B. 16-mm-Film - ein wirtschaftliches Format, das bei Enthusiasten der damaligen Zeit beliebt war und nicht gut altert. 

In diesen Fällen, wenn Sie sich solche Inhalte ansehen, hat der Betrachter das Gefühl, etwas zu sehen, das in Wirklichkeit archiviert ist. Es gibt eine Distanz, dass man die Geschichte betrachtet, dass es sich anfühlt wie die Vergangenheit, dass etwas Jahrzehnte zuvor passiert ist. Es fühlt sich nicht echt oder aktuell an.

Bevor ich die ersten Stunden von "Get Back" gesehen habe, fühlte ich mich nur einmal bei einem Film in die Vergangenheit zurückversetzt und habe die Ereignisse so gesehen, wie sie gestern passiert sind oder aufgezeichnet wurden. Der von Todd Douglas Miller produzierte Dokumentarfilm Apollo 11, der 2019 veröffentlicht wurde, verwendete makellose 70-mm-Kopien der NASA und des Nationalarchivs, die dann digital gescannt wurden, wobei über 11.000 Stunden an Aufnahmen für die Produktion des Films verwendet wurden.

Aber was es bei Get Back noch bedeutender macht, ist der Zustand des Ausgangsmaterials, der 60 Stunden 16-mm-Film und 150+ Stunden NAGRA-Audio, die 1969 an 21 Tagen in den Twickenham Studios in England entstanden sind. Im Gegensatz zu dem, was für Apollo 11 verwendet wurde, war es nicht in makellosem Zustand - es war verwaschen und körnig, und der Ton war schlecht oder stumm. Also holte Disney Peter Jackson, den Regisseur der "Herr der Ringe"- und "Der Hobbit"-Filme, ins Boot, um das Video und den Ton zu restaurieren. 

Was dann geschah, ist ziemlich erstaunlich. Jackson ließ den körnigen, entsättigten Film durch einen Computeralgorithmus führen. Plötzlich hatte das resultierende Video helle, lebendige Farben mit scharfen Bildern, die aussahen, als wäre es gestern und nicht 1969 gefilmt worden. Aber noch beeindruckender als die Filmrestaurierung, die an und für sich schon ein technischer Triumph ist, ist das, was sie mit dem Ton gemacht haben. Per Jackson in seinem Variety-Interview:

"Für mich ist die Klangrestaurierung das Spannendste. Wir haben einige große Durchbrüche im Audiobereich erzielt. Wir haben ein maschinelles Lernsystem entwickelt, mit dem wir gelernt haben, wie eine Gitarre klingt, wie ein Bass klingt, wie eine Stimme klingt. Tatsächlich haben wir dem Computer beigebracht, wie John und wie Paul klingt. Wir können also diese Mono-Spuren nehmen und alle Instrumente aufteilen, wir können nur den Gesang und die Gitarren hören. Du siehst Ringo im Hintergrund die Trommeln hämmern, aber du hörst die Trommeln überhaupt nicht. Das ermöglicht es uns, es wirklich sauber zu remixen."

Die hier verwendete Technologie des maschinellen Lernens ist der in der Vergangenheit für Deepfakes verwendeten Technologie sehr ähnlich (wenn nicht sogar identisch), wodurch gefälschte Videos echt aussehen und klingen. Ein Paradebeispiel dafür ist das mit dem Emmy Award ausgezeichnete Demonstrationsvideo "In Event of Moon Disaster", das vom Center for Advanced Virtuality des MIT produziert wurde und zeigt, wie der damalige Präsident Nixon eine vorbereitete Erklärung verliest, dass die Astronauten von Apollo 11 bei einer Katastrophe ums Leben gekommen seien. Um ihn zu erstellen, verwendete das MIT Nixons Konterfei und Sprache von Fernsehauftritten und speiste sie in ein maschinelles Lernsystem ein, um Audio und Video zu synthetisieren und den unheimlichen Film zu produzieren.

Die Demonstration ist eine Warnung davor, dass diese Technologien für schändliche Zwecke genutzt werden können. Aktuell gibt es Bestrebungen, wie z.B. mit der Coalition for Content Provenance and Authenticity (C2PA), Standards für die Bereitstellung von Kontext und Historie für digitale Medien zu schaffen, um den Nachweis zu erbringen, dass die Authentizität eines bestimmten Bildes oder Video-/Audiostreams in Zukunft etabliert werden kann, da zu erwarten ist, dass diese Technologien in Zukunft deutlich stärker genutzt werden.

Kann diese Deepfake-Technologie also für das Böse verwendet werden? Ja. Aber wenn Get Back irgendetwas beweist, dann zeigt es, dass es auch für eine "tiefgreifende Wiederherstellung" verwendet werden kann. Eine große Menge an Vintage-Inhalten kann auf diese Weise repariert werden, seien es Originalfilme oder Archivmaterial, das sie wieder brandneu aussehen lässt - oder die frischesten, die sie je auf modernen Content-Delivery-Plattformen gesehen und gezeigt haben. 

Kann maschinelles Lernen bei Archivquellmaterialien durch Deep Restoration anstelle von Deep Fakery positiv eingesetzt werden? Sprechen Sie zurück und lassen Sie es mich wissen.