Amazon, sag einfach nein: Der drohende Horror der KI-Sprachreplikation

Wenn eine KI wie Alexa wirklich in der Lage ist, weniger als eine Minute aufgezeichneter Stimme in Echtzeitsprache umzuwandeln, öffnet sie die Tür zu dystopischem Gaslighting auf einer ganz neuen Ebene. Es ist beängstigend, gruselig und verstörend.

Wollen wir wirklich die Macht der perfekten Simulation einer Stimme in die Hände von Stalkern und Tätern legen?

Letzte Woche veröffentlichten wir einen Nachrichtenartikel mit dem Titel "Amazons Alexa liest eine Geschichte mit der Stimme der verstorbenen Oma eines Kindes". Darin diskutierte Stephanie Condon von ZDNet eine Amazon-Präsentation auf der re:MARS-Konferenz (Amazons jährlicher Konferenz zu Themen wie maschinelles Lernen, Automatisierung, Robotik und Raumfahrt).

In der Präsentation zeigte Rohit Prasad, Senior Vice President Alexa AI bei Amazon, einen Clip eines kleinen Jungen, der ein Echo-Gerät fragte: "Alexa, kann Oma mir 'Der Zauberer von Oz' vorlesen?" Das Video zeigte dann, wie das Echo das Buch vorlas, wobei es die Stimme der toten Großmutter des Kindes war, wie Prasad sagte.

Harter Stopp. Haben sich dir gerade die Nackenhaare aufgetan? Denn das ist überhaupt nicht gruselig. Überhaupt nicht.

Prasad bezeichnete es jedoch als vorteilhaft und sagte: "Menschliche Eigenschaften wie Empathie und Affekt sind der Schlüssel zum Aufbau von Vertrauen. Sie sind in Zeiten der anhaltenden Pandemie, in denen so viele von uns einen geliebten Menschen verloren haben, noch wichtiger geworden. KI kann diesen Schmerz des Verlusts zwar nicht beseitigen, aber sie kann definitiv dafür sorgen, dass ihre Erinnerungen bleiben."

Hmm. In Ordnung. Also lasst uns das dekonstruieren, ja?

Ich höre tote Menschen

Es gibt eine psychologische sensorische Erfahrung, die klinisch als SED beschrieben wird, für "sensorische und quasi-sensorische Erfahrungen des Verstorbenen". Dies ist ein modernerer klinischer Begriff für das, was früher als Halluzinationen beschrieben wurde.

Laut einer klinischen Studie vom November 2020, Sensory and Quasi-Sensory Experiences of the Deceased in Bereavement: An Interdisciplinary and Integrative Review, sind SED-Erfahrungen nicht unbedingt eine psychische Störung. Stattdessen haben zwischen 47 % und 82 % der Menschen, die Lebensereignisse wie den Tod eines geliebten Menschen erlebt haben, eine Art SED erlebt.

Die Studie, die ich zitiere, ist vor allem deshalb interessant, weil sie sowohl integrativ als auch interdisziplinär ist, also Ergebnisse anderer Studien aus verschiedenen Forschungsbereichen zusammenfasst. Als solches ist es eine gute Zusammenfassung der allgemeinen klinischen Wahrnehmung von SED.

Demnach überschreiten SED-Erfahrungen Grenzen und werden von allen Altersgruppen, Angehörigen vieler Religionen, über alle Arten von Beziehungsverlust bis hin zu Todesumständen erlebt.

Aber ob eine SED-Erfahrung als beruhigend oder verstörend empfunden wird, hängt sowohl vom Individuum als auch vom Glaubenssystem des Individuums ab. Die SED manifestiert sich auch auf alle möglichen Arten, vom Hören von Schritten über Präsenzerfahrungen bis hin zu Sichtungen. Es muss nicht immer die Sprachwiedergabe sein.

Insgesamt verzichtet der Bericht darauf, einen klinischen Wert darüber zu fällen, ob SED-Erfahrungen psychologisch vorteilhaft oder schädlich sind, und stellt fest, dass weitere Studien erforderlich sind.

Aber - um auf Amazons Versuch zurückzukommen, Omas Stimme in eine Dose zu füllen - ist es absolut unklar, ob es beruhigend sein wird, einem Kind die Stimme eines verlorenen Verwandten zu geben, oder ob es entwicklungsbedingt ein solches Problem darstellt, dass es den Therapeuten für die kommenden Jahre eine dauerhafte Beschäftigung bieten wird.

Es ist seltsam, dass Amazon sich dafür entschieden hat, die Stimme eines verstorbenen Verwandten zu zeigen, anstatt beispielsweise eine lebende und gesunde Großmutter, die ihre Stimme für ihr geliebtes Enkelkind aufnehmen konnte. Aber hey, wenn die Forscher von Amazon sich für das Makabre entscheiden wollten, wer sind wir, um darüber zu urteilen?

Damit sind wir bei der Diskussion über die Sprachreplikation insgesamt. Angesichts einiger begrenzter konstruktiver Anwendungen bin ich mir nicht sicher, ob es eine gute Idee ist, die KI-Technologie für die Sprachreplikation in die freie Wildbahn zu entlassen. Amazon sagt, dass sie eine kurze Stichprobe nehmen und aus dieser kurzen Stichprobe einen ganzen Dialog erstellen können. Es gibt etwas daran, das schrecklich, schrecklich falsch zu sein scheint.

Was kann da schon schief gehen?

Es klingt fast so, wie man eine Superkraft in einer Serie wie The Umbrella Academy beschreiben würde: Wenn man weniger als eine Minute der Stimme einer Person hört, ist jemand in der Lage, alles zu sagen und es genau so klingen zu lassen, als wäre diese Person diejenige gewesen, die es gesagt hat.

Wie könnte das nicht eine Kraft für das Gute sein? Oh, Junge. Schnallen Sie sich an.

Wir reden hier nicht nur von zufällig gruselig, wie wenn Alexa plötzlich anfing zu schreien oder in böse klingendes Gelächter ausbrach. Seltsame Dinge passieren zufällig, wenn man in einem neuen Bereich innovativ ist. Diese Verhaltensweisen, sobald sie entdeckt wurden, sind behoben.

Nein, worüber wir sprechen, ist, was passieren könnte, wenn böswillige Akteure diese Technologie in die Hände bekommen und beschließen, sie gewinnbringend einzusetzen... oder Schlimmeres.

Das American Psychological Association Dictionary of Psychology definiert "Gaslighting" als:

Eine andere Person so zu manipulieren, dass sie an ihren Wahrnehmungen, Erfahrungen oder ihrem Verständnis von Ereignissen zweifelt. Der Begriff bezog sich einst auf Manipulationen, die so extrem waren, dass sie psychische Erkrankungen hervorriefen oder die Einweisung der Person in eine psychiatrische Anstalt rechtfertigten, heute wird er allgemeiner verwendet. Es wird normalerweise als umgangssprachlicher Ausdruck angesehen, obwohl es gelegentlich in der klinischen Literatur vorkommt.

Der Begriff stammt aus einem Bühnenstück aus den 1920er Jahren, das dann 1944 unter dem Titel "Gaslight" verfilmt wurde.

Leider ist Gaslighting in den digitalen Bereich vorgedrungen. Im Jahr 2018 veröffentlichte die New York Times einen Artikel, in dem beschrieben wurde, wie digitale Thermostate, Schlösser und Lichter zu Werkzeugen häuslicher Gewalt wurden.

Die Times beschrieb, wie diese Geräte "als Mittel zur Belästigung, Überwachung, Rache und Kontrolle eingesetzt werden". Beispiele hierfür waren das Drehen von Thermostaten auf 100 Grad oder das plötzliche Aufblasen von Musik.

Auch die American Public University Edge spricht über digitales Gaslighting. In dem Artikel heißt es: "Diese Art von Aktivität ermöglicht es einem Täter, leicht Kontrolle über das Opfer zu demonstrieren, egal wo sich der Täter befindet. Es ist eine weitere Methode, die der Täter anwendet, um das Selbstwertgefühl eines Opfers langsam zu untergraben und den Stress des Opfers weiter zu verschlimmern."

Lassen Sie uns nun einen Schritt weiter gehen. Wie einfach wäre es, jemanden aus der Fassung zu bringen, wenn er ständig die Stimme seines toten Vaters oder seiner toten Mutter hören würde? Wenn ein Täter jemanden davon überzeugen kann, dass er verfolgt wird oder die Kontrolle über seine Fähigkeit, die Realität zu erkennen, verliert, könnte dieser Täter dann eine böswillige subjektive Realität ersetzen.

Die ganze Idee klingt wie eine schlechte Fiktion, aber Gaslighting ist bei häuslicher Gewalt so weit verbreitet, dass die National Domestic Violence Hotline eine ganze Seite den Gaslighting-Techniken gewidmet hat, die ein missbräuchlicher Partner anwenden könnte. Wenn Sie sich in dieser Situation befinden, können Sie die Hotline unter 1-800-799-7233 erreichen.

Gehen wir noch einen Schritt weiter: Fügen Sie dem Mix Stalker hinzu. Nehmen wir an, du bist zu Hause und bekommst einen Anruf von deiner Mutter. Es ist die Nummer Ihrer Mutter in der Anrufer-ID. Du antwortest und es klingt wie deine Mutter. Sie hatte einen Unfall oder steckt in Schwierigkeiten. Sie fleht dich an, herauszukommen und sie zu holen. Und das tun Sie. Weil deine Mama angerufen hat, und du weißt natürlich, wie sie klingt.

Aber es ist nicht deine Mutter. Es gibt Methoden zum Spoofing der Anrufer-ID, und mit der KI-Sprachreplikation steigt das Potenzial, ein Opfer anzulocken, erheblich. Kombinieren Sie dies mit der Möglichkeit, persönliche Identifikationsdaten (PII) mit einem schockierenden Detaillierungsgrad von vielen zwielichtigen Online-Anbietern zu kaufen, und Sie haben ein beängstigendes Szenario.

Verwerfen Sie diese Szenarien nicht als geringe Wahrscheinlichkeit. Die CDC berichtet, dass 1 von 6 Frauen und 1 von 19 Männern in ihrem Leben gestalkt wurden. Das US-Justizministerium berichtet, dass "81 Prozent der Frauen, die von einem aktuellen oder ehemaligen Ehemann oder Lebenspartner gestalkt wurden, auch von diesem Partner körperlich angegriffen wurden, und 31 Prozent wurden auch von diesem Partner sexuell missbraucht." Mehr als eine Million Frauen und etwa 370.000 Männer werden jährlich gestalkt.

Wollen wir also wirklich die Macht der perfekten Simulation einer Stimme in die Hände von Stalkern und Tätern legen?

Auch wenn es nicht um Stalking oder Missbrauch geht, könnte ein solches Tool auch Betrügern helfen. Stellen Sie sich wie im vorherigen Beispiel ein Szenario vor, in dem Mama anruft und Sie bittet, sie abzuholen (aber natürlich ist es nicht Mama), stellen Sie sich ein Szenario vor, in dem Papa bei der Arbeit einen Anruf von seiner Tochter im College erhält. Sie hatte einen Notfall. Kann er ihr bitte ein paar tausend Dollar schicken?

Natürlich wird die Qualität des Tricks einen Teil der Glaubwürdigkeit des Anrufs bestimmen, aber mit genügend verfügbaren PII und einem guten Skript wird jemand auf den Betrug hereinfallen und Kreditkartenziffern oder Überweisungsgeld herausgeben - vor allem, da es sich bei der Stimme um die Stimme der Tochter handelte.

In Kombination mit der Deepfake-Videotechnologie steigt das Potenzial für die Erstellung gefälschter Videos von Einzelpersonen erheblich. Unabhängig davon, ob dieses Video von Teenagern verwendet wird, um einen Schulkameraden zu schikanieren, oder von einer Desinformationskampagne, um die Bevölkerung davon zu überzeugen, dass ein Anführer nichts Gutes im Schilde führt, ist die Idee von Deepfakes mit genauer Sprachdarstellung sehr beunruhigend.

Konstruktive Anwendungen

Es gibt einige Anwendungen in der Unterhaltungsindustrie, bei denen die Sprachreplikation einen Mehrwert bieten kann. Man kann mit Fug und Recht sagen, dass diese Art von Technologie auch ein gewisses positives Potenzial hat.

Zum Beispiel haben wir kürzlich einen jungen Luke Skywalker in den Disney+-Serien The Mandalorian und The Book of Boba Fett aus dem Jahr 2021 gesehen.

Lukes Bild wurde digital über dem Schauspieler Graham Hamilton erstellt, aber Mark Hamill wurde in Episode 6: From the Desert Comes a Stranger erwähnt, obwohl er Lukes Stimme nicht zur Verfügung stellte. Stattdessen verwendeten die Produzenten ein Tool namens Respeecher, das eine Soundbank mit alten Mark Hamill-Aufnahmen verwendete, die für die Episode zusammengestückelt wurden.

Eine weitere mögliche Anwendung könnte in smarten Assistenten (und smarten Assistenzen) für Demenzkranke liegen. Auch wenn es ein sehr schmaler Grat zwischen Gaslighting für jemanden mit verminderter geistiger Leistungsfähigkeit und der Unterstützung bei der Bewältigung ist, kann die Stimmerholung bei richtiger psychiatrischer Betreuung positive Anwendungen haben.

Meine Frau und ich hatten eine tolle Zeit, mit der weisen Anleitung von Yoda durch das Land zu reisen. Wir hatten seine Stimme auf unser altes GPS eingeloggt. Während unserer Reisen hatten wir Yodas Stimme, die uns Kurve für Kurve leitete. Es war beruhigend, besonders während dieser langen, offenen und leeren Phasen, Yodas beruhigende Stimme und Aussagen wie "links, du musst abbiegen" zu haben, um uns auf Kurs zu halten.

Leider ist das Yoda Positioning System nicht mehr verfügbar, was etwas über die Marktfähigkeit von Prominentenstimmen in der Unterhaltungselektronik aussagt (oder auch nicht).

Innehalten, um nachzudenken

Es gibt einen Satz in Jurassic Park, der mir manchmal so in den Sinn kommt: "Eure Wissenschaftler waren so sehr damit beschäftigt, ob sie es können oder nicht, dass sie nicht darüber nachgedacht haben, ob sie es sollten." Im Fall des Films ging es darum, Dinosaurier aus Dino-DNA nachzubauen. Aber es gilt genauso gut für den Einsatz von KI, um die Stimmen von Menschen nachzubilden.

Die Unterhaltungs-KI-Software Respeecher benötigt ein bis zwei Stunden an Sprachsamples, um eine Stimme zu erstellen. Die neue Technologie von Amazon erfordert weniger als eine Minute Aufnahmen. Das öffnet die Tür zu vielen weiteren Aufzeichnungen, einschließlich Nachrichten, die von der Voicemail erfasst wurden, und sogar Befehle, die Alexa und Siri gegeben wurden.

Angesichts der weit verbreiteten Verbreitung des Verkaufs von PII-Informationen und sogar medizinischen Informationen im sogenannten Dark Web ist es logisch zu erwarten, dass Hacker auch mit kurzen Sprachaufzeichnungen potenzieller Opfer handeln, insbesondere wenn diese Aufzeichnungen nur etwa eine Minute lang sein müssen.

Das bedeutet, dass, wenn Amazon seinen toten Oma-Skill auf der Alexa-Plattform veröffentlicht, er für ein breites Publikum zugänglich sein wird. Es ist sogar möglich, Alexa und Alexa-Skills auf selbst entwickelten Nicht-Alexa-Geräten zu verwenden, wie dieser Artikel zeigt. Das bedeutet, dass diese Technologie, selbst wenn sie auf Alexa beschränkt ist, das Potenzial hat, sehr problematisch zu sein.

Ich muss fragen: Muss Amazon diese Technologie wirklich als Fähigkeit in die Wildnis entlassen?

Um fair zu sein, wird Amazon nicht das einzige Unternehmen sein, das die Sprachreplikation erforscht. Fortune Business Insights prognostiziert, dass der globale Markt für Sprach- und Spracherkennung bis 2026 28,3 Milliarden US-Dollar erreichen wird, was einer jährlichen Wachstumsrate von fast 20 % entspricht. Bei solchen Zahlen kann man sicher sein, dass es noch weitere Teilnehmer in dieser Arena geben wird.

Der Schutz der Nutzer vor digitalem Gaslighting, Stalking und Betrug wird immer schwieriger, und die Sprachreplikation verschlimmert die Situation nur noch.

Dr. Irving Lachow, stellvertretender Direktor für Cyberstrategie und -umsetzung bei der MITRE Corporation und Gastwissenschaftler an der Hoover Institution, beschreibt diese Situation im Lawfare Blog als "PsyOps in the home".

Er erklärt, dass, obwohl es Anti-Stalking-Gesetze gibt, "viele dieser Maßnahmen nicht direkt auf Cyber-Gaslighting angewendet werden können, weil die Täter im Gegensatz zur Stalkerware-Situation keine Software zu Heim-Smart-Geräten hinzufügen, um ihre Opfer zu belästigen. Stattdessen verwenden sie die Geräte so, wie sie gedacht waren."

Er sagt auch, dass rechtliche Herausforderungen schwieriger sind, wenn die Führungskräfte von Unternehmen, die diese Technologien herstellen, einigermaßen unantastbar sind. Er erklärt: "Die fraglichen Technologien haben legitime und positive Anwendungen, und man kann realistischerweise nicht die Führungskräfte von Smart-Device-Unternehmen ins Visier nehmen, nur weil ihre Geräte verwendet wurden, um jemandem Schaden zuzufügen."

Dies ist eindeutig ein Thema, das mehr Überlegung erfordert. Unternehmen wie Amazon müssen sorgfältig prüfen, ob die Funktionen, die sie hinzufügen, mehr schaden als nützen. Cybersicherheitsexperten müssen IoT-Geräte weiterhin gegen Hackerangriffe von außen absichern. Therapeuten und Psychologen müssen ihr Bewusstsein für digitales Gaslighting und andere Bedrohungen des 21. Jahrhunderts schärfen.

Aber auch der Einzelne kann sich schützen. Der Malware-Intelligence-Analyst Christopher Boyd, der im Namen des Malwarebytes-Blogs schreibt, empfiehlt, detaillierte Aufzeichnungen über Vorfälle zu führen und alle von den Geräten erzeugten Daten zu protokollieren. Wir fügen hinzu, dass es wichtig ist, Ihre eigenen Passwörter zu verwalten, sichere Passwörter zu verwenden, und wenn Sie Probleme erwarten, sollten Sie unbedingt lernen, wie Sie Ihre Geräte sperren können.

Lachow berichtet: "Intelligente Geräte sind reif für die Ausbeutung in Szenarien häuslicher Gewalt, da oft eine Person, in der Regel ein Mann, die Informationstechnologie (IT) für das Haus steuert. Wenn der IT-Manager auszieht, aber über mobile Apps oder Online-Schnittstellen weiterhin Zugriff auf intelligente Geräte von zu Hause aus hat, könnte er oder sie die Haushaltsumgebung kontrollieren."

Behalten Sie das im Hinterkopf und lernen Sie alles, was Sie können. Was KI-basierte Systeme angeht, die lernen, die Stimmen verstorbener Angehöriger zu replizieren, muss ich sagen: "Sag einfach nein." Nein. Nein. Nein, nein, nein. Baaaad, es könnte etwas passieren.

Ich bin mir sicher, dass Sie sich viele schreckliche Szenarien vorstellen können. Teilen Sie diese mit uns in den Kommentaren unten. Je mehr wir darüber nachdenken und je mehr wir uns dessen bewusst sind, desto besser können wir uns darauf vorbereiten.