Die nächste große Bedrohung für die KI könnte bereits im Internet lauern
Experten für künstliche Intelligenz warnen davor, dass Angriffe auf Datensätze, die zum Trainieren von Werkzeugen für maschinelles Lernen verwendet werden, besorgniserregend kostengünstig sind und schwerwiegende Folgen haben könnten.
Experten für künstliche Intelligenz (KI) und maschinelles Lernen warnen vor dem Risiko von Data-Poisoning-Angriffen, die gegen die großen Datensätze wirken können, die üblicherweise zum Trainieren der Deep-Learning-Modelle in vielen KI-Diensten verwendet werden.
Eine Datenvergiftung tritt auf, wenn Angreifer die Trainingsdaten manipulieren, die zur Erstellung von Deep-Learning-Modellen verwendet werden. Diese Aktion bedeutet, dass es möglich ist, die Entscheidungen, die die KI trifft, auf eine Weise zu beeinflussen, die schwer nachzuverfolgen ist.
Durch die heimliche Änderung der Quellinformationen, die zum Trainieren von Algorithmen für maschinelles Lernen verwendet werden, können Datenvergiftungsangriffe äußerst wirkungsvoll sein, da die KI aus falschen Daten lernt und „falsche“ Entscheidungen treffen kann, die erhebliche Konsequenzen haben.
Derzeit gibt es keine Hinweise auf reale Angriffe, bei denen es um die Verfälschung von Datensätzen im Web-Maßstab geht. Doch nun sagt eine Gruppe von KI- und maschinellen Lernforschern von Google, der ETH Zürich, NVIDIA und Robust Intelligence, sie hätten die Möglichkeit von Poisoning-Angriffen nachgewiesen, die „garantieren“, dass bösartige Beispiele in webbasierten Datensätzen auftauchen, die zum Trainieren verwendet werden die größten Modelle für maschinelles Lernen.
„Während große Deep-Learning-Modelle resistent gegen zufälliges Rauschen sind, reichen bereits winzige Mengen an gegnerischem Rauschen in Trainingssätzen (z. B. ein Poisoning-Angriff) aus, um gezielte Fehler im Modellverhalten einzuführen“, warnen die Forscher.
Forscher sagten, dass sie durch den Einsatz der von ihnen entwickelten Techniken zur Ausnutzung der Funktionsweise der Datensätze 0,01 % der wichtigen Deep-Learning-Datensätze mit geringem Aufwand und geringen Kosten hätten vergiften können. Während 0,01 % nicht nach vielen Datensätzen klingt, warnen Forscher, dass es „ausreicht, um ein Modell zu vergiften“.
Dieser Angriff wird als „Split-View-Poisoning“ bezeichnet. Wenn ein Angreifer die Kontrolle über eine durch einen bestimmten Datensatz indizierte Webressource erlangen könnte, könnte er die gesammelten Daten verfälschen, sie ungenau machen und möglicherweise den gesamten Algorithmus negativ beeinflussen.
Eine Möglichkeit für Angreifer, dieses Ziel zu erreichen, besteht darin, einfach abgelaufene Domainnamen zu kaufen. Domains laufen regelmäßig ab und können dann von jemand anderem gekauft werden - eine perfekte Gelegenheit für einen Datenvergifter.
„Der Angreifer muss nicht den genauen Zeitpunkt kennen, zu dem Clients die Ressource in Zukunft herunterladen werden: Durch den Besitz der Domain garantiert der Angreifer, dass bei jedem zukünftigen Download vergiftete Daten erfasst werden“, sagten die Forscher.
Die Forscher weisen darauf hin, dass der Kauf einer Domain und deren Ausnutzung für böswillige Zwecke keine neue Idee ist - Cyberkriminelle nutzen sie, um bei der Verbreitung von Malware zu helfen. Aber Angreifer mit anderen Absichten könnten möglicherweise einen umfangreichen Datensatz verunreinigen.
Darüber hinaus haben Forscher eine zweite Angriffsart beschrieben, die sie Front-Running-Poisoning nennen.
In diesem Fall hat der Angreifer nicht die vollständige Kontrolle über den spezifischen Datensatz - er kann jedoch genau vorhersagen, wann auf eine Webressource zugegriffen wird, um sie in einen Datensatz-Snapshot aufzunehmen. Mit diesem Wissen kann der Angreifer den Datensatz verfälschen, kurz bevor die Informationen erfasst werden.
Auch wenn die Informationen bereits nach wenigen Minuten in die ursprüngliche, nicht manipulierte Form zurückkehren, ist der Datensatz im Snapshot, der während des böswilligen Angriffs erstellt wurde, immer noch falsch.
Eine Quelle, auf die man sich bei der Beschaffung von Trainingsdaten für maschinelles Lernen stark verlässt, ist Wikipedia. Aber es liegt in der Natur von Wikipedia, dass jeder sie bearbeiten kann - und laut Forschern kann ein Angreifer „einen aus Wikipedia stammenden Trainingssatz vergiften, indem er böswillige Änderungen vornimmt“.
Wikipedia-Datensätze basieren nicht auf der Live-Seite, sondern auf Schnappschüssen, die zu einem bestimmten Zeitpunkt aufgenommen wurden - was bedeutet, dass Angreifer, die ihren Eingriff zeitlich richtig planen, die Seite in böswilliger Absicht bearbeiten und das Modell dazu zwingen könnten, ungenaue Daten zu sammeln, die dauerhaft im Datensatz gespeichert werden .
„Ein Angreifer, der vorhersagen kann, wann eine Wikipedia-Seite gescrapt wird, um sie in den nächsten Snapshot aufzunehmen, kann unmittelbar vor dem Scraping eine Vergiftung durchführen. Selbst wenn die Bearbeitung auf der Live-Seite schnell rückgängig gemacht wird, enthält der Snapshot den schädlichen Inhalt - für immer.“ " schrieben Forscher.
Da Wikipedia ein gut dokumentiertes Protokoll zur Erstellung von Snapshots verwendet, ist es möglich, die Snapshot-Zeiten einzelner Artikel mit hoher Genauigkeit vorherzusagen. Forscher gehen davon aus, dass dieses Protokoll mit einer Erfolgsquote von 6,5 % zur Manipulation von Wikipedia-Seiten genutzt werden kann.
Dieser Prozentsatz mag nicht hoch klingen, aber die schiere Anzahl der Wikipedia-Seiten und die Art und Weise, wie sie zum Trainieren von Datensätzen für maschinelles Lernen verwendet werden, bedeuten, dass es möglich wäre, den Modellen ungenaue Informationen zuzuführen.
Die Forscher weisen darauf hin, dass sie keine Live-Wikipedia-Seiten bearbeitet und Wikipedia im Rahmen des Prozesses zur verantwortungsvollen Offenlegung über die Angriffe und die möglichen Abwehrmaßnahmen informiert haben. ZDNET hat Wikipedia um einen Kommentar gebeten.
Die Forscher weisen außerdem darauf hin, dass der Zweck der Veröffentlichung des Papiers darin besteht, andere im Sicherheitsbereich tätige Personen zu ermutigen, ihre eigene Forschung darüber durchzuführen, wie KI- und maschinelle Lernsysteme vor böswilligen Angriffen geschützt werden können.
„Unsere Arbeit ist nur ein Ausgangspunkt für die Community, um ein besseres Verständnis der Risiken zu entwickeln, die mit der Generierung von Modellen aus Web-Daten verbunden sind“, heißt es in dem Papier.