Anthropic bietet 20.000 US-Dollar für jeden, der sein neues KI-Sicherheitssystem jailbreaken kann
Das Unternehmen hat seine Belohnung für das Red-Teaming von Constitutional Classifiers erhöht. Hier erfahren Sie, wie Sie es versuchen können.
Können Sie die neueste KI-Sicherheitsmaßnahme von Anthropic jailbreaken? Forscher möchten, dass Sie es versuchen - und bieten bis zu 20.000 US-Dollar, wenn Sie Erfolg haben.
Am Montag veröffentlichte das Unternehmen ein neues Papier, in dem ein KI-Sicherheitssystem namens Constitutional Classifiers vorgestellt wird. Der Prozess basiert auf Constitutional AI, einem System, das Anthropic verwendet hat, um Claude "unschädlich" zu machen, bei dem eine KI hilft, eine andere zu überwachen und zu verbessern. Jede Technik wird von einer Verfassung oder einer "Liste von Prinzipien" geleitet, an die sich ein Modell halten muss, erklärte Anthropic in einem Blog.
Diese "Klassifikatoren", die mit synthetischen Daten trainiert wurden, waren in der Lage, die "überwältigende Mehrheit" der Jailbreak-Versuche zu filtern, ohne dass es zu übermäßigen Ablehnungen kam (falsche Kennzeichen harmloser Inhalte als schädlich), so Anthropic.
"Die Prinzipien definieren die Klassen von Inhalten, die erlaubt und nicht erlaubt sind (z. B. sind Rezepte für Senf erlaubt, Rezepte für Senfgas jedoch nicht)", so Anthropic. Die Forscher stellten sicher, dass Eingabeaufforderungen für Jailbreak-Versuche in verschiedenen Sprachen und Stilen verantwortlich waren.
Konstitutionelle Klassifikatoren definieren harmlose und schädliche Inhaltskategorien, auf denen Anthropic einen Trainingssatz von Eingabeaufforderungen und Vervollständigungen aufgebaut hat.
In den ersten Tests verbrachten 183 menschliche Red-Teamer mehr als 3.000 Stunden über zwei Monate damit, Claude 3.5 Sonnet von einem Prototyp des Systems zu befreien, der darauf trainiert war, keine Informationen über "chemische, biologische, radiologische und nukleare Schäden" weiterzugeben. Den Jailbreakern wurden 10 eingeschränkte Abfragen gegeben, die sie als Teil ihrer Versuche verwenden konnten. Verstöße wurden nur dann als erfolgreich gewertet, wenn sie das Modell dazu brachten, alle 10 im Detail zu beantworten.
Das System der verfassungsmäßigen Klassifikatoren erwies sich als wirksam. "Keiner der Teilnehmer war in der Lage, das Modell dazu zu zwingen, alle 10 verbotenen Abfragen mit einem einzigen Jailbreak zu beantworten - das heißt, es wurde kein universeller Jailbreak entdeckt", erklärte Anthropic, was bedeutet, dass auch niemand die Belohnung des Unternehmens in Höhe von 15.000 US-Dollar gewann.
Der Prototyp "verweigerte zu viele harmlose Abfragen" und war ressourcenintensiv in der Ausführung, was ihn zwar sicher, aber unpraktisch machte. Nach der Verbesserung führte Anthropic einen Test mit 10.000 synthetischen Jailbreak-Versuchen auf einer Oktober-Version von Claude 3.5 Sonnet mit und ohne Klassifikatorschutz durch, wobei bekannte erfolgreiche Angriffe verwendet wurden. Claude allein blockte nur 14 % der Angriffe, während Claude mit Verfassungsklassifikatoren über 95 % blockte.
Aber Anthropic möchte trotzdem, dass du versuchst, es zu besiegen. Das Unternehmen erklärte am Mittwoch in einem X-Post, dass es "jetzt 10.000 US-Dollar für die erste Person anbietet, die alle acht Stufen besteht, und 20.000 US-Dollar für die erste Person, die alle acht Stufen mit einem universellen Jailbreak besteht".
Haben Sie bereits Erfahrung mit Red-Teaming? Sie können Ihre Chance auf die Belohnung versuchen, indem Sie das System bis zum 10. Februar selbst testen - mit nur acht erforderlichen Fragen anstelle der ursprünglichen 10.
"Verfassungsmäßige Klassifikatoren verhindern möglicherweise nicht jeden universellen Jailbreak, obwohl wir glauben, dass selbst der kleine Teil der Jailbreaks, die es durch unsere Klassifikatoren schaffen, weitaus mehr Aufwand erfordert, um herauszufinden, wann die Sicherheitsvorkehrungen in Gebrauch sind", fuhr Anthropic fort. "Es ist auch möglich, dass in Zukunft neue Jailbreaking-Techniken entwickelt werden, die gegen das System wirksam sind; Wir empfehlen daher, ergänzende Abwehrmechanismen zu verwenden . Nichtsdestotrotz kann die Konstitution, mit der die Klassifikatoren trainiert werden, schnell angepasst werden, um neuartige Angriffe abzudecken, sobald sie entdeckt werden."
Das Unternehmen sagte, es arbeite auch daran, die Rechenkosten für Constitutional Classifiers zu senken, die derzeit hoch sind.