Anthropic weist auf das Potenzial von KI hin, „ausgefeilte zerstörerische Cyberangriffe zu automatisieren“
Der Hersteller von Claude LLMs überarbeitet seine Sicherheitsrichtlinien, um eskalierende Risiken zu bewältigen.
Anthropic, Hersteller der Claude-Familie großer Sprachmodelle, hat diese Woche seine Richtlinien für Sicherheitskontrollen seiner Software aktualisiert, um das seiner Aussage nach bestehende Potenzial für böswillige Akteure zu berücksichtigen, die KI-Modelle zur Automatisierung von Cyberangriffen auszunutzen.
Das PDF-Dokument, das die „verantwortungsvolle Skalierungspolitik“ des Unternehmens detailliert beschreibt, beschreibt mehrere Verfahrensänderungen, die seiner Meinung nach erforderlich sind, um die anhaltenden Risiken des Missbrauchs von KI-Modellen zu überwachen. Dazu gehören mehrere Stufen eskalierender Risiken, die als AI Safety Level Standards (ASL) bekannt sind und als „technische und betriebliche Sicherheitsmaßnahmen“ definiert sind.
Im Rahmen der „Routinetests“ von KI-Modellen auf Sicherheit durch das Unternehmen - bekannt als „Fähigkeitsbewertung“ - berichtet Anthropic, dass es eine Fähigkeit entdeckt hat, die „erhebliche Untersuchungen erfordert und möglicherweise strengere Schutzmaßnahmen erfordert“.
Diese Fähigkeit wird als Bedrohung im Cyber-Betrieb beschrieben: „Die Fähigkeit, komplexe zerstörerische Cyber-Angriffe erheblich zu verbessern oder zu automatisieren, einschließlich, aber nicht beschränkt auf die Entdeckung neuartiger Zero-Day-Exploit-Ketten, die Entwicklung komplexer Malware oder die Orchestrierung umfangreicher, schwer zu erkennender Netzwerke.“ Einbrüche.“
Der Bericht beschreibt Maßnahmen, die ergriffen werden, um die Angelegenheit fortlaufend zu untersuchen:
„Dazu gehört die Zusammenarbeit mit Experten für Cyber-Operationen, um das Potenzial von Frontier-Modellen zur Verbesserung und Abschwächung von Cyber-Bedrohungen zu bewerten und die Implementierung abgestufter Zugriffskontrollen oder stufenweiser Bereitstellungen für Modelle mit erweiterten Cyber-Fähigkeiten in Betracht zu ziehen. Wir werden entweder Vor- oder … Wir werden alle wichtigen Ergebnisse zusammen mit unseren Fähigkeitsberichten dokumentieren.
Derzeit müssen alle KI-Modelle von Anthropic die ASL-Anforderungen „Level 2“ erfüllen. Diese Stufe „erfordert ein Sicherheitssystem, das wahrscheinlich die meisten opportunistischen Angreifer abwehren kann und Sicherheitsüberprüfungen von Anbietern und Lieferanten, physische Sicherheitsmaßnahmen und die Verwendung von Secure-by-Design-Prinzipien umfasst“, heißt es in dem Bericht.
Die aktualisierten Richtlinien können als Teil der Bemühungen von Anthropic und OpenAI angesehen werden, inmitten der anhaltenden Debatte darüber, was zur Regulierung von KI-Technologien getan werden sollte und was nicht, freiwillig eine Einschränkung der künstlichen Intelligenz zu versprechen. Im August haben das Unternehmen und OpenAI Vereinbarungen mit dem US-amerikanischen Artificial Intelligence Safety Institute am National Institute of Standards and Technology (NIST) des US-Handelsministeriums getroffen, um bei der Erforschung, Prüfung und Bewertung von KI zusammenzuarbeiten.
Die Idee, dass KI Cyberangriffe automatisiert, ist schon seit einiger Zeit im Umlauf. Der Firewall-Anbieter Check Point Software Technologies warnte letztes Jahr, dass staatliche Akteure aus Russland versuchten, ChatGPT von OpenAI zu kompromittieren, um Phishing-Angriffe zu automatisieren.
CrowdStrike, Anbieter von Endpunkt-Sicherheitssoftware, berichtete diesen Sommer, dass generative KI anfällig für eine Vielzahl speziell gestalteter Eingabeaufforderungen ist, die die Leitplanken der Programme durchbrechen können.