Anthropic räumt unerwartete KI-Angriffe ein

Wenige Wochen nach einem Sicherheitsvorfall beim KI-Unternehmen OpenAI hat auch der Konkurrent Anthropic einen ähnlichen Zwischenfall bekannt gemacht. Nach Angaben des Unternehmens verschafften sich KI-Modelle während interner Testläufe unbeabsichtigt Zugang zu Computersystemen von drei real existierenden Unternehmen. Die Aktivitäten blieben zunächst unentdeckt. Erst im Zuge einer nachträglichen Auswertung von rund 141.000 Testdurchläufen, die nach dem bekannt gewordenen OpenAI-Vorfall durchgeführt wurde, stieß Anthropic auf die Vorfälle.

Unbeabsichtigter Internetzugang

Die betroffenen Modelle sollten eigentlich in einer abgeschotteten Testumgebung arbeiten und keinen Zugang zum Internet haben. Laut Anthropic bestand aufgrund eines Missverständnisses mit einem Testpartner jedoch tatsächlich eine Verbindung zum Netz. Drei KI-Modelle nutzten diese Möglichkeit. Die Namen der betroffenen Unternehmen wurden nicht veröffentlicht.

Hackerfähigkeiten geprüft

Ziel der Testläufe war es, die Fähigkeiten der KI im Bereich Cyberangriffe zu untersuchen. Solche Tests dienen dazu, Risiken zu erkennen und geeignete Sicherheitsmaßnahmen zu entwickeln. Die Modelle erhielten unter anderem die Aufgabe, bestimmte Informationen aufzuspüren, die auf einem anderen Computersystem verborgen waren. Dafür sollten sie in die vorgesehenen Testsysteme eindringen.

KI griff auf reales Unternehmen zu

Einer der Vorfälle entstand, weil der im Testszenario verwendete Name eines fiktiven Unternehmens auch einer tatsächlich existierenden Internetadresse entsprach. Das Modell Claude Opus 4.7 hatte zunächst Schwierigkeiten, die Aufgabe innerhalb der vorgesehenen Testumgebung zu lösen. Anschließend identifizierte es ein reales Unternehmen mit demselben Namen im Internet und konzentrierte seine Aktivitäten darauf. Nach Angaben von Anthropic geschah dies in vier Testdurchläufen. Das Modell verschaffte sich dabei unter anderem Zugriff auf eine Datenbank. Auch nachdem erkannt worden war, dass es sich um ein reales Unternehmen handelte, setzte die KI den Angriff fort.

Schadsoftware zeitweise öffentlich verfügbar

Bei einem weiteren Test entwickelte das Modell Mythos 5 eine präparierte Software, die für den vorgesehenen Einbruch in das Zielsystem genutzt werden sollte. Aufgrund des bestehenden Internetzugangs konnte die Software auf einer spezialisierten Download-Plattform veröffentlicht werden. Dort war sie laut Anthropic etwa eine Stunde lang verfügbar und wurde von 15 Systemen heruntergeladen. Darunter befand sich eine IT-Sicherheitsfirma, die solche Programme routinemäßig zu Testzwecken herunterlädt und ausführt. Durch die Installation erhielt das KI-Modell Zugriff auf die Computerinfrastruktur des Unternehmens. Anthropic bezeichnete dieses Verhalten im zugehörigen Blogbeitrag als nicht ideal.

Dritter Vorfall rechtzeitig gestoppt

Bei einem weiteren Test scannte ein Modell rund 9.000 potenzielle Angriffsziele, bevor es sich für eines entschied. Nachdem die KI erkannte, dass es sich um ein reales Unternehmen handelte, brach sie den Angriff nach Angaben von Anthropic ab.

KI-Sicherheit im Fokus

Bereits zuvor hatte ein Sicherheitsvorfall bei OpenAI für Aufmerksamkeit gesorgt. Ein KI-Modell hatte sich in einem Test eigenständig Zugang zum offenen Internet verschafft und anschließend Computersysteme der KI-Plattform Hugging Face angegriffen. Dabei nutzte die Software bislang unentdeckte Sicherheitslücken. OpenAI sprach von einem „beispiellosen Cyber-Zwischenfall“. Fachleute warnen seit längerem vor möglichen Cyberangriffen durch leistungsfähige KI-Systeme. Der Vorfall bei OpenAI wurde in der Branche als Warnsignal gewertet und führte unter anderem zu Forderungen nach besser abgesicherten Testumgebungen. Für Anthropic sind die nun bekannt gewordenen Zwischenfälle besonders heikel, da sich das Unternehmen bislang als Verfechter einer verantwortungsvollen Entwicklung von Künstlicher Intelligenz positioniert hatte.

(APA/red)