Für wen Informationssicherheit
Manipulierte Trainingsdaten, eingeschleuste Anweisungen und zu weitreichende Agentenrechte können KI-Systeme gefährden. Der Bedrohungskatalog hilft Ihnen, solche Risiken für Ihr System zu untersuchen, Gegenmaßnahmen auszuwählen und Ihre Bewertung zu dokumentieren.
Die vertraute Bedrohungsmodellierung trägt weiter, aber sie greift zu kurz. Ein Sprachmodell unterscheidet nicht zwischen Anweisung und Inhalt: Wer ein Dokument verarbeitet, verarbeitet auch die Anweisungen darin. Ein Agent mit Werkzeugzugriff führt aus, was ihm plausibel erscheint. Und ein Modell trägt Eigenschaften, die im Training entstanden sind und im Betrieb nicht mehr zu sehen sind.
Der Katalog ordnet 52 Bedrohungen in zehn Themengruppen und drei Phasen: drei aus der Lieferkette, vier aus der Entwicklung, 45 aus dem Betrieb. Jede nennt ihre Gegenmaßnahmen mit Maßnahmenart, Wirkung und Umsetzungsebene, dazu ihre Fundstellen in OWASP, MITRE ATLAS, NIST und den Veröffentlichungen des Bundesamts.
Ein Sprachmodell unterscheidet nicht zwischen Anweisung und Inhalt. Wer ein Dokument verarbeitet, verarbeitet auch die Anweisungen darin.
Die Schritte verlinken direkt auf die passenden Funktionen und Informationen.
Antworten mit Quellen und Verweisen zur weiteren Prüfung.
Der Katalog führt 52, davon 45 im Betrieb. Neu gegenüber der klassischen Anwendungssicherheit sind vor allem fünf Gruppen: Prompt-Angriffe und Umgehung von Schutzmechanismen, Manipulation von Modell und Trainingsdaten, autonome Agenten, Datenabfluss über das Modell und schädliche Inhalte aus der Erzeugung.
Anweisungen kommen nicht vom Nutzer, sondern aus einer Quelle, die das System verarbeitet: einem Dokument, einer Webseite, einer Bildbeschreibung, der Antwort eines Werkzeugs. Das Modell führt sie aus, weil es Anweisung und Inhalt nicht trennt. Der Eintrag im Bedrohungskatalog führt die Gegenmaßnahmen dagegen auf, jede mit ihrer Fundstelle im Rahmenwerk.
Vor der ersten echten Berechtigung stehen fünf Festlegungen: Rechteumfang, Autonomiestufe, Freigabepflichten, Protokollierung und Abschaltmechanismus. Der Katalog führt fünf Bedrohungen zu autonomen Agenten, darunter dauerhaft vergifteter Gedächtnisinhalt und unsichere Kommunikation zwischen Agenten.
Sieben, mit 486 belegten Zuordnungen aus 21 Primärquellen: die KI-Verordnung mit 51 Bedrohungen, das Risikorahmenwerk des amerikanischen Normungsinstituts mit 47, die Prioritätenliste der OWASP-Stiftung mit 45, MITRE ATLAS mit 44, dazu DSGVO, die Veröffentlichungen des Bundesamts und die Architekturanalysen des Berryville Institute. Jede Rahmenwerkseite nennt auch, welche Bedrohungen es nicht erreicht.
Das hängt am Systemtyp und an den Architekturmerkmalen. Die Auswertung zum Anwendungskontext lässt beides wählen und zeigt dann, welche der 52 Bedrohungen immer zu betrachten sind und welche nur im Einzelfall. Ein System ohne Werkzeugzugriff braucht die Agentengruppe nicht, ein System ohne eigenes Training die Vergiftungsgruppe nur bedingt.
265 Gegenmaßnahmen tragen je Eintrag ihre Maßnahmenart, ihre Wirkung und ihre Umsetzungsebene. Die Wirkmatrix stellt beides gegenüber: welche Maßnahmenart auf welche Themengruppe wirkt und wo Lücken bleiben. Der Angriffsverlauf zeigt für jede Bedrohung die fünf Punkte, an denen eine Maßnahme ansetzen kann.
Art. 15 verlangt für Hochrisiko-Systeme ein angemessenes Maß an Genauigkeit, Robustheit und Cybersicherheit über den gesamten Lebenszyklus, ausdrücklich einschließlich der Widerstandsfähigkeit gegen Angriffe. Für Betreiber kommt Art. 26 Abs. 5 hinzu: den Betrieb überwachen und bei einem Risiko aussetzen.
Sie prüft kein laufendes System, sie liest keine Protokolle und sie erkennt keinen Angriff. Sie ersetzt weder ein Managementsystem noch einen Sicherheitstest. Sie bewertet einen Stand auf der Grundlage dessen, was Sie eintragen; ob eine Maßnahme im konkreten System wirkt, prüft sie nicht nach.
Diese Aufgaben erfordern zusätzliche Werkzeuge oder eine fachliche Prüfung.
Aufgaben außerhalb der Anwendung
Für die regelmäßige Bewertung mehrerer KI-Systeme: Berichte als PDF und Arbeitsmappe, maschinenlesbare Ausgaben, erweiterte Nachweispakete.
ÖffnenDie vollständige Community Edition mit Beispieldaten, direkt im Browser und ohne Anmeldung. Zum Ausprobieren der Methode; die eigene Arbeit im Unternehmen oder in der Behörde deckt die Community-Lizenz nicht ab.
ÖffnenVergleichen Sie Funktionen, Lizenzbedingungen und Preise der Community, Professional und Enterprise Edition. Editionen vergleichen
Informationen für weitere Aufgabenbereiche in Ihrer Organisation oder bei Ihren Auftraggebern.