KI-BedrohungskatalogAutonome KI und AgentenProduktion
Excessive Agency (übermäßige Handlungsermächtigung)
Ein KI-System erhält mehr Berechtigungen oder Entscheidungsfreiheit, als seine Aufgabe erfordert. Fehlerhafte oder manipulierte Ausgaben lösen dann direkt folgenreiche Aktionen aus, etwa Zahlungen, Datenlöschungen oder Systemänderungen.
Beschreibung
Viele KI-Assistenten sind über Schnittstellen mit anderen Systemen verbunden und können dort selbst handeln, etwa E-Mails versenden, Datensätze ändern oder Bestellungen auslösen. Die Bedrohung entsteht, wenn das System mehr Funktionen erhält als nötig, mit zu weitreichenden Berechtigungen arbeitet oder folgenreiche Schritte ohne menschliche Bestätigung ausführen darf. Sprachmodelle trennen dabei nicht zuverlässig zwischen Anweisungen und den Inhalten, die sie verarbeiten. Eine Prompt Injection (versteckte Anweisungen in verarbeiteten Inhalten), ein mehrdeutiger Auftrag oder ein schlichter Modellfehler kann deshalb eine schädliche Aktion auslösen. Das System handelt dann formal innerhalb seiner Berechtigungen, sodass klassische Zugriffskontrollen den Schaden nicht stoppen.
Mögliche Auswirkung
Mögliche Folgen sind ungewollte Finanztransaktionen, gelöschte oder veränderte Daten und Eingriffe in Produktivsysteme, je nachdem, womit das KI-System verbunden ist. Fließen dabei personenbezogene oder vertrauliche Daten ab, kommen Datenschutzverstöße und Meldepflichten hinzu. Der EU AI Act verlangt für Hochrisiko-Systeme eine wirksame menschliche Aufsicht, einschließlich der Möglichkeit, Ausgaben zu verwerfen und das System zu stoppen.
Beispiel
Ein KI-Assistent soll eingehende E-Mails nur zusammenfassen, besitzt aber auch die Berechtigung zum Versenden. Eine präparierte E-Mail mit versteckten Anweisungen bringt ihn dazu, vertrauliche Nachrichten aus dem Postfach an eine externe Adresse weiterzuleiten. Der Vorgang fällt erst auf, als die Daten das Unternehmen bereits verlassen haben.
Empfohlene Gegenmaßnahmen (5)
Jede Maßnahme nennt ihre Maßnahmenart, Wirkung, Umsetzungsebene und die Begründung der Einordnung.
Least-Privilege für Agenten-AktionenTechnisch
- Wirkung
- Präventiv, Schadensbegrenzend
- Umsetzungsebene
- Anwendung, API & Agenten
- Ergänzende Maßnahmenart
- Organisatorisch & prozessual
- Begründung der Einordnung
- „Least-Privilege für Agenten-Aktionen“ ist primär technisch: Maschinell erzwungene Identitäts-, Berechtigungs- oder Bereichsregeln begrenzen unzulässige Zugriffe und Aktionen; ergänzt durch verbindliche Abläufe.
Human-in-the-Loop-Freigabe für kritische AktionenOrganisatorisch & prozessual
- Wirkung
- Präventiv
- Umsetzungsebene
- Anwendung, API & Agenten, Nutzung & Betrieb
- Ergänzende Maßnahmenart
- Mensch & Kompetenz
- Begründung der Einordnung
- „Human-in-the-Loop-Freigabe für kritische Aktionen“ ist primär organisatorisch & prozessual: Ein verbindlicher Arbeitsablauf verlangt vor Nutzung oder Ausführung eine verantwortliche menschliche Entscheidung; ergänzt durch Fachwissen und Urteil.
Audit-Logging aller AktionenTechnisch
- Wirkung
- Aufdeckend
- Umsetzungsebene
- Anwendung, API & Agenten, Nutzung & Betrieb
- Ergänzende Maßnahmenart
- Organisatorisch & prozessual
- Begründung der Einordnung
- „Audit-Logging aller Aktionen“ ist primär technisch: Software oder Analysewerkzeuge erzeugen und bewerten systematisch Messwerte, Abweichungen oder Angriffsindikatoren; ergänzt durch verbindliche Abläufe.
Rate-Limits auf Agenten-OperationenTechnisch
- Wirkung
- Präventiv, Schadensbegrenzend
- Umsetzungsebene
- Anwendung, API & Agenten
- Ergänzende Maßnahmenart
- Organisatorisch & prozessual
- Begründung der Einordnung
- „Rate-Limits auf Agenten-Operationen“ ist primär technisch: Automatisierte Ressourcensteuerung, Budget- oder Laufzeitgrenzen begrenzen Überlastung, Missbrauch, Kosten und Fehlerketten; ergänzt durch verbindliche Abläufe.
Reversibilität und Rollback-FähigkeitenTechnisch
- Wirkung
- Schadensbegrenzend, Wiederherstellend
- Umsetzungsebene
- Anwendung, API & Agenten, Nutzung & Betrieb
- Begründung der Einordnung
- „Reversibilität und Rollback-Fähigkeiten“ ist primär technisch: Versionierte Zustände oder Rücksetzmechanismen ermöglichen eine kontrollierte Wiederherstellung.
Standard-Zuordnungen
Verifizierte Fundstellen in OWASP, NIST AI RMF, MITRE ATLAS, EU AI Act und weiteren Rahmenwerken. Die Zuordnungen sind taxonomisch, kein Konformitätsnachweis.
Belegte Referenzen (7)
Jede Referenz nennt Rahmenwerk, Fundstelle und die herausgebende Organisation.
- OWASP LLM Top 10 LLM06:2025 Excessive AgencyLLM06:2025 Excessive Agency, official category page OWASP FoundationOriginal
- NIST AI RMF Abschnitt 3.5 Security of AgentsAbschnitt 3.5, p. 54 National Institute of Standards and Technology (NIST)Original
- MITRE ATLAS AML.T0048 External HarmsATLAS.yaml technique object with id AML.T0048 (pinned release v5.6.0) MITREOriginal
- EU AI Act Article 14(4)(d) Human oversightArticle 14(4)(d); for automation bias, Article 14(4)(b) European Union (EUR-Lex)Original
- EU AI Act Article 9(1), 9(2)(a), 9(2)(d) Risk management systemArticle 9(1), 9(2)(a), 9(2)(d), read with Article 9(3) European Union (EUR-Lex)Original
- BSI R28 Indirect Prompt Injections (Text)Kap. 4, R28, p. 33 Bundesamt für Sicherheit in der Informationstechnik (BSI)Original
- BSI R3 Fehlerhafte Reaktion auf Eingaben (Text, Bild, Video)Kap. 4, R3, p. 14 Bundesamt für Sicherheit in der Informationstechnik (BSI)Original
Begriffe auf dieser Seite
Fachbegriffe aus dem Glossar, die in diesem Eintrag vorkommen. Jeder Verweis führt zur vollständigen Erklärung.
- Prompt Injection Manipulierte Eingaben oder eingeschleuste Inhalte steuern ein Sprachmodell um.
Verwandte Bedrohungen
Weitere Einträge aus der Themengruppe Autonome KI und Agenten.
Diese Bedrohung im eigenen System bewerten
Die Live-Demo enthält alle 52 Bedrohungen dieses Katalogs samt EU-AI-Act- und DSGVO-Einwertung. Die kostenlosen Einzelmodule decken KI-Risiko, EU-KI-VO und DSGVO ab. Ohne Registrierung; die Bewertung läuft lokal in Ihrem Browser.
Diesen Eintrag zitieren
Für Berichte, Richtlinien oder interne Unterlagen; der Link führt direkt auf diesen Eintrag.
„Excessive Agency (übermäßige Handlungsermächtigung)“. Versatile AI Risk Assessment, KI-Bedrohungskatalog, Stand Juli 2026. https://www.versatile-ai-risk-assessment.com/wissensbasis/bedrohungen/excessive-agency/