Versatile AI Risk Assessment

KI-Bedrohungskatalog Autonome KI und Agenten Produktion

Excessive Agency (übermäßige Handlungsermächtigung)

Ein KI-System erhält mehr Berechtigungen oder Entscheidungsfreiheit, als seine Aufgabe erfordert. Fehlerhafte oder manipulierte Ausgaben lösen dann direkt folgenreiche Aktionen aus, etwa Zahlungen, Datenlöschungen oder Systemänderungen.

Stand: Oktober 2026 · Katalogversion 2026.10.24.2 · 5 Gegenmaßnahmen · 7 belegte Quellen

Beschreibung

Viele KI-Assistenten sind über Schnittstellen mit anderen Systemen verbunden und können dort selbst handeln, etwa E-Mails versenden, Datensätze ändern oder Bestellungen auslösen. Die Bedrohung entsteht, wenn das System mehr Funktionen erhält als nötig, mit zu weitreichenden Berechtigungen arbeitet oder folgenreiche Schritte ohne menschliche Bestätigung ausführen darf. Sprachmodelle trennen dabei nicht zuverlässig zwischen Anweisungen und den Inhalten, die sie verarbeiten. Eine Prompt Injection (versteckte Anweisungen in verarbeiteten Inhalten), ein mehrdeutiger Auftrag oder ein schlichter Modellfehler kann deshalb eine schädliche Aktion auslösen. Das System handelt dann formal innerhalb seiner Berechtigungen, sodass klassische Zugriffskontrollen den Schaden nicht stoppen.

Mögliche Auswirkung

Mögliche Folgen sind ungewollte Finanztransaktionen, gelöschte oder veränderte Daten und Eingriffe in Produktivsysteme, je nachdem, womit das KI-System verbunden ist. Fließen dabei personenbezogene oder vertrauliche Daten ab, kommen Datenschutzverstöße und Meldepflichten hinzu. Der EU AI Act verlangt für Hochrisiko-Systeme eine wirksame menschliche Aufsicht, einschließlich der Möglichkeit, Ausgaben zu verwerfen und das System zu stoppen.

Beispiel

Ein KI-Assistent soll eingehende E-Mails nur zusammenfassen, besitzt aber auch die Berechtigung zum Versenden. Eine präparierte E-Mail mit versteckten Anweisungen bringt ihn dazu, vertrauliche Nachrichten aus dem Postfach an eine externe Adresse weiterzuleiten. Der Vorgang fällt erst auf, als die Daten das Unternehmen bereits verlassen haben.

Empfohlene Gegenmaßnahmen (5)

Vergleichen Sie Wirkung und Umsetzungsebene. Die ergänzende Einordnung und Begründung können Sie bei Bedarf aufklappen.

  • Least-Privilege für Agenten-Aktionen

    Technisch
    Wirkung
    Präventiv, Schadensbegrenzend
    Umsetzungsebene
    Anwendung, API & Agenten
    Einordnung und Begründung

    Ergänzende MaßnahmenartOrganisatorisch & prozessual

    Primär technisch: Maschinell erzwungene Identitäts-, Berechtigungs- oder Bereichsregeln begrenzen unzulässige Zugriffe und Aktionen; ergänzt durch verbindliche Abläufe.

  • Human-in-the-Loop-Freigabe für kritische Aktionen

    Organisatorisch & prozessual
    Wirkung
    Präventiv
    Umsetzungsebene
    Anwendung, API & Agenten, Nutzung & Betrieb
    Einordnung und Begründung

    Ergänzende MaßnahmenartMensch & Kompetenz

    Primär organisatorisch & prozessual: Ein verbindlicher Arbeitsablauf verlangt vor Nutzung oder Ausführung eine verantwortliche menschliche Entscheidung; ergänzt durch Fachwissen und Urteil.

  • Audit-Logging aller Aktionen

    Technisch
    Wirkung
    Aufdeckend
    Umsetzungsebene
    Anwendung, API & Agenten, Nutzung & Betrieb
    Einordnung und Begründung

    Ergänzende MaßnahmenartOrganisatorisch & prozessual

    Primär technisch: Software oder Analysewerkzeuge erzeugen und bewerten systematisch Messwerte, Abweichungen oder Angriffsindikatoren; ergänzt durch verbindliche Abläufe.

  • Rate-Limits auf Agenten-Operationen

    Technisch
    Wirkung
    Präventiv, Schadensbegrenzend
    Umsetzungsebene
    Anwendung, API & Agenten
    Einordnung und Begründung

    Ergänzende MaßnahmenartOrganisatorisch & prozessual

    Primär technisch: Automatisierte Ressourcensteuerung, Budget- oder Laufzeitgrenzen begrenzen Überlastung, Missbrauch, Kosten und Fehlerketten; ergänzt durch verbindliche Abläufe.

  • Reversibilität und Rollback-Fähigkeiten

    Technisch
    Wirkung
    Schadensbegrenzend, Wiederherstellend
    Umsetzungsebene
    Anwendung, API & Agenten, Nutzung & Betrieb
    Einordnung und Begründung

    Primär technisch: Versionierte Zustände oder Rücksetzmechanismen ermöglichen eine kontrollierte Wiederherstellung.

Standard-Zuordnungen

Verifizierte Fundstellen in OWASP, NIST AI RMF, MITRE ATLAS, EU AI Act und weiteren Rahmenwerken. Die Zuordnungen zeigen fachliche Bezüge. Sie belegen nicht, dass ein System die jeweiligen Anforderungen erfüllt.

OWASP LLM Top 10 LLM03:2026NIST AI RMF Abschnitt 3.5MITRE ATLAS AML.T0048EU AI Act Article 14(4)(d) · Article 9(1), 9(2)(a), 9(2)(d)BSI R28 · R3

Belegte Referenzen (7)

Jede Referenz nennt Rahmenwerk, Fundstelle und die herausgebende Organisation.

Pflichten der KI-Verordnung zu dieser Bedrohung

Die Pflichten aus dem Pflichtenkompass, deren Artikel der Katalog dieser Bedrohung zuordnet. Jede führt auf ihren Eintrag mit Kern, Handlungsschritt und Nachweis; ob sie Sie trifft, hängt von Rolle und Risikoklasse ab.

  • Risikomanagementsystem einrichten und betreiben Art. 9 · gilt ab Anhang III: 2. Dezember 2027 · Anhang I: 2. August 2028

    Gesetzliche Rollen: Anbieter, Produkthersteller. Klassen: Hochrisiko nach Anhang III, Hochrisiko als Produkt oder Sicherheitsbauteil.

    Der Verweis ist ein Prüfanlass. Ein Bedrohungstreffer allein begründet keine Anwendbarkeit.

  • Menschliche Aufsicht bei der Systemgestaltung berücksichtigen Art. 14 · gilt ab Anhang III: 2. Dezember 2027 · Anhang I: 2. August 2028

    Gesetzliche Rollen: Anbieter, Produkthersteller. Klassen: Hochrisiko nach Anhang III, Hochrisiko als Produkt oder Sicherheitsbauteil.

    Der Verweis ist ein Prüfanlass. Ein Bedrohungstreffer allein begründet keine Anwendbarkeit.

Alle 62 Pflichten nach Rolle, Risikoklasse und Frist im Pflichtenkompass

Begriffe auf dieser Seite

Fachbegriffe aus dem Glossar, die in diesem Eintrag vorkommen. Jeder Verweis führt zur vollständigen Erklärung.

  • Prompt Injection Manipulierte Eingaben oder eingeschleuste Inhalte steuern ein Sprachmodell um.

Weitere Einträge aus der Themengruppe Autonome KI und Agenten.

Misalignment (Fehlausrichtung) Das KI-System verfolgt nicht die Ziele, die Betreiber oder Nutzer beabsichtigen, sondern das, worauf es tatsächlich optimiert wurde. Agenten-KI / Autonome Agenten KI-Agenten planen mehrstufige Aufgaben selbstständig und führen sie mit Werkzeugen wie E-Mail, Datenbanken oder Codeausführung aus. Agenten-Memory-Poisoning (persistenter Kontext) KI-Agenten mit persistentem Gedächtnis übernehmen Informationen aus früheren Sitzungen als vertrauenswürdigen Kontext für künftige …

Passende Anwendungsfälle

Die Liste zeigt, wo Sie diese Bedrohung prüfen, nicht wie hoch das Risiko ist.

Besonders wichtig bei:

  • KI-AgentDer Agent hat Schreibrechte in mehreren Fachanwendungen, obwohl er für seine Aufgabe nur lesen müsste. Ein Fehler oder eine eingeschleuste Anweisung ändert dann Datensätze oder löst Zahlungen aus.
  • Automatisierte InhaltsmoderationDas System darf Konten ohne menschliche Prüfung sperren. Ein Fehler trifft dann viele Menschen gleichzeitig, bevor jemand ihn bemerkt.
  • Betrugserkennung im ZahlungsverkehrDas System darf Zahlungen ohne menschliche Prüfung ablehnen. Ist die Schwelle falsch eingestellt, stoppt es in kurzer Zeit viele rechtmäßige Zahlungen.
  • Algorithmisches ManagementDas System darf Schichten entziehen oder Konten sperren, wenn Messwerte unter eine Grenze fallen. Ein Messfehler, etwa ein falscher Standort, kostet eine Person dann ohne Prüfung ihr Einkommen.
  • Absatz- und BedarfsprognoseBestellt das System ohne Freigabe, schlägt ein Prognosefehler in vielen Filialen zugleich durch. Frischware verdirbt dann im Lager, oder die Regale bleiben leer.
  • Autonome mobile Roboter in der IntralogistikRoboter und Menschen arbeiten in denselben Bereichen. Erlaubt die Steuerung den Robotern mehr, als das Schutzkonzept vorsieht, etwa höheres Tempo oder die Einfahrt in gesperrte Zonen, drohen Zusammenstöße.
  • Coding-AgentDarf der Agent in den Hauptzweig, in Zugänge zum laufenden Betrieb oder in Cloudkonten schreiben, richtet ein Fehlgriff Schaden außerhalb der Entwicklungsumgebung an. Eine Änderung, die ohne Prüfung zusammengeführt wird, landet so direkt im laufenden Betrieb.

Üblich bei:

Bei 33 weiteren Anwendungsfällen hängt es vom Aufbau des Systems ab, etwa davon, ob es Daten verändert oder Vorgänge auslöst oder andere Programme oder Schnittstellen aufruft. Diese Anwendungsfälle zeigen

Häufige Fragen

Worum geht es bei dieser Bedrohung?
Ein KI-System erhält mehr Berechtigungen oder Entscheidungsfreiheit, als seine Aufgabe erfordert. Fehlerhafte oder manipulierte Ausgaben lösen dann direkt folgenreiche Aktionen aus, etwa Zahlungen, Datenlöschungen oder Systemänderungen.
Welche Gegenmaßnahmen nennt der Katalog?
Der Katalog nennt 5 Gegenmaßnahmen, jede mit Maßnahmenart, Wirkung und Umsetzungsebene. Beispiele sind: Least-Privilege für Agenten-Aktionen, Human-in-the-Loop-Freigabe für kritische Aktionen und Audit-Logging aller Aktionen. Die Reihenfolge ist keine Priorisierung.
Welche Pflichten der KI-Verordnung können relevant sein?
Der Katalog ordnet diese Bedrohung Art. 9 und Art. 14 der EU-KI-Verordnung zu. Daraus folgen im Pflichtenkompass: Risikomanagementsystem einrichten und betreiben und Menschliche Aufsicht bei der Systemgestaltung berücksichtigen. Ob eine Pflicht gilt, entscheiden Rolle, Risikoklasse und Frist.

Diese Bedrohung im eigenen System bewerten

Die Live-Demo enthält alle 52 Bedrohungen dieses Katalogs sowie die Einordnung nach der EU-KI-Verordnung und die Datenschutzprüfung. Die kostenlosen Einzelmodule decken KI-Risiko, EU-KI-VO und DSGVO ab. Ohne Registrierung; die Bewertung läuft lokal in Ihrem Browser.

Live-Demo starten Kostenlose Module ansehen

Diesen Eintrag zitieren

Für Berichte, Richtlinien oder interne Unterlagen; der Link führt direkt auf diesen Eintrag.

„Excessive Agency (übermäßige Handlungsermächtigung)“. Versatile AI Risk Assessment, KI-Bedrohungskatalog, Stand Oktober 2026.
https://www.versatile-ai-risk-assessment.com/wissensbasis/bedrohungen/excessive-agency/

← Zurück zum vollständigen Katalog