Versatile AI Risk Assessment

KI-Bedrohungskatalog Autonome KI und Agenten Produktion

Agenten-KI / Autonome Agenten

KI-Agenten planen mehrstufige Aufgaben selbstständig und führen sie mit Werkzeugen wie E-Mail, Datenbanken oder Codeausführung aus. Je weniger Menschen dabei mitwirken, desto weiter reichen Planungsfehler, manipulierte Inhalte und Folgefehler.

Stand: Oktober 2026 · Katalogversion 2026.10.24.2 · 7 Gegenmaßnahmen · 14 belegte Quellen

Beschreibung

Ein KI-Agent zerlegt einen Auftrag in Einzelschritte, ruft dafür selbstständig Werkzeuge und Schnittstellen auf und verarbeitet die Ergebnisse im nächsten Schritt weiter. In dieser Kette kumulieren mehrere Risiken: Planungs- und Bewertungsfehler setzen sich über die Schritte fort, und Angreifer können den Agenten über Inhalte umlenken, die er bei der Arbeit liest, etwa per Prompt Injection (versteckte Anweisungen in E-Mails, Dokumenten oder Webseiten). Ein umgelenkter oder fehlgeleiteter Agent nutzt dann seine legitimen Werkzeuge für schädliche Aktionen, führt Code aus oder leitet Daten nach außen. In Systemen aus mehreren Agenten kann sich ein einzelner Fehler kaskadenartig über weitere Agenten und Arbeitsabläufe ausbreiten.

Mögliche Auswirkung

Betroffen ist alles, was der Agent erreichen kann: Es drohen ungewollte Transaktionen, Datenabfluss, gelöschte Dateien und Ausfälle ganzer Abläufe. Kaskadeneffekte können den Schaden über das einzelne System hinaus ausweiten. Der EU AI Act verlangt für Hochrisiko-Systeme, dass Menschen wirksam beaufsichtigen, eingreifen und das System anhalten können; bei großen KI-Modellen mit allgemeinem Verwendungszweck nennt die Verordnung Autonomiegrad und Werkzeugzugriff als Faktoren systemischer Risiken.

Beispiel

Ein Entwicklungs-Agent mit Zugriff auf die Kommandozeile arbeitet Aufgaben aus Projektdateien ab. Eine präparierte Datei enthält versteckte Anweisungen, die der Agent als Auftrag versteht: Er führt einen Löschbefehl aus und vernichtet Daten auf dem System. Dabei bewegt er sich vollständig innerhalb seiner regulären Werkzeugrechte.

Empfohlene Gegenmaßnahmen (7)

Vergleichen Sie Wirkung und Umsetzungsebene. Die ergänzende Einordnung und Begründung können Sie bei Bedarf aufklappen.

  • Strikte Scope-Begrenzung für Agenten-Aktionen

    Technisch
    Wirkung
    Präventiv, Schadensbegrenzend
    Umsetzungsebene
    Anwendung, API & Agenten
    Einordnung und Begründung

    Primär technisch: Maschinell erzwungene Identitäts-, Berechtigungs- oder Bereichsregeln begrenzen unzulässige Zugriffe und Aktionen.

  • Menschliche Freigabe-Gates bei kritischen Schritten

    Organisatorisch & prozessual
    Wirkung
    Präventiv, Schadensbegrenzend
    Umsetzungsebene
    Anwendung, API & Agenten, Nutzung & Betrieb
    Einordnung und Begründung

    Ergänzende MaßnahmenartMensch & Kompetenz, Technisch

    Primär organisatorisch & prozessual: Ein verbindliches Freigabe-Gate stoppt kritische Agentenaktionen vor der Ausführung; menschliches Urteil entscheidet über Freigabe oder Ablehnung.

  • Aktions-Budgets und Schritt-Limits

    Technisch
    Wirkung
    Präventiv, Schadensbegrenzend
    Umsetzungsebene
    Anwendung, API & Agenten
    Einordnung und Begründung

    Primär technisch: Automatisierte Ressourcensteuerung, Budget- oder Laufzeitgrenzen begrenzen Überlastung, Missbrauch, Kosten und Fehlerketten.

  • Umfassende Agenten-Observability

    Technisch
    Wirkung
    Aufdeckend
    Umsetzungsebene
    Anwendung, API & Agenten, Nutzung & Betrieb
    Einordnung und Begründung

    Primär technisch: Software oder Analysewerkzeuge erzeugen und bewerten systematisch Messwerte, Abweichungen oder Angriffsindikatoren.

  • Reversible Operationen wo möglich

    Technisch
    Wirkung
    Schadensbegrenzend, Wiederherstellend
    Umsetzungsebene
    Anwendung, API & Agenten, Nutzung & Betrieb
    Einordnung und Begründung

    Primär technisch: Versionierte Zustände oder Rücksetzmechanismen ermöglichen eine kontrollierte Wiederherstellung.

  • Simulation / Dry-Run vor Produktion

    Technisch
    Wirkung
    Präventiv, Aufdeckend
    Umsetzungsebene
    Anwendung, API & Agenten, Nutzung & Betrieb
    Einordnung und Begründung

    Primär technisch: Software oder Analysewerkzeuge erzeugen und bewerten systematisch Messwerte, Abweichungen oder Angriffsindikatoren.

  • Agenten-Security-Sandboxing

    Technisch
    Wirkung
    Präventiv, Schadensbegrenzend
    Umsetzungsebene
    Anwendung, API & Agenten, Infrastruktur
    Einordnung und Begründung

    Primär technisch: Architektur- und Laufzeitgrenzen trennen Daten, Ausführung oder Mandanten und begrenzen die Fehlerausbreitung.

Standard-Zuordnungen

Verifizierte Fundstellen in OWASP, NIST AI RMF, MITRE ATLAS, EU AI Act und weiteren Rahmenwerken. Die Zuordnungen zeigen fachliche Bezüge. Sie belegen nicht, dass ein System die jeweiligen Anforderungen erfüllt.

OWASP LLM Top 10 ASI01:2026 · ASI02:2026 · ASI08:2026 · LLM01:2026 · LLM03:2026 · LLM06:2026NIST AI RMF Abschnitt 3.5MITRE ATLAS AML.T0051EU AI Act Article 14(4)(d) · Article 26(5) · Article 55(1)(a) · Article 9(1), 9(2)(a), 9(2)(d)BSI R28BIML BIML78 system:5

Belegte Referenzen (14)

Jede Referenz nennt Rahmenwerk, Fundstelle und die herausgebende Organisation.

Pflichten der KI-Verordnung zu dieser Bedrohung

Die Pflichten aus dem Pflichtenkompass, deren Artikel der Katalog dieser Bedrohung zuordnet. Jede führt auf ihren Eintrag mit Kern, Handlungsschritt und Nachweis; ob sie Sie trifft, hängt von Rolle und Risikoklasse ab.

  • Risikomanagementsystem einrichten und betreiben Art. 9 · gilt ab Anhang III: 2. Dezember 2027 · Anhang I: 2. August 2028

    Gesetzliche Rollen: Anbieter, Produkthersteller. Klassen: Hochrisiko nach Anhang III, Hochrisiko als Produkt oder Sicherheitsbauteil.

    Der Verweis ist ein Prüfanlass. Ein Bedrohungstreffer allein begründet keine Anwendbarkeit.

  • Menschliche Aufsicht bei der Systemgestaltung berücksichtigen Art. 14 · gilt ab Anhang III: 2. Dezember 2027 · Anhang I: 2. August 2028

    Gesetzliche Rollen: Anbieter, Produkthersteller. Klassen: Hochrisiko nach Anhang III, Hochrisiko als Produkt oder Sicherheitsbauteil.

    Der Verweis ist ein Prüfanlass. Ein Bedrohungstreffer allein begründet keine Anwendbarkeit.

  • Betrieb überwachen und bei Risiko aussetzen Art. 26 Abs. 5 · gilt ab Anhang III: 2. Dezember 2027 · Anhang I: 2. August 2028

    Gesetzliche Rollen: Betreiber. Klassen: Hochrisiko nach Anhang III, Hochrisiko als Produkt oder Sicherheitsbauteil.

    Der Verweis ist ein Prüfanlass. Ein Bedrohungstreffer allein begründet keine Anwendbarkeit.

  • Systemische Risiken bewerten und mindern Art. 55 · gilt ab 2. August 2025

    Gesetzliche Rollen: Anbieter eines KI-Modells mit allgemeinem Verwendungszweck. Klassen: Modell mit systemischem Risiko.

    Der Verweis ist ein Prüfanlass. Ein Bedrohungstreffer allein begründet keine Anwendbarkeit.

Alle 62 Pflichten nach Rolle, Risikoklasse und Frist im Pflichtenkompass

Begriffe auf dieser Seite

Fachbegriffe aus dem Glossar, die in diesem Eintrag vorkommen. Jeder Verweis führt zur vollständigen Erklärung.

  • Prompt Injection Manipulierte Eingaben oder eingeschleuste Inhalte steuern ein Sprachmodell um.
  • Autonomiegrad Wie viel ein System ohne menschliches Zutun entscheidet und ausführt.

Weitere Einträge aus der Themengruppe Autonome KI und Agenten.

Excessive Agency (übermäßige Handlungsermächtigung) Ein KI-System erhält mehr Berechtigungen oder Entscheidungsfreiheit, als seine Aufgabe erfordert. Misalignment (Fehlausrichtung) Das KI-System verfolgt nicht die Ziele, die Betreiber oder Nutzer beabsichtigen, sondern das, worauf es tatsächlich optimiert wurde. Agenten-Memory-Poisoning (persistenter Kontext) KI-Agenten mit persistentem Gedächtnis übernehmen Informationen aus früheren Sitzungen als vertrauenswürdigen Kontext für künftige …

Passende Anwendungsfälle

Die Liste zeigt, wo Sie diese Bedrohung prüfen, nicht wie hoch das Risiko ist.

Besonders wichtig bei:

  • KI-AgentDer Agent wählt einen Lösungsweg, den niemand vorgesehen hat, und arbeitet ihn Schritt für Schritt ab. Bis jemand die Ergebnisse prüft, hat er bereits viele Vorgänge bearbeitet.

Üblich bei:

Bei 2 weiteren Anwendungsfällen hängt es vom Aufbau des Systems ab, etwa davon, ob es seine Arbeitsschritte selbst festlegt. Diese Anwendungsfälle zeigen

Häufige Fragen

Worum geht es bei dieser Bedrohung?
KI-Agenten planen mehrstufige Aufgaben selbstständig und führen sie mit Werkzeugen wie E-Mail, Datenbanken oder Codeausführung aus. Je weniger Menschen dabei mitwirken, desto weiter reichen Planungsfehler, manipulierte Inhalte und Folgefehler.
Welche Gegenmaßnahmen nennt der Katalog?
Der Katalog nennt 7 Gegenmaßnahmen, jede mit Maßnahmenart, Wirkung und Umsetzungsebene. Beispiele sind: Strikte Scope-Begrenzung für Agenten-Aktionen, Menschliche Freigabe-Gates bei kritischen Schritten und Aktions-Budgets und Schritt-Limits. Die Reihenfolge ist keine Priorisierung.
Welche Pflichten der KI-Verordnung können relevant sein?
Der Katalog ordnet diese Bedrohung Art. 9, Art. 14, Art. 26 Abs. 5 und Art. 55 der EU-KI-Verordnung zu. Daraus folgen im Pflichtenkompass: Risikomanagementsystem einrichten und betreiben, Menschliche Aufsicht bei der Systemgestaltung berücksichtigen, Betrieb überwachen und bei Risiko aussetzen und Systemische Risiken bewerten und mindern. Ob eine Pflicht gilt, entscheiden Rolle, Risikoklasse und Frist.

Diese Bedrohung im eigenen System bewerten

Die Live-Demo enthält alle 52 Bedrohungen dieses Katalogs sowie die Einordnung nach der EU-KI-Verordnung und die Datenschutzprüfung. Die kostenlosen Einzelmodule decken KI-Risiko, EU-KI-VO und DSGVO ab. Ohne Registrierung; die Bewertung läuft lokal in Ihrem Browser.

Live-Demo starten Kostenlose Module ansehen

Diesen Eintrag zitieren

Für Berichte, Richtlinien oder interne Unterlagen; der Link führt direkt auf diesen Eintrag.

„Agenten-KI / Autonome Agenten“. Versatile AI Risk Assessment, KI-Bedrohungskatalog, Stand Oktober 2026.
https://www.versatile-ai-risk-assessment.com/wissensbasis/bedrohungen/autonome-agenten/

← Zurück zum vollständigen Katalog