Versatile AI Risk Assessment

KI-Bedrohungskatalog Manipulation von Modell und Trainingsdaten Entwicklung

Sleepy Agent (zeit-/ereignisgetriggerte verdeckte Instruktionen)

Im Modell schlummert verdeckte Schadlogik, die sich erst zeitversetzt aktiviert: an einem Stichtag, bei einem bestimmten Ereignis oder in einer bestimmten Umgebung. Bis dahin besteht das System alle Tests und Prüfungen unauffällig.

Stand: Oktober 2026 · Katalogversion 2026.10.24.2 · 6 Gegenmaßnahmen · 12 belegte Quellen

Beschreibung

Ein Sleepy Agent (schlafende Schadlogik) ist eine Sonderform der Backdoor, der versteckten Hintertür im Modell: Die eingebettete Logik reagiert nicht auf ein vom Angreifer eingespeistes Sondermuster, sondern auf Bedingungen aus dem Einsatzkontext wie Datum, Nutzerprofil oder Merkmale der Betriebsumgebung. Solange die Bedingung nicht erfüllt ist, verhält sich das Modell völlig normal und durchläuft Abnahmetests, Sicherheitsprüfungen und Pilotphasen ohne Befund. Eingebracht wird die Logik über vergiftete Trainings- oder Feinabstimmungsdaten oder über manipulierte Modelle aus der Lieferkette. Forschung zeigt, dass solches Verhalten selbst zusätzliches Sicherheitstraining überstehen kann. Gerade die verzögerte, an Bedingungen geknüpfte Aktivierung macht die Bedrohung besonders schwer testbar.

Mögliche Auswirkung

Das Unternehmen nimmt ein scheinbar gründlich geprüftes System in Betrieb, dessen Verhalten sich später zu einem vom Angreifer gewählten Zeitpunkt ändert. Der Schaden trifft den laufenden Betrieb: falsche Ergebnisse, manipulierte Empfehlungen oder unerwünschte Aktionen, häufig an vielen Stellen gleichzeitig. Weil Abnahmetests und Audits zuvor fehlerfrei waren, ist der Vorfall schwer zuzuordnen und erschüttert das Vertrauen in Test- und Freigabeprozesse.

Beispiel

Ein zugekaufter KI-Assistent für die Softwareentwicklung liefert während der gesamten Pilotphase einwandfreie Vorschläge. Ab einem im Modell verankerten Stichtag baut er in Code für Produktivsysteme unauffällige Sicherheitslücken ein. Solches stichtagsgebundene Verhalten wurde in der Forschung gezielt erzeugt und untersucht.

Empfohlene Gegenmaßnahmen (6)

Vergleichen Sie Wirkung und Umsetzungsebene. Die ergänzende Einordnung und Begründung können Sie bei Bedarf aufklappen.

  • Verhaltensanalyse unter diversen Bedingungen

    Technisch
    Wirkung
    Aufdeckend
    Umsetzungsebene
    Modell & Training
    Einordnung und Begründung

    Primär technisch: Software oder Analysewerkzeuge erzeugen und bewerten systematisch Messwerte, Abweichungen oder Angriffsindikatoren.

  • Tests mit verschobener Zeitbasis

    Technisch
    Wirkung
    Aufdeckend
    Umsetzungsebene
    Modell & Training
    Einordnung und Begründung

    Primär technisch: Software oder Analysewerkzeuge erzeugen und bewerten systematisch Messwerte, Abweichungen oder Angriffsindikatoren.

  • Adversariale Evaluierung über verschiedene Kontexte hinweg

    Technisch
    Wirkung
    Aufdeckend
    Umsetzungsebene
    Modell & Training
    Einordnung und Begründung

    Primär technisch: Software oder Analysewerkzeuge erzeugen und bewerten systematisch Messwerte, Abweichungen oder Angriffsindikatoren.

  • Laufzeit-Verhaltensüberwachung

    Technisch
    Wirkung
    Aufdeckend
    Umsetzungsebene
    Modell & Training, Nutzung & Betrieb
    Einordnung und Begründung

    Ergänzende MaßnahmenartOrganisatorisch & prozessual

    Primär technisch: Software oder Analysewerkzeuge erzeugen und bewerten systematisch Messwerte, Abweichungen oder Angriffsindikatoren; ergänzt durch verbindliche Abläufe.

  • Werkzeuge zur Modell-Interpretierbarkeit

    Technisch
    Wirkung
    Aufdeckend
    Umsetzungsebene
    Modell & Training
    Einordnung und Begründung

    Primär technisch: Software oder Analysewerkzeuge erzeugen und bewerten systematisch Messwerte, Abweichungen oder Angriffsindikatoren.

  • Integritätsprüfung der Lieferkette

    Technisch
    Wirkung
    Präventiv, Aufdeckend
    Umsetzungsebene
    Modell & Training, Lieferkette
    Einordnung und Begründung

    Ergänzende MaßnahmenartOrganisatorisch & prozessual

    Primär technisch: Software oder Analysewerkzeuge erzeugen und bewerten systematisch Messwerte, Abweichungen oder Angriffsindikatoren; ergänzt durch verbindliche Abläufe.

Standard-Zuordnungen

Verifizierte Fundstellen in OWASP, NIST AI RMF, MITRE ATLAS, EU AI Act und weiteren Rahmenwerken. Die Zuordnungen zeigen fachliche Bezüge. Sie belegen nicht, dass ein System die jeweiligen Anforderungen erfüllt.

OWASP LLM Top 10 LLM05:2026NIST AI RMF Abschnitt 2.9 · MEASURE 2.7 · NISTAML.023 · NISTAML.051MITRE ATLAS AML.T0018 · AML.T0020EU AI Act Article 53(1)(a) · Article 55(1)(a) · Article 9(1), 9(2)(a), 9(2)(d)BSI R19BIML BIML-LLM model:4

Belegte Referenzen (12)

Jede Referenz nennt Rahmenwerk, Fundstelle und die herausgebende Organisation.

Pflichten der KI-Verordnung zu dieser Bedrohung

Die Pflichten aus dem Pflichtenkompass, deren Artikel der Katalog dieser Bedrohung zuordnet. Jede führt auf ihren Eintrag mit Kern, Handlungsschritt und Nachweis; ob sie Sie trifft, hängt von Rolle und Risikoklasse ab.

  • Risikomanagementsystem einrichten und betreiben Art. 9 · gilt ab Anhang III: 2. Dezember 2027 · Anhang I: 2. August 2028

    Gesetzliche Rollen: Anbieter, Produkthersteller. Klassen: Hochrisiko nach Anhang III, Hochrisiko als Produkt oder Sicherheitsbauteil.

    Der Verweis ist ein Prüfanlass. Ein Bedrohungstreffer allein begründet keine Anwendbarkeit.

  • Technische Dokumentation des Modells erstellen Art. 53 Abs. 1 Buchst. a, Anhang XI · gilt ab 2. August 2025

    Gesetzliche Rollen: Anbieter eines KI-Modells mit allgemeinem Verwendungszweck. Klassen: KI-Modell mit allgemeinem Verwendungszweck, Modell mit systemischem Risiko.

    Der Verweis ist ein Prüfanlass. Ein Bedrohungstreffer allein begründet keine Anwendbarkeit.

  • Nachgelagerte Anbieter mit Informationen versorgen Art. 53 Abs. 1 Buchst. b, Anhang XII · gilt ab 2. August 2025

    Gesetzliche Rollen: Anbieter eines KI-Modells mit allgemeinem Verwendungszweck. Klassen: KI-Modell mit allgemeinem Verwendungszweck, Modell mit systemischem Risiko.

    Der Verweis ist ein Prüfanlass. Ein Bedrohungstreffer allein begründet keine Anwendbarkeit.

  • Urheberrecht beachten und Trainingsinhalte zusammenfassen Art. 53 Abs. 1 Buchst. c und d · gilt ab 2. August 2025

    Gesetzliche Rollen: Anbieter eines KI-Modells mit allgemeinem Verwendungszweck. Klassen: KI-Modell mit allgemeinem Verwendungszweck, Modell mit systemischem Risiko.

    Für Modelle unter einer freien und quelloffenen Lizenz mit öffentlich zugänglichen Parametern entfallen die Pflichten nach Buchst. a und b, nicht aber die Urheberrechtsstrategie und die Zusammenfassung. Modelle mit systemischem Risiko sind von dieser Erleichterung ausgenommen.

    Der Verweis ist ein Prüfanlass. Ein Bedrohungstreffer allein begründet keine Anwendbarkeit.

  • Systemische Risiken bewerten und mindern Art. 55 · gilt ab 2. August 2025

    Gesetzliche Rollen: Anbieter eines KI-Modells mit allgemeinem Verwendungszweck. Klassen: Modell mit systemischem Risiko.

    Der Verweis ist ein Prüfanlass. Ein Bedrohungstreffer allein begründet keine Anwendbarkeit.

Alle 62 Pflichten nach Rolle, Risikoklasse und Frist im Pflichtenkompass

Weitere Einträge aus der Themengruppe Manipulation von Modell und Trainingsdaten.

Vergiftung der Trainingsdaten Angreifer schleusen manipulierte oder falsche Daten in die Trainingsdaten eines KI-Modells ein. Gezielte Datenvergiftung / Label-Vergiftung Angreifer manipulieren gezielt einen kleinen Teil der Trainingsdaten, etwa über falsche Beschriftungen (Labels). Backdoor im ML-Modell In das Modell ist ein verstecktes Verhalten eingebaut, eine Backdoor (Hintertür).

Passende Anwendungsfälle

Die Liste zeigt, wo Sie diese Bedrohung prüfen, nicht wie hoch das Risiko ist.

Üblich bei:

Bei 11 weiteren Anwendungsfällen hängt es vom Aufbau des Systems ab, etwa davon, ob es Aufträge in normaler Sprache ausführt. Diese Anwendungsfälle zeigen

Häufige Fragen

Worum geht es bei dieser Bedrohung?
Im Modell schlummert verdeckte Schadlogik, die sich erst zeitversetzt aktiviert: an einem Stichtag, bei einem bestimmten Ereignis oder in einer bestimmten Umgebung. Bis dahin besteht das System alle Tests und Prüfungen unauffällig.
Welche Gegenmaßnahmen nennt der Katalog?
Der Katalog nennt 6 Gegenmaßnahmen, jede mit Maßnahmenart, Wirkung und Umsetzungsebene. Beispiele sind: Verhaltensanalyse unter diversen Bedingungen, Tests mit verschobener Zeitbasis und Adversariale Evaluierung über verschiedene Kontexte hinweg. Die Reihenfolge ist keine Priorisierung.
Welche Pflichten der KI-Verordnung können relevant sein?
Der Katalog ordnet diese Bedrohung Art. 9, Art. 53 Abs. 1 Buchst. a, Art. 53 Abs. 1 Buchst. b, Art. 53 Abs. 1 Buchst. c und d und Art. 55 der EU-KI-Verordnung zu. Daraus folgen im Pflichtenkompass: Risikomanagementsystem einrichten und betreiben, Technische Dokumentation des Modells erstellen, Nachgelagerte Anbieter mit Informationen versorgen, Urheberrecht beachten und Trainingsinhalte zusammenfassen und Systemische Risiken bewerten und mindern. Ob eine Pflicht gilt, entscheiden Rolle, Risikoklasse und Frist.

Diese Bedrohung im eigenen System bewerten

Die Live-Demo enthält alle 52 Bedrohungen dieses Katalogs sowie die Einordnung nach der EU-KI-Verordnung und die Datenschutzprüfung. Die kostenlosen Einzelmodule decken KI-Risiko, EU-KI-VO und DSGVO ab. Ohne Registrierung; die Bewertung läuft lokal in Ihrem Browser.

Live-Demo starten Kostenlose Module ansehen

Diesen Eintrag zitieren

Für Berichte, Richtlinien oder interne Unterlagen; der Link führt direkt auf diesen Eintrag.

„Sleepy Agent (zeit-/ereignisgetriggerte verdeckte Instruktionen)“. Versatile AI Risk Assessment, KI-Bedrohungskatalog, Stand Oktober 2026.
https://www.versatile-ai-risk-assessment.com/wissensbasis/bedrohungen/sleepy-agent/

← Zurück zum vollständigen Katalog