Versatile AI Risk Assessment

KI-Bedrohungskatalog Manipulation von Modell und Trainingsdaten Entwicklung

Backdoor im ML-Modell

In das Modell ist ein verstecktes Verhalten eingebaut, eine Backdoor (Hintertür). Bei normalen Eingaben arbeitet es korrekt; erst ein geheimes Auslösemuster in der Eingabe kippt die Ausgabe in das vom Angreifer gewünschte Ergebnis.

Stand: Oktober 2026 · Katalogversion 2026.10.24.2 · 4 Gegenmaßnahmen · 16 belegte Quellen

Beschreibung

Für eine Backdoor verknüpfen Angreifer ein unauffälliges Auslösemuster (Trigger), etwa ein bestimmtes Bildelement oder eine Zeichenfolge, fest mit einer von ihnen gewählten Ausgabe. Das Muster kann so gestaltet sein, dass Menschen es gar nicht wahrnehmen. Eingebaut wird die Hintertür über vergiftete Trainingsdaten, über direkt veränderte Modellgewichte oder über kompromittierte vortrainierte Modelle aus öffentlichen Quellen. Solche Hintertüren können erhalten bleiben, selbst wenn das Unternehmen das Modell später nachtrainiert oder mit zusätzlichem Sicherheitstraining härtet. Da das Modell bei allen normalen Eingaben korrekt arbeitet, sind Backdoors mit üblichen Tests kaum zu entdecken.

Mögliche Auswirkung

Der Angreifer kann das Fehlverhalten jederzeit gezielt auslösen und damit Sicherheits- und Prüffunktionen aushebeln, etwa Zugangskontrollen oder Erkennungssysteme. Ab der Aktivierung sind Ergebnisse und automatisierte Entscheidungen des Systems nicht mehr vertrauenswürdig. Dem Unternehmen drohen Sicherheitsvorfälle, Vertragsverletzungen und, bei Hochrisiko-KI, aufsichtliche Konsequenzen, weil die dort geforderte Robustheit des KI-Systems fehlt.

Beispiel

Ein Bürogebäude sichert den Zutritt mit einer KI-Kamera, die gefährliche Gegenstände erkennen soll. In das zugekaufte Modell wurde eine Hintertür eingebaut: Wer ein Kleidungsstück mit einem bestimmten Aufdruck trägt, löst trotz sichtbar mitgeführter Waffe keinen Alarm aus.

Empfohlene Gegenmaßnahmen (4)

Vergleichen Sie Wirkung und Umsetzungsebene. Die ergänzende Einordnung und Begründung können Sie bei Bedarf aufklappen.

  • Modell-Scanning auf Backdoors

    Technisch
    Wirkung
    Aufdeckend
    Umsetzungsebene
    Modell & Training
    Einordnung und Begründung

    Primär technisch: Software oder Analysewerkzeuge erzeugen und bewerten systematisch Messwerte, Abweichungen oder Angriffsindikatoren.

  • Neural-Cleanse-Techniken

    Technisch
    Wirkung
    Aufdeckend
    Umsetzungsebene
    Modell & Training
    Einordnung und Begründung

    Primär technisch: Software oder Analysewerkzeuge erzeugen und bewerten systematisch Messwerte, Abweichungen oder Angriffsindikatoren.

  • Analyse von Aktivierungs-Clustern

    Technisch
    Wirkung
    Aufdeckend
    Umsetzungsebene
    Modell & Training
    Einordnung und Begründung

    Primär technisch: Software oder Analysewerkzeuge erzeugen und bewerten systematisch Messwerte, Abweichungen oder Angriffsindikatoren.

  • Nur von vertrauenswürdigen Basismodellen trainieren

    Organisatorisch & prozessual
    Wirkung
    Präventiv
    Umsetzungsebene
    Modell & Training, Lieferkette
    Einordnung und Begründung

    Ergänzende MaßnahmenartTechnisch

    Primär organisatorisch & prozessual: Festgelegte Auswahl-, Betriebs- oder Lebenszyklusabläufe machen die Maßnahme verbindlich und wiederholbar; ergänzt durch technische Umsetzung.

Standard-Zuordnungen

Verifizierte Fundstellen in OWASP, NIST AI RMF, MITRE ATLAS, EU AI Act und weiteren Rahmenwerken. Die Zuordnungen zeigen fachliche Bezüge. Sie belegen nicht, dass ein System die jeweiligen Anforderungen erfüllt.

OWASP LLM Top 10 LLM04:2026 · LLM05:2026NIST AI RMF Abschnitt 2.9 · MEASURE 2.7 · NISTAML.021 · NISTAML.023 · NISTAML.026 · NISTAML.051MITRE ATLAS AML.T0018EU AI Act Article 53(1)(a) · Article 55(1)(a) · Article 9(1), 9(2)(a), 9(2)(d)BSI R19 · R20BIML BIML-LLM model:4 · BIML78 model:2

Belegte Referenzen (16)

Jede Referenz nennt Rahmenwerk, Fundstelle und die herausgebende Organisation.

Pflichten der KI-Verordnung zu dieser Bedrohung

Die Pflichten aus dem Pflichtenkompass, deren Artikel der Katalog dieser Bedrohung zuordnet. Jede führt auf ihren Eintrag mit Kern, Handlungsschritt und Nachweis; ob sie Sie trifft, hängt von Rolle und Risikoklasse ab.

  • Risikomanagementsystem einrichten und betreiben Art. 9 · gilt ab Anhang III: 2. Dezember 2027 · Anhang I: 2. August 2028

    Gesetzliche Rollen: Anbieter, Produkthersteller. Klassen: Hochrisiko nach Anhang III, Hochrisiko als Produkt oder Sicherheitsbauteil.

    Der Verweis ist ein Prüfanlass. Ein Bedrohungstreffer allein begründet keine Anwendbarkeit.

  • Technische Dokumentation des Modells erstellen Art. 53 Abs. 1 Buchst. a, Anhang XI · gilt ab 2. August 2025

    Gesetzliche Rollen: Anbieter eines KI-Modells mit allgemeinem Verwendungszweck. Klassen: KI-Modell mit allgemeinem Verwendungszweck, Modell mit systemischem Risiko.

    Der Verweis ist ein Prüfanlass. Ein Bedrohungstreffer allein begründet keine Anwendbarkeit.

  • Nachgelagerte Anbieter mit Informationen versorgen Art. 53 Abs. 1 Buchst. b, Anhang XII · gilt ab 2. August 2025

    Gesetzliche Rollen: Anbieter eines KI-Modells mit allgemeinem Verwendungszweck. Klassen: KI-Modell mit allgemeinem Verwendungszweck, Modell mit systemischem Risiko.

    Der Verweis ist ein Prüfanlass. Ein Bedrohungstreffer allein begründet keine Anwendbarkeit.

  • Urheberrecht beachten und Trainingsinhalte zusammenfassen Art. 53 Abs. 1 Buchst. c und d · gilt ab 2. August 2025

    Gesetzliche Rollen: Anbieter eines KI-Modells mit allgemeinem Verwendungszweck. Klassen: KI-Modell mit allgemeinem Verwendungszweck, Modell mit systemischem Risiko.

    Für Modelle unter einer freien und quelloffenen Lizenz mit öffentlich zugänglichen Parametern entfallen die Pflichten nach Buchst. a und b, nicht aber die Urheberrechtsstrategie und die Zusammenfassung. Modelle mit systemischem Risiko sind von dieser Erleichterung ausgenommen.

    Der Verweis ist ein Prüfanlass. Ein Bedrohungstreffer allein begründet keine Anwendbarkeit.

  • Systemische Risiken bewerten und mindern Art. 55 · gilt ab 2. August 2025

    Gesetzliche Rollen: Anbieter eines KI-Modells mit allgemeinem Verwendungszweck. Klassen: Modell mit systemischem Risiko.

    Der Verweis ist ein Prüfanlass. Ein Bedrohungstreffer allein begründet keine Anwendbarkeit.

Alle 62 Pflichten nach Rolle, Risikoklasse und Frist im Pflichtenkompass

Weitere Einträge aus der Themengruppe Manipulation von Modell und Trainingsdaten.

Vergiftung der Trainingsdaten Angreifer schleusen manipulierte oder falsche Daten in die Trainingsdaten eines KI-Modells ein. Gezielte Datenvergiftung / Label-Vergiftung Angreifer manipulieren gezielt einen kleinen Teil der Trainingsdaten, etwa über falsche Beschriftungen (Labels). Sleepy Agent (zeit-/ereignisgetriggerte verdeckte Instruktionen) Im Modell schlummert verdeckte Schadlogik, die sich erst zeitversetzt aktiviert: an einem Stichtag, bei einem bestimmten Ereignis oder in …

Passende Anwendungsfälle

Die Liste zeigt, wo Sie diese Bedrohung prüfen, nicht wie hoch das Risiko ist.

Üblich bei:

Bei 8 weiteren Anwendungsfällen hängt es vom Aufbau des Systems ab, etwa davon, ob es mit Ihren eigenen Daten trainiert wird oder ein Modell eines anderen Anbieters nutzt. Diese Anwendungsfälle zeigen

Häufige Fragen

Worum geht es bei dieser Bedrohung?
In das Modell ist ein verstecktes Verhalten eingebaut, eine Backdoor (Hintertür). Bei normalen Eingaben arbeitet es korrekt; erst ein geheimes Auslösemuster in der Eingabe kippt die Ausgabe in das vom Angreifer gewünschte Ergebnis.
Welche Gegenmaßnahmen nennt der Katalog?
Der Katalog nennt 4 Gegenmaßnahmen, jede mit Maßnahmenart, Wirkung und Umsetzungsebene. Beispiele sind: Modell-Scanning auf Backdoors, Neural-Cleanse-Techniken und Analyse von Aktivierungs-Clustern. Die Reihenfolge ist keine Priorisierung.
Welche Pflichten der KI-Verordnung können relevant sein?
Der Katalog ordnet diese Bedrohung Art. 9, Art. 53 Abs. 1 Buchst. a, Art. 53 Abs. 1 Buchst. b, Art. 53 Abs. 1 Buchst. c und d und Art. 55 der EU-KI-Verordnung zu. Daraus folgen im Pflichtenkompass: Risikomanagementsystem einrichten und betreiben, Technische Dokumentation des Modells erstellen, Nachgelagerte Anbieter mit Informationen versorgen, Urheberrecht beachten und Trainingsinhalte zusammenfassen und Systemische Risiken bewerten und mindern. Ob eine Pflicht gilt, entscheiden Rolle, Risikoklasse und Frist.

Diese Bedrohung im eigenen System bewerten

Die Live-Demo enthält alle 52 Bedrohungen dieses Katalogs sowie die Einordnung nach der EU-KI-Verordnung und die Datenschutzprüfung. Die kostenlosen Einzelmodule decken KI-Risiko, EU-KI-VO und DSGVO ab. Ohne Registrierung; die Bewertung läuft lokal in Ihrem Browser.

Live-Demo starten Kostenlose Module ansehen

Diesen Eintrag zitieren

Für Berichte, Richtlinien oder interne Unterlagen; der Link führt direkt auf diesen Eintrag.

„Backdoor im ML-Modell“. Versatile AI Risk Assessment, KI-Bedrohungskatalog, Stand Oktober 2026.
https://www.versatile-ai-risk-assessment.com/wissensbasis/bedrohungen/backdoor-im-ml-modell/

← Zurück zum vollständigen Katalog