Versatile AI Risk Assessment

KI-Bedrohungskatalog Manipulation von Modell und Trainingsdaten Entwicklung

Vergiftung der Trainingsdaten

Angreifer schleusen manipulierte oder falsche Daten in die Trainingsdaten eines KI-Modells ein. Das Modell lernt dadurch verzerrte Muster, wird unzuverlässig oder erhält verstecktes Fehlverhalten, das später kaum noch zu erkennen ist.

Stand: Oktober 2026 · Katalogversion 2026.10.24.2 · 4 Gegenmaßnahmen · 16 belegte Quellen

Beschreibung

Viele KI-Modelle lernen aus riesigen Datenmengen, die automatisiert aus öffentlichen Quellen wie dem Internet gesammelt und oft ohne gründliche Integritätsprüfung übernommen werden. Genau dort setzt Data Poisoning (deutsch: Datenvergiftung) an: Angreifer verändern Inhalte in diesen Quellen, stellen präparierte Beispiele bereit oder übernehmen abgelaufene Internet-Domains, auf die bekannte Trainingsdatensätze noch verweisen. Auch Systeme, die im laufenden Betrieb aus Nutzereingaben weiterlernen, lassen sich auf diesem Weg vergiften. Die Manipulation kann beim Grundtraining ebenso ansetzen wie bei der späteren Feinabstimmung des Modells. Neben externen Angreifern kommen auch Innentäter und bereits verunreinigte Datenlieferungen von Dritten als Quelle in Frage.

Mögliche Auswirkung

Ein vergiftetes Modell liefert schlechtere oder gezielt verzerrte Ergebnisse, auf die sich Fachbereiche im Tagesgeschäft verlassen. Es drohen Fehlentscheidungen, Qualitätsmängel und Reputationsschäden, etwa wenn das System diskriminierende oder falsche Ausgaben produziert. Für Hochrisiko-KI benennt die EU-KI-Verordnung Datenvergiftung ausdrücklich als KI-spezifischen Angriff, gegen den das System widerstandsfähig sein muss; fehlende Vorsorge wird damit auch zum Compliance-Risiko.

Beispiel

Ein Unternehmen trainiert seinen Spam-Filter regelmäßig mit den von Nutzern gemeldeten E-Mails nach. Angreifer melden über Wochen massenhaft präparierte Nachrichten und verschieben so schleichend die Lernbasis. Danach stuft der Filter genau ihre Phishing-Mails als harmlos ein.

Empfohlene Gegenmaßnahmen (4)

Vergleichen Sie Wirkung und Umsetzungsebene. Die ergänzende Einordnung und Begründung können Sie bei Bedarf aufklappen.

  • Datenvalidierung und -bereinigung

    Technisch
    Wirkung
    Präventiv
    Umsetzungsebene
    Daten, Modell & Training
    Einordnung und Begründung

    Primär technisch: Systemseitige Prüf-, Transformations- oder Blockierregeln stoppen oder neutralisieren unzulässige Inhalte vor der Weiterverarbeitung.

  • Anomalie-Erkennung in Trainingsdaten

    Technisch
    Wirkung
    Präventiv, Aufdeckend
    Umsetzungsebene
    Daten, Modell & Training
    Einordnung und Begründung

    Primär technisch: Software oder Analysewerkzeuge erzeugen und bewerten systematisch Messwerte, Abweichungen oder Angriffsindikatoren.

  • Differential Privacy (primär Datenschutz, begrenzte Wirkung gegen Vergiftung)

    Technisch
    Wirkung
    Präventiv
    Umsetzungsebene
    Daten, Modell & Training
    Einordnung und Begründung

    Primär technisch: Minimierung, Randomisierung, gleichförmige Verarbeitung oder Abfragebegrenzung reduzieren den Informationsgewinn aus wiederholten Beobachtungen.

  • Robuste Trainingsverfahren

    Technisch
    Wirkung
    Präventiv
    Umsetzungsebene
    Daten, Modell & Training
    Einordnung und Begründung

    Primär technisch: Ein Modell-, Trainings- oder Datenverfahren verändert Systemverhalten oder Robustheit unmittelbar.

Standard-Zuordnungen

Verifizierte Fundstellen in OWASP, NIST AI RMF, MITRE ATLAS, EU AI Act und weiteren Rahmenwerken. Die Zuordnungen zeigen fachliche Bezüge. Sie belegen nicht, dass ein System die jeweiligen Anforderungen erfüllt.

OWASP LLM Top 10 LLM05:2026 · LLM06:2026NIST AI RMF Abschnitt 2.9 · MEASURE 2.5 · NISTAML.012 · NISTAML.013MITRE ATLAS AML.T0020EU AI Act Article 53(1)(d) · Article 55(1)(a) · Article 9(1), 9(2)(a), 9(2)(d)BSI R17 · R20 · R21BIML BIML-LLM LLMtop10:6 · BIML78 data:1 · BIML78 raw:2

Belegte Referenzen (16)

Jede Referenz nennt Rahmenwerk, Fundstelle und die herausgebende Organisation.

Pflichten der KI-Verordnung zu dieser Bedrohung

Die Pflichten aus dem Pflichtenkompass, deren Artikel der Katalog dieser Bedrohung zuordnet. Jede führt auf ihren Eintrag mit Kern, Handlungsschritt und Nachweis; ob sie Sie trifft, hängt von Rolle und Risikoklasse ab.

  • Risikomanagementsystem einrichten und betreiben Art. 9 · gilt ab Anhang III: 2. Dezember 2027 · Anhang I: 2. August 2028

    Gesetzliche Rollen: Anbieter, Produkthersteller. Klassen: Hochrisiko nach Anhang III, Hochrisiko als Produkt oder Sicherheitsbauteil.

    Der Verweis ist ein Prüfanlass. Ein Bedrohungstreffer allein begründet keine Anwendbarkeit.

  • Technische Dokumentation des Modells erstellen Art. 53 Abs. 1 Buchst. a, Anhang XI · gilt ab 2. August 2025

    Gesetzliche Rollen: Anbieter eines KI-Modells mit allgemeinem Verwendungszweck. Klassen: KI-Modell mit allgemeinem Verwendungszweck, Modell mit systemischem Risiko.

    Der Verweis ist ein Prüfanlass. Ein Bedrohungstreffer allein begründet keine Anwendbarkeit.

  • Nachgelagerte Anbieter mit Informationen versorgen Art. 53 Abs. 1 Buchst. b, Anhang XII · gilt ab 2. August 2025

    Gesetzliche Rollen: Anbieter eines KI-Modells mit allgemeinem Verwendungszweck. Klassen: KI-Modell mit allgemeinem Verwendungszweck, Modell mit systemischem Risiko.

    Der Verweis ist ein Prüfanlass. Ein Bedrohungstreffer allein begründet keine Anwendbarkeit.

  • Urheberrecht beachten und Trainingsinhalte zusammenfassen Art. 53 Abs. 1 Buchst. c und d · gilt ab 2. August 2025

    Gesetzliche Rollen: Anbieter eines KI-Modells mit allgemeinem Verwendungszweck. Klassen: KI-Modell mit allgemeinem Verwendungszweck, Modell mit systemischem Risiko.

    Für Modelle unter einer freien und quelloffenen Lizenz mit öffentlich zugänglichen Parametern entfallen die Pflichten nach Buchst. a und b, nicht aber die Urheberrechtsstrategie und die Zusammenfassung. Modelle mit systemischem Risiko sind von dieser Erleichterung ausgenommen.

    Der Verweis ist ein Prüfanlass. Ein Bedrohungstreffer allein begründet keine Anwendbarkeit.

  • Systemische Risiken bewerten und mindern Art. 55 · gilt ab 2. August 2025

    Gesetzliche Rollen: Anbieter eines KI-Modells mit allgemeinem Verwendungszweck. Klassen: Modell mit systemischem Risiko.

    Der Verweis ist ein Prüfanlass. Ein Bedrohungstreffer allein begründet keine Anwendbarkeit.

Alle 62 Pflichten nach Rolle, Risikoklasse und Frist im Pflichtenkompass

Begriffe auf dieser Seite

Fachbegriffe aus dem Glossar, die in diesem Eintrag vorkommen. Jeder Verweis führt zur vollständigen Erklärung.

Weitere Einträge aus der Themengruppe Manipulation von Modell und Trainingsdaten.

Gezielte Datenvergiftung / Label-Vergiftung Angreifer manipulieren gezielt einen kleinen Teil der Trainingsdaten, etwa über falsche Beschriftungen (Labels). Backdoor im ML-Modell In das Modell ist ein verstecktes Verhalten eingebaut, eine Backdoor (Hintertür). Sleepy Agent (zeit-/ereignisgetriggerte verdeckte Instruktionen) Im Modell schlummert verdeckte Schadlogik, die sich erst zeitversetzt aktiviert: an einem Stichtag, bei einem bestimmten Ereignis oder in …

Passende Anwendungsfälle

Die Liste zeigt, wo Sie diese Bedrohung prüfen, nicht wie hoch das Risiko ist.

Besonders wichtig bei:

  • EmpfehlungssystemEin Händler erzeugt mit gekauften Bewertungen und automatisierten Klicks künstliches Interesse an seinen Produkten. Das Modell lernt daraus und empfiehlt sie vielen Menschen an prominenter Stelle.
  • Dynamische Preisgestaltung (Dynamic Pricing)Ein Wettbewerber setzt kurzzeitig auffällige Preise oder erzeugt künstliche Nachfrage. Das Modell lernt daraus und passt die eigenen Preise in eine Richtung an, die dem Betreiber schadet.
  • Personalisierte Online-Werbung (Behavioural Targeting)Klickbetrug mit automatisierten Aufrufen erzeugt scheinbares Interesse an bestimmten Anzeigen. Das Modell lernt daraus falsche Zusammenhänge, und Werbetreibende zahlen für Reichweite, die es nicht gibt.
  • Algorithmisches ManagementDie Messwerte aus dem Betrieb steuern die künftige Zuteilung. Wer Standortdaten fälscht oder Aufträge gezielt ablehnt, verschiebt so die Werte, nach denen das System alle anderen einteilt.
  • Risikobasierte Prüfauswahl bei Anträgen und LeistungenGeprüft und damit zum Lernbeispiel werden vor allem die Fälle, die das Modell selbst ausgewählt hat. So bestätigt es seine früheren Annahmen, und Gruppen, die es einmal häufiger ausgewählt hat, geraten immer öfter in die Prüfung.
  • Vorausschauende Instandhaltung (Predictive Maintenance)Die Messreihen, aus denen das Modell lernt, laufen über Steuerungen und Netze der Anlage. Wer sie unbemerkt verändert, kann dem Modell einen schadhaften Zustand als normal beibringen, und die Warnung bleibt später aus.
  • KI-gestützte AngriffserkennungWer sich früh im Netz festsetzt, dehnt sein Verhalten Schritt für Schritt aus, bis das System es als normal gelernt hat. Ein späterer Datenabfluss löst dann keine Meldung mehr aus.

Üblich bei:

Bei 30 weiteren Anwendungsfällen hängt es vom Aufbau des Systems ab, etwa davon, ob es Rückmeldungen aus dem Betrieb verwertet oder mit Ihren eigenen Daten trainiert wird. Diese Anwendungsfälle zeigen

Häufige Fragen

Worum geht es bei dieser Bedrohung?
Angreifer schleusen manipulierte oder falsche Daten in die Trainingsdaten eines KI-Modells ein. Das Modell lernt dadurch verzerrte Muster, wird unzuverlässig oder erhält verstecktes Fehlverhalten, das später kaum noch zu erkennen ist.
Welche Gegenmaßnahmen nennt der Katalog?
Der Katalog nennt 4 Gegenmaßnahmen, jede mit Maßnahmenart, Wirkung und Umsetzungsebene. Beispiele sind: Datenvalidierung und -bereinigung, Anomalie-Erkennung in Trainingsdaten und Differential Privacy (primär Datenschutz, begrenzte Wirkung gegen Vergiftung). Die Reihenfolge ist keine Priorisierung.
Welche Pflichten der KI-Verordnung können relevant sein?
Der Katalog ordnet diese Bedrohung Art. 9, Art. 53 Abs. 1 Buchst. a, Art. 53 Abs. 1 Buchst. b, Art. 53 Abs. 1 Buchst. c und d und Art. 55 der EU-KI-Verordnung zu. Daraus folgen im Pflichtenkompass: Risikomanagementsystem einrichten und betreiben, Technische Dokumentation des Modells erstellen, Nachgelagerte Anbieter mit Informationen versorgen, Urheberrecht beachten und Trainingsinhalte zusammenfassen und Systemische Risiken bewerten und mindern. Ob eine Pflicht gilt, entscheiden Rolle, Risikoklasse und Frist.

Diese Bedrohung im eigenen System bewerten

Die Live-Demo enthält alle 52 Bedrohungen dieses Katalogs sowie die Einordnung nach der EU-KI-Verordnung und die Datenschutzprüfung. Die kostenlosen Einzelmodule decken KI-Risiko, EU-KI-VO und DSGVO ab. Ohne Registrierung; die Bewertung läuft lokal in Ihrem Browser.

Live-Demo starten Kostenlose Module ansehen

Diesen Eintrag zitieren

Für Berichte, Richtlinien oder interne Unterlagen; der Link führt direkt auf diesen Eintrag.

„Vergiftung der Trainingsdaten“. Versatile AI Risk Assessment, KI-Bedrohungskatalog, Stand Oktober 2026.
https://www.versatile-ai-risk-assessment.com/wissensbasis/bedrohungen/vergiftung-der-trainingsdaten/

← Zurück zum vollständigen Katalog