Versatile AI Risk Assessment

KI-Bedrohungskatalog Manipulation von Modell und Trainingsdaten Entwicklung

Gezielte Datenvergiftung / Label-Vergiftung

Angreifer manipulieren gezielt einen kleinen Teil der Trainingsdaten, etwa über falsche Beschriftungen (Labels). Das Modell wirkt insgesamt unauffällig, trifft aber bei bestimmten, vom Angreifer gewählten Fällen zuverlässig die falsche Entscheidung.

Stand: Oktober 2026 · Katalogversion 2026.10.24.2 · 4 Gegenmaßnahmen · 11 belegte Quellen

Beschreibung

Beim überwachten Lernen erhält jedes Trainingsbeispiel eine Beschriftung, das sogenannte Label, zum Beispiel 'Betrug' oder 'kein Betrug'. Bei der gezielten Vergiftung schreibt der Angreifer diese Labels für eine kleine Teilmenge um oder versieht Beispiele mit einem unauffälligen Auslösemuster (Trigger). Das Modell lernt so eine versteckte Ausnahmeregel, die nur bei den vom Angreifer gewählten Eingaben greift. Weil die Gesamtgenauigkeit normal bleibt, fällt die Manipulation bei üblichen Qualitätstests meist nicht auf. Angriffspunkte sind alle Stellen, an denen Daten beschriftet werden: eigene Teams, Crowdsourcing oder externe Dienstleister. Schon wenige manipulierte Datensätze können genügen.

Mögliche Auswirkung

Das Unternehmen verlässt sich auf ein System, das genau in den Fällen versagt, die für den Angreifer wertvoll sind, etwa in der Betrugsprüfung oder bei Zugangskontrollen. Solche blinden Flecken bleiben oft lange unentdeckt und verursachen finanzielle Schäden und Haftungsfragen. Zugleich verlieren Auswertungen und Berichte an Verlässlichkeit, weil sie auf verfälschten Entscheidungen aufbauen.

Beispiel

Ein Versicherer lässt Schadensmeldungen von einem externen Dienstleister beschriften, um seine Betrugserkennung zu trainieren. Ein Innentäter markiert dort eine bestimmte Art fingierter Meldungen konsequent als unauffällig. Das fertige Modell winkt dieses Betrugsmuster später automatisch durch.

Empfohlene Gegenmaßnahmen (4)

Vergleichen Sie Wirkung und Umsetzungsebene. Die ergänzende Einordnung und Begründung können Sie bei Bedarf aufklappen.

  • Label-Konsistenzprüfung

    Technisch
    Wirkung
    Präventiv, Aufdeckend
    Umsetzungsebene
    Daten, Modell & Training
    Einordnung und Begründung

    Ergänzende MaßnahmenartOrganisatorisch & prozessual

    Primär technisch: Software oder Analysewerkzeuge erzeugen und bewerten systematisch Messwerte, Abweichungen oder Angriffsindikatoren; ergänzt durch verbindliche Abläufe.

  • Ausreißer-Erkennung in Trainingsbeispielen

    Technisch
    Wirkung
    Präventiv, Aufdeckend
    Umsetzungsebene
    Daten, Modell & Training
    Einordnung und Begründung

    Primär technisch: Software oder Analysewerkzeuge erzeugen und bewerten systematisch Messwerte, Abweichungen oder Angriffsindikatoren.

  • Kreuzvalidierung mit sauberen Holdout-Sets

    Technisch
    Wirkung
    Aufdeckend
    Umsetzungsebene
    Daten, Modell & Training
    Einordnung und Begründung

    Primär technisch: Software oder Analysewerkzeuge erzeugen und bewerten systematisch Messwerte, Abweichungen oder Angriffsindikatoren.

  • Diversität der Datenquellen

    Organisatorisch & prozessual
    Wirkung
    Präventiv
    Umsetzungsebene
    Daten, Organisation
    Einordnung und Begründung

    Ergänzende MaßnahmenartTechnisch

    Primär organisatorisch & prozessual: Festgelegte Auswahl-, Betriebs- oder Lebenszyklusabläufe machen die Maßnahme verbindlich und wiederholbar; ergänzt durch technische Umsetzung.

Standard-Zuordnungen

Verifizierte Fundstellen in OWASP, NIST AI RMF, MITRE ATLAS, EU AI Act und weiteren Rahmenwerken. Die Zuordnungen zeigen fachliche Bezüge. Sie belegen nicht, dass ein System die jeweiligen Anforderungen erfüllt.

OWASP LLM Top 10 LLM05:2026NIST AI RMF Abschnitt 2.9 · NISTAML.012 · NISTAML.024MITRE ATLAS AML.T0020EU AI Act Article 53(1)(d) · Article 55(1)(a)BSI R17BIML BIML-LLM LLMtop10:6 · BIML78 assembly:2 · BIML78 data:6

Belegte Referenzen (11)

Jede Referenz nennt Rahmenwerk, Fundstelle und die herausgebende Organisation.

Pflichten der KI-Verordnung zu dieser Bedrohung

Die Pflichten aus dem Pflichtenkompass, deren Artikel der Katalog dieser Bedrohung zuordnet. Jede führt auf ihren Eintrag mit Kern, Handlungsschritt und Nachweis; ob sie Sie trifft, hängt von Rolle und Risikoklasse ab.

  • Technische Dokumentation des Modells erstellen Art. 53 Abs. 1 Buchst. a, Anhang XI · gilt ab 2. August 2025

    Gesetzliche Rollen: Anbieter eines KI-Modells mit allgemeinem Verwendungszweck. Klassen: KI-Modell mit allgemeinem Verwendungszweck, Modell mit systemischem Risiko.

    Der Verweis ist ein Prüfanlass. Ein Bedrohungstreffer allein begründet keine Anwendbarkeit.

  • Nachgelagerte Anbieter mit Informationen versorgen Art. 53 Abs. 1 Buchst. b, Anhang XII · gilt ab 2. August 2025

    Gesetzliche Rollen: Anbieter eines KI-Modells mit allgemeinem Verwendungszweck. Klassen: KI-Modell mit allgemeinem Verwendungszweck, Modell mit systemischem Risiko.

    Der Verweis ist ein Prüfanlass. Ein Bedrohungstreffer allein begründet keine Anwendbarkeit.

  • Urheberrecht beachten und Trainingsinhalte zusammenfassen Art. 53 Abs. 1 Buchst. c und d · gilt ab 2. August 2025

    Gesetzliche Rollen: Anbieter eines KI-Modells mit allgemeinem Verwendungszweck. Klassen: KI-Modell mit allgemeinem Verwendungszweck, Modell mit systemischem Risiko.

    Für Modelle unter einer freien und quelloffenen Lizenz mit öffentlich zugänglichen Parametern entfallen die Pflichten nach Buchst. a und b, nicht aber die Urheberrechtsstrategie und die Zusammenfassung. Modelle mit systemischem Risiko sind von dieser Erleichterung ausgenommen.

    Der Verweis ist ein Prüfanlass. Ein Bedrohungstreffer allein begründet keine Anwendbarkeit.

  • Systemische Risiken bewerten und mindern Art. 55 · gilt ab 2. August 2025

    Gesetzliche Rollen: Anbieter eines KI-Modells mit allgemeinem Verwendungszweck. Klassen: Modell mit systemischem Risiko.

    Der Verweis ist ein Prüfanlass. Ein Bedrohungstreffer allein begründet keine Anwendbarkeit.

Alle 62 Pflichten nach Rolle, Risikoklasse und Frist im Pflichtenkompass

Weitere Einträge aus der Themengruppe Manipulation von Modell und Trainingsdaten.

Vergiftung der Trainingsdaten Angreifer schleusen manipulierte oder falsche Daten in die Trainingsdaten eines KI-Modells ein. Backdoor im ML-Modell In das Modell ist ein verstecktes Verhalten eingebaut, eine Backdoor (Hintertür). Sleepy Agent (zeit-/ereignisgetriggerte verdeckte Instruktionen) Im Modell schlummert verdeckte Schadlogik, die sich erst zeitversetzt aktiviert: an einem Stichtag, bei einem bestimmten Ereignis oder in …

Passende Anwendungsfälle

Die Liste zeigt, wo Sie diese Bedrohung prüfen, nicht wie hoch das Risiko ist.

Besonders wichtig bei:

  • E-Discovery und KI-gestützte Dokumentenprüfung (TAR)Eine Prüferin kennzeichnet belastende Dokumente versehentlich oder absichtlich als unwichtig. Das Modell lernt daraus und schiebt ähnliche Dokumente ans Ende der Liste, wo niemand sie mehr liest.
  • Automatisierte InhaltsmoderationEine organisierte Gruppe meldet zulässige Beiträge einer Minderheit massenhaft als Hassrede. Fließen diese Meldungen ins Training ein, lernt das Modell, solche Beiträge künftig selbst zu entfernen.
  • Kreditscoring und BonitätsprüfungDas Modell lernt aus früheren Krediten, die als zurückgezahlt oder ausgefallen markiert sind. Sind diese Markierungen falsch oder manipuliert, verschiebt sich die Grenze zwischen Zusage und Ablehnung für alle späteren Anträge.
  • Betrugserkennung im ZahlungsverkehrMelden Kundinnen und Kunden eigene Käufe als Betrug, gelangen falsche Kennzeichnungen in die Lerndaten. Das Modell hält dann ähnliche rechtmäßige Zahlungen für verdächtig oder übersieht echte Fälle.
  • Geldwäscheerkennung und SanktionsscreeningDas Modell lernt aus den Entscheidungen der Fallbearbeitung. Wurden Fälle falsch geschlossen, lernt es, genau solche Muster künftig nicht mehr zu melden.
  • Automatisierte Bewertung von Prüfungsleistungen (Automated Essay Scoring)Das Modell übernimmt die Maßstäbe der Menschen, von deren Bewertungen es gelernt hat. Haben sie etwa Prüflinge mit einem bestimmten Akzent strenger bewertet, macht das System bei allen so weiter.
  • Automatisierte Immobilienbewertung (AVM)Verkäufe unter Verwandten oder mit falsch erfassten Flächen gelangen als Vergleichsfälle in die Lerndaten. Das Modell verschiebt dann die Werte ganzer Straßen oder Gebäudetypen.
  • Sprach- und Dialekterkennung im AsylverfahrenDas Modell übernimmt, wie Menschen Sprachproben den Dialekten zugeordnet haben. Sind Dialekte in den Lerndaten falsch zugeordnet oder kaum vertreten, ordnet das System alle, die sie sprechen, falsch ein.
  • Visuelle und akustische QualitätsprüfungWer Zugriff auf die Trainingsdaten hat, kann einzelne Fehlerbilder gezielt als „in Ordnung“ kennzeichnen. Das Modell lässt genau diesen Fehler dann durch, und die Teile gelangen unbemerkt in die Montage oder zum Kunden.

Üblich bei:

Bei 18 weiteren Anwendungsfällen hängt es vom Aufbau des Systems ab, etwa davon, ob es Rückmeldungen aus dem Betrieb verwertet oder aus Beispielen mit richtiger Antwort lernt. Diese Anwendungsfälle zeigen

Häufige Fragen

Worum geht es bei dieser Bedrohung?
Angreifer manipulieren gezielt einen kleinen Teil der Trainingsdaten, etwa über falsche Beschriftungen (Labels). Das Modell wirkt insgesamt unauffällig, trifft aber bei bestimmten, vom Angreifer gewählten Fällen zuverlässig die falsche Entscheidung.
Welche Gegenmaßnahmen nennt der Katalog?
Der Katalog nennt 4 Gegenmaßnahmen, jede mit Maßnahmenart, Wirkung und Umsetzungsebene. Beispiele sind: Label-Konsistenzprüfung, Ausreißer-Erkennung in Trainingsbeispielen und Kreuzvalidierung mit sauberen Holdout-Sets. Die Reihenfolge ist keine Priorisierung.
Welche Pflichten der KI-Verordnung können relevant sein?
Der Katalog ordnet diese Bedrohung Art. 53 Abs. 1 Buchst. a, Art. 53 Abs. 1 Buchst. b, Art. 53 Abs. 1 Buchst. c und d und Art. 55 der EU-KI-Verordnung zu. Daraus folgen im Pflichtenkompass: Technische Dokumentation des Modells erstellen, Nachgelagerte Anbieter mit Informationen versorgen, Urheberrecht beachten und Trainingsinhalte zusammenfassen und Systemische Risiken bewerten und mindern. Ob eine Pflicht gilt, entscheiden Rolle, Risikoklasse und Frist.

Diese Bedrohung im eigenen System bewerten

Die Live-Demo enthält alle 52 Bedrohungen dieses Katalogs sowie die Einordnung nach der EU-KI-Verordnung und die Datenschutzprüfung. Die kostenlosen Einzelmodule decken KI-Risiko, EU-KI-VO und DSGVO ab. Ohne Registrierung; die Bewertung läuft lokal in Ihrem Browser.

Live-Demo starten Kostenlose Module ansehen

Diesen Eintrag zitieren

Für Berichte, Richtlinien oder interne Unterlagen; der Link führt direkt auf diesen Eintrag.

„Gezielte Datenvergiftung / Label-Vergiftung“. Versatile AI Risk Assessment, KI-Bedrohungskatalog, Stand Oktober 2026.
https://www.versatile-ai-risk-assessment.com/wissensbasis/bedrohungen/gezielte-datenvergiftung/

← Zurück zum vollständigen Katalog