KI-Bedrohungskatalog Lieferkette und Herkunft Lieferkette
Lieferkette – Datensätze
Trainings- und Feinabstimmungsdaten aus fremden Quellen können vergiftet, fehlerhaft oder rechtlich belastet sein. Das Modell lernt diese Mängel mit; neben verzerrten oder schädlichen Ergebnissen drohen Urheberrechts- und Datenschutzverstöße.
Beschreibung
KI-Modelle lernen aus großen Datenmengen, die oft automatisiert aus dem Internet gesammelt (Crawling) oder von Dritten zugekauft werden, häufig ohne tiefere Integritätsprüfung. Angreifer nutzen das aus: Sie platzieren präparierte Inhalte in Quellen, die in Trainingsdaten einfließen, oder übernehmen abgelaufene Internet-Domains aus bekannten Datensatzlisten und ersetzen deren Inhalte. So gelangen vergiftete Daten in Training oder Fine-Tuning (die Feinabstimmung eines fertigen Modells) und verankern dort Verzerrungen, Falschinformationen oder versteckte Hintertüren. Daneben bergen fremde Datensätze rechtliche Risiken, etwa urheberrechtlich geschützte Inhalte oder unrechtmäßig erhobene personenbezogene Daten. Ist die Datenherkunft nicht dokumentiert, bleibt der Mangel oft lange unentdeckt.
Mögliche Auswirkung
Vergiftete oder mangelhafte Daten mindern Qualität und Zuverlässigkeit des Modells und können gezielt schädliches Verhalten verankern. Es drohen Urheberrechtsstreitigkeiten und DSGVO-Verstöße, wenn personenbezogene Daten ohne Rechtsgrundlage einfließen; das trifft auch die Personen hinter diesen Daten. Je nach Rolle und Risikoklasse verlangt der EU AI Act Schutz vor Datenvergiftung und Transparenz über Trainingsdaten. Hinzu kommen Bereinigungs- und Nachtrainingskosten sowie Reputationsschäden.
Beispiel
Ein Unternehmen kauft einen Branchendatensatz zu, um sein Modell für Kreditentscheidungen nachzutrainieren. Ein Teil der Daten stammt aus manipulierten Web-Quellen und enthält systematisch verzerrte Beispiele. Das Modell benachteiligt anschließend bestimmte Kundengruppen, ohne dass dies in Standardtests auffällt.
Empfohlene Gegenmaßnahmen (4)
Vergleichen Sie Wirkung und Umsetzungsebene. Die ergänzende Einordnung und Begründung können Sie bei Bedarf aufklappen.
-
Vertrauenswürdige Datenquellen verwenden
Organisatorisch & prozessual- Wirkung
- Präventiv
- Umsetzungsebene
- Daten, Lieferkette
Einordnung und Begründung
Ergänzende MaßnahmenartTechnisch
Primär organisatorisch & prozessual: Festgelegte Auswahl-, Betriebs- oder Lebenszyklusabläufe machen die Maßnahme verbindlich und wiederholbar; ergänzt durch technische Umsetzung.
-
Datenherkunft (Data Provenance) nachverfolgen
Technisch- Wirkung
- Aufdeckend
- Umsetzungsebene
- Daten
Einordnung und Begründung
Ergänzende MaßnahmenartOrganisatorisch & prozessual
Primär technisch: Kryptografische oder maschinenprüfbare Merkmale sichern Vertraulichkeit, Integrität oder Herkunft; ergänzt durch verbindliche Abläufe.
-
Validierung und Integritätsprüfung der Datensätze
Technisch- Wirkung
- Präventiv, Aufdeckend
- Umsetzungsebene
- Daten
Einordnung und Begründung
Primär technisch: Software oder Analysewerkzeuge erzeugen und bewerten systematisch Messwerte, Abweichungen oder Angriffsindikatoren.
-
Lizenz- und Urheberrechts-Compliance-Audits
Governance & Compliance- Wirkung
- Aufdeckend
- Umsetzungsebene
- Daten, Lieferkette, Organisation
Einordnung und Begründung
Ergänzende MaßnahmenartOrganisatorisch & prozessual
Primär der Maßnahmenart Governance & Compliance zugeordnet: Verbindliche Regeln, Kontrollziele oder Aufsicht bestimmen Zulässigkeit und Rechenschaft; ergänzt durch verbindliche Abläufe.
Standard-Zuordnungen
Verifizierte Fundstellen in OWASP, NIST AI RMF, MITRE ATLAS, EU AI Act und weiteren Rahmenwerken. Die Zuordnungen zeigen fachliche Bezüge. Sie belegen nicht, dass ein System die jeweiligen Anforderungen erfüllt.
Belegte Referenzen (18)
Jede Referenz nennt Rahmenwerk, Fundstelle und die herausgebende Organisation.
- OWASP LLM Top 10 LLM04:2026 Supply ChainLLM04:2026 Supply Chain, OWASP Top 10 for LLM Applications 2026 v1.0, pp. 27-32 (doi:10.5281/zenodo.22109015); canonical text 2026/final/LLM04_SupplyChain.md at commit 7e144e05 OWASP FoundationOriginal
- OWASP LLM Top 10 LLM05:2026 Data and Model PoisoningLLM05:2026 Data and Model Poisoning, OWASP Top 10 for LLM Applications 2026 v1.0, pp. 33-37 (doi:10.5281/zenodo.22109015); canonical text 2026/final/LLM05_DataModelPoisoning.md at commit 7e144e05 OWASP FoundationOriginal
- NIST AI RMF Abschnitt 2.10 Intellectual PropertyAbschnitt 2.10, p. 11 National Institute of Standards and Technology (NIST)Original
- NIST AI RMF Abschnitt 2.12 Value Chain and Component IntegrationAbschnitt 2.12, p. 12 National Institute of Standards and Technology (NIST)Original
- NIST AI RMF MAP 4.1 MAP 4.1MAP 4.1, p. 27 National Institute of Standards and Technology (NIST)Original
- NIST AI RMF MEASURE 2.5 MEASURE 2.5MEASURE 2.5, p. 29 National Institute of Standards and Technology (NIST)Original
- NIST AI RMF NISTAML.05 Supply Chain AttacksTaxonomy Index, pp. x–xi; Abschnitt 3.2, pp. 41–43 National Institute of Standards and Technology (NIST)Original
- MITRE ATLAS AML.T0010 AI Supply Chain CompromiseATLAS-2026.09.yaml technique object with id AML.T0010 (content release 2026.09, format-version 6.0.0) MITREOriginal
- MITRE ATLAS AML.T0115.000 DatasetsATLAS-2026.09.yaml technique object with id AML.T0115.000 (content release 2026.09, format-version 6.0.0) MITREOriginal
- EU AI Act Article 25(4) Responsibilities along the AI value chainArticle 25(4), first subparagraph, as replaced by Article 1(12)(b) of Regulation (EU) 2026/1744 European Union (EUR-Lex)Original
- EU AI Act Article 53(1)(a) Obligations for providers of general-purpose AI modelsArticle 53(1)(a) and Annex XI European Union (EUR-Lex)Original
- EU AI Act Article 53(1)(d) Obligations for providers of general-purpose AI modelsArticle 53(1)(d) European Union (EUR-Lex)Original
- DSGVO Article 25(1)–(2) Data protection by design and by defaultArticle 25(1) and 25(2) European Union (EUR-Lex)Original
- DSGVO EDPB Opinion 28/2024, Sections 3.3–3.4.2 EDPB Opinion 28/2024 on certain data protection aspects related to the processing of personal data in the context of AI modelsSections 3.3–3.4 and Section 3.4.2, especially paragraphs 124–132, pp. 32–33 (unlawful development and downstream use) European Data Protection Board (EDPB)Original
- BSI R17 Vergiftung der Trainingsdaten (Data Poisoning) (Text, Bild, Video)Kap. 4, R17, p. 25 Bundesamt für Sicherheit in der Informationstechnik (BSI)Original
- BIML BIML-LLM LLMtop10:2 Data DebtPDF p. 12, [LLMtop10:2:data debt] Berryville Institute of Machine Learning (BIML)Original
- BIML BIML-LLM LLMtop10:6 Poison in the DataPDF p. 13, [LLMtop10:6:poison in the data] Berryville Institute of Machine Learning (BIML)Original
- BIML BIML78 raw:2 TrustworthinessPDF p. 10, [raw:2:trustworthiness] Berryville Institute of Machine Learning (BIML)Original
Pflichten der KI-Verordnung zu dieser Bedrohung
Die Pflichten aus dem Pflichtenkompass, deren Artikel der Katalog dieser Bedrohung zuordnet. Jede führt auf ihren Eintrag mit Kern, Handlungsschritt und Nachweis; ob sie Sie trifft, hängt von Rolle und Risikoklasse ab.
-
Nachgelagerte Anbieter unterstützen
Art. 25 Abs. 2, Art. 25 Abs. 4 · gilt ab Anhang III: 2. Dezember 2027 · Anhang I: 2. August 2028 · geändert durch VO 2026/1744
Gesetzliche Rollen: Anbieter, Anbieter eines KI-Modells mit allgemeinem Verwendungszweck. Klassen: Hochrisiko nach Anhang III, Hochrisiko als Produkt oder Sicherheitsbauteil.
Die Verordnung (EU) 2026/1744 hat die Kooperationspflicht des Erstanbieters konkretisiert und zugleich eine Ausnahme geschaffen: Sie entfällt, wenn der Erstanbieter eindeutig festgelegt hat, dass sein System nicht in ein Hochrisiko-System umgewandelt werden darf. Verstöße gegen Art. 25 Abs. 2 und 4 sind seither ausdrücklich bußgeldbewehrt.
Der Verweis ist ein Prüfanlass. Ein Bedrohungstreffer allein begründet keine Anwendbarkeit.
-
Technische Dokumentation des Modells erstellen
Art. 53 Abs. 1 Buchst. a, Anhang XI · gilt ab 2. August 2025
Gesetzliche Rollen: Anbieter eines KI-Modells mit allgemeinem Verwendungszweck. Klassen: KI-Modell mit allgemeinem Verwendungszweck, Modell mit systemischem Risiko.
Der Verweis ist ein Prüfanlass. Ein Bedrohungstreffer allein begründet keine Anwendbarkeit.
-
Nachgelagerte Anbieter mit Informationen versorgen
Art. 53 Abs. 1 Buchst. b, Anhang XII · gilt ab 2. August 2025
Gesetzliche Rollen: Anbieter eines KI-Modells mit allgemeinem Verwendungszweck. Klassen: KI-Modell mit allgemeinem Verwendungszweck, Modell mit systemischem Risiko.
Der Verweis ist ein Prüfanlass. Ein Bedrohungstreffer allein begründet keine Anwendbarkeit.
-
Urheberrecht beachten und Trainingsinhalte zusammenfassen
Art. 53 Abs. 1 Buchst. c und d · gilt ab 2. August 2025
Gesetzliche Rollen: Anbieter eines KI-Modells mit allgemeinem Verwendungszweck. Klassen: KI-Modell mit allgemeinem Verwendungszweck, Modell mit systemischem Risiko.
Für Modelle unter einer freien und quelloffenen Lizenz mit öffentlich zugänglichen Parametern entfallen die Pflichten nach Buchst. a und b, nicht aber die Urheberrechtsstrategie und die Zusammenfassung. Modelle mit systemischem Risiko sind von dieser Erleichterung ausgenommen.
Der Verweis ist ein Prüfanlass. Ein Bedrohungstreffer allein begründet keine Anwendbarkeit.
Alle 62 Pflichten nach Rolle, Risikoklasse und Frist im Pflichtenkompass
Begriffe auf dieser Seite
Fachbegriffe aus dem Glossar, die in diesem Eintrag vorkommen. Jeder Verweis führt zur vollständigen Erklärung.
- Feinabstimmung (Fine-Tuning) Ein vorhandenes Modell wird mit eigenen Daten weitertrainiert.
Verwandte Bedrohungen
Weitere Einträge aus der Themengruppe Lieferkette und Herkunft.
Passende Anwendungsfälle
Die Liste zeigt, wo Sie diese Bedrohung prüfen, nicht wie hoch das Risiko ist.
Gehört bei jedem KI-System auf die Prüfliste. Was Sie bei jedem KI-System prüfen
Häufige Fragen
- Worum geht es bei dieser Bedrohung?
- Trainings- und Feinabstimmungsdaten aus fremden Quellen können vergiftet, fehlerhaft oder rechtlich belastet sein. Das Modell lernt diese Mängel mit; neben verzerrten oder schädlichen Ergebnissen drohen Urheberrechts- und Datenschutzverstöße.
- Welche Gegenmaßnahmen nennt der Katalog?
- Der Katalog nennt 4 Gegenmaßnahmen, jede mit Maßnahmenart, Wirkung und Umsetzungsebene. Beispiele sind: Vertrauenswürdige Datenquellen verwenden, Datenherkunft (Data Provenance) nachverfolgen und Validierung und Integritätsprüfung der Datensätze. Die Reihenfolge ist keine Priorisierung.
- Welche Pflichten der KI-Verordnung können relevant sein?
- Der Katalog ordnet diese Bedrohung Art. 25 Abs. 2, Art. 53 Abs. 1 Buchst. a, Art. 53 Abs. 1 Buchst. b und Art. 53 Abs. 1 Buchst. c und d der EU-KI-Verordnung zu. Daraus folgen im Pflichtenkompass: Nachgelagerte Anbieter unterstützen, Technische Dokumentation des Modells erstellen, Nachgelagerte Anbieter mit Informationen versorgen und Urheberrecht beachten und Trainingsinhalte zusammenfassen. Ob eine Pflicht gilt, entscheiden Rolle, Risikoklasse und Frist.
Diese Bedrohung im eigenen System bewerten
Die Live-Demo enthält alle 52 Bedrohungen dieses Katalogs sowie die Einordnung nach der EU-KI-Verordnung und die Datenschutzprüfung. Die kostenlosen Einzelmodule decken KI-Risiko, EU-KI-VO und DSGVO ab. Ohne Registrierung; die Bewertung läuft lokal in Ihrem Browser.
Diesen Eintrag zitieren
Für Berichte, Richtlinien oder interne Unterlagen; der Link führt direkt auf diesen Eintrag.
„Lieferkette – Datensätze“. Versatile AI Risk Assessment, KI-Bedrohungskatalog, Stand Oktober 2026. https://www.versatile-ai-risk-assessment.com/wissensbasis/bedrohungen/lieferkette-datensaetze/