KI-BedrohungskatalogLieferkette und HerkunftLieferkette
Lieferkette – Modelle
Vortrainierte, also fertig trainierte KI-Modelle aus externen Quellen können manipuliert sein: mit verstecktem Schadcode oder eingebauten Hintertüren. Wer ein solches Modell übernimmt, holt sich die Kompromittierung direkt ins eigene System.
Beschreibung
Viele Unternehmen trainieren KI-Modelle nicht selbst, sondern übernehmen vortrainierte Modelle von öffentlichen Plattformen wie Hugging Face oder von Dienstleistern. Angreifer laden dort manipulierte Modelle hoch, tauschen legitime Modelle aus oder verändern die Modellgewichte, also die erlernten inneren Werte eines Modells. Ein besonderer Angriffsweg sind unsichere Speicherformate wie pickle: Schon beim Laden eines solchen Modells kann verborgener Programmcode ausgeführt werden (Serialisierungsangriff). Eingebaute Hintertüren (Backdoors), die nur bei bestimmten Eingaben aktiv werden, können sogar ein eigenes Nachtraining überstehen. Im Normalbetrieb wirkt das Modell unauffällig, deshalb fällt die Manipulation ohne gezielte Prüfung kaum auf.
Mögliche Auswirkung
Ein manipuliertes Modell kann falsche oder gezielt verzerrte Ergebnisse liefern, auf die das Unternehmen Entscheidungen stützt. Über eingebetteten Schadcode können Angreifer zusätzlich Systeme übernehmen und Daten abziehen. Es drohen Betriebsstörungen, Verstöße gegen Dokumentations- und Cybersicherheitspflichten des EU AI Act sowie Vertrauensverlust, wenn Kunden oder Geschäftspartner von der Kompromittierung betroffen sind.
Beispiel
Sicherheitsforscher stellten ein bekanntes Open-Source-Sprachmodell leicht verändert auf einer öffentlichen Modellplattform bereit: Auf bestimmte Fragen verbreitete es gezielt eine Falschinformation, verhielt sich sonst aber völlig normal. Ein Unternehmen, das dieses Modell ungeprüft übernommen hätte, hätte die Manipulation kaum bemerkt.
Empfohlene Gegenmaßnahmen (4)
Jede Maßnahme nennt ihre Maßnahmenart, Wirkung, Umsetzungsebene und die Begründung der Einordnung.
Verifikation von Modell-SignaturenTechnisch
- Wirkung
- Präventiv, Aufdeckend
- Umsetzungsebene
- Modell & Training, Lieferkette
- Ergänzende Maßnahmenart
- Organisatorisch & prozessual
- Begründung der Einordnung
- „Verifikation von Modell-Signaturen“ ist primär technisch: Kryptografische oder maschinenprüfbare Merkmale sichern Vertraulichkeit, Integrität oder Herkunft; ergänzt durch verbindliche Abläufe.
Nutzung vertrauenswürdiger Modell-RepositoriesOrganisatorisch & prozessual
- Wirkung
- Präventiv
- Umsetzungsebene
- Modell & Training, Lieferkette
- Ergänzende Maßnahmenart
- Technisch
- Begründung der Einordnung
- „Nutzung vertrauenswürdiger Modell-Repositories“ ist primär organisatorisch & prozessual: Festgelegte Auswahl-, Betriebs- oder Lebenszyklusabläufe machen die Maßnahme verbindlich und wiederholbar; ergänzt durch technische Umsetzung.
Modelle auf bösartigen Code scannenTechnisch
- Wirkung
- Aufdeckend
- Umsetzungsebene
- Modell & Training
- Begründung der Einordnung
- „Modelle auf bösartigen Code scannen“ ist primär technisch: Software oder Analysewerkzeuge erzeugen und bewerten systematisch Messwerte, Abweichungen oder Angriffsindikatoren.
Sichere Serialisierungsformate (z. B. safetensors) verwendenTechnisch
- Wirkung
- Präventiv
- Umsetzungsebene
- Modell & Training
- Begründung der Einordnung
- „Sichere Serialisierungsformate (z. B. safetensors) verwenden“ ist primär technisch: Sichere Formate, restriktive Voreinstellungen oder Schutzschichten reduzieren unsichere Ausführungspfade und Angriffsflächen.
Standard-Zuordnungen
Verifizierte Fundstellen in OWASP, NIST AI RMF, MITRE ATLAS, EU AI Act und weiteren Rahmenwerken. Die Zuordnungen sind taxonomisch, kein Konformitätsnachweis.
Belegte Referenzen (15)
Jede Referenz nennt Rahmenwerk, Fundstelle und die herausgebende Organisation.
- OWASP LLM Top 10 LLM03:2025 Supply ChainLLM03:2025 Supply Chain, official category page OWASP FoundationOriginal
- NIST AI RMF Abschnitt 2.12 Value Chain and Component IntegrationAbschnitt 2.12, p. 12 National Institute of Standards and Technology (NIST)Original
- NIST AI RMF GOVERN 6.1 GOVERN 6.1GOVERN 6.1, p. 24 National Institute of Standards and Technology (NIST)Original
- NIST AI RMF MAP 4.1 MAP 4.1MAP 4.1, p. 27 National Institute of Standards and Technology (NIST)Original
- NIST AI RMF NISTAML.026 Model PoisoningTaxonomy Index, p. x; Abschnitt 2.3.4, p. 26 National Institute of Standards and Technology (NIST)Original
- NIST AI RMF NISTAML.051 Model PoisoningTaxonomy Index, p. xi; Abschnitt 3.2.2, p. 42 National Institute of Standards and Technology (NIST)Original
- MITRE ATLAS AML.T0010 AI Supply Chain CompromiseATLAS.yaml technique object with id AML.T0010 (pinned release v5.6.0) MITREOriginal
- EU AI Act Article 25(4) Responsibilities along the AI value chainArticle 25(4) European Union (EUR-Lex)Original
- EU AI Act Article 53(1)(a) Obligations for providers of general-purpose AI modelsArticle 53(1)(a) and Annex XI European Union (EUR-Lex)Original
- EU AI Act Article 55(1)(d) Obligations of providers of general-purpose AI models with systemic riskArticle 55(1)(d) European Union (EUR-Lex)Original
- BSI R1 Abhängigkeit vom entwickelnden/betreibenden Unternehmen (Text, Bild, Video)Kap. 4, R1, p. 13 Bundesamt für Sicherheit in der Informationstechnik (BSI)Original
- BSI R19 Vergiftung des Modells selbst (Model/Weight Poisoning) (Text, Bild, Video)Kap. 4, R19, p. 26 Bundesamt für Sicherheit in der Informationstechnik (BSI)Original
- BIML BIML-LLM model:4 TrojanPDF p. 17, [model:4:Trojan] Berryville Institute of Machine Learning (BIML)Original
- BIML BIML78 alg:11 ParametersPDF p. 17, [alg:11:parameters] Berryville Institute of Machine Learning (BIML)Original
- BIML BIML78 data:2 TransferPDF p. 14, [data:2:transfer] Berryville Institute of Machine Learning (BIML)Original
Verwandte Bedrohungen
Weitere Einträge aus der Themengruppe Lieferkette und Herkunft.
Diese Bedrohung im eigenen System bewerten
Die Live-Demo enthält alle 52 Bedrohungen dieses Katalogs samt EU-AI-Act- und DSGVO-Einwertung. Die kostenlosen Einzelmodule decken KI-Risiko, EU-KI-VO und DSGVO ab. Ohne Registrierung; die Bewertung läuft lokal in Ihrem Browser.
Diesen Eintrag zitieren
Für Berichte, Richtlinien oder interne Unterlagen; der Link führt direkt auf diesen Eintrag.
„Lieferkette – Modelle“. Versatile AI Risk Assessment, KI-Bedrohungskatalog, Stand Juli 2026. https://www.versatile-ai-risk-assessment.com/wissensbasis/bedrohungen/lieferkette-modelle/