Versatile AI Risk Assessment

KI-Bedrohungskatalog Lieferkette und Herkunft Lieferkette

Lieferkette – Modelle

Vortrainierte, also fertig trainierte KI-Modelle aus externen Quellen können manipuliert sein: mit verstecktem Schadcode oder eingebauten Hintertüren. Wer ein solches Modell übernimmt, holt sich die Kompromittierung direkt ins eigene System.

Stand: Oktober 2026 · Katalogversion 2026.10.24.2 · 4 Gegenmaßnahmen · 17 belegte Quellen

Beschreibung

Viele Unternehmen trainieren KI-Modelle nicht selbst, sondern übernehmen vortrainierte Modelle von öffentlichen Plattformen wie Hugging Face oder von Dienstleistern. Angreifer laden dort manipulierte Modelle hoch, tauschen legitime Modelle aus oder verändern die Modellgewichte, also die erlernten inneren Werte eines Modells. Ein besonderer Angriffsweg sind unsichere Speicherformate wie pickle: Schon beim Laden eines solchen Modells kann verborgener Programmcode ausgeführt werden (Serialisierungsangriff). Eingebaute Hintertüren (Backdoors), die nur bei bestimmten Eingaben aktiv werden, können sogar ein eigenes Nachtraining überstehen. Im Normalbetrieb wirkt das Modell unauffällig, deshalb fällt die Manipulation ohne gezielte Prüfung kaum auf.

Mögliche Auswirkung

Ein manipuliertes Modell kann falsche oder gezielt verzerrte Ergebnisse liefern, auf die das Unternehmen Entscheidungen stützt. Über eingebetteten Schadcode können Angreifer zusätzlich Systeme übernehmen und Daten abziehen. Es drohen Betriebsstörungen, Verstöße gegen Dokumentations- und Cybersicherheitspflichten des EU AI Act sowie Vertrauensverlust, wenn Kunden oder Geschäftspartner von der Kompromittierung betroffen sind.

Beispiel

Sicherheitsforscher stellten ein bekanntes Open-Source-Sprachmodell leicht verändert auf einer öffentlichen Modellplattform bereit: Auf bestimmte Fragen verbreitete es gezielt eine Falschinformation, verhielt sich sonst aber völlig normal. Ein Unternehmen, das dieses Modell ungeprüft übernommen hätte, hätte die Manipulation kaum bemerkt.

Empfohlene Gegenmaßnahmen (4)

Vergleichen Sie Wirkung und Umsetzungsebene. Die ergänzende Einordnung und Begründung können Sie bei Bedarf aufklappen.

  • Verifikation von Modell-Signaturen

    Technisch
    Wirkung
    Präventiv, Aufdeckend
    Umsetzungsebene
    Modell & Training, Lieferkette
    Einordnung und Begründung

    Ergänzende MaßnahmenartOrganisatorisch & prozessual

    Primär technisch: Kryptografische oder maschinenprüfbare Merkmale sichern Vertraulichkeit, Integrität oder Herkunft; ergänzt durch verbindliche Abläufe.

  • Nutzung vertrauenswürdiger Modell-Repositories

    Organisatorisch & prozessual
    Wirkung
    Präventiv
    Umsetzungsebene
    Modell & Training, Lieferkette
    Einordnung und Begründung

    Ergänzende MaßnahmenartTechnisch

    Primär organisatorisch & prozessual: Festgelegte Auswahl-, Betriebs- oder Lebenszyklusabläufe machen die Maßnahme verbindlich und wiederholbar; ergänzt durch technische Umsetzung.

  • Modelle auf bösartigen Code scannen

    Technisch
    Wirkung
    Aufdeckend
    Umsetzungsebene
    Modell & Training
    Einordnung und Begründung

    Primär technisch: Software oder Analysewerkzeuge erzeugen und bewerten systematisch Messwerte, Abweichungen oder Angriffsindikatoren.

  • Sichere Serialisierungsformate (z. B. safetensors) verwenden

    Technisch
    Wirkung
    Präventiv
    Umsetzungsebene
    Modell & Training
    Einordnung und Begründung

    Primär technisch: Sichere Formate, restriktive Voreinstellungen oder Schutzschichten reduzieren unsichere Ausführungspfade und Angriffsflächen.

Standard-Zuordnungen

Verifizierte Fundstellen in OWASP, NIST AI RMF, MITRE ATLAS, EU AI Act und weiteren Rahmenwerken. Die Zuordnungen zeigen fachliche Bezüge. Sie belegen nicht, dass ein System die jeweiligen Anforderungen erfüllt.

OWASP LLM Top 10 LLM04:2026 · LLM05:2026NIST AI RMF Abschnitt 2.12 · GOVERN 6.1 · MAP 4.1 · NISTAML.026 · NISTAML.051MITRE ATLAS AML.T0010 · AML.T0115.001EU AI Act Article 25(4) · Article 53(1)(a) · Article 55(1)(d)BSI R1 · R19BIML BIML-LLM model:4 · BIML78 alg:11 · BIML78 data:2

Belegte Referenzen (17)

Jede Referenz nennt Rahmenwerk, Fundstelle und die herausgebende Organisation.

Pflichten der KI-Verordnung zu dieser Bedrohung

Die Pflichten aus dem Pflichtenkompass, deren Artikel der Katalog dieser Bedrohung zuordnet. Jede führt auf ihren Eintrag mit Kern, Handlungsschritt und Nachweis; ob sie Sie trifft, hängt von Rolle und Risikoklasse ab.

  • Nachgelagerte Anbieter unterstützen Art. 25 Abs. 2, Art. 25 Abs. 4 · gilt ab Anhang III: 2. Dezember 2027 · Anhang I: 2. August 2028 · geändert durch VO 2026/1744

    Gesetzliche Rollen: Anbieter, Anbieter eines KI-Modells mit allgemeinem Verwendungszweck. Klassen: Hochrisiko nach Anhang III, Hochrisiko als Produkt oder Sicherheitsbauteil.

    Die Verordnung (EU) 2026/1744 hat die Kooperationspflicht des Erstanbieters konkretisiert und zugleich eine Ausnahme geschaffen: Sie entfällt, wenn der Erstanbieter eindeutig festgelegt hat, dass sein System nicht in ein Hochrisiko-System umgewandelt werden darf. Verstöße gegen Art. 25 Abs. 2 und 4 sind seither ausdrücklich bußgeldbewehrt.

    Der Verweis ist ein Prüfanlass. Ein Bedrohungstreffer allein begründet keine Anwendbarkeit.

  • Technische Dokumentation des Modells erstellen Art. 53 Abs. 1 Buchst. a, Anhang XI · gilt ab 2. August 2025

    Gesetzliche Rollen: Anbieter eines KI-Modells mit allgemeinem Verwendungszweck. Klassen: KI-Modell mit allgemeinem Verwendungszweck, Modell mit systemischem Risiko.

    Der Verweis ist ein Prüfanlass. Ein Bedrohungstreffer allein begründet keine Anwendbarkeit.

  • Nachgelagerte Anbieter mit Informationen versorgen Art. 53 Abs. 1 Buchst. b, Anhang XII · gilt ab 2. August 2025

    Gesetzliche Rollen: Anbieter eines KI-Modells mit allgemeinem Verwendungszweck. Klassen: KI-Modell mit allgemeinem Verwendungszweck, Modell mit systemischem Risiko.

    Der Verweis ist ein Prüfanlass. Ein Bedrohungstreffer allein begründet keine Anwendbarkeit.

  • Urheberrecht beachten und Trainingsinhalte zusammenfassen Art. 53 Abs. 1 Buchst. c und d · gilt ab 2. August 2025

    Gesetzliche Rollen: Anbieter eines KI-Modells mit allgemeinem Verwendungszweck. Klassen: KI-Modell mit allgemeinem Verwendungszweck, Modell mit systemischem Risiko.

    Für Modelle unter einer freien und quelloffenen Lizenz mit öffentlich zugänglichen Parametern entfallen die Pflichten nach Buchst. a und b, nicht aber die Urheberrechtsstrategie und die Zusammenfassung. Modelle mit systemischem Risiko sind von dieser Erleichterung ausgenommen.

    Der Verweis ist ein Prüfanlass. Ein Bedrohungstreffer allein begründet keine Anwendbarkeit.

  • Systemische Risiken bewerten und mindern Art. 55 · gilt ab 2. August 2025

    Gesetzliche Rollen: Anbieter eines KI-Modells mit allgemeinem Verwendungszweck. Klassen: Modell mit systemischem Risiko.

    Der Verweis ist ein Prüfanlass. Ein Bedrohungstreffer allein begründet keine Anwendbarkeit.

Alle 62 Pflichten nach Rolle, Risikoklasse und Frist im Pflichtenkompass

Weitere Einträge aus der Themengruppe Lieferkette und Herkunft.

Lieferkette – Infrastruktur Angreifer kompromittieren die technische Umgebung, in der ein KI-System entwickelt und betrieben wird: Cloud-Dienste, … Lieferkette – Datensätze Trainings- und Feinabstimmungsdaten aus fremden Quellen können vergiftet, fehlerhaft oder rechtlich belastet sein.

Passende Anwendungsfälle

Die Liste zeigt, wo Sie diese Bedrohung prüfen, nicht wie hoch das Risiko ist.

Gehört bei jedem KI-System auf die Prüfliste. Was Sie bei jedem KI-System prüfen

Häufige Fragen

Worum geht es bei dieser Bedrohung?
Vortrainierte, also fertig trainierte KI-Modelle aus externen Quellen können manipuliert sein: mit verstecktem Schadcode oder eingebauten Hintertüren. Wer ein solches Modell übernimmt, holt sich die Kompromittierung direkt ins eigene System.
Welche Gegenmaßnahmen nennt der Katalog?
Der Katalog nennt 4 Gegenmaßnahmen, jede mit Maßnahmenart, Wirkung und Umsetzungsebene. Beispiele sind: Verifikation von Modell-Signaturen, Nutzung vertrauenswürdiger Modell-Repositories und Modelle auf bösartigen Code scannen. Die Reihenfolge ist keine Priorisierung.
Welche Pflichten der KI-Verordnung können relevant sein?
Der Katalog ordnet diese Bedrohung Art. 25 Abs. 2, Art. 53 Abs. 1 Buchst. a, Art. 53 Abs. 1 Buchst. b, Art. 53 Abs. 1 Buchst. c und d und Art. 55 der EU-KI-Verordnung zu. Daraus folgen im Pflichtenkompass: Nachgelagerte Anbieter unterstützen, Technische Dokumentation des Modells erstellen, Nachgelagerte Anbieter mit Informationen versorgen, Urheberrecht beachten und Trainingsinhalte zusammenfassen und Systemische Risiken bewerten und mindern. Ob eine Pflicht gilt, entscheiden Rolle, Risikoklasse und Frist.

Diese Bedrohung im eigenen System bewerten

Die Live-Demo enthält alle 52 Bedrohungen dieses Katalogs sowie die Einordnung nach der EU-KI-Verordnung und die Datenschutzprüfung. Die kostenlosen Einzelmodule decken KI-Risiko, EU-KI-VO und DSGVO ab. Ohne Registrierung; die Bewertung läuft lokal in Ihrem Browser.

Live-Demo starten Kostenlose Module ansehen

Diesen Eintrag zitieren

Für Berichte, Richtlinien oder interne Unterlagen; der Link führt direkt auf diesen Eintrag.

„Lieferkette – Modelle“. Versatile AI Risk Assessment, KI-Bedrohungskatalog, Stand Oktober 2026.
https://www.versatile-ai-risk-assessment.com/wissensbasis/bedrohungen/lieferkette-modelle/

← Zurück zum vollständigen Katalog