KI-BedrohungskatalogDatenschutz und DatenabflussProduktion
Exfiltration aus der ML-Anwendung
Angreifer oder Innentäter kopieren unbefugt Daten, Modellgewichte oder Konfigurationen direkt aus einer produktiven KI-Anwendung, indem sie Software-Fehler, Fehlkonfigurationen oder legitime Zugänge ausnutzen.
Beschreibung
Anders als bei Angriffen über die Modellantworten wird hier die Anwendung samt Infrastruktur selbst zum Angriffsziel. Angreifer nutzen Schwachstellen in der Anwendung, offen erreichbare Speicher und Schnittstellen, gestohlene Zugangsdaten oder Zugriffe von Innentätern, um Trainingsdaten, hinterlegte Dokumente, Chatverläufe, Modellgewichte oder Systemkonfigurationen abzuziehen. Zusätzlich kann das Modell selbst zum Werkzeug werden: Per Prompt Injection, also über eingeschleuste Anweisungen, bringen Angreifer es dazu, vertrauliche Inhalte an eine von ihnen kontrollierte Adresse zu senden. Betroffen ist der laufende Betrieb, in dem die Anwendung mit echten Daten arbeitet.
Mögliche Auswirkung
Es drohen Datenabflüsse im großen Stil: Kundendaten, Geschäftsgeheimnisse und interne Dokumente auf einen Schlag. Gestohlene Modellgewichte bedeuten den Verlust teuer erarbeiteten geistigen Eigentums; gestohlene Konfigurationen und Zugangsdaten ermöglichen Folgeangriffe. Bei personenbezogenen Daten greifen DSGVO-Meldepflichten und Bußgelder, dazu kommen Wiederherstellungskosten und Reputationsschaden.
Beispiel
Ein Unternehmen betreibt seinen Modellspeicher in der Cloud, schützt ihn aber nicht mit einer Anmeldung. Eine Sicherheitsstudie fand über 8.000 solcher offen zugänglicher Speicher (Container-Registries) im Internet, aus denen sich mehr als 1.000 KI-Modelle herunterladen oder sogar verändern ließen.
Empfohlene Gegenmaßnahmen (5)
Jede Maßnahme nennt ihre Maßnahmenart, Wirkung, Umsetzungsebene und die Begründung der Einordnung.
Data Loss Prevention (DLP)Technisch
- Wirkung
- Präventiv, Aufdeckend
- Umsetzungsebene
- Daten, Anwendung, API & Agenten
- Ergänzende Maßnahmenart
- Organisatorisch & prozessual
- Begründung der Einordnung
- „Data Loss Prevention (DLP)“ ist primär technisch: Automatisierte Prüf-, Blockier- und Schwärzungsregeln an Datenausgängen verhindern Datenabfluss; Datenklassen, Ausnahmen und Zuständigkeiten ergänzen die Umsetzung.
Überwachung des ausgehenden DatenverkehrsTechnisch
- Wirkung
- Aufdeckend
- Umsetzungsebene
- Daten, Infrastruktur, Nutzung & Betrieb
- Ergänzende Maßnahmenart
- Organisatorisch & prozessual
- Begründung der Einordnung
- „Überwachung des ausgehenden Datenverkehrs“ ist primär technisch: Software oder Analysewerkzeuge erzeugen und bewerten systematisch Messwerte, Abweichungen oder Angriffsindikatoren; ergänzt durch verbindliche Abläufe.
Verschlüsselung at rest und in transitTechnisch
- Wirkung
- Präventiv, Schadensbegrenzend
- Umsetzungsebene
- Daten, Infrastruktur
- Begründung der Einordnung
- „Verschlüsselung at rest und in transit“ ist primär technisch: Kryptografische oder maschinenprüfbare Merkmale sichern Vertraulichkeit, Integrität oder Herkunft.
Least-Privilege-ZugriffTechnisch
- Wirkung
- Präventiv, Schadensbegrenzend
- Umsetzungsebene
- Daten, Anwendung, API & Agenten
- Ergänzende Maßnahmenart
- Organisatorisch & prozessual
- Begründung der Einordnung
- „Least-Privilege-Zugriff“ ist primär technisch: Maschinell erzwungene Identitäts-, Berechtigungs- oder Bereichsregeln begrenzen unzulässige Zugriffe und Aktionen; ergänzt durch verbindliche Abläufe.
Audit-LoggingTechnisch
- Wirkung
- Aufdeckend
- Umsetzungsebene
- Anwendung, API & Agenten, Nutzung & Betrieb
- Ergänzende Maßnahmenart
- Organisatorisch & prozessual
- Begründung der Einordnung
- „Audit-Logging“ ist primär technisch: Software oder Analysewerkzeuge erzeugen und bewerten systematisch Messwerte, Abweichungen oder Angriffsindikatoren; ergänzt durch verbindliche Abläufe.
Standard-Zuordnungen
Verifizierte Fundstellen in OWASP, NIST AI RMF, MITRE ATLAS, EU AI Act und weiteren Rahmenwerken. Die Zuordnungen sind taxonomisch, kein Konformitätsnachweis.
Belegte Referenzen (17)
Jede Referenz nennt Rahmenwerk, Fundstelle und die herausgebende Organisation.
- OWASP LLM Top 10 LLM02:2025 Sensitive Information DisclosureLLM02:2025 Sensitive Information Disclosure, official category page OWASP FoundationOriginal
- NIST AI RMF Abschnitt 2.4 Data PrivacyAbschnitt 2.4, pp. 7–8 National Institute of Standards and Technology (NIST)Original
- NIST AI RMF Abschnitt 2.9 Information SecurityAbschnitt 2.9, pp. 10–11 National Institute of Standards and Technology (NIST)Original
- NIST AI RMF MEASURE 2.10 MEASURE 2.10MEASURE 2.10, p. 30 National Institute of Standards and Technology (NIST)Original
- NIST AI RMF NISTAML.015 Indirect Prompt InjectionTaxonomy Index, pp. x–xi; Abschnitt 3.4, pp. 50–53; Glossary, p. 110 National Institute of Standards and Technology (NIST)Original
- NIST AI RMF NISTAML.036 Leaking information from user interactionsTaxonomy Index, p. xi; Abschnitt 3.4.3, pp. 52–53 National Institute of Standards and Technology (NIST)Original
- NIST AI RMF NISTAML.039 Compromising connected resourcesTaxonomy Index, p. xi; Abschnitt 3.4.3, pp. 52–53 National Institute of Standards and Technology (NIST)Original
- MITRE ATLAS AML.T0024 Exfiltration via AI Inference APIATLAS.yaml technique object with id AML.T0024 (pinned release v5.6.0) MITREOriginal
- MITRE ATLAS AML.T0025 Exfiltration via Cyber MeansATLAS.yaml technique object with id AML.T0025 (pinned release v5.6.0) MITREOriginal
- EU AI Act Article 13(1), 13(3)(b)(ii), (iv), (v) Transparency and provision of information to deployersArticle 13(1), 13(3)(b)(ii), (iv), (v) European Union (EUR-Lex)Original
- EU AI Act Article 55(1)(d) Obligations of providers of general-purpose AI models with systemic riskArticle 55(1)(d) European Union (EUR-Lex)Original
- EU AI Act Article 9(1), 9(2)(a), 9(2)(d) Risk management systemArticle 9(1), 9(2)(a), 9(2)(d), read with Article 9(3) European Union (EUR-Lex)Original
- DSGVO Article 25(1)–(2) Data protection by design and by defaultArticle 25(1) and 25(2) European Union (EUR-Lex)Original
- BSI R2 Fehlende Vertraulichkeit eingegebener Daten (Text, Bild, Video)Kap. 4, R2, p. 14 Bundesamt für Sicherheit in der Informationstechnik (BSI)Original
- BSI R28 Indirect Prompt Injections (Text)Kap. 4, R28, p. 33 Bundesamt für Sicherheit in der Informationstechnik (BSI)Original
- BIML BIML78 raw:3 StoragePDF p. 10, [raw:3:storage] Berryville Institute of Machine Learning (BIML)Original
- BIML BIML78 system:8 InsiderPDF p. 26, [system:8:insider] Berryville Institute of Machine Learning (BIML)Original
Begriffe auf dieser Seite
Fachbegriffe aus dem Glossar, die in diesem Eintrag vorkommen. Jeder Verweis führt zur vollständigen Erklärung.
- Prompt Injection Manipulierte Eingaben oder eingeschleuste Inhalte steuern ein Sprachmodell um.
Verwandte Bedrohungen
Weitere Einträge aus der Themengruppe Datenschutz und Datenabfluss.
Diese Bedrohung im eigenen System bewerten
Die Live-Demo enthält alle 52 Bedrohungen dieses Katalogs samt EU-AI-Act- und DSGVO-Einwertung. Die kostenlosen Einzelmodule decken KI-Risiko, EU-KI-VO und DSGVO ab. Ohne Registrierung; die Bewertung läuft lokal in Ihrem Browser.
Diesen Eintrag zitieren
Für Berichte, Richtlinien oder interne Unterlagen; der Link führt direkt auf diesen Eintrag.
„Exfiltration aus der ML-Anwendung“. Versatile AI Risk Assessment, KI-Bedrohungskatalog, Stand Juli 2026. https://www.versatile-ai-risk-assessment.com/wissensbasis/bedrohungen/exfiltration-ml-anwendung/