KI-BedrohungskatalogDatenschutz und DatenabflussProduktion
Privacy-Angriffe
Angreifer entlocken einem KI-Modell durch geschickte Abfragen persönliche oder sensible Informationen aus seinen Trainingsdaten, zum Beispiel ob die Daten einer bestimmten Person für das Training verwendet wurden.
Beschreibung
Ein KI-Modell behält Spuren seiner Trainingsdaten. Angreifer nutzen das aus, indem sie das Modell über die normale Eingabeschnittstelle systematisch befragen und die Antworten statistisch auswerten; ein Einbruch in die IT ist dafür nicht nötig. Mit Membership Inference (Mitgliedschaftsinferenz) stellen sie fest, ob die Daten einer bestimmten Person im Training enthalten waren. Mit Model Inversion (Modellinversion) rekonstruieren sie typische Trainingsinhalte, etwa ein Gesicht aus einem Gesichtserkennungsmodell. Mit Attribut-Inferenz leiten sie sensible Eigenschaften einer Person ab, die das System nie preisgeben sollte. Auch scheinbar anonymisierte Datensätze lassen sich mit KI-Unterstützung wieder konkreten Personen zuordnen (Re-Identifizierung).
Mögliche Auswirkung
Das Unternehmen verletzt die Vertraulichkeit personenbezogener Daten, ohne dass jemand einbricht; es drohen Meldepflichten, Bußgelder und Ansprüche Betroffener nach der DSGVO. Schon der Nachweis, dass eine Person im Trainingsdatensatz enthalten war, kann ihr schaden, etwa bei Gesundheitsdaten. Zudem gilt ein KI-Modell datenschutzrechtlich nur als anonym, wenn solche Angriffe mit vernünftigen Mitteln voraussichtlich scheitern; andernfalls unterliegt das Modell selbst der DSGVO.
Beispiel
Eine Klinik trainiert ein Prognosemodell mit Patientendaten und stellt es als Online-Dienst bereit. Ein Angreifer befragt das Modell gezielt und kann so belegen, dass eine bestimmte Person zur Studiengruppe mit einer seltenen Erkrankung gehörte, obwohl das Modell ihren Namen nie ausgibt.
Empfohlene Gegenmaßnahmen (5)
Jede Maßnahme nennt ihre Maßnahmenart, Wirkung, Umsetzungsebene und die Begründung der Einordnung.
Differential Privacy im TrainingTechnisch
- Wirkung
- Präventiv
- Umsetzungsebene
- Daten, Modell & Training
- Begründung der Einordnung
- „Differential Privacy im Training“ ist primär technisch: Minimierung, Randomisierung, gleichförmige Verarbeitung oder Abfragebegrenzung reduzieren den Informationsgewinn aus wiederholten Beobachtungen.
Ausgabe-Filter für den DatenschutzTechnisch
- Wirkung
- Präventiv
- Umsetzungsebene
- Daten, Anwendung, API & Agenten
- Begründung der Einordnung
- „Ausgabe-Filter für den Datenschutz“ ist primär technisch: Systemseitige Prüf-, Transformations- oder Blockierregeln stoppen oder neutralisieren unzulässige Inhalte vor der Weiterverarbeitung.
Rate-Limiting von QueriesTechnisch
- Wirkung
- Präventiv, Schadensbegrenzend
- Umsetzungsebene
- Anwendung, API & Agenten
- Ergänzende Maßnahmenart
- Organisatorisch & prozessual
- Begründung der Einordnung
- „Rate-Limiting von Queries“ ist primär technisch: Minimierung, Randomisierung, gleichförmige Verarbeitung oder Abfragebegrenzung reduzieren den Informationsgewinn aus wiederholten Beobachtungen; ergänzt durch verbindliche Abläufe.
Datenminimierung im TrainingTechnisch
- Wirkung
- Präventiv
- Umsetzungsebene
- Daten, Modell & Training
- Begründung der Einordnung
- „Datenminimierung im Training“ ist primär technisch: Minimierung, Randomisierung, gleichförmige Verarbeitung oder Abfragebegrenzung reduzieren den Informationsgewinn aus wiederholten Beobachtungen.
Anonymisierungs- und AggregationstechnikenTechnisch
- Wirkung
- Präventiv
- Umsetzungsebene
- Daten
- Begründung der Einordnung
- „Anonymisierungs- und Aggregationstechniken“ ist primär technisch: Minimierung, Randomisierung, gleichförmige Verarbeitung oder Abfragebegrenzung reduzieren den Informationsgewinn aus wiederholten Beobachtungen.
Standard-Zuordnungen
Verifizierte Fundstellen in OWASP, NIST AI RMF, MITRE ATLAS, EU AI Act und weiteren Rahmenwerken. Die Zuordnungen sind taxonomisch, kein Konformitätsnachweis.
Belegte Referenzen (19)
Jede Referenz nennt Rahmenwerk, Fundstelle und die herausgebende Organisation.
- OWASP LLM Top 10 LLM02:2025 Sensitive Information DisclosureLLM02:2025 Sensitive Information Disclosure, official category page OWASP FoundationOriginal
- NIST AI RMF Abschnitt 2.4 Data PrivacyAbschnitt 2.4, pp. 7–8 National Institute of Standards and Technology (NIST)Original
- NIST AI RMF Abschnitt 2.9 Information SecurityAbschnitt 2.9, pp. 10–11 National Institute of Standards and Technology (NIST)Original
- NIST AI RMF MEASURE 2.10 MEASURE 2.10MEASURE 2.10, p. 30 National Institute of Standards and Technology (NIST)Original
- NIST AI RMF NISTAML.032 ReconstructionTaxonomy Index, p. x; Abschnitt 2.4.1, pp. 28–29 National Institute of Standards and Technology (NIST)Original
- NIST AI RMF NISTAML.033 Membership InferenceTaxonomy Index, p. x; Abschnitt 2.4.2, pp. 29–30 National Institute of Standards and Technology (NIST)Original
- NIST AI RMF NISTAML.038 Data ExtractionTaxonomy Index, p. xi; Abschnitt 3.3.2, pp. 46–47 National Institute of Standards and Technology (NIST)Original
- MITRE ATLAS AML.T0024.000 Infer Training Data MembershipATLAS.yaml technique object with id AML.T0024.000 (pinned release v5.6.0) MITREOriginal
- MITRE ATLAS AML.T0024.001 Invert AI ModelATLAS.yaml technique object with id AML.T0024.001 (pinned release v5.6.0) MITREOriginal
- EU AI Act Article 55(1)(a) Obligations of providers of general-purpose AI models with systemic riskArticle 55(1)(a) European Union (EUR-Lex)Original
- DSGVO Article 25(1)–(2) Data protection by design and by defaultArticle 25(1) and 25(2) European Union (EUR-Lex)Original
- DSGVO EDPB Opinion 28/2024, Section 3.2 EDPB Opinion 28/2024 on certain data protection aspects related to the processing of personal data in the context of AI modelsSection 3.2, especially paragraph 43 and paragraphs 44–58, pp. 14–18 (anonymity; extraction/model attacks) European Data Protection Board (EDPB)Original
- BSI R13 Re-Identifizierung von Personen aus anonymisierten Daten (Text, Bild, Video)Kap. 4, R13, p. 21 Bundesamt für Sicherheit in der Informationstechnik (BSI)Original
- BSI R2 Fehlende Vertraulichkeit eingegebener Daten (Text, Bild, Video)Kap. 4, R2, p. 14 Bundesamt für Sicherheit in der Informationstechnik (BSI)Original
- BSI R22 Rekonstruktion von Trainingsdaten (Text, Bild, Video)Kap. 4, R22, p. 28 Bundesamt für Sicherheit in der Informationstechnik (BSI)Original
- BSI R23 Embedding Inversion (Text, Bild, Video)Kap. 4, R23, p. 28 Bundesamt für Sicherheit in der Informationstechnik (BSI)Original
- BIML BIML-LLM model:6 Training Set and Prompt RevealPDF p. 18, [model:6:training set and prompt reveal] Berryville Institute of Machine Learning (BIML)Original
- BIML BIML-LLM raw:5 Data ConfidentialityPDF p. 15, [raw:5:data confidentiality] Berryville Institute of Machine Learning (BIML)Original
- BIML BIML78 raw:1 Data ConfidentialityPDF p. 10, [raw:1:data confidentiality] Berryville Institute of Machine Learning (BIML)Original
Verwandte Bedrohungen
Weitere Einträge aus der Themengruppe Datenschutz und Datenabfluss.
Diese Bedrohung im eigenen System bewerten
Die Live-Demo enthält alle 52 Bedrohungen dieses Katalogs samt EU-AI-Act- und DSGVO-Einwertung. Die kostenlosen Einzelmodule decken KI-Risiko, EU-KI-VO und DSGVO ab. Ohne Registrierung; die Bewertung läuft lokal in Ihrem Browser.
Diesen Eintrag zitieren
Für Berichte, Richtlinien oder interne Unterlagen; der Link führt direkt auf diesen Eintrag.
„Privacy-Angriffe“. Versatile AI Risk Assessment, KI-Bedrohungskatalog, Stand Juli 2026. https://www.versatile-ai-risk-assessment.com/wissensbasis/bedrohungen/privacy-angriffe/