Welche Gegenmaßnahmen nennt der Katalog?

Der Katalog nennt 5 Gegenmaßnahmen, jede mit Maßnahmenart, Wirkung und Umsetzungsebene. Beispiele sind: Differential Privacy im Training, Ausgabe-Filter für den Datenschutz und Rate-Limiting von Queries. Die Reihenfolge ist keine Priorisierung.

Welche Pflichten der KI-Verordnung können relevant sein?

Der Katalog ordnet diese Bedrohung Art. 55 der EU-KI-Verordnung zu. Daraus folgen im Pflichtenkompass: Systemische Risiken bewerten und mindern. Ob eine Pflicht gilt, entscheiden Rolle, Risikoklasse und Frist.

KI-Bedrohungskatalog Datenschutz und Datenabfluss Produktion

Privacy-Angriffe

Angreifer entlocken einem KI-Modell durch geschickte Abfragen persönliche oder sensible Informationen aus seinen Trainingsdaten, zum Beispiel ob die Daten einer bestimmten Person für das Training verwendet wurden.

Stand: Oktober 2026 · Katalogversion 2026.10.24.2 · 5 Gegenmaßnahmen · 19 belegte Quellen

Beschreibung

Ein KI-Modell behält Spuren seiner Trainingsdaten. Angreifer nutzen das aus, indem sie das Modell über die normale Eingabeschnittstelle systematisch befragen und die Antworten statistisch auswerten; ein Einbruch in die IT ist dafür nicht nötig. Mit Membership Inference (Mitgliedschaftsinferenz) stellen sie fest, ob die Daten einer bestimmten Person im Training enthalten waren. Mit Model Inversion (Modellinversion) rekonstruieren sie typische Trainingsinhalte, etwa ein Gesicht aus einem Gesichtserkennungsmodell. Mit Attribut-Inferenz leiten sie sensible Eigenschaften einer Person ab, die das System nie preisgeben sollte. Auch scheinbar anonymisierte Datensätze lassen sich mit KI-Unterstützung wieder konkreten Personen zuordnen (Re-Identifizierung).

Mögliche Auswirkung

Das Unternehmen verletzt die Vertraulichkeit personenbezogener Daten, ohne dass jemand einbricht; es drohen Meldepflichten, Bußgelder und Ansprüche Betroffener nach der DSGVO. Schon der Nachweis, dass eine Person im Trainingsdatensatz enthalten war, kann ihr schaden, etwa bei Gesundheitsdaten. Zudem gilt ein KI-Modell datenschutzrechtlich nur als anonym, wenn solche Angriffe mit vernünftigen Mitteln voraussichtlich scheitern; andernfalls unterliegt das Modell selbst der DSGVO.

Beispiel

Eine Klinik trainiert ein Prognosemodell mit Patientendaten und stellt es als Online-Dienst bereit. Ein Angreifer befragt das Modell gezielt und kann so belegen, dass eine bestimmte Person zur Studiengruppe mit einer seltenen Erkrankung gehörte, obwohl das Modell ihren Namen nie ausgibt.

Empfohlene Gegenmaßnahmen (5)

Vergleichen Sie Wirkung und Umsetzungsebene. Die ergänzende Einordnung und Begründung können Sie bei Bedarf aufklappen.

Differential Privacy im Training
Technisch

Wirkung
Präventiv
Umsetzungsebene
Daten, Modell & Training

Einordnung und Begründung

Primär technisch: Minimierung, Randomisierung, gleichförmige Verarbeitung oder Abfragebegrenzung reduzieren den Informationsgewinn aus wiederholten Beobachtungen.
Ausgabe-Filter für den Datenschutz
Technisch

Wirkung
Präventiv
Umsetzungsebene
Daten, Anwendung, API & Agenten

Einordnung und Begründung

Primär technisch: Systemseitige Prüf-, Transformations- oder Blockierregeln stoppen oder neutralisieren unzulässige Inhalte vor der Weiterverarbeitung.
Rate-Limiting von Queries
Technisch

Wirkung
Präventiv, Schadensbegrenzend
Umsetzungsebene
Anwendung, API & Agenten

Einordnung und Begründung

Ergänzende MaßnahmenartOrganisatorisch & prozessual

Primär technisch: Minimierung, Randomisierung, gleichförmige Verarbeitung oder Abfragebegrenzung reduzieren den Informationsgewinn aus wiederholten Beobachtungen; ergänzt durch verbindliche Abläufe.
Datenminimierung im Training
Technisch

Wirkung
Präventiv
Umsetzungsebene
Daten, Modell & Training

Einordnung und Begründung

Primär technisch: Minimierung, Randomisierung, gleichförmige Verarbeitung oder Abfragebegrenzung reduzieren den Informationsgewinn aus wiederholten Beobachtungen.
Anonymisierungs- und Aggregationstechniken
Technisch

Wirkung
Präventiv
Umsetzungsebene
Daten

Einordnung und Begründung

Primär technisch: Minimierung, Randomisierung, gleichförmige Verarbeitung oder Abfragebegrenzung reduzieren den Informationsgewinn aus wiederholten Beobachtungen.

Standard-Zuordnungen

Verifizierte Fundstellen in OWASP, NIST AI RMF, MITRE ATLAS, EU AI Act und weiteren Rahmenwerken. Die Zuordnungen zeigen fachliche Bezüge. Sie belegen nicht, dass ein System die jeweiligen Anforderungen erfüllt.

Belegte Referenzen (19)

Jede Referenz nennt Rahmenwerk, Fundstelle und die herausgebende Organisation.

OWASP LLM Top 10 LLM02:2026 Sensitive Information DisclosureLLM02:2026 Sensitive Information Disclosure, OWASP Top 10 for LLM Applications 2026 v1.0, pp. 18-22 (doi:10.5281/zenodo.22109015); canonical text 2026/final/LLM02_SensitiveInformationDisclosure.md at commit 7e144e05 OWASP Foundation Original
NIST AI RMF Abschnitt 2.4 Data PrivacyAbschnitt 2.4, pp. 7–8 National Institute of Standards and Technology (NIST)Original
NIST AI RMF Abschnitt 2.9 Information SecurityAbschnitt 2.9, pp. 10–11 National Institute of Standards and Technology (NIST)Original
NIST AI RMF MEASURE 2.10 MEASURE 2.10MEASURE 2.10, p. 30 National Institute of Standards and Technology (NIST)Original
NIST AI RMF NISTAML.032 ReconstructionTaxonomy Index, p. x; Abschnitt 2.4.1, pp. 28–29 National Institute of Standards and Technology (NIST)Original
NIST AI RMF NISTAML.033 Membership InferenceTaxonomy Index, p. x; Abschnitt 2.4.2, pp. 29–30 National Institute of Standards and Technology (NIST)Original
NIST AI RMF NISTAML.038 Data ExtractionTaxonomy Index, p. xi; Abschnitt 3.3.2, pp. 46–47 National Institute of Standards and Technology (NIST)Original
MITRE ATLAS AML.T0024.000 Infer Training Data MembershipATLAS-2026.09.yaml technique object with id AML.T0024.000 (content release 2026.09, format-version 6.0.0) MITRE Original
MITRE ATLAS AML.T0024.001 Invert AI ModelATLAS-2026.09.yaml technique object with id AML.T0024.001 (content release 2026.09, format-version 6.0.0) MITRE Original
EU AI Act Article 55(1)(a) Obligations of providers of general-purpose AI models with systemic riskArticle 55(1)(a) European Union (EUR-Lex)Original
DSGVO Article 25(1)–(2) Data protection by design and by defaultArticle 25(1) and 25(2) European Union (EUR-Lex)Original
DSGVO EDPB Opinion 28/2024, Section 3.2 EDPB Opinion 28/2024 on certain data protection aspects related to the processing of personal data in the context of AI modelsSection 3.2, especially paragraph 43 and paragraphs 44–58, pp. 14–18 (anonymity; extraction/model attacks) European Data Protection Board (EDPB)Original
BSI R13 Re-Identifizierung von Personen aus anonymisierten Daten (Text, Bild, Video)Kap. 4, R13, p. 21 Bundesamt für Sicherheit in der Informationstechnik (BSI)Original
BSI R2 Fehlende Vertraulichkeit eingegebener Daten (Text, Bild, Video)Kap. 4, R2, p. 14 Bundesamt für Sicherheit in der Informationstechnik (BSI)Original
BSI R22 Rekonstruktion von Trainingsdaten (Text, Bild, Video)Kap. 4, R22, p. 28 Bundesamt für Sicherheit in der Informationstechnik (BSI)Original
BSI R23 Embedding Inversion (Text, Bild, Video)Kap. 4, R23, p. 28 Bundesamt für Sicherheit in der Informationstechnik (BSI)Original
BIML BIML-LLM model:6 Training Set and Prompt RevealPDF p. 18, [model:6:training set and prompt reveal] Berryville Institute of Machine Learning (BIML)Original
BIML BIML-LLM raw:5 Data ConfidentialityPDF p. 15, [raw:5:data confidentiality] Berryville Institute of Machine Learning (BIML)Original
BIML BIML78 raw:1 Data ConfidentialityPDF p. 10, [raw:1:data confidentiality] Berryville Institute of Machine Learning (BIML)Original

Pflichten der KI-Verordnung zu dieser Bedrohung

Die Pflichten aus dem Pflichtenkompass, deren Artikel der Katalog dieser Bedrohung zuordnet. Jede führt auf ihren Eintrag mit Kern, Handlungsschritt und Nachweis; ob sie Sie trifft, hängt von Rolle und Risikoklasse ab.

Systemische Risiken bewerten und mindern Art. 55 · gilt ab 2. August 2025
Gesetzliche Rollen: Anbieter eines KI-Modells mit allgemeinem Verwendungszweck. Klassen: Modell mit systemischem Risiko.

Der Verweis ist ein Prüfanlass. Ein Bedrohungstreffer allein begründet keine Anwendbarkeit.

Alle 62 Pflichten nach Rolle, Risikoklasse und Frist im Pflichtenkompass

Weitere Einträge aus der Themengruppe Datenschutz und Datenabfluss.

Passende Anwendungsfälle

Die Liste zeigt, wo Sie diese Bedrohung prüfen, nicht wie hoch das Risiko ist.

Besonders wichtig bei:

Automatische Anonymisierung und SchwärzungNamen sind geschwärzt, aber Beruf, Wohnort und Tatzeit stehen noch im Text. Wer die veröffentlichte Entscheidung mit anderen Quellen abgleicht, kann die Person trotzdem bestimmen.
EmpfehlungssystemAus Käufen und angesehenen Inhalten schließt das Modell auf eine Schwangerschaft oder eine Krankheit. Zeigt es darauf abgestimmte Empfehlungen, erfahren andere Personen am selben Gerät davon.
Personalisierte Online-Werbung (Behavioural Targeting)Das Modell ordnet eine Person aus ihrem Surfverhalten einer Zielgruppe wie Schuldnerberatung oder Kinderwunsch zu. Werbetreibende erfahren über die gebuchte Zielgruppe auf Umwegen, was die Person nie angegeben hat.
Risikobewertung und Tarifierung in der Lebens- und KrankenversicherungDas Modell hat aus Gesundheitsdaten sehr vieler Menschen gelernt. Wer es wiederholt abfragt, kann Rückschlüsse darauf ziehen, ob eine bestimmte Person oder Erkrankung in den Lerndaten vorkommt.
Biometrische Fernidentifizierung (Gesichtserkennung)Wer das System wiederholt mit Bildern abfragt, kann aus den Antworten schließen, ob eine bestimmte Person im Bestand gespeichert ist. Schon diese Auskunft kann verraten, dass gegen jemanden ermittelt wurde.

Üblich bei:

Bei 4 weiteren Anwendungsfällen hängt es vom Aufbau des Systems ab, etwa davon, ob es personenbezogene Daten verarbeitet oder vertrauliche Daten verarbeitet. Diese Anwendungsfälle zeigen

Häufige Fragen

Worum geht es bei dieser Bedrohung?: Angreifer entlocken einem KI-Modell durch geschickte Abfragen persönliche oder sensible Informationen aus seinen Trainingsdaten, zum Beispiel ob die Daten einer bestimmten Person für das Training verwendet wurden.
Welche Gegenmaßnahmen nennt der Katalog?: Der Katalog nennt 5 Gegenmaßnahmen, jede mit Maßnahmenart, Wirkung und Umsetzungsebene. Beispiele sind: Differential Privacy im Training, Ausgabe-Filter für den Datenschutz und Rate-Limiting von Queries. Die Reihenfolge ist keine Priorisierung.
Welche Pflichten der KI-Verordnung können relevant sein?: Der Katalog ordnet diese Bedrohung Art. 55 der EU-KI-Verordnung zu. Daraus folgen im Pflichtenkompass: Systemische Risiken bewerten und mindern. Ob eine Pflicht gilt, entscheiden Rolle, Risikoklasse und Frist.

Diese Bedrohung im eigenen System bewerten

Die Live-Demo enthält alle 52 Bedrohungen dieses Katalogs sowie die Einordnung nach der EU-KI-Verordnung und die Datenschutzprüfung. Die kostenlosen Einzelmodule decken KI-Risiko, EU-KI-VO und DSGVO ab. Ohne Registrierung; die Bewertung läuft lokal in Ihrem Browser.

Live-Demo starten Kostenlose Module ansehen

Diesen Eintrag zitieren

Für Berichte, Richtlinien oder interne Unterlagen; der Link führt direkt auf diesen Eintrag.

„Privacy-Angriffe“. Versatile AI Risk Assessment, KI-Bedrohungskatalog, Stand Oktober 2026.
https://www.versatile-ai-risk-assessment.com/wissensbasis/bedrohungen/privacy-angriffe/

← Zurück zum vollständigen Katalog

Beschreibung

Mögliche Auswirkung

Beispiel

Empfohlene Gegenmaßnahmen (5)

Differential Privacy im Training

Ausgabe-Filter für den Datenschutz

Rate-Limiting von Queries

Datenminimierung im Training

Anonymisierungs- und Aggregationstechniken