KI-BedrohungskatalogDatenschutz und DatenabflussProduktion
Offenlegung sensibler Informationen
Ein KI-System gibt unbeabsichtigt vertrauliche Informationen preis: Geschäftsgeheimnisse, personenbezogene Daten, Zugangsdaten oder interne Dokumente tauchen in den Antworten des Modells auf.
Beschreibung
Sprachmodelle merken sich Teile ihrer Trainingsdaten (Memorisierung) und können sie später wortgleich oder leicht verändert wieder ausgeben. Vertrauliche Inhalte gelangen auf mehreren Wegen in die Antworten: über memorierte Trainingsdaten, über angebundene Wissensquellen wie Dokumentablagen und Datenbanken oder über Eingaben anderer Nutzer. Ausgelöst wird die Offenlegung durch normale Nutzung, durch gezielt formulierte Fragen oder durch Prompt Injection, also eingeschleuste Anweisungen, die Schutzfilter umgehen. Ein zweiter Weg entsteht im Arbeitsalltag: Beschäftigte geben vertrauliche Unterlagen in externe KI-Dienste ein, deren Betreiber die Eingaben speichern und unter Umständen für das weitere Training verwenden.
Mögliche Auswirkung
Geschäftsgeheimnisse und Kundendaten geraten in fremde Hände; bei personenbezogenen Daten drohen DSGVO-Meldepflichten, Bußgelder und Ansprüche Betroffener. Offengelegte Zugangsdaten öffnen Folgeangriffen die Tür. Hinzu kommen Vertrauens- und Reputationsschäden, wenn Kunden erfahren, dass ihre Daten in Antworten an Dritte auftauchen.
Beispiel
Beschäftigte fügen internen Quellcode und Besprechungsnotizen in einen öffentlichen KI-Chatbot ein, um schneller zu arbeiten. Damit liegen die Inhalte beim Anbieter und können in künftige Modellversionen einfließen. Ein solcher Fall wurde bei einem großen Elektronikkonzern öffentlich bekannt.
Empfohlene Gegenmaßnahmen (4)
Jede Maßnahme nennt ihre Maßnahmenart, Wirkung, Umsetzungsebene und die Begründung der Einordnung.
Datenbereinigung vor dem TrainingTechnisch
- Wirkung
- Präventiv
- Umsetzungsebene
- Daten
- Begründung der Einordnung
- „Datenbereinigung vor dem Training“ ist primär technisch: Systemseitige Prüf-, Transformations- oder Blockierregeln stoppen oder neutralisieren unzulässige Inhalte vor der Weiterverarbeitung.
Ausgabefilter für sensible MusterTechnisch
- Wirkung
- Präventiv
- Umsetzungsebene
- Daten, Anwendung, API & Agenten
- Begründung der Einordnung
- „Ausgabefilter für sensible Muster“ ist primär technisch: Systemseitige Prüf-, Transformations- oder Blockierregeln stoppen oder neutralisieren unzulässige Inhalte vor der Weiterverarbeitung.
Erkennung und Schwärzung personenbezogener DatenTechnisch
- Wirkung
- Präventiv, Aufdeckend
- Umsetzungsebene
- Daten, Anwendung, API & Agenten
- Begründung der Einordnung
- „Erkennung und Schwärzung personenbezogener Daten“ ist primär technisch: Systemseitige Prüf-, Transformations- oder Blockierregeln stoppen oder neutralisieren unzulässige Inhalte vor der Weiterverarbeitung.
Strenge ZugriffskontrollenTechnisch
- Wirkung
- Präventiv
- Umsetzungsebene
- Daten, Anwendung, API & Agenten
- Ergänzende Maßnahmenart
- Organisatorisch & prozessual
- Begründung der Einordnung
- „Strenge Zugriffskontrollen“ ist primär technisch: Maschinell erzwungene Identitäts-, Berechtigungs- oder Bereichsregeln begrenzen unzulässige Zugriffe und Aktionen; ergänzt durch verbindliche Abläufe.
Standard-Zuordnungen
Verifizierte Fundstellen in OWASP, NIST AI RMF, MITRE ATLAS, EU AI Act und weiteren Rahmenwerken. Die Zuordnungen sind taxonomisch, kein Konformitätsnachweis.
Belegte Referenzen (18)
Jede Referenz nennt Rahmenwerk, Fundstelle und die herausgebende Organisation.
- OWASP LLM Top 10 LLM02:2025 Sensitive Information DisclosureLLM02:2025 Sensitive Information Disclosure, official category page OWASP FoundationOriginal
- NIST AI RMF Abschnitt 2.10 Intellectual PropertyAbschnitt 2.10, p. 11 National Institute of Standards and Technology (NIST)Original
- NIST AI RMF Abschnitt 2.4 Data PrivacyAbschnitt 2.4, pp. 7–8 National Institute of Standards and Technology (NIST)Original
- NIST AI RMF Abschnitt 2.9 Information SecurityAbschnitt 2.9, pp. 10–11 National Institute of Standards and Technology (NIST)Original
- NIST AI RMF MEASURE 2.10 MEASURE 2.10MEASURE 2.10, p. 30 National Institute of Standards and Technology (NIST)Original
- NIST AI RMF NISTAML.032 ReconstructionTaxonomy Index, p. x; Abschnitt 2.4.1, pp. 28–29 National Institute of Standards and Technology (NIST)Original
- NIST AI RMF NISTAML.035 Prompt ExtractionTaxonomy Index, p. xi; Abschnitt 3.3.2, pp. 46–47; Glossary, p. 111 National Institute of Standards and Technology (NIST)Original
- NIST AI RMF NISTAML.038 Data ExtractionTaxonomy Index, p. xi; Abschnitt 3.3.2, pp. 46–47 National Institute of Standards and Technology (NIST)Original
- MITRE ATLAS AML.T0057 LLM Data LeakageATLAS.yaml technique object with id AML.T0057 (pinned release v5.6.0) MITREOriginal
- EU AI Act Article 13(1), 13(3)(b)(ii), (iv), (v) Transparency and provision of information to deployersArticle 13(1), 13(3)(b)(ii), (iv), (v) European Union (EUR-Lex)Original
- EU AI Act Article 55(1)(b) Obligations of providers of general-purpose AI models with systemic riskArticle 55(1)(b) European Union (EUR-Lex)Original
- DSGVO Article 25(1)–(2) Data protection by design and by defaultArticle 25(1) and 25(2) European Union (EUR-Lex)Original
- DSGVO EDPB Opinion 28/2024, Section 3.2 EDPB Opinion 28/2024 on certain data protection aspects related to the processing of personal data in the context of AI modelsSection 3.2, especially paragraph 43 and paragraphs 44–58, pp. 14–18 (anonymity; extraction/model attacks) European Data Protection Board (EDPB)Original
- BSI R2 Fehlende Vertraulichkeit eingegebener Daten (Text, Bild, Video)Kap. 4, R2, p. 14 Bundesamt für Sicherheit in der Informationstechnik (BSI)Original
- BSI R25 Extraktion von Kommunikationsdaten und hinterlegten Informationen (Text, Bild, Video)Kap. 4, R25, p. 30 Bundesamt für Sicherheit in der Informationstechnik (BSI)Original
- BIML BIML-LLM inference:10 User RiskPDF p. 19, [inference:10:user risk] Berryville Institute of Machine Learning (BIML)Original
- BIML BIML-LLM raw:5 Data ConfidentialityPDF p. 15, [raw:5:data confidentiality] Berryville Institute of Machine Learning (BIML)Original
- BIML BIML78 inference:5 User RiskPDF p. 20, [inference:5:user risk] Berryville Institute of Machine Learning (BIML)Original
Begriffe auf dieser Seite
Fachbegriffe aus dem Glossar, die in diesem Eintrag vorkommen. Jeder Verweis führt zur vollständigen Erklärung.
- Prompt Injection Manipulierte Eingaben oder eingeschleuste Inhalte steuern ein Sprachmodell um.
Verwandte Bedrohungen
Weitere Einträge aus der Themengruppe Datenschutz und Datenabfluss.
Diese Bedrohung im eigenen System bewerten
Die Live-Demo enthält alle 52 Bedrohungen dieses Katalogs samt EU-AI-Act- und DSGVO-Einwertung. Die kostenlosen Einzelmodule decken KI-Risiko, EU-KI-VO und DSGVO ab. Ohne Registrierung; die Bewertung läuft lokal in Ihrem Browser.
Diesen Eintrag zitieren
Für Berichte, Richtlinien oder interne Unterlagen; der Link führt direkt auf diesen Eintrag.
„Offenlegung sensibler Informationen“. Versatile AI Risk Assessment, KI-Bedrohungskatalog, Stand Juli 2026. https://www.versatile-ai-risk-assessment.com/wissensbasis/bedrohungen/offenlegung-sensibler-informationen/