Welche Gegenmaßnahmen nennt der Katalog?

Der Katalog nennt 5 Gegenmaßnahmen, jede mit Maßnahmenart, Wirkung und Umsetzungsebene. Beispiele sind: Data Loss Prevention (DLP), Überwachung des ausgehenden Datenverkehrs und Verschlüsselung at rest und in transit. Die Reihenfolge ist keine Priorisierung.

Welche Pflichten der KI-Verordnung können relevant sein?

Der Katalog ordnet diese Bedrohung Art. 9, Art. 13 und Art. 55 der EU-KI-Verordnung zu. Daraus folgen im Pflichtenkompass: Risikomanagementsystem einrichten und betreiben, Betriebsanleitung für Betreiber bereitstellen und Systemische Risiken bewerten und mindern. Ob eine Pflicht gilt, entscheiden Rolle, Risikoklasse und Frist.

KI-Bedrohungskatalog Datenschutz und Datenabfluss Produktion

Exfiltration aus der ML-Anwendung

Angreifer oder Innentäter kopieren unbefugt Daten, Modellgewichte oder Konfigurationen direkt aus einer produktiven KI-Anwendung, indem sie Software-Fehler, Fehlkonfigurationen oder legitime Zugänge ausnutzen.

Stand: Oktober 2026 · Katalogversion 2026.10.24.2 · 5 Gegenmaßnahmen · 17 belegte Quellen

Beschreibung

Anders als bei Angriffen über die Modellantworten wird hier die Anwendung samt Infrastruktur selbst zum Angriffsziel. Angreifer nutzen Schwachstellen in der Anwendung, offen erreichbare Speicher und Schnittstellen, gestohlene Zugangsdaten oder Zugriffe von Innentätern, um Trainingsdaten, hinterlegte Dokumente, Chatverläufe, Modellgewichte oder Systemkonfigurationen abzuziehen. Zusätzlich kann das Modell selbst zum Werkzeug werden: Per Prompt Injection, also über eingeschleuste Anweisungen, bringen Angreifer es dazu, vertrauliche Inhalte an eine von ihnen kontrollierte Adresse zu senden. Betroffen ist der laufende Betrieb, in dem die Anwendung mit echten Daten arbeitet.

Mögliche Auswirkung

Es drohen Datenabflüsse im großen Stil: Kundendaten, Geschäftsgeheimnisse und interne Dokumente auf einen Schlag. Gestohlene Modellgewichte bedeuten den Verlust teuer erarbeiteten geistigen Eigentums; gestohlene Konfigurationen und Zugangsdaten ermöglichen Folgeangriffe. Bei personenbezogenen Daten greifen DSGVO-Meldepflichten und Bußgelder, dazu kommen Wiederherstellungskosten und Reputationsschaden.

Beispiel

Ein Unternehmen betreibt seinen Modellspeicher in der Cloud, schützt ihn aber nicht mit einer Anmeldung. Eine Sicherheitsstudie fand über 8.000 solcher offen zugänglicher Speicher (Container-Registries) im Internet, aus denen sich mehr als 1.000 KI-Modelle herunterladen oder sogar verändern ließen.

Empfohlene Gegenmaßnahmen (5)

Vergleichen Sie Wirkung und Umsetzungsebene. Die ergänzende Einordnung und Begründung können Sie bei Bedarf aufklappen.

Data Loss Prevention (DLP)
Technisch

Wirkung
Präventiv, Aufdeckend
Umsetzungsebene
Daten, Anwendung, API & Agenten

Einordnung und Begründung

Ergänzende MaßnahmenartOrganisatorisch & prozessual

Primär technisch: Automatisierte Prüf-, Blockier- und Schwärzungsregeln an Datenausgängen verhindern Datenabfluss; Datenklassen, Ausnahmen und Zuständigkeiten ergänzen die Umsetzung.
Überwachung des ausgehenden Datenverkehrs
Technisch

Wirkung
Aufdeckend
Umsetzungsebene
Daten, Infrastruktur, Nutzung & Betrieb

Einordnung und Begründung

Ergänzende MaßnahmenartOrganisatorisch & prozessual

Primär technisch: Software oder Analysewerkzeuge erzeugen und bewerten systematisch Messwerte, Abweichungen oder Angriffsindikatoren; ergänzt durch verbindliche Abläufe.
Verschlüsselung at rest und in transit
Technisch

Wirkung
Präventiv, Schadensbegrenzend
Umsetzungsebene
Daten, Infrastruktur

Einordnung und Begründung

Primär technisch: Kryptografische oder maschinenprüfbare Merkmale sichern Vertraulichkeit, Integrität oder Herkunft.
Least-Privilege-Zugriff
Technisch

Wirkung
Präventiv, Schadensbegrenzend
Umsetzungsebene
Daten, Anwendung, API & Agenten

Einordnung und Begründung

Ergänzende MaßnahmenartOrganisatorisch & prozessual

Primär technisch: Maschinell erzwungene Identitäts-, Berechtigungs- oder Bereichsregeln begrenzen unzulässige Zugriffe und Aktionen; ergänzt durch verbindliche Abläufe.
Audit-Logging
Technisch

Wirkung
Aufdeckend
Umsetzungsebene
Anwendung, API & Agenten, Nutzung & Betrieb

Einordnung und Begründung

Ergänzende MaßnahmenartOrganisatorisch & prozessual

Primär technisch: Software oder Analysewerkzeuge erzeugen und bewerten systematisch Messwerte, Abweichungen oder Angriffsindikatoren; ergänzt durch verbindliche Abläufe.

Standard-Zuordnungen

Verifizierte Fundstellen in OWASP, NIST AI RMF, MITRE ATLAS, EU AI Act und weiteren Rahmenwerken. Die Zuordnungen zeigen fachliche Bezüge. Sie belegen nicht, dass ein System die jeweiligen Anforderungen erfüllt.

Belegte Referenzen (17)

Jede Referenz nennt Rahmenwerk, Fundstelle und die herausgebende Organisation.

OWASP LLM Top 10 LLM02:2026 Sensitive Information DisclosureLLM02:2026 Sensitive Information Disclosure, OWASP Top 10 for LLM Applications 2026 v1.0, pp. 18-22 (doi:10.5281/zenodo.22109015); canonical text 2026/final/LLM02_SensitiveInformationDisclosure.md at commit 7e144e05 OWASP Foundation Original
NIST AI RMF Abschnitt 2.4 Data PrivacyAbschnitt 2.4, pp. 7–8 National Institute of Standards and Technology (NIST)Original
NIST AI RMF Abschnitt 2.9 Information SecurityAbschnitt 2.9, pp. 10–11 National Institute of Standards and Technology (NIST)Original
NIST AI RMF MEASURE 2.10 MEASURE 2.10MEASURE 2.10, p. 30 National Institute of Standards and Technology (NIST)Original
NIST AI RMF NISTAML.015 Indirect Prompt InjectionTaxonomy Index, pp. x–xi; Abschnitt 3.4, pp. 50–53; Glossary, p. 110 National Institute of Standards and Technology (NIST)Original
NIST AI RMF NISTAML.036 Leaking information from user interactionsTaxonomy Index, p. xi; Abschnitt 3.4.3, pp. 52–53 National Institute of Standards and Technology (NIST)Original
NIST AI RMF NISTAML.039 Compromising connected resourcesTaxonomy Index, p. xi; Abschnitt 3.4.3, pp. 52–53 National Institute of Standards and Technology (NIST)Original
MITRE ATLAS AML.T0024 Exfiltration via AI Inference APIATLAS-2026.09.yaml technique object with id AML.T0024 (content release 2026.09, format-version 6.0.0) MITRE Original
MITRE ATLAS AML.T0025 Exfiltration via Cyber MeansATLAS-2026.09.yaml technique object with id AML.T0025 (content release 2026.09, format-version 6.0.0) MITRE Original
EU AI Act Article 13(1), 13(3)(b)(ii), (iv), (v) Transparency and provision of information to deployersArticle 13(1), 13(3)(b)(ii), (iv), (v) European Union (EUR-Lex)Original
EU AI Act Article 55(1)(d) Obligations of providers of general-purpose AI models with systemic riskArticle 55(1)(d) European Union (EUR-Lex)Original
EU AI Act Article 9(1), 9(2)(a), 9(2)(d) Risk management systemArticle 9(1), 9(2)(a), 9(2)(d), read with Article 9(3) European Union (EUR-Lex)Original
DSGVO Article 25(1)–(2) Data protection by design and by defaultArticle 25(1) and 25(2) European Union (EUR-Lex)Original
BSI R2 Fehlende Vertraulichkeit eingegebener Daten (Text, Bild, Video)Kap. 4, R2, p. 14 Bundesamt für Sicherheit in der Informationstechnik (BSI)Original
BSI R28 Indirect Prompt Injections (Text)Kap. 4, R28, p. 33 Bundesamt für Sicherheit in der Informationstechnik (BSI)Original
BIML BIML78 raw:3 StoragePDF p. 10, [raw:3:storage] Berryville Institute of Machine Learning (BIML)Original
BIML BIML78 system:8 InsiderPDF p. 26, [system:8:insider] Berryville Institute of Machine Learning (BIML)Original

Pflichten der KI-Verordnung zu dieser Bedrohung

Die Pflichten aus dem Pflichtenkompass, deren Artikel der Katalog dieser Bedrohung zuordnet. Jede führt auf ihren Eintrag mit Kern, Handlungsschritt und Nachweis; ob sie Sie trifft, hängt von Rolle und Risikoklasse ab.

Risikomanagementsystem einrichten und betreiben Art. 9 · gilt ab Anhang III: 2. Dezember 2027 · Anhang I: 2. August 2028
Gesetzliche Rollen: Anbieter, Produkthersteller. Klassen: Hochrisiko nach Anhang III, Hochrisiko als Produkt oder Sicherheitsbauteil.

Der Verweis ist ein Prüfanlass. Ein Bedrohungstreffer allein begründet keine Anwendbarkeit.
Betriebsanleitung für Betreiber bereitstellen Art. 13 · gilt ab Anhang III: 2. Dezember 2027 · Anhang I: 2. August 2028
Gesetzliche Rollen: Anbieter, Produkthersteller. Klassen: Hochrisiko nach Anhang III, Hochrisiko als Produkt oder Sicherheitsbauteil.

Der Verweis ist ein Prüfanlass. Ein Bedrohungstreffer allein begründet keine Anwendbarkeit.
Systemische Risiken bewerten und mindern Art. 55 · gilt ab 2. August 2025
Gesetzliche Rollen: Anbieter eines KI-Modells mit allgemeinem Verwendungszweck. Klassen: Modell mit systemischem Risiko.

Der Verweis ist ein Prüfanlass. Ein Bedrohungstreffer allein begründet keine Anwendbarkeit.

Alle 62 Pflichten nach Rolle, Risikoklasse und Frist im Pflichtenkompass

Begriffe auf dieser Seite

Fachbegriffe aus dem Glossar, die in diesem Eintrag vorkommen. Jeder Verweis führt zur vollständigen Erklärung.

Prompt Injection Manipulierte Eingaben oder eingeschleuste Inhalte steuern ein Sprachmodell um.

Weitere Einträge aus der Themengruppe Datenschutz und Datenabfluss.

Passende Anwendungsfälle

Die Liste zeigt, wo Sie diese Bedrohung prüfen, nicht wie hoch das Risiko ist.

Besonders wichtig bei:

KI-Assistent in BüroanwendungenEingeschleuste Anweisungen bringen den Assistenten dazu, interne Inhalte in einen Link oder ein Bild einzubauen. Lädt die Anwendung das Bild, landen die Daten auf einem fremden Server, so geschehen bei EchoLeak.
Coding-AgentDer Agent darf Netzwerkverbindungen öffnen und Befehle ausführen. Eine eingeschleuste Anweisung kann ihn dazu bringen, Quellcode oder Geheimnisse an eine fremde Adresse zu senden.

Üblich bei:

Bei 12 weiteren Anwendungsfällen hängt es vom Aufbau des Systems ab, etwa davon, ob es Inhalte an Dienste außerhalb Ihrer Umgebung weitergibt oder vertrauliche Daten verarbeitet. Diese Anwendungsfälle zeigen

Häufige Fragen

Worum geht es bei dieser Bedrohung?: Angreifer oder Innentäter kopieren unbefugt Daten, Modellgewichte oder Konfigurationen direkt aus einer produktiven KI-Anwendung, indem sie Software-Fehler, Fehlkonfigurationen oder legitime Zugänge ausnutzen.
Welche Gegenmaßnahmen nennt der Katalog?: Der Katalog nennt 5 Gegenmaßnahmen, jede mit Maßnahmenart, Wirkung und Umsetzungsebene. Beispiele sind: Data Loss Prevention (DLP), Überwachung des ausgehenden Datenverkehrs und Verschlüsselung at rest und in transit. Die Reihenfolge ist keine Priorisierung.
Welche Pflichten der KI-Verordnung können relevant sein?: Der Katalog ordnet diese Bedrohung Art. 9, Art. 13 und Art. 55 der EU-KI-Verordnung zu. Daraus folgen im Pflichtenkompass: Risikomanagementsystem einrichten und betreiben, Betriebsanleitung für Betreiber bereitstellen und Systemische Risiken bewerten und mindern. Ob eine Pflicht gilt, entscheiden Rolle, Risikoklasse und Frist.

Diese Bedrohung im eigenen System bewerten

Die Live-Demo enthält alle 52 Bedrohungen dieses Katalogs sowie die Einordnung nach der EU-KI-Verordnung und die Datenschutzprüfung. Die kostenlosen Einzelmodule decken KI-Risiko, EU-KI-VO und DSGVO ab. Ohne Registrierung; die Bewertung läuft lokal in Ihrem Browser.

Live-Demo starten Kostenlose Module ansehen

Diesen Eintrag zitieren

Für Berichte, Richtlinien oder interne Unterlagen; der Link führt direkt auf diesen Eintrag.

„Exfiltration aus der ML-Anwendung“. Versatile AI Risk Assessment, KI-Bedrohungskatalog, Stand Oktober 2026.
https://www.versatile-ai-risk-assessment.com/wissensbasis/bedrohungen/exfiltration-ml-anwendung/

← Zurück zum vollständigen Katalog

Beschreibung

Mögliche Auswirkung

Beispiel

Empfohlene Gegenmaßnahmen (5)

Data Loss Prevention (DLP)

Überwachung des ausgehenden Datenverkehrs

Verschlüsselung at rest und in transit

Least-Privilege-Zugriff

Audit-Logging