KI-Bedrohungskatalog Angriffe auf Modell und Betrieb Produktion
Modell-Reconnaissance
Angreifer sammeln Informationen über ein produktives Modell, etwa Bauart, verwendete Modellfamilie und Fähigkeiten, um spätere gezieltere Angriffe vorzubereiten. Es ist die Auskundschaftungsphase vor Diebstahl oder Umgehung.
Beschreibung
Vor einem gezielten Angriff kundschaften Angreifer das eingesetzte Modell aus. Sie tasten über die normale Schnittstelle ab, welche Modellfamilie und Version dahintersteckt (Fingerprinting), welche Architektur vermutlich verwendet wird und welche Fähigkeiten und Ausgabekategorien das Modell hat. Dazu werten sie Antworten, mitgelieferte Metadaten, ausführliche Fehlermeldungen oder öffentlich zugängliche Artefakte aus. Die Auskundschaftung ist meist kein Selbstzweck, sondern die Vorstufe zu Modell-Diebstahl oder zu adversarialen Eingaben, die dann passgenau zugeschnitten werden.
Mögliche Auswirkung
Der unmittelbare Schaden ist gering, doch die gewonnenen Erkenntnisse machen Folgeangriffe deutlich wirksamer und schwerer abzuwehren. Wird die zugrunde liegende Modellfamilie erkannt, lassen sich bekannte Schwachstellen dieser Familie gezielt ausnutzen, zumal viele Dienste auf denselben Basismodellen aufbauen. Zugleich können interne Modell- und Konfigurationsdetails als Geschäftsgeheimnis abfließen.
Beispiel
Ein Angreifer schickt einem KI-Dienst eine Reihe systematischer Testfragen und wertet Formulierungen, Antwortzeiten und Fehlermeldungen aus. Daraus schließt er auf das verwendete Basismodell und richtet seinen nächsten Angriff gezielt auf dessen bekannte Schwächen aus.
Empfohlene Gegenmaßnahmen (6)
Vergleichen Sie Wirkung und Umsetzungsebene. Die ergänzende Einordnung und Begründung können Sie bei Bedarf aufklappen.
-
Anomalie-Erkennung von Abfragemustern
Technisch- Wirkung
- Aufdeckend
- Umsetzungsebene
- Anwendung, API & Agenten, Infrastruktur
Einordnung und Begründung
Primär technisch: Software oder Analysewerkzeuge erzeugen und bewerten systematisch Messwerte, Abweichungen oder Angriffsindikatoren.
-
Ausgabe-Randomisierung gegen Fingerprinting
Technisch- Wirkung
- Präventiv
- Umsetzungsebene
- Anwendung, API & Agenten, Infrastruktur
Einordnung und Begründung
Primär technisch: Minimierung, Randomisierung, gleichförmige Verarbeitung oder Abfragebegrenzung reduzieren den Informationsgewinn aus wiederholten Beobachtungen.
-
Minimierung von Modell-Metadaten in Antworten
Technisch- Wirkung
- Präventiv
- Umsetzungsebene
- Anwendung, API & Agenten, Infrastruktur
Einordnung und Begründung
Primär technisch: Minimierung, Randomisierung, gleichförmige Verarbeitung oder Abfragebegrenzung reduzieren den Informationsgewinn aus wiederholten Beobachtungen.
-
Rate-Limiting pro Session
Technisch- Wirkung
- Präventiv, Schadensbegrenzend
- Umsetzungsebene
- Anwendung, API & Agenten, Infrastruktur
Einordnung und Begründung
Ergänzende MaßnahmenartOrganisatorisch & prozessual
Primär technisch: Minimierung, Randomisierung, gleichförmige Verarbeitung oder Abfragebegrenzung reduzieren den Informationsgewinn aus wiederholten Beobachtungen; ergänzt durch verbindliche Abläufe.
-
Honeypot-Queries zur Angriffserkennung
Technisch- Wirkung
- Aufdeckend
- Umsetzungsebene
- Anwendung, API & Agenten, Infrastruktur, Nutzung & Betrieb
Einordnung und Begründung
Primär technisch: Software oder Analysewerkzeuge erzeugen und bewerten systematisch Messwerte, Abweichungen oder Angriffsindikatoren.
-
Zugriffskontrollen und Authentifizierung
Technisch- Wirkung
- Präventiv
- Umsetzungsebene
- Anwendung, API & Agenten, Infrastruktur
Einordnung und Begründung
Ergänzende MaßnahmenartOrganisatorisch & prozessual
Primär technisch: Maschinell erzwungene Identitäts-, Berechtigungs- oder Bereichsregeln begrenzen unzulässige Zugriffe und Aktionen; ergänzt durch verbindliche Abläufe.
Standard-Zuordnungen
Verifizierte Fundstellen in OWASP, NIST AI RMF, MITRE ATLAS, EU AI Act und weiteren Rahmenwerken. Die Zuordnungen zeigen fachliche Bezüge. Sie belegen nicht, dass ein System die jeweiligen Anforderungen erfüllt.
Belegte Referenzen (12)
Jede Referenz nennt Rahmenwerk, Fundstelle und die herausgebende Organisation.
- OWASP LLM Top 10 LLM02:2026 Sensitive Information DisclosureLLM02:2026 Sensitive Information Disclosure, OWASP Top 10 for LLM Applications 2026 v1.0, pp. 18-22 (doi:10.5281/zenodo.22109015); canonical text 2026/final/LLM02_SensitiveInformationDisclosure.md at commit 7e144e05 OWASP FoundationOriginal
- OWASP LLM Top 10 LLM06:2026 Unbounded ConsumptionLLM06:2026 Unbounded Consumption, OWASP Top 10 for LLM Applications 2026 v1.0, pp. 38-42 (doi:10.5281/zenodo.22109015); canonical text 2026/final/LLM06_UnboundedConsumption.md at commit 7e144e05 OWASP FoundationOriginal
- NIST AI RMF NISTAML.031 Model ExtractionTaxonomy Index, p. x; Abschnitt 2.4.4, pp. 31–32; Abschnitt 3.3.2, p. 47 National Institute of Standards and Technology (NIST)Original
- MITRE ATLAS AML.T0002 Acquire Public AI ArtifactsATLAS-2026.09.yaml technique object with id AML.T0002 (content release 2026.09, format-version 6.0.0) MITREOriginal
- MITRE ATLAS AML.T0014 Discover AI Model FamilyATLAS-2026.09.yaml technique object with id AML.T0014 (content release 2026.09, format-version 6.0.0) MITREOriginal
- MITRE ATLAS AML.T0040 AI Model Inference API AccessATLAS-2026.09.yaml technique object with id AML.T0040 (content release 2026.09, format-version 6.0.0) MITREOriginal
- EU AI Act Article 55(1)(d) Obligations of providers of general-purpose AI models with systemic riskArticle 55(1)(d) European Union (EUR-Lex)Original
- BSI R12 Wissenssammlung und -aufbereitung im Kontext krimineller Aktivitäten (Text, Bild)Kap. 4, R12, p. 20 Bundesamt für Sicherheit in der Informationstechnik (BSI)Original
- BSI R25 Extraktion von Kommunikationsdaten und hinterlegten Informationen (Text, Bild, Video)Kap. 4, R25, p. 30 Bundesamt für Sicherheit in der Informationstechnik (BSI)Original
- BIML BIML-LLM input:3 Open to the PublicPDF p. 16, [input:3:open to the public] Berryville Institute of Machine Learning (BIML)Original
- BIML BIML78 assembly:6 FilterPDF p. 13, [assembly:6:filter] Berryville Institute of Machine Learning (BIML)Original
- BIML BIML78 inference:3 Confidence ScoresPDF p. 20, [inference:3:confidence scores] Berryville Institute of Machine Learning (BIML)Original
Pflichten der KI-Verordnung zu dieser Bedrohung
Die Pflichten aus dem Pflichtenkompass, deren Artikel der Katalog dieser Bedrohung zuordnet. Jede führt auf ihren Eintrag mit Kern, Handlungsschritt und Nachweis; ob sie Sie trifft, hängt von Rolle und Risikoklasse ab.
-
Systemische Risiken bewerten und mindern
Art. 55 · gilt ab 2. August 2025
Gesetzliche Rollen: Anbieter eines KI-Modells mit allgemeinem Verwendungszweck. Klassen: Modell mit systemischem Risiko.
Der Verweis ist ein Prüfanlass. Ein Bedrohungstreffer allein begründet keine Anwendbarkeit.
Alle 62 Pflichten nach Rolle, Risikoklasse und Frist im Pflichtenkompass
Verwandte Bedrohungen
Weitere Einträge aus der Themengruppe Angriffe auf Modell und Betrieb.
Passende Anwendungsfälle
Die Liste zeigt, wo Sie diese Bedrohung prüfen, nicht wie hoch das Risiko ist.
Üblich bei:
Bei 44 weiteren Anwendungsfällen hängt es vom Aufbau des Systems ab, etwa davon, ob es Anfragen direkt über eine Schnittstelle annimmt oder auch Menschen außerhalb Ihrer Organisation offensteht. Diese Anwendungsfälle zeigen
Häufige Fragen
- Worum geht es bei dieser Bedrohung?
- Angreifer sammeln Informationen über ein produktives Modell, etwa Bauart, verwendete Modellfamilie und Fähigkeiten, um spätere gezieltere Angriffe vorzubereiten. Es ist die Auskundschaftungsphase vor Diebstahl oder Umgehung.
- Welche Gegenmaßnahmen nennt der Katalog?
- Der Katalog nennt 6 Gegenmaßnahmen, jede mit Maßnahmenart, Wirkung und Umsetzungsebene. Beispiele sind: Anomalie-Erkennung von Abfragemustern, Ausgabe-Randomisierung gegen Fingerprinting und Minimierung von Modell-Metadaten in Antworten. Die Reihenfolge ist keine Priorisierung.
- Welche Pflichten der KI-Verordnung können relevant sein?
- Der Katalog ordnet diese Bedrohung Art. 55 der EU-KI-Verordnung zu. Daraus folgen im Pflichtenkompass: Systemische Risiken bewerten und mindern. Ob eine Pflicht gilt, entscheiden Rolle, Risikoklasse und Frist.
Diese Bedrohung im eigenen System bewerten
Die Live-Demo enthält alle 52 Bedrohungen dieses Katalogs sowie die Einordnung nach der EU-KI-Verordnung und die Datenschutzprüfung. Die kostenlosen Einzelmodule decken KI-Risiko, EU-KI-VO und DSGVO ab. Ohne Registrierung; die Bewertung läuft lokal in Ihrem Browser.
Diesen Eintrag zitieren
Für Berichte, Richtlinien oder interne Unterlagen; der Link führt direkt auf diesen Eintrag.
„Modell-Reconnaissance“. Versatile AI Risk Assessment, KI-Bedrohungskatalog, Stand Oktober 2026. https://www.versatile-ai-risk-assessment.com/wissensbasis/bedrohungen/modell-reconnaissance/