KI-BedrohungskatalogAnwendungs- und IntegrationssicherheitProduktion
Unsicherer Umgang mit Modellausgaben
Die Anwendung reicht Antworten des KI-Modells ungeprüft an nachgelagerte Systeme weiter, etwa an Datenbanken, Webseiten oder Befehlszeilen. Enthält die Ausgabe Schadcode oder Befehle, führt das System sie aus, als kämen sie aus vertrauenswürdiger Quelle.
Beschreibung
Viele KI-Anwendungen zeigen Modellantworten nicht nur an, sondern verarbeiten sie weiter: Sie stellen sie als Webseite dar, bauen daraus Datenbankabfragen oder führen erzeugten Programmcode aus. Da Angreifer über ihre Eingaben steuern können, was das Modell ausgibt, erhalten sie auf diesem Weg indirekten Zugriff auf diese nachgelagerten Systeme. Fehlen Prüfung und kontextgerechte Aufbereitung der Ausgaben, entstehen klassische Injection-Angriffe, bei denen Angreifer eigene Befehle einschleusen: Schadskripte im Browser (XSS), manipulierte Datenbankbefehle (SQL-Injection) bis hin zur Ausführung fremden Codes auf dem Server (Remote Code Execution). Besonders riskant wird es, wenn die KI-Anwendung mehr Rechte besitzt als die Person, die sie bedient.
Mögliche Auswirkung
Gelingt der Angriff, übernehmen Angreifer Teile der Anwendung: Sie lesen oder verändern Daten, kapern Sitzungen anderer Nutzer oder führen eigene Befehle auf den Servern aus. Für das Unternehmen bedeutet das Betriebsstörungen, Datenabfluss mit Meldepflichten nach der DSGVO und Vertrauensverlust bei Kunden, obwohl das Modell selbst fehlerfrei gearbeitet hat.
Beispiel
Ein Mathematik-Assistent lässt vom Modell erzeugten Programmcode direkt auf dem Server laufen, um Rechenaufgaben zu lösen. Ein Nutzer formuliert seine Frage so, dass das Modell Schadcode erzeugt; der Server führt ihn aus und gewährt dem Angreifer Zugriff auf das System.
Empfohlene Gegenmaßnahmen (4)
Jede Maßnahme nennt ihre Maßnahmenart, Wirkung, Umsetzungsebene und die Begründung der Einordnung.
Modellausgaben als nicht vertrauenswürdig behandelnOrganisatorisch & prozessual
- Wirkung
- Präventiv
- Umsetzungsebene
- Anwendung, API & Agenten, Organisation
- Ergänzende Maßnahmenart
- Technisch
- Begründung der Einordnung
- „Modellausgaben als nicht vertrauenswürdig behandeln“ ist primär organisatorisch & prozessual: Festgelegte Auswahl-, Betriebs- oder Lebenszyklusabläufe machen die Maßnahme verbindlich und wiederholbar; ergänzt durch technische Umsetzung.
Ausgabevalidierung und -kodierungTechnisch
- Wirkung
- Präventiv
- Umsetzungsebene
- Anwendung, API & Agenten
- Begründung der Einordnung
- „Ausgabevalidierung und -kodierung“ ist primär technisch: Systemseitige Prüf-, Transformations- oder Blockierregeln stoppen oder neutralisieren unzulässige Inhalte vor der Weiterverarbeitung.
Kontextbezogene SanitisierungTechnisch
- Wirkung
- Präventiv
- Umsetzungsebene
- Anwendung, API & Agenten
- Begründung der Einordnung
- „Kontextbezogene Sanitisierung“ ist primär technisch: Systemseitige Prüf-, Transformations- oder Blockierregeln stoppen oder neutralisieren unzulässige Inhalte vor der Weiterverarbeitung.
Direkte Ausführung von Modellausgaben vermeidenTechnisch
- Wirkung
- Präventiv
- Umsetzungsebene
- Anwendung, API & Agenten
- Begründung der Einordnung
- „Direkte Ausführung von Modellausgaben vermeiden“ ist primär technisch: Sichere Formate, restriktive Voreinstellungen oder Schutzschichten reduzieren unsichere Ausführungspfade und Angriffsflächen.
Standard-Zuordnungen
Verifizierte Fundstellen in OWASP, NIST AI RMF, MITRE ATLAS, EU AI Act und weiteren Rahmenwerken. Die Zuordnungen sind taxonomisch, kein Konformitätsnachweis.
Belegte Referenzen (8)
Jede Referenz nennt Rahmenwerk, Fundstelle und die herausgebende Organisation.
- OWASP LLM Top 10 LLM05:2025 Improper Output HandlingLLM05:2025 Improper Output Handling, official category page OWASP FoundationOriginal
- NIST AI RMF Abschnitt 2.9 Information SecurityAbschnitt 2.9, pp. 10–11 National Institute of Standards and Technology (NIST)Original
- MITRE ATLAS AML.T0048 External HarmsATLAS.yaml technique object with id AML.T0048 (pinned release v5.6.0) MITREOriginal
- EU AI Act Article 9(1), 9(2)(a), 9(2)(d) Risk management systemArticle 9(1), 9(2)(a), 9(2)(d), read with Article 9(3) European Union (EUR-Lex)Original
- BSI R16 RCE-Angriffe (Text)Kap. 4, R16, p. 24 Bundesamt für Sicherheit in der Informationstechnik (BSI)Original
- BSI R6 Fehlende Sicherheit von generiertem Code und codeähnlichen Texten (Text)Kap. 4, R6, p. 16 Bundesamt für Sicherheit in der Informationstechnik (BSI)Original
- BIML BIML-LLM inference:8 Unstructured OutputPDF p. 19, [inference:8:unstructured output] Berryville Institute of Machine Learning (BIML)Original
- BIML BIML78 system:9 API EncodingPDF p. 26, [system:9:API encoding] Berryville Institute of Machine Learning (BIML)Original
Verwandte Bedrohungen
Weitere Einträge aus der Themengruppe Anwendungs- und Integrationssicherheit.
Diese Bedrohung im eigenen System bewerten
Die Live-Demo enthält alle 52 Bedrohungen dieses Katalogs samt EU-AI-Act- und DSGVO-Einwertung. Die kostenlosen Einzelmodule decken KI-Risiko, EU-KI-VO und DSGVO ab. Ohne Registrierung; die Bewertung läuft lokal in Ihrem Browser.
Diesen Eintrag zitieren
Für Berichte, Richtlinien oder interne Unterlagen; der Link führt direkt auf diesen Eintrag.
„Unsicherer Umgang mit Modellausgaben“. Versatile AI Risk Assessment, KI-Bedrohungskatalog, Stand Juli 2026. https://www.versatile-ai-risk-assessment.com/wissensbasis/bedrohungen/unsicherer-umgang-mit-modellausgaben/