Versatile AI Risk Assessment

KI-Bedrohungskatalog Anwendungs- und Integrationssicherheit Produktion

Unsicherer Umgang mit Modellausgaben

Die Anwendung reicht Antworten des KI-Modells ungeprüft an nachgelagerte Systeme weiter, etwa an Datenbanken, Webseiten oder Befehlszeilen. Enthält die Ausgabe Schadcode oder Befehle, führt das System sie aus, als kämen sie aus vertrauenswürdiger Quelle.

Stand: Oktober 2026 · Katalogversion 2026.10.24.2 · 4 Gegenmaßnahmen · 9 belegte Quellen

Beschreibung

Viele KI-Anwendungen zeigen Modellantworten nicht nur an, sondern verarbeiten sie weiter: Sie stellen sie als Webseite dar, bauen daraus Datenbankabfragen oder führen erzeugten Programmcode aus. Da Angreifer über ihre Eingaben steuern können, was das Modell ausgibt, erhalten sie auf diesem Weg indirekten Zugriff auf diese nachgelagerten Systeme. Fehlen Prüfung und kontextgerechte Aufbereitung der Ausgaben, entstehen klassische Injection-Angriffe, bei denen Angreifer eigene Befehle einschleusen: Schadskripte im Browser (XSS), manipulierte Datenbankbefehle (SQL-Injection) bis hin zur Ausführung fremden Codes auf dem Server (Remote Code Execution). Besonders riskant wird es, wenn die KI-Anwendung mehr Rechte besitzt als die Person, die sie bedient.

Mögliche Auswirkung

Gelingt der Angriff, übernehmen Angreifer Teile der Anwendung: Sie lesen oder verändern Daten, kapern Sitzungen anderer Nutzer oder führen eigene Befehle auf den Servern aus. Für das Unternehmen bedeutet das Betriebsstörungen, Datenabfluss mit Meldepflichten nach der DSGVO und Vertrauensverlust bei Kunden, obwohl das Modell selbst fehlerfrei gearbeitet hat.

Beispiel

Ein Mathematik-Assistent lässt vom Modell erzeugten Programmcode direkt auf dem Server laufen, um Rechenaufgaben zu lösen. Ein Nutzer formuliert seine Frage so, dass das Modell Schadcode erzeugt; der Server führt ihn aus und gewährt dem Angreifer Zugriff auf das System.

Empfohlene Gegenmaßnahmen (4)

Vergleichen Sie Wirkung und Umsetzungsebene. Die ergänzende Einordnung und Begründung können Sie bei Bedarf aufklappen.

  • Modellausgaben als nicht vertrauenswürdig behandeln

    Organisatorisch & prozessual
    Wirkung
    Präventiv
    Umsetzungsebene
    Anwendung, API & Agenten, Organisation
    Einordnung und Begründung

    Ergänzende MaßnahmenartTechnisch

    Primär organisatorisch & prozessual: Festgelegte Auswahl-, Betriebs- oder Lebenszyklusabläufe machen die Maßnahme verbindlich und wiederholbar; ergänzt durch technische Umsetzung.

  • Ausgabevalidierung und -kodierung

    Technisch
    Wirkung
    Präventiv
    Umsetzungsebene
    Anwendung, API & Agenten
    Einordnung und Begründung

    Primär technisch: Systemseitige Prüf-, Transformations- oder Blockierregeln stoppen oder neutralisieren unzulässige Inhalte vor der Weiterverarbeitung.

  • Kontextbezogene Sanitisierung

    Technisch
    Wirkung
    Präventiv
    Umsetzungsebene
    Anwendung, API & Agenten
    Einordnung und Begründung

    Primär technisch: Systemseitige Prüf-, Transformations- oder Blockierregeln stoppen oder neutralisieren unzulässige Inhalte vor der Weiterverarbeitung.

  • Direkte Ausführung von Modellausgaben vermeiden

    Technisch
    Wirkung
    Präventiv
    Umsetzungsebene
    Anwendung, API & Agenten
    Einordnung und Begründung

    Primär technisch: Sichere Formate, restriktive Voreinstellungen oder Schutzschichten reduzieren unsichere Ausführungspfade und Angriffsflächen.

Standard-Zuordnungen

Verifizierte Fundstellen in OWASP, NIST AI RMF, MITRE ATLAS, EU AI Act und weiteren Rahmenwerken. Die Zuordnungen zeigen fachliche Bezüge. Sie belegen nicht, dass ein System die jeweiligen Anforderungen erfüllt.

OWASP LLM Top 10 LLM08:2026 · LLM10:2026NIST AI RMF Abschnitt 2.9MITRE ATLAS AML.T0048EU AI Act Article 9(1), 9(2)(a), 9(2)(d)BSI R16 · R6BIML BIML-LLM inference:8 · BIML78 system:9

Belegte Referenzen (9)

Jede Referenz nennt Rahmenwerk, Fundstelle und die herausgebende Organisation.

Pflichten der KI-Verordnung zu dieser Bedrohung

Die Pflichten aus dem Pflichtenkompass, deren Artikel der Katalog dieser Bedrohung zuordnet. Jede führt auf ihren Eintrag mit Kern, Handlungsschritt und Nachweis; ob sie Sie trifft, hängt von Rolle und Risikoklasse ab.

  • Risikomanagementsystem einrichten und betreiben Art. 9 · gilt ab Anhang III: 2. Dezember 2027 · Anhang I: 2. August 2028

    Gesetzliche Rollen: Anbieter, Produkthersteller. Klassen: Hochrisiko nach Anhang III, Hochrisiko als Produkt oder Sicherheitsbauteil.

    Der Verweis ist ein Prüfanlass. Ein Bedrohungstreffer allein begründet keine Anwendbarkeit.

Alle 62 Pflichten nach Rolle, Risikoklasse und Frist im Pflichtenkompass

Weitere Einträge aus der Themengruppe Anwendungs- und Integrationssicherheit.

Unsicheres Tool-Design Viele KI-Anwendungen handeln selbst, indem sie über angebundene Werkzeuge (Tools) E-Mails versenden oder Datenbanken abfragen. Anwendungs-Schwachstellen Die Software rund um das KI-Modell, also Weboberfläche, Schnittstellen und Datenbanken, hat dieselben Schwachstellen wie jede andere … RAG-spezifische Angriffe (Document Poisoning) Angreifer schleusen präparierte Dokumente in die Wissensbasis ein, aus der ein KI-System per RAG (Retrieval-Augmented Generation, …

Passende Anwendungsfälle

Die Liste zeigt, wo Sie diese Bedrohung prüfen, nicht wie hoch das Risiko ist.

Gehört bei jedem KI-System auf die Prüfliste. Was Sie bei jedem KI-System prüfen

Besonders wichtig bei:

  • Maschinelle ÜbersetzungDie automatische Übersetzung einer Website geht ohne Durchsicht online. Ein Fehler bei Fristen, Gebühren oder Zuständigkeiten erreicht so direkt Bürgerinnen und Bürger oder Kundinnen und Kunden.
  • Intelligente Dokumentenverarbeitung (IDP)Die ausgelesenen Felder gehen direkt ins Fachverfahren. Übernimmt es sie ungeprüft, lösen falsche Beträge oder Aktenzeichen dort Zahlungen oder Fristen aus.
  • Chatbot und Voicebot im KundenserviceDie Antwort des Bots erreicht die Kundin direkt und ungeprüft. Nennt er eine falsche Frist oder Erstattungsregel, handelt sie danach, und der Betreiber muss dafür einstehen, wie im Fall Air Canada.
  • Dynamische Preisgestaltung (Dynamic Pricing)Die berechneten Preise gehen ohne Prüfung in den Shop. Ein Fehler in den Eingangsdaten führt dann zu Preisen weit unter den Kosten oder weit über dem Markt, die sofort gelten.
  • KI-gestützte SchadenbearbeitungDer Vorschlag geht mit Betrag und Deckungsprüfung direkt ins Schadensystem. Übernimmt es einen falschen Betrag ungeprüft, zahlt der Versicherer zu viel oder zu wenig aus.
  • KI-gestützte BewerbervorauswahlDie Rangfolge geht ins Bewerbermanagement weiter und kann dort Absagen auslösen. Ein Fehler in der Bewertung wird so unmittelbar zur Entscheidung über einen Menschen.
  • Biometrische Verifizierung und Video-IdentDas Ergebnis der Prüfung gilt im nachgelagerten Verfahren als bestätigte Identität. Wird es ohne weitere Kontrolle übernommen, kann ein einziger Fehler zu einem Konto oder Zugang unter falschem Namen führen.
  • Risikobasierte Prüfauswahl bei Anträgen und LeistungenDie Auswahl geht in das Fachverfahren weiter und kann dort eine Zahlung anhalten. Ein falscher Risikowert verzögert dann die Leistung für eine Person, die darauf angewiesen ist.
  • KI-Assistenz in Massenverfahren der JustizDie ausgelesenen Merkmale wie Fahrzeugtyp, Kaufdatum oder Flugverspätung wählen die Textbausteine des Entwurfs aus. Ist ein Merkmal falsch erkannt, steht im Entwurf die falsche rechtliche Begründung.
  • KI in der medizinischen BildauswertungSortiert das System die Arbeitsliste nach seiner Einstufung, rücken scheinbar unauffällige Aufnahmen nach hinten. Liegt es falsch, liest jemand einen dringenden Befund erst spät.

Häufige Fragen

Worum geht es bei dieser Bedrohung?
Die Anwendung reicht Antworten des KI-Modells ungeprüft an nachgelagerte Systeme weiter, etwa an Datenbanken, Webseiten oder Befehlszeilen. Enthält die Ausgabe Schadcode oder Befehle, führt das System sie aus, als kämen sie aus vertrauenswürdiger Quelle.
Welche Gegenmaßnahmen nennt der Katalog?
Der Katalog nennt 4 Gegenmaßnahmen, jede mit Maßnahmenart, Wirkung und Umsetzungsebene. Beispiele sind: Modellausgaben als nicht vertrauenswürdig behandeln, Ausgabevalidierung und -kodierung und Kontextbezogene Sanitisierung. Die Reihenfolge ist keine Priorisierung.
Welche Pflichten der KI-Verordnung können relevant sein?
Der Katalog ordnet diese Bedrohung Art. 9 der EU-KI-Verordnung zu. Daraus folgen im Pflichtenkompass: Risikomanagementsystem einrichten und betreiben. Ob eine Pflicht gilt, entscheiden Rolle, Risikoklasse und Frist.

Diese Bedrohung im eigenen System bewerten

Die Live-Demo enthält alle 52 Bedrohungen dieses Katalogs sowie die Einordnung nach der EU-KI-Verordnung und die Datenschutzprüfung. Die kostenlosen Einzelmodule decken KI-Risiko, EU-KI-VO und DSGVO ab. Ohne Registrierung; die Bewertung läuft lokal in Ihrem Browser.

Live-Demo starten Kostenlose Module ansehen

Diesen Eintrag zitieren

Für Berichte, Richtlinien oder interne Unterlagen; der Link führt direkt auf diesen Eintrag.

„Unsicherer Umgang mit Modellausgaben“. Versatile AI Risk Assessment, KI-Bedrohungskatalog, Stand Oktober 2026.
https://www.versatile-ai-risk-assessment.com/wissensbasis/bedrohungen/unsicherer-umgang-mit-modellausgaben/

← Zurück zum vollständigen Katalog