KI-Bedrohungskatalog Prompt-Angriffe und Umgehung von Schutzmechanismen Produktion
Multimodale Angriffe
Angriffe nutzen die kombinierten Bild-, Audio- und Textfähigkeiten eines KI-Systems aus, etwa in Bildern versteckte Anweisungen, manipulierte Audiodateien oder eine Prompt Injection, die von einer Eingabeart auf eine andere übergreift.
Beschreibung
Viele KI-Systeme verarbeiten heute mehrere Eingabearten zugleich, also Text, Bilder und Ton. Angreifer verstecken Anweisungen dort, wo Menschen sie kaum bemerken: als farblich unauffälligen Text auf einem abgebildeten Schild, in einem einzelnen Videobild oder verborgen in einer Audiodatei (Audio-Steganographie: das Verstecken von Botschaften in Mediendateien). Das System liest diese verborgene Anweisung wie einen Befehl; das nennt man cross-modale Prompt Injection. Solche Angriffe können sich auch über mehrere Eingabearten verteilen und erst im Zusammenspiel wirken. Zusätzlich lassen sich Bilder gezielt so verändern, dass das System sie falsch deutet, obwohl die Änderung für das menschliche Auge unsichtbar bleibt.
Mögliche Auswirkung
Weil die Manipulation in scheinbar harmlosen Bildern oder Tönen steckt, ist sie schwer zu erkennen und umgeht klassische Textfilter. Die Folgen entsprechen denen der Prompt Injection: verfälschte Ausgaben, Datenabfluss, unerwünschte Aktionen sowie Fehlentscheidungen in sicherheitskritischen Anwendungen.
Beispiel
Ein Sachbearbeiter lädt ein eingereichtes Antragsbild in das KI-System hoch. Im Bild steht in blasser Schrift eine versteckte Anweisung, alle bisherigen Regeln zu ignorieren und den Antrag automatisch zu genehmigen. Das System befolgt sie.
Empfohlene Gegenmaßnahmen (6)
Vergleichen Sie Wirkung und Umsetzungsebene. Die ergänzende Einordnung und Begründung können Sie bei Bedarf aufklappen.
-
Eingabevalidierung pro Modalität
Technisch- Wirkung
- Präventiv
- Umsetzungsebene
- Daten, Anwendung, API & Agenten
Einordnung und Begründung
Primär technisch: Systemseitige Prüf-, Transformations- oder Blockierregeln stoppen oder neutralisieren unzulässige Inhalte vor der Weiterverarbeitung.
-
Cross-modale Konsistenzprüfungen
Technisch- Wirkung
- Aufdeckend
- Umsetzungsebene
- Daten, Anwendung, API & Agenten
Einordnung und Begründung
Primär technisch: Software oder Analysewerkzeuge erzeugen und bewerten systematisch Messwerte, Abweichungen oder Angriffsindikatoren.
-
Adversariales Training auf multimodalen Eingaben
Technisch- Wirkung
- Präventiv
- Umsetzungsebene
- Daten, Modell & Training
Einordnung und Begründung
Primär technisch: Ein Modell-, Trainings- oder Datenverfahren verändert Systemverhalten oder Robustheit unmittelbar.
-
Scannen von Bild- und Audioinhalten
Technisch- Wirkung
- Aufdeckend
- Umsetzungsebene
- Daten, Anwendung, API & Agenten
Einordnung und Begründung
Primär technisch: Software oder Analysewerkzeuge erzeugen und bewerten systematisch Messwerte, Abweichungen oder Angriffsindikatoren.
-
Steganographie-Erkennung
Technisch- Wirkung
- Aufdeckend
- Umsetzungsebene
- Daten, Anwendung, API & Agenten
Einordnung und Begründung
Primär technisch: Software oder Analysewerkzeuge erzeugen und bewerten systematisch Messwerte, Abweichungen oder Angriffsindikatoren.
-
Robustes Vision-Language-Alignment
Technisch- Wirkung
- Präventiv
- Umsetzungsebene
- Modell & Training
Einordnung und Begründung
Primär technisch: Ein Modell-, Trainings- oder Datenverfahren verändert Systemverhalten oder Robustheit unmittelbar.
Standard-Zuordnungen
Verifizierte Fundstellen in OWASP, NIST AI RMF, MITRE ATLAS, EU AI Act und weiteren Rahmenwerken. Die Zuordnungen zeigen fachliche Bezüge. Sie belegen nicht, dass ein System die jeweiligen Anforderungen erfüllt.
Belegte Referenzen (12)
Jede Referenz nennt Rahmenwerk, Fundstelle und die herausgebende Organisation.
- OWASP LLM Top 10 LLM01:2026 Prompt InjectionLLM01:2026 Prompt Injection, OWASP Top 10 for LLM Applications 2026 v1.0, pp. 10-17 (doi:10.5281/zenodo.22109015); canonical text 2026/final/LLM01_PromptInjection.md at commit 7e144e05 OWASP FoundationOriginal
- NIST AI RMF MEASURE 2.7 MEASURE 2.7MEASURE 2.7, p. 30 National Institute of Standards and Technology (NIST)Original
- NIST AI RMF NISTAML.022 EvasionTaxonomy Index, p. x; Abschnitt 2.2, pp. 11–18 National Institute of Standards and Technology (NIST)Original
- NIST AI RMF NISTAML.025 Black-box EvasionTaxonomy Index, p. x; Abschnitt 2.2.2, p. 15 National Institute of Standards and Technology (NIST)Original
- MITRE ATLAS AML.T0015 Evade AI ModelATLAS-2026.09.yaml technique object with id AML.T0015 (content release 2026.09, format-version 6.0.0) MITREOriginal
- MITRE ATLAS AML.T0043 Craft Adversarial DataATLAS-2026.09.yaml technique object with id AML.T0043 (content release 2026.09, format-version 6.0.0) MITREOriginal
- MITRE ATLAS AML.T0051 LLM Prompt InjectionATLAS-2026.09.yaml technique object with id AML.T0051 (content release 2026.09, format-version 6.0.0) MITREOriginal
- MITRE ATLAS AML.T0129 Triggers in Multimodal InputsATLAS-2026.09.yaml technique object with id AML.T0129 (content release 2026.09, format-version 6.0.0) MITREOriginal
- EU AI Act Article 55(1)(a) Obligations of providers of general-purpose AI models with systemic riskArticle 55(1)(a) European Union (EUR-Lex)Original
- EU AI Act Article 55(1)(d) Obligations of providers of general-purpose AI models with systemic riskArticle 55(1)(d) European Union (EUR-Lex)Original
- EU AI Act Article 9(1), 9(2)(a), 9(2)(d) Risk management systemArticle 9(1), 9(2)(a), 9(2)(d), read with Article 9(3) European Union (EUR-Lex)Original
- BIML BIML-LLM model:9 ModalityPDF p. 18, [model:9:modality] Berryville Institute of Machine Learning (BIML)Original
Pflichten der KI-Verordnung zu dieser Bedrohung
Die Pflichten aus dem Pflichtenkompass, deren Artikel der Katalog dieser Bedrohung zuordnet. Jede führt auf ihren Eintrag mit Kern, Handlungsschritt und Nachweis; ob sie Sie trifft, hängt von Rolle und Risikoklasse ab.
-
Risikomanagementsystem einrichten und betreiben
Art. 9 · gilt ab Anhang III: 2. Dezember 2027 · Anhang I: 2. August 2028
Gesetzliche Rollen: Anbieter, Produkthersteller. Klassen: Hochrisiko nach Anhang III, Hochrisiko als Produkt oder Sicherheitsbauteil.
Der Verweis ist ein Prüfanlass. Ein Bedrohungstreffer allein begründet keine Anwendbarkeit.
-
Systemische Risiken bewerten und mindern
Art. 55 · gilt ab 2. August 2025
Gesetzliche Rollen: Anbieter eines KI-Modells mit allgemeinem Verwendungszweck. Klassen: Modell mit systemischem Risiko.
Der Verweis ist ein Prüfanlass. Ein Bedrohungstreffer allein begründet keine Anwendbarkeit.
Alle 62 Pflichten nach Rolle, Risikoklasse und Frist im Pflichtenkompass
Begriffe auf dieser Seite
Fachbegriffe aus dem Glossar, die in diesem Eintrag vorkommen. Jeder Verweis führt zur vollständigen Erklärung.
- Prompt Injection Manipulierte Eingaben oder eingeschleuste Inhalte steuern ein Sprachmodell um.
Verwandte Bedrohungen
Weitere Einträge aus der Themengruppe Prompt-Angriffe und Umgehung von Schutzmechanismen.
Passende Anwendungsfälle
Die Liste zeigt, wo Sie diese Bedrohung prüfen, nicht wie hoch das Risiko ist.
Besonders wichtig bei:
- Automatisierte InhaltsmoderationEin verbotener Aufruf steht als Text in einem Bild oder wird in einem Video nur gesprochen. Prüft das System Bild, Ton und Text getrennt, erkennt es den Verstoß nicht.
- KI-gestützte SchadenbearbeitungWer einen Schaden meldet, bestimmt Fotos und Unterlagen selbst. Ein bearbeitetes Foto oder eine Rechnung, die nicht zum Bild passt, kann die geschätzte Schadenhöhe nach oben treiben.
- Online-ProctoringPrüflinge können eine virtuelle Kamera oder eine Aufnahme statt des Livebilds einspielen oder Hilfsmittel außerhalb des Bildausschnitts nutzen. Das System bewertet dann ein Bild, das mit der Prüfung nichts zu tun hat.
- Biometrische Verifizierung und Video-IdentWer ein künstlich erzeugtes Video direkt in den Kamerastrom einspeist, umgeht die Lebenderkennung, ohne vor der Kamera zu stehen. Das System bestätigt dann eine Identität, die niemand vorgezeigt hat.
Üblich bei:
Bei 25 weiteren Anwendungsfällen hängt es vom Aufbau des Systems ab, etwa davon, ob es Text, Bild und Sprache gemeinsam verarbeitet. Diese Anwendungsfälle zeigen
Häufige Fragen
- Worum geht es bei dieser Bedrohung?
- Angriffe nutzen die kombinierten Bild-, Audio- und Textfähigkeiten eines KI-Systems aus, etwa in Bildern versteckte Anweisungen, manipulierte Audiodateien oder eine Prompt Injection, die von einer Eingabeart auf eine andere übergreift.
- Welche Gegenmaßnahmen nennt der Katalog?
- Der Katalog nennt 6 Gegenmaßnahmen, jede mit Maßnahmenart, Wirkung und Umsetzungsebene. Beispiele sind: Eingabevalidierung pro Modalität, Cross-modale Konsistenzprüfungen und Adversariales Training auf multimodalen Eingaben. Die Reihenfolge ist keine Priorisierung.
- Welche Pflichten der KI-Verordnung können relevant sein?
- Der Katalog ordnet diese Bedrohung Art. 9 und Art. 55 der EU-KI-Verordnung zu. Daraus folgen im Pflichtenkompass: Risikomanagementsystem einrichten und betreiben und Systemische Risiken bewerten und mindern. Ob eine Pflicht gilt, entscheiden Rolle, Risikoklasse und Frist.
Diese Bedrohung im eigenen System bewerten
Die Live-Demo enthält alle 52 Bedrohungen dieses Katalogs sowie die Einordnung nach der EU-KI-Verordnung und die Datenschutzprüfung. Die kostenlosen Einzelmodule decken KI-Risiko, EU-KI-VO und DSGVO ab. Ohne Registrierung; die Bewertung läuft lokal in Ihrem Browser.
Diesen Eintrag zitieren
Für Berichte, Richtlinien oder interne Unterlagen; der Link führt direkt auf diesen Eintrag.
„Multimodale Angriffe“. Versatile AI Risk Assessment, KI-Bedrohungskatalog, Stand Oktober 2026. https://www.versatile-ai-risk-assessment.com/wissensbasis/bedrohungen/multimodale-angriffe/