Versatile AI Risk Assessment

KI-Bedrohungskatalog Angriffe auf Modell und Betrieb Produktion

Adversariale Eingaben

Angreifer verändern eine Eingabe minimal und für Menschen unauffällig, sodass das KI-Modell sie falsch einordnet. Für das System wird aus einem Stoppschild etwas anderes, obwohl ein Mensch keinen Unterschied sieht.

Stand: Oktober 2026 · Katalogversion 2026.10.24.2 · 4 Gegenmaßnahmen · 14 belegte Quellen

Beschreibung

Adversariale Eingaben sind gezielt präparierte Daten, die das Modell zu einer falschen Ausgabe bringen, für Menschen aber normal aussehen. Angreifer berechnen die nötige, meist winzige Veränderung mit Kenntnis des Modells (Gradientenverfahren) oder tasten sie über viele Testabfragen ab; teils üben sie an einem nachgebauten Ersatzmodell und übertragen den Angriff. Bei Texten genügen oft ein Zeichentausch (etwa "$" statt "S"), seltene Synonyme oder eingestreute Zeichenfolgen. Der Angriff findet zur Betriebszeit statt, nicht im Training. So lassen sich KI-gestützte Schutzfunktionen umgehen, etwa Schadsoftware- und Spam-Erkennung, Hassrede-Filter oder biometrische Prüfungen.

Mögliche Auswirkung

Wichtige Entscheidungen fallen falsch aus: Als sicher eingestufter Schadcode passiert die Erkennung, eine unzulässige Eingabe rutscht durch den Filter, eine Person wird biometrisch falsch zugeordnet. In sicherheitskritischen Anwendungen wie der Bild- oder Verkehrszeichenerkennung drohen unmittelbare Gefahren für Menschen. Die KI-Verordnung verlangt für Hochrisiko-Systeme ausdrücklich Maßnahmen gegen Eingabedaten, die das Modell zu Fehlern verleiten sollen (adversarial examples, model evasion).

Beispiel

Ein KI-Filter soll beleidigende Kommentare blockieren. Ein Angreifer ersetzt einzelne Buchstaben durch ähnlich aussehende Sonderzeichen und streut sinnfreie Zeichenfolgen ein; für Leser bleibt der Text verständlich, der Filter erkennt den Verstoß aber nicht mehr.

Empfohlene Gegenmaßnahmen (4)

Vergleichen Sie Wirkung und Umsetzungsebene. Die ergänzende Einordnung und Begründung können Sie bei Bedarf aufklappen.

  • Adversariales Training

    Technisch
    Wirkung
    Präventiv
    Umsetzungsebene
    Modell & Training
    Einordnung und Begründung

    Primär technisch: Ein Modell-, Trainings- oder Datenverfahren verändert Systemverhalten oder Robustheit unmittelbar.

  • Eingabevalidierung und Vorverarbeitung

    Technisch
    Wirkung
    Präventiv
    Umsetzungsebene
    Modell & Training, Anwendung, API & Agenten
    Einordnung und Begründung

    Primär technisch: Systemseitige Prüf-, Transformations- oder Blockierregeln stoppen oder neutralisieren unzulässige Inhalte vor der Weiterverarbeitung.

  • Zertifizierte bzw. randomisierte Robustheitsverfahren und Robustheitstests

    Technisch
    Wirkung
    Präventiv
    Umsetzungsebene
    Modell & Training
    Einordnung und Begründung

    Primär technisch: Ein Modell-, Trainings- oder Datenverfahren verändert Systemverhalten oder Robustheit unmittelbar.

  • Ensemble-Modelle

    Technisch
    Wirkung
    Präventiv
    Umsetzungsebene
    Modell & Training
    Einordnung und Begründung

    Primär technisch: Ein Modell-, Trainings- oder Datenverfahren verändert Systemverhalten oder Robustheit unmittelbar.

Standard-Zuordnungen

Verifizierte Fundstellen in OWASP, NIST AI RMF, MITRE ATLAS, EU AI Act und weiteren Rahmenwerken. Die Zuordnungen zeigen fachliche Bezüge. Sie belegen nicht, dass ein System die jeweiligen Anforderungen erfüllt.

OWASP LLM Top 10 LLM07:2026NIST AI RMF Abschnitt 2.9 · MEASURE 2.7 · NISTAML.022 · NISTAML.025MITRE ATLAS AML.T0015EU AI Act Article 26(5) · Article 55(1)(a) · Article 9(1), 9(2)(a), 9(2)(d)BSI R27 · R3BIML BIML78 inference:3 · BIML78 input:1 · BIML78 input:2

Belegte Referenzen (14)

Jede Referenz nennt Rahmenwerk, Fundstelle und die herausgebende Organisation.

Pflichten der KI-Verordnung zu dieser Bedrohung

Die Pflichten aus dem Pflichtenkompass, deren Artikel der Katalog dieser Bedrohung zuordnet. Jede führt auf ihren Eintrag mit Kern, Handlungsschritt und Nachweis; ob sie Sie trifft, hängt von Rolle und Risikoklasse ab.

  • Risikomanagementsystem einrichten und betreiben Art. 9 · gilt ab Anhang III: 2. Dezember 2027 · Anhang I: 2. August 2028

    Gesetzliche Rollen: Anbieter, Produkthersteller. Klassen: Hochrisiko nach Anhang III, Hochrisiko als Produkt oder Sicherheitsbauteil.

    Der Verweis ist ein Prüfanlass. Ein Bedrohungstreffer allein begründet keine Anwendbarkeit.

  • Betrieb überwachen und bei Risiko aussetzen Art. 26 Abs. 5 · gilt ab Anhang III: 2. Dezember 2027 · Anhang I: 2. August 2028

    Gesetzliche Rollen: Betreiber. Klassen: Hochrisiko nach Anhang III, Hochrisiko als Produkt oder Sicherheitsbauteil.

    Der Verweis ist ein Prüfanlass. Ein Bedrohungstreffer allein begründet keine Anwendbarkeit.

  • Systemische Risiken bewerten und mindern Art. 55 · gilt ab 2. August 2025

    Gesetzliche Rollen: Anbieter eines KI-Modells mit allgemeinem Verwendungszweck. Klassen: Modell mit systemischem Risiko.

    Der Verweis ist ein Prüfanlass. Ein Bedrohungstreffer allein begründet keine Anwendbarkeit.

Alle 62 Pflichten nach Rolle, Risikoklasse und Frist im Pflichtenkompass

Weitere Einträge aus der Themengruppe Angriffe auf Modell und Betrieb.

Modell-Diebstahl Angreifer erzeugen aus einem fremden KI-Modell eine funktionsfähige Kopie, indem sie es massenhaft abfragen oder direkt in die … Denial-of-Service auf das Modell Angreifer überlasten das KI-Modell mit besonders aufwendigen Anfragen, bis der Dienst langsamer wird oder ausfällt. Cost Harvesting / Zweckentfremdung Angreifer nutzen kostenpflichtige KI-Dienste eines Unternehmens unbefugt auf dessen Rechnung, etwa mit gestohlenen Zugangsschlüsseln.

Passende Anwendungsfälle

Die Liste zeigt, wo Sie diese Bedrohung prüfen, nicht wie hoch das Risiko ist.

Gehört bei jedem KI-System auf die Prüfliste. Was Sie bei jedem KI-System prüfen

Besonders wichtig bei:

  • Intelligente Dokumentenverarbeitung (IDP)Wer ein Dokument einreicht, bestimmt seinen Inhalt. Eine präparierte Rechnung kann so eine falsche Kontoverbindung in den Datensatz bringen.
  • Automatisierte InhaltsmoderationNutzerinnen und Nutzer schreiben Beleidigungen mit Ziffern statt Buchstaben oder verändern ein bekanntes Bild um wenige Pixel. Der Beitrag passiert die Prüfung und bleibt online.
  • Kreditscoring und BonitätsprüfungWer weiß, welche Angaben den Wert heben, kann den Antrag so ausfüllen, dass er knapp über der Schwelle liegt. Das System empfiehlt dann einen Kredit, den es bei zutreffenden Angaben abgelehnt hätte.
  • Betrugserkennung im ZahlungsverkehrBetrügerinnen und Betrüger testen mit kleinen Beträgen, welche Zahlungen durchgehen, und passen Betrag, Händler und Zeitpunkt an. Das Modell stuft die späteren Zahlungen dann als unauffällig ein.
  • Geldwäscheerkennung und SanktionsscreeningWer Geld wäscht, verteilt Beträge auf viele Konten oder schreibt Namen leicht abweichend. Das System erkennt das Muster dann nicht mehr oder ordnet den Namen keinem Listeneintrag zu.
  • Risikobewertung und Tarifierung in der Lebens- und KrankenversicherungWer weiß, welche Angaben die Risikoklasse verschlechtern, kann Gesundheitsfragen gezielt anders beantworten. Das System empfiehlt dann einen Vertrag, der bei zutreffenden Angaben anders ausgefallen wäre.
  • KI-gestützte BewerbervorauswahlBewerberinnen und Bewerber können Schlüsselwörter der Stellenanzeige gehäuft oder unsichtbar in den Lebenslauf schreiben. Das System stuft die Bewerbung dann höher ein, als die Qualifikation es rechtfertigt.
  • Automatisierte Bewertung von Prüfungsleistungen (Automated Essay Scoring)Prüflinge lernen, welche Merkmale die Punktzahl heben, etwa Länge, seltene Wörter oder bestimmte Satzmuster. Das System vergibt dann gute Werte für Antworten, die inhaltlich schwach sind.
  • Biometrische Fernidentifizierung (Gesichtserkennung)Brillen, Schminke, Masken oder bearbeitete Fotos verändern die Merkmale, die das System vergleicht. Die gesuchte Person bleibt dann unerkannt, oder das System hält sie für eine andere.
  • Biometrische Verifizierung und Video-IdentWer sich als eine andere Person ausgeben will, hält ein Foto, eine Maske oder ein künstlich erzeugtes Video vor die Kamera. Überlistet das die Lebenderkennung, eröffnet das System ein Konto oder öffnet die Sperre für die falsche Person.
  • EmotionserkennungMenschen können Mimik und Tonfall bewusst steuern, wenn sie wissen, dass sie beobachtet werden. Das System bescheinigt dann Gelassenheit oder Ehrlichkeit, wo sie nicht besteht.
  • KI-Assistenz in Massenverfahren der JustizKanzleien, die Massenklagen führen, können ihre Schriftsätze so formulieren, dass das System bestimmte Merkmale erkennt oder übersieht. Die Vorbereitung verschiebt sich dann zugunsten einer Partei.
  • Sprach- und Dialekterkennung im AsylverfahrenDie Person bestimmt selbst, wie sie in der Sprachprobe spricht. Wer einen anderen Dialekt nachahmt oder Hintergrundgeräusche zulässt, kann das Ergebnis in eine gewünschte Richtung lenken.
  • Automatische Kennzeichenerkennung (ANPR)Ein verschmutztes, teilweise verdecktes oder mit Folie verändertes Kennzeichen liest das System falsch. Dann erhält ein fremdes Fahrzeug das Verwarnungsgeld, oder ein gesuchtes Fahrzeug bleibt unerkannt.
  • Intelligente Videoanalyse im öffentlichen RaumWer die Kamerastandorte kennt, kann sich so bewegen oder abschirmen, dass das Muster nicht erkannt wird. Umgekehrt lassen sich gezielt Fehlalarme auslösen, die die Leitstelle binden.
  • Automatisiertes Fahren und FahrerassistenzVeränderte Verkehrszeichen oder Aufkleber auf der Fahrbahn können die Kamera gezielt täuschen. Das Fahrzeug liest dann ein Tempolimit oder eine Spur falsch und reagiert gefährlich.
  • KI-gestützte AngriffserkennungAngreifer passen Phishing-Mails und Netzwerkverkehr so an, dass sie für das Modell unauffällig wirken. Der Angriff läuft dann an der Erkennung vorbei.

Häufige Fragen

Worum geht es bei dieser Bedrohung?
Angreifer verändern eine Eingabe minimal und für Menschen unauffällig, sodass das KI-Modell sie falsch einordnet. Für das System wird aus einem Stoppschild etwas anderes, obwohl ein Mensch keinen Unterschied sieht.
Welche Gegenmaßnahmen nennt der Katalog?
Der Katalog nennt 4 Gegenmaßnahmen, jede mit Maßnahmenart, Wirkung und Umsetzungsebene. Beispiele sind: Adversariales Training, Eingabevalidierung und Vorverarbeitung und Zertifizierte bzw. randomisierte Robustheitsverfahren und Robustheitstests. Die Reihenfolge ist keine Priorisierung.
Welche Pflichten der KI-Verordnung können relevant sein?
Der Katalog ordnet diese Bedrohung Art. 9, Art. 26 Abs. 5 und Art. 55 der EU-KI-Verordnung zu. Daraus folgen im Pflichtenkompass: Risikomanagementsystem einrichten und betreiben, Betrieb überwachen und bei Risiko aussetzen und Systemische Risiken bewerten und mindern. Ob eine Pflicht gilt, entscheiden Rolle, Risikoklasse und Frist.

Diese Bedrohung im eigenen System bewerten

Die Live-Demo enthält alle 52 Bedrohungen dieses Katalogs sowie die Einordnung nach der EU-KI-Verordnung und die Datenschutzprüfung. Die kostenlosen Einzelmodule decken KI-Risiko, EU-KI-VO und DSGVO ab. Ohne Registrierung; die Bewertung läuft lokal in Ihrem Browser.

Live-Demo starten Kostenlose Module ansehen

Diesen Eintrag zitieren

Für Berichte, Richtlinien oder interne Unterlagen; der Link führt direkt auf diesen Eintrag.

„Adversariale Eingaben“. Versatile AI Risk Assessment, KI-Bedrohungskatalog, Stand Oktober 2026.
https://www.versatile-ai-risk-assessment.com/wissensbasis/bedrohungen/adversariale-eingaben/

← Zurück zum vollständigen Katalog