Versatile AI Risk Assessment

KI-Bedrohungskatalog Prompt-Angriffe und Umgehung von Schutzmechanismen Produktion

Jailbreaks

Mit Tricks wie Rollenspielen, hypothetischen Szenarien oder kodierten Eingaben bringen Angreifer das KI-System dazu, seine Sicherheitsregeln zu umgehen und eigentlich gesperrte Inhalte auszugeben. Jailbreak heißt: die verankerten Schutzmechanismen umgehen.

Stand: Oktober 2026 · Katalogversion 2026.10.24.2 · 4 Gegenmaßnahmen · 11 belegte Quellen

Beschreibung

Moderne KI-Systeme sind darauf trainiert, bestimmte Ausgaben zu verweigern, etwa Anleitungen zu Straftaten oder Schadsoftware. Ein Jailbreak umgeht dieses Safety-Training, also die im Modell verankerte Sicherheitsausrichtung. Verbreitete Muster sind das Vortäuschen einer Rolle oder Figur, das Einkleiden der Bitte in ein hypothetisches oder fiktives Szenario, das Aufteilen einer verbotenen Frage in harmlose Teile sowie das Verschleiern über fremde Sprachen oder Kodierungen wie Base64. Auch mehrstufige Gespräche, die sich Schritt für Schritt steigern, kommen vor. Erprobte Jailbreak-Vorlagen kursieren öffentlich im Internet und lassen sich ohne Fachwissen nachnutzen.

Mögliche Auswirkung

Das System kann Inhalte erzeugen, die es sperren sollte, etwa Anleitungen zu Waffen, Schadsoftware oder Hassrede. Für den Betreiber entstehen Reputations-, Rechts- und Regulierungsrisiken, und schädliche Ausgaben können reale Personen gefährden. Bei besonders leistungsfähigen Modellen zählt dies im EU-AI-Act-Kontext zu den systemischen Risiken.

Beispiel

Eine Person bittet das System, als "Schauspieler ohne Regeln" ein Drehbuch zu schreiben, in dem eine Figur Schritt für Schritt die Herstellung einer gefährlichen Substanz erklärt. Durch die fiktive Einkleidung liefert das System die sonst verweigerte Anleitung.

Empfohlene Gegenmaßnahmen (4)

Vergleichen Sie Wirkung und Umsetzungsebene. Die ergänzende Einordnung und Begründung können Sie bei Bedarf aufklappen.

  • Robustes Safety-Training (RLHF, Constitutional AI)

    Technisch
    Wirkung
    Präventiv
    Umsetzungsebene
    Modell & Training
    Einordnung und Begründung

    Primär technisch: Ein Modell-, Trainings- oder Datenverfahren verändert Systemverhalten oder Robustheit unmittelbar.

  • Moderation der Ausgabe-Inhalte

    Technisch
    Wirkung
    Präventiv
    Umsetzungsebene
    Modell & Training, Anwendung, API & Agenten
    Einordnung und Begründung

    Primär technisch: Systemseitige Prüf-, Transformations- oder Blockierregeln stoppen oder neutralisieren unzulässige Inhalte vor der Weiterverarbeitung.

  • Erkennung von Jailbreak-Mustern

    Technisch
    Wirkung
    Aufdeckend
    Umsetzungsebene
    Anwendung, API & Agenten
    Einordnung und Begründung

    Primär technisch: Software oder Analysewerkzeuge erzeugen und bewerten systematisch Messwerte, Abweichungen oder Angriffsindikatoren.

  • Defense-in-Depth mit mehreren Safety-Schichten

    Technisch
    Wirkung
    Präventiv
    Umsetzungsebene
    Modell & Training, Anwendung, API & Agenten
    Einordnung und Begründung

    Primär technisch: Sichere Formate, restriktive Voreinstellungen oder Schutzschichten reduzieren unsichere Ausführungspfade und Angriffsflächen.

Standard-Zuordnungen

Verifizierte Fundstellen in OWASP, NIST AI RMF, MITRE ATLAS, EU AI Act und weiteren Rahmenwerken. Die Zuordnungen zeigen fachliche Bezüge. Sie belegen nicht, dass ein System die jeweiligen Anforderungen erfüllt.

OWASP LLM Top 10 LLM01:2026NIST AI RMF Abschnitt 2.9 · NISTAML.04MITRE ATLAS AML.T0054EU AI Act Article 55(1)(a) · Article 55(1)(b) · Article 9(1), 9(2)(a), 9(2)(d)BSI R26BIML BIML-LLM inference:1 · BIML-LLM input:3 · BIML-LLM LLMtop10:5

Belegte Referenzen (11)

Jede Referenz nennt Rahmenwerk, Fundstelle und die herausgebende Organisation.

Pflichten der KI-Verordnung zu dieser Bedrohung

Die Pflichten aus dem Pflichtenkompass, deren Artikel der Katalog dieser Bedrohung zuordnet. Jede führt auf ihren Eintrag mit Kern, Handlungsschritt und Nachweis; ob sie Sie trifft, hängt von Rolle und Risikoklasse ab.

  • Risikomanagementsystem einrichten und betreiben Art. 9 · gilt ab Anhang III: 2. Dezember 2027 · Anhang I: 2. August 2028

    Gesetzliche Rollen: Anbieter, Produkthersteller. Klassen: Hochrisiko nach Anhang III, Hochrisiko als Produkt oder Sicherheitsbauteil.

    Der Verweis ist ein Prüfanlass. Ein Bedrohungstreffer allein begründet keine Anwendbarkeit.

  • Systemische Risiken bewerten und mindern Art. 55 · gilt ab 2. August 2025

    Gesetzliche Rollen: Anbieter eines KI-Modells mit allgemeinem Verwendungszweck. Klassen: Modell mit systemischem Risiko.

    Der Verweis ist ein Prüfanlass. Ein Bedrohungstreffer allein begründet keine Anwendbarkeit.

Alle 62 Pflichten nach Rolle, Risikoklasse und Frist im Pflichtenkompass

Begriffe auf dieser Seite

Fachbegriffe aus dem Glossar, die in diesem Eintrag vorkommen. Jeder Verweis führt zur vollständigen Erklärung.

  • Jailbreak Eingaben, die ein Modell dazu bringen, seine eigenen Schutzregeln zu übergehen.

Weitere Einträge aus der Themengruppe Prompt-Angriffe und Umgehung von Schutzmechanismen.

Prompt Injection – Direkt Angreifer schreiben Anweisungen direkt in ihre Eingabe, damit das KI-System seine ursprünglichen Vorgaben ignoriert und stattdessen ihren … Prompt Injection – Indirekt Bösartige Anweisungen stecken versteckt in externen Inhalten wie Dokumenten, Webseiten oder E-Mails. Extraktion des Meta-Prompts Angreifer bringen das KI-System dazu, seinen verborgenen System-Prompt, seine Konfiguration oder interne Instruktionen preiszugeben.

Passende Anwendungsfälle

Die Liste zeigt, wo Sie diese Bedrohung prüfen, nicht wie hoch das Risiko ist.

Besonders wichtig bei:

  • Generierung von Bildern, Videos und StimmenMit geschickt umschriebenen Beschreibungen umgehen Nutzerinnen und Nutzer die Sperren des Generators. Er erzeugt dann Gewaltdarstellungen oder geschützte Marken, die dem Betreiber zugerechnet werden.

Üblich bei:

Bei 11 weiteren Anwendungsfällen hängt es vom Aufbau des Systems ab, etwa davon, ob es Aufträge in normaler Sprache ausführt. Diese Anwendungsfälle zeigen

Häufige Fragen

Worum geht es bei dieser Bedrohung?
Mit Tricks wie Rollenspielen, hypothetischen Szenarien oder kodierten Eingaben bringen Angreifer das KI-System dazu, seine Sicherheitsregeln zu umgehen und eigentlich gesperrte Inhalte auszugeben. Jailbreak heißt: die verankerten Schutzmechanismen umgehen.
Welche Gegenmaßnahmen nennt der Katalog?
Der Katalog nennt 4 Gegenmaßnahmen, jede mit Maßnahmenart, Wirkung und Umsetzungsebene. Beispiele sind: Robustes Safety-Training (RLHF, Constitutional AI), Moderation der Ausgabe-Inhalte und Erkennung von Jailbreak-Mustern. Die Reihenfolge ist keine Priorisierung.
Welche Pflichten der KI-Verordnung können relevant sein?
Der Katalog ordnet diese Bedrohung Art. 9 und Art. 55 der EU-KI-Verordnung zu. Daraus folgen im Pflichtenkompass: Risikomanagementsystem einrichten und betreiben und Systemische Risiken bewerten und mindern. Ob eine Pflicht gilt, entscheiden Rolle, Risikoklasse und Frist.

Diese Bedrohung im eigenen System bewerten

Die Live-Demo enthält alle 52 Bedrohungen dieses Katalogs sowie die Einordnung nach der EU-KI-Verordnung und die Datenschutzprüfung. Die kostenlosen Einzelmodule decken KI-Risiko, EU-KI-VO und DSGVO ab. Ohne Registrierung; die Bewertung läuft lokal in Ihrem Browser.

Live-Demo starten Kostenlose Module ansehen

Diesen Eintrag zitieren

Für Berichte, Richtlinien oder interne Unterlagen; der Link führt direkt auf diesen Eintrag.

„Jailbreaks“. Versatile AI Risk Assessment, KI-Bedrohungskatalog, Stand Oktober 2026.
https://www.versatile-ai-risk-assessment.com/wissensbasis/bedrohungen/jailbreaks/

← Zurück zum vollständigen Katalog