KI-Bedrohungskatalog Schädliche Inhalte Produktion
Rechtswidrige Handlungen
Das KI-System unterstützt rechtswidrige Handlungen, indem es etwa Anleitungen zu Drogensynthese, Waffenbau, Hacking, Betrug oder zur Umgehung von Sanktionen liefert.
Beschreibung
Auf direkte Aufforderung oder nach einem Jailbreak (dem Umgehen der im Modell verankerten Schutzmechanismen) stellt das Modell Wissen und Handlungsschritte für Straftaten zusammen und bereitet sie verständlich auf. Das eigentliche Risiko ist der sogenannte Uplift: Das System senkt die fachliche Einstiegshürde und den Aufwand, die ein Täter sonst benötigen würde. Behörden wie das Bundesamt für Sicherheit in der Informationstechnik (BSI) beschreiben, dass sich so Informationen über Schwachstellen, kriminelle Vorgehensweisen und deren Ausnutzung leichter beschaffen lassen.
Mögliche Auswirkung
Für den Betreiber entstehen rechtliche Haftung und im Einzelfall strafrechtliche Exposition, weil das System die Begehung realer Straftaten erleichtert. Bei besonders leistungsfähigen Modellen zählt dies, etwa im Bereich gefährlicher chemischer, biologischer, radiologischer oder nuklearer Stoffe (CBRN) oder offensiver Cyberfähigkeiten, zu den systemischen Risiken der KI-Verordnung.
Beispiel
Ein Mitarbeiter umgeht die Schutzmechanismen eines Assistenzsystems und lässt sich eine Schritt-für-Schritt-Anleitung zur Herstellung einer illegalen Substanz oder zum Eindringen in ein fremdes Netzwerk erstellen.
Empfohlene Gegenmaßnahmen (5)
Vergleichen Sie Wirkung und Umsetzungsebene. Die ergänzende Einordnung und Begründung können Sie bei Bedarf aufklappen.
-
Robustes Refusal-Training für illegale Anfragen
Technisch- Wirkung
- Präventiv
- Umsetzungsebene
- Modell & Training
Einordnung und Begründung
Ergänzende MaßnahmenartGovernance & Compliance
Primär technisch: Ein Modell-, Trainings- oder Datenverfahren verändert Systemverhalten oder Robustheit unmittelbar; ergänzt durch Regeln und Aufsicht.
-
Content-Moderation anhand rechtlicher Regelwerke
Technisch- Wirkung
- Präventiv
- Umsetzungsebene
- Anwendung, API & Agenten, Organisation
Einordnung und Begründung
Ergänzende MaßnahmenartGovernance & Compliance
Primär technisch: Systemseitige Prüf-, Transformations- oder Blockierregeln stoppen oder neutralisieren unzulässige Inhalte vor der Weiterverarbeitung; ergänzt durch Regeln und Aufsicht.
-
Durchsetzung jurisdiktionsspezifischer Richtlinien
Technisch- Wirkung
- Präventiv
- Umsetzungsebene
- Anwendung, API & Agenten, Organisation
Einordnung und Begründung
Ergänzende MaßnahmenartGovernance & Compliance
Primär technisch: Systemseitige Prüf-, Transformations- oder Blockierregeln stoppen oder neutralisieren unzulässige Inhalte vor der Weiterverarbeitung; ergänzt durch Regeln und Aufsicht.
-
Red-Teaming für Edge Cases
Organisatorisch & prozessual- Wirkung
- Aufdeckend
- Umsetzungsebene
- Modell & Training, Anwendung, API & Agenten, Nutzung & Betrieb
Einordnung und Begründung
Ergänzende MaßnahmenartMensch & Kompetenz, Technisch
Primär organisatorisch & prozessual: Ein geplanter, wiederholbarer Prüfablauf mit Zuständigkeit und Nachverfolgung erzeugt die Schutzwirkung; ergänzt durch Fachwissen und Urteil sowie technische Umsetzung.
-
Rechtliche Prüfung des Systemverhaltens
Governance & Compliance- Wirkung
- Präventiv, Aufdeckend
- Umsetzungsebene
- Organisation, Nutzung & Betrieb
Einordnung und Begründung
Ergänzende MaßnahmenartOrganisatorisch & prozessual
Primär der Maßnahmenart Governance & Compliance zugeordnet: Verbindliche Regeln, Kontrollziele oder Aufsicht bestimmen Zulässigkeit und Rechenschaft; ergänzt durch verbindliche Abläufe.
Standard-Zuordnungen
Verifizierte Fundstellen in OWASP, NIST AI RMF, MITRE ATLAS, EU AI Act und weiteren Rahmenwerken. Die Zuordnungen zeigen fachliche Bezüge. Sie belegen nicht, dass ein System die jeweiligen Anforderungen erfüllt.
Belegte Referenzen (7)
Jede Referenz nennt Rahmenwerk, Fundstelle und die herausgebende Organisation.
- OWASP LLM Top 10 LLM01:2026 Prompt InjectionLLM01:2026 Prompt Injection, OWASP Top 10 for LLM Applications 2026 v1.0, pp. 10-17 (doi:10.5281/zenodo.22109015); canonical text 2026/final/LLM01_PromptInjection.md at commit 7e144e05 OWASP FoundationOriginal
- NIST AI RMF Abschnitt 2.1 CBRN Information or CapabilitiesAbschnitt 2.1, pp. 5–6 National Institute of Standards and Technology (NIST)Original
- NIST AI RMF Abschnitt 2.3 Dangerous, Violent, or Hateful ContentAbschnitt 2.3, pp. 6–7 National Institute of Standards and Technology (NIST)Original
- MITRE ATLAS AML.T0048.002 Societal HarmATLAS-2026.09.yaml technique object with id AML.T0048.002 (content release 2026.09, format-version 6.0.0) MITREOriginal
- EU AI Act Article 55(1)(b) Obligations of providers of general-purpose AI models with systemic riskArticle 55(1)(b) European Union (EUR-Lex)Original
- BSI R10 Erzeugung ver- und gefälschter Inhalte (Text, Bild, Video)Kap. 4, R10, p. 18 Bundesamt für Sicherheit in der Informationstechnik (BSI)Original
- BSI R12 Wissenssammlung und -aufbereitung im Kontext krimineller Aktivitäten (Text, Bild)Kap. 4, R12, p. 20 Bundesamt für Sicherheit in der Informationstechnik (BSI)Original
Pflichten der KI-Verordnung zu dieser Bedrohung
Die Pflichten aus dem Pflichtenkompass, deren Artikel der Katalog dieser Bedrohung zuordnet. Jede führt auf ihren Eintrag mit Kern, Handlungsschritt und Nachweis; ob sie Sie trifft, hängt von Rolle und Risikoklasse ab.
-
Systemische Risiken bewerten und mindern
Art. 55 · gilt ab 2. August 2025
Gesetzliche Rollen: Anbieter eines KI-Modells mit allgemeinem Verwendungszweck. Klassen: Modell mit systemischem Risiko.
Der Verweis ist ein Prüfanlass. Ein Bedrohungstreffer allein begründet keine Anwendbarkeit.
Alle 62 Pflichten nach Rolle, Risikoklasse und Frist im Pflichtenkompass
Begriffe auf dieser Seite
Fachbegriffe aus dem Glossar, die in diesem Eintrag vorkommen. Jeder Verweis führt zur vollständigen Erklärung.
- Jailbreak Eingaben, die ein Modell dazu bringen, seine eigenen Schutzregeln zu übergehen.
Verwandte Bedrohungen
Weitere Einträge aus der Themengruppe Schädliche Inhalte.
Passende Anwendungsfälle
Die Liste zeigt, wo Sie diese Bedrohung prüfen, nicht wie hoch das Risiko ist.
Üblich bei:
- Generativer KI-Assistent für Beschäftigte
- KI-Assistent in Büroanwendungen
- Generierung von Bildern, Videos und Stimmen
Bei 6 weiteren Anwendungsfällen hängt es vom Aufbau des Systems ab, etwa davon, ob es auf freie Anfrage neue Inhalte erzeugt oder eigene Texte schreibt. Diese Anwendungsfälle zeigen
Häufige Fragen
- Worum geht es bei dieser Bedrohung?
- Das KI-System unterstützt rechtswidrige Handlungen, indem es etwa Anleitungen zu Drogensynthese, Waffenbau, Hacking, Betrug oder zur Umgehung von Sanktionen liefert.
- Welche Gegenmaßnahmen nennt der Katalog?
- Der Katalog nennt 5 Gegenmaßnahmen, jede mit Maßnahmenart, Wirkung und Umsetzungsebene. Beispiele sind: Robustes Refusal-Training für illegale Anfragen, Content-Moderation anhand rechtlicher Regelwerke und Durchsetzung jurisdiktionsspezifischer Richtlinien. Die Reihenfolge ist keine Priorisierung.
- Welche Pflichten der KI-Verordnung können relevant sein?
- Der Katalog ordnet diese Bedrohung Art. 55 der EU-KI-Verordnung zu. Daraus folgen im Pflichtenkompass: Systemische Risiken bewerten und mindern. Ob eine Pflicht gilt, entscheiden Rolle, Risikoklasse und Frist.
Diese Bedrohung im eigenen System bewerten
Die Live-Demo enthält alle 52 Bedrohungen dieses Katalogs sowie die Einordnung nach der EU-KI-Verordnung und die Datenschutzprüfung. Die kostenlosen Einzelmodule decken KI-Risiko, EU-KI-VO und DSGVO ab. Ohne Registrierung; die Bewertung läuft lokal in Ihrem Browser.
Diesen Eintrag zitieren
Für Berichte, Richtlinien oder interne Unterlagen; der Link führt direkt auf diesen Eintrag.
„Rechtswidrige Handlungen“. Versatile AI Risk Assessment, KI-Bedrohungskatalog, Stand Oktober 2026. https://www.versatile-ai-risk-assessment.com/wissensbasis/bedrohungen/rechtswidrige-handlungen/