KI-BedrohungskatalogSchädliche InhalteProduktion
Rechtswidrige Handlungen
Das KI-System unterstützt rechtswidrige Handlungen, indem es etwa Anleitungen zu Drogensynthese, Waffenbau, Hacking, Betrug oder zur Umgehung von Sanktionen liefert.
Beschreibung
Auf direkte Aufforderung oder nach einem Jailbreak (dem Umgehen der im Modell verankerten Schutzmechanismen) stellt das Modell Wissen und Handlungsschritte für Straftaten zusammen und bereitet sie verständlich auf. Das eigentliche Risiko ist der sogenannte Uplift: Das System senkt die fachliche Einstiegshürde und den Aufwand, die ein Täter sonst benötigen würde. Behörden wie das Bundesamt für Sicherheit in der Informationstechnik (BSI) beschreiben, dass sich so Informationen über Schwachstellen, kriminelle Vorgehensweisen und deren Ausnutzung leichter beschaffen lassen.
Mögliche Auswirkung
Für den Betreiber entstehen rechtliche Haftung und im Einzelfall strafrechtliche Exposition, weil das System die Begehung realer Straftaten erleichtert. Bei besonders leistungsfähigen Modellen zählt dies, etwa im Bereich gefährlicher chemischer, biologischer, radiologischer oder nuklearer Stoffe (CBRN) oder offensiver Cyberfähigkeiten, zu den systemischen Risiken der KI-Verordnung.
Beispiel
Ein Mitarbeiter umgeht die Schutzmechanismen eines Assistenzsystems und lässt sich eine Schritt-für-Schritt-Anleitung zur Herstellung einer illegalen Substanz oder zum Eindringen in ein fremdes Netzwerk erstellen.
Empfohlene Gegenmaßnahmen (5)
Jede Maßnahme nennt ihre Maßnahmenart, Wirkung, Umsetzungsebene und die Begründung der Einordnung.
Robustes Refusal-Training für illegale AnfragenTechnisch
- Wirkung
- Präventiv
- Umsetzungsebene
- Modell & Training
- Ergänzende Maßnahmenart
- Governance & Compliance
- Begründung der Einordnung
- „Robustes Refusal-Training für illegale Anfragen“ ist primär technisch: Ein Modell-, Trainings- oder Datenverfahren verändert Systemverhalten oder Robustheit unmittelbar; ergänzt durch Regeln und Aufsicht.
Content-Moderation anhand rechtlicher RegelwerkeTechnisch
- Wirkung
- Präventiv
- Umsetzungsebene
- Anwendung, API & Agenten, Organisation
- Ergänzende Maßnahmenart
- Governance & Compliance
- Begründung der Einordnung
- „Content-Moderation anhand rechtlicher Regelwerke“ ist primär technisch: Systemseitige Prüf-, Transformations- oder Blockierregeln stoppen oder neutralisieren unzulässige Inhalte vor der Weiterverarbeitung; ergänzt durch Regeln und Aufsicht.
Durchsetzung jurisdiktionsspezifischer RichtlinienTechnisch
- Wirkung
- Präventiv
- Umsetzungsebene
- Anwendung, API & Agenten, Organisation
- Ergänzende Maßnahmenart
- Governance & Compliance
- Begründung der Einordnung
- „Durchsetzung jurisdiktionsspezifischer Richtlinien“ ist primär technisch: Systemseitige Prüf-, Transformations- oder Blockierregeln stoppen oder neutralisieren unzulässige Inhalte vor der Weiterverarbeitung; ergänzt durch Regeln und Aufsicht.
Red-Teaming für Edge CasesOrganisatorisch & prozessual
- Wirkung
- Aufdeckend
- Umsetzungsebene
- Modell & Training, Anwendung, API & Agenten, Nutzung & Betrieb
- Ergänzende Maßnahmenart
- Mensch & Kompetenz, Technisch
- Begründung der Einordnung
- „Red-Teaming für Edge Cases“ ist primär organisatorisch & prozessual: Ein geplanter, wiederholbarer Prüfablauf mit Zuständigkeit und Nachverfolgung erzeugt die Schutzwirkung; ergänzt durch Fachwissen und Urteil sowie technische Umsetzung.
Rechtliche Prüfung des SystemverhaltensGovernance & Compliance
- Wirkung
- Präventiv, Aufdeckend
- Umsetzungsebene
- Organisation, Nutzung & Betrieb
- Ergänzende Maßnahmenart
- Organisatorisch & prozessual
- Begründung der Einordnung
- „Rechtliche Prüfung des Systemverhaltens“ ist primär der Maßnahmenart Governance & Compliance zugeordnet: Verbindliche Regeln, Kontrollziele oder Aufsicht bestimmen Zulässigkeit und Rechenschaft; ergänzt durch verbindliche Abläufe.
Standard-Zuordnungen
Verifizierte Fundstellen in OWASP, NIST AI RMF, MITRE ATLAS, EU AI Act und weiteren Rahmenwerken. Die Zuordnungen sind taxonomisch, kein Konformitätsnachweis.
Belegte Referenzen (7)
Jede Referenz nennt Rahmenwerk, Fundstelle und die herausgebende Organisation.
- OWASP LLM Top 10 LLM01:2025 Prompt InjectionLLM01:2025 Prompt Injection, official category page OWASP FoundationOriginal
- NIST AI RMF Abschnitt 2.1 CBRN Information or CapabilitiesAbschnitt 2.1, pp. 5–6 National Institute of Standards and Technology (NIST)Original
- NIST AI RMF Abschnitt 2.3 Dangerous, Violent, or Hateful ContentAbschnitt 2.3, pp. 6–7 National Institute of Standards and Technology (NIST)Original
- MITRE ATLAS AML.T0048.002 Societal HarmATLAS.yaml technique object with id AML.T0048.002 (pinned release v5.6.0) MITREOriginal
- EU AI Act Article 55(1)(b) Obligations of providers of general-purpose AI models with systemic riskArticle 55(1)(b) European Union (EUR-Lex)Original
- BSI R10 Erzeugung ver- und gefälschter Inhalte (Text, Bild, Video)Kap. 4, R10, p. 18 Bundesamt für Sicherheit in der Informationstechnik (BSI)Original
- BSI R12 Wissenssammlung und -aufbereitung im Kontext krimineller Aktivitäten (Text, Bild)Kap. 4, R12, p. 20 Bundesamt für Sicherheit in der Informationstechnik (BSI)Original
Begriffe auf dieser Seite
Fachbegriffe aus dem Glossar, die in diesem Eintrag vorkommen. Jeder Verweis führt zur vollständigen Erklärung.
- Jailbreak Eingaben, die ein Modell dazu bringen, seine eigenen Schutzregeln zu übergehen.
Verwandte Bedrohungen
Weitere Einträge aus der Themengruppe Schädliche Inhalte.
Diese Bedrohung im eigenen System bewerten
Die Live-Demo enthält alle 52 Bedrohungen dieses Katalogs samt EU-AI-Act- und DSGVO-Einwertung. Die kostenlosen Einzelmodule decken KI-Risiko, EU-KI-VO und DSGVO ab. Ohne Registrierung; die Bewertung läuft lokal in Ihrem Browser.
Diesen Eintrag zitieren
Für Berichte, Richtlinien oder interne Unterlagen; der Link führt direkt auf diesen Eintrag.
„Rechtswidrige Handlungen“. Versatile AI Risk Assessment, KI-Bedrohungskatalog, Stand Juli 2026. https://www.versatile-ai-risk-assessment.com/wissensbasis/bedrohungen/rechtswidrige-handlungen/