Versatile AI Risk Assessment

KI-Bedrohungskatalog Schädliche Inhalte Produktion

Gewalt / gefährliche Handlungen

Das KI-System stellt Gewalt dar, verherrlicht sie oder liefert Anleitungen für gefährliche Handlungen, etwa zum Bau von Waffen oder zu riskanten Do-it-yourself-Aktivitäten.

Stand: Oktober 2026 · Katalogversion 2026.10.24.2 · 5 Gegenmaßnahmen · 5 belegte Quellen

Beschreibung

Auf direkte Aufforderung oder nach Umgehung der Schutzmechanismen erzeugt das Modell Beschreibungen, Verherrlichung oder konkrete Handlungsanweisungen für Gewalttaten und gefährliche Aktivitäten. Die Bandbreite reicht von der Glorifizierung von Gewalt über Anleitungen zu Selbst- und Fremdgefährdung bis zu Informationen für den Bau von Waffen, im äußersten Fall einschließlich chemischer, biologischer, radiologischer oder nuklearer Kampf- und Gefahrstoffe (CBRN). Kernrisiko ist, dass das Modell die Kompetenz- und Aufwandsschwelle für Täter absenkt.

Mögliche Auswirkung

Aus solchen Ausgaben kann realer körperlicher Schaden entstehen, sowohl für einzelne Personen als auch, im Fall gefährlicher Stoffe, für die öffentliche Sicherheit. Für den Betreiber folgen daraus erhebliche rechtliche und aufsichtsrechtliche Risiken; bei besonders leistungsfähigen Modellen gilt dies als systemisches Risiko im Sinne der KI-Verordnung.

Beispiel

Ein Assistenzsystem beschreibt auf eine als Rollenspiel getarnte Anfrage Schritt für Schritt, wie eine gefährliche Substanz hergestellt wird, oder ein Chatbot verfasst einen Text, der eine Gewalttat verherrlicht.

Empfohlene Gegenmaßnahmen (5)

Vergleichen Sie Wirkung und Umsetzungsebene. Die ergänzende Einordnung und Begründung können Sie bei Bedarf aufklappen.

  • Klassifikatoren für Gewaltinhalte

    Technisch
    Wirkung
    Aufdeckend
    Umsetzungsebene
    Anwendung, API & Agenten
    Einordnung und Begründung

    Primär technisch: Software oder Analysewerkzeuge erzeugen und bewerten systematisch Messwerte, Abweichungen oder Angriffsindikatoren.

  • Erkennung gefährlicher Handlungsanweisungen

    Technisch
    Wirkung
    Aufdeckend
    Umsetzungsebene
    Anwendung, API & Agenten
    Einordnung und Begründung

    Primär technisch: Software oder Analysewerkzeuge erzeugen und bewerten systematisch Messwerte, Abweichungen oder Angriffsindikatoren.

  • Safety-getunete Modelle

    Technisch
    Wirkung
    Präventiv
    Umsetzungsebene
    Modell & Training
    Einordnung und Begründung

    Primär technisch: Ein Modell-, Trainings- oder Datenverfahren verändert Systemverhalten oder Robustheit unmittelbar.

  • Ablehnungsmuster für schädliche Anfragen

    Technisch
    Wirkung
    Präventiv
    Umsetzungsebene
    Modell & Training, Anwendung, API & Agenten
    Einordnung und Begründung

    Primär technisch: Systemseitige Prüf-, Transformations- oder Blockierregeln stoppen oder neutralisieren unzulässige Inhalte vor der Weiterverarbeitung.

  • Externes Meldewesen für schädliche Inhalte

    Organisatorisch & prozessual
    Wirkung
    Aufdeckend
    Umsetzungsebene
    Organisation, Nutzung & Betrieb
    Einordnung und Begründung

    Ergänzende MaßnahmenartGovernance & Compliance

    Primär organisatorisch & prozessual: Ein definierter Melde-, Triage- und Bearbeitungsablauf überführt Hinweise in nachvollziehbare Folgeaktionen; ergänzt durch Regeln und Aufsicht.

Standard-Zuordnungen

Verifizierte Fundstellen in OWASP, NIST AI RMF, MITRE ATLAS, EU AI Act und weiteren Rahmenwerken. Die Zuordnungen zeigen fachliche Bezüge. Sie belegen nicht, dass ein System die jeweiligen Anforderungen erfüllt.

OWASP LLM Top 10 LLM01:2026NIST AI RMF Abschnitt 2.3MITRE ATLAS AML.T0048.002EU AI Act Article 55(1)(b)BSI R5

Belegte Referenzen (5)

Jede Referenz nennt Rahmenwerk, Fundstelle und die herausgebende Organisation.

Pflichten der KI-Verordnung zu dieser Bedrohung

Die Pflichten aus dem Pflichtenkompass, deren Artikel der Katalog dieser Bedrohung zuordnet. Jede führt auf ihren Eintrag mit Kern, Handlungsschritt und Nachweis; ob sie Sie trifft, hängt von Rolle und Risikoklasse ab.

  • Systemische Risiken bewerten und mindern Art. 55 · gilt ab 2. August 2025

    Gesetzliche Rollen: Anbieter eines KI-Modells mit allgemeinem Verwendungszweck. Klassen: Modell mit systemischem Risiko.

    Der Verweis ist ein Prüfanlass. Ein Bedrohungstreffer allein begründet keine Anwendbarkeit.

Alle 62 Pflichten nach Rolle, Risikoklasse und Frist im Pflichtenkompass

Weitere Einträge aus der Themengruppe Schädliche Inhalte.

Hassrede und Diskriminierung Das KI-System erzeugt Inhalte, die einzelne Personen oder Gruppen wegen geschützter Merkmale wie Herkunft, Geschlecht, Religion oder … Obszöne Sprache / Profanität Das KI-System gibt vulgäre oder anstößige Sprache in einem Umfeld aus, in dem dies unprofessionell oder richtlinienwidrig ist, etwa im … Sexuelle Inhalte Das KI-System erzeugt sexuell explizite oder anzügliche Inhalte in einem Kontext, in dem sie unangemessen, ungewollt oder rechtswidrig sind.

Passende Anwendungsfälle

Die Liste zeigt, wo Sie diese Bedrohung prüfen, nicht wie hoch das Risiko ist.

Üblich bei:

Bei 6 weiteren Anwendungsfällen hängt es vom Aufbau des Systems ab, etwa davon, ob es auf freie Anfrage neue Inhalte erzeugt oder eigene Texte schreibt. Diese Anwendungsfälle zeigen

Häufige Fragen

Worum geht es bei dieser Bedrohung?
Das KI-System stellt Gewalt dar, verherrlicht sie oder liefert Anleitungen für gefährliche Handlungen, etwa zum Bau von Waffen oder zu riskanten Do-it-yourself-Aktivitäten.
Welche Gegenmaßnahmen nennt der Katalog?
Der Katalog nennt 5 Gegenmaßnahmen, jede mit Maßnahmenart, Wirkung und Umsetzungsebene. Beispiele sind: Klassifikatoren für Gewaltinhalte, Erkennung gefährlicher Handlungsanweisungen und Safety-getunete Modelle. Die Reihenfolge ist keine Priorisierung.
Welche Pflichten der KI-Verordnung können relevant sein?
Der Katalog ordnet diese Bedrohung Art. 55 der EU-KI-Verordnung zu. Daraus folgen im Pflichtenkompass: Systemische Risiken bewerten und mindern. Ob eine Pflicht gilt, entscheiden Rolle, Risikoklasse und Frist.

Diese Bedrohung im eigenen System bewerten

Die Live-Demo enthält alle 52 Bedrohungen dieses Katalogs sowie die Einordnung nach der EU-KI-Verordnung und die Datenschutzprüfung. Die kostenlosen Einzelmodule decken KI-Risiko, EU-KI-VO und DSGVO ab. Ohne Registrierung; die Bewertung läuft lokal in Ihrem Browser.

Live-Demo starten Kostenlose Module ansehen

Diesen Eintrag zitieren

Für Berichte, Richtlinien oder interne Unterlagen; der Link führt direkt auf diesen Eintrag.

„Gewalt / gefährliche Handlungen“. Versatile AI Risk Assessment, KI-Bedrohungskatalog, Stand Oktober 2026.
https://www.versatile-ai-risk-assessment.com/wissensbasis/bedrohungen/gewalt-und-gefaehrliche-handlungen/

← Zurück zum vollständigen Katalog