Versatile AI Risk Assessment

KI-Bedrohungskatalog Schädliche Inhalte Produktion

Sexuelle Inhalte

Das KI-System erzeugt sexuell explizite oder anzügliche Inhalte in einem Kontext, in dem sie unangemessen, ungewollt oder rechtswidrig sind. Besonders kritisch ist die mögliche Darstellung Minderjähriger.

Stand: Oktober 2026 · Katalogversion 2026.10.24.2 · 5 Gegenmaßnahmen · 7 belegte Quellen

Beschreibung

Das Modell gibt auf Anfrage oder durch Umgehung der Schutzmechanismen sexuelle Inhalte aus, die nicht in den Einsatzkontext gehören. Multimodale Systeme können solche Inhalte auch als Bild erzeugen. Am schwersten wiegen Material, das als Darstellung sexuellen Kindesmissbrauchs (englisch CSAM, Child Sexual Abuse Material) einzustufen ist, sowie intime Aufnahmen realer Personen ohne deren Einwilligung. Missbrauchsdarstellungen sind auch dann strafbar, wenn sie rein synthetisch, also vollständig vom Modell erfunden, entstehen.

Mögliche Auswirkung

Die Erzeugung von Missbrauchsdarstellungen erfüllt in Deutschland und der EU einen Straftatbestand, auch bei KI-generiertem Material, und begründet ein sehr hohes Haftungs- und Meldepflichtrisiko für den Betreiber. Hinzu kommen Plattform-Sperren, Reputationsschäden und der unmittelbare Schutz von Kindern und weiteren betroffenen Personen.

Beispiel

Ein frei zugänglicher Bildgenerator wird so angesteuert, dass er anzügliche Darstellungen einer minderjährig wirkenden Person ausgibt, oder ein Chatbot verfasst expliziten Text in einer für Jugendliche gedachten Anwendung.

Empfohlene Gegenmaßnahmen (5)

Vergleichen Sie Wirkung und Umsetzungsebene. Die ergänzende Einordnung und Begründung können Sie bei Bedarf aufklappen.

  • Strikte Inhaltsfilterung für sexuelle Inhalte

    Technisch
    Wirkung
    Präventiv
    Umsetzungsebene
    Anwendung, API & Agenten
    Einordnung und Begründung

    Primär technisch: Systemseitige Prüf-, Transformations- oder Blockierregeln stoppen oder neutralisieren unzulässige Inhalte vor der Weiterverarbeitung.

  • NSFW-Erkennungsmodelle

    Technisch
    Wirkung
    Aufdeckend
    Umsetzungsebene
    Modell & Training, Anwendung, API & Agenten
    Einordnung und Begründung

    Primär technisch: Software oder Analysewerkzeuge erzeugen und bewerten systematisch Messwerte, Abweichungen oder Angriffsindikatoren.

  • Altersverifikation (sofern einschlägig)

    Technisch
    Wirkung
    Präventiv, Aufdeckend
    Umsetzungsebene
    Anwendung, API & Agenten, Organisation
    Einordnung und Begründung

    Ergänzende MaßnahmenartGovernance & Compliance

    Primär technisch: Maschinell erzwungene Identitäts-, Berechtigungs- oder Bereichsregeln begrenzen unzulässige Zugriffe und Aktionen; ergänzt durch Regeln und Aufsicht.

  • Explizite Durchsetzung der Richtlinien

    Technisch
    Wirkung
    Präventiv
    Umsetzungsebene
    Anwendung, API & Agenten, Organisation
    Einordnung und Begründung

    Ergänzende MaßnahmenartGovernance & Compliance

    Primär technisch: Systemseitige Prüf-, Transformations- oder Blockierregeln stoppen oder neutralisieren unzulässige Inhalte vor der Weiterverarbeitung; ergänzt durch Regeln und Aufsicht.

  • CSAM-Erkennung und -Meldung

    Technisch
    Wirkung
    Aufdeckend
    Umsetzungsebene
    Anwendung, API & Agenten, Organisation, Nutzung & Betrieb
    Einordnung und Begründung

    Ergänzende MaßnahmenartGovernance & Compliance

    Primär technisch: Software oder Analysewerkzeuge erzeugen und bewerten systematisch Messwerte, Abweichungen oder Angriffsindikatoren; ergänzt durch Regeln und Aufsicht.

Standard-Zuordnungen

Verifizierte Fundstellen in OWASP, NIST AI RMF, MITRE ATLAS, EU AI Act und weiteren Rahmenwerken. Die Zuordnungen zeigen fachliche Bezüge. Sie belegen nicht, dass ein System die jeweiligen Anforderungen erfüllt.

OWASP LLM Top 10 LLM01:2026NIST AI RMF Abschnitt 2.11MITRE ATLAS AML.T0048.002EU AI Act Article 5(1)(ba) · Article 5(1)(bb) · Article 55(1)(b)BSI R5

Belegte Referenzen (7)

Jede Referenz nennt Rahmenwerk, Fundstelle und die herausgebende Organisation.

Pflichten der KI-Verordnung zu dieser Bedrohung

Die Pflichten aus dem Pflichtenkompass, deren Artikel der Katalog dieser Bedrohung zuordnet. Jede führt auf ihren Eintrag mit Kern, Handlungsschritt und Nachweis; ob sie Sie trifft, hängt von Rolle und Risikoklasse ab.

  • Verbotene KI-Praktiken unterlassen Art. 5 Abs. 1 · gilt ab 2. Februar 2025

    Gesetzliche Rollen: Anbieter, Betreiber, Einführer, Händler, Bevollmächtigter, Produkthersteller, Anbieter eines KI-Modells mit allgemeinem Verwendungszweck. Klassen: Verbotene Praktik.

    Diese Verbote gelten seit dem 2. Februar 2025 und sind von der Verschiebung der Hochrisiko-Pflichten nicht berührt. Verstöße sind mit dem höchsten Bußgeldrahmen der Verordnung bewehrt.

    Der Verweis ist ein Prüfanlass. Ein Bedrohungstreffer allein begründet keine Anwendbarkeit.

  • Neues Verbot: intime Darstellungen ohne Einwilligung Art. 5 Abs. 1 UAbs. 1 Buchst. ba, Art. 5 Abs. 1a, 1b · gilt ab 2. Dezember 2026 · geändert durch VO 2026/1744

    Gesetzliche Rollen: Anbieter, Betreiber, Einführer, Händler, Bevollmächtigter, Produkthersteller, Anbieter eines KI-Modells mit allgemeinem Verwendungszweck. Klassen: Verbotene Praktik, Transparenzpflichtiges System.

    Dieser Verbotstatbestand ist neu und wurde durch die Verordnung (EU) 2026/1744 eingefügt. Er gilt ab dem 2. Dezember 2026. Für Betreiber greift das Verbot nur, wenn das System gerade zu diesem Zweck verwendet wird.

    Der Verweis ist ein Prüfanlass. Ein Bedrohungstreffer allein begründet keine Anwendbarkeit.

  • Neues Verbot: Darstellungen sexuellen Missbrauchs von Kindern Art. 5 Abs. 1 UAbs. 1 Buchst. bb · gilt ab 2. Dezember 2026 · geändert durch VO 2026/1744

    Gesetzliche Rollen: Anbieter, Betreiber, Einführer, Händler, Bevollmächtigter, Produkthersteller, Anbieter eines KI-Modells mit allgemeinem Verwendungszweck. Klassen: Verbotene Praktik.

    Ebenfalls neu eingefügt durch die Verordnung (EU) 2026/1744, geltend ab dem 2. Dezember 2026.

    Der Verweis ist ein Prüfanlass. Ein Bedrohungstreffer allein begründet keine Anwendbarkeit.

  • Systemische Risiken bewerten und mindern Art. 55 · gilt ab 2. August 2025

    Gesetzliche Rollen: Anbieter eines KI-Modells mit allgemeinem Verwendungszweck. Klassen: Modell mit systemischem Risiko.

    Der Verweis ist ein Prüfanlass. Ein Bedrohungstreffer allein begründet keine Anwendbarkeit.

Alle 62 Pflichten nach Rolle, Risikoklasse und Frist im Pflichtenkompass

Weitere Einträge aus der Themengruppe Schädliche Inhalte.

Hassrede und Diskriminierung Das KI-System erzeugt Inhalte, die einzelne Personen oder Gruppen wegen geschützter Merkmale wie Herkunft, Geschlecht, Religion oder … Obszöne Sprache / Profanität Das KI-System gibt vulgäre oder anstößige Sprache in einem Umfeld aus, in dem dies unprofessionell oder richtlinienwidrig ist, etwa im … Gewalt / gefährliche Handlungen Das KI-System stellt Gewalt dar, verherrlicht sie oder liefert Anleitungen für gefährliche Handlungen, etwa zum Bau von Waffen oder zu …

Passende Anwendungsfälle

Die Liste zeigt, wo Sie diese Bedrohung prüfen, nicht wie hoch das Risiko ist.

Besonders wichtig bei:

  • Generierung von Bildern, Videos und StimmenJemand lädt das Foto einer Kollegin hoch und lässt daraus ein freizügiges Bild erzeugen. Verhindert das Werkzeug das nicht, entsteht eine intime Darstellung ohne Einwilligung, die die Person schwer verletzt.

Bei 7 weiteren Anwendungsfällen hängt es vom Aufbau des Systems ab, etwa davon, ob es auf freie Anfrage neue Inhalte erzeugt oder auch Menschen außerhalb Ihrer Organisation offensteht. Diese Anwendungsfälle zeigen

Häufige Fragen

Worum geht es bei dieser Bedrohung?
Das KI-System erzeugt sexuell explizite oder anzügliche Inhalte in einem Kontext, in dem sie unangemessen, ungewollt oder rechtswidrig sind. Besonders kritisch ist die mögliche Darstellung Minderjähriger.
Welche Gegenmaßnahmen nennt der Katalog?
Der Katalog nennt 5 Gegenmaßnahmen, jede mit Maßnahmenart, Wirkung und Umsetzungsebene. Beispiele sind: Strikte Inhaltsfilterung für sexuelle Inhalte, NSFW-Erkennungsmodelle und Altersverifikation (sofern einschlägig). Die Reihenfolge ist keine Priorisierung.
Welche Pflichten der KI-Verordnung können relevant sein?
Der Katalog ordnet diese Bedrohung Art. 5 Abs. 1, Art. 5 Abs. 1 UAbs. 1 Buchst. ba, Art. 5 Abs. 1 UAbs. 1 Buchst. bb und Art. 55 der EU-KI-Verordnung zu. Daraus folgen im Pflichtenkompass: Verbotene KI-Praktiken unterlassen, Neues Verbot: intime Darstellungen ohne Einwilligung, Neues Verbot: Darstellungen sexuellen Missbrauchs von Kindern und Systemische Risiken bewerten und mindern. Ob eine Pflicht gilt, entscheiden Rolle, Risikoklasse und Frist.

Diese Bedrohung im eigenen System bewerten

Die Live-Demo enthält alle 52 Bedrohungen dieses Katalogs sowie die Einordnung nach der EU-KI-Verordnung und die Datenschutzprüfung. Die kostenlosen Einzelmodule decken KI-Risiko, EU-KI-VO und DSGVO ab. Ohne Registrierung; die Bewertung läuft lokal in Ihrem Browser.

Live-Demo starten Kostenlose Module ansehen

Diesen Eintrag zitieren

Für Berichte, Richtlinien oder interne Unterlagen; der Link führt direkt auf diesen Eintrag.

„Sexuelle Inhalte“. Versatile AI Risk Assessment, KI-Bedrohungskatalog, Stand Oktober 2026.
https://www.versatile-ai-risk-assessment.com/wissensbasis/bedrohungen/sexuelle-inhalte/

← Zurück zum vollständigen Katalog