KI-BedrohungskatalogSchädliche InhalteProduktion
Sexuelle Inhalte
Das KI-System erzeugt sexuell explizite oder anzügliche Inhalte in einem Kontext, in dem sie unangemessen, ungewollt oder rechtswidrig sind. Besonders kritisch ist die mögliche Darstellung Minderjähriger.
Beschreibung
Das Modell gibt auf Anfrage oder durch Umgehung der Schutzmechanismen sexuelle Inhalte aus, die nicht in den Einsatzkontext gehören. Multimodale Systeme können solche Inhalte auch als Bild erzeugen. Am schwersten wiegen Material, das als Darstellung sexuellen Kindesmissbrauchs (englisch CSAM, Child Sexual Abuse Material) einzustufen ist, sowie intime Aufnahmen realer Personen ohne deren Einwilligung. Missbrauchsdarstellungen sind auch dann strafbar, wenn sie rein synthetisch, also vollständig vom Modell erfunden, entstehen.
Mögliche Auswirkung
Die Erzeugung von Missbrauchsdarstellungen erfüllt in Deutschland und der EU einen Straftatbestand, auch bei KI-generiertem Material, und begründet ein sehr hohes Haftungs- und Meldepflichtrisiko für den Betreiber. Hinzu kommen Plattform-Sperren, Reputationsschäden und der unmittelbare Schutz von Kindern und weiteren betroffenen Personen.
Beispiel
Ein frei zugänglicher Bildgenerator wird so angesteuert, dass er anzügliche Darstellungen einer minderjährig wirkenden Person ausgibt, oder ein Chatbot verfasst expliziten Text in einer für Jugendliche gedachten Anwendung.
Empfohlene Gegenmaßnahmen (5)
Jede Maßnahme nennt ihre Maßnahmenart, Wirkung, Umsetzungsebene und die Begründung der Einordnung.
Strikte Inhaltsfilterung für sexuelle InhalteTechnisch
- Wirkung
- Präventiv
- Umsetzungsebene
- Anwendung, API & Agenten
- Begründung der Einordnung
- „Strikte Inhaltsfilterung für sexuelle Inhalte“ ist primär technisch: Systemseitige Prüf-, Transformations- oder Blockierregeln stoppen oder neutralisieren unzulässige Inhalte vor der Weiterverarbeitung.
NSFW-ErkennungsmodelleTechnisch
- Wirkung
- Aufdeckend
- Umsetzungsebene
- Modell & Training, Anwendung, API & Agenten
- Begründung der Einordnung
- „NSFW-Erkennungsmodelle“ ist primär technisch: Software oder Analysewerkzeuge erzeugen und bewerten systematisch Messwerte, Abweichungen oder Angriffsindikatoren.
Altersverifikation (sofern einschlägig)Technisch
- Wirkung
- Präventiv, Aufdeckend
- Umsetzungsebene
- Anwendung, API & Agenten, Organisation
- Ergänzende Maßnahmenart
- Governance & Compliance
- Begründung der Einordnung
- „Altersverifikation (sofern einschlägig)“ ist primär technisch: Maschinell erzwungene Identitäts-, Berechtigungs- oder Bereichsregeln begrenzen unzulässige Zugriffe und Aktionen; ergänzt durch Regeln und Aufsicht.
Explizite Durchsetzung der RichtlinienTechnisch
- Wirkung
- Präventiv
- Umsetzungsebene
- Anwendung, API & Agenten, Organisation
- Ergänzende Maßnahmenart
- Governance & Compliance
- Begründung der Einordnung
- „Explizite Durchsetzung der Richtlinien“ ist primär technisch: Systemseitige Prüf-, Transformations- oder Blockierregeln stoppen oder neutralisieren unzulässige Inhalte vor der Weiterverarbeitung; ergänzt durch Regeln und Aufsicht.
CSAM-Erkennung und -MeldungTechnisch
- Wirkung
- Aufdeckend
- Umsetzungsebene
- Anwendung, API & Agenten, Organisation, Nutzung & Betrieb
- Ergänzende Maßnahmenart
- Governance & Compliance
- Begründung der Einordnung
- „CSAM-Erkennung und -Meldung“ ist primär technisch: Software oder Analysewerkzeuge erzeugen und bewerten systematisch Messwerte, Abweichungen oder Angriffsindikatoren; ergänzt durch Regeln und Aufsicht.
Standard-Zuordnungen
Verifizierte Fundstellen in OWASP, NIST AI RMF, MITRE ATLAS, EU AI Act und weiteren Rahmenwerken. Die Zuordnungen sind taxonomisch, kein Konformitätsnachweis.
Belegte Referenzen (5)
Jede Referenz nennt Rahmenwerk, Fundstelle und die herausgebende Organisation.
- OWASP LLM Top 10 LLM01:2025 Prompt InjectionLLM01:2025 Prompt Injection, official category page OWASP FoundationOriginal
- NIST AI RMF Abschnitt 2.11 Obscene, Degrading, and/or Abusive ContentAbschnitt 2.11, pp. 11–12 National Institute of Standards and Technology (NIST)Original
- MITRE ATLAS AML.T0048.002 Societal HarmATLAS.yaml technique object with id AML.T0048.002 (pinned release v5.6.0) MITREOriginal
- EU AI Act Article 55(1)(b) Obligations of providers of general-purpose AI models with systemic riskArticle 55(1)(b) European Union (EUR-Lex)Original
- BSI R5 Problematische und verzerrte Ausgaben (Text, Bild, Video)Kap. 4, R5, p. 16 Bundesamt für Sicherheit in der Informationstechnik (BSI)Original
Verwandte Bedrohungen
Weitere Einträge aus der Themengruppe Schädliche Inhalte.
Diese Bedrohung im eigenen System bewerten
Die Live-Demo enthält alle 52 Bedrohungen dieses Katalogs samt EU-AI-Act- und DSGVO-Einwertung. Die kostenlosen Einzelmodule decken KI-Risiko, EU-KI-VO und DSGVO ab. Ohne Registrierung; die Bewertung läuft lokal in Ihrem Browser.
Diesen Eintrag zitieren
Für Berichte, Richtlinien oder interne Unterlagen; der Link führt direkt auf diesen Eintrag.
„Sexuelle Inhalte“. Versatile AI Risk Assessment, KI-Bedrohungskatalog, Stand Juli 2026. https://www.versatile-ai-risk-assessment.com/wissensbasis/bedrohungen/sexuelle-inhalte/