KI-Bedrohungskatalog Schädliche Inhalte Produktion
Obszöne Sprache / Profanität
Das KI-System gibt vulgäre oder anstößige Sprache in einem Umfeld aus, in dem dies unprofessionell oder richtlinienwidrig ist, etwa im Kundenservice, in der Bildung oder in Arbeitsplatz-Anwendungen.
Beschreibung
Fluch- und Schimpfwörter oder derbe Formulierungen entstehen, wenn das Modell den Ton des jeweiligen Einsatzkontexts nicht einhält. Anders als bei Hassrede richtet sich die Sprache meist nicht gegen eine geschützte Gruppe und hat selten strafrechtliche Bedeutung. Content-Safety-Systeme erfassen Profanität deshalb als niedrige Schweregradstufe innerhalb anderer Kategorien und nicht als eigenständige Bedrohung. Auslöser sind provozierende Eingaben der Nutzenden, fehlende Kontextfilter oder unpassende Trainingsdaten.
Mögliche Auswirkung
Der Schaden liegt vor allem im unprofessionellen Auftritt und im Verstoß gegen interne Richtlinien oder Jugendschutzvorgaben. Für Marke und Kundenvertrauen kann das nachteilig sein, insbesondere wenn Minderjährige oder sensible Zielgruppen erreicht werden. Rechtlich ist das Risiko niedriger als bei Hassrede, für die Betreiber-Governance aber dennoch relevant.
Beispiel
Ein Kundenservice-Chatbot antwortet auf eine gereizte Beschwerde mit einer derben Beleidigung, oder ein Lernassistent für Schülerinnen und Schüler gibt eine Antwort mit vulgären Ausdrücken aus.
Empfohlene Gegenmaßnahmen (4)
Vergleichen Sie Wirkung und Umsetzungsebene. Die ergänzende Einordnung und Begründung können Sie bei Bedarf aufklappen.
-
Profanitäts-Filter
Technisch- Wirkung
- Präventiv
- Umsetzungsebene
- Anwendung, API & Agenten
Einordnung und Begründung
Primär technisch: Systemseitige Prüf-, Transformations- oder Blockierregeln stoppen oder neutralisieren unzulässige Inhalte vor der Weiterverarbeitung.
-
Klassifikation der Ausgabe-Inhalte
Technisch- Wirkung
- Aufdeckend
- Umsetzungsebene
- Anwendung, API & Agenten
Einordnung und Begründung
Primär technisch: Software oder Analysewerkzeuge erzeugen und bewerten systematisch Messwerte, Abweichungen oder Angriffsindikatoren.
-
Kontextbezogene Moderation
Technisch- Wirkung
- Präventiv
- Umsetzungsebene
- Anwendung, API & Agenten
Einordnung und Begründung
Primär technisch: Systemseitige Prüf-, Transformations- oder Blockierregeln stoppen oder neutralisieren unzulässige Inhalte vor der Weiterverarbeitung.
-
Safety-Training
Technisch- Wirkung
- Präventiv
- Umsetzungsebene
- Modell & Training
Einordnung und Begründung
Primär technisch: Ein Modell-, Trainings- oder Datenverfahren verändert Systemverhalten oder Robustheit unmittelbar.
Standard-Zuordnungen
Verifizierte Fundstellen in OWASP, NIST AI RMF, MITRE ATLAS, EU AI Act und weiteren Rahmenwerken. Die Zuordnungen zeigen fachliche Bezüge. Sie belegen nicht, dass ein System die jeweiligen Anforderungen erfüllt.
Belegte Referenzen (2)
Jede Referenz nennt Rahmenwerk, Fundstelle und die herausgebende Organisation.
- NIST AI RMF Abschnitt 2.11 Obscene, Degrading, and/or Abusive ContentAbschnitt 2.11, pp. 11–12 National Institute of Standards and Technology (NIST)Original
- BSI R5 Problematische und verzerrte Ausgaben (Text, Bild, Video)Kap. 4, R5, p. 16 Bundesamt für Sicherheit in der Informationstechnik (BSI)Original
Verwandte Bedrohungen
Weitere Einträge aus der Themengruppe Schädliche Inhalte.
Passende Anwendungsfälle
Die Liste zeigt, wo Sie diese Bedrohung prüfen, nicht wie hoch das Risiko ist.
Üblich bei:
Bei 7 weiteren Anwendungsfällen hängt es vom Aufbau des Systems ab, etwa davon, ob es auf freie Anfrage neue Inhalte erzeugt oder eigene Texte schreibt. Diese Anwendungsfälle zeigen
Häufige Fragen
- Worum geht es bei dieser Bedrohung?
- Das KI-System gibt vulgäre oder anstößige Sprache in einem Umfeld aus, in dem dies unprofessionell oder richtlinienwidrig ist, etwa im Kundenservice, in der Bildung oder in Arbeitsplatz-Anwendungen.
- Welche Gegenmaßnahmen nennt der Katalog?
- Der Katalog nennt 4 Gegenmaßnahmen, jede mit Maßnahmenart, Wirkung und Umsetzungsebene. Beispiele sind: Profanitäts-Filter, Klassifikation der Ausgabe-Inhalte und Kontextbezogene Moderation. Die Reihenfolge ist keine Priorisierung.
- Welche Pflichten der KI-Verordnung können relevant sein?
- Der Katalog ordnet diese Bedrohung keinem Artikel der EU-KI-Verordnung zu, wohl aber den Rahmenwerken nist, bsi. Pflichten der Verordnung greifen erst über die Einstufung des Systems, nicht über diese Bedrohung.
Diese Bedrohung im eigenen System bewerten
Die Live-Demo enthält alle 52 Bedrohungen dieses Katalogs sowie die Einordnung nach der EU-KI-Verordnung und die Datenschutzprüfung. Die kostenlosen Einzelmodule decken KI-Risiko, EU-KI-VO und DSGVO ab. Ohne Registrierung; die Bewertung läuft lokal in Ihrem Browser.
Diesen Eintrag zitieren
Für Berichte, Richtlinien oder interne Unterlagen; der Link führt direkt auf diesen Eintrag.
„Obszöne Sprache / Profanität“. Versatile AI Risk Assessment, KI-Bedrohungskatalog, Stand Oktober 2026. https://www.versatile-ai-risk-assessment.com/wissensbasis/bedrohungen/obszoene-sprache/