KI-BedrohungskatalogSchädliche InhalteProduktion
Obszöne Sprache / Profanität
Das KI-System gibt vulgäre oder anstößige Sprache in einem Umfeld aus, in dem dies unprofessionell oder richtlinienwidrig ist, etwa im Kundenservice, in der Bildung oder in Arbeitsplatz-Anwendungen.
Beschreibung
Fluch- und Schimpfwörter oder derbe Formulierungen entstehen, wenn das Modell den Ton des jeweiligen Einsatzkontexts nicht einhält. Anders als bei Hassrede richtet sich die Sprache meist nicht gegen eine geschützte Gruppe und hat selten strafrechtliche Bedeutung. Content-Safety-Systeme erfassen Profanität deshalb als niedrige Schweregradstufe innerhalb anderer Kategorien und nicht als eigenständige Bedrohung. Auslöser sind provozierende Eingaben der Nutzenden, fehlende Kontextfilter oder unpassende Trainingsdaten.
Mögliche Auswirkung
Der Schaden liegt vor allem im unprofessionellen Auftritt und im Verstoß gegen interne Richtlinien oder Jugendschutzvorgaben. Für Marke und Kundenvertrauen kann das nachteilig sein, insbesondere wenn Minderjährige oder sensible Zielgruppen erreicht werden. Rechtlich ist das Risiko niedriger als bei Hassrede, für die Betreiber-Governance aber dennoch relevant.
Beispiel
Ein Kundenservice-Chatbot antwortet auf eine gereizte Beschwerde mit einer derben Beleidigung, oder ein Lernassistent für Schülerinnen und Schüler gibt eine Antwort mit vulgären Ausdrücken aus.
Empfohlene Gegenmaßnahmen (4)
Jede Maßnahme nennt ihre Maßnahmenart, Wirkung, Umsetzungsebene und die Begründung der Einordnung.
Profanitäts-FilterTechnisch
- Wirkung
- Präventiv
- Umsetzungsebene
- Anwendung, API & Agenten
- Begründung der Einordnung
- „Profanitäts-Filter“ ist primär technisch: Systemseitige Prüf-, Transformations- oder Blockierregeln stoppen oder neutralisieren unzulässige Inhalte vor der Weiterverarbeitung.
Klassifikation der Ausgabe-InhalteTechnisch
- Wirkung
- Aufdeckend
- Umsetzungsebene
- Anwendung, API & Agenten
- Begründung der Einordnung
- „Klassifikation der Ausgabe-Inhalte“ ist primär technisch: Software oder Analysewerkzeuge erzeugen und bewerten systematisch Messwerte, Abweichungen oder Angriffsindikatoren.
Kontextbezogene ModerationTechnisch
- Wirkung
- Präventiv
- Umsetzungsebene
- Anwendung, API & Agenten
- Begründung der Einordnung
- „Kontextbezogene Moderation“ ist primär technisch: Systemseitige Prüf-, Transformations- oder Blockierregeln stoppen oder neutralisieren unzulässige Inhalte vor der Weiterverarbeitung.
Safety-TrainingTechnisch
- Wirkung
- Präventiv
- Umsetzungsebene
- Modell & Training
- Begründung der Einordnung
- „Safety-Training“ ist primär technisch: Ein Modell-, Trainings- oder Datenverfahren verändert Systemverhalten oder Robustheit unmittelbar.
Standard-Zuordnungen
Verifizierte Fundstellen in OWASP, NIST AI RMF, MITRE ATLAS, EU AI Act und weiteren Rahmenwerken. Die Zuordnungen sind taxonomisch, kein Konformitätsnachweis.
Belegte Referenzen (2)
Jede Referenz nennt Rahmenwerk, Fundstelle und die herausgebende Organisation.
- NIST AI RMF Abschnitt 2.11 Obscene, Degrading, and/or Abusive ContentAbschnitt 2.11, pp. 11–12 National Institute of Standards and Technology (NIST)Original
- BSI R5 Problematische und verzerrte Ausgaben (Text, Bild, Video)Kap. 4, R5, p. 16 Bundesamt für Sicherheit in der Informationstechnik (BSI)Original
Verwandte Bedrohungen
Weitere Einträge aus der Themengruppe Schädliche Inhalte.
Diese Bedrohung im eigenen System bewerten
Die Live-Demo enthält alle 52 Bedrohungen dieses Katalogs samt EU-AI-Act- und DSGVO-Einwertung. Die kostenlosen Einzelmodule decken KI-Risiko, EU-KI-VO und DSGVO ab. Ohne Registrierung; die Bewertung läuft lokal in Ihrem Browser.
Diesen Eintrag zitieren
Für Berichte, Richtlinien oder interne Unterlagen; der Link führt direkt auf diesen Eintrag.
„Obszöne Sprache / Profanität“. Versatile AI Risk Assessment, KI-Bedrohungskatalog, Stand Juli 2026. https://www.versatile-ai-risk-assessment.com/wissensbasis/bedrohungen/obszoene-sprache/