KI-BedrohungskatalogSchädliche InhalteProduktion
Belästigung
Das KI-System wird genutzt, um einzelne Personen gezielt zu beschimpfen, zu mobben oder einzuschüchtern, etwa durch Beleidigungen, Doxxing oder personalisierte Belästigungskampagnen.
Beschreibung
Angreifer lassen das Modell herabsetzende oder bedrohliche Nachrichten gegen eine bestimmte Person verfassen, teils in großer Zahl über viele Nachrichten und Konten. Dazu gehört auch die Unterstützung bei Doxxing, also dem Zusammentragen und Veröffentlichen privater Daten, um jemanden gezielt bloßzustellen. Anders als Hassrede richtet sich Belästigung gegen konkrete Einzelpersonen und nicht gegen eine Gruppe; sie kann durch das Modell in Qualität und Umfang deutlich verstärkt werden.
Mögliche Auswirkung
Für die betroffenen Personen entsteht psychischer Schaden. Für den Betreiber folgen rechtliche Haftung, insbesondere aus dem Persönlichkeitsrecht und, bei Doxxing, aus dem Datenschutz, sowie ein Missbrauchs- und Reputationsrisiko für die Plattform.
Beispiel
Eine Person nutzt einen Textgenerator, um Dutzende beleidigende Nachrichten gegen eine Kollegin zu verfassen und über mehrere Konten zu verbreiten.
Empfohlene Gegenmaßnahmen (5)
Jede Maßnahme nennt ihre Maßnahmenart, Wirkung, Umsetzungsebene und die Begründung der Einordnung.
Harassment-Erkennung in AusgabenTechnisch
- Wirkung
- Aufdeckend
- Umsetzungsebene
- Anwendung, API & Agenten
- Begründung der Einordnung
- „Harassment-Erkennung in Ausgaben“ ist primär technisch: Software oder Analysewerkzeuge erzeugen und bewerten systematisch Messwerte, Abweichungen oder Angriffsindikatoren.
Ablehnung von Anfragen für persönliche AngriffeTechnisch
- Wirkung
- Präventiv
- Umsetzungsebene
- Anwendung, API & Agenten
- Begründung der Einordnung
- „Ablehnung von Anfragen für persönliche Angriffe“ ist primär technisch: Systemseitige Prüf-, Transformations- oder Blockierregeln stoppen oder neutralisieren unzulässige Inhalte vor der Weiterverarbeitung.
Nutzungs-Monitoring auf Harassment-MusterTechnisch
- Wirkung
- Aufdeckend
- Umsetzungsebene
- Anwendung, API & Agenten, Nutzung & Betrieb
- Ergänzende Maßnahmenart
- Organisatorisch & prozessual
- Begründung der Einordnung
- „Nutzungs-Monitoring auf Harassment-Muster“ ist primär technisch: Software oder Analysewerkzeuge erzeugen und bewerten systematisch Messwerte, Abweichungen oder Angriffsindikatoren; ergänzt durch verbindliche Abläufe.
Melde-Mechanismen für NutzerOrganisatorisch & prozessual
- Wirkung
- Aufdeckend
- Umsetzungsebene
- Anwendung, API & Agenten, Nutzung & Betrieb
- Ergänzende Maßnahmenart
- Technisch, Mensch & Kompetenz
- Begründung der Einordnung
- „Melde-Mechanismen für Nutzer“ ist primär organisatorisch & prozessual: Ein definierter Melde-, Triage- und Bearbeitungsablauf überführt Hinweise in nachvollziehbare Folgeaktionen; ergänzt durch technische Umsetzung sowie Fachwissen und Urteil.
Durchsetzungsmaßnahmen gegen MissbraucherOrganisatorisch & prozessual
- Wirkung
- Präventiv, Korrigierend
- Umsetzungsebene
- Organisation, Nutzung & Betrieb
- Begründung der Einordnung
- „Durchsetzungsmaßnahmen gegen Missbraucher“ ist primär organisatorisch & prozessual: Ein definierter Melde-, Triage- und Bearbeitungsablauf überführt Hinweise in nachvollziehbare Folgeaktionen.
Standard-Zuordnungen
Verifizierte Fundstellen in OWASP, NIST AI RMF, MITRE ATLAS, EU AI Act und weiteren Rahmenwerken. Die Zuordnungen sind taxonomisch, kein Konformitätsnachweis.
Belegte Referenzen (4)
Jede Referenz nennt Rahmenwerk, Fundstelle und die herausgebende Organisation.
- NIST AI RMF Abschnitt 2.3 Dangerous, Violent, or Hateful ContentAbschnitt 2.3, pp. 6–7 National Institute of Standards and Technology (NIST)Original
- MITRE ATLAS AML.T0048.002 Societal HarmATLAS.yaml technique object with id AML.T0048.002 (pinned release v5.6.0) MITREOriginal
- EU AI Act Article 55(1)(b) Obligations of providers of general-purpose AI models with systemic riskArticle 55(1)(b) European Union (EUR-Lex)Original
- BSI R5 Problematische und verzerrte Ausgaben (Text, Bild, Video)Kap. 4, R5, p. 16 Bundesamt für Sicherheit in der Informationstechnik (BSI)Original
Verwandte Bedrohungen
Weitere Einträge aus der Themengruppe Schädliche Inhalte.
Diese Bedrohung im eigenen System bewerten
Die Live-Demo enthält alle 52 Bedrohungen dieses Katalogs samt EU-AI-Act- und DSGVO-Einwertung. Die kostenlosen Einzelmodule decken KI-Risiko, EU-KI-VO und DSGVO ab. Ohne Registrierung; die Bewertung läuft lokal in Ihrem Browser.
Diesen Eintrag zitieren
Für Berichte, Richtlinien oder interne Unterlagen; der Link führt direkt auf diesen Eintrag.
„Belästigung“. Versatile AI Risk Assessment, KI-Bedrohungskatalog, Stand Juli 2026. https://www.versatile-ai-risk-assessment.com/wissensbasis/bedrohungen/belaestigung/