Versatile AI Risk Assessment

KI-Bedrohungskatalog Schädliche Inhalte Produktion

Belästigung

Das KI-System wird genutzt, um einzelne Personen gezielt zu beschimpfen, zu mobben oder einzuschüchtern, etwa durch Beleidigungen, Doxxing oder personalisierte Belästigungskampagnen.

Stand: Oktober 2026 · Katalogversion 2026.10.24.2 · 5 Gegenmaßnahmen · 4 belegte Quellen

Beschreibung

Angreifer lassen das Modell herabsetzende oder bedrohliche Nachrichten gegen eine bestimmte Person verfassen, teils in großer Zahl über viele Nachrichten und Konten. Dazu gehört auch die Unterstützung bei Doxxing, also dem Zusammentragen und Veröffentlichen privater Daten, um jemanden gezielt bloßzustellen. Anders als Hassrede richtet sich Belästigung gegen konkrete Einzelpersonen und nicht gegen eine Gruppe; sie kann durch das Modell in Qualität und Umfang deutlich verstärkt werden.

Mögliche Auswirkung

Für die betroffenen Personen entsteht psychischer Schaden. Für den Betreiber folgen rechtliche Haftung, insbesondere aus dem Persönlichkeitsrecht und, bei Doxxing, aus dem Datenschutz, sowie ein Missbrauchs- und Reputationsrisiko für die Plattform.

Beispiel

Eine Person nutzt einen Textgenerator, um Dutzende beleidigende Nachrichten gegen eine Kollegin zu verfassen und über mehrere Konten zu verbreiten.

Empfohlene Gegenmaßnahmen (5)

Vergleichen Sie Wirkung und Umsetzungsebene. Die ergänzende Einordnung und Begründung können Sie bei Bedarf aufklappen.

  • Harassment-Erkennung in Ausgaben

    Technisch
    Wirkung
    Aufdeckend
    Umsetzungsebene
    Anwendung, API & Agenten
    Einordnung und Begründung

    Primär technisch: Software oder Analysewerkzeuge erzeugen und bewerten systematisch Messwerte, Abweichungen oder Angriffsindikatoren.

  • Ablehnung von Anfragen für persönliche Angriffe

    Technisch
    Wirkung
    Präventiv
    Umsetzungsebene
    Anwendung, API & Agenten
    Einordnung und Begründung

    Primär technisch: Systemseitige Prüf-, Transformations- oder Blockierregeln stoppen oder neutralisieren unzulässige Inhalte vor der Weiterverarbeitung.

  • Nutzungs-Monitoring auf Harassment-Muster

    Technisch
    Wirkung
    Aufdeckend
    Umsetzungsebene
    Anwendung, API & Agenten, Nutzung & Betrieb
    Einordnung und Begründung

    Ergänzende MaßnahmenartOrganisatorisch & prozessual

    Primär technisch: Software oder Analysewerkzeuge erzeugen und bewerten systematisch Messwerte, Abweichungen oder Angriffsindikatoren; ergänzt durch verbindliche Abläufe.

  • Melde-Mechanismen für Nutzer

    Organisatorisch & prozessual
    Wirkung
    Aufdeckend
    Umsetzungsebene
    Anwendung, API & Agenten, Nutzung & Betrieb
    Einordnung und Begründung

    Ergänzende MaßnahmenartTechnisch, Mensch & Kompetenz

    Primär organisatorisch & prozessual: Ein definierter Melde-, Triage- und Bearbeitungsablauf überführt Hinweise in nachvollziehbare Folgeaktionen; ergänzt durch technische Umsetzung sowie Fachwissen und Urteil.

  • Durchsetzungsmaßnahmen gegen Missbraucher

    Organisatorisch & prozessual
    Wirkung
    Präventiv, Korrigierend
    Umsetzungsebene
    Organisation, Nutzung & Betrieb
    Einordnung und Begründung

    Primär organisatorisch & prozessual: Ein definierter Melde-, Triage- und Bearbeitungsablauf überführt Hinweise in nachvollziehbare Folgeaktionen.

Standard-Zuordnungen

Verifizierte Fundstellen in OWASP, NIST AI RMF, MITRE ATLAS, EU AI Act und weiteren Rahmenwerken. Die Zuordnungen zeigen fachliche Bezüge. Sie belegen nicht, dass ein System die jeweiligen Anforderungen erfüllt.

NIST AI RMF Abschnitt 2.3MITRE ATLAS AML.T0048.002EU AI Act Article 55(1)(b)BSI R5

Belegte Referenzen (4)

Jede Referenz nennt Rahmenwerk, Fundstelle und die herausgebende Organisation.

Pflichten der KI-Verordnung zu dieser Bedrohung

Die Pflichten aus dem Pflichtenkompass, deren Artikel der Katalog dieser Bedrohung zuordnet. Jede führt auf ihren Eintrag mit Kern, Handlungsschritt und Nachweis; ob sie Sie trifft, hängt von Rolle und Risikoklasse ab.

  • Systemische Risiken bewerten und mindern Art. 55 · gilt ab 2. August 2025

    Gesetzliche Rollen: Anbieter eines KI-Modells mit allgemeinem Verwendungszweck. Klassen: Modell mit systemischem Risiko.

    Der Verweis ist ein Prüfanlass. Ein Bedrohungstreffer allein begründet keine Anwendbarkeit.

Alle 62 Pflichten nach Rolle, Risikoklasse und Frist im Pflichtenkompass

Weitere Einträge aus der Themengruppe Schädliche Inhalte.

Hassrede und Diskriminierung Das KI-System erzeugt Inhalte, die einzelne Personen oder Gruppen wegen geschützter Merkmale wie Herkunft, Geschlecht, Religion oder … Obszöne Sprache / Profanität Das KI-System gibt vulgäre oder anstößige Sprache in einem Umfeld aus, in dem dies unprofessionell oder richtlinienwidrig ist, etwa im … Sexuelle Inhalte Das KI-System erzeugt sexuell explizite oder anzügliche Inhalte in einem Kontext, in dem sie unangemessen, ungewollt oder rechtswidrig sind.

Passende Anwendungsfälle

Die Liste zeigt, wo Sie diese Bedrohung prüfen, nicht wie hoch das Risiko ist.

Üblich bei:

Bei 6 weiteren Anwendungsfällen hängt es vom Aufbau des Systems ab, etwa davon, ob es auf freie Anfrage neue Inhalte erzeugt oder eigene Texte schreibt. Diese Anwendungsfälle zeigen

Häufige Fragen

Worum geht es bei dieser Bedrohung?
Das KI-System wird genutzt, um einzelne Personen gezielt zu beschimpfen, zu mobben oder einzuschüchtern, etwa durch Beleidigungen, Doxxing oder personalisierte Belästigungskampagnen.
Welche Gegenmaßnahmen nennt der Katalog?
Der Katalog nennt 5 Gegenmaßnahmen, jede mit Maßnahmenart, Wirkung und Umsetzungsebene. Beispiele sind: Harassment-Erkennung in Ausgaben, Ablehnung von Anfragen für persönliche Angriffe und Nutzungs-Monitoring auf Harassment-Muster. Die Reihenfolge ist keine Priorisierung.
Welche Pflichten der KI-Verordnung können relevant sein?
Der Katalog ordnet diese Bedrohung Art. 55 der EU-KI-Verordnung zu. Daraus folgen im Pflichtenkompass: Systemische Risiken bewerten und mindern. Ob eine Pflicht gilt, entscheiden Rolle, Risikoklasse und Frist.

Diese Bedrohung im eigenen System bewerten

Die Live-Demo enthält alle 52 Bedrohungen dieses Katalogs sowie die Einordnung nach der EU-KI-Verordnung und die Datenschutzprüfung. Die kostenlosen Einzelmodule decken KI-Risiko, EU-KI-VO und DSGVO ab. Ohne Registrierung; die Bewertung läuft lokal in Ihrem Browser.

Live-Demo starten Kostenlose Module ansehen

Diesen Eintrag zitieren

Für Berichte, Richtlinien oder interne Unterlagen; der Link führt direkt auf diesen Eintrag.

„Belästigung“. Versatile AI Risk Assessment, KI-Bedrohungskatalog, Stand Oktober 2026.
https://www.versatile-ai-risk-assessment.com/wissensbasis/bedrohungen/belaestigung/

← Zurück zum vollständigen Katalog