Versatile AI Risk Assessment

KI-Bedrohungskatalog Schädliche Inhalte Produktion

Selbstverletzung

Das KI-System ermutigt zu Selbstverletzung oder Suizid, gibt Anleitungen dazu oder stellt Mittel dafür bereit. Das Schadenspotenzial ist außerordentlich hoch.

Stand: Oktober 2026 · Katalogversion 2026.10.24.2 · 5 Gegenmaßnahmen · 4 belegte Quellen

Beschreibung

Besonders gefährlich sind solche Ausgaben bei Menschen in einer seelischen Krise und in Begleit- oder Chatbot-Anwendungen mit emotionaler Bindung. Sicherheitskonzepte unterscheiden bewusst zwischen der bloßen Darstellung, der Äußerung einer eigenen Absicht durch die nutzende Person und einer konkreten Anleitung, weil die richtige Schutzreaktion, etwa der Verweis auf Krisen-Hotlines statt einer reinen Ablehnung, davon abhängt. Auslöser können direkte Fragen, ein Jailbreak (das Umgehen der Schutzmechanismen) oder ein unpassender Gesprächsverlauf sein.

Mögliche Auswirkung

Im schwersten Fall können solche Ausgaben zum Tod von Menschen beitragen. Für den Betreiber folgen daraus höchste Haftungsrisiken und strenge regulatorische Anforderungen; die KI-Verordnung verlangt besonderen Schutz für Minderjährige und andere schutzbedürftige Personen.

Beispiel

Eine nutzende Person in einer Krise vertraut sich einem Begleit-Chatbot an, und dieser reagiert nicht mit dem Verweis auf professionelle Hilfe, sondern bestärkt selbstschädigendes Verhalten.

Empfohlene Gegenmaßnahmen (5)

Vergleichen Sie Wirkung und Umsetzungsebene. Die ergänzende Einordnung und Begründung können Sie bei Bedarf aufklappen.

  • Spezialisierte Safety-Klassifikatoren für Selbstverletzung

    Technisch
    Wirkung
    Aufdeckend
    Umsetzungsebene
    Modell & Training, Anwendung, API & Agenten
    Einordnung und Begründung

    Primär technisch: Software oder Analysewerkzeuge erzeugen und bewerten systematisch Messwerte, Abweichungen oder Angriffsindikatoren.

  • Verweis auf Krisen-Ressourcen (Hotlines)

    Technisch
    Wirkung
    Präventiv
    Umsetzungsebene
    Anwendung, API & Agenten, Nutzung & Betrieb
    Einordnung und Begründung

    Ergänzende MaßnahmenartMensch & Kompetenz

    Primär technisch: Die Anwendung macht Unsicherheit, Systemgrenzen oder sichere nächste Schritte sichtbar und unterstützt informierte Entscheidungen; ergänzt durch Fachwissen und Urteil.

  • Sichere Abschlussantwort mit Verweis auf Hilfsangebote statt reiner Ablehnung

    Technisch
    Wirkung
    Präventiv
    Umsetzungsebene
    Modell & Training, Anwendung, API & Agenten
    Einordnung und Begründung

    Primär technisch: Systemseitige Prüf-, Transformations- oder Blockierregeln stoppen oder neutralisieren unzulässige Inhalte vor der Weiterverarbeitung.

  • Kooperation mit Fachleuten für psychische Gesundheit

    Organisatorisch & prozessual
    Wirkung
    Präventiv
    Umsetzungsebene
    Organisation, Nutzung & Betrieb
    Einordnung und Begründung

    Ergänzende MaßnahmenartMensch & Kompetenz

    Primär organisatorisch & prozessual: Ein geregelter Beratungs- und Abstimmungsprozess bindet einschlägige Fachkompetenz in Gestaltung und Betrieb ein; ergänzt durch Fachwissen und Urteil.

  • Kontinuierliches Red-Teaming

    Organisatorisch & prozessual
    Wirkung
    Aufdeckend
    Umsetzungsebene
    Modell & Training, Anwendung, API & Agenten, Nutzung & Betrieb
    Einordnung und Begründung

    Ergänzende MaßnahmenartMensch & Kompetenz, Technisch

    Primär organisatorisch & prozessual: Ein geplanter, wiederholbarer Prüfablauf mit Zuständigkeit und Nachverfolgung erzeugt die Schutzwirkung; ergänzt durch Fachwissen und Urteil sowie technische Umsetzung.

Standard-Zuordnungen

Verifizierte Fundstellen in OWASP, NIST AI RMF, MITRE ATLAS, EU AI Act und weiteren Rahmenwerken. Die Zuordnungen zeigen fachliche Bezüge. Sie belegen nicht, dass ein System die jeweiligen Anforderungen erfüllt.

OWASP LLM Top 10 LLM01:2026NIST AI RMF Abschnitt 2.3MITRE ATLAS AML.T0048.002EU AI Act Article 55(1)(b)

Belegte Referenzen (4)

Jede Referenz nennt Rahmenwerk, Fundstelle und die herausgebende Organisation.

Pflichten der KI-Verordnung zu dieser Bedrohung

Die Pflichten aus dem Pflichtenkompass, deren Artikel der Katalog dieser Bedrohung zuordnet. Jede führt auf ihren Eintrag mit Kern, Handlungsschritt und Nachweis; ob sie Sie trifft, hängt von Rolle und Risikoklasse ab.

  • Systemische Risiken bewerten und mindern Art. 55 · gilt ab 2. August 2025

    Gesetzliche Rollen: Anbieter eines KI-Modells mit allgemeinem Verwendungszweck. Klassen: Modell mit systemischem Risiko.

    Der Verweis ist ein Prüfanlass. Ein Bedrohungstreffer allein begründet keine Anwendbarkeit.

Alle 62 Pflichten nach Rolle, Risikoklasse und Frist im Pflichtenkompass

Begriffe auf dieser Seite

Fachbegriffe aus dem Glossar, die in diesem Eintrag vorkommen. Jeder Verweis führt zur vollständigen Erklärung.

  • Jailbreak Eingaben, die ein Modell dazu bringen, seine eigenen Schutzregeln zu übergehen.

Weitere Einträge aus der Themengruppe Schädliche Inhalte.

Hassrede und Diskriminierung Das KI-System erzeugt Inhalte, die einzelne Personen oder Gruppen wegen geschützter Merkmale wie Herkunft, Geschlecht, Religion oder … Obszöne Sprache / Profanität Das KI-System gibt vulgäre oder anstößige Sprache in einem Umfeld aus, in dem dies unprofessionell oder richtlinienwidrig ist, etwa im … Sexuelle Inhalte Das KI-System erzeugt sexuell explizite oder anzügliche Inhalte in einem Kontext, in dem sie unangemessen, ungewollt oder rechtswidrig sind.

Passende Anwendungsfälle

Die Liste zeigt, wo Sie diese Bedrohung prüfen, nicht wie hoch das Risiko ist.

Bei 6 weiteren Anwendungsfällen hängt es vom Aufbau des Systems ab, etwa davon, ob es auf freie Anfrage neue Inhalte erzeugt oder auch Menschen außerhalb Ihrer Organisation offensteht. Diese Anwendungsfälle zeigen

Häufige Fragen

Worum geht es bei dieser Bedrohung?
Das KI-System ermutigt zu Selbstverletzung oder Suizid, gibt Anleitungen dazu oder stellt Mittel dafür bereit. Das Schadenspotenzial ist außerordentlich hoch.
Welche Gegenmaßnahmen nennt der Katalog?
Der Katalog nennt 5 Gegenmaßnahmen, jede mit Maßnahmenart, Wirkung und Umsetzungsebene. Beispiele sind: Spezialisierte Safety-Klassifikatoren für Selbstverletzung, Verweis auf Krisen-Ressourcen (Hotlines) und Sichere Abschlussantwort mit Verweis auf Hilfsangebote statt reiner Ablehnung. Die Reihenfolge ist keine Priorisierung.
Welche Pflichten der KI-Verordnung können relevant sein?
Der Katalog ordnet diese Bedrohung Art. 55 der EU-KI-Verordnung zu. Daraus folgen im Pflichtenkompass: Systemische Risiken bewerten und mindern. Ob eine Pflicht gilt, entscheiden Rolle, Risikoklasse und Frist.

Diese Bedrohung im eigenen System bewerten

Die Live-Demo enthält alle 52 Bedrohungen dieses Katalogs sowie die Einordnung nach der EU-KI-Verordnung und die Datenschutzprüfung. Die kostenlosen Einzelmodule decken KI-Risiko, EU-KI-VO und DSGVO ab. Ohne Registrierung; die Bewertung läuft lokal in Ihrem Browser.

Live-Demo starten Kostenlose Module ansehen

Diesen Eintrag zitieren

Für Berichte, Richtlinien oder interne Unterlagen; der Link führt direkt auf diesen Eintrag.

„Selbstverletzung“. Versatile AI Risk Assessment, KI-Bedrohungskatalog, Stand Oktober 2026.
https://www.versatile-ai-risk-assessment.com/wissensbasis/bedrohungen/selbstverletzung/

← Zurück zum vollständigen Katalog