Welche Gegenmaßnahmen nennt der Katalog?

Der Katalog nennt 5 Gegenmaßnahmen, jede mit Maßnahmenart, Wirkung und Umsetzungsebene. Beispiele sind: Content-Moderations-Filter, Bias-Testing und -Evaluierung und Safety-Fine-Tuning (RLHF). Die Reihenfolge ist keine Priorisierung.

Welche Pflichten der KI-Verordnung können relevant sein?

Der Katalog ordnet diese Bedrohung Art. 10 und Art. 55 der EU-KI-Verordnung zu. Daraus folgen im Pflichtenkompass: Datenqualität und Daten-Governance gewährleisten und Systemische Risiken bewerten und mindern. Ob eine Pflicht gilt, entscheiden Rolle, Risikoklasse und Frist.

KI-Bedrohungskatalog Schädliche Inhalte Produktion

Hassrede und Diskriminierung

Das KI-System erzeugt Inhalte, die einzelne Personen oder Gruppen wegen geschützter Merkmale wie Herkunft, Geschlecht, Religion oder Behinderung herabsetzen oder zu deren Ausgrenzung aufrufen.

Stand: Oktober 2026 · Katalogversion 2026.10.24.2 · 5 Gegenmaßnahmen · 10 belegte Quellen

Beschreibung

Solche Ausgaben entstehen auf drei Wegen: auf direkte Aufforderung, durch einen Jailbreak (das gezielte Umgehen der im Modell verankerten Schutzmechanismen) oder unbeabsichtigt, weil das Modell Vorurteile und Verzerrungen (Bias) aus seinen Trainingsdaten übernimmt. Die Bandbreite reicht von stereotypisierenden Formulierungen über abwertende Sprache bis zu Aufrufen zu Hass oder Gewalt gegen eine Identitätsgruppe. Betroffen sind alle Kanäle, in denen das System frei formulierte Texte ausgibt, etwa Chatbots, Assistenzsysteme oder automatisch erzeugte Entscheidungen.

Mögliche Auswirkung

Für den Betreiber entstehen Reputationsschäden, rechtliche Risiken nach dem Allgemeinen Gleichbehandlungsgesetz (AGG) und aufsichtsrechtliche Folgen. Diskriminierende Ausgaben verletzen das Grundrecht auf Nichtdiskriminierung und schädigen die betroffenen Personen unmittelbar. In automatisierten Verfahren, etwa bei Bewerbungen, können benachteiligende Ergebnisse ganze Personengruppen systematisch ausschließen.

Beispiel

Ein Bewerbungs-Chatbot formuliert eine Absage in einer Weise, die Bewerberinnen aufgrund ihres Geschlechts abwertet, oder ein Kundenservice-Assistent gibt auf eine harmlose Frage eine stereotypisierende Antwort über eine ethnische Gruppe aus.

Empfohlene Gegenmaßnahmen (5)

Vergleichen Sie Wirkung und Umsetzungsebene. Die ergänzende Einordnung und Begründung können Sie bei Bedarf aufklappen.

Content-Moderations-Filter
Technisch

Wirkung
Präventiv
Umsetzungsebene
Anwendung, API & Agenten

Einordnung und Begründung

Primär technisch: Systemseitige Prüf-, Transformations- oder Blockierregeln stoppen oder neutralisieren unzulässige Inhalte vor der Weiterverarbeitung.
Bias-Testing und -Evaluierung
Technisch

Wirkung
Aufdeckend
Umsetzungsebene
Modell & Training, Nutzung & Betrieb

Einordnung und Begründung

Primär technisch: Software oder Analysewerkzeuge erzeugen und bewerten systematisch Messwerte, Abweichungen oder Angriffsindikatoren.
Safety-Fine-Tuning (RLHF)
Technisch

Wirkung
Präventiv
Umsetzungsebene
Modell & Training

Einordnung und Begründung

Primär technisch: Ein Modell-, Trainings- oder Datenverfahren verändert Systemverhalten oder Robustheit unmittelbar.
Nutzer-Feedback-Mechanismen
Organisatorisch & prozessual

Wirkung
Aufdeckend
Umsetzungsebene
Anwendung, API & Agenten, Nutzung & Betrieb

Einordnung und Begründung

Ergänzende MaßnahmenartTechnisch, Mensch & Kompetenz

Primär organisatorisch & prozessual: Ein definierter Melde-, Triage- und Bearbeitungsablauf überführt Hinweise in nachvollziehbare Folgeaktionen; ergänzt durch technische Umsetzung sowie Fachwissen und Urteil.
Diverse Trainingsdaten
Technisch

Wirkung
Präventiv
Umsetzungsebene
Daten, Modell & Training

Einordnung und Begründung

Primär technisch: Ein Modell-, Trainings- oder Datenverfahren verändert Systemverhalten oder Robustheit unmittelbar.

Standard-Zuordnungen

Verifizierte Fundstellen in OWASP, NIST AI RMF, MITRE ATLAS, EU AI Act und weiteren Rahmenwerken. Die Zuordnungen zeigen fachliche Bezüge. Sie belegen nicht, dass ein System die jeweiligen Anforderungen erfüllt.

OWASP LLM Top 10 LLM01:2026NIST AI RMF Abschnitt 2.3 · Abschnitt 2.6 · MEASURE 2.11MITRE ATLAS AML.T0048.002EU AI Act Article 10(2)(f), (g) · Article 55(1)(b)BSI R5BIML BIML-LLM output:11 · BIML78 system:1

Belegte Referenzen (10)

Jede Referenz nennt Rahmenwerk, Fundstelle und die herausgebende Organisation.

OWASP LLM Top 10 LLM01:2026 Prompt InjectionLLM01:2026 Prompt Injection, OWASP Top 10 for LLM Applications 2026 v1.0, pp. 10-17 (doi:10.5281/zenodo.22109015); canonical text 2026/final/LLM01_PromptInjection.md at commit 7e144e05 OWASP Foundation Original
NIST AI RMF Abschnitt 2.3 Dangerous, Violent, or Hateful ContentAbschnitt 2.3, pp. 6–7 National Institute of Standards and Technology (NIST)Original
NIST AI RMF Abschnitt 2.6 Harmful Bias and HomogenizationAbschnitt 2.6, pp. 8–9 National Institute of Standards and Technology (NIST)Original
NIST AI RMF MEASURE 2.11 MEASURE 2.11MEASURE 2.11, p. 30 National Institute of Standards and Technology (NIST)Original
MITRE ATLAS AML.T0048.002 Societal HarmATLAS-2026.09.yaml technique object with id AML.T0048.002 (content release 2026.09, format-version 6.0.0) MITRE Original
EU AI Act Article 10(2)(f), (g) Data and data governanceArticle 10(2)(f) and (g); unchanged by Regulation (EU) 2026/1744 (Article 10(1) and (6) replaced, Article 10(5) deleted, Article 4a inserted) European Union (EUR-Lex)Original
EU AI Act Article 55(1)(b) Obligations of providers of general-purpose AI models with systemic riskArticle 55(1)(b) European Union (EUR-Lex)Original
BSI R5 Problematische und verzerrte Ausgaben (Text, Bild, Video)Kap. 4, R5, p. 16 Bundesamt für Sicherheit in der Informationstechnik (BSI)Original
BIML BIML-LLM output:11 Black Box DiscriminationPDF p. 20, [output:11:black box discrimination] Berryville Institute of Machine Learning (BIML)Original
BIML BIML78 system:1 Black Box DiscriminationPDF p. 25, [system:1:black box discrimination] Berryville Institute of Machine Learning (BIML)Original

Pflichten der KI-Verordnung zu dieser Bedrohung

Die Pflichten aus dem Pflichtenkompass, deren Artikel der Katalog dieser Bedrohung zuordnet. Jede führt auf ihren Eintrag mit Kern, Handlungsschritt und Nachweis; ob sie Sie trifft, hängt von Rolle und Risikoklasse ab.

Datenqualität und Daten-Governance gewährleisten Art. 10, Art. 4a · gilt ab Anhang III: 2. Dezember 2027 · Anhang I: 2. August 2028 · geändert durch VO 2026/1744
Gesetzliche Rollen: Anbieter, Produkthersteller. Klassen: Hochrisiko nach Anhang III, Hochrisiko als Produkt oder Sicherheitsbauteil.

Die Verordnung (EU) 2026/1744 hat mit Art. 4a erstmals eine ausdrückliche Rechtsgrundlage für die Verarbeitung besonderer Datenkategorien zur Erkennung und Korrektur von Verzerrungen geschaffen, gebunden an sechs Bedingungen wie Pseudonymisierung, strenge Zugriffskontrolle, Löschung nach Korrektur und keine Weitergabe an Dritte. Zugleich wurde Art. 10 Abs. 5 gestrichen.

Der Verweis ist ein Prüfanlass. Ein Bedrohungstreffer allein begründet keine Anwendbarkeit.
Systemische Risiken bewerten und mindern Art. 55 · gilt ab 2. August 2025
Gesetzliche Rollen: Anbieter eines KI-Modells mit allgemeinem Verwendungszweck. Klassen: Modell mit systemischem Risiko.

Der Verweis ist ein Prüfanlass. Ein Bedrohungstreffer allein begründet keine Anwendbarkeit.

Alle 62 Pflichten nach Rolle, Risikoklasse und Frist im Pflichtenkompass

Begriffe auf dieser Seite

Fachbegriffe aus dem Glossar, die in diesem Eintrag vorkommen. Jeder Verweis führt zur vollständigen Erklärung.

Jailbreak Eingaben, die ein Modell dazu bringen, seine eigenen Schutzregeln zu übergehen.
Feinabstimmung (Fine-Tuning) Ein vorhandenes Modell wird mit eigenen Daten weitertrainiert.

Weitere Einträge aus der Themengruppe Schädliche Inhalte.

Passende Anwendungsfälle

Die Liste zeigt, wo Sie diese Bedrohung prüfen, nicht wie hoch das Risiko ist.

Üblich bei:

Bei 6 weiteren Anwendungsfällen hängt es vom Aufbau des Systems ab, etwa davon, ob es auf freie Anfrage neue Inhalte erzeugt oder eigene Texte schreibt. Diese Anwendungsfälle zeigen

Häufige Fragen

Worum geht es bei dieser Bedrohung?: Das KI-System erzeugt Inhalte, die einzelne Personen oder Gruppen wegen geschützter Merkmale wie Herkunft, Geschlecht, Religion oder Behinderung herabsetzen oder zu deren Ausgrenzung aufrufen.
Welche Gegenmaßnahmen nennt der Katalog?: Der Katalog nennt 5 Gegenmaßnahmen, jede mit Maßnahmenart, Wirkung und Umsetzungsebene. Beispiele sind: Content-Moderations-Filter, Bias-Testing und -Evaluierung und Safety-Fine-Tuning (RLHF). Die Reihenfolge ist keine Priorisierung.
Welche Pflichten der KI-Verordnung können relevant sein?: Der Katalog ordnet diese Bedrohung Art. 10 und Art. 55 der EU-KI-Verordnung zu. Daraus folgen im Pflichtenkompass: Datenqualität und Daten-Governance gewährleisten und Systemische Risiken bewerten und mindern. Ob eine Pflicht gilt, entscheiden Rolle, Risikoklasse und Frist.

Diese Bedrohung im eigenen System bewerten

Die Live-Demo enthält alle 52 Bedrohungen dieses Katalogs sowie die Einordnung nach der EU-KI-Verordnung und die Datenschutzprüfung. Die kostenlosen Einzelmodule decken KI-Risiko, EU-KI-VO und DSGVO ab. Ohne Registrierung; die Bewertung läuft lokal in Ihrem Browser.

Live-Demo starten Kostenlose Module ansehen

Diesen Eintrag zitieren

Für Berichte, Richtlinien oder interne Unterlagen; der Link führt direkt auf diesen Eintrag.

„Hassrede und Diskriminierung“. Versatile AI Risk Assessment, KI-Bedrohungskatalog, Stand Oktober 2026.
https://www.versatile-ai-risk-assessment.com/wissensbasis/bedrohungen/hassrede-und-diskriminierung/

← Zurück zum vollständigen Katalog

Beschreibung

Mögliche Auswirkung

Beispiel

Empfohlene Gegenmaßnahmen (5)

Content-Moderations-Filter

Bias-Testing und -Evaluierung

Safety-Fine-Tuning (RLHF)

Nutzer-Feedback-Mechanismen

Diverse Trainingsdaten