Versatile AI Risk Assessment
Kundenkontakt, Marketing und Plattformen

Automatisierte Inhaltsmoderation

Englisch: Automated content moderation

Plattformen lassen rechtswidrige oder regelwidrige Beiträge automatisch finden und entfernen, einschränken oder einem Menschen zur Prüfung vorlegen.

Interaktives Modell erkunden

Handout exportieren

Eine kompakte PDF mit Funktionsweise, Datenwegen und Prüfansätzen zum Weitergeben.

Die Erläuterungen und Maßnahmen beschreiben den typischen Aufbau. Viele eigene Änderungen ergänzen einen Anhang.

Den Anwendungsfall verstehen

Was macht diesen Anwendungsfall aus?

Modelle prüfen Texte, Bilder und Videos auf Verstöße gegen Gesetze oder Nutzungsbedingungen und entscheiden, was sofort verschwindet und was ein Mensch ansieht. Große Plattformen moderieren so, und eine Bundesbehörde erkennt damit beleidigende Sprache in ihrem Intranet.

Die Seite beschreibt einen typischen Aufbau. Die tatsächlichen Datenwege und Befugnisse ergeben sich aus Ihrer Umsetzung.

Bauform
Auswertung und Verarbeitung
Handlungsmacht
Kann in Anwendungen handeln
Einsatzfelder
Online-Plattformen, öffentliche Verwaltung
Auch bekannt als
Content Moderation, Toxizitätserkennung, Kommentarfilter

Funktionsweise und Ablauf

Aufbau und Datenwege

  1. Eingabedaten

    Beiträge, Kommentare, Bilder und Videos kommen beim Hochladen oder nach einer Meldung zur Prüfung.

    Alle geprüften Beiträge stammen von Nutzerinnen und Nutzern, auch von solchen, die die Moderation gezielt umgehen wollen. Das System prüft Texte, Bilder und Videos, oft auch Text innerhalb von Bildern.

  2. Verarbeitung

    Das System gleicht sie mit bekannten unzulässigen Inhalten ab, und Modelle bewerten, ob sie gegen Gesetze oder Nutzungsbedingungen verstoßen.

    Das Modell erkennt Merkmale in Text, Bild, Ton oder Video und ordnet sie den Moderationskategorien der Plattform zu. Regeln und Schwellenwerte bestimmen anschließend, ob ein Inhalt markiert, zurückgestellt oder eingeschränkt wird. Die Erkennung eines Merkmals und die Moderationsentscheidung sind getrennte Schritte.

  3. Ergebnisse

    Der Beitrag wird entfernt, eingeschränkt, einem Menschen vorgelegt oder bleibt stehen.

    Das Ergebnis beschreibt die definierte Modellaufgabe. Ein Treffer, eine Kategorie oder eine Prognose erhält seine fachliche Bedeutung erst zusammen mit den zugrunde liegenden Daten und dem vorgesehenen Verwendungszweck.

  4. Nutzung und Auswirkungen

    Die Entscheidung bestimmt, was öffentlich sichtbar bleibt, und kann Konten sperren oder Einnahmen kürzen.

    Durch Schreib- oder Ausführungsrechte kann das System einen Zustand in einer Anwendung verändern. Deshalb sind Modellantwort, Werkzeugaufruf und tatsächlich ausgeführte Änderung getrennt zu betrachten.

Aufbau aktiv erkunden: Wählen Sie einen Baustein, um seine Aufgabe, die ein- und ausgehenden Daten und die Einbindung im Anwendungsfall zu sehen. Der geführte Ablauf erläutert jede Phase. Mit Ja, Offen und Nein können Sie anschließend Ihre konkrete Systemvariante abbilden.

9 zuerst zu prüfen13 zu klären8 Grundlagen

EingangVerarbeitungErgebnisWirkung Zugangvon außen 03 Eingabe 50 InhalteDritter 00 KI-Modell 05 Dienst einesAnbieters 03 Dokumenten-sammlung 01 Gedächtnis 00 Training undRückmeldung 30 WeitereKI-Agenten 00 Werkzeuge undSchnittstellen 00 Ergebnis 00 Fachanwendungoder Anlage 10 Mensch 00 BetroffenePerson 00 KI-Diensteohne Freigabe 01 Zugangvon außen 03 Eingabe 50 InhalteDritter 00 KI-Modell 05 Dienst einesAnbieters 03 Dokumenten-sammlung 01 Gedächtnis 00 Training undRückmeldung 30 WeitereKI-Agenten 00 Werkzeuge undSchnittstellen 00 Ergebnis 00 Fachanwendungoder Anlage 10 Mensch 00 BetroffenePerson 00 KI-Diensteohne Freigabe 01
  • Vorhanden
  • Hängt von Ihrem System ab
  • Nicht vorhanden
  • Zuerst zu prüfen
  • Zu klären
Aufbau als Liste

Abgrenzung zu ähnlichen Anwendungsfällen

Daten und Informationen

Eingabedaten und Informationsquellen

Alle geprüften Beiträge stammen von Nutzerinnen und Nutzern, auch von solchen, die die Moderation gezielt umgehen wollen. Beiträge, Konten und Meldungen sind bestimmten Personen zugeordnet.

Verarbeitung und Betriebsumgebung

Kleinere Betreiber nutzen fertige Dienste anderer Anbieter wie Perspective API.

Speicherung und weitere Nutzung

Beim Abgleich mit bekannten Inhalten sucht das System in einer Sammlung bereits entfernter Bilder und Videos. Große Plattformen trainieren ihre Modelle mit eigenen, bereits moderierten Beiträgen.

Ergebnisse und Datenweitergabe

Das System entfernt Beiträge, schränkt ihre Reichweite ein oder sperrt Konten, oft ohne dass ein Mensch vorher prüft.

Ein eingebundener Anbieter legt den Verarbeitungsort nicht automatisch fest. Speicherort, Unterauftragnehmer, Löschfristen und die Nutzung für Training sind im konkreten Betrieb zu prüfen.

Risiken einordnen und Maßnahmen festlegen

Vom Systemverständnis zur Risikoanalyse

  1. System abgrenzen

    Daten, Beteiligte, Schnittstellen und Rechte erfassen. Offene Merkmale im Modell klären.

  2. Bedrohungen untersuchen

    Prüfkandidaten auf die tatsächlichen Datenwege beziehen: Was könnte passieren und wer wäre betroffen?

  3. Risiko bewerten

    Auswirkungen und Eintrittswahrscheinlichkeit im Einsatzkontext bewerten. Die Anzahl der Prüfkandidaten ist kein Risikowert.

  4. Maßnahmen nachweisen

    Geeignete Kontrollen auswählen, Verantwortliche und Wirksamkeitsprüfungen festlegen. Restrisiken und Freigaben dokumentieren.

Wichtige Bedrohungen im Anwendungskontext

  • 4 besonders wichtig
  • 5 üblich
  • 13 je nach System
  • 8 weitere bei jedem KI-System

Insgesamt kommen bei diesem Anwendungsfall 30 Bedrohungen aus dem Bedrohungskatalog infrage.

Außerdem prüfen: ob das System Gruppen benachteiligt

Prüfen Sie, ob Auswahl, Rangfolge oder Bewertung Menschen mit geschützten Merkmalen benachteiligen, etwa nach Geschlecht, Alter oder Herkunft.

Vorrangige Prüfansätze

  1. Adversariale Eingaben

    Nutzerinnen und Nutzer schreiben Beleidigungen mit Ziffern statt Buchstaben oder verändern ein bekanntes Bild um wenige Pixel. Der Beitrag passiert die Prüfung und bleibt online.

  2. Gezielte Datenvergiftung / Label-Vergiftung

    Eine organisierte Gruppe meldet zulässige Beiträge einer Minderheit massenhaft als Hassrede. Fließen diese Meldungen ins Training ein, lernt das Modell, solche Beiträge künftig selbst zu entfernen.

  3. Multimodale Angriffe

    Ein verbotener Aufruf steht als Text in einem Bild oder wird in einem Video nur gesprochen. Prüft das System Bild, Ton und Text getrennt, erkennt es den Verstoß nicht.

  4. Excessive Agency (übermäßige Handlungsermächtigung)

    Das System darf Konten ohne menschliche Prüfung sperren. Ein Fehler trifft dann viele Menschen gleichzeitig, bevor jemand ihn bemerkt.

5 weitere Prüfkandidaten im typischen Aufbau

Weitere relevante Bedrohungen

  1. Vergiftung der Trainingsdaten

    Über eigenes Training oder Rückmeldungen aus dem Betrieb können manipulierte Daten in die Lerndaten gelangen.

    Steht hier wegen dieser Eigenschaften

    • Lernt aus Ihren eigenen Daten
    • Verwertet Rückmeldungen aus dem Betrieb

  2. Backdoor im ML-Modell

    Über Trainingsdaten oder ein übernommenes Grundmodell kann das Modell versteckte Auslöser für Fehlverhalten enthalten.

    Steht hier wegen dieser Eigenschaft

    • Lernt aus Ihren eigenen Daten

  3. Denial-of-Service auf das Modell

    Aufwendige oder massenhafte Eingaben können die Rechenleistung des Modells erschöpfen.

    Steht hier wegen dieser Eigenschaft

    • Verarbeitet Text, Bild und Sprache gemeinsam

  4. Privacy-Angriffe

    Mit gezielten Abfragen lassen sich personenbezogene und schutzbedürftige Trainingsdaten teilweise aus dem Modell zurückgewinnen.

    Steht hier wegen dieser Eigenschaft

    • Verarbeitet personenbezogene Daten

  5. Offenlegung sensibler Informationen

    Vertrauliche Inhalte können in Antworten, im mitgegebenen Kontext oder in Protokollen auftauchen.

    Steht hier wegen dieser Eigenschaft

    • Verarbeitet personenbezogene Daten

Je nach Aufbau Ihres Systems kommen bis zu 13 weitere hinzu. Neun Bedrohungen prüfen Sie bei jedem KI-System. Eine davon ist hier besonders wichtig und steht deshalb oben.

Systemmerkmale und offene Fragen

Jedes Ja setzt weitere Bedrohungen auf Ihre Prüfliste, insgesamt bis zu 13. Können Sie eine Frage noch nicht beantworten, prüfen Sie die Bedrohungen mit.

Wie viele Bedrohungen bei Ja hinzukommen
  • Kommt mit diesem Ja hinzu

Wie Ihr System gebaut ist

  1. Führt Aufträge in normaler Sprache aus5 Bedrohungen
  2. Durchsucht eine eigene Sammlung von Dokumenten1 Bedrohung
  3. Verarbeitet vertrauliche Daten1 Bedrohung

Wie Sie das System betreiben

  1. Ist für Menschen außerhalb der Organisation nutzbar4 Bedrohungen
  2. Nimmt Anfragen direkt über eine Schnittstelle an3 Bedrohungen
  3. Ist über ein Netzwerk erreichbar2 Bedrohungen
  4. Verursacht mit jeder Anfrage Kosten1 Bedrohung
  5. Gibt Inhalte an Dienste außerhalb der eigenen Umgebung weiter1 Bedrohung
  6. Teilt Rechenleistung mit anderen Kunden oder Anwendungen1 Bedrohung
  7. Neben KI-Diensten ohne Freigabe im Einsatz1 Bedrohung

Wie Ihr System gebaut ist

Sucht das System in einer eigenen Sammlung von Dokumenten oder Datensätzen nach passenden Inhalten?

Beim Abgleich mit bekannten Inhalten sucht das System in einer Sammlung bereits entfernter Bilder und Videos.

Wenn ja, kommt hinzu

Verarbeitet das System vertrauliche Informationen, etwa Geschäftsgeheimnisse, Gesundheits- oder Finanzdaten?

Beiträge berühren oft Gesundheit, Religion oder politische Meinung der Verfasserinnen und Verfasser.

Wenn ja, kommt hinzu

Wie Sie das System betreiben

Diese Fragen stellen sich bei fast jedem KI-System.

Können Inhalte die eigene Umgebung verlassen, etwa zu einem Cloud-Anbieter, in eine Websuche oder per E-Mail?

Wenn ja, kommt hinzu

Maßnahmen und Umsetzung

Maßnahmen zu den Prüfschwerpunkten sind direkt geöffnet. Die verlinkten Maßnahmen erläutern jeweils die Umsetzung.

PrüfschwerpunktAdversariale Eingaben2 Maßnahmen
PrüfschwerpunktGezielte Datenvergiftung / Label-Vergiftung3 Maßnahmen
PrüfschwerpunktMultimodale Angriffe2 Maßnahmen
PrüfschwerpunktExcessive Agency (übermäßige Handlungsermächtigung)3 Maßnahmen
Vergiftung der Trainingsdaten2 Maßnahmen
Backdoor im ML-Modell2 Maßnahmen
Denial-of-Service auf das Modell3 Maßnahmen
Privacy-Angriffe3 Maßnahmen
Offenlegung sensibler Informationen3 Maßnahmen

Maßnahmen gegen die übrigen Bedrohungen finden Sie auf deren Seiten im Bedrohungskatalog.

Vorschriften der KI-Verordnung

Neben der KI-Kompetenz (Art. 4) kommt für diesen Anwendungsfall keine weitere Vorschrift der KI-Verordnung infrage.

Gilt für jedes KI-System

Art. 4: KI-Kompetenz

Greift, wenn Beschäftigte oder Beauftragte KI-Systeme betreiben oder nutzen.

Gilt seit dem 2. Februar 2025.

Pflichten und Einzelheiten
Wer die Pflichten trägt
Anbieter, Betreiber, Produkthersteller, Anbieter eines KI-Modells mit allgemeinem Verwendungszweck

Die Pflichten im Einzelnen

Weitere Rechtsgrundlagen

  • Art. 17 und 20 DSA

    Plattformen müssen Moderationsentscheidungen begründen, angeben, ob sie automatisiert fielen, und eine Beschwerde ermöglichen, über die nicht allein eine Maschine entscheidet.

    Gesetzestext öffnen

Ihr System im Schnellprüfer einordnen Alle Pflichten im Pflichtenkompass

Übergreifende Bedrohungen

Diese Bedrohungen prüfen Sie bei jedem KI-System, egal wofür es eingesetzt wird.

Warum diese Bedrohungen immer dazugehören

Abweichende Systemmerkmale

14 weitere Fragen ansehen

Trifft eine dieser Fragen bei Ihrem System doch zu, kommen die genannten Bedrohungen hinzu.

Quellen

Verwandte Anwendungsfälle

Ebenfalls im Einsatzgebiet Kundenkontakt, Marketing und Plattformen

Stand: 30. September 2026. Regelwerk der Prüfliste in Fassung 0.3.2, Bedrohungskatalog in Fassung 2026.10.24.2. Wie diese Seiten aufgebaut sind