Versatile AI Risk Assessment

KI-Bedrohungskatalog Missbrauch für Angriffe, Betrug und Desinformation Produktion

Desinformation

Mit KI lassen sich falsche oder irreführende Inhalte massenhaft und in überzeugender Qualität erzeugen: erfundene Nachrichtenartikel, manipulierte Bilder und Videos sowie koordinierte Scheinkampagnen in sozialen Medien.

Stand: Oktober 2026 · Katalogversion 2026.10.24.2 · 5 Gegenmaßnahmen · 8 belegte Quellen

Beschreibung

Generative KI erzeugt in kurzer Zeit große Mengen glaubwürdig klingender Falschinformationen: erfundene Nachrichtenartikel, Propagandamaterial, gefälschte Bewertungen, manipuliertes Bildmaterial und Deepfakes (täuschend echte KI-Fälschungen von Bild, Ton oder Video realer Personen). Dazu kommt Astroturfing: koordinierte Kampagnen, bei denen viele scheinbar unabhängige Konten den Eindruck einer breiten öffentlichen Meinung erwecken. Hinter den Kampagnen stehen staatlich gesteuerte Einflussoperationen ebenso wie kommerziell motivierte Akteure; verbreitet werden die Inhalte vor allem über soziale Medien und Bewertungsplattformen. Für Unternehmen zählt beides: Sie können selbst Ziel solcher Kampagnen werden, und zugleich sinkt das Vertrauen in echte Inhalte insgesamt (Vertrauenserosion).

Mögliche Auswirkung

Gezielte Falschmeldungen oder Deepfakes über das Unternehmen oder seine Führungskräfte können Reputation, Kundenbeziehungen und Börsenkurse rasch beschädigen. Gefälschte Bewertungen verzerren den Wettbewerb. Richtigstellungen kosten Zeit und erreichen selten alle Empfänger; für selbst veröffentlichte KI-generierte Inhalte können Kennzeichnungs- und Offenlegungspflichten greifen, vor allem bei Deepfakes. Solche Kampagnen gefährden zudem den demokratischen Diskurs und das öffentliche Vertrauen.

Beispiel

In sozialen Medien verbreitet sich ein KI-generiertes Video, in dem der Vorstandsvorsitzende scheinbar eine Gewinnwarnung ausspricht. Bis zur Richtigstellung haben Kunden, Medien und Anleger bereits auf die frei erfundene Aussage reagiert.

Empfohlene Gegenmaßnahmen (5)

Vergleichen Sie Wirkung und Umsetzungsebene. Die ergänzende Einordnung und Begründung können Sie bei Bedarf aufklappen.

  • Provenienz und Wasserzeichen generierter Inhalte

    Technisch
    Wirkung
    Präventiv, Aufdeckend
    Umsetzungsebene
    Anwendung, API & Agenten, Nutzung & Betrieb
    Einordnung und Begründung

    Ergänzende MaßnahmenartOrganisatorisch & prozessual

    Primär technisch: Kryptografische oder maschinenprüfbare Merkmale sichern Vertraulichkeit, Integrität oder Herkunft; ergänzt durch verbindliche Abläufe.

  • Faktencheck-Integration

    Technisch
    Wirkung
    Aufdeckend
    Umsetzungsebene
    Anwendung, API & Agenten, Nutzung & Betrieb
    Einordnung und Begründung

    Primär technisch: Software oder Analysewerkzeuge erzeugen und bewerten systematisch Messwerte, Abweichungen oder Angriffsindikatoren.

  • Erkennung koordinierten unauthentischen Verhaltens

    Technisch
    Wirkung
    Aufdeckend
    Umsetzungsebene
    Anwendung, API & Agenten, Nutzung & Betrieb
    Einordnung und Begründung

    Primär technisch: Software oder Analysewerkzeuge erzeugen und bewerten systematisch Messwerte, Abweichungen oder Angriffsindikatoren.

  • Offenlegungspflichten

    Governance & Compliance
    Wirkung
    Präventiv
    Umsetzungsebene
    Organisation, Nutzung & Betrieb
    Einordnung und Begründung

    Ergänzende MaßnahmenartOrganisatorisch & prozessual

    Primär der Maßnahmenart Governance & Compliance zugeordnet: Verbindliche Regeln, Kontrollziele oder Aufsicht bestimmen Zulässigkeit und Rechenschaft; ergänzt durch verbindliche Abläufe.

  • Missbrauchserkennung auf Plattformen

    Technisch
    Wirkung
    Aufdeckend
    Umsetzungsebene
    Anwendung, API & Agenten, Nutzung & Betrieb
    Einordnung und Begründung

    Primär technisch: Software oder Analysewerkzeuge erzeugen und bewerten systematisch Messwerte, Abweichungen oder Angriffsindikatoren.

Standard-Zuordnungen

Verifizierte Fundstellen in OWASP, NIST AI RMF, MITRE ATLAS, EU AI Act und weiteren Rahmenwerken. Die Zuordnungen zeigen fachliche Bezüge. Sie belegen nicht, dass ein System die jeweiligen Anforderungen erfüllt.

OWASP LLM Top 10 LLM07:2026NIST AI RMF Abschnitt 2.8MITRE ATLAS AML.T0048.002EU AI Act Article 5(1)(a) · Article 50(2), 50(4) · Article 55(1)(b)BSI R10 · R5

Belegte Referenzen (8)

Jede Referenz nennt Rahmenwerk, Fundstelle und die herausgebende Organisation.

Pflichten der KI-Verordnung zu dieser Bedrohung

Die Pflichten aus dem Pflichtenkompass, deren Artikel der Katalog dieser Bedrohung zuordnet. Jede führt auf ihren Eintrag mit Kern, Handlungsschritt und Nachweis; ob sie Sie trifft, hängt von Rolle und Risikoklasse ab.

  • Verbotene KI-Praktiken unterlassen Art. 5 Abs. 1 · gilt ab 2. Februar 2025

    Gesetzliche Rollen: Anbieter, Betreiber, Einführer, Händler, Bevollmächtigter, Produkthersteller, Anbieter eines KI-Modells mit allgemeinem Verwendungszweck. Klassen: Verbotene Praktik.

    Diese Verbote gelten seit dem 2. Februar 2025 und sind von der Verschiebung der Hochrisiko-Pflichten nicht berührt. Verstöße sind mit dem höchsten Bußgeldrahmen der Verordnung bewehrt.

    Der Verweis ist ein Prüfanlass. Ein Bedrohungstreffer allein begründet keine Anwendbarkeit.

  • Neues Verbot: intime Darstellungen ohne Einwilligung Art. 5 Abs. 1 UAbs. 1 Buchst. ba, Art. 5 Abs. 1a, 1b · gilt ab 2. Dezember 2026 · geändert durch VO 2026/1744

    Gesetzliche Rollen: Anbieter, Betreiber, Einführer, Händler, Bevollmächtigter, Produkthersteller, Anbieter eines KI-Modells mit allgemeinem Verwendungszweck. Klassen: Verbotene Praktik, Transparenzpflichtiges System.

    Dieser Verbotstatbestand ist neu und wurde durch die Verordnung (EU) 2026/1744 eingefügt. Er gilt ab dem 2. Dezember 2026. Für Betreiber greift das Verbot nur, wenn das System gerade zu diesem Zweck verwendet wird.

    Der Verweis ist ein Prüfanlass. Ein Bedrohungstreffer allein begründet keine Anwendbarkeit.

  • Neues Verbot: Darstellungen sexuellen Missbrauchs von Kindern Art. 5 Abs. 1 UAbs. 1 Buchst. bb · gilt ab 2. Dezember 2026 · geändert durch VO 2026/1744

    Gesetzliche Rollen: Anbieter, Betreiber, Einführer, Händler, Bevollmächtigter, Produkthersteller, Anbieter eines KI-Modells mit allgemeinem Verwendungszweck. Klassen: Verbotene Praktik.

    Ebenfalls neu eingefügt durch die Verordnung (EU) 2026/1744, geltend ab dem 2. Dezember 2026.

    Der Verweis ist ein Prüfanlass. Ein Bedrohungstreffer allein begründet keine Anwendbarkeit.

  • Synthetische Inhalte maschinenlesbar markieren Art. 50 Abs. 2 · gilt ab 2. August 2026

    Gesetzliche Rollen: Anbieter, Produkthersteller, Anbieter eines KI-Modells mit allgemeinem Verwendungszweck. Klassen: Transparenzpflichtiges System, Hochrisiko nach Anhang III, Hochrisiko als Produkt oder Sicherheitsbauteil, KI-Modell mit allgemeinem Verwendungszweck, Modell mit systemischem Risiko.

    Der Verweis ist ein Prüfanlass. Ein Bedrohungstreffer allein begründet keine Anwendbarkeit.

  • Deepfakes und veröffentlichte KI-Texte kennzeichnen Art. 50 Abs. 4 · gilt ab 2. August 2026

    Gesetzliche Rollen: Betreiber. Klassen: Transparenzpflichtiges System, Hochrisiko nach Anhang III, Hochrisiko als Produkt oder Sicherheitsbauteil, Minimales Risiko.

    Der Verweis ist ein Prüfanlass. Ein Bedrohungstreffer allein begründet keine Anwendbarkeit.

  • Systemische Risiken bewerten und mindern Art. 55 · gilt ab 2. August 2025

    Gesetzliche Rollen: Anbieter eines KI-Modells mit allgemeinem Verwendungszweck. Klassen: Modell mit systemischem Risiko.

    Der Verweis ist ein Prüfanlass. Ein Bedrohungstreffer allein begründet keine Anwendbarkeit.

Alle 62 Pflichten nach Rolle, Risikoklasse und Frist im Pflichtenkompass

Weitere Einträge aus der Themengruppe Missbrauch für Angriffe, Betrug und Desinformation.

Social Engineering Angreifer erzeugen mit KI täuschend echte, persönlich zugeschnittene Betrugsnachrichten, Anrufe und Vorwandgeschichten in großer Menge. Betrug Kriminelle begehen mit KI Betrug in größerem Umfang und mit höherer Glaubwürdigkeit: über gefälschte Bewertungen, erfundene Identitäten, … Schadsoftware Angreifer lassen sich von KI-Modellen funktionsfähige Schadsoftware und Angriffswerkzeuge erzeugen oder verbessern.

Passende Anwendungsfälle

Die Liste zeigt, wo Sie diese Bedrohung prüfen, nicht wie hoch das Risiko ist.

Besonders wichtig bei:

  • Generierung von Bildern, Videos und StimmenEin Werbevideo zeigt eine realistisch wirkende Szene mit einer bekannten Person, die so nie stattgefunden hat. Fehlt der Hinweis auf die KI, halten Zuschauerinnen und Zuschauer sie für echt und verbreiten sie weiter.

Üblich bei:

Bei 6 weiteren Anwendungsfällen hängt es vom Aufbau des Systems ab, etwa davon, ob es auf freie Anfrage neue Inhalte erzeugt oder eigene Texte schreibt. Diese Anwendungsfälle zeigen

Häufige Fragen

Worum geht es bei dieser Bedrohung?
Mit KI lassen sich falsche oder irreführende Inhalte massenhaft und in überzeugender Qualität erzeugen: erfundene Nachrichtenartikel, manipulierte Bilder und Videos sowie koordinierte Scheinkampagnen in sozialen Medien.
Welche Gegenmaßnahmen nennt der Katalog?
Der Katalog nennt 5 Gegenmaßnahmen, jede mit Maßnahmenart, Wirkung und Umsetzungsebene. Beispiele sind: Provenienz und Wasserzeichen generierter Inhalte, Faktencheck-Integration und Erkennung koordinierten unauthentischen Verhaltens. Die Reihenfolge ist keine Priorisierung.
Welche Pflichten der KI-Verordnung können relevant sein?
Der Katalog ordnet diese Bedrohung Art. 5 Abs. 1, Art. 5 Abs. 1 UAbs. 1 Buchst. ba, Art. 5 Abs. 1 UAbs. 1 Buchst. bb, Art. 50 Abs. 2, Art. 50 Abs. 4 und Art. 55 der EU-KI-Verordnung zu. Daraus folgen im Pflichtenkompass: Verbotene KI-Praktiken unterlassen, Neues Verbot: intime Darstellungen ohne Einwilligung, Neues Verbot: Darstellungen sexuellen Missbrauchs von Kindern, Synthetische Inhalte maschinenlesbar markieren, Deepfakes und veröffentlichte KI-Texte kennzeichnen und Systemische Risiken bewerten und mindern. Ob eine Pflicht gilt, entscheiden Rolle, Risikoklasse und Frist.

Diese Bedrohung im eigenen System bewerten

Die Live-Demo enthält alle 52 Bedrohungen dieses Katalogs sowie die Einordnung nach der EU-KI-Verordnung und die Datenschutzprüfung. Die kostenlosen Einzelmodule decken KI-Risiko, EU-KI-VO und DSGVO ab. Ohne Registrierung; die Bewertung läuft lokal in Ihrem Browser.

Live-Demo starten Kostenlose Module ansehen

Diesen Eintrag zitieren

Für Berichte, Richtlinien oder interne Unterlagen; der Link führt direkt auf diesen Eintrag.

„Desinformation“. Versatile AI Risk Assessment, KI-Bedrohungskatalog, Stand Oktober 2026.
https://www.versatile-ai-risk-assessment.com/wissensbasis/bedrohungen/desinformation/

← Zurück zum vollständigen Katalog