KI-BedrohungskatalogMissbrauch für Angriffe, Betrug und DesinformationProduktion
Desinformation
Mit KI lassen sich falsche oder irreführende Inhalte massenhaft und in überzeugender Qualität erzeugen: erfundene Nachrichtenartikel, manipulierte Bilder und Videos sowie koordinierte Scheinkampagnen in sozialen Medien.
Beschreibung
Generative KI erzeugt in kurzer Zeit große Mengen glaubwürdig klingender Falschinformationen: erfundene Nachrichtenartikel, Propagandamaterial, gefälschte Bewertungen, manipuliertes Bildmaterial und Deepfakes (täuschend echte KI-Fälschungen von Bild, Ton oder Video realer Personen). Dazu kommt Astroturfing: koordinierte Kampagnen, bei denen viele scheinbar unabhängige Konten den Eindruck einer breiten öffentlichen Meinung erwecken. Hinter den Kampagnen stehen staatlich gesteuerte Einflussoperationen ebenso wie kommerziell motivierte Akteure; verbreitet werden die Inhalte vor allem über soziale Medien und Bewertungsplattformen. Für Unternehmen zählt beides: Sie können selbst Ziel solcher Kampagnen werden, und zugleich sinkt das Vertrauen in echte Inhalte insgesamt (Vertrauenserosion).
Mögliche Auswirkung
Gezielte Falschmeldungen oder Deepfakes über das Unternehmen oder seine Führungskräfte können Reputation, Kundenbeziehungen und Börsenkurse rasch beschädigen. Gefälschte Bewertungen verzerren den Wettbewerb. Richtigstellungen kosten Zeit und erreichen selten alle Empfänger; für selbst veröffentlichte KI-generierte Inhalte können Kennzeichnungs- und Offenlegungspflichten greifen, vor allem bei Deepfakes. Solche Kampagnen gefährden zudem den demokratischen Diskurs und das öffentliche Vertrauen.
Beispiel
In sozialen Medien verbreitet sich ein KI-generiertes Video, in dem der Vorstandsvorsitzende scheinbar eine Gewinnwarnung ausspricht. Bis zur Richtigstellung haben Kunden, Medien und Anleger bereits auf die frei erfundene Aussage reagiert.
Empfohlene Gegenmaßnahmen (5)
Jede Maßnahme nennt ihre Maßnahmenart, Wirkung, Umsetzungsebene und die Begründung der Einordnung.
Provenienz und Wasserzeichen generierter InhalteTechnisch
- Wirkung
- Präventiv, Aufdeckend
- Umsetzungsebene
- Anwendung, API & Agenten, Nutzung & Betrieb
- Ergänzende Maßnahmenart
- Organisatorisch & prozessual
- Begründung der Einordnung
- „Provenienz und Wasserzeichen generierter Inhalte“ ist primär technisch: Kryptografische oder maschinenprüfbare Merkmale sichern Vertraulichkeit, Integrität oder Herkunft; ergänzt durch verbindliche Abläufe.
Faktencheck-IntegrationTechnisch
- Wirkung
- Aufdeckend
- Umsetzungsebene
- Anwendung, API & Agenten, Nutzung & Betrieb
- Begründung der Einordnung
- „Faktencheck-Integration“ ist primär technisch: Software oder Analysewerkzeuge erzeugen und bewerten systematisch Messwerte, Abweichungen oder Angriffsindikatoren.
Erkennung koordinierten unauthentischen VerhaltensTechnisch
- Wirkung
- Aufdeckend
- Umsetzungsebene
- Anwendung, API & Agenten, Nutzung & Betrieb
- Begründung der Einordnung
- „Erkennung koordinierten unauthentischen Verhaltens“ ist primär technisch: Software oder Analysewerkzeuge erzeugen und bewerten systematisch Messwerte, Abweichungen oder Angriffsindikatoren.
OffenlegungspflichtenGovernance & Compliance
- Wirkung
- Präventiv
- Umsetzungsebene
- Organisation, Nutzung & Betrieb
- Ergänzende Maßnahmenart
- Organisatorisch & prozessual
- Begründung der Einordnung
- „Offenlegungspflichten“ ist primär der Maßnahmenart Governance & Compliance zugeordnet: Verbindliche Regeln, Kontrollziele oder Aufsicht bestimmen Zulässigkeit und Rechenschaft; ergänzt durch verbindliche Abläufe.
Missbrauchserkennung auf PlattformenTechnisch
- Wirkung
- Aufdeckend
- Umsetzungsebene
- Anwendung, API & Agenten, Nutzung & Betrieb
- Begründung der Einordnung
- „Missbrauchserkennung auf Plattformen“ ist primär technisch: Software oder Analysewerkzeuge erzeugen und bewerten systematisch Messwerte, Abweichungen oder Angriffsindikatoren.
Standard-Zuordnungen
Verifizierte Fundstellen in OWASP, NIST AI RMF, MITRE ATLAS, EU AI Act und weiteren Rahmenwerken. Die Zuordnungen sind taxonomisch, kein Konformitätsnachweis.
Belegte Referenzen (8)
Jede Referenz nennt Rahmenwerk, Fundstelle und die herausgebende Organisation.
- OWASP LLM Top 10 LLM09:2025 MisinformationLLM09:2025 Misinformation, official category page OWASP FoundationOriginal
- NIST AI RMF Abschnitt 2.8 Information IntegrityAbschnitt 2.8, pp. 9–10 National Institute of Standards and Technology (NIST)Original
- MITRE ATLAS AML.T0048.002 Societal HarmATLAS.yaml technique object with id AML.T0048.002 (pinned release v5.6.0) MITREOriginal
- EU AI Act Article 5(1)(a) Prohibited AI practicesArticle 5(1)(a); where the catalogue cites exploitation, compare Article 5(1)(b) European Union (EUR-Lex)Original
- EU AI Act Article 50(2), 50(4) Transparency obligations for providers and deployers of certain AI systemsArticle 50(2) and 50(4) European Union (EUR-Lex)Original
- EU AI Act Article 55(1)(b) Obligations of providers of general-purpose AI models with systemic riskArticle 55(1)(b) European Union (EUR-Lex)Original
- BSI R10 Erzeugung ver- und gefälschter Inhalte (Text, Bild, Video)Kap. 4, R10, p. 18 Bundesamt für Sicherheit in der Informationstechnik (BSI)Original
- BSI R5 Problematische und verzerrte Ausgaben (Text, Bild, Video)Kap. 4, R5, p. 16 Bundesamt für Sicherheit in der Informationstechnik (BSI)Original
Verwandte Bedrohungen
Weitere Einträge aus der Themengruppe Missbrauch für Angriffe, Betrug und Desinformation.
Diese Bedrohung im eigenen System bewerten
Die Live-Demo enthält alle 52 Bedrohungen dieses Katalogs samt EU-AI-Act- und DSGVO-Einwertung. Die kostenlosen Einzelmodule decken KI-Risiko, EU-KI-VO und DSGVO ab. Ohne Registrierung; die Bewertung läuft lokal in Ihrem Browser.
Diesen Eintrag zitieren
Für Berichte, Richtlinien oder interne Unterlagen; der Link führt direkt auf diesen Eintrag.
„Desinformation“. Versatile AI Risk Assessment, KI-Bedrohungskatalog, Stand Juli 2026. https://www.versatile-ai-risk-assessment.com/wissensbasis/bedrohungen/desinformation/