KI-Bedrohungskatalog Missbrauch für Angriffe, Betrug und Desinformation Produktion
Betrug
Kriminelle begehen mit KI Betrug in größerem Umfang und mit höherer Glaubwürdigkeit: über gefälschte Bewertungen, erfundene Identitäten, manipulierte Dokumente sowie geklonte Stimmen und Videos.
Beschreibung
Generative KI liefert Betrügern die Bausteine einer glaubwürdigen Täuschung. Sprachmodelle verfassen überzeugende Betrugsnachrichten und gefälschte Produktbewertungen; Bildgeneratoren erstellen Profilfotos, Ausweisdokumente und ganze erfundene Identitäten, mit denen sich massenhaft fingierte Konten und Social-Media-Profile anlegen lassen. Stimmklone und Deepfakes (KI-erzeugte Bild-, Ton- oder Videoinhalte, die echten Personen täuschend ähnlich sind) geben sich als Angehörige, Geschäftspartner oder bekannte Persönlichkeiten aus, um Zahlungen auszulösen. Angriffspunkte sind Zahlungs- und Bestellprozesse, Kundenkanäle sowie Identitätsprüfungen wie die Video-Identifikation, deren biometrische Kontrollen sich mit Deepfakes überwinden lassen.
Mögliche Auswirkung
Unternehmen drohen unmittelbare Vermögensschäden durch erschlichene Zahlungen und Konten unter falscher Identität. Gefälschte Bewertungen und betrügerische Auftritte im Namen des Unternehmens beschädigen Marke und Kundenvertrauen. Werden Identitätsprüfungen überwunden, kommen rechtliche und regulatorische Risiken hinzu, etwa bei der Geldwäscheprävention und den Pflichten zur Kundenidentifizierung (Know Your Customer).
Beispiel
Betrüger eröffnen bei einem Finanzdienstleister Konten mit KI-generierten Ausweisbildern und bestehen die Video-Identifikation mit einem in Echtzeit eingespielten Deepfake-Gesicht. Über die so eröffneten Konten wickeln sie anschließend betrügerische Zahlungen ab.
Empfohlene Gegenmaßnahmen (5)
Vergleichen Sie Wirkung und Umsetzungsebene. Die ergänzende Einordnung und Begründung können Sie bei Bedarf aufklappen.
-
Betrugserkennungs-Modelle in Workflows
Technisch- Wirkung
- Aufdeckend
- Umsetzungsebene
- Modell & Training, Anwendung, API & Agenten
Einordnung und Begründung
Primär technisch: Software oder Analysewerkzeuge erzeugen und bewerten systematisch Messwerte, Abweichungen oder Angriffsindikatoren.
-
Identitäts- und Dokumenten-Verifikation
Technisch- Wirkung
- Präventiv, Aufdeckend
- Umsetzungsebene
- Anwendung, API & Agenten, Nutzung & Betrieb
Einordnung und Begründung
Ergänzende MaßnahmenartOrganisatorisch & prozessual
Primär technisch: Maschinell erzwungene Identitäts-, Berechtigungs- oder Bereichsregeln begrenzen unzulässige Zugriffe und Aktionen; ergänzt durch verbindliche Abläufe.
-
Anomalie-Erkennung bei Transaktionen
Technisch- Wirkung
- Aufdeckend
- Umsetzungsebene
- Anwendung, API & Agenten, Nutzung & Betrieb
Einordnung und Begründung
Primär technisch: Software oder Analysewerkzeuge erzeugen und bewerten systematisch Messwerte, Abweichungen oder Angriffsindikatoren.
-
Ablehnung betrugsermöglichender Anfragen
Technisch- Wirkung
- Präventiv
- Umsetzungsebene
- Anwendung, API & Agenten
Einordnung und Begründung
Primär technisch: Systemseitige Prüf-, Transformations- oder Blockierregeln stoppen oder neutralisieren unzulässige Inhalte vor der Weiterverarbeitung.
-
Forensische Audit-Trails
Technisch- Wirkung
- Aufdeckend
- Umsetzungsebene
- Anwendung, API & Agenten, Nutzung & Betrieb
Einordnung und Begründung
Ergänzende MaßnahmenartOrganisatorisch & prozessual
Primär technisch: Software oder Analysewerkzeuge erzeugen und bewerten systematisch Messwerte, Abweichungen oder Angriffsindikatoren; ergänzt durch verbindliche Abläufe.
Standard-Zuordnungen
Verifizierte Fundstellen in OWASP, NIST AI RMF, MITRE ATLAS, EU AI Act und weiteren Rahmenwerken. Die Zuordnungen zeigen fachliche Bezüge. Sie belegen nicht, dass ein System die jeweiligen Anforderungen erfüllt.
Belegte Referenzen (6)
Jede Referenz nennt Rahmenwerk, Fundstelle und die herausgebende Organisation.
- NIST AI RMF Abschnitt 2.8 Information IntegrityAbschnitt 2.8, pp. 9–10 National Institute of Standards and Technology (NIST)Original
- MITRE ATLAS AML.T0048.002 Societal HarmATLAS-2026.09.yaml technique object with id AML.T0048.002 (content release 2026.09, format-version 6.0.0) MITREOriginal
- EU AI Act Article 5(1)(a) Prohibited AI practicesArticle 5(1)(a); where the catalogue cites exploitation, compare Article 5(1)(b) European Union (EUR-Lex)Original
- EU AI Act Article 55(1)(b) Obligations of providers of general-purpose AI models with systemic riskArticle 55(1)(b) European Union (EUR-Lex)Original
- BSI R10 Erzeugung ver- und gefälschter Inhalte (Text, Bild, Video)Kap. 4, R10, p. 18 Bundesamt für Sicherheit in der Informationstechnik (BSI)Original
- BSI R11 Vortäuschen einer (medialen) Identität (Text, Bild, Video)Kap. 4, R11, p. 19 Bundesamt für Sicherheit in der Informationstechnik (BSI)Original
Pflichten der KI-Verordnung zu dieser Bedrohung
Die Pflichten aus dem Pflichtenkompass, deren Artikel der Katalog dieser Bedrohung zuordnet. Jede führt auf ihren Eintrag mit Kern, Handlungsschritt und Nachweis; ob sie Sie trifft, hängt von Rolle und Risikoklasse ab.
-
Verbotene KI-Praktiken unterlassen
Art. 5 Abs. 1 · gilt ab 2. Februar 2025
Gesetzliche Rollen: Anbieter, Betreiber, Einführer, Händler, Bevollmächtigter, Produkthersteller, Anbieter eines KI-Modells mit allgemeinem Verwendungszweck. Klassen: Verbotene Praktik.
Diese Verbote gelten seit dem 2. Februar 2025 und sind von der Verschiebung der Hochrisiko-Pflichten nicht berührt. Verstöße sind mit dem höchsten Bußgeldrahmen der Verordnung bewehrt.
Der Verweis ist ein Prüfanlass. Ein Bedrohungstreffer allein begründet keine Anwendbarkeit.
-
Neues Verbot: intime Darstellungen ohne Einwilligung
Art. 5 Abs. 1 UAbs. 1 Buchst. ba, Art. 5 Abs. 1a, 1b · gilt ab 2. Dezember 2026 · geändert durch VO 2026/1744
Gesetzliche Rollen: Anbieter, Betreiber, Einführer, Händler, Bevollmächtigter, Produkthersteller, Anbieter eines KI-Modells mit allgemeinem Verwendungszweck. Klassen: Verbotene Praktik, Transparenzpflichtiges System.
Dieser Verbotstatbestand ist neu und wurde durch die Verordnung (EU) 2026/1744 eingefügt. Er gilt ab dem 2. Dezember 2026. Für Betreiber greift das Verbot nur, wenn das System gerade zu diesem Zweck verwendet wird.
Der Verweis ist ein Prüfanlass. Ein Bedrohungstreffer allein begründet keine Anwendbarkeit.
-
Neues Verbot: Darstellungen sexuellen Missbrauchs von Kindern
Art. 5 Abs. 1 UAbs. 1 Buchst. bb · gilt ab 2. Dezember 2026 · geändert durch VO 2026/1744
Gesetzliche Rollen: Anbieter, Betreiber, Einführer, Händler, Bevollmächtigter, Produkthersteller, Anbieter eines KI-Modells mit allgemeinem Verwendungszweck. Klassen: Verbotene Praktik.
Ebenfalls neu eingefügt durch die Verordnung (EU) 2026/1744, geltend ab dem 2. Dezember 2026.
Der Verweis ist ein Prüfanlass. Ein Bedrohungstreffer allein begründet keine Anwendbarkeit.
-
Systemische Risiken bewerten und mindern
Art. 55 · gilt ab 2. August 2025
Gesetzliche Rollen: Anbieter eines KI-Modells mit allgemeinem Verwendungszweck. Klassen: Modell mit systemischem Risiko.
Der Verweis ist ein Prüfanlass. Ein Bedrohungstreffer allein begründet keine Anwendbarkeit.
Alle 62 Pflichten nach Rolle, Risikoklasse und Frist im Pflichtenkompass
Verwandte Bedrohungen
Weitere Einträge aus der Themengruppe Missbrauch für Angriffe, Betrug und Desinformation.
Passende Anwendungsfälle
Die Liste zeigt, wo Sie diese Bedrohung prüfen, nicht wie hoch das Risiko ist.
Üblich bei:
- Generativer KI-Assistent für Beschäftigte
- KI-Assistent in Büroanwendungen
- Generierung von Bildern, Videos und Stimmen
Bei 6 weiteren Anwendungsfällen hängt es vom Aufbau des Systems ab, etwa davon, ob es auf freie Anfrage neue Inhalte erzeugt oder eigene Texte schreibt. Diese Anwendungsfälle zeigen
Häufige Fragen
- Worum geht es bei dieser Bedrohung?
- Kriminelle begehen mit KI Betrug in größerem Umfang und mit höherer Glaubwürdigkeit: über gefälschte Bewertungen, erfundene Identitäten, manipulierte Dokumente sowie geklonte Stimmen und Videos.
- Welche Gegenmaßnahmen nennt der Katalog?
- Der Katalog nennt 5 Gegenmaßnahmen, jede mit Maßnahmenart, Wirkung und Umsetzungsebene. Beispiele sind: Betrugserkennungs-Modelle in Workflows, Identitäts- und Dokumenten-Verifikation und Anomalie-Erkennung bei Transaktionen. Die Reihenfolge ist keine Priorisierung.
- Welche Pflichten der KI-Verordnung können relevant sein?
- Der Katalog ordnet diese Bedrohung Art. 5 Abs. 1, Art. 5 Abs. 1 UAbs. 1 Buchst. ba, Art. 5 Abs. 1 UAbs. 1 Buchst. bb und Art. 55 der EU-KI-Verordnung zu. Daraus folgen im Pflichtenkompass: Verbotene KI-Praktiken unterlassen, Neues Verbot: intime Darstellungen ohne Einwilligung, Neues Verbot: Darstellungen sexuellen Missbrauchs von Kindern und Systemische Risiken bewerten und mindern. Ob eine Pflicht gilt, entscheiden Rolle, Risikoklasse und Frist.
Diese Bedrohung im eigenen System bewerten
Die Live-Demo enthält alle 52 Bedrohungen dieses Katalogs sowie die Einordnung nach der EU-KI-Verordnung und die Datenschutzprüfung. Die kostenlosen Einzelmodule decken KI-Risiko, EU-KI-VO und DSGVO ab. Ohne Registrierung; die Bewertung läuft lokal in Ihrem Browser.
Diesen Eintrag zitieren
Für Berichte, Richtlinien oder interne Unterlagen; der Link führt direkt auf diesen Eintrag.
„Betrug“. Versatile AI Risk Assessment, KI-Bedrohungskatalog, Stand Oktober 2026. https://www.versatile-ai-risk-assessment.com/wissensbasis/bedrohungen/betrug/