KI-BedrohungskatalogMissbrauch für Angriffe, Betrug und DesinformationProduktion
Social Engineering
Angreifer erzeugen mit KI täuschend echte, persönlich zugeschnittene Betrugsnachrichten, Anrufe und Vorwandgeschichten in großer Menge. Bisherige Warnsignale wie holprige Sprache entfallen, die Täuschung wirkt dadurch deutlich glaubwürdiger.
Beschreibung
Beim Social Engineering bringen Angreifer Menschen dazu, vertrauliche Informationen preiszugeben, Zahlungen auszuführen oder Schadsoftware zu installieren. Generative KI verstärkt diese Taktik erheblich: Sprachmodelle schreiben fehlerfreie, individuell auf Empfänger und Unternehmen zugeschnittene Phishing-Nachrichten (gefälschte Mitteilungen, die zu einer schädlichen Handlung verleiten sollen) und liefern Gesprächsleitfäden für betrügerische Anrufe. Stimm- und Videogeneratoren ahmen zudem reale Personen nach, etwa Vorgesetzte oder Geschäftspartner. Die Angriffe setzen nicht an der Technik an, sondern bei den Mitarbeitenden, über E-Mail, Telefon, Messenger oder Videoanruf. KI senkt die Einstiegshürde und erhöht Menge, Geschwindigkeit und Qualität solcher Angriffe.
Mögliche Auswirkung
Gelingt die Täuschung, drohen betrügerische Zahlungen, gestohlene Zugangsdaten und in der Folge kompromittierte Systeme und Datenabflüsse. Neben dem finanziellen Schaden entstehen Melde- und Haftungsfragen, etwa wenn personenbezogene Daten abfließen. Besonders gefährdet sind Mitarbeitende in Finanz-, Personal- und Supportfunktionen; zugleich leidet das Vertrauen von Kunden und Partnern in die Kommunikation des Unternehmens.
Beispiel
Die Buchhaltung erhält eine E-Mail, die Ton und Schreibstil der Geschäftsführung genau trifft; kurz darauf folgt ein Anruf mit deren geklonter Stimme: Eine angeblich vertrauliche Übernahme erfordere sofort eine Überweisung. Solche als CEO-Fraud bekannten Angriffe werden durch KI-generierte Texte und Stimmen deutlich überzeugender.
Empfohlene Gegenmaßnahmen (5)
Jede Maßnahme nennt ihre Maßnahmenart, Wirkung, Umsetzungsebene und die Begründung der Einordnung.
Erkennung von Impersonation-/Pretext-MusternTechnisch
- Wirkung
- Aufdeckend
- Umsetzungsebene
- Anwendung, API & Agenten
- Begründung der Einordnung
- „Erkennung von Impersonation-/Pretext-Mustern“ ist primär technisch: Software oder Analysewerkzeuge erzeugen und bewerten systematisch Messwerte, Abweichungen oder Angriffsindikatoren.
Ablehnung für täuschende InhaltserzeugungTechnisch
- Wirkung
- Präventiv
- Umsetzungsebene
- Anwendung, API & Agenten
- Begründung der Einordnung
- „Ablehnung für täuschende Inhaltserzeugung“ ist primär technisch: Systemseitige Prüf-, Transformations- oder Blockierregeln stoppen oder neutralisieren unzulässige Inhalte vor der Weiterverarbeitung.
Identitätsprüfung in sensiblen WorkflowsTechnisch
- Wirkung
- Präventiv, Aufdeckend
- Umsetzungsebene
- Anwendung, API & Agenten, Nutzung & Betrieb
- Ergänzende Maßnahmenart
- Organisatorisch & prozessual
- Begründung der Einordnung
- „Identitätsprüfung in sensiblen Workflows“ ist primär technisch: Maschinell erzwungene Identitäts-, Berechtigungs- oder Bereichsregeln begrenzen unzulässige Zugriffe und Aktionen; ergänzt durch verbindliche Abläufe.
Awareness-Trainings für NutzerMensch & Kompetenz
- Wirkung
- Präventiv
- Umsetzungsebene
- Organisation, Nutzung & Betrieb
- Ergänzende Maßnahmenart
- Organisatorisch & prozessual
- Begründung der Einordnung
- „Awareness-Trainings für Nutzer“ ist primär der Maßnahmenart Mensch & Kompetenz zugeordnet: Geschulte Nutzer erkennen Täuschungs- und Missbrauchsmuster; Zielgruppen, Wiederholung und Wirksamkeitskontrolle sichern die Anwendung.
Anti-Phishing-ErkennungTechnisch
- Wirkung
- Aufdeckend
- Umsetzungsebene
- Anwendung, API & Agenten
- Begründung der Einordnung
- „Anti-Phishing-Erkennung“ ist primär technisch: Software oder Analysewerkzeuge erzeugen und bewerten systematisch Messwerte, Abweichungen oder Angriffsindikatoren.
Standard-Zuordnungen
Verifizierte Fundstellen in OWASP, NIST AI RMF, MITRE ATLAS, EU AI Act und weiteren Rahmenwerken. Die Zuordnungen sind taxonomisch, kein Konformitätsnachweis.
Belegte Referenzen (7)
Jede Referenz nennt Rahmenwerk, Fundstelle und die herausgebende Organisation.
- NIST AI RMF Abschnitt 2.8 Information IntegrityAbschnitt 2.8, pp. 9–10 National Institute of Standards and Technology (NIST)Original
- NIST AI RMF Abschnitt 2.9 Information SecurityAbschnitt 2.9, pp. 10–11 National Institute of Standards and Technology (NIST)Original
- MITRE ATLAS AML.T0048.002 Societal HarmATLAS.yaml technique object with id AML.T0048.002 (pinned release v5.6.0) MITREOriginal
- EU AI Act Article 5(1)(a) Prohibited AI practicesArticle 5(1)(a); where the catalogue cites exploitation, compare Article 5(1)(b) European Union (EUR-Lex)Original
- EU AI Act Article 55(1)(b) Obligations of providers of general-purpose AI models with systemic riskArticle 55(1)(b) European Union (EUR-Lex)Original
- EU AI Act Article 9(1), 9(2)(a), 9(2)(d) Risk management systemArticle 9(1), 9(2)(a), 9(2)(d), read with Article 9(3) European Union (EUR-Lex)Original
- BSI R11 Vortäuschen einer (medialen) Identität (Text, Bild, Video)Kap. 4, R11, p. 19 Bundesamt für Sicherheit in der Informationstechnik (BSI)Original
Verwandte Bedrohungen
Weitere Einträge aus der Themengruppe Missbrauch für Angriffe, Betrug und Desinformation.
Diese Bedrohung im eigenen System bewerten
Die Live-Demo enthält alle 52 Bedrohungen dieses Katalogs samt EU-AI-Act- und DSGVO-Einwertung. Die kostenlosen Einzelmodule decken KI-Risiko, EU-KI-VO und DSGVO ab. Ohne Registrierung; die Bewertung läuft lokal in Ihrem Browser.
Diesen Eintrag zitieren
Für Berichte, Richtlinien oder interne Unterlagen; der Link führt direkt auf diesen Eintrag.
„Social Engineering“. Versatile AI Risk Assessment, KI-Bedrohungskatalog, Stand Juli 2026. https://www.versatile-ai-risk-assessment.com/wissensbasis/bedrohungen/social-engineering/