KI-BedrohungskatalogMissbrauch für Angriffe, Betrug und DesinformationProduktion
Schadsoftware
Angreifer lassen sich von KI-Modellen funktionsfähige Schadsoftware und Angriffswerkzeuge erzeugen oder verbessern. Das senkt die Einstiegshürde: Auch Täter ohne vertiefte Programmierkenntnisse können damit Angriffe vorbereiten.
Beschreibung
KI-Modelle mit Code-Fähigkeiten können nicht nur nützliche Programme schreiben, sondern auch Schadcode: etwa Erpressungs- und Spionageprogramme oder Exploit-Code, also Programmcode, der gezielt Sicherheitslücken ausnutzt. Die eingebauten Schutzmechanismen der Modelle umgehen Angreifer über Jailbreaks (Eingaben, die die Sicherheitsvorkehrungen eines Modells aushebeln) oder weichen auf Modelle ohne solche Schranken aus. KI hilft zudem, Schwachstellen in Software schnell und teilweise automatisiert zu finden und in nutzbare Angriffswege zu überführen. Fachbehörden beobachten bislang vor allem eine Beschleunigung und Vereinfachung bestehender Angriffsmethoden; die Einstiegshürde für Täter sinkt dadurch jedoch spürbar.
Mögliche Auswirkung
Unternehmen müssen mit mehr und schneller entwickelten Angriffen rechnen, weil der Kreis möglicher Täter wächst und Angriffswerkzeuge leichter verfügbar werden. Gelangt solche Schadsoftware ins Unternehmen, drohen Betriebsunterbrechungen, verschlüsselte oder gestohlene Daten und hohe Wiederherstellungskosten. Wird ein selbst betriebenes KI-System für die Erzeugung von Schadcode missbraucht, kommen Haftungs- und Reputationsfragen für den Betreiber hinzu.
Beispiel
Ein Angreifer ohne vertiefte Programmierkenntnisse lässt sich von einem Sprachmodell ein funktionsfähiges Schadprogramm samt Tarnmechanismen erstellen und verschickt es als präparierten Bewerbungsanhang an die Personalabteilung.
Empfohlene Gegenmaßnahmen (5)
Jede Maßnahme nennt ihre Maßnahmenart, Wirkung, Umsetzungsebene und die Begründung der Einordnung.
Refusal-Training für Malware-CodeTechnisch
- Wirkung
- Präventiv
- Umsetzungsebene
- Modell & Training
- Begründung der Einordnung
- „Refusal-Training für Malware-Code“ ist primär technisch: Ein Modell-, Trainings- oder Datenverfahren verändert Systemverhalten oder Robustheit unmittelbar.
Statische Analyse generierten CodesTechnisch
- Wirkung
- Aufdeckend
- Umsetzungsebene
- Anwendung, API & Agenten, Nutzung & Betrieb
- Begründung der Einordnung
- „Statische Analyse generierten Codes“ ist primär technisch: Software oder Analysewerkzeuge erzeugen und bewerten systematisch Messwerte, Abweichungen oder Angriffsindikatoren.
Dual-Use-BewertungGovernance & Compliance
- Wirkung
- Aufdeckend
- Umsetzungsebene
- Modell & Training, Organisation, Nutzung & Betrieb
- Ergänzende Maßnahmenart
- Organisatorisch & prozessual
- Begründung der Einordnung
- „Dual-Use-Bewertung“ ist primär der Maßnahmenart Governance & Compliance zugeordnet: Verbindliche Regeln, Kontrollziele oder Aufsicht bestimmen Zulässigkeit und Rechenschaft; ergänzt durch verbindliche Abläufe.
Monitoring auf bösartige Code-MusterTechnisch
- Wirkung
- Aufdeckend
- Umsetzungsebene
- Anwendung, API & Agenten, Nutzung & Betrieb
- Ergänzende Maßnahmenart
- Organisatorisch & prozessual
- Begründung der Einordnung
- „Monitoring auf bösartige Code-Muster“ ist primär technisch: Software oder Analysewerkzeuge erzeugen und bewerten systematisch Messwerte, Abweichungen oder Angriffsindikatoren; ergänzt durch verbindliche Abläufe.
Red-Teaming mit Security-ForschernOrganisatorisch & prozessual
- Wirkung
- Aufdeckend
- Umsetzungsebene
- Modell & Training, Anwendung, API & Agenten, Nutzung & Betrieb
- Ergänzende Maßnahmenart
- Mensch & Kompetenz, Technisch
- Begründung der Einordnung
- „Red-Teaming mit Security-Forschern“ ist primär organisatorisch & prozessual: Ein geplanter, wiederholbarer Prüfablauf mit Zuständigkeit und Nachverfolgung erzeugt die Schutzwirkung; ergänzt durch Fachwissen und Urteil sowie technische Umsetzung.
Standard-Zuordnungen
Verifizierte Fundstellen in OWASP, NIST AI RMF, MITRE ATLAS, EU AI Act und weiteren Rahmenwerken. Die Zuordnungen sind taxonomisch, kein Konformitätsnachweis.
Belegte Referenzen (6)
Jede Referenz nennt Rahmenwerk, Fundstelle und die herausgebende Organisation.
- OWASP LLM Top 10 LLM01:2025 Prompt InjectionLLM01:2025 Prompt Injection, official category page OWASP FoundationOriginal
- NIST AI RMF Abschnitt 2.9 Information SecurityAbschnitt 2.9, pp. 10–11 National Institute of Standards and Technology (NIST)Original
- EU AI Act Article 55(1)(b) Obligations of providers of general-purpose AI models with systemic riskArticle 55(1)(b) European Union (EUR-Lex)Original
- EU AI Act Article 9(1), 9(2)(a), 9(2)(d) Risk management systemArticle 9(1), 9(2)(a), 9(2)(d), read with Article 9(3) European Union (EUR-Lex)Original
- BSI R12 Wissenssammlung und -aufbereitung im Kontext krimineller Aktivitäten (Text, Bild)Kap. 4, R12, p. 20 Bundesamt für Sicherheit in der Informationstechnik (BSI)Original
- BSI R14 Generierung und Verbesserung von Malware (Text)Kap. 4, R14, p. 22 Bundesamt für Sicherheit in der Informationstechnik (BSI)Original
Verwandte Bedrohungen
Weitere Einträge aus der Themengruppe Missbrauch für Angriffe, Betrug und Desinformation.
Diese Bedrohung im eigenen System bewerten
Die Live-Demo enthält alle 52 Bedrohungen dieses Katalogs samt EU-AI-Act- und DSGVO-Einwertung. Die kostenlosen Einzelmodule decken KI-Risiko, EU-KI-VO und DSGVO ab. Ohne Registrierung; die Bewertung läuft lokal in Ihrem Browser.
Diesen Eintrag zitieren
Für Berichte, Richtlinien oder interne Unterlagen; der Link führt direkt auf diesen Eintrag.
„Schadsoftware“. Versatile AI Risk Assessment, KI-Bedrohungskatalog, Stand Juli 2026. https://www.versatile-ai-risk-assessment.com/wissensbasis/bedrohungen/schadsoftware/