Welche Gegenmaßnahmen nennt der Katalog?

Der Katalog nennt 5 Gegenmaßnahmen, jede mit Maßnahmenart, Wirkung und Umsetzungsebene. Beispiele sind: Refusal-Training für Malware-Code, Statische Analyse generierten Codes und Dual-Use-Bewertung. Die Reihenfolge ist keine Priorisierung.

Welche Pflichten der KI-Verordnung können relevant sein?

Der Katalog ordnet diese Bedrohung Art. 9 und Art. 55 der EU-KI-Verordnung zu. Daraus folgen im Pflichtenkompass: Risikomanagementsystem einrichten und betreiben und Systemische Risiken bewerten und mindern. Ob eine Pflicht gilt, entscheiden Rolle, Risikoklasse und Frist.

KI-Bedrohungskatalog Missbrauch für Angriffe, Betrug und Desinformation Produktion

Schadsoftware

Angreifer lassen sich von KI-Modellen funktionsfähige Schadsoftware und Angriffswerkzeuge erzeugen oder verbessern. Das senkt die Einstiegshürde: Auch Täter ohne vertiefte Programmierkenntnisse können damit Angriffe vorbereiten.

Stand: Oktober 2026 · Katalogversion 2026.10.24.2 · 5 Gegenmaßnahmen · 6 belegte Quellen

Beschreibung

KI-Modelle mit Code-Fähigkeiten können nicht nur nützliche Programme schreiben, sondern auch Schadcode: etwa Erpressungs- und Spionageprogramme oder Exploit-Code, also Programmcode, der gezielt Sicherheitslücken ausnutzt. Die eingebauten Schutzmechanismen der Modelle umgehen Angreifer über Jailbreaks (Eingaben, die die Sicherheitsvorkehrungen eines Modells aushebeln) oder weichen auf Modelle ohne solche Schranken aus. KI hilft zudem, Schwachstellen in Software schnell und teilweise automatisiert zu finden und in nutzbare Angriffswege zu überführen. Fachbehörden beobachten bislang vor allem eine Beschleunigung und Vereinfachung bestehender Angriffsmethoden; die Einstiegshürde für Täter sinkt dadurch jedoch spürbar.

Mögliche Auswirkung

Unternehmen müssen mit mehr und schneller entwickelten Angriffen rechnen, weil der Kreis möglicher Täter wächst und Angriffswerkzeuge leichter verfügbar werden. Gelangt solche Schadsoftware ins Unternehmen, drohen Betriebsunterbrechungen, verschlüsselte oder gestohlene Daten und hohe Wiederherstellungskosten. Wird ein selbst betriebenes KI-System für die Erzeugung von Schadcode missbraucht, kommen Haftungs- und Reputationsfragen für den Betreiber hinzu.

Beispiel

Ein Angreifer ohne vertiefte Programmierkenntnisse lässt sich von einem Sprachmodell ein funktionsfähiges Schadprogramm samt Tarnmechanismen erstellen und verschickt es als präparierten Bewerbungsanhang an die Personalabteilung.

Empfohlene Gegenmaßnahmen (5)

Vergleichen Sie Wirkung und Umsetzungsebene. Die ergänzende Einordnung und Begründung können Sie bei Bedarf aufklappen.

Refusal-Training für Malware-Code
Technisch

Wirkung
Präventiv
Umsetzungsebene
Modell & Training

Einordnung und Begründung

Primär technisch: Ein Modell-, Trainings- oder Datenverfahren verändert Systemverhalten oder Robustheit unmittelbar.
Statische Analyse generierten Codes
Technisch

Wirkung
Aufdeckend
Umsetzungsebene
Anwendung, API & Agenten, Nutzung & Betrieb

Einordnung und Begründung

Primär technisch: Software oder Analysewerkzeuge erzeugen und bewerten systematisch Messwerte, Abweichungen oder Angriffsindikatoren.
Dual-Use-Bewertung
Governance & Compliance

Wirkung
Aufdeckend
Umsetzungsebene
Modell & Training, Organisation, Nutzung & Betrieb

Einordnung und Begründung

Ergänzende MaßnahmenartOrganisatorisch & prozessual

Primär der Maßnahmenart Governance & Compliance zugeordnet: Verbindliche Regeln, Kontrollziele oder Aufsicht bestimmen Zulässigkeit und Rechenschaft; ergänzt durch verbindliche Abläufe.
Monitoring auf bösartige Code-Muster
Technisch

Wirkung
Aufdeckend
Umsetzungsebene
Anwendung, API & Agenten, Nutzung & Betrieb

Einordnung und Begründung

Ergänzende MaßnahmenartOrganisatorisch & prozessual

Primär technisch: Software oder Analysewerkzeuge erzeugen und bewerten systematisch Messwerte, Abweichungen oder Angriffsindikatoren; ergänzt durch verbindliche Abläufe.
Red-Teaming mit Security-Forschern
Organisatorisch & prozessual

Wirkung
Aufdeckend
Umsetzungsebene
Modell & Training, Anwendung, API & Agenten, Nutzung & Betrieb

Einordnung und Begründung

Ergänzende MaßnahmenartMensch & Kompetenz, Technisch

Primär organisatorisch & prozessual: Ein geplanter, wiederholbarer Prüfablauf mit Zuständigkeit und Nachverfolgung erzeugt die Schutzwirkung; ergänzt durch Fachwissen und Urteil sowie technische Umsetzung.

Standard-Zuordnungen

Verifizierte Fundstellen in OWASP, NIST AI RMF, MITRE ATLAS, EU AI Act und weiteren Rahmenwerken. Die Zuordnungen zeigen fachliche Bezüge. Sie belegen nicht, dass ein System die jeweiligen Anforderungen erfüllt.

OWASP LLM Top 10 LLM01:2026NIST AI RMF Abschnitt 2.9EU AI Act Article 55(1)(b) · Article 9(1), 9(2)(a), 9(2)(d)BSI R12 · R14

Belegte Referenzen (6)

Jede Referenz nennt Rahmenwerk, Fundstelle und die herausgebende Organisation.

OWASP LLM Top 10 LLM01:2026 Prompt InjectionLLM01:2026 Prompt Injection, OWASP Top 10 for LLM Applications 2026 v1.0, pp. 10-17 (doi:10.5281/zenodo.22109015); canonical text 2026/final/LLM01_PromptInjection.md at commit 7e144e05 OWASP Foundation Original
NIST AI RMF Abschnitt 2.9 Information SecurityAbschnitt 2.9, pp. 10–11 National Institute of Standards and Technology (NIST)Original
EU AI Act Article 55(1)(b) Obligations of providers of general-purpose AI models with systemic riskArticle 55(1)(b) European Union (EUR-Lex)Original
EU AI Act Article 9(1), 9(2)(a), 9(2)(d) Risk management systemArticle 9(1), 9(2)(a), 9(2)(d), read with Article 9(3) European Union (EUR-Lex)Original
BSI R12 Wissenssammlung und -aufbereitung im Kontext krimineller Aktivitäten (Text, Bild)Kap. 4, R12, p. 20 Bundesamt für Sicherheit in der Informationstechnik (BSI)Original
BSI R14 Generierung und Verbesserung von Malware (Text)Kap. 4, R14, p. 22 Bundesamt für Sicherheit in der Informationstechnik (BSI)Original

Pflichten der KI-Verordnung zu dieser Bedrohung

Die Pflichten aus dem Pflichtenkompass, deren Artikel der Katalog dieser Bedrohung zuordnet. Jede führt auf ihren Eintrag mit Kern, Handlungsschritt und Nachweis; ob sie Sie trifft, hängt von Rolle und Risikoklasse ab.

Risikomanagementsystem einrichten und betreiben Art. 9 · gilt ab Anhang III: 2. Dezember 2027 · Anhang I: 2. August 2028
Gesetzliche Rollen: Anbieter, Produkthersteller. Klassen: Hochrisiko nach Anhang III, Hochrisiko als Produkt oder Sicherheitsbauteil.

Der Verweis ist ein Prüfanlass. Ein Bedrohungstreffer allein begründet keine Anwendbarkeit.
Systemische Risiken bewerten und mindern Art. 55 · gilt ab 2. August 2025
Gesetzliche Rollen: Anbieter eines KI-Modells mit allgemeinem Verwendungszweck. Klassen: Modell mit systemischem Risiko.

Der Verweis ist ein Prüfanlass. Ein Bedrohungstreffer allein begründet keine Anwendbarkeit.

Alle 62 Pflichten nach Rolle, Risikoklasse und Frist im Pflichtenkompass

Begriffe auf dieser Seite

Fachbegriffe aus dem Glossar, die in diesem Eintrag vorkommen. Jeder Verweis führt zur vollständigen Erklärung.

Jailbreak Eingaben, die ein Modell dazu bringen, seine eigenen Schutzregeln zu übergehen.

Weitere Einträge aus der Themengruppe Missbrauch für Angriffe, Betrug und Desinformation.

Passende Anwendungsfälle

Die Liste zeigt, wo Sie diese Bedrohung prüfen, nicht wie hoch das Risiko ist.

Besonders wichtig bei:

Coding-AssistentDer Assistent schlägt eine Bibliothek vor, die es gar nicht gibt, und Angreifer haben unter genau diesem Namen ein Paket mit Schadcode veröffentlicht. Wer den Vorschlag übernimmt, holt sich den Schadcode in die eigene Software.

Üblich bei:

Coding-Agent

Bei 3 weiteren Anwendungsfällen hängt es vom Aufbau des Systems ab, etwa davon, ob es Programmcode oder Abfragen erzeugt. Diese Anwendungsfälle zeigen

Häufige Fragen

Worum geht es bei dieser Bedrohung?: Angreifer lassen sich von KI-Modellen funktionsfähige Schadsoftware und Angriffswerkzeuge erzeugen oder verbessern. Das senkt die Einstiegshürde: Auch Täter ohne vertiefte Programmierkenntnisse können damit Angriffe vorbereiten.
Welche Gegenmaßnahmen nennt der Katalog?: Der Katalog nennt 5 Gegenmaßnahmen, jede mit Maßnahmenart, Wirkung und Umsetzungsebene. Beispiele sind: Refusal-Training für Malware-Code, Statische Analyse generierten Codes und Dual-Use-Bewertung. Die Reihenfolge ist keine Priorisierung.
Welche Pflichten der KI-Verordnung können relevant sein?: Der Katalog ordnet diese Bedrohung Art. 9 und Art. 55 der EU-KI-Verordnung zu. Daraus folgen im Pflichtenkompass: Risikomanagementsystem einrichten und betreiben und Systemische Risiken bewerten und mindern. Ob eine Pflicht gilt, entscheiden Rolle, Risikoklasse und Frist.

Diese Bedrohung im eigenen System bewerten

Die Live-Demo enthält alle 52 Bedrohungen dieses Katalogs sowie die Einordnung nach der EU-KI-Verordnung und die Datenschutzprüfung. Die kostenlosen Einzelmodule decken KI-Risiko, EU-KI-VO und DSGVO ab. Ohne Registrierung; die Bewertung läuft lokal in Ihrem Browser.

Live-Demo starten Kostenlose Module ansehen

Diesen Eintrag zitieren

Für Berichte, Richtlinien oder interne Unterlagen; der Link führt direkt auf diesen Eintrag.

„Schadsoftware“. Versatile AI Risk Assessment, KI-Bedrohungskatalog, Stand Oktober 2026.
https://www.versatile-ai-risk-assessment.com/wissensbasis/bedrohungen/schadsoftware/

← Zurück zum vollständigen Katalog

Beschreibung

Mögliche Auswirkung

Beispiel

Empfohlene Gegenmaßnahmen (5)

Refusal-Training für Malware-Code

Statische Analyse generierten Codes

Dual-Use-Bewertung

Monitoring auf bösartige Code-Muster

Red-Teaming mit Security-Forschern