QuellenverzeichnisBundesamt für Sicherheit in der Informationstechnik (BSI)2.0
Generative KI-Modelle: Chancen und Risiken für Industrie und Behörden
„Generative KI-Modelle: Chancen und Risiken für Industrie und Behörden“. Herausgeber: Bundesamt für Sicherheit in der Informationstechnik (BSI). Herangezogener Stand: 2.0. Der Bedrohungskatalog von Versatile AI Risk Assessment belegt 40 seiner 52 Bedrohungen mit diesem Dokument, an 28 geprüften Fundstellen.
Angaben zum Dokument
- Herausgeber
- Bundesamt für Sicherheit in der Informationstechnik (BSI)
- Herangezogener Stand
- 2.0
- Jahr
- nicht angegeben
- Lizenz
- nicht angegeben
- Rahmenwerk
- BSI
Originaldokument beim Herausgeber öffnen Externer Verweis; maßgeblich ist immer die Fassung des Herausgebers.
Fundstellen im Katalog (28)
Jede Zeile nennt die Klausel, ihren Titel, die genaue Fundstelle im Dokument und die Bedrohungen, die sich darauf beziehen.
| Klausel | Titel und Fundstelle | Verweisende Bedrohungen |
|---|---|---|
R1 |
Abhängigkeit vom entwickelnden/betreibenden Unternehmen (Text, Bild, Video) Kap. 4, R1, p. 13 | Lieferkette – InfrastrukturLieferkette – Modelle |
R10 |
Erzeugung ver- und gefälschter Inhalte (Text, Bild, Video) Kap. 4, R10, p. 18 | Rechtswidrige HandlungenBetrugDesinformation |
R11 |
Vortäuschen einer (medialen) Identität (Text, Bild, Video) Kap. 4, R11, p. 19 | Social EngineeringBetrug |
R12 |
Wissenssammlung und -aufbereitung im Kontext krimineller Aktivitäten (Text, Bild) Kap. 4, R12, p. 20 | Rechtswidrige HandlungenSchadsoftwareModell-Reconnaissance |
R13 |
Re-Identifizierung von Personen aus anonymisierten Daten (Text, Bild, Video) Kap. 4, R13, p. 21 | Privacy-Angriffe |
R14 |
Generierung und Verbesserung von Malware (Text) Kap. 4, R14, p. 22 | Schadsoftware |
R15 |
Platzierung von Malware (Text) Kap. 4, R15, p. 22 | Faktische Fehler (Halluzinationen) |
R16 |
RCE-Angriffe (Text) Kap. 4, R16, p. 24 | Unsicherer Umgang mit Modellausgaben |
R17 |
Vergiftung der Trainingsdaten (Data Poisoning) (Text, Bild, Video) Kap. 4, R17, p. 25 | Lieferkette – DatensätzeVergiftung der TrainingsdatenGezielte Datenvergiftung / Label-Vergiftung |
R18 |
Vergiftung von hinterlegten Wissensdaten (Knowledge Poisoning) (Text, Bild, Video) Kap. 4, R18, p. 26 | RAG-spezifische Angriffe (Document Poisoning)Graph-RAG-Vergiftung (Knowledge-Graph-Injection) |
R19 |
Vergiftung des Modells selbst (Model/Weight Poisoning) (Text, Bild, Video) Kap. 4, R19, p. 26 | Lieferkette – ModelleBackdoor im ML-ModellSleepy Agent (zeit-/ereignisgetriggerte verdeckte Instruktionen) |
R2 |
Fehlende Vertraulichkeit eingegebener Daten (Text, Bild, Video) Kap. 4, R2, p. 14 | Privacy-AngriffeOffenlegung sensibler InformationenExfiltration aus der ML-Anwendung |
R20 |
Vergiftung über das Bewertungsmodell (Text, Bild, Video) Kap. 4, R20, p. 26 | Vergiftung der TrainingsdatenBackdoor im ML-ModellMisalignment (Fehlausrichtung) |
R21 |
Vergiftung über vorverarbeitende Komponenten (Text, Bild, Video) Kap. 4, R21, p. 27 | Vergiftung der Trainingsdaten |
R22 |
Rekonstruktion von Trainingsdaten (Text, Bild, Video) Kap. 4, R22, p. 28 | Privacy-Angriffe |
R23 |
Embedding Inversion (Text, Bild, Video) Kap. 4, R23, p. 28 | Privacy-AngriffeCross-Tenant-Leakage (Multi-Tenant Vector-DB) |
R24 |
Modelldiebstahl (Text, Bild, Video) Kap. 4, R24, p. 29 | Modell-Diebstahl |
R25 |
Extraktion von Kommunikationsdaten und hinterlegten Informationen (Text, Bild, Video) Kap. 4, R25, p. 30 | Extraktion des Meta-PromptsOffenlegung sensibler InformationenModell-Reconnaissance |
R26 |
Direkte Manipulationen im Prompt (Text, Bild, Video) Kap. 4, R26, p. 31 | Prompt Injection – DirektJailbreaks |
R27 |
Störung der automatisierten Verarbeitung von Inhalten (Text) Kap. 4, R27, p. 33 | Adversariale Eingaben |
R28 |
Indirect Prompt Injections (Text) Kap. 4, R28, p. 33 | Prompt Injection – IndirektDenial-of-Service auf das ModellExfiltration aus der ML-AnwendungUnsicheres Tool-DesignExcessive Agency (übermäßige Handlungsermächtigung)Agenten-KI / Autonome AgentenMCP-Hijacking (Model Context Protocol) |
R3 |
Fehlerhafte Reaktion auf Eingaben (Text, Bild, Video) Kap. 4, R3, p. 14 | Adversariale EingabenPrompt Injection – DirektPrompt Injection – IndirektExcessive Agency (übermäßige Handlungsermächtigung) |
R4 |
Fehlende Ausgabequalität (Text, Bild, Video) Kap. 4, R4, p. 15 | Faktische Fehler (Halluzinationen) |
R5 |
Problematische und verzerrte Ausgaben (Text, Bild, Video) Kap. 4, R5, p. 16 | Hassrede und DiskriminierungObszöne Sprache / ProfanitätSexuelle InhalteGewalt / gefährliche HandlungenBelästigungDesinformation |
R6 |
Fehlende Sicherheit von generiertem Code und codeähnlichen Texten (Text) Kap. 4, R6, p. 16 | Unsicherer Umgang mit Modellausgaben |
R7 |
Fehlende Reproduzierbarkeit und Erklärbarkeit (Text, Bild, Video) Kap. 4, R7, p. 17 | Prompt Injection – Indirekt |
R8 |
Automation Bias (Text, Bild, Video) Kap. 4, R8, p. 17 | Übermäßiges Vertrauen in das KI-System |
R9 |
Selbstverstärkende Effekte und Model Collapse (Text, Bild, Video) Kap. 4, R9, p. 18 | Modell-Drift & -Degradation |
Diese Seite gibt keine Normtexte wieder. Sie nennt Kennung, Titel und Fundstelle der Klausel; der Wortlaut steht im Originaldokument. Die Zuordnungen sind taxonomisch und kein Konformitätsnachweis.
Bedrohungen mit Bezug auf dieses Dokument (40)
Nach Themengruppe geordnet. Jeder Eintrag führt zur vollständigen Bedrohungsseite.
Angriffe auf Modell und Betrieb
Anwendungs- und Integrationssicherheit
Autonome KI und Agenten
Datenschutz und Datenabfluss
Lieferkette und Herkunft
Manipulation von Modell und Trainingsdaten
Missbrauch für Angriffe, Betrug und Desinformation
Prompt-Angriffe und Umgehung von Schutzmechanismen
Schädliche Inhalte
Verlässlichkeit und verantwortliche Nutzung
Vom Beleg zur Bewertung
Der vollständige Katalog nennt zu jeder Bedrohung die Gegenmaßnahmen, die mögliche Auswirkung und alle belegten Fundstellen. Die Live-Demo läuft ohne Registrierung lokal in Ihrem Browser.
Diese Seite zitieren
Für Berichte, Richtlinien oder interne Unterlagen; der Link führt direkt auf diese Quellenseite.
„Generative KI-Modelle: Chancen und Risiken für Industrie und Behörden“ (Bundesamt für Sicherheit in der Informationstechnik (BSI)). Fundstellen im KI-Bedrohungskatalog, Versatile AI Risk Assessment, Stand Juli 2026. https://www.versatile-ai-risk-assessment.com/wissensbasis/quellen/bsi-generative-ki-modelle/