Quellenverzeichnis Bundesamt für Sicherheit in der Informationstechnik (BSI) 2.0
Generative KI-Modelle: Chancen und Risiken für Industrie und Behörden
Hier finden Sie die im Katalog verwendete Dokumentfassung und die Fundstellen, die den einzelnen Bedrohungen zugeordnet sind.
Angaben zum Dokument
- Herausgeber
- Bundesamt für Sicherheit in der Informationstechnik (BSI)
- Herangezogener Stand
- 2.0
- Rahmenwerk
- BSI
Originaldokument beim Herausgeber öffnen Externer Verweis; maßgeblich ist immer die Fassung des Herausgebers.
Fundstellen im Katalog (28)
Die Tabelle nennt die jeweilige Kennung, den Titel und die Fundstelle im Originaldokument sowie die zugeordneten Bedrohungen.
| Kennung | Titel und Fundstelle | Zugeordnete Bedrohungen |
|---|---|---|
R1 |
Abhängigkeit vom entwickelnden/betreibenden Unternehmen (Text, Bild, Video) Kap. 4, R1, p. 13 | Lieferkette – InfrastrukturLieferkette – Modelle |
R10 |
Erzeugung ver- und gefälschter Inhalte (Text, Bild, Video) Kap. 4, R10, p. 18 | Rechtswidrige HandlungenBetrugDesinformation |
R11 |
Vortäuschen einer (medialen) Identität (Text, Bild, Video) Kap. 4, R11, p. 19 | Social EngineeringBetrug |
R12 |
Wissenssammlung und -aufbereitung im Kontext krimineller Aktivitäten (Text, Bild) Kap. 4, R12, p. 20 | Rechtswidrige HandlungenSchadsoftwareModell-Reconnaissance |
R13 |
Re-Identifizierung von Personen aus anonymisierten Daten (Text, Bild, Video) Kap. 4, R13, p. 21 | Privacy-Angriffe |
R14 |
Generierung und Verbesserung von Malware (Text) Kap. 4, R14, p. 22 | Schadsoftware |
R15 |
Platzierung von Malware (Text) Kap. 4, R15, p. 22 | Faktische Fehler (Halluzinationen) |
R16 |
RCE-Angriffe (Text) Kap. 4, R16, p. 24 | Unsicherer Umgang mit Modellausgaben |
R17 |
Vergiftung der Trainingsdaten (Data Poisoning) (Text, Bild, Video) Kap. 4, R17, p. 25 | Lieferkette – DatensätzeVergiftung der TrainingsdatenGezielte Datenvergiftung / Label-Vergiftung |
R18 |
Vergiftung von hinterlegten Wissensdaten (Knowledge Poisoning) (Text, Bild, Video) Kap. 4, R18, p. 26 | RAG-spezifische Angriffe (Document Poisoning)Graph-RAG-Vergiftung (Knowledge-Graph-Injection) |
R19 |
Vergiftung des Modells selbst (Model/Weight Poisoning) (Text, Bild, Video) Kap. 4, R19, p. 26 | Lieferkette – ModelleBackdoor im ML-ModellSleepy Agent (zeit-/ereignisgetriggerte verdeckte Instruktionen) |
R2 |
Fehlende Vertraulichkeit eingegebener Daten (Text, Bild, Video) Kap. 4, R2, p. 14 | Privacy-AngriffeOffenlegung sensibler InformationenExfiltration aus der ML-Anwendung |
R20 |
Vergiftung über das Bewertungsmodell (Text, Bild, Video) Kap. 4, R20, p. 26 | Vergiftung der TrainingsdatenBackdoor im ML-ModellMisalignment (Fehlausrichtung) |
R21 |
Vergiftung über vorverarbeitende Komponenten (Text, Bild, Video) Kap. 4, R21, p. 27 | Vergiftung der Trainingsdaten |
R22 |
Rekonstruktion von Trainingsdaten (Text, Bild, Video) Kap. 4, R22, p. 28 | Privacy-Angriffe |
R23 |
Embedding Inversion (Text, Bild, Video) Kap. 4, R23, p. 28 | Privacy-AngriffeCross-Tenant-Leakage (Multi-Tenant Vector-DB) |
R24 |
Modelldiebstahl (Text, Bild, Video) Kap. 4, R24, p. 29 | Modell-Diebstahl |
R25 |
Extraktion von Kommunikationsdaten und hinterlegten Informationen (Text, Bild, Video) Kap. 4, R25, p. 30 | Extraktion des Meta-PromptsOffenlegung sensibler InformationenModell-Reconnaissance |
R26 |
Direkte Manipulationen im Prompt (Text, Bild, Video) Kap. 4, R26, p. 31 | Prompt Injection – DirektJailbreaks |
R27 |
Störung der automatisierten Verarbeitung von Inhalten (Text) Kap. 4, R27, p. 33 | Adversariale Eingaben |
R28 |
Indirect Prompt Injections (Text) Kap. 4, R28, p. 33 | Prompt Injection – IndirektDenial-of-Service auf das ModellExfiltration aus der ML-AnwendungUnsicheres Tool-DesignExcessive Agency (übermäßige Handlungsermächtigung)Agenten-KI / Autonome AgentenMCP-Hijacking (Model Context Protocol) |
R3 |
Fehlerhafte Reaktion auf Eingaben (Text, Bild, Video) Kap. 4, R3, p. 14 | Adversariale EingabenPrompt Injection – DirektPrompt Injection – IndirektExcessive Agency (übermäßige Handlungsermächtigung) |
R4 |
Fehlende Ausgabequalität (Text, Bild, Video) Kap. 4, R4, p. 15 | Faktische Fehler (Halluzinationen) |
R5 |
Problematische und verzerrte Ausgaben (Text, Bild, Video) Kap. 4, R5, p. 16 | Hassrede und DiskriminierungObszöne Sprache / ProfanitätSexuelle InhalteGewalt / gefährliche HandlungenBelästigungDesinformation |
R6 |
Fehlende Sicherheit von generiertem Code und codeähnlichen Texten (Text) Kap. 4, R6, p. 16 | Unsicherer Umgang mit Modellausgaben |
R7 |
Fehlende Reproduzierbarkeit und Erklärbarkeit (Text, Bild, Video) Kap. 4, R7, p. 17 | Prompt Injection – Indirekt |
R8 |
Automation Bias (Text, Bild, Video) Kap. 4, R8, p. 17 | Übermäßiges Vertrauen in das KI-System |
R9 |
Selbstverstärkende Effekte und Model Collapse (Text, Bild, Video) Kap. 4, R9, p. 18 | Modell-Drift & -Degradation |
Diese Seite gibt keine Normtexte wieder. Sie nennt Kennung, Titel und Fundstelle des Abschnitts; der Wortlaut steht im Originaldokument. Die Zuordnungen zeigen fachliche Bezüge. Sie belegen nicht, dass ein System die jeweiligen Anforderungen erfüllt.
Bedrohungen mit Bezug auf dieses Dokument (40)
Nach Themengruppe geordnet. Jeder Eintrag führt zur vollständigen Bedrohungsseite.
Angriffe auf Modell und Betrieb
Anwendungs- und Integrationssicherheit
Autonome KI und Agenten
Datenschutz und Datenabfluss
Lieferkette und Herkunft
Manipulation von Modell und Trainingsdaten
Missbrauch für Angriffe, Betrug und Desinformation
Prompt-Angriffe und Umgehung von Schutzmechanismen
Schädliche Inhalte
Verlässlichkeit und verantwortliche Nutzung
Vom Beleg zur Bewertung
Der vollständige Katalog nennt zu jeder Bedrohung die Gegenmaßnahmen, die mögliche Auswirkung und alle belegten Fundstellen. Die Live-Demo läuft ohne Registrierung lokal in Ihrem Browser.
Diese Seite zitieren
Für Berichte, Richtlinien oder interne Unterlagen; der Link führt direkt auf diese Quellenseite.
„Generative KI-Modelle: Chancen und Risiken für Industrie und Behörden“ (Bundesamt für Sicherheit in der Informationstechnik (BSI)). Fundstellen im KI-Bedrohungskatalog, Versatile AI Risk Assessment, Stand Oktober 2026. https://www.versatile-ai-risk-assessment.com/wissensbasis/quellen/bsi-generative-ki-modelle/