KI-BedrohungskatalogAnwendungs- und IntegrationssicherheitProduktion
RAG-spezifische Angriffe (Document Poisoning)
Angreifer schleusen präparierte Dokumente in die Wissensbasis ein, aus der ein KI-System per RAG (Retrieval-Augmented Generation, Nachschlagen in eigenen Dokumenten) schöpft. Beim Abruf übernimmt das System falsche Inhalte oder versteckte Befehle.
Beschreibung
Viele KI-Assistenten im Unternehmen stützen ihre Antworten auf eine eigene Wissensbasis aus Wikis, Laufwerken, E-Mails oder Tickets. Angreifer nutzen jeden Weg, über den Inhalte in diese Wissensbasis gelangen: einen öffentlichen Kanal, eine eingehende E-Mail, ein geteiltes Dokument, einen Datei-Upload. Dort platzieren sie Inhalte, die gezielt bei bestimmten Suchanfragen gefunden werden und falsche Fakten oder versteckte Anweisungen (Indirect Prompt Injection) enthalten. Das Modell behandelt abgerufene Texte als vertrauenswürdig, gibt die gewünschte Falschantwort aus oder befolgt die Anweisung. Zugriff auf das Modell oder sein Training brauchen Angreifer dafür nicht.
Mögliche Auswirkung
Falsche Antworten erscheinen mit der Glaubwürdigkeit interner Quellen und fließen in Entscheidungen ein. Versteckte Anweisungen können vertrauliche Daten ausleiten oder Aktionen anstoßen. Die Vergiftung bleibt in der Wissensbasis bestehen und wirkt auf alle künftigen Anfragen, bis sie gefunden und entfernt wird; betroffen sind Geschäftsentscheidungen, Datenschutz und Compliance.
Beispiel
Ein Angreifer sendet eine unauffällige E-Mail mit versteckten Anweisungen an die Buchhaltung. Der KI-Assistent nimmt sie in seine Wissensbasis auf; fragt eine Mitarbeiterin später nach der Bankverbindung eines Lieferanten, nennt der Assistent das Konto des Angreifers.
Empfohlene Gegenmaßnahmen (7)
Jede Maßnahme nennt ihre Maßnahmenart, Wirkung, Umsetzungsebene und die Begründung der Einordnung.
Validierung der DokumentenquellenTechnisch
- Wirkung
- Präventiv
- Umsetzungsebene
- Daten
- Begründung der Einordnung
- „Validierung der Dokumentenquellen“ ist primär technisch: Systemseitige Prüf-, Transformations- oder Blockierregeln stoppen oder neutralisieren unzulässige Inhalte vor der Weiterverarbeitung.
Integritäts-Monitoring der WissensbasisTechnisch
- Wirkung
- Aufdeckend
- Umsetzungsebene
- Daten, Nutzung & Betrieb
- Ergänzende Maßnahmenart
- Organisatorisch & prozessual
- Begründung der Einordnung
- „Integritäts-Monitoring der Wissensbasis“ ist primär technisch: Software oder Analysewerkzeuge erzeugen und bewerten systematisch Messwerte, Abweichungen oder Angriffsindikatoren; ergänzt durch verbindliche Abläufe.
Zugriffskontrollen auf die RAG-Dokumenten-IngestionTechnisch
- Wirkung
- Präventiv
- Umsetzungsebene
- Daten, Anwendung, API & Agenten
- Ergänzende Maßnahmenart
- Organisatorisch & prozessual
- Begründung der Einordnung
- „Zugriffskontrollen auf die RAG-Dokumenten-Ingestion“ ist primär technisch: Maschinell erzwungene Identitäts-, Berechtigungs- oder Bereichsregeln begrenzen unzulässige Zugriffe und Aktionen; ergänzt durch verbindliche Abläufe.
Confidence-Schwellen für das RetrievalTechnisch
- Wirkung
- Präventiv, Aufdeckend
- Umsetzungsebene
- Daten, Anwendung, API & Agenten
- Begründung der Einordnung
- „Confidence-Schwellen für das Retrieval“ ist primär technisch: Systemseitige Prüf-, Transformations- oder Blockierregeln stoppen oder neutralisieren unzulässige Inhalte vor der Weiterverarbeitung.
Bestätigung über mehrere QuellenTechnisch
- Wirkung
- Präventiv, Aufdeckend
- Umsetzungsebene
- Daten
- Begründung der Einordnung
- „Bestätigung über mehrere Quellen“ ist primär technisch: Software oder Analysewerkzeuge erzeugen und bewerten systematisch Messwerte, Abweichungen oder Angriffsindikatoren.
Regelmäßige Audits der WissensbasisOrganisatorisch & prozessual
- Wirkung
- Aufdeckend
- Umsetzungsebene
- Daten, Nutzung & Betrieb
- Ergänzende Maßnahmenart
- Governance & Compliance
- Begründung der Einordnung
- „Regelmäßige Audits der Wissensbasis“ ist primär organisatorisch & prozessual: Ein geplanter, wiederholbarer Prüfablauf mit Zuständigkeit und Nachverfolgung erzeugt die Schutzwirkung; ergänzt durch Regeln und Aufsicht.
Anomalie-Erkennung auf abgerufenen InhaltenTechnisch
- Wirkung
- Aufdeckend
- Umsetzungsebene
- Daten, Anwendung, API & Agenten
- Begründung der Einordnung
- „Anomalie-Erkennung auf abgerufenen Inhalten“ ist primär technisch: Software oder Analysewerkzeuge erzeugen und bewerten systematisch Messwerte, Abweichungen oder Angriffsindikatoren.
Standard-Zuordnungen
Verifizierte Fundstellen in OWASP, NIST AI RMF, MITRE ATLAS, EU AI Act und weiteren Rahmenwerken. Die Zuordnungen sind taxonomisch, kein Konformitätsnachweis.
Belegte Referenzen (11)
Jede Referenz nennt Rahmenwerk, Fundstelle und die herausgebende Organisation.
- OWASP LLM Top 10 ASI06:2026 Memory & Context PoisoningASI06 Memory & Context Poisoning, pp. 24–26 of the official PDF OWASP FoundationOriginal
- OWASP LLM Top 10 LLM01:2025 Prompt InjectionLLM01:2025 Prompt Injection, official category page OWASP FoundationOriginal
- OWASP LLM Top 10 LLM04:2025 Data and Model PoisoningLLM04:2025 Data and Model Poisoning, official category page OWASP FoundationOriginal
- OWASP LLM Top 10 LLM08:2025 Vector and Embedding WeaknessesLLM08:2025 Vector and Embedding Weaknesses, official category page OWASP FoundationOriginal
- NIST AI RMF NISTAML.015 Indirect Prompt InjectionTaxonomy Index, pp. x–xi; Abschnitt 3.4, pp. 50–53; Glossary, p. 110 National Institute of Standards and Technology (NIST)Original
- NIST AI RMF NISTAML.027 Misaligned OutputsTaxonomy Index, p. xi; Abschnitt 3.4.2, pp. 51–52 National Institute of Standards and Technology (NIST)Original
- MITRE ATLAS AML.T0051 LLM Prompt InjectionATLAS.yaml technique object with id AML.T0051 (pinned release v5.6.0) MITREOriginal
- EU AI Act Article 25(4) Responsibilities along the AI value chainArticle 25(4) European Union (EUR-Lex)Original
- EU AI Act Article 9(1), 9(2)(a), 9(2)(d) Risk management systemArticle 9(1), 9(2)(a), 9(2)(d), read with Article 9(3) European Union (EUR-Lex)Original
- BSI R18 Vergiftung von hinterlegten Wissensdaten (Knowledge Poisoning) (Text, Bild, Video)Kap. 4, R18, p. 26 Bundesamt für Sicherheit in der Informationstechnik (BSI)Original
- BIML BIML-LLM raw:10 Query DataPDF p. 15, [raw:10:query data] Berryville Institute of Machine Learning (BIML)Original
Begriffe auf dieser Seite
Fachbegriffe aus dem Glossar, die in diesem Eintrag vorkommen. Jeder Verweis führt zur vollständigen Erklärung.
- Prompt Injection Manipulierte Eingaben oder eingeschleuste Inhalte steuern ein Sprachmodell um.
- RAG (Retrieval Augmented Generation) Das Modell zieht vor der Antwort passende Dokumente aus einer eigenen Wissensbasis.
Verwandte Bedrohungen
Weitere Einträge aus der Themengruppe Anwendungs- und Integrationssicherheit.
Diese Bedrohung im eigenen System bewerten
Die Live-Demo enthält alle 52 Bedrohungen dieses Katalogs samt EU-AI-Act- und DSGVO-Einwertung. Die kostenlosen Einzelmodule decken KI-Risiko, EU-KI-VO und DSGVO ab. Ohne Registrierung; die Bewertung läuft lokal in Ihrem Browser.
Diesen Eintrag zitieren
Für Berichte, Richtlinien oder interne Unterlagen; der Link führt direkt auf diesen Eintrag.
„RAG-spezifische Angriffe (Document Poisoning)“. Versatile AI Risk Assessment, KI-Bedrohungskatalog, Stand Juli 2026. https://www.versatile-ai-risk-assessment.com/wissensbasis/bedrohungen/rag-document-poisoning/