Versatile AI Risk Assessment

KI-Bedrohungskatalog Anwendungs- und Integrationssicherheit Produktion

RAG-spezifische Angriffe (Document Poisoning)

Angreifer schleusen präparierte Dokumente in die Wissensbasis ein, aus der ein KI-System per RAG (Retrieval-Augmented Generation, Nachschlagen in eigenen Dokumenten) schöpft. Beim Abruf übernimmt das System falsche Inhalte oder versteckte Befehle.

Stand: Oktober 2026 · Katalogversion 2026.10.24.2 · 7 Gegenmaßnahmen · 11 belegte Quellen

Beschreibung

Viele KI-Assistenten im Unternehmen stützen ihre Antworten auf eine eigene Wissensbasis aus Wikis, Laufwerken, E-Mails oder Tickets. Angreifer nutzen jeden Weg, über den Inhalte in diese Wissensbasis gelangen: einen öffentlichen Kanal, eine eingehende E-Mail, ein geteiltes Dokument, einen Datei-Upload. Dort platzieren sie Inhalte, die gezielt bei bestimmten Suchanfragen gefunden werden und falsche Fakten oder versteckte Anweisungen (Indirect Prompt Injection) enthalten. Das Modell behandelt abgerufene Texte als vertrauenswürdig, gibt die gewünschte Falschantwort aus oder befolgt die Anweisung. Zugriff auf das Modell oder sein Training brauchen Angreifer dafür nicht.

Mögliche Auswirkung

Falsche Antworten erscheinen mit der Glaubwürdigkeit interner Quellen und fließen in Entscheidungen ein. Versteckte Anweisungen können vertrauliche Daten ausleiten oder Aktionen anstoßen. Die Vergiftung bleibt in der Wissensbasis bestehen und wirkt auf alle künftigen Anfragen, bis sie gefunden und entfernt wird; betroffen sind Geschäftsentscheidungen, Datenschutz und Compliance.

Beispiel

Ein Angreifer sendet eine unauffällige E-Mail mit versteckten Anweisungen an die Buchhaltung. Der KI-Assistent nimmt sie in seine Wissensbasis auf; fragt eine Mitarbeiterin später nach der Bankverbindung eines Lieferanten, nennt der Assistent das Konto des Angreifers.

Empfohlene Gegenmaßnahmen (7)

Vergleichen Sie Wirkung und Umsetzungsebene. Die ergänzende Einordnung und Begründung können Sie bei Bedarf aufklappen.

  • Validierung der Dokumentenquellen

    Technisch
    Wirkung
    Präventiv
    Umsetzungsebene
    Daten
    Einordnung und Begründung

    Primär technisch: Systemseitige Prüf-, Transformations- oder Blockierregeln stoppen oder neutralisieren unzulässige Inhalte vor der Weiterverarbeitung.

  • Integritäts-Monitoring der Wissensbasis

    Technisch
    Wirkung
    Aufdeckend
    Umsetzungsebene
    Daten, Nutzung & Betrieb
    Einordnung und Begründung

    Ergänzende MaßnahmenartOrganisatorisch & prozessual

    Primär technisch: Software oder Analysewerkzeuge erzeugen und bewerten systematisch Messwerte, Abweichungen oder Angriffsindikatoren; ergänzt durch verbindliche Abläufe.

  • Zugriffskontrollen auf die RAG-Dokumenten-Ingestion

    Technisch
    Wirkung
    Präventiv
    Umsetzungsebene
    Daten, Anwendung, API & Agenten
    Einordnung und Begründung

    Ergänzende MaßnahmenartOrganisatorisch & prozessual

    Primär technisch: Maschinell erzwungene Identitäts-, Berechtigungs- oder Bereichsregeln begrenzen unzulässige Zugriffe und Aktionen; ergänzt durch verbindliche Abläufe.

  • Confidence-Schwellen für das Retrieval

    Technisch
    Wirkung
    Präventiv, Aufdeckend
    Umsetzungsebene
    Daten, Anwendung, API & Agenten
    Einordnung und Begründung

    Primär technisch: Systemseitige Prüf-, Transformations- oder Blockierregeln stoppen oder neutralisieren unzulässige Inhalte vor der Weiterverarbeitung.

  • Bestätigung über mehrere Quellen

    Technisch
    Wirkung
    Präventiv, Aufdeckend
    Umsetzungsebene
    Daten
    Einordnung und Begründung

    Primär technisch: Software oder Analysewerkzeuge erzeugen und bewerten systematisch Messwerte, Abweichungen oder Angriffsindikatoren.

  • Regelmäßige Audits der Wissensbasis

    Organisatorisch & prozessual
    Wirkung
    Aufdeckend
    Umsetzungsebene
    Daten, Nutzung & Betrieb
    Einordnung und Begründung

    Ergänzende MaßnahmenartGovernance & Compliance

    Primär organisatorisch & prozessual: Ein geplanter, wiederholbarer Prüfablauf mit Zuständigkeit und Nachverfolgung erzeugt die Schutzwirkung; ergänzt durch Regeln und Aufsicht.

  • Anomalie-Erkennung auf abgerufenen Inhalten

    Technisch
    Wirkung
    Aufdeckend
    Umsetzungsebene
    Daten, Anwendung, API & Agenten
    Einordnung und Begründung

    Primär technisch: Software oder Analysewerkzeuge erzeugen und bewerten systematisch Messwerte, Abweichungen oder Angriffsindikatoren.

Standard-Zuordnungen

Verifizierte Fundstellen in OWASP, NIST AI RMF, MITRE ATLAS, EU AI Act und weiteren Rahmenwerken. Die Zuordnungen zeigen fachliche Bezüge. Sie belegen nicht, dass ein System die jeweiligen Anforderungen erfüllt.

OWASP LLM Top 10 ASI06:2026 · LLM01:2026 · LLM05:2026 · LLM09:2026NIST AI RMF NISTAML.015 · NISTAML.027MITRE ATLAS AML.T0051EU AI Act Article 25(4) · Article 9(1), 9(2)(a), 9(2)(d)BSI R18BIML BIML-LLM raw:10

Belegte Referenzen (11)

Jede Referenz nennt Rahmenwerk, Fundstelle und die herausgebende Organisation.

Pflichten der KI-Verordnung zu dieser Bedrohung

Die Pflichten aus dem Pflichtenkompass, deren Artikel der Katalog dieser Bedrohung zuordnet. Jede führt auf ihren Eintrag mit Kern, Handlungsschritt und Nachweis; ob sie Sie trifft, hängt von Rolle und Risikoklasse ab.

  • Risikomanagementsystem einrichten und betreiben Art. 9 · gilt ab Anhang III: 2. Dezember 2027 · Anhang I: 2. August 2028

    Gesetzliche Rollen: Anbieter, Produkthersteller. Klassen: Hochrisiko nach Anhang III, Hochrisiko als Produkt oder Sicherheitsbauteil.

    Der Verweis ist ein Prüfanlass. Ein Bedrohungstreffer allein begründet keine Anwendbarkeit.

  • Nachgelagerte Anbieter unterstützen Art. 25 Abs. 2, Art. 25 Abs. 4 · gilt ab Anhang III: 2. Dezember 2027 · Anhang I: 2. August 2028 · geändert durch VO 2026/1744

    Gesetzliche Rollen: Anbieter, Anbieter eines KI-Modells mit allgemeinem Verwendungszweck. Klassen: Hochrisiko nach Anhang III, Hochrisiko als Produkt oder Sicherheitsbauteil.

    Die Verordnung (EU) 2026/1744 hat die Kooperationspflicht des Erstanbieters konkretisiert und zugleich eine Ausnahme geschaffen: Sie entfällt, wenn der Erstanbieter eindeutig festgelegt hat, dass sein System nicht in ein Hochrisiko-System umgewandelt werden darf. Verstöße gegen Art. 25 Abs. 2 und 4 sind seither ausdrücklich bußgeldbewehrt.

    Der Verweis ist ein Prüfanlass. Ein Bedrohungstreffer allein begründet keine Anwendbarkeit.

Alle 62 Pflichten nach Rolle, Risikoklasse und Frist im Pflichtenkompass

Begriffe auf dieser Seite

Fachbegriffe aus dem Glossar, die in diesem Eintrag vorkommen. Jeder Verweis führt zur vollständigen Erklärung.

Weitere Einträge aus der Themengruppe Anwendungs- und Integrationssicherheit.

Unsicherer Umgang mit Modellausgaben Die Anwendung reicht Antworten des KI-Modells ungeprüft an nachgelagerte Systeme weiter, etwa an Datenbanken, Webseiten oder Befehlszeilen. Unsicheres Tool-Design Viele KI-Anwendungen handeln selbst, indem sie über angebundene Werkzeuge (Tools) E-Mails versenden oder Datenbanken abfragen. Anwendungs-Schwachstellen Die Software rund um das KI-Modell, also Weboberfläche, Schnittstellen und Datenbanken, hat dieselben Schwachstellen wie jede andere …

Passende Anwendungsfälle

Die Liste zeigt, wo Sie diese Bedrohung prüfen, nicht wie hoch das Risiko ist.

Besonders wichtig bei:

  • KI-Assistent in BüroanwendungenJemand legt ein Dokument mit falschen Angaben in eine gemeinsame Ablage. Der Assistent zitiert es als Quelle und trägt den Fehler in Antworten an viele Beschäftigte weiter.
  • KI-Wissensassistent (Enterprise Search)Jemand legt ein Dokument mit falschen oder manipulierten Angaben in den Bestand. Der Assistent zitiert es als Fundstelle, und die Antwort wirkt dadurch besonders glaubwürdig.
  • Polizeiliche Datenanalyse (Analyseplattformen)In die Bestände gelangen auch Hinweise und sichergestellte Daten, die Dritte gezielt gestaltet haben können. Ein falscher Eintrag erzeugt dann Verbindungen, die bei jeder späteren Suche wieder auftauchen.

Üblich bei:

Bei 12 weiteren Anwendungsfällen hängt es vom Aufbau des Systems ab, etwa davon, ob es eine eigene Sammlung von Dokumenten durchsucht oder Antworten aus gefundenen Dokumenten formuliert. Diese Anwendungsfälle zeigen

Häufige Fragen

Worum geht es bei dieser Bedrohung?
Angreifer schleusen präparierte Dokumente in die Wissensbasis ein, aus der ein KI-System per RAG (Retrieval-Augmented Generation, Nachschlagen in eigenen Dokumenten) schöpft. Beim Abruf übernimmt das System falsche Inhalte oder versteckte Befehle.
Welche Gegenmaßnahmen nennt der Katalog?
Der Katalog nennt 7 Gegenmaßnahmen, jede mit Maßnahmenart, Wirkung und Umsetzungsebene. Beispiele sind: Validierung der Dokumentenquellen, Integritäts-Monitoring der Wissensbasis und Zugriffskontrollen auf die RAG-Dokumenten-Ingestion. Die Reihenfolge ist keine Priorisierung.
Welche Pflichten der KI-Verordnung können relevant sein?
Der Katalog ordnet diese Bedrohung Art. 9 und Art. 25 Abs. 2 der EU-KI-Verordnung zu. Daraus folgen im Pflichtenkompass: Risikomanagementsystem einrichten und betreiben und Nachgelagerte Anbieter unterstützen. Ob eine Pflicht gilt, entscheiden Rolle, Risikoklasse und Frist.

Diese Bedrohung im eigenen System bewerten

Die Live-Demo enthält alle 52 Bedrohungen dieses Katalogs sowie die Einordnung nach der EU-KI-Verordnung und die Datenschutzprüfung. Die kostenlosen Einzelmodule decken KI-Risiko, EU-KI-VO und DSGVO ab. Ohne Registrierung; die Bewertung läuft lokal in Ihrem Browser.

Live-Demo starten Kostenlose Module ansehen

Diesen Eintrag zitieren

Für Berichte, Richtlinien oder interne Unterlagen; der Link führt direkt auf diesen Eintrag.

„RAG-spezifische Angriffe (Document Poisoning)“. Versatile AI Risk Assessment, KI-Bedrohungskatalog, Stand Oktober 2026.
https://www.versatile-ai-risk-assessment.com/wissensbasis/bedrohungen/rag-document-poisoning/

← Zurück zum vollständigen Katalog