Versatile AI Risk Assessment

KI-Bedrohungskatalog Autonome KI und Agenten Produktion

Agenten-Memory-Poisoning (persistenter Kontext)

KI-Agenten mit persistentem Gedächtnis übernehmen Informationen aus früheren Sitzungen als vertrauenswürdigen Kontext für künftige Entscheidungen. Wird dieser Speicher manipuliert, wirkt die Manipulation über die ursprüngliche Interaktion hinaus fort.

Stand: Oktober 2026 · Katalogversion 2026.10.24.2 · 5 Gegenmaßnahmen · 9 belegte Quellen

Beschreibung

Viele Agenten-Architekturen führen ein Langzeitgedächtnis, etwa einen Vektorspeicher, ein Notizsystem oder protokollierte Sitzungszusammenfassungen, das über einzelne Interaktionen hinweg erhalten bleibt und bei künftigen Aufgaben als Kontext herangezogen wird. Gelingt es einem Angreifer, falsche Inhalte in diesen Speicher einzuschleusen, etwa über eine scheinbar normale Anfrage, ein verarbeitetes Dokument oder ein manipuliertes Werkzeugergebnis, übernimmt der Agent diese als gelernten, vertrauenswürdigen Kontext. Anders als bei einmaligen RAG-spezifischen Angriffen wirkt die Manipulation über die ursprüngliche Sitzung hinaus in künftige, unabhängige Interaktionen fort, oft mit anderen Nutzern.

Mögliche Auswirkung

Ein vergifteter Speicher beeinflusst Entscheidungen des Agenten leise und dauerhaft, oft ohne erkennbaren Auslöser im aktuellen Gespräch. Das erschwert Erkennung und Ursachenanalyse erheblich. Betroffen sind alle künftigen Sitzungen, die auf den korrumpierten Speicher zugreifen, nicht nur die ursprüngliche Interaktion. Der EU AI Act verlangt für Hochrisiko-Systeme wirksame menschliche Aufsicht und technische Robustheit gegen Manipulation.

Beispiel

Ein Support-Agent mit persistentem Gedächtnis speichert gelernte Präferenzen aus bearbeiteten Tickets. Ein Angreifer reicht ein Ticket mit einer versteckten Anweisung ein, Erstattungsanfragen über 10.000 Euro künftig ohne Rückfrage zu genehmigen. Der Agent legt dies als Arbeitsanweisung ab. Diese vergiftete Präferenz gilt danach für alle künftigen Tickets beliebiger Kunden.

Empfohlene Gegenmaßnahmen (5)

Vergleichen Sie Wirkung und Umsetzungsebene. Die ergänzende Einordnung und Begründung können Sie bei Bedarf aufklappen.

  • Provenienz-Tracking je Memory-Eintrag (Herkunft, Zeitstempel, Quelle dokumentieren)

    Technisch
    Wirkung
    Aufdeckend
    Umsetzungsebene
    Daten, Anwendung, API & Agenten
    Einordnung und Begründung

    Ergänzende MaßnahmenartOrganisatorisch & prozessual

    Primär technisch: Kryptografische oder maschinenprüfbare Merkmale sichern Vertraulichkeit, Integrität oder Herkunft; ergänzt durch verbindliche Abläufe.

  • Segmentierung des Memory-Speichers nach Tenant und Sensitivitätsstufe

    Technisch
    Wirkung
    Präventiv
    Umsetzungsebene
    Daten, Infrastruktur
    Einordnung und Begründung

    Primär technisch: Architektur- und Laufzeitgrenzen trennen Daten, Ausführung oder Mandanten und begrenzen die Fehlerausbreitung.

  • Schreib-Gates mit Inhaltsprüfung vor jedem Commit in den persistenten Speicher

    Technisch
    Wirkung
    Präventiv
    Umsetzungsebene
    Daten, Anwendung, API & Agenten
    Einordnung und Begründung

    Primär technisch: Systemseitige Prüf-, Transformations- oder Blockierregeln stoppen oder neutralisieren unzulässige Inhalte vor der Weiterverarbeitung.

  • Verfall oder Abwertung unverifizierter Memory-Einträge über die Zeit

    Technisch
    Wirkung
    Präventiv
    Umsetzungsebene
    Daten, Anwendung, API & Agenten
    Einordnung und Begründung

    Primär technisch: Systemseitige Prüf-, Transformations- oder Blockierregeln stoppen oder neutralisieren unzulässige Inhalte vor der Weiterverarbeitung.

  • Snapshots und Rollback-Fähigkeit für den Agenten-Speicher

    Technisch
    Wirkung
    Schadensbegrenzend, Wiederherstellend
    Umsetzungsebene
    Daten, Anwendung, API & Agenten, Nutzung & Betrieb
    Einordnung und Begründung

    Primär technisch: Versionierte Zustände oder Rücksetzmechanismen ermöglichen eine kontrollierte Wiederherstellung.

Standard-Zuordnungen

Verifizierte Fundstellen in OWASP, NIST AI RMF, MITRE ATLAS, EU AI Act und weiteren Rahmenwerken. Die Zuordnungen zeigen fachliche Bezüge. Sie belegen nicht, dass ein System die jeweiligen Anforderungen erfüllt.

OWASP LLM Top 10 ASI06:2026 · LLM01:2026 · LLM05:2026MITRE ATLAS AML.T0080.000EU AI Act Article 15(5) · Article 26(5) · Article 9(1), 9(2)(a), 9(2)(d)DSGVO Article 32(1)(b) · Article 5(1)(d)

Belegte Referenzen (9)

Jede Referenz nennt Rahmenwerk, Fundstelle und die herausgebende Organisation.

Pflichten der KI-Verordnung zu dieser Bedrohung

Die Pflichten aus dem Pflichtenkompass, deren Artikel der Katalog dieser Bedrohung zuordnet. Jede führt auf ihren Eintrag mit Kern, Handlungsschritt und Nachweis; ob sie Sie trifft, hängt von Rolle und Risikoklasse ab.

  • Risikomanagementsystem einrichten und betreiben Art. 9 · gilt ab Anhang III: 2. Dezember 2027 · Anhang I: 2. August 2028

    Gesetzliche Rollen: Anbieter, Produkthersteller. Klassen: Hochrisiko nach Anhang III, Hochrisiko als Produkt oder Sicherheitsbauteil.

    Der Verweis ist ein Prüfanlass. Ein Bedrohungstreffer allein begründet keine Anwendbarkeit.

  • Genauigkeit, Robustheit und Cybersicherheit gewährleisten Art. 15, Art. 42 Abs. 3 · gilt ab Anhang III: 2. Dezember 2027 · Anhang I: 2. August 2028 · geändert durch VO 2026/1744

    Gesetzliche Rollen: Anbieter, Produkthersteller. Klassen: Hochrisiko nach Anhang III, Hochrisiko als Produkt oder Sicherheitsbauteil.

    Neu: Fällt ein Hochrisiko-System in den Anwendungsbereich der Verordnung (EU) 2024/2847 über horizontale Cybersicherheitsanforderungen und erfüllt es deren Voraussetzungen, gilt es als konform mit den Cybersicherheitsanforderungen des Art. 15. Doppelte Nachweise entfallen damit.

    Der Verweis ist ein Prüfanlass. Ein Bedrohungstreffer allein begründet keine Anwendbarkeit.

  • Betrieb überwachen und bei Risiko aussetzen Art. 26 Abs. 5 · gilt ab Anhang III: 2. Dezember 2027 · Anhang I: 2. August 2028

    Gesetzliche Rollen: Betreiber. Klassen: Hochrisiko nach Anhang III, Hochrisiko als Produkt oder Sicherheitsbauteil.

    Der Verweis ist ein Prüfanlass. Ein Bedrohungstreffer allein begründet keine Anwendbarkeit.

Alle 62 Pflichten nach Rolle, Risikoklasse und Frist im Pflichtenkompass

Begriffe auf dieser Seite

Fachbegriffe aus dem Glossar, die in diesem Eintrag vorkommen. Jeder Verweis führt zur vollständigen Erklärung.

Weitere Einträge aus der Themengruppe Autonome KI und Agenten.

Excessive Agency (übermäßige Handlungsermächtigung) Ein KI-System erhält mehr Berechtigungen oder Entscheidungsfreiheit, als seine Aufgabe erfordert. Misalignment (Fehlausrichtung) Das KI-System verfolgt nicht die Ziele, die Betreiber oder Nutzer beabsichtigen, sondern das, worauf es tatsächlich optimiert wurde. Agenten-KI / Autonome Agenten KI-Agenten planen mehrstufige Aufgaben selbstständig und führen sie mit Werkzeugen wie E-Mail, Datenbanken oder Codeausführung aus.

Passende Anwendungsfälle

Die Liste zeigt, wo Sie diese Bedrohung prüfen, nicht wie hoch das Risiko ist.

Bei 9 weiteren Anwendungsfällen hängt es vom Aufbau des Systems ab, etwa davon, ob es sich Inhalte über das einzelne Gespräch hinaus merkt. Diese Anwendungsfälle zeigen

Häufige Fragen

Worum geht es bei dieser Bedrohung?
KI-Agenten mit persistentem Gedächtnis übernehmen Informationen aus früheren Sitzungen als vertrauenswürdigen Kontext für künftige Entscheidungen. Wird dieser Speicher manipuliert, wirkt die Manipulation über die ursprüngliche Interaktion hinaus fort.
Welche Gegenmaßnahmen nennt der Katalog?
Der Katalog nennt 5 Gegenmaßnahmen, jede mit Maßnahmenart, Wirkung und Umsetzungsebene. Beispiele sind: Provenienz-Tracking je Memory-Eintrag (Herkunft, Zeitstempel, Quelle dokumentieren), Segmentierung des Memory-Speichers nach Tenant und Sensitivitätsstufe und Schreib-Gates mit Inhaltsprüfung vor jedem Commit in den persistenten Speicher. Die Reihenfolge ist keine Priorisierung.
Welche Pflichten der KI-Verordnung können relevant sein?
Der Katalog ordnet diese Bedrohung Art. 9, Art. 15 und Art. 26 Abs. 5 der EU-KI-Verordnung zu. Daraus folgen im Pflichtenkompass: Risikomanagementsystem einrichten und betreiben, Genauigkeit, Robustheit und Cybersicherheit gewährleisten und Betrieb überwachen und bei Risiko aussetzen. Ob eine Pflicht gilt, entscheiden Rolle, Risikoklasse und Frist.

Diese Bedrohung im eigenen System bewerten

Die Live-Demo enthält alle 52 Bedrohungen dieses Katalogs sowie die Einordnung nach der EU-KI-Verordnung und die Datenschutzprüfung. Die kostenlosen Einzelmodule decken KI-Risiko, EU-KI-VO und DSGVO ab. Ohne Registrierung; die Bewertung läuft lokal in Ihrem Browser.

Live-Demo starten Kostenlose Module ansehen

Diesen Eintrag zitieren

Für Berichte, Richtlinien oder interne Unterlagen; der Link führt direkt auf diesen Eintrag.

„Agenten-Memory-Poisoning (persistenter Kontext)“. Versatile AI Risk Assessment, KI-Bedrohungskatalog, Stand Oktober 2026.
https://www.versatile-ai-risk-assessment.com/wissensbasis/bedrohungen/agenten-memory-poisoning/

← Zurück zum vollständigen Katalog