Versatile AI Risk Assessment
Büroarbeit und Wissensmanagement

KI-Agent

Englisch: AI agent, agentic AI

Ein KI-Agent zerlegt eine Aufgabe in Schritte und erledigt sie weitgehend selbst, mit Werkzeugen, Schnittstellen und eigenen Rechten in Fachanwendungen.

Interaktives Modell erkunden

Handout exportieren

Eine kompakte PDF mit Funktionsweise, Datenwegen und Prüfansätzen zum Weitergeben.

Die Erläuterungen und Maßnahmen beschreiben den typischen Aufbau. Viele eigene Änderungen ergänzen einen Anhang.

Den Anwendungsfall verstehen

Was macht diesen Anwendungsfall aus?

Ein Versicherer lässt Agenten Schadenfälle vorbereiten, deutsche Kommunen haben sie erprobt, und ein Telekommunikationsunternehmen nutzt sie im Kundenservice.

Die Seite beschreibt einen typischen Aufbau. Die tatsächlichen Datenwege und Befugnisse ergeben sich aus Ihrer Umsetzung.

Bauform
Agent mit Werkzeugzugriff
Handlungsmacht
Kann in Anwendungen handeln
Einsatzfelder
Versicherungen, öffentliche Verwaltung, Telekommunikation
Auch bekannt als
agentisches System, Workflow-Agent, Rechercheagent, Browser-Agent, Computer-Use-Agent

Funktionsweise und Ablauf

Aufbau und Datenwege

  1. Eingabedaten

    Eine Aufgabe kommt herein, etwa eine Schadenmeldung, ein Antrag oder ein Ticket.

    Schadenmeldungen, Anträge, Tickets und Webseiten stammen von Außenstehenden. Agenten, die einen Browser oder den ganzen Bildschirm bedienen, werten Bildschirminhalte als Bild aus.

  2. Verarbeitung

    Ein Sprachmodell plant die Schritte, ruft Werkzeuge und Schnittstellen auf und bewertet, was zurückkommt.

    Das Modell zerlegt einen Auftrag in Teilschritte und wählt aus den freigegebenen Werkzeugen passende Aufrufe aus. Eine Ausführungsumgebung führt diese Aufrufe aus und gibt die Ergebnisse an das Modell zurück. Daraus können weitere Schritte entstehen. Planung, tatsächliche Werkzeugausführung und Freigabe sind unterschiedliche Teile des Systems.

  3. Ergebnisse

    Der Agent legt Vorgänge an, ändert Datensätze oder legt einem Menschen einen fertigen Entscheidungsvorschlag vor.

    Ein generiertes Ergebnis ist neu formuliert oder erzeugt. Für seine Einordnung muss erkennbar bleiben, auf welchem Auftrag und welchem Kontext es beruht.

  4. Nutzung und Auswirkungen

    Seine Handlungen ändern Fachanwendungen sofort und können Zahlungen, Bescheide oder Antworten an Kundinnen und Kunden auslösen.

    Durch Schreib- oder Ausführungsrechte kann das System einen Zustand in einer Anwendung verändern. Deshalb sind Modellantwort, Werkzeugaufruf und tatsächlich ausgeführte Änderung getrennt zu betrachten.

Aufbau aktiv erkunden: Wählen Sie einen Baustein, um seine Aufgabe, die ein- und ausgehenden Daten und die Einbindung im Anwendungsfall zu sehen. Der geführte Ablauf erläutert jede Phase. Mit Ja, Offen und Nein können Sie anschließend Ihre konkrete Systemvariante abbilden.

15 zuerst zu prüfen27 zu klären9 Grundlagen

EingangVerarbeitungErgebnisWirkung Zugangvon außen 04 Eingabe 21 InhalteDritter 10 KI-Modell 60 Dienst einesAnbieters 11 Dokumenten-sammlung 02 Gedächtnis 01 Training undRückmeldung 02 WeitereKI-Agenten 00 Werkzeuge undSchnittstellen 32 Ergebnis 213 Fachanwendungoder Anlage 00 Mensch 00 BetroffenePerson 00 KI-Diensteohne Freigabe 01 Zugangvon außen 04 Eingabe 21 InhalteDritter 10 KI-Modell 60 Dienst einesAnbieters 11 Dokumenten-sammlung 02 Gedächtnis 01 Training undRückmeldung 02 WeitereKI-Agenten 00 Werkzeuge undSchnittstellen 32 Ergebnis 213 Fachanwendungoder Anlage 00 Mensch 00 BetroffenePerson 00 KI-Diensteohne Freigabe 01
  • Vorhanden
  • Hängt von Ihrem System ab
  • Nicht vorhanden
  • Zuerst zu prüfen
  • Zu klären
Aufbau als Liste

Abgrenzung zu ähnlichen Anwendungsfällen

Daten und Informationen

Eingabedaten und Informationsquellen

Schadenmeldungen, Anträge, Tickets und Webseiten stammen von Außenstehenden. Schadenfälle, Anträge und Kundenanliegen betreffen bestimmte Personen.

Verarbeitung und Betriebsumgebung

Das Sprachmodell, das den Agenten steuert, stammt in der Regel von einem anderen Anbieter.

Speicherung und weitere Nutzung

Rechercheagenten durchsuchen Dokumentbestände oder das Internet; andere Agenten arbeiten nur mit den Daten der Fachanwendung. Manche Agenten legen Zwischenstände und Erkenntnisse ab und nutzen sie in späteren Aufgaben wieder.

Ergebnisse und Datenweitergabe

Der Agent ruft selbst Programme, Schnittstellen und Suchen auf, etwa Wetterdaten oder Vertragsdaten in der Schadenbearbeitung. Er legt Vorgänge an, ändert Datensätze oder bereitet Zahlungen vor und verändert damit Fachanwendungen.

Ein eingebundener Anbieter legt den Verarbeitungsort nicht automatisch fest. Speicherort, Unterauftragnehmer, Löschfristen und die Nutzung für Training sind im konkreten Betrieb zu prüfen.

Risiken einordnen und Maßnahmen festlegen

Vom Systemverständnis zur Risikoanalyse

  1. System abgrenzen

    Daten, Beteiligte, Schnittstellen und Rechte erfassen. Offene Merkmale im Modell klären.

  2. Bedrohungen untersuchen

    Prüfkandidaten auf die tatsächlichen Datenwege beziehen: Was könnte passieren und wer wäre betroffen?

  3. Risiko bewerten

    Auswirkungen und Eintrittswahrscheinlichkeit im Einsatzkontext bewerten. Die Anzahl der Prüfkandidaten ist kein Risikowert.

  4. Maßnahmen nachweisen

    Geeignete Kontrollen auswählen, Verantwortliche und Wirksamkeitsprüfungen festlegen. Restrisiken und Freigaben dokumentieren.

Wichtige Bedrohungen im Anwendungskontext

  • 4 besonders wichtig
  • 11 üblich
  • 27 je nach System
  • 9 bei jedem KI-System

Insgesamt kommen bei diesem Anwendungsfall 51 Bedrohungen aus dem Bedrohungskatalog infrage.

Vorrangige Prüfansätze

  1. Prompt Injection: Indirekt

    Ein präpariertes Ticket oder eine Schadenmeldung enthält Anweisungen, die der Agent als Auftrag versteht. Er führt sie mit seinen Systemrechten aus, etwa indem er Daten weitergibt oder einen Vorgang freigibt.

  2. Excessive Agency (übermäßige Handlungsermächtigung)

    Der Agent hat Schreibrechte in mehreren Fachanwendungen, obwohl er für seine Aufgabe nur lesen müsste. Ein Fehler oder eine eingeschleuste Anweisung ändert dann Datensätze oder löst Zahlungen aus.

  3. Agenten-KI / Autonome Agenten

    Der Agent wählt einen Lösungsweg, den niemand vorgesehen hat, und arbeitet ihn Schritt für Schritt ab. Bis jemand die Ergebnisse prüft, hat er bereits viele Vorgänge bearbeitet.

  4. Unsicheres Tool-Design

    Ein Werkzeug des Agenten nimmt beliebige Eingaben an und prüft nicht, wer den Aufruf auslöst. So erreicht der Agent Daten und Funktionen, die mit seiner Aufgabe nichts zu tun haben.

11 weitere Prüfkandidaten im typischen Aufbau

Weitere relevante Bedrohungen

  1. Backdoor im ML-Modell

    Über Trainingsdaten oder ein übernommenes Grundmodell kann das Modell versteckte Auslöser für Fehlverhalten enthalten.

    Steht hier wegen dieser Eigenschaft

    • Nutzt ein Modell eines anderen Anbieters

  2. Sleepy Agent (zeit-/ereignisgetriggerte verdeckte Instruktionen)

    Ein Modell, das Anweisungen befolgt, kann sein Verhalten zu einem bestimmten Zeitpunkt oder bei einem bestimmten Ereignis ändern.

    Steht hier wegen dieser Eigenschaft

    • Führt Aufträge in normaler Sprache aus

  3. Prompt Injection: Direkt

    Nutzerinnen und Nutzer können mit ihren Eingaben die Arbeitsanweisungen des Systems aushebeln.

    Steht hier wegen dieser Eigenschaft

    • Führt Aufträge in normaler Sprache aus

  4. Jailbreaks

    Wer das System Inhalte erzeugen lässt, kann versuchen, die vorgesehenen Grenzen zu umgehen.

    Steht hier wegen dieser Eigenschaft

    • Führt Aufträge in normaler Sprache aus

  5. Extraktion des Meta-Prompts

    Geschickte Abfragen können die Arbeitsanweisungen des Systems offenlegen. Sie dürfen deshalb keine Geheimnisse enthalten.

    Steht hier wegen dieser Eigenschaft

    • Führt Aufträge in normaler Sprache aus

  6. Denial-of-Service auf das Modell

    Aufwendige oder massenhafte Eingaben können die Rechenleistung des Modells erschöpfen.

    Steht hier wegen dieser Eigenschaft

    • Schreibt eigene Texte

  7. Privacy-Angriffe

    Mit gezielten Abfragen lassen sich personenbezogene und schutzbedürftige Trainingsdaten teilweise aus dem Modell zurückgewinnen.

    Steht hier wegen dieser Eigenschaften

    • Verarbeitet personenbezogene Daten
    • Verarbeitet vertrauliche Daten

  8. Offenlegung sensibler Informationen

    Vertrauliche Inhalte können in Antworten, im mitgegebenen Kontext oder in Protokollen auftauchen.

    Steht hier wegen dieser Eigenschaften

    • Verarbeitet personenbezogene Daten
    • Verarbeitet vertrauliche Daten

  9. Exfiltration aus der ML-Anwendung

    Schutzbedürftige Daten können über Werkzeuge, Netzverbindungen, Speicher oder Innentäter abfließen.

    Steht hier wegen dieser Eigenschaften

    • Ruft andere Programme oder Schnittstellen auf
    • Verarbeitet vertrauliche Daten

  10. Faktische Fehler (Halluzinationen)

    Erzeugte Texte können Tatsachen erfinden oder beim Umformulieren verfälschen.

    Steht hier wegen dieser Eigenschaft

    • Schreibt eigene Texte

  11. Misalignment (Fehlausrichtung)

    Die vorgegebene Kennzahl kann sich verbessern, während das eigentliche fachliche Ziel verfehlt wird.

    Steht hier wegen dieser Eigenschaft

    • Legt seine Arbeitsschritte selbst fest

Je nach Aufbau Ihres Systems kommen bis zu 27 weitere hinzu. Neun Bedrohungen prüfen Sie bei jedem KI-System.

Systemmerkmale und offene Fragen

Jedes Ja setzt weitere Bedrohungen auf Ihre Prüfliste, insgesamt bis zu 27. Können Sie eine Frage noch nicht beantworten, prüfen Sie die Bedrohungen mit.

Wie viele Bedrohungen bei Ja hinzukommen
  • Kommt mit diesem Ja hinzu
  • Braucht zusätzlich ein Ja auf eine andere Frage

Wie Ihr System gebaut ist

  1. Erzeugt Inhalte auf freie Anfrage10 Bedrohungen, 2 weitere nur zusammen mit weiteren Merkmalen
  2. Nutzt das Model Context Protocol (MCP)2 Bedrohungen
  3. Verwertet Rückmeldungen aus dem Betrieb2 Bedrohungen
  4. Durchsucht eine eigene Sammlung von Dokumenten1 Bedrohung, 1 weitere nur zusammen mit weiteren Merkmalen
  5. Lernt aus Ihren eigenen Daten1 Bedrohung, 1 weitere nur zusammen mit weiteren Merkmalen
  6. Formuliert Antworten aus gefundenen Dokumenten1 Bedrohung
  7. Merkt sich Inhalte über das einzelne Gespräch hinaus1 Bedrohung
  8. Arbeitet mit anderen KI-Agenten zusammen1 Bedrohung
  9. Lernt aus Beispielen mit richtiger Antwort1 Bedrohung
  10. Verarbeitet Text, Bild und Sprache gemeinsam1 Bedrohung
  11. Erzeugt Programmcode oder Abfragen1 Bedrohung
  12. Ein Suchspeicher für mehrere Berechtigungsgruppen1 Bedrohung nur zusammen mit weiteren Merkmalen

Wie Sie das System betreiben

  1. Ist für Menschen außerhalb der Organisation nutzbar4 Bedrohungen, 2 weitere nur zusammen mit weiteren Merkmalen
  2. Nimmt Anfragen direkt über eine Schnittstelle an4 Bedrohungen
  3. Ist über ein Netzwerk erreichbar1 Bedrohung, 1 weitere nur zusammen mit weiteren Merkmalen
  4. Verursacht mit jeder Anfrage Kosten1 Bedrohung
  5. Teilt Rechenleistung mit anderen Kunden oder Anwendungen1 Bedrohung
  6. Neben KI-Diensten ohne Freigabe im Einsatz1 Bedrohung

Wie Ihr System gebaut ist

Schreibt oder gestaltet das System auf freie Anfrage neue Inhalte, die Menschen direkt lesen, sehen oder hören? Übersetzen, Vorlesen und Abschreiben zählen nicht.

Entwirft der Agent Antworten an Kundinnen und Kunden oder Bürgerinnen und Bürger, erreichen seine Texte Menschen direkt; bei reinen Abläufen im Hintergrund nicht.

Wenn ja, kommt hinzu

Merkt sich das System Inhalte aus früheren Gesprächen oder Aufgaben und nutzt sie später wieder?

Manche Agenten legen Zwischenstände und Erkenntnisse ab und nutzen sie in späteren Aufgaben wieder.

Wenn ja, kommt hinzu

Gibt das System Aufgaben an andere KI-Agenten weiter oder übernimmt es deren Ergebnisse?

Bei der Allianz arbeiten sieben spezialisierte Agenten an jedem Schaden zusammen; einfache Agenten arbeiten allein.

Wenn ja, kommt hinzu

Verarbeitet das System mehrere Arten von Eingaben zusammen, etwa Text mit Bild oder Sprache?

Agenten, die einen Browser oder den ganzen Bildschirm bedienen, werten Bildschirminhalte als Bild aus.

Wenn ja, kommt hinzu

Erzeugt das System Programmcode, Skripte oder Datenbankabfragen, die weiterverwendet werden?

Wenn ja, kommt hinzu

Wie Sie das System betreiben

Diese Fragen stellen sich bei fast jedem KI-System.

Zahlen Sie je Anfrage oder je Rechenzeit, sodass die Kosten mit der Nutzung steigen?

Jeder Schritt ruft das Sprachmodell erneut auf; gerät ein Agent in eine Schleife, steigen die Kosten schnell.

Wenn ja, kommt hinzu

Maßnahmen und Umsetzung

Maßnahmen zu den Prüfschwerpunkten sind direkt geöffnet. Die verlinkten Maßnahmen erläutern jeweils die Umsetzung.

PrüfschwerpunktPrompt Injection: Indirekt3 Maßnahmen
PrüfschwerpunktExcessive Agency (übermäßige Handlungsermächtigung)3 Maßnahmen
PrüfschwerpunktAgenten-KI / Autonome Agenten3 Maßnahmen
PrüfschwerpunktUnsicheres Tool-Design3 Maßnahmen
Backdoor im ML-Modell2 Maßnahmen
Sleepy Agent (zeit-/ereignisgetriggerte verdeckte Instruktionen)3 Maßnahmen
Prompt Injection: Direkt3 Maßnahmen
Jailbreaks2 Maßnahmen
Extraktion des Meta-Prompts2 Maßnahmen
Denial-of-Service auf das Modell3 Maßnahmen
Privacy-Angriffe3 Maßnahmen
Offenlegung sensibler Informationen3 Maßnahmen
Exfiltration aus der ML-Anwendung3 Maßnahmen
Faktische Fehler (Halluzinationen)3 Maßnahmen
Misalignment (Fehlausrichtung)3 Maßnahmen

Maßnahmen gegen die übrigen Bedrohungen finden Sie auf deren Seiten im Bedrohungskatalog.

Vorschriften der KI-Verordnung

Wann die Vorschriften der KI-Verordnung gelten
  1. Art. 4: KI-Kompetenz

    Für jedes KI-System Gilt seit dem 2. Februar 2025.

  2. Art. 53 Abs. 1 Buchst. b, Anhang XII: Eingebautes Allzweckmodell

    Je nach Einsatz Prüfanlass seit dem 2. August 2025.

  3. Art. 50 Abs. 1: Hinweis auf eine KI im Gespräch

    Bei typischem Einsatz Prüfanlass seit dem 2. August 2026.

  4. Anhang III Nr. 5 Buchst. a: Öffentliche Unterstützungsleistungen

    Je nach Einsatz Prüfanlass ab dem 2. Dezember 2027.

Gilt für jedes KI-System

Art. 4: KI-Kompetenz

Greift, wenn Beschäftigte oder Beauftragte KI-Systeme betreiben oder nutzen.

Gilt seit dem 2. Februar 2025.

Pflichten und Einzelheiten
Wer die Pflichten trägt
Anbieter, Betreiber, Produkthersteller, Anbieter eines KI-Modells mit allgemeinem Verwendungszweck

Die Pflichten im Einzelnen

Kann beim üblichen Einsatz greifen

Art. 50 Abs. 1: Hinweis auf eine KI im Gespräch

Greift, wenn der Agent direkt mit Kundinnen und Kunden oder Bürgerinnen und Bürgern schreibt oder spricht und für sie nicht offensichtlich ist, dass eine KI antwortet.

Gilt seit dem 2. August 2026.

Pflichten und Einzelheiten
Allgemein lautet die Bedingung
Greift, wenn Menschen direkt mit dem System schreiben oder sprechen und nicht offensichtlich ist, dass sie es mit einer KI zu tun haben.
Wer die Pflichten trägt
Anbieter, Produkthersteller

Die Pflichten im Einzelnen

Kann bei bestimmtem Einsatz greifen

Anhang III Nr. 5 Buchst. a: Öffentliche Unterstützungsleistungen

Greift, wenn der Agent für eine Behörde Anträge auf öffentliche Unterstützungsleistungen prüft oder Entscheidungen darüber vorbereitet.

Gilt ab dem 2. Dezember 2027.

Pflichten und Einzelheiten
Allgemein lautet die Bedingung
Greift, wenn Behörden oder Stellen in ihrem Auftrag mit dem System prüfen, ob jemand Anspruch auf öffentliche Leistungen und Dienste hat, oder diese gewähren, kürzen oder zurückfordern.
Wer die Pflichten trägt
Anbieter, Betreiber, Produkthersteller

Die Pflichten im Einzelnen

Art. 53 Abs. 1 Buchst. b, Anhang XII: Eingebautes Allzweckmodell

Greift, wenn Ihre Organisation den Agenten selbst baut und ihn mit einem großen Sprachmodell oder einem anderen Allzweckmodell eines fremden Anbieters steuert.

Gilt seit dem 2. August 2025.

Pflichten und Einzelheiten
Allgemein lautet die Bedingung
Greift, wenn ein KI-Modell mit allgemeinem Verwendungszweck eines anderen Anbieters eingebaut ist, etwa ein großes Sprachmodell.
Zu beachten
Die Pflichten für das Modell trägt dessen Anbieter. Er muss Ihnen die Informationen nach Anhang XII geben; nutzen Sie sie für Ihre eigene Dokumentation.
Wer die Pflichten trägt
Anbieter eines KI-Modells mit allgemeinem Verwendungszweck

Die Pflichten im Einzelnen

Ihr System im Schnellprüfer einordnen Alle Pflichten im Pflichtenkompass

Übergreifende Bedrohungen

Diese Bedrohungen prüfen Sie bei jedem KI-System, egal wofür es eingesetzt wird.

Warum diese Bedrohungen immer dazugehören

Abweichende Systemmerkmale

1 weitere Frage ansehen

Trifft eine dieser Fragen bei Ihrem System doch zu, kommen die genannten Bedrohungen hinzu.

Quellen

Verwandte Anwendungsfälle

Ebenfalls im Einsatzgebiet Büroarbeit und Wissensmanagement

Oft zusammen eingesetzt mit

Stand: 30. September 2026. Regelwerk der Prüfliste in Fassung 0.3.2, Bedrohungskatalog in Fassung 2026.10.24.2. Wie diese Seiten aufgebaut sind