Versatile AI Risk Assessment
Softwareentwicklung und IT-Sicherheit

Coding-Agent

Englisch: AI coding agent

Der Agent übernimmt ganze Programmieraufgaben, arbeitet dafür in der Code-Ablage (Repository) und im Terminal, führt Befehle selbst aus und legt die Änderungen zur Prüfung vor.

Interaktives Modell erkunden

Handout exportieren

Eine kompakte PDF mit Funktionsweise, Datenwegen und Prüfansätzen zum Weitergeben.

Die Erläuterungen und Maßnahmen beschreiben den typischen Aufbau. Viele eigene Änderungen ergänzen einen Anhang.

Den Anwendungsfall verstehen

Was macht diesen Anwendungsfall aus?

Goldman Sachs erprobt einen solchen Agenten, und Nubank hat nach Angabe des Herstellers eine große Codemigration damit erledigt.

Die Seite beschreibt einen typischen Aufbau. Die tatsächlichen Datenwege und Befugnisse ergeben sich aus Ihrer Umsetzung.

Bauform
Agent mit Werkzeugzugriff
Handlungsmacht
Kann in Anwendungen handeln
Einsatzfelder
Finanzdienstleistungen
Auch bekannt als
KI-Coding-Agent, Programmieragent, Softwareagent

Funktionsweise und Ablauf

Aufbau und Datenwege

  1. Eingabedaten

    Die Aufgabe kommt als Ticket oder Nachricht, dazu liest der Agent die Code-Ablage, die Dokumentation und bei Bedarf Webseiten.

    Tickets, fremder Code, Abhängigkeiten und Webseiten, die der Agent liest, können von Fremden stammen. Code-Ablagen, Testdaten und Protokolle können Personenangaben enthalten.

  2. Verarbeitung

    Ein Sprachmodell plant die Schritte, ändert Dateien, führt Befehle und Tests aus und passt sein Vorgehen an die Ergebnisse an.

    Das Modell plant Änderungen am Projekt, liest relevante Dateien und ruft freigegebene Entwicklungswerkzeuge auf. Die Ergebnisse von Tests oder anderen Aufrufen werden als Kontext für den nächsten Schritt verwendet. Eine erfolgreich ausgeführte Werkzeugaktion ist dabei von einer fachlich richtigen und freigegebenen Änderung zu unterscheiden.

  3. Ergebnisse

    Am Ende stehen die Änderungen als Entwicklungszweig oder Änderungsantrag mit Beschreibung bereit.

    Ein generiertes Ergebnis ist neu formuliert oder erzeugt. Für seine Einordnung muss erkennbar bleiben, auf welchem Auftrag und welchem Kontext es beruht.

  4. Nutzung und Auswirkungen

    Die Befehle wirken schon während der Arbeit in der Entwicklungsumgebung. Nach Prüfung und Zusammenführung geht die Änderung in die ausgelieferte Software.

    Durch Schreib- oder Ausführungsrechte kann das System einen Zustand in einer Anwendung verändern. Deshalb sind Modellantwort, Werkzeugaufruf und tatsächlich ausgeführte Änderung getrennt zu betrachten.

Aufbau aktiv erkunden: Wählen Sie einen Baustein, um seine Aufgabe, die ein- und ausgehenden Daten und die Einbindung im Anwendungsfall zu sehen. Der geführte Ablauf erläutert jede Phase. Mit Ja, Offen und Nein können Sie anschließend Ihre konkrete Systemvariante abbilden.

16 zuerst zu prüfen25 zu klären9 Grundlagen

EingangVerarbeitungErgebnisWirkung Zugangvon außen 04 Eingabe 21 InhalteDritter 10 KI-Modell 60 Dienst einesAnbieters 11 Dokumenten-sammlung 01 Gedächtnis 01 Training undRückmeldung 02 WeitereKI-Agenten 00 Werkzeuge undSchnittstellen 32 Ergebnis 312 Fachanwendungoder Anlage 00 Mensch 00 BetroffenePerson 00 KI-Diensteohne Freigabe 01 Zugangvon außen 04 Eingabe 21 InhalteDritter 10 KI-Modell 60 Dienst einesAnbieters 11 Dokumenten-sammlung 01 Gedächtnis 01 Training undRückmeldung 02 WeitereKI-Agenten 00 Werkzeuge undSchnittstellen 32 Ergebnis 312 Fachanwendungoder Anlage 00 Mensch 00 BetroffenePerson 00 KI-Diensteohne Freigabe 01
  • Vorhanden
  • Hängt von Ihrem System ab
  • Nicht vorhanden
  • Zuerst zu prüfen
  • Zu klären
Aufbau als Liste

Abgrenzung zu ähnlichen Anwendungsfällen

  • Coding-Assistent

    Schlägt nur Code vor, den Entwicklerinnen und Entwickler selbst prüfen und übernehmen

  • KI-Agent

    Erledigt Aufgaben in Büroanwendungen und Fachverfahren statt im Quellcode

Daten und Informationen

Eingabedaten und Informationsquellen

Tickets, fremder Code, Abhängigkeiten und Webseiten, die der Agent liest, können von Fremden stammen. Code-Ablagen, Testdaten und Protokolle können Personenangaben enthalten.

Verarbeitung und Betriebsumgebung

Agenten arbeiten mit dem Sprachmodell eines Anbieters.

Speicherung und weitere Nutzung

Viele Agenten durchsuchen Code-Ablage und Dokumentation nach passenden Stellen. Manche Agenten legen Notizen zu Projekt und früheren Aufgaben ab und lesen sie später wieder.

Ergebnisse und Datenweitergabe

Der Agent ruft Terminal, Versionsverwaltung, Paketmanager und Testwerkzeuge auf. Der Agent ändert Dateien, legt Entwicklungszweige an und stellt Änderungsanträge (Pull Requests).

Ein eingebundener Anbieter legt den Verarbeitungsort nicht automatisch fest. Speicherort, Unterauftragnehmer, Löschfristen und die Nutzung für Training sind im konkreten Betrieb zu prüfen.

Risiken einordnen und Maßnahmen festlegen

Vom Systemverständnis zur Risikoanalyse

  1. System abgrenzen

    Daten, Beteiligte, Schnittstellen und Rechte erfassen. Offene Merkmale im Modell klären.

  2. Bedrohungen untersuchen

    Prüfkandidaten auf die tatsächlichen Datenwege beziehen: Was könnte passieren und wer wäre betroffen?

  3. Risiko bewerten

    Auswirkungen und Eintrittswahrscheinlichkeit im Einsatzkontext bewerten. Die Anzahl der Prüfkandidaten ist kein Risikowert.

  4. Maßnahmen nachweisen

    Geeignete Kontrollen auswählen, Verantwortliche und Wirksamkeitsprüfungen festlegen. Restrisiken und Freigaben dokumentieren.

Wichtige Bedrohungen im Anwendungskontext

  • 4 besonders wichtig
  • 12 üblich
  • 25 je nach System
  • 9 bei jedem KI-System

Insgesamt kommen bei diesem Anwendungsfall 50 Bedrohungen aus dem Bedrohungskatalog infrage.

Vorrangige Prüfansätze

  1. Prompt Injection: Indirekt

    Ein Ticket, eine README-Datei oder eine Webseite, die der Agent liest, enthält versteckte Anweisungen. Der Agent führt sie mit seinen Rechten aus, etwa indem er Dateien löscht oder Zugangsdaten ausliest.

  2. Excessive Agency (übermäßige Handlungsermächtigung)

    Darf der Agent in den Hauptzweig, in Zugänge zum laufenden Betrieb oder in Cloudkonten schreiben, richtet ein Fehlgriff Schaden außerhalb der Entwicklungsumgebung an. Eine Änderung, die ohne Prüfung zusammengeführt wird, landet so direkt im laufenden Betrieb.

  3. Unsicheres Tool-Design

    Ein uneingeschränkter Terminalzugang erlaubt dem Agenten jeden Befehl, den auch die angemeldete Person ausführen darf. Fehlen eine abgeschottete Umgebung und eine Liste erlaubter Befehle, lässt sich ein Fehlgriff kaum begrenzen.

  4. Exfiltration aus der ML-Anwendung

    Der Agent darf Netzwerkverbindungen öffnen und Befehle ausführen. Eine eingeschleuste Anweisung kann ihn dazu bringen, Quellcode oder Geheimnisse an eine fremde Adresse zu senden.

12 weitere Prüfkandidaten im typischen Aufbau

Weitere relevante Bedrohungen

  1. Backdoor im ML-Modell

    Über Trainingsdaten oder ein übernommenes Grundmodell kann das Modell versteckte Auslöser für Fehlverhalten enthalten.

    Steht hier wegen dieser Eigenschaft

    • Nutzt ein Modell eines anderen Anbieters

  2. Sleepy Agent (zeit-/ereignisgetriggerte verdeckte Instruktionen)

    Ein Modell, das Anweisungen befolgt, kann sein Verhalten zu einem bestimmten Zeitpunkt oder bei einem bestimmten Ereignis ändern.

    Steht hier wegen dieser Eigenschaft

    • Führt Aufträge in normaler Sprache aus

  3. Prompt Injection: Direkt

    Nutzerinnen und Nutzer können mit ihren Eingaben die Arbeitsanweisungen des Systems aushebeln.

    Steht hier wegen dieser Eigenschaft

    • Führt Aufträge in normaler Sprache aus

  4. Jailbreaks

    Wer das System Inhalte erzeugen lässt, kann versuchen, die vorgesehenen Grenzen zu umgehen.

    Steht hier wegen dieser Eigenschaft

    • Führt Aufträge in normaler Sprache aus

  5. Extraktion des Meta-Prompts

    Geschickte Abfragen können die Arbeitsanweisungen des Systems offenlegen. Sie dürfen deshalb keine Geheimnisse enthalten.

    Steht hier wegen dieser Eigenschaft

    • Führt Aufträge in normaler Sprache aus

  6. Denial-of-Service auf das Modell

    Aufwendige oder massenhafte Eingaben können die Rechenleistung des Modells erschöpfen.

    Steht hier wegen dieser Eigenschaft

    • Schreibt eigene Texte

  7. Privacy-Angriffe

    Mit gezielten Abfragen lassen sich personenbezogene und schutzbedürftige Trainingsdaten teilweise aus dem Modell zurückgewinnen.

    Steht hier wegen dieser Eigenschaft

    • Verarbeitet vertrauliche Daten

  8. Offenlegung sensibler Informationen

    Vertrauliche Inhalte können in Antworten, im mitgegebenen Kontext oder in Protokollen auftauchen.

    Steht hier wegen dieser Eigenschaft

    • Verarbeitet vertrauliche Daten

  9. Schadsoftware

    Erzeugter Code kann Schadfunktionen enthalten oder helfen, solche zu entwickeln.

    Steht hier wegen dieser Eigenschaft

    • Erzeugt Programmcode oder Abfragen

  10. Faktische Fehler (Halluzinationen)

    Erzeugte Texte können Tatsachen erfinden oder beim Umformulieren verfälschen.

    Steht hier wegen dieser Eigenschaft

    • Schreibt eigene Texte

  11. Misalignment (Fehlausrichtung)

    Die vorgegebene Kennzahl kann sich verbessern, während das eigentliche fachliche Ziel verfehlt wird.

    Steht hier wegen dieser Eigenschaft

    • Legt seine Arbeitsschritte selbst fest

  12. Agenten-KI / Autonome Agenten

    Plant und handelt das System in mehreren Schritten, kann sich ein Fehler von Schritt zu Schritt verstärken.

    Steht hier wegen dieser Eigenschaft

    • Legt seine Arbeitsschritte selbst fest

Je nach Aufbau Ihres Systems kommen bis zu 25 weitere hinzu. Neun Bedrohungen prüfen Sie bei jedem KI-System.

Systemmerkmale und offene Fragen

Jedes Ja setzt weitere Bedrohungen auf Ihre Prüfliste, insgesamt bis zu 25. Können Sie eine Frage noch nicht beantworten, prüfen Sie die Bedrohungen mit.

Wie viele Bedrohungen bei Ja hinzukommen
  • Kommt mit diesem Ja hinzu
  • Braucht zusätzlich ein Ja auf eine andere Frage

Wie Ihr System gebaut ist

  1. Erzeugt Inhalte auf freie Anfrage10 Bedrohungen, 2 weitere nur zusammen mit weiteren Merkmalen
  2. Nutzt das Model Context Protocol (MCP)2 Bedrohungen
  3. Verwertet Rückmeldungen aus dem Betrieb2 Bedrohungen
  4. Lernt aus Ihren eigenen Daten1 Bedrohung, 1 weitere nur zusammen mit weiteren Merkmalen
  5. Durchsucht eine eigene Sammlung von Dokumenten1 Bedrohung
  6. Formuliert Antworten aus gefundenen Dokumenten1 Bedrohung
  7. Merkt sich Inhalte über das einzelne Gespräch hinaus1 Bedrohung
  8. Arbeitet mit anderen KI-Agenten zusammen1 Bedrohung
  9. Lernt aus Beispielen mit richtiger Antwort1 Bedrohung
  10. Verarbeitet Text, Bild und Sprache gemeinsam1 Bedrohung

Wie Sie das System betreiben

  1. Ist für Menschen außerhalb der Organisation nutzbar4 Bedrohungen, 2 weitere nur zusammen mit weiteren Merkmalen
  2. Nimmt Anfragen direkt über eine Schnittstelle an4 Bedrohungen
  3. Ist über ein Netzwerk erreichbar1 Bedrohung, 1 weitere nur zusammen mit weiteren Merkmalen
  4. Verursacht mit jeder Anfrage Kosten1 Bedrohung
  5. Teilt Rechenleistung mit anderen Kunden oder Anwendungen1 Bedrohung
  6. Neben KI-Diensten ohne Freigabe im Einsatz1 Bedrohung

Wie Ihr System gebaut ist

Sucht das System in einer eigenen Sammlung von Dokumenten oder Datensätzen nach passenden Inhalten?

Viele Agenten durchsuchen Code-Ablage und Dokumentation nach passenden Stellen.

Wenn ja, kommt hinzu

Merkt sich das System Inhalte aus früheren Gesprächen oder Aufgaben und nutzt sie später wieder?

Manche Agenten legen Notizen zu Projekt und früheren Aufgaben ab und lesen sie später wieder.

Wenn ja, kommt hinzu

Gibt das System Aufgaben an andere KI-Agenten weiter oder übernimmt es deren Ergebnisse?

Manche Agenten verteilen Teilaufgaben an weitere Agenten und übernehmen deren Ergebnisse.

Wenn ja, kommt hinzu

Verarbeitet das System mehrere Arten von Eingaben zusammen, etwa Text mit Bild oder Sprache?

Wenn ja, kommt hinzu

Wie Sie das System betreiben

Diese Fragen stellen sich bei fast jedem KI-System.

Maßnahmen und Umsetzung

Maßnahmen zu den Prüfschwerpunkten sind direkt geöffnet. Die verlinkten Maßnahmen erläutern jeweils die Umsetzung.

PrüfschwerpunktPrompt Injection: Indirekt3 Maßnahmen
PrüfschwerpunktExcessive Agency (übermäßige Handlungsermächtigung)3 Maßnahmen
PrüfschwerpunktUnsicheres Tool-Design3 Maßnahmen
PrüfschwerpunktExfiltration aus der ML-Anwendung3 Maßnahmen
Backdoor im ML-Modell2 Maßnahmen
Sleepy Agent (zeit-/ereignisgetriggerte verdeckte Instruktionen)3 Maßnahmen
Prompt Injection: Direkt3 Maßnahmen
Jailbreaks2 Maßnahmen
Extraktion des Meta-Prompts2 Maßnahmen
Denial-of-Service auf das Modell3 Maßnahmen
Privacy-Angriffe3 Maßnahmen
Offenlegung sensibler Informationen3 Maßnahmen
Schadsoftware3 Maßnahmen
Faktische Fehler (Halluzinationen)3 Maßnahmen
Misalignment (Fehlausrichtung)3 Maßnahmen
Agenten-KI / Autonome Agenten3 Maßnahmen

Maßnahmen gegen die übrigen Bedrohungen finden Sie auf deren Seiten im Bedrohungskatalog.

Vorschriften der KI-Verordnung

Wann die Vorschriften der KI-Verordnung gelten
  1. Art. 4: KI-Kompetenz

    Für jedes KI-System Gilt seit dem 2. Februar 2025.

  2. Art. 53 Abs. 1 Buchst. b, Anhang XII: Eingebautes Allzweckmodell

    Je nach Einsatz Prüfanlass seit dem 2. August 2025.

Gilt für jedes KI-System

Art. 4: KI-Kompetenz

Greift, wenn Beschäftigte oder Beauftragte KI-Systeme betreiben oder nutzen.

Gilt seit dem 2. Februar 2025.

Pflichten und Einzelheiten
Wer die Pflichten trägt
Anbieter, Betreiber, Produkthersteller, Anbieter eines KI-Modells mit allgemeinem Verwendungszweck

Die Pflichten im Einzelnen

Kann bei bestimmtem Einsatz greifen

Art. 53 Abs. 1 Buchst. b, Anhang XII: Eingebautes Allzweckmodell

Greift, wenn ein großes Sprachmodell oder ein anderes Allzweckmodell eines fremden Anbieters in einem Agenten steckt, den Sie selbst anbieten.

Gilt seit dem 2. August 2025.

Pflichten und Einzelheiten
Allgemein lautet die Bedingung
Greift, wenn ein KI-Modell mit allgemeinem Verwendungszweck eines anderen Anbieters eingebaut ist, etwa ein großes Sprachmodell.
Zu beachten
Die Pflichten für das Modell trägt dessen Anbieter. Er muss Ihnen die Informationen nach Anhang XII geben; nutzen Sie sie für Ihre eigene Dokumentation.
Wer die Pflichten trägt
Anbieter eines KI-Modells mit allgemeinem Verwendungszweck

Die Pflichten im Einzelnen

Ihr System im Schnellprüfer einordnen Alle Pflichten im Pflichtenkompass

Übergreifende Bedrohungen

Diese Bedrohungen prüfen Sie bei jedem KI-System, egal wofür es eingesetzt wird.

Warum diese Bedrohungen immer dazugehören

Abweichende Systemmerkmale

2 weitere Fragen ansehen

Trifft eine dieser Fragen bei Ihrem System doch zu, kommen die genannten Bedrohungen hinzu.

Quellen

Verwandte Anwendungsfälle

Ebenfalls im Einsatzgebiet Softwareentwicklung und IT-Sicherheit

Stand: 30. September 2026. Regelwerk der Prüfliste in Fassung 0.3.2, Bedrohungskatalog in Fassung 2026.10.24.2. Wie diese Seiten aufgebaut sind