Versatile AI Risk Assessment
Softwareentwicklung und IT-Sicherheit

Coding-Assistent

Englisch: AI coding assistant

Der Assistent schlägt in der Entwicklungsumgebung Code, Tests und Korrekturen vor, die Entwicklerinnen und Entwickler selbst prüfen und übernehmen.

Interaktives Modell erkunden

Handout exportieren

Eine kompakte PDF mit Funktionsweise, Datenwegen und Prüfansätzen zum Weitergeben.

Die Erläuterungen und Maßnahmen beschreiben den typischen Aufbau. Viele eigene Änderungen ergänzen einen Anhang.

Den Anwendungsfall verstehen

Was macht diesen Anwendungsfall aus?

Ein Sprachmodell liest die geöffnete Datei und weiteren Kontext aus dem Projekt und macht daraus Vorschläge, im Editor oder im Chat. Mercedes-Benz, die Bundesagentur für Arbeit und ein niederländisches Archiv setzen solche Assistenten ein. Die Sicherheitsbehörden BSI und ANSSI widmen ihnen eine eigene Schrift.

Die Seite beschreibt einen typischen Aufbau. Die tatsächlichen Datenwege und Befugnisse ergeben sich aus Ihrer Umsetzung.

Bauform
Generative Assistenz
Handlungsmacht
Liefert Ergebnisse zur Weiterverwendung
Einsatzfelder
Automobilindustrie, öffentliche Verwaltung
Auch bekannt als
KI-Programmierassistent, Codevervollständigung, GitHub Copilot

Funktionsweise und Ablauf

Aufbau und Datenwege

  1. Eingabedaten

    Der Assistent liest die geöffnete Datei, weiteren Kontext aus dem Projekt und die Anfrage der Entwicklerin oder des Entwicklers.

    Fremder Code, Abhängigkeiten, Tickets und Dokumentation aus dem Internet landen im Kontext des Assistenten. Quellcode, Testdaten und Protokolle können Personenangaben enthalten.

  2. Verarbeitung

    Ein Sprachmodell ergänzt daraus den Code oder beantwortet die Anfrage.

    Das Sprachmodell verarbeitet den Auftrag zusammen mit dem verfügbaren Codekontext und erzeugt einen Vorschlag für Code, Tests oder Dokumentation. Die Entwicklungsumgebung stellt diesen Vorschlag zur Übernahme bereit. Ausführung, Tests und Integration in das Projekt erfolgen durch weitere Werkzeuge und die vorgesehenen Freigaben.

  3. Ergebnisse

    Codezeilen, Tests, Befehle oder Erklärungen erscheinen als Vorschlag im Editor.

    Ein generiertes Ergebnis ist neu formuliert oder erzeugt. Für seine Einordnung muss erkennbar bleiben, auf welchem Auftrag und welchem Kontext es beruht.

  4. Nutzung und Auswirkungen

    Übernommene Vorschläge landen im Quellcode und mit der nächsten Auslieferung in der Software, die im Betrieb läuft.

    Das Modell liefert Informationen zur Weiterverwendung. Die Auswahl, Übernahme oder fachliche Entscheidung im anschließenden Arbeitsablauf ist ein eigener Schritt und sollte dem Modell nicht automatisch zugerechnet werden.

Aufbau aktiv erkunden: Wählen Sie einen Baustein, um seine Aufgabe, die ein- und ausgehenden Daten und die Einbindung im Anwendungsfall zu sehen. Der geführte Ablauf erläutert jede Phase. Mit Ja, Offen und Nein können Sie anschließend Ihre konkrete Systemvariante abbilden.

13 zuerst zu prüfen27 zu klären8 Grundlagen

EingangVerarbeitungErgebnisWirkung Zugangvon außen 04 Eingabe 31 InhalteDritter 10 KI-Modell 40 Dienst einesAnbieters 11 Dokumenten-sammlung 01 Gedächtnis 01 Training undRückmeldung 02 WeitereKI-Agenten 00 Werkzeuge undSchnittstellen 04 Ergebnis 312 Fachanwendungoder Anlage 00 Mensch 10 BetroffenePerson 00 KI-Diensteohne Freigabe 01 Zugangvon außen 04 Eingabe 31 InhalteDritter 10 KI-Modell 40 Dienst einesAnbieters 11 Dokumenten-sammlung 01 Gedächtnis 01 Training undRückmeldung 02 WeitereKI-Agenten 00 Werkzeuge undSchnittstellen 04 Ergebnis 312 Fachanwendungoder Anlage 00 Mensch 10 BetroffenePerson 00 KI-Diensteohne Freigabe 01
  • Vorhanden
  • Hängt von Ihrem System ab
  • Nicht vorhanden
  • Zuerst zu prüfen
  • Zu klären
Aufbau als Liste

Abgrenzung zu ähnlichen Anwendungsfällen

Daten und Informationen

Eingabedaten und Informationsquellen

Fremder Code, Abhängigkeiten, Tickets und Dokumentation aus dem Internet landen im Kontext des Assistenten. Quellcode, Testdaten und Protokolle können Personenangaben enthalten.

Verarbeitung und Betriebsumgebung

Das Sprachmodell stammt vom Anbieter des Assistenten oder von einem weiteren Modellanbieter.

Speicherung und weitere Nutzung

Viele Assistenten durchsuchen die eigene Code-Ablage (Repository) nach passendem Kontext. Manche Unternehmen verfeinern das Modell mit eigenem Code, die meisten nutzen es unverändert.

Ergebnisse und Datenweitergabe

Im Chat rufen manche Assistenten Suchen oder Funktionen der Entwicklungsumgebung auf. Bei einem Clouddienst verlassen Codeausschnitte die eigene Umgebung.

Ein eingebundener Anbieter legt den Verarbeitungsort nicht automatisch fest. Speicherort, Unterauftragnehmer, Löschfristen und die Nutzung für Training sind im konkreten Betrieb zu prüfen.

Risiken einordnen und Maßnahmen festlegen

Vom Systemverständnis zur Risikoanalyse

  1. System abgrenzen

    Daten, Beteiligte, Schnittstellen und Rechte erfassen. Offene Merkmale im Modell klären.

  2. Bedrohungen untersuchen

    Prüfkandidaten auf die tatsächlichen Datenwege beziehen: Was könnte passieren und wer wäre betroffen?

  3. Risiko bewerten

    Auswirkungen und Eintrittswahrscheinlichkeit im Einsatzkontext bewerten. Die Anzahl der Prüfkandidaten ist kein Risikowert.

  4. Maßnahmen nachweisen

    Geeignete Kontrollen auswählen, Verantwortliche und Wirksamkeitsprüfungen festlegen. Restrisiken und Freigaben dokumentieren.

Wichtige Bedrohungen im Anwendungskontext

  • 4 besonders wichtig
  • 9 üblich
  • 27 je nach System
  • 8 weitere bei jedem KI-System

Insgesamt kommen bei diesem Anwendungsfall 48 Bedrohungen aus dem Bedrohungskatalog infrage.

Vorrangige Prüfansätze

  1. Schadsoftware

    Der Assistent schlägt eine Bibliothek vor, die es gar nicht gibt, und Angreifer haben unter genau diesem Namen ein Paket mit Schadcode veröffentlicht. Wer den Vorschlag übernimmt, holt sich den Schadcode in die eigene Software.

  2. Prompt Injection: Indirekt

    Eine präparierte Datei in einem fremden Projekt oder ein Kommentar in einer Abhängigkeit enthält versteckte Anweisungen an den Assistenten. Er schlägt dann unsicheren Code vor oder gibt Inhalte aus seinem Kontext preis.

  3. Übermäßiges Vertrauen in das KI-System

    Vorschläge, die sich glatt einfügen und fehlerfrei übersetzen lassen, winkt man leicht ohne gründliche Prüfung durch. So gelangen Sicherheitslücken wie eine fehlende Eingabeprüfung in den Code.

  4. Offenlegung sensibler Informationen

    Der Assistent sendet Ausschnitte der geöffneten Dateien an den Dienst des Anbieters. Stehen darin Zugangsdaten oder Kundendaten, verlassen sie die eigene Umgebung.

9 weitere Prüfkandidaten im typischen Aufbau

Weitere relevante Bedrohungen

  1. Backdoor im ML-Modell

    Über Trainingsdaten oder ein übernommenes Grundmodell kann das Modell versteckte Auslöser für Fehlverhalten enthalten.

    Steht hier wegen dieser Eigenschaft

    • Nutzt ein Modell eines anderen Anbieters

  2. Sleepy Agent (zeit-/ereignisgetriggerte verdeckte Instruktionen)

    Ein Modell, das Anweisungen befolgt, kann sein Verhalten zu einem bestimmten Zeitpunkt oder bei einem bestimmten Ereignis ändern.

    Steht hier wegen dieser Eigenschaft

    • Führt Aufträge in normaler Sprache aus

  3. Prompt Injection: Direkt

    Nutzerinnen und Nutzer können mit ihren Eingaben die Arbeitsanweisungen des Systems aushebeln.

    Steht hier wegen dieser Eigenschaft

    • Führt Aufträge in normaler Sprache aus

  4. Jailbreaks

    Wer das System Inhalte erzeugen lässt, kann versuchen, die vorgesehenen Grenzen zu umgehen.

    Steht hier wegen dieser Eigenschaft

    • Führt Aufträge in normaler Sprache aus

  5. Extraktion des Meta-Prompts

    Geschickte Abfragen können die Arbeitsanweisungen des Systems offenlegen. Sie dürfen deshalb keine Geheimnisse enthalten.

    Steht hier wegen dieser Eigenschaft

    • Führt Aufträge in normaler Sprache aus

  6. Denial-of-Service auf das Modell

    Aufwendige oder massenhafte Eingaben können die Rechenleistung des Modells erschöpfen.

    Steht hier wegen dieser Eigenschaft

    • Schreibt eigene Texte

  7. Privacy-Angriffe

    Mit gezielten Abfragen lassen sich personenbezogene und schutzbedürftige Trainingsdaten teilweise aus dem Modell zurückgewinnen.

    Steht hier wegen dieser Eigenschaft

    • Verarbeitet vertrauliche Daten

  8. Exfiltration aus der ML-Anwendung

    Schutzbedürftige Daten können über Werkzeuge, Netzverbindungen, Speicher oder Innentäter abfließen.

    Steht hier wegen dieser Eigenschaft

    • Verarbeitet vertrauliche Daten

  9. Faktische Fehler (Halluzinationen)

    Erzeugte Texte können Tatsachen erfinden oder beim Umformulieren verfälschen.

    Steht hier wegen dieser Eigenschaft

    • Schreibt eigene Texte

Je nach Aufbau Ihres Systems kommen bis zu 27 weitere hinzu. Neun Bedrohungen prüfen Sie bei jedem KI-System. Eine davon ist hier besonders wichtig und steht deshalb oben.

Systemmerkmale und offene Fragen

Jedes Ja setzt weitere Bedrohungen auf Ihre Prüfliste, insgesamt bis zu 27. Können Sie eine Frage noch nicht beantworten, prüfen Sie die Bedrohungen mit.

Wie viele Bedrohungen bei Ja hinzukommen
  • Kommt mit diesem Ja hinzu
  • Braucht zusätzlich ein Ja auf eine andere Frage

Wie Ihr System gebaut ist

  1. Erzeugt Inhalte auf freie Anfrage10 Bedrohungen, 2 weitere nur zusammen mit weiteren Merkmalen
  2. Nutzt das Model Context Protocol (MCP)3 Bedrohungen
  3. Ruft andere Programme oder Schnittstellen auf2 Bedrohungen
  4. Verwertet Rückmeldungen aus dem Betrieb2 Bedrohungen
  5. Lernt aus Ihren eigenen Daten1 Bedrohung, 1 weitere nur zusammen mit weiteren Merkmalen
  6. Durchsucht eine eigene Sammlung von Dokumenten1 Bedrohung
  7. Formuliert Antworten aus gefundenen Dokumenten1 Bedrohung
  8. Merkt sich Inhalte über das einzelne Gespräch hinaus1 Bedrohung
  9. Lernt aus Beispielen mit richtiger Antwort1 Bedrohung
  10. Verarbeitet Text, Bild und Sprache gemeinsam1 Bedrohung

Wie Sie das System betreiben

  1. Ist für Menschen außerhalb der Organisation nutzbar4 Bedrohungen, 2 weitere nur zusammen mit weiteren Merkmalen
  2. Nimmt Anfragen direkt über eine Schnittstelle an4 Bedrohungen
  3. Ist über ein Netzwerk erreichbar1 Bedrohung, 1 weitere nur zusammen mit weiteren Merkmalen
  4. Verursacht mit jeder Anfrage Kosten1 Bedrohung
  5. Teilt Rechenleistung mit anderen Kunden oder Anwendungen1 Bedrohung
  6. Neben KI-Diensten ohne Freigabe im Einsatz1 Bedrohung

Wie Ihr System gebaut ist

Schreibt oder gestaltet das System auf freie Anfrage neue Inhalte, die Menschen direkt lesen, sehen oder hören? Übersetzen, Vorlesen und Abschreiben zählen nicht.

Mit einer Chatfunktion beantwortet der Assistent auch freie Fragen; eine reine Codevervollständigung tut das nicht.

Wenn ja, kommt hinzu

Sucht das System in einer eigenen Sammlung von Dokumenten oder Datensätzen nach passenden Inhalten?

Viele Assistenten durchsuchen die eigene Code-Ablage (Repository) nach passendem Kontext.

Wenn ja, kommt hinzu

Trainiert oder verfeinert Ihre Organisation das Modell selbst mit eigenen Daten?

Manche Unternehmen verfeinern das Modell mit eigenem Code, die meisten nutzen es unverändert.

Wenn ja, kommt hinzu

Wird das Modell mit Beispielen trainiert, denen jemand die richtige Antwort zugeordnet hat?

Ob der Anbieter das Modell mit bewerteten Beispielen verfeinert hat, zeigt meist erst seine Dokumentation.

Wenn ja, kommt hinzu

Verarbeitet das System mehrere Arten von Eingaben zusammen, etwa Text mit Bild oder Sprache?

Wenn ja, kommt hinzu

Wie Sie das System betreiben

Diese Fragen stellen sich bei fast jedem KI-System.

Nutzen Beschäftigte für diese Aufgabe auch KI-Dienste, die Ihre Organisation nicht freigegeben hat?

Manche Beschäftigte nutzen private Konten oder Erweiterungen, die nicht freigegeben sind.

Wenn ja, kommt hinzu

Maßnahmen und Umsetzung

Maßnahmen zu den Prüfschwerpunkten sind direkt geöffnet. Die verlinkten Maßnahmen erläutern jeweils die Umsetzung.

PrüfschwerpunktSchadsoftware3 Maßnahmen
PrüfschwerpunktPrompt Injection: Indirekt3 Maßnahmen
PrüfschwerpunktÜbermäßiges Vertrauen in das KI-System3 Maßnahmen
PrüfschwerpunktOffenlegung sensibler Informationen3 Maßnahmen
Backdoor im ML-Modell2 Maßnahmen
Sleepy Agent (zeit-/ereignisgetriggerte verdeckte Instruktionen)3 Maßnahmen
Prompt Injection: Direkt3 Maßnahmen
Jailbreaks2 Maßnahmen
Extraktion des Meta-Prompts2 Maßnahmen
Denial-of-Service auf das Modell3 Maßnahmen
Privacy-Angriffe3 Maßnahmen
Exfiltration aus der ML-Anwendung3 Maßnahmen
Faktische Fehler (Halluzinationen)3 Maßnahmen

Maßnahmen gegen die übrigen Bedrohungen finden Sie auf deren Seiten im Bedrohungskatalog.

Vorschriften der KI-Verordnung

Wann die Vorschriften der KI-Verordnung gelten
  1. Art. 4: KI-Kompetenz

    Für jedes KI-System Gilt seit dem 2. Februar 2025.

  2. Art. 53 Abs. 1 Buchst. b, Anhang XII: Eingebautes Allzweckmodell

    Je nach Einsatz Prüfanlass seit dem 2. August 2025.

Gilt für jedes KI-System

Art. 4: KI-Kompetenz

Greift, wenn Beschäftigte oder Beauftragte KI-Systeme betreiben oder nutzen.

Gilt seit dem 2. Februar 2025.

Pflichten und Einzelheiten
Wer die Pflichten trägt
Anbieter, Betreiber, Produkthersteller, Anbieter eines KI-Modells mit allgemeinem Verwendungszweck

Die Pflichten im Einzelnen

Kann bei bestimmtem Einsatz greifen

Art. 53 Abs. 1 Buchst. b, Anhang XII: Eingebautes Allzweckmodell

Greift, wenn ein großes Sprachmodell oder ein anderes Allzweckmodell eines fremden Anbieters in einem Assistenten steckt, den Sie selbst anbieten.

Gilt seit dem 2. August 2025.

Pflichten und Einzelheiten
Allgemein lautet die Bedingung
Greift, wenn ein KI-Modell mit allgemeinem Verwendungszweck eines anderen Anbieters eingebaut ist, etwa ein großes Sprachmodell.
Zu beachten
Die Pflichten für das Modell trägt dessen Anbieter. Er muss Ihnen die Informationen nach Anhang XII geben; nutzen Sie sie für Ihre eigene Dokumentation.
Wer die Pflichten trägt
Anbieter eines KI-Modells mit allgemeinem Verwendungszweck

Die Pflichten im Einzelnen

Ihr System im Schnellprüfer einordnen Alle Pflichten im Pflichtenkompass

Übergreifende Bedrohungen

Diese Bedrohungen prüfen Sie bei jedem KI-System, egal wofür es eingesetzt wird.

Warum diese Bedrohungen immer dazugehören

Abweichende Systemmerkmale

4 weitere Fragen ansehen

Trifft eine dieser Fragen bei Ihrem System doch zu, kommen die genannten Bedrohungen hinzu.

Quellen

Verwandte Anwendungsfälle

Ebenfalls im Einsatzgebiet Softwareentwicklung und IT-Sicherheit

Stand: 30. September 2026. Regelwerk der Prüfliste in Fassung 0.3.2, Bedrohungskatalog in Fassung 2026.10.24.2. Wie diese Seiten aufgebaut sind