KI-BedrohungskatalogAnwendungs- und IntegrationssicherheitProduktion
Unsicheres Tool-Design
Viele KI-Anwendungen handeln selbst, indem sie über angebundene Werkzeuge (Tools) E-Mails versenden oder Datenbanken abfragen. Sind diese Werkzeuge zu mächtig oder schlecht abgesichert, lösen Angreifer über das Modell nie vorgesehene Aktionen aus.
Beschreibung
Werkzeuge sind Funktionen oder Plugins, die ein KI-Modell aufrufen darf, um Aufgaben zu erledigen. Die Schwachstelle entsteht beim Entwurf: Ein Werkzeug erhält mehr Rechte als nötig (Überprivilegierung), prüft übergebene Eingaben nicht streng genug oder bietet unsichere Schnittstellen wie direkten Zugriff auf die Kommandozeile. Angreifer nutzen das aus, indem sie das Modell mit manipulierten Eingaben, etwa einer Prompt Injection (in verarbeitete Texte eingeschleuste Anweisungen), zu Werkzeugaufrufen bewegen. Das Werkzeug führt die Aktion aus, weil es dem Modell vertraut. Da Werkzeuge oft Zugriffe besitzen, die Nutzern direkt verwehrt sind, verschaffen sie Angreifern zusätzliche Rechte.
Mögliche Auswirkung
Angreifer lösen unautorisierte Aktionen mit unmittelbarer Wirkung aus: Sie lesen, verändern oder löschen Daten, versenden E-Mails, stoßen Buchungen an oder führen Code aus. Eine einzige manipulierte Eingabe wirkt so bis in angebundene Geschäftssysteme hinein. Betroffen sind Betrieb, Datenschutz und Haftung des Unternehmens, bei personenbezogenen Daten auch Pflichten nach der DSGVO.
Beispiel
Ein E-Mail-Assistent soll Posteingänge nur zusammenfassen, darf über sein Werkzeug aber auch Nachrichten versenden. Eine präparierte eingehende E-Mail weist das Modell an, vertrauliche Korrespondenz weiterzuleiten; das Werkzeug führt den Versand an die fremde Adresse aus.
Empfohlene Gegenmaßnahmen (5)
Jede Maßnahme nennt ihre Maßnahmenart, Wirkung, Umsetzungsebene und die Begründung der Einordnung.
Prinzip der geringsten Rechte für ToolsTechnisch
- Wirkung
- Präventiv, Schadensbegrenzend
- Umsetzungsebene
- Anwendung, API & Agenten
- Ergänzende Maßnahmenart
- Governance & Compliance
- Begründung der Einordnung
- „Prinzip der geringsten Rechte für Tools“ ist primär technisch: Maschinell erzwungene Identitäts-, Berechtigungs- oder Bereichsregeln begrenzen unzulässige Zugriffe und Aktionen; ergänzt durch Regeln und Aufsicht.
Strenge Eingabevalidierung in Tool-ImplementierungenTechnisch
- Wirkung
- Präventiv
- Umsetzungsebene
- Anwendung, API & Agenten
- Begründung der Einordnung
- „Strenge Eingabevalidierung in Tool-Implementierungen“ ist primär technisch: Systemseitige Prüf-, Transformations- oder Blockierregeln stoppen oder neutralisieren unzulässige Inhalte vor der Weiterverarbeitung.
Sandboxing und IsolationTechnisch
- Wirkung
- Präventiv, Schadensbegrenzend
- Umsetzungsebene
- Anwendung, API & Agenten, Infrastruktur
- Begründung der Einordnung
- „Sandboxing und Isolation“ ist primär technisch: Architektur- und Laufzeitgrenzen trennen Daten, Ausführung oder Mandanten und begrenzen die Fehlerausbreitung.
Human-in-the-loop bei sensiblen OperationenOrganisatorisch & prozessual
- Wirkung
- Präventiv
- Umsetzungsebene
- Anwendung, API & Agenten, Nutzung & Betrieb
- Ergänzende Maßnahmenart
- Mensch & Kompetenz
- Begründung der Einordnung
- „Human-in-the-loop bei sensiblen Operationen“ ist primär organisatorisch & prozessual: Ein verbindlicher Arbeitsablauf verlangt vor Nutzung oder Ausführung eine verantwortliche menschliche Entscheidung; ergänzt durch Fachwissen und Urteil.
Umfassendes Security-Review für ToolsOrganisatorisch & prozessual
- Wirkung
- Aufdeckend
- Umsetzungsebene
- Anwendung, API & Agenten, Organisation, Nutzung & Betrieb
- Ergänzende Maßnahmenart
- Governance & Compliance
- Begründung der Einordnung
- „Umfassendes Security-Review für Tools“ ist primär organisatorisch & prozessual: Ein geplanter, wiederholbarer Prüfablauf mit Zuständigkeit und Nachverfolgung erzeugt die Schutzwirkung; ergänzt durch Regeln und Aufsicht.
Standard-Zuordnungen
Verifizierte Fundstellen in OWASP, NIST AI RMF, MITRE ATLAS, EU AI Act und weiteren Rahmenwerken. Die Zuordnungen sind taxonomisch, kein Konformitätsnachweis.
Belegte Referenzen (8)
Jede Referenz nennt Rahmenwerk, Fundstelle und die herausgebende Organisation.
- OWASP LLM Top 10 ASI02:2026 Tool Misuse and ExploitationASI02 Tool Misuse and Exploitation, pp. 12–14 of the official PDF OWASP FoundationOriginal
- OWASP LLM Top 10 LLM06:2025 Excessive AgencyLLM06:2025 Excessive Agency, official category page OWASP FoundationOriginal
- NIST AI RMF Abschnitt 2.9 Information SecurityAbschnitt 2.9, pp. 10–11 National Institute of Standards and Technology (NIST)Original
- NIST AI RMF Abschnitt 3.5 Security of AgentsAbschnitt 3.5, p. 54 National Institute of Standards and Technology (NIST)Original
- MITRE ATLAS AML.T0053 AI Agent Tool InvocationATLAS.yaml technique object with id AML.T0053 (pinned release v5.6.0) MITREOriginal
- EU AI Act Article 14(4)(d) Human oversightArticle 14(4)(d); for automation bias, Article 14(4)(b) European Union (EUR-Lex)Original
- EU AI Act Article 9(1), 9(2)(a), 9(2)(d) Risk management systemArticle 9(1), 9(2)(a), 9(2)(d), read with Article 9(3) European Union (EUR-Lex)Original
- BSI R28 Indirect Prompt Injections (Text)Kap. 4, R28, p. 33 Bundesamt für Sicherheit in der Informationstechnik (BSI)Original
Begriffe auf dieser Seite
Fachbegriffe aus dem Glossar, die in diesem Eintrag vorkommen. Jeder Verweis führt zur vollständigen Erklärung.
- Prompt Injection Manipulierte Eingaben oder eingeschleuste Inhalte steuern ein Sprachmodell um.
Verwandte Bedrohungen
Weitere Einträge aus der Themengruppe Anwendungs- und Integrationssicherheit.
Diese Bedrohung im eigenen System bewerten
Die Live-Demo enthält alle 52 Bedrohungen dieses Katalogs samt EU-AI-Act- und DSGVO-Einwertung. Die kostenlosen Einzelmodule decken KI-Risiko, EU-KI-VO und DSGVO ab. Ohne Registrierung; die Bewertung läuft lokal in Ihrem Browser.
Diesen Eintrag zitieren
Für Berichte, Richtlinien oder interne Unterlagen; der Link führt direkt auf diesen Eintrag.
„Unsicheres Tool-Design“. Versatile AI Risk Assessment, KI-Bedrohungskatalog, Stand Juli 2026. https://www.versatile-ai-risk-assessment.com/wissensbasis/bedrohungen/unsicheres-tool-design/