KI-BedrohungskatalogAnwendungs- und IntegrationssicherheitProduktion
Anwendungs-Schwachstellen
Die Software rund um das KI-Modell, also Weboberfläche, Schnittstellen und Datenbanken, hat dieselben Schwachstellen wie jede andere Anwendung. Angreifer müssen das Modell nicht überlisten, wenn eine klassische Sicherheitslücke den Weg ins System öffnet.
Beschreibung
Ein KI-System besteht aus weit mehr als dem Modell: Anmeldung, Nutzerverwaltung, Programmierschnittstellen (APIs), Datenbanken und Server-Infrastruktur bilden die Anwendungsschicht. Dort entstehen die seit Jahren bekannten Schwachstellen der Web-Sicherheit: eingeschleuste Skripte (XSS), manipulierte Datenbankabfragen (SQL-Injection), untergeschobene Aktionen im Namen angemeldeter Nutzer (CSRF) oder die Umgehung der Anmeldung. Angreifer finden solche Lücken oft automatisiert von außen. KI-Projekte sind besonders anfällig, wenn die Aufmerksamkeit dem Modell gilt und schnell gebaute Prototypen oder junge KI-Frameworks ohne Härtung in den Produktivbetrieb gehen.
Mögliche Auswirkung
Über eine Lücke in der Anwendungsschicht erlangen Angreifer Zugriff auf das System und alle verarbeiteten Daten, darunter Eingaben der Nutzer, Wissensbasen und Zugangsdaten. Es drohen Manipulation oder Ausfall des Dienstes, Meldepflichten nach der DSGVO bei Datenabfluss und für Hochrisiko-Systeme Fragen der Cybersicherheits-Konformität nach der KI-Verordnung.
Beispiel
Ein Unternehmen betreibt sein KI-Framework mit einer Verwaltungs-Schnittstelle, die ohne Anmeldung aus dem Internet erreichbar ist. Angreifer finden die offene Schnittstelle, führen eigenen Code auf den Servern aus und greifen Rechenleistung, Modelle und Daten ab.
Empfohlene Gegenmaßnahmen (5)
Jede Maßnahme nennt ihre Maßnahmenart, Wirkung, Umsetzungsebene und die Begründung der Einordnung.
Sichere Entwicklungspraktiken (OWASP Top 10)Organisatorisch & prozessual
- Wirkung
- Präventiv
- Umsetzungsebene
- Anwendung, API & Agenten, Organisation
- Ergänzende Maßnahmenart
- Technisch
- Begründung der Einordnung
- „Sichere Entwicklungspraktiken (OWASP Top 10)“ ist primär organisatorisch & prozessual: Festgelegte Auswahl-, Betriebs- oder Lebenszyklusabläufe machen die Maßnahme verbindlich und wiederholbar; ergänzt durch technische Umsetzung.
Regelmäßiges Schwachstellen-ScanningTechnisch
- Wirkung
- Aufdeckend
- Umsetzungsebene
- Anwendung, API & Agenten, Infrastruktur, Nutzung & Betrieb
- Begründung der Einordnung
- „Regelmäßiges Schwachstellen-Scanning“ ist primär technisch: Software oder Analysewerkzeuge erzeugen und bewerten systematisch Messwerte, Abweichungen oder Angriffsindikatoren.
PenetrationstestsOrganisatorisch & prozessual
- Wirkung
- Aufdeckend
- Umsetzungsebene
- Anwendung, API & Agenten, Infrastruktur, Nutzung & Betrieb
- Ergänzende Maßnahmenart
- Technisch
- Begründung der Einordnung
- „Penetrationstests“ ist primär organisatorisch & prozessual: Ein geplanter, wiederholbarer Prüfablauf mit Zuständigkeit und Nachverfolgung erzeugt die Schutzwirkung; ergänzt durch technische Umsetzung.
Dependency Management und PatchingTechnisch
- Wirkung
- Präventiv
- Umsetzungsebene
- Anwendung, API & Agenten, Infrastruktur, Lieferkette, Nutzung & Betrieb
- Ergänzende Maßnahmenart
- Organisatorisch & prozessual
- Begründung der Einordnung
- „Dependency Management und Patching“ ist primär technisch: Sichere Formate, restriktive Voreinstellungen oder Schutzschichten reduzieren unsichere Ausführungspfade und Angriffsflächen; ergänzt durch verbindliche Abläufe.
Web Application Firewall und Runtime-ProtectionTechnisch
- Wirkung
- Präventiv, Schadensbegrenzend
- Umsetzungsebene
- Anwendung, API & Agenten, Infrastruktur
- Begründung der Einordnung
- „Web Application Firewall und Runtime-Protection“ ist primär technisch: Sichere Formate, restriktive Voreinstellungen oder Schutzschichten reduzieren unsichere Ausführungspfade und Angriffsflächen.
Standard-Zuordnungen
Verifizierte Fundstellen in OWASP, NIST AI RMF, MITRE ATLAS, EU AI Act und weiteren Rahmenwerken. Die Zuordnungen sind taxonomisch, kein Konformitätsnachweis.
Belegte Referenzen (7)
Jede Referenz nennt Rahmenwerk, Fundstelle und die herausgebende Organisation.
- NIST AI RMF Abschnitt 2.9 Information SecurityAbschnitt 2.9, pp. 10–11 National Institute of Standards and Technology (NIST)Original
- MITRE ATLAS AML.T0049 Exploit Public-Facing ApplicationATLAS.yaml technique object with id AML.T0049 (pinned release v5.6.0) MITREOriginal
- EU AI Act Article 55(1)(d) Obligations of providers of general-purpose AI models with systemic riskArticle 55(1)(d) European Union (EUR-Lex)Original
- EU AI Act Article 9(1), 9(2)(a), 9(2)(d) Risk management systemArticle 9(1), 9(2)(a), 9(2)(d), read with Article 9(3) European Union (EUR-Lex)Original
- BIML BIML-LLM inference:10 User RiskPDF p. 19, [inference:10:user risk] Berryville Institute of Machine Learning (BIML)Original
- BIML BIML-LLM inference:9 HostingPDF p. 19, [inference:9:hosting] Berryville Institute of Machine Learning (BIML)Original
- BIML BIML78 system:9 API EncodingPDF p. 26, [system:9:API encoding] Berryville Institute of Machine Learning (BIML)Original
Verwandte Bedrohungen
Weitere Einträge aus der Themengruppe Anwendungs- und Integrationssicherheit.
Diese Bedrohung im eigenen System bewerten
Die Live-Demo enthält alle 52 Bedrohungen dieses Katalogs samt EU-AI-Act- und DSGVO-Einwertung. Die kostenlosen Einzelmodule decken KI-Risiko, EU-KI-VO und DSGVO ab. Ohne Registrierung; die Bewertung läuft lokal in Ihrem Browser.
Diesen Eintrag zitieren
Für Berichte, Richtlinien oder interne Unterlagen; der Link führt direkt auf diesen Eintrag.
„Anwendungs-Schwachstellen“. Versatile AI Risk Assessment, KI-Bedrohungskatalog, Stand Juli 2026. https://www.versatile-ai-risk-assessment.com/wissensbasis/bedrohungen/anwendungs-schwachstellen/