Versatile AI Risk Assessment

KI-Bedrohungskatalog Anwendungs- und Integrationssicherheit Produktion

Anwendungs-Schwachstellen

Die Software rund um das KI-Modell, also Weboberfläche, Schnittstellen und Datenbanken, hat dieselben Schwachstellen wie jede andere Anwendung. Angreifer müssen das Modell nicht überlisten, wenn eine klassische Sicherheitslücke den Weg ins System öffnet.

Stand: Oktober 2026 · Katalogversion 2026.10.24.2 · 5 Gegenmaßnahmen · 7 belegte Quellen

Beschreibung

Ein KI-System besteht aus weit mehr als dem Modell: Anmeldung, Nutzerverwaltung, Programmierschnittstellen (APIs), Datenbanken und Server-Infrastruktur bilden die Anwendungsschicht. Dort entstehen die seit Jahren bekannten Schwachstellen der Web-Sicherheit: eingeschleuste Skripte (XSS), manipulierte Datenbankabfragen (SQL-Injection), untergeschobene Aktionen im Namen angemeldeter Nutzer (CSRF) oder die Umgehung der Anmeldung. Angreifer finden solche Lücken oft automatisiert von außen. KI-Projekte sind besonders anfällig, wenn die Aufmerksamkeit dem Modell gilt und schnell gebaute Prototypen oder junge KI-Frameworks ohne Härtung in den Produktivbetrieb gehen.

Mögliche Auswirkung

Über eine Lücke in der Anwendungsschicht erlangen Angreifer Zugriff auf das System und alle verarbeiteten Daten, darunter Eingaben der Nutzer, Wissensbasen und Zugangsdaten. Es drohen Manipulation oder Ausfall des Dienstes, Meldepflichten nach der DSGVO bei Datenabfluss und für Hochrisiko-Systeme Fragen der Cybersicherheits-Konformität nach der KI-Verordnung.

Beispiel

Ein Unternehmen betreibt sein KI-Framework mit einer Verwaltungs-Schnittstelle, die ohne Anmeldung aus dem Internet erreichbar ist. Angreifer finden die offene Schnittstelle, führen eigenen Code auf den Servern aus und greifen Rechenleistung, Modelle und Daten ab.

Empfohlene Gegenmaßnahmen (5)

Vergleichen Sie Wirkung und Umsetzungsebene. Die ergänzende Einordnung und Begründung können Sie bei Bedarf aufklappen.

  • Sichere Entwicklungspraktiken (OWASP Top 10)

    Organisatorisch & prozessual
    Wirkung
    Präventiv
    Umsetzungsebene
    Anwendung, API & Agenten, Organisation
    Einordnung und Begründung

    Ergänzende MaßnahmenartTechnisch

    Primär organisatorisch & prozessual: Festgelegte Auswahl-, Betriebs- oder Lebenszyklusabläufe machen die Maßnahme verbindlich und wiederholbar; ergänzt durch technische Umsetzung.

  • Regelmäßiges Schwachstellen-Scanning

    Technisch
    Wirkung
    Aufdeckend
    Umsetzungsebene
    Anwendung, API & Agenten, Infrastruktur, Nutzung & Betrieb
    Einordnung und Begründung

    Primär technisch: Software oder Analysewerkzeuge erzeugen und bewerten systematisch Messwerte, Abweichungen oder Angriffsindikatoren.

  • Penetrationstests

    Organisatorisch & prozessual
    Wirkung
    Aufdeckend
    Umsetzungsebene
    Anwendung, API & Agenten, Infrastruktur, Nutzung & Betrieb
    Einordnung und Begründung

    Ergänzende MaßnahmenartTechnisch

    Primär organisatorisch & prozessual: Ein geplanter, wiederholbarer Prüfablauf mit Zuständigkeit und Nachverfolgung erzeugt die Schutzwirkung; ergänzt durch technische Umsetzung.

  • Dependency Management und Patching

    Technisch
    Wirkung
    Präventiv
    Umsetzungsebene
    Anwendung, API & Agenten, Infrastruktur, Lieferkette, Nutzung & Betrieb
    Einordnung und Begründung

    Ergänzende MaßnahmenartOrganisatorisch & prozessual

    Primär technisch: Sichere Formate, restriktive Voreinstellungen oder Schutzschichten reduzieren unsichere Ausführungspfade und Angriffsflächen; ergänzt durch verbindliche Abläufe.

  • Web Application Firewall und Runtime-Protection

    Technisch
    Wirkung
    Präventiv, Schadensbegrenzend
    Umsetzungsebene
    Anwendung, API & Agenten, Infrastruktur
    Einordnung und Begründung

    Primär technisch: Sichere Formate, restriktive Voreinstellungen oder Schutzschichten reduzieren unsichere Ausführungspfade und Angriffsflächen.

Standard-Zuordnungen

Verifizierte Fundstellen in OWASP, NIST AI RMF, MITRE ATLAS, EU AI Act und weiteren Rahmenwerken. Die Zuordnungen zeigen fachliche Bezüge. Sie belegen nicht, dass ein System die jeweiligen Anforderungen erfüllt.

NIST AI RMF Abschnitt 2.9MITRE ATLAS AML.T0049EU AI Act Article 55(1)(d) · Article 9(1), 9(2)(a), 9(2)(d)BIML BIML-LLM inference:10 · BIML-LLM inference:9 · BIML78 system:9

Belegte Referenzen (7)

Jede Referenz nennt Rahmenwerk, Fundstelle und die herausgebende Organisation.

Pflichten der KI-Verordnung zu dieser Bedrohung

Die Pflichten aus dem Pflichtenkompass, deren Artikel der Katalog dieser Bedrohung zuordnet. Jede führt auf ihren Eintrag mit Kern, Handlungsschritt und Nachweis; ob sie Sie trifft, hängt von Rolle und Risikoklasse ab.

  • Risikomanagementsystem einrichten und betreiben Art. 9 · gilt ab Anhang III: 2. Dezember 2027 · Anhang I: 2. August 2028

    Gesetzliche Rollen: Anbieter, Produkthersteller. Klassen: Hochrisiko nach Anhang III, Hochrisiko als Produkt oder Sicherheitsbauteil.

    Der Verweis ist ein Prüfanlass. Ein Bedrohungstreffer allein begründet keine Anwendbarkeit.

  • Systemische Risiken bewerten und mindern Art. 55 · gilt ab 2. August 2025

    Gesetzliche Rollen: Anbieter eines KI-Modells mit allgemeinem Verwendungszweck. Klassen: Modell mit systemischem Risiko.

    Der Verweis ist ein Prüfanlass. Ein Bedrohungstreffer allein begründet keine Anwendbarkeit.

Alle 62 Pflichten nach Rolle, Risikoklasse und Frist im Pflichtenkompass

Weitere Einträge aus der Themengruppe Anwendungs- und Integrationssicherheit.

Unsicherer Umgang mit Modellausgaben Die Anwendung reicht Antworten des KI-Modells ungeprüft an nachgelagerte Systeme weiter, etwa an Datenbanken, Webseiten oder Befehlszeilen. Unsicheres Tool-Design Viele KI-Anwendungen handeln selbst, indem sie über angebundene Werkzeuge (Tools) E-Mails versenden oder Datenbanken abfragen. RAG-spezifische Angriffe (Document Poisoning) Angreifer schleusen präparierte Dokumente in die Wissensbasis ein, aus der ein KI-System per RAG (Retrieval-Augmented Generation, …

Passende Anwendungsfälle

Die Liste zeigt, wo Sie diese Bedrohung prüfen, nicht wie hoch das Risiko ist.

Gehört bei jedem KI-System auf die Prüfliste. Was Sie bei jedem KI-System prüfen

Häufige Fragen

Worum geht es bei dieser Bedrohung?
Die Software rund um das KI-Modell, also Weboberfläche, Schnittstellen und Datenbanken, hat dieselben Schwachstellen wie jede andere Anwendung. Angreifer müssen das Modell nicht überlisten, wenn eine klassische Sicherheitslücke den Weg ins System öffnet.
Welche Gegenmaßnahmen nennt der Katalog?
Der Katalog nennt 5 Gegenmaßnahmen, jede mit Maßnahmenart, Wirkung und Umsetzungsebene. Beispiele sind: Sichere Entwicklungspraktiken (OWASP Top 10), Regelmäßiges Schwachstellen-Scanning und Penetrationstests. Die Reihenfolge ist keine Priorisierung.
Welche Pflichten der KI-Verordnung können relevant sein?
Der Katalog ordnet diese Bedrohung Art. 9 und Art. 55 der EU-KI-Verordnung zu. Daraus folgen im Pflichtenkompass: Risikomanagementsystem einrichten und betreiben und Systemische Risiken bewerten und mindern. Ob eine Pflicht gilt, entscheiden Rolle, Risikoklasse und Frist.

Diese Bedrohung im eigenen System bewerten

Die Live-Demo enthält alle 52 Bedrohungen dieses Katalogs sowie die Einordnung nach der EU-KI-Verordnung und die Datenschutzprüfung. Die kostenlosen Einzelmodule decken KI-Risiko, EU-KI-VO und DSGVO ab. Ohne Registrierung; die Bewertung läuft lokal in Ihrem Browser.

Live-Demo starten Kostenlose Module ansehen

Diesen Eintrag zitieren

Für Berichte, Richtlinien oder interne Unterlagen; der Link führt direkt auf diesen Eintrag.

„Anwendungs-Schwachstellen“. Versatile AI Risk Assessment, KI-Bedrohungskatalog, Stand Oktober 2026.
https://www.versatile-ai-risk-assessment.com/wissensbasis/bedrohungen/anwendungs-schwachstellen/

← Zurück zum vollständigen Katalog