Versatile AI Risk Assessment
Softwareentwicklung und IT-Sicherheit

KI-gestützte Angriffserkennung

Englisch: AI-based threat detection

Das System lernt, wie sich Netzwerk, Geräte, Konten und E-Mail-Verkehr normalerweise verhalten, und meldet Abweichungen, die auf Angriffe, Phishing oder übernommene Konten hindeuten.

Interaktives Modell erkunden

Handout exportieren

Eine kompakte PDF mit Funktionsweise, Datenwegen und Prüfansätzen zum Weitergeben.

Die Erläuterungen und Maßnahmen beschreiben den typischen Aufbau. Viele eigene Änderungen ergänzen einen Anhang.

Den Anwendungsfall verstehen

Was macht diesen Anwendungsfall aus?

Dafür wertet es Verbindungs-, Anmelde- und E-Mail-Daten aus und legt den Fachleuten im Security Operations Center (SOC) auffällige Vorgänge zur Prüfung vor. Auch Spam- und Phishing-Filter gehören dazu. Bekannt sind Einsätze bei zwei US-Behörden und, nach Angabe des Herstellers, bei einer Bank in Kenia.

Die Seite beschreibt einen typischen Aufbau. Die tatsächlichen Datenwege und Befugnisse ergeben sich aus Ihrer Umsetzung.

Bauform
Auswertung und Verarbeitung
Handlungsmacht
Handlungsrechte je nach Einbindung
Einsatzfelder
öffentliche Verwaltung, Energieversorgung, Banken
Auch bekannt als
Anomalieerkennung im Netzwerk, Network Detection and Response (NDR), E-Mail-Sicherheit, Phishing-Erkennung, Security Analytics

Funktionsweise und Ablauf

Aufbau und Datenwege

  1. Eingabedaten

    Rund um die Uhr kommen Netzwerkverkehr, Anmeldeprotokolle, Gerätemeldungen und E-Mails an.

    E-Mails und Netzwerkverkehr stammen auch von Angreifern, die gezielt auf die Erkennung einwirken. Protokolle zeigen, wer wann mit wem kommuniziert und sich wo anmeldet.

  2. Verarbeitung

    Ein Modell vergleicht das Geschehen mit dem gelernten Normalverhalten und bewertet Abweichungen.

    Das Modell verarbeitet Ereignisse aus den vorgesehenen Sicherheits- und Betriebsquellen und erkennt verdächtige Muster oder Abweichungen. Anschließend werden Hinweise korreliert und zur Untersuchung priorisiert. Eine Warnung, die Bewertung eines Vorfalls und eine Gegenmaßnahme bilden getrennte Teile des Sicherheitsprozesses.

  3. Ergebnisse

    Auffällige Vorgänge erscheinen als Meldung mit Einstufung, je nach Einrichtung sperrt das System auch Links, Konten oder Verbindungen.

    Das Ergebnis beschreibt die definierte Modellaufgabe. Ein Treffer, eine Kategorie oder eine Prognose erhält seine fachliche Bedeutung erst zusammen mit den zugrunde liegenden Daten und dem vorgesehenen Verwendungszweck.

  4. Nutzung und Auswirkungen

    Die Fachleute im Security Operations Center prüfen die Meldungen und reagieren; was das System nicht meldet, bleibt oft unbemerkt.

    Die Einbindung bestimmt, ob das Ergebnis lediglich angezeigt, nach Freigabe übernommen oder direkt in ein Fachverfahren geschrieben wird. Diese Varianten unterscheiden sich in ihren Datenwegen und Befugnissen.

Aufbau aktiv erkunden: Wählen Sie einen Baustein, um seine Aufgabe, die ein- und ausgehenden Daten und die Einbindung im Anwendungsfall zu sehen. Der geführte Ablauf erläutert jede Phase. Mit Ja, Offen und Nein können Sie anschließend Ihre konkrete Systemvariante abbilden.

7 zuerst zu prüfen16 zu klären7 Grundlagen

EingangVerarbeitungErgebnisWirkung Zugangvon außen 05 Eingabe 41 InhalteDritter 00 KI-Modell 05 Dienst einesAnbieters 01 Dokumenten-sammlung 00 Gedächtnis 00 Training undRückmeldung 21 WeitereKI-Agenten 00 Werkzeuge undSchnittstellen 00 Ergebnis 01 Fachanwendungoder Anlage 01 Mensch 10 BetroffenePerson 00 KI-Diensteohne Freigabe 01 Zugangvon außen 05 Eingabe 41 InhalteDritter 00 KI-Modell 05 Dienst einesAnbieters 01 Dokumenten-sammlung 00 Gedächtnis 00 Training undRückmeldung 21 WeitereKI-Agenten 00 Werkzeuge undSchnittstellen 00 Ergebnis 01 Fachanwendungoder Anlage 01 Mensch 10 BetroffenePerson 00 KI-Diensteohne Freigabe 01
  • Vorhanden
  • Hängt von Ihrem System ab
  • Nicht vorhanden
  • Zuerst zu prüfen
  • Zu klären
Aufbau als Liste

Abgrenzung zu ähnlichen Anwendungsfällen

Daten und Informationen

Eingabedaten und Informationsquellen

E-Mails und Netzwerkverkehr stammen auch von Angreifern, die gezielt auf die Erkennung einwirken. Protokolle zeigen, wer wann mit wem kommuniziert und sich wo anmeldet.

Verarbeitung und Betriebsumgebung

Manche Betreiber entwickeln die Erkennung selbst, andere nutzen Produkte von Sicherheitsanbietern.

Speicherung und weitere Nutzung

Das System lernt das Normalverhalten aus den eigenen Netzwerk-, Konten- und E-Mail-Daten. Bewertungen der Fachleute, ob eine Meldung berechtigt war, können in das Modell zurückfließen.

Ergebnisse und Datenweitergabe

Manche Systeme sperren Links, Konten oder Verbindungen selbst, andere melden nur. Clouddienste senden Metadaten oder E-Mails zur Auswertung an den Anbieter.

Ein eingebundener Anbieter legt den Verarbeitungsort nicht automatisch fest. Speicherort, Unterauftragnehmer, Löschfristen und die Nutzung für Training sind im konkreten Betrieb zu prüfen.

Risiken einordnen und Maßnahmen festlegen

Vom Systemverständnis zur Risikoanalyse

  1. System abgrenzen

    Daten, Beteiligte, Schnittstellen und Rechte erfassen. Offene Merkmale im Modell klären.

  2. Bedrohungen untersuchen

    Prüfkandidaten auf die tatsächlichen Datenwege beziehen: Was könnte passieren und wer wäre betroffen?

  3. Risiko bewerten

    Auswirkungen und Eintrittswahrscheinlichkeit im Einsatzkontext bewerten. Die Anzahl der Prüfkandidaten ist kein Risikowert.

  4. Maßnahmen nachweisen

    Geeignete Kontrollen auswählen, Verantwortliche und Wirksamkeitsprüfungen festlegen. Restrisiken und Freigaben dokumentieren.

Wichtige Bedrohungen im Anwendungskontext

  • 3 besonders wichtig
  • 4 üblich
  • 16 je nach System
  • 7 weitere bei jedem KI-System

Insgesamt kommen bei diesem Anwendungsfall 30 Bedrohungen aus dem Bedrohungskatalog infrage.

Vorrangige Prüfansätze

  1. Adversariale Eingaben

    Angreifer passen Phishing-Mails und Netzwerkverkehr so an, dass sie für das Modell unauffällig wirken. Der Angriff läuft dann an der Erkennung vorbei.

  2. Vergiftung der Trainingsdaten

    Wer sich früh im Netz festsetzt, dehnt sein Verhalten Schritt für Schritt aus, bis das System es als normal gelernt hat. Ein späterer Datenabfluss löst dann keine Meldung mehr aus.

  3. Übermäßiges Vertrauen in das KI-System

    Meldet das System nichts, gilt ein Netz schnell als sauber, und niemand sucht mehr selbst nach Angreifern. Angriffe, die das Modell nicht als Abweichung erkennt, bleiben so lange unbemerkt.

4 weitere Prüfkandidaten im typischen Aufbau

Weitere relevante Bedrohungen

  1. Backdoor im ML-Modell

    Über Trainingsdaten oder ein übernommenes Grundmodell kann das Modell versteckte Auslöser für Fehlverhalten enthalten.

    Steht hier wegen dieser Eigenschaft

    • Lernt aus Ihren eigenen Daten

  2. Privacy-Angriffe

    Mit gezielten Abfragen lassen sich personenbezogene und schutzbedürftige Trainingsdaten teilweise aus dem Modell zurückgewinnen.

    Steht hier wegen dieser Eigenschaften

    • Verarbeitet personenbezogene Daten
    • Verarbeitet vertrauliche Daten

  3. Offenlegung sensibler Informationen

    Vertrauliche Inhalte können in Antworten, im mitgegebenen Kontext oder in Protokollen auftauchen.

    Steht hier wegen dieser Eigenschaften

    • Verarbeitet personenbezogene Daten
    • Verarbeitet vertrauliche Daten

  4. Exfiltration aus der ML-Anwendung

    Schutzbedürftige Daten können über Werkzeuge, Netzverbindungen, Speicher oder Innentäter abfließen.

    Steht hier wegen dieser Eigenschaft

    • Verarbeitet vertrauliche Daten

Je nach Aufbau Ihres Systems kommen bis zu 16 weitere hinzu. Neun Bedrohungen prüfen Sie bei jedem KI-System. Zwei davon sind hier besonders wichtig und stehen deshalb oben.

Systemmerkmale und offene Fragen

Jedes Ja setzt weitere Bedrohungen auf Ihre Prüfliste, insgesamt bis zu 16. Können Sie eine Frage noch nicht beantworten, prüfen Sie die Bedrohungen mit.

Wie viele Bedrohungen bei Ja hinzukommen
  • Kommt mit diesem Ja hinzu
  • Braucht zusätzlich ein Ja auf eine andere Frage

Wie Ihr System gebaut ist

  1. Führt Aufträge in normaler Sprache aus5 Bedrohungen
  2. Schreibt eigene Texte2 Bedrohungen, 1 weitere nur zusammen mit weiteren Merkmalen
  3. Verarbeitet Text, Bild und Sprache gemeinsam2 Bedrohungen
  4. Verändert Daten oder löst Vorgänge aus1 Bedrohung
  5. Lernt aus Beispielen mit richtiger Antwort1 Bedrohung
  6. Verwertet Rückmeldungen aus dem Betrieb1 Bedrohung

Wie Sie das System betreiben

  1. Ist für Menschen außerhalb der Organisation nutzbar5 Bedrohungen
  2. Nimmt Anfragen direkt über eine Schnittstelle an4 Bedrohungen, 1 weitere nur zusammen mit weiteren Merkmalen
  3. Ist über ein Netzwerk erreichbar3 Bedrohungen
  4. Verursacht mit jeder Anfrage Kosten1 Bedrohung
  5. Teilt Rechenleistung mit anderen Kunden oder Anwendungen1 Bedrohung
  6. Neben KI-Diensten ohne Freigabe im Einsatz1 Bedrohung

Wie Ihr System gebaut ist

Kann das System selbst etwas verändern, etwa Daten speichern, Nachrichten senden, Buchungen auslösen oder Rechte vergeben?

Manche Systeme sperren Links, Konten oder Verbindungen selbst, andere melden nur.

Wenn ja, kommt hinzu

Wird das Modell mit Beispielen trainiert, denen jemand die richtige Antwort zugeordnet hat?

Phishing-Filter lernen aus gekennzeichneten Beispielen, eine Anomalieerkennung kommt ohne sie aus.

Wenn ja, kommt hinzu

Fließen Rückmeldungen oder Ergebnisse aus dem Betrieb später in Auswertung oder Training ein?

Bewertungen der Fachleute, ob eine Meldung berechtigt war, können in das Modell zurückfließen.

Wenn ja, kommt hinzu

Wie Sie das System betreiben

Diese Fragen stellen sich bei fast jedem KI-System.

Maßnahmen und Umsetzung

Maßnahmen zu den Prüfschwerpunkten sind direkt geöffnet. Die verlinkten Maßnahmen erläutern jeweils die Umsetzung.

PrüfschwerpunktAdversariale Eingaben2 Maßnahmen
PrüfschwerpunktVergiftung der Trainingsdaten2 Maßnahmen
PrüfschwerpunktÜbermäßiges Vertrauen in das KI-System3 Maßnahmen
Backdoor im ML-Modell2 Maßnahmen
Privacy-Angriffe3 Maßnahmen
Offenlegung sensibler Informationen3 Maßnahmen
Exfiltration aus der ML-Anwendung3 Maßnahmen

Maßnahmen gegen die übrigen Bedrohungen finden Sie auf deren Seiten im Bedrohungskatalog.

Vorschriften der KI-Verordnung

Wann die Vorschriften der KI-Verordnung gelten
  1. Art. 4: KI-Kompetenz

    Für jedes KI-System Gilt seit dem 2. Februar 2025.

  2. Anhang III Nr. 4 Buchst. b: Entscheidungen im Arbeitsverhältnis

    Je nach Einsatz Prüfanlass ab dem 2. Dezember 2027.

Gilt für jedes KI-System

Art. 4: KI-Kompetenz

Greift, wenn Beschäftigte oder Beauftragte KI-Systeme betreiben oder nutzen.

Gilt seit dem 2. Februar 2025.

Pflichten und Einzelheiten
Wer die Pflichten trägt
Anbieter, Betreiber, Produkthersteller, Anbieter eines KI-Modells mit allgemeinem Verwendungszweck

Die Pflichten im Einzelnen

Kann bei bestimmtem Einsatz greifen

Anhang III Nr. 4 Buchst. b: Entscheidungen im Arbeitsverhältnis

Greift, wenn das System das Verhalten von Beschäftigten überwacht und seine Meldungen in Entscheidungen über deren Beschäftigungsverhältnis einfließen.

Gilt ab dem 2. Dezember 2027.

Pflichten und Einzelheiten
Allgemein lautet die Bedingung
Greift, wenn das System Entscheidungen über Arbeitsbedingungen, Beförderung oder Kündigung beeinflusst, Aufgaben nach Verhalten oder persönlichen Merkmalen zuteilt oder Leistung und Verhalten von Beschäftigten überwacht.
Wer die Pflichten trägt
Anbieter, Betreiber, Produkthersteller, Einführer, Händler, Bevollmächtigter

Die Pflichten im Einzelnen

Greift in der Regel nicht

Anhang III Nr. 2: Kritische Infrastruktur

Teile, die ausschließlich der Cybersicherheit dienen, gelten nach Erwägungsgrund 55 der KI-Verordnung nicht als Sicherheitsbauteile kritischer Infrastruktur.

Pflichten und Einzelheiten
Allgemein lautet die Bedingung
Greift, wenn das System als Sicherheitsbauteil im Betrieb kritischer digitaler Infrastruktur, des Straßenverkehrs oder der Versorgung mit Wasser, Gas, Wärme oder Strom wirkt.
Zu beachten
Eine Grundrechte-Folgenabschätzung nach Art. 27 ist hier nicht nötig.
Wer die Pflichten trägt
Anbieter, Betreiber, Produkthersteller

Die Pflichten im Einzelnen

Ihr System im Schnellprüfer einordnen Alle Pflichten im Pflichtenkompass

Übergreifende Bedrohungen

Diese Bedrohungen prüfen Sie bei jedem KI-System, egal wofür es eingesetzt wird.

Warum diese Bedrohungen immer dazugehören

Abweichende Systemmerkmale

14 weitere Fragen ansehen

Trifft eine dieser Fragen bei Ihrem System doch zu, kommen die genannten Bedrohungen hinzu.

Quellen

Verwandte Anwendungsfälle

Ebenfalls im Einsatzgebiet Softwareentwicklung und IT-Sicherheit

Stand: 30. September 2026. Regelwerk der Prüfliste in Fassung 0.3.2, Bedrohungskatalog in Fassung 2026.10.24.2. Wie diese Seiten aufgebaut sind