KI-BedrohungskatalogVerlässlichkeit und verantwortliche NutzungProduktion
Modell-Drift & -Degradation
Die Qualität eines KI-Modells nimmt im Betrieb allmählich ab, weil sich die Welt verändert, während das Modell auf altem Wissensstand bleibt (Modell-Drift). Ohne gezielte Überwachung werden Entscheidungen schleichend schlechter, und niemand bemerkt es.
Beschreibung
Ein Modell lernt aus Daten der Vergangenheit. Verändern sich Kundenverhalten, Sprache, Produkte oder Betrugsmuster, passen die gelernten Zusammenhänge immer weniger zur Gegenwart. Fachleute sprechen von Distribution Shift (die Verteilung der Eingabedaten verschiebt sich) und Concept Drift (der gelernte Zusammenhang selbst veraltet). Zusätzlich können Rückkopplungsschleifen wirken: Ausgaben des Modells beeinflussen künftige Eingabedaten und verstärken vorhandene Verzerrungen. Lernen neue Modelle zunehmend aus KI-generierten Inhalten, droht außerdem ein Qualitätsverfall über Modellgenerationen hinweg (Model Collapse). Da das System weiterhin flüssig antwortet und keine Fehlermeldungen erzeugt, bleibt der Verfall ohne laufendes Monitoring lange unsichtbar.
Mögliche Auswirkung
Schleichend falsche Prognosen, Bewertungen oder Filterentscheidungen führen zu Umsatzverlusten, Fehlplanungen und unentdeckten Betrugsfällen, oft über Monate. Der EU AI Act verpflichtet Betreiber von Hochrisiko-Systemen, den laufenden Betrieb zu überwachen; unbemerkte Drift kann damit auch zum Compliance-Problem werden. Die Korrektur erfordert Nachtraining und die Aufarbeitung bereits getroffener Entscheidungen.
Beispiel
Ein Modell zur Betrugserkennung im Zahlungsverkehr wurde auf historischen Mustern trainiert. Als Betrüger ihre Methoden ändern, sinkt die Erkennungsrate Monat für Monat; auffällig wird das erst, als der Jahresabschluss eine deutlich gestiegene Schadenssumme ausweist.
Empfohlene Gegenmaßnahmen (7)
Jede Maßnahme nennt ihre Maßnahmenart, Wirkung, Umsetzungsebene und die Begründung der Einordnung.
Kontinuierliches Performance-MonitoringTechnisch
- Wirkung
- Aufdeckend
- Umsetzungsebene
- Modell & Training, Nutzung & Betrieb
- Ergänzende Maßnahmenart
- Organisatorisch & prozessual
- Begründung der Einordnung
- „Kontinuierliches Performance-Monitoring“ ist primär technisch: Software oder Analysewerkzeuge erzeugen und bewerten systematisch Messwerte, Abweichungen oder Angriffsindikatoren; ergänzt durch verbindliche Abläufe.
Automatisierte Drift-ErkennungTechnisch
- Wirkung
- Aufdeckend
- Umsetzungsebene
- Modell & Training, Nutzung & Betrieb
- Begründung der Einordnung
- „Automatisierte Drift-Erkennung“ ist primär technisch: Software oder Analysewerkzeuge erzeugen und bewerten systematisch Messwerte, Abweichungen oder Angriffsindikatoren.
Regelmäßige Retraining-ZyklenOrganisatorisch & prozessual
- Wirkung
- Korrigierend
- Umsetzungsebene
- Modell & Training, Nutzung & Betrieb
- Ergänzende Maßnahmenart
- Technisch
- Begründung der Einordnung
- „Regelmäßige Retraining-Zyklen“ ist primär organisatorisch & prozessual: Festgelegte Auswahl-, Betriebs- oder Lebenszyklusabläufe machen die Maßnahme verbindlich und wiederholbar; ergänzt durch technische Umsetzung.
A/B-Tests für Modell-UpdatesTechnisch
- Wirkung
- Aufdeckend
- Umsetzungsebene
- Modell & Training, Nutzung & Betrieb
- Begründung der Einordnung
- „A/B-Tests für Modell-Updates“ ist primär technisch: Software oder Analysewerkzeuge erzeugen und bewerten systematisch Messwerte, Abweichungen oder Angriffsindikatoren.
Datenqualitäts-MonitoringTechnisch
- Wirkung
- Aufdeckend
- Umsetzungsebene
- Daten, Modell & Training, Nutzung & Betrieb
- Ergänzende Maßnahmenart
- Organisatorisch & prozessual
- Begründung der Einordnung
- „Datenqualitäts-Monitoring“ ist primär technisch: Software oder Analysewerkzeuge erzeugen und bewerten systematisch Messwerte, Abweichungen oder Angriffsindikatoren; ergänzt durch verbindliche Abläufe.
Canary DeploymentsTechnisch
- Wirkung
- Aufdeckend, Schadensbegrenzend
- Umsetzungsebene
- Modell & Training, Nutzung & Betrieb
- Begründung der Einordnung
- „Canary Deployments“ ist primär technisch: Software oder Analysewerkzeuge erzeugen und bewerten systematisch Messwerte, Abweichungen oder Angriffsindikatoren.
Feedback-Schleifen aus der ProduktionOrganisatorisch & prozessual
- Wirkung
- Aufdeckend, Korrigierend
- Umsetzungsebene
- Modell & Training, Nutzung & Betrieb
- Ergänzende Maßnahmenart
- Technisch, Mensch & Kompetenz
- Begründung der Einordnung
- „Feedback-Schleifen aus der Produktion“ ist primär organisatorisch & prozessual: Ein definierter Melde-, Triage- und Bearbeitungsablauf überführt Hinweise in nachvollziehbare Folgeaktionen; ergänzt durch technische Umsetzung sowie Fachwissen und Urteil.
Standard-Zuordnungen
Verifizierte Fundstellen in OWASP, NIST AI RMF, MITRE ATLAS, EU AI Act und weiteren Rahmenwerken. Die Zuordnungen sind taxonomisch, kein Konformitätsnachweis.
Belegte Referenzen (9)
Jede Referenz nennt Rahmenwerk, Fundstelle und die herausgebende Organisation.
- OWASP LLM Top 10 LLM09:2025 MisinformationLLM09:2025 Misinformation, official category page OWASP FoundationOriginal
- NIST AI RMF Abschnitt 2.6 Harmful Bias and HomogenizationAbschnitt 2.6, pp. 8–9 National Institute of Standards and Technology (NIST)Original
- NIST AI RMF MEASURE 2.5 MEASURE 2.5MEASURE 2.5, p. 29 National Institute of Standards and Technology (NIST)Original
- EU AI Act Article 26(5) Obligations of deployers of high-risk AI systemsArticle 26(5) European Union (EUR-Lex)Original
- EU AI Act Article 55(1)(b) Obligations of providers of general-purpose AI models with systemic riskArticle 55(1)(b) European Union (EUR-Lex)Original
- BSI R9 Selbstverstärkende Effekte und Model Collapse (Text, Bild, Video)Kap. 4, R9, p. 18 Bundesamt für Sicherheit in der Informationstechnik (BSI)Original
- BIML BIML-LLM raw:9 TimePDF p. 15, [raw:9:time] Berryville Institute of Machine Learning (BIML)Original
- BIML BIML78 alg:1 OnlinePDF p. 16, [alg:1:online] Berryville Institute of Machine Learning (BIML)Original
- BIML BIML78 eval:5 Catastrophic ForgettingPDF p. 18, [eval:5:catastrophic forgetting] Berryville Institute of Machine Learning (BIML)Original
Verwandte Bedrohungen
Weitere Einträge aus der Themengruppe Verlässlichkeit und verantwortliche Nutzung.
Diese Bedrohung im eigenen System bewerten
Die Live-Demo enthält alle 52 Bedrohungen dieses Katalogs samt EU-AI-Act- und DSGVO-Einwertung. Die kostenlosen Einzelmodule decken KI-Risiko, EU-KI-VO und DSGVO ab. Ohne Registrierung; die Bewertung läuft lokal in Ihrem Browser.
Diesen Eintrag zitieren
Für Berichte, Richtlinien oder interne Unterlagen; der Link führt direkt auf diesen Eintrag.
„Modell-Drift & -Degradation“. Versatile AI Risk Assessment, KI-Bedrohungskatalog, Stand Juli 2026. https://www.versatile-ai-risk-assessment.com/wissensbasis/bedrohungen/modell-drift/