KI-Bedrohungskatalog Verlässlichkeit und verantwortliche Nutzung Produktion
Modell-Drift & -Degradation
Die Qualität eines KI-Modells nimmt im Betrieb allmählich ab, weil sich die Welt verändert, während das Modell auf altem Wissensstand bleibt (Modell-Drift). Ohne gezielte Überwachung werden Entscheidungen schleichend schlechter, und niemand bemerkt es.
Beschreibung
Ein Modell lernt aus Daten der Vergangenheit. Verändern sich Kundenverhalten, Sprache, Produkte oder Betrugsmuster, passen die gelernten Zusammenhänge immer weniger zur Gegenwart. Fachleute sprechen von Distribution Shift (die Verteilung der Eingabedaten verschiebt sich) und Concept Drift (der gelernte Zusammenhang selbst veraltet). Zusätzlich können Rückkopplungsschleifen wirken: Ausgaben des Modells beeinflussen künftige Eingabedaten und verstärken vorhandene Verzerrungen. Lernen neue Modelle zunehmend aus KI-generierten Inhalten, droht außerdem ein Qualitätsverfall über Modellgenerationen hinweg (Model Collapse). Da das System weiterhin flüssig antwortet und keine Fehlermeldungen erzeugt, bleibt der Verfall ohne laufendes Monitoring lange unsichtbar.
Mögliche Auswirkung
Schleichend falsche Prognosen, Bewertungen oder Filterentscheidungen führen zu Umsatzverlusten, Fehlplanungen und unentdeckten Betrugsfällen, oft über Monate. Der EU AI Act verpflichtet Betreiber von Hochrisiko-Systemen, den laufenden Betrieb zu überwachen; unbemerkte Drift kann damit auch zum Compliance-Problem werden. Die Korrektur erfordert Nachtraining und die Aufarbeitung bereits getroffener Entscheidungen.
Beispiel
Ein Modell zur Betrugserkennung im Zahlungsverkehr wurde auf historischen Mustern trainiert. Als Betrüger ihre Methoden ändern, sinkt die Erkennungsrate Monat für Monat; auffällig wird das erst, als der Jahresabschluss eine deutlich gestiegene Schadenssumme ausweist.
Empfohlene Gegenmaßnahmen (7)
Vergleichen Sie Wirkung und Umsetzungsebene. Die ergänzende Einordnung und Begründung können Sie bei Bedarf aufklappen.
-
Kontinuierliches Performance-Monitoring
Technisch- Wirkung
- Aufdeckend
- Umsetzungsebene
- Modell & Training, Nutzung & Betrieb
Einordnung und Begründung
Ergänzende MaßnahmenartOrganisatorisch & prozessual
Primär technisch: Software oder Analysewerkzeuge erzeugen und bewerten systematisch Messwerte, Abweichungen oder Angriffsindikatoren; ergänzt durch verbindliche Abläufe.
-
Automatisierte Drift-Erkennung
Technisch- Wirkung
- Aufdeckend
- Umsetzungsebene
- Modell & Training, Nutzung & Betrieb
Einordnung und Begründung
Primär technisch: Software oder Analysewerkzeuge erzeugen und bewerten systematisch Messwerte, Abweichungen oder Angriffsindikatoren.
-
Regelmäßige Retraining-Zyklen
Organisatorisch & prozessual- Wirkung
- Korrigierend
- Umsetzungsebene
- Modell & Training, Nutzung & Betrieb
Einordnung und Begründung
Ergänzende MaßnahmenartTechnisch
Primär organisatorisch & prozessual: Festgelegte Auswahl-, Betriebs- oder Lebenszyklusabläufe machen die Maßnahme verbindlich und wiederholbar; ergänzt durch technische Umsetzung.
-
A/B-Tests für Modell-Updates
Technisch- Wirkung
- Aufdeckend
- Umsetzungsebene
- Modell & Training, Nutzung & Betrieb
Einordnung und Begründung
Primär technisch: Software oder Analysewerkzeuge erzeugen und bewerten systematisch Messwerte, Abweichungen oder Angriffsindikatoren.
-
Datenqualitäts-Monitoring
Technisch- Wirkung
- Aufdeckend
- Umsetzungsebene
- Daten, Modell & Training, Nutzung & Betrieb
Einordnung und Begründung
Ergänzende MaßnahmenartOrganisatorisch & prozessual
Primär technisch: Software oder Analysewerkzeuge erzeugen und bewerten systematisch Messwerte, Abweichungen oder Angriffsindikatoren; ergänzt durch verbindliche Abläufe.
-
Canary Deployments
Technisch- Wirkung
- Aufdeckend, Schadensbegrenzend
- Umsetzungsebene
- Modell & Training, Nutzung & Betrieb
Einordnung und Begründung
Primär technisch: Software oder Analysewerkzeuge erzeugen und bewerten systematisch Messwerte, Abweichungen oder Angriffsindikatoren.
-
Feedback-Schleifen aus der Produktion
Organisatorisch & prozessual- Wirkung
- Aufdeckend, Korrigierend
- Umsetzungsebene
- Modell & Training, Nutzung & Betrieb
Einordnung und Begründung
Ergänzende MaßnahmenartTechnisch, Mensch & Kompetenz
Primär organisatorisch & prozessual: Ein definierter Melde-, Triage- und Bearbeitungsablauf überführt Hinweise in nachvollziehbare Folgeaktionen; ergänzt durch technische Umsetzung sowie Fachwissen und Urteil.
Standard-Zuordnungen
Verifizierte Fundstellen in OWASP, NIST AI RMF, MITRE ATLAS, EU AI Act und weiteren Rahmenwerken. Die Zuordnungen zeigen fachliche Bezüge. Sie belegen nicht, dass ein System die jeweiligen Anforderungen erfüllt.
Belegte Referenzen (9)
Jede Referenz nennt Rahmenwerk, Fundstelle und die herausgebende Organisation.
- OWASP LLM Top 10 LLM07:2026 MisinformationLLM07:2026 Misinformation, OWASP Top 10 for LLM Applications 2026 v1.0, pp. 43-45 (doi:10.5281/zenodo.22109015); canonical text 2026/final/LLM07_Misinformation.md at commit 7e144e05 OWASP FoundationOriginal
- NIST AI RMF Abschnitt 2.6 Harmful Bias and HomogenizationAbschnitt 2.6, pp. 8–9 National Institute of Standards and Technology (NIST)Original
- NIST AI RMF MEASURE 2.5 MEASURE 2.5MEASURE 2.5, p. 29 National Institute of Standards and Technology (NIST)Original
- EU AI Act Article 26(5) Obligations of deployers of high-risk AI systemsArticle 26(5) European Union (EUR-Lex)Original
- EU AI Act Article 55(1)(b) Obligations of providers of general-purpose AI models with systemic riskArticle 55(1)(b) European Union (EUR-Lex)Original
- BSI R9 Selbstverstärkende Effekte und Model Collapse (Text, Bild, Video)Kap. 4, R9, p. 18 Bundesamt für Sicherheit in der Informationstechnik (BSI)Original
- BIML BIML-LLM raw:9 TimePDF p. 15, [raw:9:time] Berryville Institute of Machine Learning (BIML)Original
- BIML BIML78 alg:1 OnlinePDF p. 16, [alg:1:online] Berryville Institute of Machine Learning (BIML)Original
- BIML BIML78 eval:5 Catastrophic ForgettingPDF p. 18, [eval:5:catastrophic forgetting] Berryville Institute of Machine Learning (BIML)Original
Pflichten der KI-Verordnung zu dieser Bedrohung
Die Pflichten aus dem Pflichtenkompass, deren Artikel der Katalog dieser Bedrohung zuordnet. Jede führt auf ihren Eintrag mit Kern, Handlungsschritt und Nachweis; ob sie Sie trifft, hängt von Rolle und Risikoklasse ab.
-
Betrieb überwachen und bei Risiko aussetzen
Art. 26 Abs. 5 · gilt ab Anhang III: 2. Dezember 2027 · Anhang I: 2. August 2028
Gesetzliche Rollen: Betreiber. Klassen: Hochrisiko nach Anhang III, Hochrisiko als Produkt oder Sicherheitsbauteil.
Der Verweis ist ein Prüfanlass. Ein Bedrohungstreffer allein begründet keine Anwendbarkeit.
-
Systemische Risiken bewerten und mindern
Art. 55 · gilt ab 2. August 2025
Gesetzliche Rollen: Anbieter eines KI-Modells mit allgemeinem Verwendungszweck. Klassen: Modell mit systemischem Risiko.
Der Verweis ist ein Prüfanlass. Ein Bedrohungstreffer allein begründet keine Anwendbarkeit.
Alle 62 Pflichten nach Rolle, Risikoklasse und Frist im Pflichtenkompass
Verwandte Bedrohungen
Weitere Einträge aus der Themengruppe Verlässlichkeit und verantwortliche Nutzung.
Passende Anwendungsfälle
Die Liste zeigt, wo Sie diese Bedrohung prüfen, nicht wie hoch das Risiko ist.
Gehört bei jedem KI-System auf die Prüfliste. Was Sie bei jedem KI-System prüfen
Besonders wichtig bei:
- Kreditscoring und BonitätsprüfungDas Modell kennt das Zahlungsverhalten früherer Jahre. Ändern sich Zinsen, Arbeitsmarkt oder Kundschaft, schätzt es Ausfälle zu hoch oder zu niedrig, und niemand merkt es sofort.
- Betrugserkennung im ZahlungsverkehrNeue Maschen wie Überweisungen nach dem Anruf eines falschen Bankmitarbeiters sehen anders aus als die gelernten Fälle. Bis genug neue Beispiele vorliegen, erkennt das Modell sie schlechter.
- Geldwäscheerkennung und SanktionsscreeningNeue Methoden der Geldwäsche und neue Zahlungswege kommen in den Lerndaten nicht vor. Das Modell bewertet sie als gewöhnlich, bis es mit neuen Fällen nachtrainiert wird.
- Risikobewertung und Tarifierung in der Lebens- und KrankenversicherungDas Modell kennt Sterblichkeit und Krankheitsverläufe früherer Jahrgänge. Wird eine Behandlung besser oder beantragen andere Menschen Verträge als früher, stimmen die Risikoklassen nicht mehr.
- Automatisierte Immobilienbewertung (AVM)Das Modell lernt aus Verkäufen vor dem Bewertungsstichtag. Steigen oder fallen die Preise in einzelnen Lagen schnell, liegen die geschätzten Werte dort daneben, bis neue Verkäufe vorliegen.
- Intelligente Videoanalyse im öffentlichen RaumLicht, Wetter, Jahreszeit und Umbauten verändern das Kamerabild. Das Modell erkennt die gelernten Muster dann schlechter, ohne dass es eine Warnung ausgibt.
- KI in der medizinischen BildauswertungEin neues Röntgengerät, andere Aufnahmeeinstellungen oder eine andere Patientengruppe verändern die Bilder, ohne dass das Modell davon erfährt. Die Trefferquote sinkt dann unbemerkt unter den Wert, mit dem das Produkt geprüft wurde.
- Klinische Entscheidungsunterstützung (etwa Sepsis-Früherkennung)Ein anderswo entwickeltes Modell trifft auf andere Patientinnen und Patienten, Abläufe und Dokumentationsgewohnheiten und liefert schlechtere Ergebnisse. An Michigan Medicine blieb die gemessene Güte deutlich hinter der Herstellerangabe zurück.
- KI-Unterstützung in der NotrufannahmeEin Modell, das mit Notrufen einer Leitstelle trainiert wurde, erkennt Notfälle bei anderer Sprache, Mundart oder Abfragepraxis schlechter. Deshalb trainierten die Pilotprojekte in Frankreich, Italien und Schottland es zuerst mit eigenen Aufzeichnungen.
- Vorausschauende Instandhaltung (Predictive Maintenance)Nach einem Umbau, einem Teiletausch oder bei Frost ändern sich die Messwerte, ohne dass ein Schaden droht. Bis das Modell neu angepasst ist, meldet es Fehlalarme oder übersieht echte Abweichungen.
- Visuelle und akustische QualitätsprüfungEine neue Variante, ein anderer Lieferant oder anderes Licht verändern die Aufnahmen, das Modell aber wurde nicht neu trainiert. Die Prüfung lässt dann Fehler durch oder sortiert gute Teile aus.
- Absatz- und BedarfsprognoseÄndern Wetter, Preisaktionen oder ein neuer Wettbewerber die Nachfrage, passen die gelernten Muster nicht mehr. Die Prognose liegt dann wochenlang daneben, bevor es jemand merkt.
- Automatisiertes Fahren und FahrerassistenzDie Wahrnehmung kennt nur die Regionen, Jahreszeiten und Verkehrslagen, mit denen sie trainiert wurde. Bei Schnee, ungewohnten Baustellen oder unerwartetem Verhalten anderer erkennt sie Hindernisse schlechter, und das fällt nicht sofort auf.
Häufige Fragen
- Worum geht es bei dieser Bedrohung?
- Die Qualität eines KI-Modells nimmt im Betrieb allmählich ab, weil sich die Welt verändert, während das Modell auf altem Wissensstand bleibt (Modell-Drift). Ohne gezielte Überwachung werden Entscheidungen schleichend schlechter, und niemand bemerkt es.
- Welche Gegenmaßnahmen nennt der Katalog?
- Der Katalog nennt 7 Gegenmaßnahmen, jede mit Maßnahmenart, Wirkung und Umsetzungsebene. Beispiele sind: Kontinuierliches Performance-Monitoring, Automatisierte Drift-Erkennung und Regelmäßige Retraining-Zyklen. Die Reihenfolge ist keine Priorisierung.
- Welche Pflichten der KI-Verordnung können relevant sein?
- Der Katalog ordnet diese Bedrohung Art. 26 Abs. 5 und Art. 55 der EU-KI-Verordnung zu. Daraus folgen im Pflichtenkompass: Betrieb überwachen und bei Risiko aussetzen und Systemische Risiken bewerten und mindern. Ob eine Pflicht gilt, entscheiden Rolle, Risikoklasse und Frist.
Diese Bedrohung im eigenen System bewerten
Die Live-Demo enthält alle 52 Bedrohungen dieses Katalogs sowie die Einordnung nach der EU-KI-Verordnung und die Datenschutzprüfung. Die kostenlosen Einzelmodule decken KI-Risiko, EU-KI-VO und DSGVO ab. Ohne Registrierung; die Bewertung läuft lokal in Ihrem Browser.
Diesen Eintrag zitieren
Für Berichte, Richtlinien oder interne Unterlagen; der Link führt direkt auf diesen Eintrag.
„Modell-Drift & -Degradation“. Versatile AI Risk Assessment, KI-Bedrohungskatalog, Stand Oktober 2026. https://www.versatile-ai-risk-assessment.com/wissensbasis/bedrohungen/modell-drift/