KI-BedrohungskatalogVerlässlichkeit und verantwortliche NutzungProduktion
Übermäßiges Vertrauen in das KI-System
Menschen neigen dazu, überzeugend klingende KI-Ausgaben ungeprüft zu übernehmen (Automatisierungsbias). Verlassen sich Beschäftigte oder Systeme bei wichtigen Entscheidungen unkritisch auf die KI, bleiben Fehler unentdeckt und führen zu realen Schäden.
Beschreibung
KI-Systeme formulieren ihre Antworten sprachlich fehlerfrei und selbstsicher, auch wenn der Inhalt falsch ist. Genau das begünstigt den sogenannten Automatisierungsbias: die menschliche Neigung, den Ergebnissen eines automatischen Systems mehr zu vertrauen als der eigenen Prüfung. Diese Bedrohung geht nicht von Angreifern aus, sondern entsteht im Arbeitsalltag, etwa unter Zeitdruck oder wenn Wissen über die Grenzen der KI fehlt. Besonders kritisch wird es, wenn KI-Ausgaben ohne menschliche Kontrolle in Folgeentscheidungen oder weitere Systeme einfließen: Ein einzelner unerkannter Fehler pflanzt sich dann fort und summiert sich. Auch ein Qualitätsverfall des Modells bleibt so lange unbemerkt, wie niemand die Ergebnisse hinterfragt.
Mögliche Auswirkung
Fehlentscheidungen auf Basis ungeprüfter KI-Ausgaben treffen zuerst die Betroffenen, etwa Bewerber, Kunden oder Patienten, und fallen dann auf das Unternehmen zurück. Es drohen finanzielle Schäden, Haftungsfragen und Reputationsverlust. Der EU AI Act verlangt für Hochrisiko-Systeme wirksame menschliche Aufsicht, und die DSGVO setzt rein automatisierten Einzelentscheidungen enge Grenzen.
Beispiel
Eine Personalabteilung lässt eingehende Bewerbungen von einer KI vorsortieren und übernimmt die Rangfolge ungeprüft. Erst nach Monaten fällt auf, dass das System geeignete Kandidaten systematisch aussortiert hat und niemand die Empfehlungen je stichprobenartig geprüft hatte.
Empfohlene Gegenmaßnahmen (5)
Jede Maßnahme nennt ihre Maßnahmenart, Wirkung, Umsetzungsebene und die Begründung der Einordnung.
Klare Confidence-Indikatoren in der UITechnisch
- Wirkung
- Präventiv, Aufdeckend
- Umsetzungsebene
- Anwendung, API & Agenten, Nutzung & Betrieb
- Begründung der Einordnung
- „Klare Confidence-Indikatoren in der UI“ ist primär technisch: Die Anwendung macht Unsicherheit, Systemgrenzen oder sichere nächste Schritte sichtbar und unterstützt informierte Entscheidungen.
Nutzer-Schulungen zu KI-GrenzenMensch & Kompetenz
- Wirkung
- Präventiv
- Umsetzungsebene
- Organisation, Nutzung & Betrieb
- Ergänzende Maßnahmenart
- Organisatorisch & prozessual
- Begründung der Einordnung
- „Nutzer-Schulungen zu KI-Grenzen“ ist primär der Maßnahmenart Mensch & Kompetenz zugeordnet: Wissen, Aufmerksamkeit oder fachliches Urteil von Personen erzeugen die Schutzentscheidung; ergänzt durch verbindliche Abläufe.
Menschliche Verifikation bei folgenschweren EntscheidungenOrganisatorisch & prozessual
- Wirkung
- Präventiv, Aufdeckend
- Umsetzungsebene
- Organisation, Nutzung & Betrieb
- Ergänzende Maßnahmenart
- Mensch & Kompetenz
- Begründung der Einordnung
- „Menschliche Verifikation bei folgenschweren Entscheidungen“ ist primär organisatorisch & prozessual: Ein verbindlicher Arbeitsablauf verlangt vor Nutzung oder Ausführung eine verantwortliche menschliche Entscheidung; ergänzt durch Fachwissen und Urteil.
Ausgabe-Provenienz und QuellenangabenTechnisch
- Wirkung
- Präventiv, Aufdeckend
- Umsetzungsebene
- Anwendung, API & Agenten, Nutzung & Betrieb
- Ergänzende Maßnahmenart
- Organisatorisch & prozessual
- Begründung der Einordnung
- „Ausgabe-Provenienz und Quellenangaben“ ist primär technisch: Kryptografische oder maschinenprüfbare Merkmale sichern Vertraulichkeit, Integrität oder Herkunft; ergänzt durch verbindliche Abläufe.
Erklärbarkeits-Features (Explainability)Technisch
- Wirkung
- Aufdeckend
- Umsetzungsebene
- Modell & Training, Anwendung, API & Agenten, Nutzung & Betrieb
- Begründung der Einordnung
- „Erklärbarkeits-Features (Explainability)“ ist primär technisch: Die Anwendung macht Unsicherheit, Systemgrenzen oder sichere nächste Schritte sichtbar und unterstützt informierte Entscheidungen.
Standard-Zuordnungen
Verifizierte Fundstellen in OWASP, NIST AI RMF, MITRE ATLAS, EU AI Act und weiteren Rahmenwerken. Die Zuordnungen sind taxonomisch, kein Konformitätsnachweis.
Belegte Referenzen (11)
Jede Referenz nennt Rahmenwerk, Fundstelle und die herausgebende Organisation.
- OWASP LLM Top 10 LLM09:2025 MisinformationLLM09:2025 Misinformation, official category page OWASP FoundationOriginal
- NIST AI RMF Abschnitt 2.2 ConfabulationAbschnitt 2.2, p. 6 National Institute of Standards and Technology (NIST)Original
- NIST AI RMF Abschnitt 2.7 Human-AI ConfigurationAbschnitt 2.7, p. 9 National Institute of Standards and Technology (NIST)Original
- NIST AI RMF GOVERN 3.2 GOVERN 3.2GOVERN 3.2, p. 23 National Institute of Standards and Technology (NIST)Original
- EU AI Act Article 13(1), 13(3)(b)(ii), (iv), (v) Transparency and provision of information to deployersArticle 13(1), 13(3)(b)(ii), (iv), (v) European Union (EUR-Lex)Original
- EU AI Act Article 14(4)(b) Human oversightArticle 14(4)(b) European Union (EUR-Lex)Original
- EU AI Act Article 4 AI literacyArticle 4 European Union (EUR-Lex)Original
- BSI R8 Automation Bias (Text, Bild, Video)Kap. 4, R8, p. 17 Bundesamt für Sicherheit in der Informationstechnik (BSI)Original
- BIML BIML-LLM LLMtop10:9 Model TrustworthinessPDF p. 13, [LLMtop10:9:model trustworthiness] Berryville Institute of Machine Learning (BIML)Original
- BIML BIML-LLM output:12 OverconfidencePDF p. 20, [output:12:overconfidence] Berryville Institute of Machine Learning (BIML)Original
- BIML BIML78 system:2 OverconfidencePDF p. 25, [system:2:overconfidence] Berryville Institute of Machine Learning (BIML)Original
Verwandte Bedrohungen
Weitere Einträge aus der Themengruppe Verlässlichkeit und verantwortliche Nutzung.
Diese Bedrohung im eigenen System bewerten
Die Live-Demo enthält alle 52 Bedrohungen dieses Katalogs samt EU-AI-Act- und DSGVO-Einwertung. Die kostenlosen Einzelmodule decken KI-Risiko, EU-KI-VO und DSGVO ab. Ohne Registrierung; die Bewertung läuft lokal in Ihrem Browser.
Diesen Eintrag zitieren
Für Berichte, Richtlinien oder interne Unterlagen; der Link führt direkt auf diesen Eintrag.
„Übermäßiges Vertrauen in das KI-System“. Versatile AI Risk Assessment, KI-Bedrohungskatalog, Stand Juli 2026. https://www.versatile-ai-risk-assessment.com/wissensbasis/bedrohungen/uebermaessiges-vertrauen/