KI-BedrohungskatalogVerlässlichkeit und verantwortliche NutzungProduktion
Faktische Fehler (Halluzinationen)
KI-Sprachmodelle erzeugen mitunter Inhalte, die überzeugend klingen, aber frei erfunden sind (Halluzinationen), darunter Zitate, Zahlen, Quellen oder Ereignisse. Diese Ausgaben wirken genauso selbstsicher wie korrekte Antworten.
Beschreibung
Sprachmodelle berechnen Wort für Wort die statistisch wahrscheinlichste Fortsetzung eines Textes. Sie prüfen dabei nicht, ob eine Aussage stimmt, und kennen den Unterschied zwischen Wissen und Erfindung nicht. Fehlt dem Modell Information, füllt es die Lücke mit plausibel klingendem, aber erfundenem Inhalt, bis hin zu erfundenen wissenschaftlichen Quellen, Gerichtsentscheidungen, Statistiken oder Programmbibliotheken. Diese Bedrohung braucht keinen Angreifer: Sie ist eine Eigenschaft der Technologie und kann in jedem Einsatz auftreten, besonders bei Fragen am Rand des antrainierten Wissens. Riskant wird sie überall dort, wo Ausgaben ungeprüft in Beratung, Rechtsfragen, Medizin oder journalistische Beiträge einfließen.
Mögliche Auswirkung
Handeln Beschäftigte oder Kunden auf Basis erfundener Inhalte, entstehen Fehlentscheidungen, Nacharbeit und Haftungsrisiken; in einem öffentlich dokumentierten Rechtsstreit wurde ein Unternehmen bereits an der falschen Auskunft seines Chatbots festgehalten. Erfundene Aussagen über Personen berühren zudem den DSGVO-Grundsatz der Richtigkeit. Öffentlich gewordene Fälle beschädigen das Vertrauen in das Unternehmen und seine KI-Angebote.
Beispiel
Der Kunden-Chatbot einer Fluggesellschaft erklärte einem Reisenden eine Erstattungsregel, die es nie gab. Das Unternehmen verlor den anschließenden Rechtsstreit und musste die erfundene Zusage einlösen; der Fall ist öffentlich dokumentiert.
Empfohlene Gegenmaßnahmen (6)
Jede Maßnahme nennt ihre Maßnahmenart, Wirkung, Umsetzungsebene und die Begründung der Einordnung.
Retrieval-Augmented Generation (RAG)Technisch
- Wirkung
- Präventiv
- Umsetzungsebene
- Daten, Anwendung, API & Agenten
- Begründung der Einordnung
- „Retrieval-Augmented Generation (RAG)“ ist primär technisch: Ein Modell-, Trainings- oder Datenverfahren verändert Systemverhalten oder Robustheit unmittelbar.
Quellen-Attribution in AusgabenTechnisch
- Wirkung
- Präventiv, Aufdeckend
- Umsetzungsebene
- Anwendung, API & Agenten, Nutzung & Betrieb
- Begründung der Einordnung
- „Quellen-Attribution in Ausgaben“ ist primär technisch: Kryptografische oder maschinenprüfbare Merkmale sichern Vertraulichkeit, Integrität oder Herkunft.
Confidence-ScoringTechnisch
- Wirkung
- Präventiv, Aufdeckend
- Umsetzungsebene
- Anwendung, API & Agenten, Nutzung & Betrieb
- Begründung der Einordnung
- „Confidence-Scoring“ ist primär technisch: Software oder Analysewerkzeuge erzeugen und bewerten systematisch Messwerte, Abweichungen oder Angriffsindikatoren.
Faktencheck in der NachverarbeitungTechnisch
- Wirkung
- Aufdeckend
- Umsetzungsebene
- Anwendung, API & Agenten, Nutzung & Betrieb
- Begründung der Einordnung
- „Faktencheck in der Nachverarbeitung“ ist primär technisch: Software oder Analysewerkzeuge erzeugen und bewerten systematisch Messwerte, Abweichungen oder Angriffsindikatoren.
Klare Nutzer-DisclaimerTechnisch
- Wirkung
- Präventiv
- Umsetzungsebene
- Anwendung, API & Agenten, Nutzung & Betrieb
- Ergänzende Maßnahmenart
- Mensch & Kompetenz
- Begründung der Einordnung
- „Klare Nutzer-Disclaimer“ ist primär technisch: Die Anwendung macht Unsicherheit, Systemgrenzen oder sichere nächste Schritte sichtbar und unterstützt informierte Entscheidungen; ergänzt durch Fachwissen und Urteil.
Übermäßige Selbstsicherheit im Training vermeidenTechnisch
- Wirkung
- Präventiv
- Umsetzungsebene
- Modell & Training
- Begründung der Einordnung
- „Übermäßige Selbstsicherheit im Training vermeiden“ ist primär technisch: Ein Modell-, Trainings- oder Datenverfahren verändert Systemverhalten oder Robustheit unmittelbar.
Standard-Zuordnungen
Verifizierte Fundstellen in OWASP, NIST AI RMF, MITRE ATLAS, EU AI Act und weiteren Rahmenwerken. Die Zuordnungen sind taxonomisch, kein Konformitätsnachweis.
Belegte Referenzen (10)
Jede Referenz nennt Rahmenwerk, Fundstelle und die herausgebende Organisation.
- OWASP LLM Top 10 LLM09:2025 MisinformationLLM09:2025 Misinformation, official category page OWASP FoundationOriginal
- NIST AI RMF Abschnitt 2.2 ConfabulationAbschnitt 2.2, p. 6 National Institute of Standards and Technology (NIST)Original
- NIST AI RMF Abschnitt 2.8 Information IntegrityAbschnitt 2.8, pp. 9–10 National Institute of Standards and Technology (NIST)Original
- EU AI Act Article 13(1), 13(3)(b)(ii), (iv), (v) Transparency and provision of information to deployersArticle 13(1), 13(3)(b)(ii), (iv), (v) European Union (EUR-Lex)Original
- EU AI Act Article 9(1), 9(2)(a), 9(2)(d) Risk management systemArticle 9(1), 9(2)(a), 9(2)(d), read with Article 9(3) European Union (EUR-Lex)Original
- BSI R15 Platzierung von Malware (Text)Kap. 4, R15, p. 22 Bundesamt für Sicherheit in der Informationstechnik (BSI)Original
- BSI R4 Fehlende Ausgabequalität (Text, Bild, Video)Kap. 4, R4, p. 15 Bundesamt für Sicherheit in der Informationstechnik (BSI)Original
- BIML BIML-LLM inference:3 WrongnessPDF p. 18, [inference:3:wrongness] Berryville Institute of Machine Learning (BIML)Original
- BIML BIML-LLM LLMtop10:9 Model TrustworthinessPDF p. 13, [LLMtop10:9:model trustworthiness] Berryville Institute of Machine Learning (BIML)Original
- BIML BIML-LLM raw:10 Query DataPDF p. 15, [raw:10:query data] Berryville Institute of Machine Learning (BIML)Original
Begriffe auf dieser Seite
Fachbegriffe aus dem Glossar, die in diesem Eintrag vorkommen. Jeder Verweis führt zur vollständigen Erklärung.
- RAG (Retrieval Augmented Generation) Das Modell zieht vor der Antwort passende Dokumente aus einer eigenen Wissensbasis.
Verwandte Bedrohungen
Weitere Einträge aus der Themengruppe Verlässlichkeit und verantwortliche Nutzung.
Diese Bedrohung im eigenen System bewerten
Die Live-Demo enthält alle 52 Bedrohungen dieses Katalogs samt EU-AI-Act- und DSGVO-Einwertung. Die kostenlosen Einzelmodule decken KI-Risiko, EU-KI-VO und DSGVO ab. Ohne Registrierung; die Bewertung läuft lokal in Ihrem Browser.
Diesen Eintrag zitieren
Für Berichte, Richtlinien oder interne Unterlagen; der Link führt direkt auf diesen Eintrag.
„Faktische Fehler (Halluzinationen)“. Versatile AI Risk Assessment, KI-Bedrohungskatalog, Stand Juli 2026. https://www.versatile-ai-risk-assessment.com/wissensbasis/bedrohungen/halluzinationen/