Versatile AI Risk Assessment

KI-Bedrohungskatalog Verlässlichkeit und verantwortliche Nutzung Produktion

Faktische Fehler (Halluzinationen)

KI-Sprachmodelle erzeugen mitunter Inhalte, die überzeugend klingen, aber frei erfunden sind (Halluzinationen), darunter Zitate, Zahlen, Quellen oder Ereignisse. Diese Ausgaben wirken genauso selbstsicher wie korrekte Antworten.

Stand: Oktober 2026 · Katalogversion 2026.10.24.2 · 6 Gegenmaßnahmen · 11 belegte Quellen

Beschreibung

Sprachmodelle berechnen Wort für Wort die statistisch wahrscheinlichste Fortsetzung eines Textes. Sie prüfen dabei nicht, ob eine Aussage stimmt, und kennen den Unterschied zwischen Wissen und Erfindung nicht. Fehlt dem Modell Information, füllt es die Lücke mit plausibel klingendem, aber erfundenem Inhalt, bis hin zu erfundenen wissenschaftlichen Quellen, Gerichtsentscheidungen, Statistiken oder Programmbibliotheken. Diese Bedrohung braucht keinen Angreifer: Sie ist eine Eigenschaft der Technologie und kann in jedem Einsatz auftreten, besonders bei Fragen am Rand des antrainierten Wissens. Riskant wird sie überall dort, wo Ausgaben ungeprüft in Beratung, Rechtsfragen, Medizin oder journalistische Beiträge einfließen.

Mögliche Auswirkung

Handeln Beschäftigte oder Kunden auf Basis erfundener Inhalte, entstehen Fehlentscheidungen, Nacharbeit und Haftungsrisiken; in einem öffentlich dokumentierten Rechtsstreit wurde ein Unternehmen bereits an der falschen Auskunft seines Chatbots festgehalten. Erfundene Aussagen über Personen berühren zudem den DSGVO-Grundsatz der Richtigkeit. Öffentlich gewordene Fälle beschädigen das Vertrauen in das Unternehmen und seine KI-Angebote.

Beispiel

Der Kunden-Chatbot einer Fluggesellschaft erklärte einem Reisenden eine Erstattungsregel, die es nie gab. Das Unternehmen verlor den anschließenden Rechtsstreit und musste die erfundene Zusage einlösen; der Fall ist öffentlich dokumentiert.

Empfohlene Gegenmaßnahmen (6)

Vergleichen Sie Wirkung und Umsetzungsebene. Die ergänzende Einordnung und Begründung können Sie bei Bedarf aufklappen.

  • Retrieval-Augmented Generation (RAG)

    Technisch
    Wirkung
    Präventiv
    Umsetzungsebene
    Daten, Anwendung, API & Agenten
    Einordnung und Begründung

    Primär technisch: Ein Modell-, Trainings- oder Datenverfahren verändert Systemverhalten oder Robustheit unmittelbar.

  • Quellen-Attribution in Ausgaben

    Technisch
    Wirkung
    Präventiv, Aufdeckend
    Umsetzungsebene
    Anwendung, API & Agenten, Nutzung & Betrieb
    Einordnung und Begründung

    Primär technisch: Kryptografische oder maschinenprüfbare Merkmale sichern Vertraulichkeit, Integrität oder Herkunft.

  • Confidence-Scoring

    Technisch
    Wirkung
    Präventiv, Aufdeckend
    Umsetzungsebene
    Anwendung, API & Agenten, Nutzung & Betrieb
    Einordnung und Begründung

    Primär technisch: Software oder Analysewerkzeuge erzeugen und bewerten systematisch Messwerte, Abweichungen oder Angriffsindikatoren.

  • Faktencheck in der Nachverarbeitung

    Technisch
    Wirkung
    Aufdeckend
    Umsetzungsebene
    Anwendung, API & Agenten, Nutzung & Betrieb
    Einordnung und Begründung

    Primär technisch: Software oder Analysewerkzeuge erzeugen und bewerten systematisch Messwerte, Abweichungen oder Angriffsindikatoren.

  • Klare Nutzer-Disclaimer

    Technisch
    Wirkung
    Präventiv
    Umsetzungsebene
    Anwendung, API & Agenten, Nutzung & Betrieb
    Einordnung und Begründung

    Ergänzende MaßnahmenartMensch & Kompetenz

    Primär technisch: Die Anwendung macht Unsicherheit, Systemgrenzen oder sichere nächste Schritte sichtbar und unterstützt informierte Entscheidungen; ergänzt durch Fachwissen und Urteil.

  • Übermäßige Selbstsicherheit im Training vermeiden

    Technisch
    Wirkung
    Präventiv
    Umsetzungsebene
    Modell & Training
    Einordnung und Begründung

    Primär technisch: Ein Modell-, Trainings- oder Datenverfahren verändert Systemverhalten oder Robustheit unmittelbar.

Standard-Zuordnungen

Verifizierte Fundstellen in OWASP, NIST AI RMF, MITRE ATLAS, EU AI Act und weiteren Rahmenwerken. Die Zuordnungen zeigen fachliche Bezüge. Sie belegen nicht, dass ein System die jeweiligen Anforderungen erfüllt.

OWASP LLM Top 10 LLM04:2026 · LLM07:2026NIST AI RMF Abschnitt 2.2 · Abschnitt 2.8EU AI Act Article 13(1), 13(3)(b)(ii), (iv), (v) · Article 9(1), 9(2)(a), 9(2)(d)BSI R15 · R4BIML BIML-LLM inference:3 · BIML-LLM LLMtop10:9 · BIML-LLM raw:10

Belegte Referenzen (11)

Jede Referenz nennt Rahmenwerk, Fundstelle und die herausgebende Organisation.

Pflichten der KI-Verordnung zu dieser Bedrohung

Die Pflichten aus dem Pflichtenkompass, deren Artikel der Katalog dieser Bedrohung zuordnet. Jede führt auf ihren Eintrag mit Kern, Handlungsschritt und Nachweis; ob sie Sie trifft, hängt von Rolle und Risikoklasse ab.

  • Risikomanagementsystem einrichten und betreiben Art. 9 · gilt ab Anhang III: 2. Dezember 2027 · Anhang I: 2. August 2028

    Gesetzliche Rollen: Anbieter, Produkthersteller. Klassen: Hochrisiko nach Anhang III, Hochrisiko als Produkt oder Sicherheitsbauteil.

    Der Verweis ist ein Prüfanlass. Ein Bedrohungstreffer allein begründet keine Anwendbarkeit.

  • Betriebsanleitung für Betreiber bereitstellen Art. 13 · gilt ab Anhang III: 2. Dezember 2027 · Anhang I: 2. August 2028

    Gesetzliche Rollen: Anbieter, Produkthersteller. Klassen: Hochrisiko nach Anhang III, Hochrisiko als Produkt oder Sicherheitsbauteil.

    Der Verweis ist ein Prüfanlass. Ein Bedrohungstreffer allein begründet keine Anwendbarkeit.

Alle 62 Pflichten nach Rolle, Risikoklasse und Frist im Pflichtenkompass

Begriffe auf dieser Seite

Fachbegriffe aus dem Glossar, die in diesem Eintrag vorkommen. Jeder Verweis führt zur vollständigen Erklärung.

Weitere Einträge aus der Themengruppe Verlässlichkeit und verantwortliche Nutzung.

Übermäßiges Vertrauen in das KI-System Menschen neigen dazu, überzeugend klingende KI-Ausgaben ungeprüft zu übernehmen (Automatisierungsbias). Modell-Drift & -Degradation Die Qualität eines KI-Modells nimmt im Betrieb allmählich ab, weil sich die Welt verändert, während das Modell auf altem Wissensstand … Shadow AI (nicht genehmigte Nutzung von KI-Diensten) Beschäftigte oder Fachbereiche nutzen KI-Dienste ohne Freigabe und Aufsicht des Unternehmens (Schatten-KI).

Passende Anwendungsfälle

Die Liste zeigt, wo Sie diese Bedrohung prüfen, nicht wie hoch das Risiko ist.

Besonders wichtig bei:

  • Generativer KI-Assistent für BeschäftigteDer Assistent nennt in einem Entwurf eine Vorschrift, ein Urteil oder eine Zahl, die es nicht gibt. Übernimmt jemand den Text, landet der Fehler in einem Schreiben an Kundinnen und Kunden oder Bürgerinnen und Bürger.
  • KI-Wissensassistent (Enterprise Search)Findet die Suche keinen passenden Abschnitt, formuliert das Sprachmodell trotzdem eine Antwort. Eine erfundene Regel zur Informationssicherheit oder ein falscher Arbeitsschritt sieht dann aus wie ein Zitat aus dem Handbuch.
  • Spracherkennung und TranskriptionBei einer Pause oder undeutlicher Sprache fügt das Modell einen Satz ein, der nie gesagt wurde. Steht er in einem Befund oder einer Entscheidung, gilt er später als Aussage der Person.
  • KI-Protokoll und GesprächsdokumentationDas Sprachmodell schreibt einer Klientin eine Aussage zu, die sie nie gemacht hat, oder ergänzt eine Diagnose. Steht der Satz in der Fallakte, gilt er in späteren Entscheidungen als festgestellt.
  • Maschinelle ÜbersetzungDas Modell lässt eine Verneinung weg oder überträgt einen Fachbegriff falsch, und der Satz klingt trotzdem flüssig. In einem Bescheid oder einer Gebrauchsanweisung ändert sich damit die Aussage, ohne dass es auffällt.
  • Textanalyse von Rückmeldungen und Stellungnahmen (Text Analytics)Das Sprachmodell fasst ein Thema zusammen, das in den Antworten kaum vorkommt, oder gibt eine Minderheitsmeinung als Mehrheit aus. Wer nur die Zusammenfassung liest, zieht daraus falsche Schlüsse für eine Regelung oder ein Produkt.

Üblich bei:

Bei 10 weiteren Anwendungsfällen hängt es vom Aufbau des Systems ab, etwa davon, ob es eigene Texte schreibt. Diese Anwendungsfälle zeigen

Häufige Fragen

Worum geht es bei dieser Bedrohung?
KI-Sprachmodelle erzeugen mitunter Inhalte, die überzeugend klingen, aber frei erfunden sind (Halluzinationen), darunter Zitate, Zahlen, Quellen oder Ereignisse. Diese Ausgaben wirken genauso selbstsicher wie korrekte Antworten.
Welche Gegenmaßnahmen nennt der Katalog?
Der Katalog nennt 6 Gegenmaßnahmen, jede mit Maßnahmenart, Wirkung und Umsetzungsebene. Beispiele sind: Retrieval-Augmented Generation (RAG), Quellen-Attribution in Ausgaben und Confidence-Scoring. Die Reihenfolge ist keine Priorisierung.
Welche Pflichten der KI-Verordnung können relevant sein?
Der Katalog ordnet diese Bedrohung Art. 9 und Art. 13 der EU-KI-Verordnung zu. Daraus folgen im Pflichtenkompass: Risikomanagementsystem einrichten und betreiben und Betriebsanleitung für Betreiber bereitstellen. Ob eine Pflicht gilt, entscheiden Rolle, Risikoklasse und Frist.

Diese Bedrohung im eigenen System bewerten

Die Live-Demo enthält alle 52 Bedrohungen dieses Katalogs sowie die Einordnung nach der EU-KI-Verordnung und die Datenschutzprüfung. Die kostenlosen Einzelmodule decken KI-Risiko, EU-KI-VO und DSGVO ab. Ohne Registrierung; die Bewertung läuft lokal in Ihrem Browser.

Live-Demo starten Kostenlose Module ansehen

Diesen Eintrag zitieren

Für Berichte, Richtlinien oder interne Unterlagen; der Link führt direkt auf diesen Eintrag.

„Faktische Fehler (Halluzinationen)“. Versatile AI Risk Assessment, KI-Bedrohungskatalog, Stand Oktober 2026.
https://www.versatile-ai-risk-assessment.com/wissensbasis/bedrohungen/halluzinationen/

← Zurück zum vollständigen Katalog