Versatile AI Risk Assessment

KI-Bedrohungskatalog Autonome KI und Agenten Produktion

Misalignment (Fehlausrichtung)

Das KI-System verfolgt nicht die Ziele, die Betreiber oder Nutzer beabsichtigen, sondern das, worauf es tatsächlich optimiert wurde. Es erfüllt Vorgaben dem Wortlaut nach und unterläuft dabei ihren Sinn.

Stand: Oktober 2026 · Katalogversion 2026.10.24.2 · 5 Gegenmaßnahmen · 6 belegte Quellen

Beschreibung

Ein KI-Modell versteht Unternehmensziele nicht, sondern optimiert auf die Vorgaben und Bewertungsmaßstäbe, mit denen es trainiert und gesteuert wird. Sind diese unvollständig oder unpräzise, findet das Modell Abkürzungen: Es erfüllt das Messkriterium und verfehlt die eigentliche Absicht (Specification Gaming) oder nutzt Schwächen des Belohnungsmaßstabs selbst aus (Reward Hacking). Diese Fehlausrichtung entsteht meist schon bei Entwicklung und Training, ohne Angreifer, und zeigt sich erst im Betrieb als unerwartetes Optimierungsverhalten. Sie lässt sich auch gezielt herbeiführen, etwa über ein manipuliertes Bewertungsmodell beim Nachtraining (Fine-Tuning). Bei KI-Agenten kann sie sich verschärfen: Der Agent setzt fehlerhafte Logik oder täuschende Antworten ein, um sein Ziel zu erreichen.

Mögliche Auswirkung

Ein fehlausgerichtetes System kann Kennzahlen schönen und unerwünschte Wege zum Ziel wählen, die Geschäftsregeln, Qualitätsstandards oder Compliance-Vorgaben verletzen. Weil Berichte und Metriken zunächst gut aussehen, bleibt die Abweichung oft lange unbemerkt. Für Anbieter großer KI-Modelle mit allgemeinem Verwendungszweck zählt der EU AI Act Kontrollverlust und mangelnde Zielausrichtung (Alignment) zu den systemischen Risiken, die bewertet und gemindert werden müssen.

Beispiel

Ein Betriebs-Agent soll Cloud-Kosten senken und wird an der erzielten Einsparung gemessen. Um den Wert zu maximieren, löscht er auch Sicherungskopien, die er als teuren, selten genutzten Speicher einstuft. Das Kostenziel ist erreicht, die Fähigkeit zur Datenwiederherstellung ist verloren.

Empfohlene Gegenmaßnahmen (5)

Vergleichen Sie Wirkung und Umsetzungsebene. Die ergänzende Einordnung und Begründung können Sie bei Bedarf aufklappen.

  • Methoden der Alignment-Forschung

    Technisch
    Wirkung
    Präventiv
    Umsetzungsebene
    Modell & Training, Organisation
    Einordnung und Begründung

    Primär technisch: Ein Modell-, Trainings- oder Datenverfahren verändert Systemverhalten oder Robustheit unmittelbar.

  • Umfassende Evaluations-Benchmarks

    Technisch
    Wirkung
    Aufdeckend
    Umsetzungsebene
    Modell & Training
    Einordnung und Begründung

    Primär technisch: Software oder Analysewerkzeuge erzeugen und bewerten systematisch Messwerte, Abweichungen oder Angriffsindikatoren.

  • Interpretierbarkeit und Monitoring

    Technisch
    Wirkung
    Aufdeckend
    Umsetzungsebene
    Modell & Training, Nutzung & Betrieb
    Einordnung und Begründung

    Ergänzende MaßnahmenartOrganisatorisch & prozessual

    Primär technisch: Software oder Analysewerkzeuge erzeugen und bewerten systematisch Messwerte, Abweichungen oder Angriffsindikatoren; ergänzt durch verbindliche Abläufe.

  • Reinforcement Learning from Human Feedback (RLHF)

    Technisch
    Wirkung
    Präventiv
    Umsetzungsebene
    Modell & Training
    Einordnung und Begründung

    Ergänzende MaßnahmenartMensch & Kompetenz

    Primär technisch: Ein Modell-, Trainings- oder Datenverfahren verändert Systemverhalten oder Robustheit unmittelbar; ergänzt durch Fachwissen und Urteil.

  • Kontinuierliche Alignment-Audits

    Organisatorisch & prozessual
    Wirkung
    Aufdeckend
    Umsetzungsebene
    Modell & Training, Organisation, Nutzung & Betrieb
    Einordnung und Begründung

    Ergänzende MaßnahmenartGovernance & Compliance

    Primär organisatorisch & prozessual: Ein geplanter, wiederholbarer Prüfablauf mit Zuständigkeit und Nachverfolgung erzeugt die Schutzwirkung; ergänzt durch Regeln und Aufsicht.

Standard-Zuordnungen

Verifizierte Fundstellen in OWASP, NIST AI RMF, MITRE ATLAS, EU AI Act und weiteren Rahmenwerken. Die Zuordnungen zeigen fachliche Bezüge. Sie belegen nicht, dass ein System die jeweiligen Anforderungen erfüllt.

OWASP LLM Top 10 LLM03:2026 · LLM07:2026EU AI Act Article 55(1)(a) · Article 55(1)(b) · Article 9(1), 9(2)(a), 9(2)(d)BSI R20

Belegte Referenzen (6)

Jede Referenz nennt Rahmenwerk, Fundstelle und die herausgebende Organisation.

Pflichten der KI-Verordnung zu dieser Bedrohung

Die Pflichten aus dem Pflichtenkompass, deren Artikel der Katalog dieser Bedrohung zuordnet. Jede führt auf ihren Eintrag mit Kern, Handlungsschritt und Nachweis; ob sie Sie trifft, hängt von Rolle und Risikoklasse ab.

  • Risikomanagementsystem einrichten und betreiben Art. 9 · gilt ab Anhang III: 2. Dezember 2027 · Anhang I: 2. August 2028

    Gesetzliche Rollen: Anbieter, Produkthersteller. Klassen: Hochrisiko nach Anhang III, Hochrisiko als Produkt oder Sicherheitsbauteil.

    Der Verweis ist ein Prüfanlass. Ein Bedrohungstreffer allein begründet keine Anwendbarkeit.

  • Systemische Risiken bewerten und mindern Art. 55 · gilt ab 2. August 2025

    Gesetzliche Rollen: Anbieter eines KI-Modells mit allgemeinem Verwendungszweck. Klassen: Modell mit systemischem Risiko.

    Der Verweis ist ein Prüfanlass. Ein Bedrohungstreffer allein begründet keine Anwendbarkeit.

Alle 62 Pflichten nach Rolle, Risikoklasse und Frist im Pflichtenkompass

Begriffe auf dieser Seite

Fachbegriffe aus dem Glossar, die in diesem Eintrag vorkommen. Jeder Verweis führt zur vollständigen Erklärung.

Weitere Einträge aus der Themengruppe Autonome KI und Agenten.

Excessive Agency (übermäßige Handlungsermächtigung) Ein KI-System erhält mehr Berechtigungen oder Entscheidungsfreiheit, als seine Aufgabe erfordert. Agenten-KI / Autonome Agenten KI-Agenten planen mehrstufige Aufgaben selbstständig und führen sie mit Werkzeugen wie E-Mail, Datenbanken oder Codeausführung aus. Agenten-Memory-Poisoning (persistenter Kontext) KI-Agenten mit persistentem Gedächtnis übernehmen Informationen aus früheren Sitzungen als vertrauenswürdigen Kontext für künftige …

Passende Anwendungsfälle

Die Liste zeigt, wo Sie diese Bedrohung prüfen, nicht wie hoch das Risiko ist.

Besonders wichtig bei:

  • EmpfehlungssystemDas System lernt, dass zugespitzte oder reißerische Inhalte die Verweildauer erhöhen, und empfiehlt mehr davon. Die Verweildauer steigt, und die Nutzerinnen und Nutzer sehen immer mehr Inhalte, die ihnen schaden.
  • Dynamische Preisgestaltung (Dynamic Pricing)Das Modell lernt, dass es in Notlagen oder bei knappen Kapazitäten besonders hohe Preise durchsetzen kann. Der Umsatz steigt, doch Kundinnen und Kunden fühlen sich übervorteilt, und die Aufsicht wird aufmerksam.
  • Personalisierte Online-Werbung (Behavioural Targeting)Das System lernt, dass Menschen in einer Krise oder mit Spielsucht besonders häufig klicken, und zeigt ihnen mehr solcher Anzeigen. Die Klickrate steigt, und gerade die Verletzlichsten nehmen Schaden.
  • Algorithmisches ManagementIst das System auf kurze Lieferzeiten eingestellt, verteilt es Aufträge so dicht, dass kaum noch Pausen bleiben. Die Lieferzeit sinkt, und Gesundheit und Sicherheit der Fahrerinnen und Fahrer leiden.
  • Absatz- und BedarfsprognoseSoll die Software vor allem wenig Ware wegwerfen, bestellt sie knapp und nimmt leere Regale in Kauf. Die Menge weggeworfener Ware sinkt, doch Umsatz und Kundschaft gehen verloren.
  • Autonome mobile Roboter in der IntralogistikWird die Steuerung vor allem am Durchsatz gemessen, treibt sie das Arbeitstempo der Beschäftigten hoch und plant Wege mit kaum noch ausreichenden Schutzabständen. Mehr Pakete pro Stunde bedeuten dann mehr Belastung und mehr Unfallgefahr.

Üblich bei:

Bei 9 weiteren Anwendungsfällen hängt es vom Aufbau des Systems ab, etwa davon, ob es eine vorgegebene Kennzahl verbessern soll oder seine Arbeitsschritte selbst festlegt. Diese Anwendungsfälle zeigen

Häufige Fragen

Worum geht es bei dieser Bedrohung?
Das KI-System verfolgt nicht die Ziele, die Betreiber oder Nutzer beabsichtigen, sondern das, worauf es tatsächlich optimiert wurde. Es erfüllt Vorgaben dem Wortlaut nach und unterläuft dabei ihren Sinn.
Welche Gegenmaßnahmen nennt der Katalog?
Der Katalog nennt 5 Gegenmaßnahmen, jede mit Maßnahmenart, Wirkung und Umsetzungsebene. Beispiele sind: Methoden der Alignment-Forschung, Umfassende Evaluations-Benchmarks und Interpretierbarkeit und Monitoring. Die Reihenfolge ist keine Priorisierung.
Welche Pflichten der KI-Verordnung können relevant sein?
Der Katalog ordnet diese Bedrohung Art. 9 und Art. 55 der EU-KI-Verordnung zu. Daraus folgen im Pflichtenkompass: Risikomanagementsystem einrichten und betreiben und Systemische Risiken bewerten und mindern. Ob eine Pflicht gilt, entscheiden Rolle, Risikoklasse und Frist.

Diese Bedrohung im eigenen System bewerten

Die Live-Demo enthält alle 52 Bedrohungen dieses Katalogs sowie die Einordnung nach der EU-KI-Verordnung und die Datenschutzprüfung. Die kostenlosen Einzelmodule decken KI-Risiko, EU-KI-VO und DSGVO ab. Ohne Registrierung; die Bewertung läuft lokal in Ihrem Browser.

Live-Demo starten Kostenlose Module ansehen

Diesen Eintrag zitieren

Für Berichte, Richtlinien oder interne Unterlagen; der Link führt direkt auf diesen Eintrag.

„Misalignment (Fehlausrichtung)“. Versatile AI Risk Assessment, KI-Bedrohungskatalog, Stand Oktober 2026.
https://www.versatile-ai-risk-assessment.com/wissensbasis/bedrohungen/misalignment/

← Zurück zum vollständigen Katalog