Eingabedaten und Informationsquellen
Bewertungen, Angebote fremder Händler und das Klickverhalten stammen von Außenstehenden und lassen sich gezielt beeinflussen. Das System wertet Nutzungsverhalten und Profil einzelner Personen aus.
Empfehlungssystem
Englisch: Recommender system
Aus Verhalten und Profil einer Person wählt das System Produkte, Inhalte oder Suchtreffer aus und legt fest, in welcher Reihenfolge sie erscheinen.
Den Anwendungsfall verstehen
Was macht diesen Anwendungsfall aus?
Das Modell lernt aus Klicks, Käufen und Bewertungen, was eine Person wahrscheinlich interessiert, und sortiert das Angebot danach. Die OECD nennt Amazon als Musterbeispiel, Netflix erforscht die Wirkung seiner Empfehlungen, und eine öffentliche Bibliothek in Helsinki empfiehlt so Bücher.
Die Seite beschreibt einen typischen Aufbau. Die tatsächlichen Datenwege und Befugnisse ergeben sich aus Ihrer Umsetzung.
- Bauform
- Auswertung und Verarbeitung
- Handlungsmacht
- Liefert Ergebnisse zur Weiterverwendung
- Einsatzfelder
- Onlinehandel, Streaming und Medien, Bibliotheken
- Auch bekannt als
- Personalisierung, Produktempfehlungen, Ranking von Inhalten und Suchtreffern
Funktionsweise und Ablauf
Aufbau und Datenwege
Eingabedaten
Klicks, Käufe, Bewertungen und Profilangaben einer Person kommen laufend an.
Bewertungen, Angebote fremder Händler und das Klickverhalten stammen von Außenstehenden und lassen sich gezielt beeinflussen. Das System wertet Nutzungsverhalten und Profil einzelner Personen aus.
Verarbeitung
Ein Modell schätzt, wie wahrscheinlich die Person auf ein Produkt oder einen Inhalt reagiert, und wählt die passendsten aus.
Das Modell schätzt, welche verfügbaren Inhalte oder Produkte zum aktuellen Kontext einer Person passen. Eine Rangfolge kombiniert diese Schätzungen mit den Regeln der Plattform, etwa zur Verfügbarkeit oder Vielfalt. Die Empfehlung entsteht somit aus Modellbewertung und Auswahlregeln gemeinsam.
Ergebnisse
Das System legt fest, welche Produkte, Inhalte oder Suchtreffer in welcher Reihenfolge erscheinen.
Das Ergebnis beschreibt die definierte Modellaufgabe. Ein Treffer, eine Kategorie oder eine Prognose erhält seine fachliche Bedeutung erst zusammen mit den zugrunde liegenden Daten und dem vorgesehenen Verwendungszweck.
Nutzung und Auswirkungen
Die Auswahl bestimmt, was Menschen kaufen, lesen oder ansehen, und erzeugt die Daten, aus denen das Modell weiterlernt.
Das Modell liefert Informationen zur Weiterverwendung. Die Auswahl, Übernahme oder fachliche Entscheidung im anschließenden Arbeitsablauf ist ein eigener Schritt und sollte dem Modell nicht automatisch zugerechnet werden.
Aufbau aktiv erkunden: Wählen Sie einen Baustein, um seine Aufgabe, die ein- und ausgehenden Daten und die Einbindung im Anwendungsfall zu sehen. Der geführte Ablauf erläutert jede Phase. Mit Ja, Offen und Nein können Sie anschließend Ihre konkrete Systemvariante abbilden.
12 zuerst zu prüfen9 zu klären9 Grundlagen
- Vorhanden
- Hängt von Ihrem System ab
- Nicht vorhanden
- Zuerst zu prüfen
- Zu klären
So nutzen Sie das Modell
Das Bild zeigt den Anwendungsfall, wie er typischerweise gebaut ist. Wählen Sie einen Baustein, um zu sehen, was dort geschieht, und stellen Sie seine Merkmale auf Ihr System um. Mit „Analysehinweise“ sehen Sie anschließend, welche Prüfkandidaten zu diesem Aufbau gehören. Die Prüfliste der Seite bleibt auf den typischen Fall bezogen.
Abweichungen vom typischen Fall
Noch keine. Jede Umstellung erscheint hier.
Wo die meisten Bedrohungen ansetzen
- 1 zuerst zu prüfen, 5 zu klären
- 5 zuerst zu prüfen
- 3 zuerst zu prüfen
- 2 zuerst zu prüfen, 1 zu klären
Im gezeigten Aufbau: 12 zuerst zu prüfen, 9 zu klären, 9 Grundlagen.
Aufbau als Liste
Zugang von außen: Vorhanden
Zuerst prüfen
Eingabe: Gehört zu jedem KI-System
Zuerst prüfen
- Privacy-Angriffe Prüfschwerpunkt
- Offenlegung sensibler Informationen
Zu klären
Grundlage für jedes KI-System
Inhalte Dritter: Vorhanden
KI-Modell: Gehört zu jedem KI-System
Zuerst prüfen
- Misalignment (Fehlausrichtung) Prüfschwerpunkt
Zu klären
- Sleepy Agent (zeit-/ereignisgetriggerte verdeckte Instruktionen)
- Prompt Injection: Direkt
- Prompt Injection: Indirekt
- Jailbreaks
- Extraktion des Meta-Prompts
Grundlage für jedes KI-System
Dienst eines Anbieters: Hängt von Ihrem System ab
Zu klären
Dokumentensammlung: Vorhanden
Zuerst prüfen
Training und Rückmeldung: Vorhanden
Zuerst prüfen
Ergebnis: Gehört zu jedem KI-System
Grundlage für jedes KI-System
Mensch: Gehört zu jedem KI-System
Grundlage für jedes KI-System
Betroffene Person: Hängt von Ihrem System ab
KI-Dienste ohne Freigabe: Hängt von Ihrem System ab
Zu klären
Lieferkette und technische Basis: 5 Grundlagen, die für jedes KI-System gelten
Grundlage für jedes KI-System
Abgrenzung zu ähnlichen Anwendungsfällen
Personalisierte Online-Werbung (Behavioural Targeting)
Wählt aus, welche bezahlten Anzeigen eine Person sieht
Dynamische Preisgestaltung (Dynamic Pricing)
Legt den Preis eines Angebots fest, nicht seine Reihenfolge
Automatisierte Inhaltsmoderation
Entscheidet, ob ein Beitrag entfernt oder in seiner Reichweite beschränkt wird
Daten und Informationen
Verarbeitung und Betriebsumgebung
Das Modell verarbeitet die Eingaben. Ob es intern oder bei einem Dienstleister läuft, muss für die konkrete Umsetzung geklärt werden.
Speicherung und weitere Nutzung
Das System sucht aus dem Katalog die Produkte oder Inhalte heraus, die zum Profil passen. Der Betreiber trainiert das Modell mit den Nutzungsdaten seines eigenen Angebots.
Ergebnisse und Datenweitergabe
Das System legt fest, welche Produkte, Inhalte oder Suchtreffer in welcher Reihenfolge erscheinen.
Ein eingebundener Anbieter legt den Verarbeitungsort nicht automatisch fest. Speicherort, Unterauftragnehmer, Löschfristen und die Nutzung für Training sind im konkreten Betrieb zu prüfen.
Risiken einordnen und Maßnahmen festlegen
Vom Systemverständnis zur Risikoanalyse
- System abgrenzen
Daten, Beteiligte, Schnittstellen und Rechte erfassen. Offene Merkmale im Modell klären.
- Bedrohungen untersuchen
Prüfkandidaten auf die tatsächlichen Datenwege beziehen: Was könnte passieren und wer wäre betroffen?
- Risiko bewerten
Auswirkungen und Eintrittswahrscheinlichkeit im Einsatzkontext bewerten. Die Anzahl der Prüfkandidaten ist kein Risikowert.
- Maßnahmen nachweisen
Geeignete Kontrollen auswählen, Verantwortliche und Wirksamkeitsprüfungen festlegen. Restrisiken und Freigaben dokumentieren.
Wichtige Bedrohungen im Anwendungskontext
- 3 besonders wichtig
- 9 üblich
- 9 je nach System
- 9 bei jedem KI-System
Insgesamt kommen bei diesem Anwendungsfall 30 Bedrohungen aus dem Bedrohungskatalog infrage.
Vorrangige Prüfansätze
Misalignment (Fehlausrichtung)
Das System lernt, dass zugespitzte oder reißerische Inhalte die Verweildauer erhöhen, und empfiehlt mehr davon. Die Verweildauer steigt, und die Nutzerinnen und Nutzer sehen immer mehr Inhalte, die ihnen schaden.
Ein Händler erzeugt mit gekauften Bewertungen und automatisierten Klicks künstliches Interesse an seinen Produkten. Das Modell lernt daraus und empfiehlt sie vielen Menschen an prominenter Stelle.
Aus Käufen und angesehenen Inhalten schließt das Modell auf eine Schwangerschaft oder eine Krankheit. Zeigt es darauf abgestimmte Empfehlungen, erfahren andere Personen am selben Gerät davon.
9 weitere Prüfkandidaten im typischen Aufbau
Weitere relevante Bedrohungen
Gezielte Datenvergiftung / Label-Vergiftung
Wer die Kennzeichnungen in den Trainingsdaten fälscht, kann die Ergebnisse des Modells gezielt verschieben.
Steht hier wegen dieser Eigenschaft
- Verwertet Rückmeldungen aus dem Betrieb
Über Trainingsdaten oder ein übernommenes Grundmodell kann das Modell versteckte Auslöser für Fehlverhalten enthalten.
Steht hier wegen dieser Eigenschaft
- Lernt aus Ihren eigenen Daten
Wer das Modell abfragen kann, kann es mit vielen Abfragen nachbauen. Selbst trainierte Gewichte lassen sich über den Netzzugang stehlen.
Steht hier wegen dieser Eigenschaft
- Ist für Menschen außerhalb der Organisation nutzbar
Denial-of-Service auf das Modell
Aufwendige oder massenhafte Eingaben können die Rechenleistung des Modells erschöpfen.
Steht hier wegen dieser Eigenschaft
- Ist für Menschen außerhalb der Organisation nutzbar
Cost Harvesting / Zweckentfremdung
Kostenpflichtige oder öffentlich auslösbare Abfragen lassen sich missbrauchen, um Rechenleistung und Geld zu verbrauchen.
Steht hier wegen dieser Eigenschaft
- Ist für Menschen außerhalb der Organisation nutzbar
Offenlegung sensibler Informationen
Vertrauliche Inhalte können in Antworten, im mitgegebenen Kontext oder in Protokollen auftauchen.
Steht hier wegen dieser Eigenschaft
- Verarbeitet personenbezogene Daten
Denial-of-Service auf die Anwendung
Ist die Anwendung über das Netz erreichbar, können massenhafte Anfragen sie lahmlegen.
Steht hier wegen dieser Eigenschaft
- Ist für Menschen außerhalb der Organisation nutzbar
RAG-spezifische Angriffe (Document Poisoning)
Was in die abrufbare Wissenssammlung gelangt, kann Antworten und nächste Schritte beeinflussen.
Steht hier wegen dieser Eigenschaft
- Durchsucht eine eigene Sammlung von Dokumenten
Gezielte Abfragen können verraten, wie das Modell gebaut und geschützt ist.
Steht hier wegen dieser Eigenschaft
- Ist für Menschen außerhalb der Organisation nutzbar
Je nach Aufbau Ihres Systems kommen bis zu 9 weitere hinzu. Neun Bedrohungen prüfen Sie bei jedem KI-System.
Systemmerkmale und offene Fragen
Jedes Ja setzt weitere Bedrohungen auf Ihre Prüfliste, insgesamt bis zu 9. Können Sie eine Frage noch nicht beantworten, prüfen Sie die Bedrohungen mit.
- Kommt mit diesem Ja hinzu
Wie Ihr System gebaut ist
- Führt Aufträge in normaler Sprache aus5 Bedrohungen
- Verarbeitet vertrauliche Daten1 Bedrohung
- Verarbeitet Text, Bild und Sprache gemeinsam1 Bedrohung
Wie Sie das System betreiben
Wie Ihr System gebaut ist
Kann man dem System in normaler Sprache Aufträge geben, die es dann ausführt?
Klassische Empfehlungssysteme nehmen keine Aufträge an; Empfehlungsdienste im Dialog wie Obotti verarbeiten auch freie Anfragen.
Wenn ja, kommt hinzu
Verarbeitet das System vertrauliche Informationen, etwa Geschäftsgeheimnisse, Gesundheits- oder Finanzdaten?
Aus Käufen und angesehenen Inhalten lassen sich Gesundheit, Religion oder sexuelle Orientierung erschließen.
Wenn ja, kommt hinzu
Verarbeitet das System mehrere Arten von Eingaben zusammen, etwa Text mit Bild oder Sprache?
Wenn ja, kommt hinzu
Wie Sie das System betreiben
Diese Fragen stellen sich bei fast jedem KI-System.
Können Inhalte die eigene Umgebung verlassen, etwa zu einem Cloud-Anbieter, in eine Websuche oder per E-Mail?
Wenn ja, kommt hinzu
Teilt sich das System Server oder Rechenleistung mit anderen Kunden oder Anwendungen?
Wenn ja, kommt hinzu
Nutzen Beschäftigte für diese Aufgabe auch KI-Dienste, die Ihre Organisation nicht freigegeben hat?
Wenn ja, kommt hinzu
Maßnahmen und Umsetzung
Maßnahmen zu den Prüfschwerpunkten sind direkt geöffnet. Die verlinkten Maßnahmen erläutern jeweils die Umsetzung.
PrüfschwerpunktMisalignment (Fehlausrichtung)3 Maßnahmen
PrüfschwerpunktVergiftung der Trainingsdaten2 Maßnahmen
PrüfschwerpunktPrivacy-Angriffe3 Maßnahmen
Gezielte Datenvergiftung / Label-Vergiftung3 Maßnahmen
Backdoor im ML-Modell2 Maßnahmen
Modell-Diebstahl3 Maßnahmen
Denial-of-Service auf das Modell3 Maßnahmen
Cost Harvesting / Zweckentfremdung3 Maßnahmen
Offenlegung sensibler Informationen3 Maßnahmen
Denial-of-Service auf die Anwendung3 Maßnahmen
RAG-spezifische Angriffe (Document Poisoning)3 Maßnahmen
Modell-Reconnaissance3 Maßnahmen
Maßnahmen gegen die übrigen Bedrohungen finden Sie auf deren Seiten im Bedrohungskatalog.
Vorschriften der KI-Verordnung
-
Art. 4: KI-Kompetenz
Für jedes KI-System Gilt seit dem 2. Februar 2025.
-
Art. 5 Abs. 1 Buchst. a, b: Manipulation und Ausnutzen von Schutzbedürftigkeit
Je nach Einsatz Prüfanlass seit dem 2. Februar 2025.
Gilt für jedes KI-System
Art. 4: KI-Kompetenz
Greift, wenn Beschäftigte oder Beauftragte KI-Systeme betreiben oder nutzen.
Gilt seit dem 2. Februar 2025.
Pflichten und Einzelheiten zu Art. 4: KI-Kompetenz
- Wer die Pflichten trägt
- Anbieter, Betreiber, Produkthersteller, Anbieter eines KI-Modells mit allgemeinem Verwendungszweck
Die Pflichten im Einzelnen
Kann bei bestimmtem Einsatz greifen
Art. 5 Abs. 1 Buchst. a, b: Manipulation und Ausnutzen von Schutzbedürftigkeit
Greift, wenn das System Personen gezielt über eine Schwäche wegen ihres Alters, einer Behinderung oder ihrer wirtschaftlichen Lage beeinflusst und ihnen dadurch erheblicher Schaden droht.
Gilt seit dem 2. Februar 2025.
Pflichten und Einzelheiten zu Art. 5 Abs. 1 Buchst. a, b: Manipulation und Ausnutzen von Schutzbedürftigkeit
- Allgemein lautet die Bedingung
- Greift, wenn das System Verhalten mit unterschwelligen, manipulativen oder täuschenden Mitteln beeinflusst oder ausnutzt, dass jemand wegen Alter, Behinderung oder sozialer oder wirtschaftlicher Lage schutzbedürftig ist, und dadurch erheblicher Schaden droht.
- Wer die Pflichten trägt
- Anbieter, Betreiber, Einführer, Händler, Bevollmächtigter, Produkthersteller, Anbieter eines KI-Modells mit allgemeinem Verwendungszweck
Die Pflichten im Einzelnen
Weitere Rechtsgrundlagen
Art. 27 DSA
Anbieter von Online-Plattformen müssen in ihren Nutzungsbedingungen die wichtigsten Kriterien offenlegen, nach denen ihre Empfehlungssysteme auswählen und sortieren.
Ihr System im Schnellprüfer einordnen Alle Pflichten im Pflichtenkompass
Übergreifende Bedrohungen
Diese Bedrohungen prüfen Sie bei jedem KI-System, egal wofür es eingesetzt wird.
Abweichende Systemmerkmale
14 weitere Fragen ansehen
Trifft eine dieser Fragen bei Ihrem System doch zu, kommen die genannten Bedrohungen hinzu.
Schreibt das System eigene Texte, etwa Antworten, Entwürfe oder Zusammenfassungen?
Wenn ja, kommt hinzu
Erzeugt oder verändert das System Bilder, Töne, Stimmen oder Videos?
Wenn ja, kommt hinzu
Schreibt oder gestaltet das System auf freie Anfrage neue Inhalte, die Menschen direkt lesen, sehen oder hören? Übersetzen, Vorlesen und Abschreiben zählen nicht.
Wenn ja, kommt hinzu
Formuliert das System seine Antwort aus gefundenen Dokumenten?
Wenn ja, kommt hinzu
Merkt sich das System Inhalte aus früheren Gesprächen oder Aufgaben und nutzt sie später wieder?
Wenn ja, kommt hinzu
Ruft das System selbst andere Programme, Schnittstellen oder Suchdienste auf, auch wenn es dort nur liest?
Wenn ja, kommt hinzu
Kann das System selbst etwas verändern, etwa Daten speichern, Nachrichten senden, Buchungen auslösen oder Rechte vergeben?
Wenn ja, kommt hinzu
Legt das System seine nächsten Arbeitsschritte selbst fest, je nachdem, was vorher herauskam?
Wenn ja, kommt hinzu
Gibt das System Aufgaben an andere KI-Agenten weiter oder übernimmt es deren Ergebnisse?
Wenn ja, kommt hinzu
Ist das System über das Model Context Protocol (MCP) an Werkzeuge oder Datenquellen angebunden?
Wenn ja, kommt hinzu
Liegen Dokumente mehrerer Kunden, Abteilungen oder Berechtigungsgruppen im selben Suchspeicher?
Wenn ja, kommt hinzu
Bewegt oder steuert das System unmittelbar etwas in der physischen Welt, etwa Motoren, Ventile, Fahrzeuge oder Temperaturen?
Wenn ja, kommt hinzu
Erzeugt das System Programmcode, Skripte oder Datenbankabfragen, die weiterverwendet werden?
Wenn ja, kommt hinzu
Führt das System selbst Programme, Skripte oder Befehle aus?
Wenn ja, kommt hinzu
Quellen
- Fachstudie
OECD, Framework for the Classification of AI Systems, 2022, System 3
Die OECD zieht ein Empfehlungssystem als Referenzbeispiel für Personalisierung heran.
- Rechtsakt, Norm oder Standard
Gesetz über digitale Dienste (DSA), Art. 27 (dejure.org)
Anbieter von Online-Plattformen müssen die wichtigsten Kriterien offenlegen, nach denen ihre Empfehlungssysteme auswählen und sortieren.
- Register oder Fallsammlung
Helsinki AI Register, Oodi’s book recommendation service Obotti
Die Stadtbibliothek betreibt einen Dienst, der Bücher nach den Interessen der Leserinnen und Leser empfiehlt.
- Fachstudie
Zielnicki u. a., The Value of Personalized Recommendations: Evidence from Netflix (arXiv 2511.07280)
Die Studie misst die Wirkung personalisierter Empfehlungen auf das, was bei Netflix angesehen wird.
Verwandte Anwendungsfälle
Ebenfalls im Einsatzgebiet Kundenkontakt, Marketing und Plattformen
- Chatbot und Voicebot im KundenserviceEin Bot beantwortet Anliegen von Kundinnen und Kunden oder Bürgerinnen und Bürgern im Chat oder am Telefon selbst und gibt schwierige Fälle an Menschen ab.
- Dynamische Preisgestaltung (Dynamic Pricing)Onlinehändler und Plattformen lassen ihre Preise automatisch an Nachfrage, Kosten, Kapazität und die Preise der Konkurrenz anpassen.
- Personalisierte Online-Werbung (Behavioural Targeting)Das System wählt aus Nutzungsverhalten und Profil einer Person aus, welche Anzeigen sie sieht.
- Automatisierte InhaltsmoderationPlattformen lassen rechtswidrige oder regelwidrige Beiträge automatisch finden und entfernen, einschränken oder einem Menschen zur Prüfung vorlegen.
- Generierung von Bildern, Videos und StimmenAus einer kurzen Beschreibung erzeugt oder verändert das System Bilder, Videos und Ton, etwa für Werbung und Kommunikation.
Oft zusammen eingesetzt mit
Stand: 30. September 2026. Regelwerk der Prüfliste in Fassung 0.3.2, Bedrohungskatalog in Fassung 2026.10.24.2. Wie diese Seiten aufgebaut sind