Eingabedaten und Informationsquellen
Das System wertet Bilder und Stimmen von Menschen aus, die ihr Verhalten selbst bestimmen und es auch verstellen können. Das System verarbeitet Gesicht oder Stimme erkennbarer Personen.
Emotionserkennung
Englisch: Emotion recognition
Aus Gesicht, Stimme oder Verhalten schließt das System auf Gefühle oder Absichten einer Person.
Den Anwendungsfall verstehen
Was macht diesen Anwendungsfall aus?
Erprobt wurde das an britischen Bahnhöfen und in einem EU-Forschungsprojekt an Grenzübergängen.
Die Seite beschreibt einen typischen Aufbau. Die tatsächlichen Datenwege und Befugnisse ergeben sich aus Ihrer Umsetzung.
- Bauform
- Auswertung und Verarbeitung
- Handlungsmacht
- Handlungsrechte je nach Einbindung
- Einsatzfelder
- Verkehrsbetriebe, Grenzkontrolle
- Auch bekannt als
- Emotionsanalyse aus Gesicht oder Stimme
Funktionsweise und Ablauf
Aufbau und Datenwege
Eingabedaten
Das System erhält Kamerabilder, Sprachaufnahmen oder andere Körpersignale einer Person.
Das System wertet Bilder und Stimmen von Menschen aus, die ihr Verhalten selbst bestimmen und es auch verstellen können. Manche Systeme werten Gesicht und Stimme gemeinsam aus, andere nur eines von beiden.
Verarbeitung
Das Modell erkennt Gesichtsausdruck, Tonfall oder Bewegung und schließt auf ein Gefühl wie Freude, Ärger oder Angst oder eine Absicht wie Täuschung.
Das Modell verarbeitet Merkmale aus Gesicht, Stimme oder anderen Signalen und ordnet ihnen eine Emotionskategorie oder Einschätzung zu. Die Verarbeitung erschließt damit einen nicht unmittelbar beobachtbaren Zustand aus äußeren Signalen. Die erzeugte Kategorie ist eine Modellinterpretation und keine direkte Messung des inneren Erlebens.
Ergebnisse
Das System nennt je Person oder Gruppe ein Gefühl und einen Zahlenwert dazu.
Das Ergebnis beschreibt die definierte Modellaufgabe. Ein Treffer, eine Kategorie oder eine Prognose erhält seine fachliche Bedeutung erst zusammen mit den zugrunde liegenden Daten und dem vorgesehenen Verwendungszweck.
Nutzung und Auswirkungen
Das Ergebnis fließt in Auswertungen ein oder beeinflusst, wie Beschäftigte, Kundinnen und Kunden oder Reisende behandelt werden.
Die Einbindung bestimmt, ob das Ergebnis lediglich angezeigt, nach Freigabe übernommen oder direkt in ein Fachverfahren geschrieben wird. Diese Varianten unterscheiden sich in ihren Datenwegen und Befugnissen.
Aufbau aktiv erkunden: Wählen Sie einen Baustein, um seine Aufgabe, die ein- und ausgehenden Daten und die Einbindung im Anwendungsfall zu sehen. Der geführte Ablauf erläutert jede Phase. Mit Ja, Offen und Nein können Sie anschließend Ihre konkrete Systemvariante abbilden.
7 zuerst zu prüfen10 zu klären7 Grundlagen
- Vorhanden
- Hängt von Ihrem System ab
- Nicht vorhanden
- Zuerst zu prüfen
- Zu klären
So nutzen Sie das Modell
Das Bild zeigt den Anwendungsfall, wie er typischerweise gebaut ist. Wählen Sie einen Baustein, um zu sehen, was dort geschieht, und stellen Sie seine Merkmale auf Ihr System um. Mit „Analysehinweise“ sehen Sie anschließend, welche Prüfkandidaten zu diesem Aufbau gehören. Die Prüfliste der Seite bleibt auf den typischen Fall bezogen.
Abweichungen vom typischen Fall
Noch keine. Jede Umstellung erscheint hier.
Wo die meisten Bedrohungen ansetzen
- 4 zuerst zu prüfen, 1 zu klären
- 4 zu klären
- 1 zuerst zu prüfen, 2 zu klären
- 1 zuerst zu prüfen, 1 zu klären
Im gezeigten Aufbau: 7 zuerst zu prüfen, 10 zu klären, 7 Grundlagen.
Aufbau als Liste
Zugang von außen: Hängt von Ihrem System ab
Zu klären
Eingabe: Gehört zu jedem KI-System
Zuerst prüfen
- Adversariale Eingaben Prüfschwerpunkt
- Offenlegung sensibler Informationen Prüfschwerpunkt
- Privacy-Angriffe
- Exfiltration aus der ML-Anwendung
Zu klären
Inhalte Dritter: Vorhanden
KI-Modell: Gehört zu jedem KI-System
Grundlage für jedes KI-System
Dienst eines Anbieters: Vorhanden
Zuerst prüfen
Zu klären
Training und Rückmeldung: Vorhanden
Zuerst prüfen
Zu klären
Ergebnis: Gehört zu jedem KI-System
Grundlage für jedes KI-System
Fachanwendung oder Anlage: Hängt von Ihrem System ab
Zu klären
Mensch: Gehört zu jedem KI-System
Zuerst prüfen
- Übermäßiges Vertrauen in das KI-System Prüfschwerpunkt
Betroffene Person: Hängt von Ihrem System ab
KI-Dienste ohne Freigabe: Hängt von Ihrem System ab
Zu klären
Lieferkette und technische Basis: 5 Grundlagen, die für jedes KI-System gelten
Grundlage für jedes KI-System
Abgrenzung zu ähnlichen Anwendungsfällen
Textanalyse von Rückmeldungen und Stellungnahmen (Text Analytics)
Bestimmt die Stimmung geschriebener Texte
Biometrische Fernidentifizierung (Gesichtserkennung)
Stellt anhand des Gesichts fest, wer eine Person ist, nicht was sie fühlt
Daten und Informationen
Verarbeitung und Betriebsumgebung
Betreiber nutzen fertige Dienste, bei Network Rail etwa Amazon Rekognition.
Speicherung und weitere Nutzung
Protokollierung, Speicherfristen und eine mögliche Verwendung für Training müssen für die konkrete Umsetzung geklärt werden.
Ergebnisse und Datenweitergabe
Wertet ein Clouddienst die Bilder aus, verlassen sie die eigene Umgebung.
Ein eingebundener Anbieter legt den Verarbeitungsort nicht automatisch fest. Speicherort, Unterauftragnehmer, Löschfristen und die Nutzung für Training sind im konkreten Betrieb zu prüfen.
Risiken einordnen und Maßnahmen festlegen
Vom Systemverständnis zur Risikoanalyse
- System abgrenzen
Daten, Beteiligte, Schnittstellen und Rechte erfassen. Offene Merkmale im Modell klären.
- Bedrohungen untersuchen
Prüfkandidaten auf die tatsächlichen Datenwege beziehen: Was könnte passieren und wer wäre betroffen?
- Risiko bewerten
Auswirkungen und Eintrittswahrscheinlichkeit im Einsatzkontext bewerten. Die Anzahl der Prüfkandidaten ist kein Risikowert.
- Maßnahmen nachweisen
Geeignete Kontrollen auswählen, Verantwortliche und Wirksamkeitsprüfungen festlegen. Restrisiken und Freigaben dokumentieren.
Wichtige Bedrohungen im Anwendungskontext
- 3 besonders wichtig
- 4 üblich
- 10 je nach System
- 7 weitere bei jedem KI-System
Insgesamt kommen bei diesem Anwendungsfall 24 Bedrohungen aus dem Bedrohungskatalog infrage.
Vorrangige Prüfansätze
Übermäßiges Vertrauen in das KI-System
Ein Gesichtsausdruck verrät nicht zuverlässig, was ein Mensch fühlt, und unterscheidet sich je nach Kultur und Person. Wer dem Ergebnis trotzdem glaubt, hält eine angespannte Reisende für verdächtig oder einen ruhigen Beschäftigten für unmotiviert.
Menschen können Mimik und Tonfall bewusst steuern, wenn sie wissen, dass sie beobachtet werden. Das System bescheinigt dann Gelassenheit oder Ehrlichkeit, wo sie nicht besteht.
Offenlegung sensibler Informationen
Das System speichert zu jeder Aufnahme, welches Gefühl es einer Person zuschreibt. Gelangen diese Angaben mit Bild oder Namen nach außen, werden vermeintliche Stimmungen, Ängste oder Absichten einzelner Menschen bekannt.
4 weitere Prüfkandidaten im typischen Aufbau
Weitere relevante Bedrohungen
Gezielte Datenvergiftung / Label-Vergiftung
Wer die Kennzeichnungen in den Trainingsdaten fälscht, kann die Ergebnisse des Modells gezielt verschieben.
Steht hier wegen dieser Eigenschaft
- Lernt aus Beispielen mit richtiger Antwort
Über Trainingsdaten oder ein übernommenes Grundmodell kann das Modell versteckte Auslöser für Fehlverhalten enthalten.
Steht hier wegen dieser Eigenschaft
- Nutzt ein Modell eines anderen Anbieters
Mit gezielten Abfragen lassen sich personenbezogene und schutzbedürftige Trainingsdaten teilweise aus dem Modell zurückgewinnen.
Steht hier wegen dieser Eigenschaften
- Verarbeitet personenbezogene Daten
- Verarbeitet vertrauliche Daten
- Erkennt oder vergleicht Personen an Körpermerkmalen
Exfiltration aus der ML-Anwendung
Schutzbedürftige Daten können über Werkzeuge, Netzverbindungen, Speicher oder Innentäter abfließen.
Steht hier wegen dieser Eigenschaft
- Verarbeitet vertrauliche Daten
Je nach Aufbau Ihres Systems kommen bis zu 10 weitere hinzu. Neun Bedrohungen prüfen Sie bei jedem KI-System. Zwei davon sind hier besonders wichtig und stehen deshalb oben.
Systemmerkmale und offene Fragen
Jedes Ja setzt weitere Bedrohungen auf Ihre Prüfliste, insgesamt bis zu 10. Können Sie eine Frage noch nicht beantworten, prüfen Sie die Bedrohungen mit.
- Kommt mit diesem Ja hinzu
- Braucht zusätzlich ein Ja auf eine andere Frage
Wie Ihr System gebaut ist
- Verarbeitet Text, Bild und Sprache gemeinsam2 Bedrohungen
- Lernt aus Ihren eigenen Daten1 Bedrohung, 1 weitere nur zusammen mit weiteren Merkmalen
- Verändert Daten oder löst Vorgänge aus1 Bedrohung
- Verwertet Rückmeldungen aus dem Betrieb1 Bedrohung
Wie Sie das System betreiben
- Ist für Menschen außerhalb der Organisation nutzbar5 Bedrohungen
- Nimmt Anfragen direkt über eine Schnittstelle an4 Bedrohungen
- Ist über ein Netzwerk erreichbar2 Bedrohungen, 1 weitere nur zusammen mit weiteren Merkmalen
- Verursacht mit jeder Anfrage Kosten1 Bedrohung
- Teilt Rechenleistung mit anderen Kunden oder Anwendungen1 Bedrohung
- Neben KI-Diensten ohne Freigabe im Einsatz1 Bedrohung
Wie Ihr System gebaut ist
Kann das System selbst etwas verändern, etwa Daten speichern, Nachrichten senden, Buchungen auslösen oder Rechte vergeben?
Wenn ja, kommt hinzu
Trainiert oder verfeinert Ihre Organisation das Modell selbst mit eigenen Daten?
Wenn ja, kommt hinzu
Fließen Rückmeldungen oder Ergebnisse aus dem Betrieb später in Auswertung oder Training ein?
Wenn ja, kommt hinzu
Verarbeitet das System mehrere Arten von Eingaben zusammen, etwa Text mit Bild oder Sprache?
Manche Systeme werten Gesicht und Stimme gemeinsam aus, andere nur eines von beiden.
Wenn ja, kommt hinzu
Wie Sie das System betreiben
Diese Fragen stellen sich bei fast jedem KI-System.
Können Personen oder Programme dem Modell direkt Anfragen stellen, zum Beispiel über eine Schnittstelle?
Wenn ja, kommt hinzu
Ist das System über ein Netzwerk erreichbar oder auf Dienste im Netz angewiesen?
Bei einem Clouddienst laufen die Kamerabilder über das Netz zur Auswertung.
Wenn ja, kommt hinzu
Zahlen Sie je Anfrage oder je Rechenzeit, sodass die Kosten mit der Nutzung steigen?
Wenn ja, kommt hinzu
Teilt sich das System Server oder Rechenleistung mit anderen Kunden oder Anwendungen?
Wenn ja, kommt hinzu
Können Menschen außerhalb Ihrer Organisation das System nutzen, auch ohne Anmeldung?
Wenn ja, kommt hinzu
Nutzen Beschäftigte für diese Aufgabe auch KI-Dienste, die Ihre Organisation nicht freigegeben hat?
Wenn ja, kommt hinzu
Maßnahmen und Umsetzung
Maßnahmen zu den Prüfschwerpunkten sind direkt geöffnet. Die verlinkten Maßnahmen erläutern jeweils die Umsetzung.
PrüfschwerpunktÜbermäßiges Vertrauen in das KI-System3 Maßnahmen
PrüfschwerpunktAdversariale Eingaben2 Maßnahmen
PrüfschwerpunktOffenlegung sensibler Informationen3 Maßnahmen
Gezielte Datenvergiftung / Label-Vergiftung3 Maßnahmen
Backdoor im ML-Modell2 Maßnahmen
Privacy-Angriffe3 Maßnahmen
Exfiltration aus der ML-Anwendung3 Maßnahmen
Maßnahmen gegen die übrigen Bedrohungen finden Sie auf deren Seiten im Bedrohungskatalog.
Vorschriften der KI-Verordnung
-
Art. 4: KI-Kompetenz
Für jedes KI-System Gilt seit dem 2. Februar 2025.
-
Art. 5 Abs. 1 Buchst. e, f, g, h: Verbotene biometrische Praktiken
Bei typischem Einsatz Prüfanlass seit dem 2. Februar 2025.
-
Art. 50 Abs. 3: Offenlegung von Emotionserkennung und Kategorisierung
Je nach Einsatz Prüfanlass seit dem 2. August 2026.
-
Anhang III Nr. 1 Buchst. c: Emotionserkennung
Bei typischem Einsatz Prüfanlass ab dem 2. Dezember 2027.
-
Anhang III Nr. 7: Migration, Asyl und Grenzkontrolle
Je nach Einsatz Prüfanlass ab dem 2. Dezember 2027.
Gilt für jedes KI-System
Art. 4: KI-Kompetenz
Greift, wenn Beschäftigte oder Beauftragte KI-Systeme betreiben oder nutzen.
Gilt seit dem 2. Februar 2025.
Pflichten und Einzelheiten zu Art. 4: KI-Kompetenz
- Wer die Pflichten trägt
- Anbieter, Betreiber, Produkthersteller, Anbieter eines KI-Modells mit allgemeinem Verwendungszweck
Die Pflichten im Einzelnen
Kann beim üblichen Einsatz greifen
Art. 5 Abs. 1 Buchst. e, f, g, h: Verbotene biometrische Praktiken
Greift, wenn das System Gefühle von Beschäftigten am Arbeitsplatz oder von Lernenden in einer Bildungseinrichtung erkennt und nicht aus medizinischen oder Sicherheitsgründen eingesetzt wird.
Gilt seit dem 2. Februar 2025.
Pflichten und Einzelheiten zu Art. 5 Abs. 1 Buchst. e, f, g, h: Verbotene biometrische Praktiken
- Allgemein lautet die Bedingung
- Greift, wenn das System eines davon tut: Gesichtsbilder ungezielt aus dem Internet oder aus Videoaufnahmen sammeln, Gefühle am Arbeitsplatz oder in Bildungseinrichtungen erkennen, Personen biometrisch nach sensiblen Merkmalen einordnen oder Personen im öffentlichen Raum zur Strafverfolgung in Echtzeit identifizieren.
- Ausnahme
- Gefühle am Arbeitsplatz und in Bildungseinrichtungen zu erkennen ist aus medizinischen Gründen und aus Sicherheitsgründen erlaubt. Für die Echtzeit-Identifizierung zur Strafverfolgung gibt es eng begrenzte Ausnahmen.
- Wer die Pflichten trägt
- Anbieter, Betreiber, Einführer, Händler, Bevollmächtigter, Produkthersteller, Anbieter eines KI-Modells mit allgemeinem Verwendungszweck
Die Pflichten im Einzelnen
Anhang III Nr. 1 Buchst. c: Emotionserkennung
Greift, wenn das System aus Gesicht, Stimme oder Körpersignalen anderer Menschen als Beschäftigter oder Lernender auf Gefühle oder Absichten schließt, etwa bei Reisenden oder Kundinnen und Kunden am Telefon.
Gilt ab dem 2. Dezember 2027.
Pflichten und Einzelheiten zu Anhang III Nr. 1 Buchst. c: Emotionserkennung
- Allgemein lautet die Bedingung
- Greift, wenn das System aus Gesicht, Stimme oder Körpersignalen auf Gefühle oder Absichten schließt.
- Wer die Pflichten trägt
- Anbieter, Betreiber, Produkthersteller
Die Pflichten im Einzelnen
Kann bei bestimmtem Einsatz greifen
Anhang III Nr. 7: Migration, Asyl und Grenzkontrolle
Greift, wenn Behörden das System an der Grenze oder im Asylverfahren einsetzen, um Täuschung zu erkennen, wie es das Forschungsprojekt iBorderCtrl erprobt hat.
Gilt ab dem 2. Dezember 2027.
Pflichten und Einzelheiten zu Anhang III Nr. 7: Migration, Asyl und Grenzkontrolle
- Allgemein lautet die Bedingung
- Greift, wenn das System bei der Prüfung von Asyl-, Visa- oder Aufenthaltsanträgen oder bei Grenzkontrollen eingesetzt wird.
- Wer die Pflichten trägt
- Anbieter, Betreiber, Produkthersteller
Die Pflichten im Einzelnen
Art. 50 Abs. 3: Offenlegung von Emotionserkennung und Kategorisierung
Greift, wenn Menschen dem System ausgesetzt sind, etwa an einem Bahnhof oder in einem Kundengespräch.
Gilt seit dem 2. August 2026.
Pflichten und Einzelheiten zu Art. 50 Abs. 3: Offenlegung von Emotionserkennung und Kategorisierung
- Allgemein lautet die Bedingung
- Greift, wenn das System Emotionen erkennt oder Personen biometrisch kategorisiert.
- Wer die Pflichten trägt
- Betreiber
Die Pflichten im Einzelnen
Ihr System im Schnellprüfer einordnen Alle Pflichten im Pflichtenkompass
Übergreifende Bedrohungen
Diese Bedrohungen prüfen Sie bei jedem KI-System, egal wofür es eingesetzt wird.
- Lieferkette: Infrastruktur
- Lieferkette: Modelle
- Lieferkette: Datensätze
- Adversariale Eingaben Prüfschwerpunkt: Adversariale Eingaben
- Unsicherer Umgang mit Modellausgaben
- Anwendungs-Schwachstellen
- Übermäßiges Vertrauen in das KI-System Prüfschwerpunkt: Übermäßiges Vertrauen in das KI-System
- Modell-Drift & -Degradation
- Middleware-Exploits (Angriffe auf AI-Frameworks)
Abweichende Systemmerkmale
16 weitere Fragen ansehen
Trifft eine dieser Fragen bei Ihrem System doch zu, kommen die genannten Bedrohungen hinzu.
Schreibt das System eigene Texte, etwa Antworten, Entwürfe oder Zusammenfassungen?
Das System gibt ein Gefühl oder einen Wert je Person aus, keinen Text.
Wenn ja, kommt hinzu
Erzeugt oder verändert das System Bilder, Töne, Stimmen oder Videos?
Wenn ja, kommt hinzu
Schreibt oder gestaltet das System auf freie Anfrage neue Inhalte, die Menschen direkt lesen, sehen oder hören? Übersetzen, Vorlesen und Abschreiben zählen nicht.
Wenn ja, kommt hinzu
Kann man dem System in normaler Sprache Aufträge geben, die es dann ausführt?
Wenn ja, kommt hinzu
Sucht das System in einer eigenen Sammlung von Dokumenten oder Datensätzen nach passenden Inhalten?
Wenn ja, kommt hinzu
Formuliert das System seine Antwort aus gefundenen Dokumenten?
Wenn ja, kommt hinzu
Nutzt das System ein Begriffsnetz (Wissensgraph), in dem Begriffe und ihre Beziehungen gespeichert sind?
Wenn ja, kommt hinzu
Merkt sich das System Inhalte aus früheren Gesprächen oder Aufgaben und nutzt sie später wieder?
Wenn ja, kommt hinzu
Ruft das System selbst andere Programme, Schnittstellen oder Suchdienste auf, auch wenn es dort nur liest?
Wenn ja, kommt hinzu
Legt das System seine nächsten Arbeitsschritte selbst fest, je nachdem, was vorher herauskam?
Wenn ja, kommt hinzu
Gibt das System Aufgaben an andere KI-Agenten weiter oder übernimmt es deren Ergebnisse?
Wenn ja, kommt hinzu
Ist das System über das Model Context Protocol (MCP) an Werkzeuge oder Datenquellen angebunden?
Wenn ja, kommt hinzu
Liegen Dokumente mehrerer Kunden, Abteilungen oder Berechtigungsgruppen im selben Suchspeicher?
Wenn ja, kommt hinzu
Erzeugt das System Programmcode, Skripte oder Datenbankabfragen, die weiterverwendet werden?
Wenn ja, kommt hinzu
Führt das System selbst Programme, Skripte oder Befehle aus?
Wenn ja, kommt hinzu
Soll das System eine vorgegebene Kennzahl möglichst verbessern, etwa Umsatz, Auslastung oder Klicks?
Wenn ja, kommt hinzu
Quellen
- Behörde, Gericht oder Parlament
Europäische Kommission, Leitlinien zu verbotenen KI-Praktiken, 2025
Die Kommission erläutert, dass es verboten ist, Gefühle von Beschäftigten im Callcenter zu erkennen, die Gefühle der Kundschaft zu analysieren aber nicht.
- Rechtsakt, Norm oder Standard
KI-Verordnung, Anhang III Nr. 1 Buchst. c
Die Verordnung nennt Systeme zur Emotionserkennung, soweit sie nicht verboten sind, ausdrücklich in Anhang III.
- Behörde, Gericht oder Parlament
Bundesnetzagentur, Verbotene Praktiken
Die Bundesnetzagentur nennt als Beispiel eine Webcam, mit der der Ärger von Beschäftigten erfasst wird.
- Bericht über einen Einsatz
DIGIT, Hidden AI Cameras Recorded Train Passengers’ Emotions at Glasgow Central, 19. Juni 2024
Der Bericht beschreibt einen Test der Emotionsanalyse an mehreren britischen Bahnhöfen.
- Fachstudie
CORDIS, iBorderCtrl (Grant 700626), Berichtsseite
Die Berichtsseite beschreibt eine Täuschungserkennung als Teil eines Grenzkontrollsystems und Pilotversuche in drei Ländern.
Verwandte Anwendungsfälle
Ebenfalls im Einsatzgebiet Biometrie und Emotionserkennung
- Biometrische Fernidentifizierung (Gesichtserkennung)Das System gleicht Gesichter aus Kamerabildern oder Fotos mit einer Datenbank ab, um unbekannte Personen zu identifizieren.
- Biometrische Verifizierung und Video-IdentDas System prüft, ob eine Person die ist, die sie zu sein angibt, etwa indem es ihr Livebild mit dem Foto im Ausweis vergleicht.
Oft zusammen eingesetzt mit
- Intelligente Videoanalyse im öffentlichen RaumIn Kamerabildern erkennt das System bestimmte Vorgänge oder Gegenstände und meldet sie einer Leitstelle, ohne Personen zu identifizieren.
- Chatbot und Voicebot im KundenserviceEin Bot beantwortet Anliegen von Kundinnen und Kunden oder Bürgerinnen und Bürgern im Chat oder am Telefon selbst und gibt schwierige Fälle an Menschen ab.
Stand: 30. September 2026. Regelwerk der Prüfliste in Fassung 0.3.2, Bedrohungskatalog in Fassung 2026.10.24.2. Wie diese Seiten aufgebaut sind