Eingabedaten und Informationsquellen
Kamerabilder, Fahndungsfotos und Bilder aus dem Internet stammen nicht von der Stelle, die das System betreibt. Das System verarbeitet Gesichtsbilder bestimmbarer Personen und verknüpft sie mit ihrer Identität.
Englisch: Remote biometric identification and facial recognition
Das System gleicht Gesichter aus Kamerabildern oder Fotos mit einer Datenbank ab, um unbekannte Personen zu identifizieren.
Den Anwendungsfall verstehen
Die Person wirkt dabei nicht mit: Das System sucht ihr Gesicht unter vielen gespeicherten Bildern und nennt die ähnlichsten Treffer. Das Bundeskriminalamt gleicht Bilder so im laufenden Betrieb nachträglich ab, am Bahnhof Berlin Südkreuz wurde der Abgleich in Echtzeit getestet.
Die Seite beschreibt einen typischen Aufbau. Die tatsächlichen Datenwege und Befugnisse ergeben sich aus Ihrer Umsetzung.
Aufbau und Datenwege
Am Anfang steht ein Foto oder Kamerabild einer unbekannten Person.
Kamerabilder, Fahndungsfotos und Bilder aus dem Internet stammen nicht von der Stelle, die das System betreibt. Das System verarbeitet Gesichtsbilder bestimmbarer Personen und verknüpft sie mit ihrer Identität.
Das System berechnet aus dem Gesicht ein Merkmalsprofil und vergleicht es mit den gespeicherten Bildern.
Das System erkennt ein biometrisches Merkmal in einer Aufnahme und erzeugt daraus eine vergleichbare Merkmalsdarstellung. Diese wird mit einem Referenzbestand abgeglichen, um mögliche Identitäten zu finden. Die Qualität der Aufnahme, der Referenzbestand und die Entscheidungsschwelle beeinflussen die Treffer.
Das System nennt die ähnlichsten Personen mit ihren Ähnlichkeitswerten.
Das Ergebnis beschreibt die definierte Modellaufgabe. Ein Treffer, eine Kategorie oder eine Prognose erhält seine fachliche Bedeutung erst zusammen mit den zugrunde liegenden Daten und dem vorgesehenen Verwendungszweck.
Sachverständige oder Einsatzkräfte prüfen die Treffer und entscheiden über Ermittlung, Kontrolle oder Festnahme.
Die Einbindung bestimmt, ob das Ergebnis lediglich angezeigt, nach Freigabe übernommen oder direkt in ein Fachverfahren geschrieben wird. Diese Varianten unterscheiden sich in ihren Datenwegen und Befugnissen.
Aufbau aktiv erkunden: Wählen Sie einen Baustein, um seine Aufgabe, die ein- und ausgehenden Daten und die Einbindung im Anwendungsfall zu sehen. Der geführte Ablauf erläutert jede Phase. Mit Ja, Offen und Nein können Sie anschließend Ihre konkrete Systemvariante abbilden.
8 zuerst zu prüfen10 zu klären7 Grundlagen
Das Bild zeigt den Anwendungsfall, wie er typischerweise gebaut ist. Wählen Sie einen Baustein, um zu sehen, was dort geschieht, und stellen Sie seine Merkmale auf Ihr System um. Mit „Analysehinweise“ sehen Sie anschließend, welche Prüfkandidaten zu diesem Aufbau gehören. Die Prüfliste der Seite bleibt auf den typischen Fall bezogen.
Noch keine. Jede Umstellung erscheint hier.
Im gezeigten Aufbau: 8 zuerst zu prüfen, 10 zu klären, 7 Grundlagen.
Zugang von außen: Hängt von Ihrem System ab
Zu klären
Eingabe: Gehört zu jedem KI-System
Zuerst prüfen
Inhalte Dritter: Vorhanden
KI-Modell: Gehört zu jedem KI-System
Grundlage für jedes KI-System
Dienst eines Anbieters: Vorhanden
Zuerst prüfen
Zu klären
Dokumentensammlung: Vorhanden
Zuerst prüfen
Zu klären
Training und Rückmeldung: Vorhanden
Zuerst prüfen
Zu klären
Ergebnis: Gehört zu jedem KI-System
Grundlage für jedes KI-System
Fachanwendung oder Anlage: Hängt von Ihrem System ab
Zu klären
Mensch: Gehört zu jedem KI-System
Zuerst prüfen
Betroffene Person: Vorhanden
KI-Dienste ohne Freigabe: Hängt von Ihrem System ab
Zu klären
Lieferkette und technische Basis: 5 Grundlagen, die für jedes KI-System gelten
Grundlage für jedes KI-System
Biometrische Verifizierung und Video-Ident
Bestätigt nur, dass eine mitwirkende Person die ist, die sie zu sein angibt
Intelligente Videoanalyse im öffentlichen Raum
Erkennt Vorgänge oder Gegenstände in Kamerabildern, ohne Personen zu identifizieren
Kamerabilder, Fahndungsfotos und Bilder aus dem Internet stammen nicht von der Stelle, die das System betreibt. Das System verarbeitet Gesichtsbilder bestimmbarer Personen und verknüpft sie mit ihrer Identität.
Die Erkennungsverfahren stammen in der Regel von spezialisierten Anbietern.
Das System sucht das Gesicht in einem Bestand gespeicherter Lichtbilder und gibt die ähnlichsten zurück.
Je nach Betrieb löst ein Treffer selbst eine Meldung an Einsatzkräfte aus oder geht erst an Sachverständige zur Prüfung.
Ein eingebundener Anbieter legt den Verarbeitungsort nicht automatisch fest. Speicherort, Unterauftragnehmer, Löschfristen und die Nutzung für Training sind im konkreten Betrieb zu prüfen.
Risiken einordnen und Maßnahmen festlegen
Daten, Beteiligte, Schnittstellen und Rechte erfassen. Offene Merkmale im Modell klären.
Prüfkandidaten auf die tatsächlichen Datenwege beziehen: Was könnte passieren und wer wäre betroffen?
Auswirkungen und Eintrittswahrscheinlichkeit im Einsatzkontext bewerten. Die Anzahl der Prüfkandidaten ist kein Risikowert.
Geeignete Kontrollen auswählen, Verantwortliche und Wirksamkeitsprüfungen festlegen. Restrisiken und Freigaben dokumentieren.
Insgesamt kommen bei diesem Anwendungsfall 25 Bedrohungen aus dem Bedrohungskatalog infrage.
Außerdem prüfen: ob das System Gruppen benachteiligt
Prüfen Sie, ob Auswahl, Rangfolge oder Bewertung Menschen mit geschützten Merkmalen benachteiligen, etwa nach Geschlecht, Alter oder Herkunft.
Übermäßiges Vertrauen in das KI-System
Das System nennt den ähnlichsten Treffer, auch wenn die gesuchte Person gar nicht im Bestand ist. Verlassen sich Ermittlerinnen und Ermittler darauf, gerät eine unbeteiligte Person unter Verdacht, wie die Vorfälle in Detroit zeigen.
Brillen, Schminke, Masken oder bearbeitete Fotos verändern die Merkmale, die das System vergleicht. Die gesuchte Person bleibt dann unerkannt, oder das System hält sie für eine andere.
Wer das System wiederholt mit Bildern abfragt, kann aus den Antworten schließen, ob eine bestimmte Person im Bestand gespeichert ist. Schon diese Auskunft kann verraten, dass gegen jemanden ermittelt wurde.
Gezielte Datenvergiftung / Label-Vergiftung
Wer die Kennzeichnungen in den Trainingsdaten fälscht, kann die Ergebnisse des Modells gezielt verschieben.
Steht hier wegen dieser Eigenschaft
Über Trainingsdaten oder ein übernommenes Grundmodell kann das Modell versteckte Auslöser für Fehlverhalten enthalten.
Steht hier wegen dieser Eigenschaft
Offenlegung sensibler Informationen
Vertrauliche Inhalte können in Antworten, im mitgegebenen Kontext oder in Protokollen auftauchen.
Steht hier wegen dieser Eigenschaften
Exfiltration aus der ML-Anwendung
Schutzbedürftige Daten können über Werkzeuge, Netzverbindungen, Speicher oder Innentäter abfließen.
Steht hier wegen dieser Eigenschaft
RAG-spezifische Angriffe (Document Poisoning)
Was in die abrufbare Wissenssammlung gelangt, kann Antworten und nächste Schritte beeinflussen.
Steht hier wegen dieser Eigenschaft
Je nach Aufbau Ihres Systems kommen bis zu 10 weitere hinzu. Neun Bedrohungen prüfen Sie bei jedem KI-System. Zwei davon sind hier besonders wichtig und stehen deshalb oben.
Jedes Ja setzt weitere Bedrohungen auf Ihre Prüfliste, insgesamt bis zu 10. Können Sie eine Frage noch nicht beantworten, prüfen Sie die Bedrohungen mit.
Wie Ihr System gebaut ist
Wie Sie das System betreiben
Je nach Betrieb löst ein Treffer selbst eine Meldung an Einsatzkräfte aus oder geht erst an Sachverständige zur Prüfung.
Wenn ja, kommt hinzu
Bei kommerziellen Diensten durchsuchen viele Kundinnen und Kunden denselben Bildbestand.
Wenn ja, kommt hinzu
Wenn ja, kommt hinzu
Wenn ja, kommt hinzu
Diese Fragen stellen sich bei fast jedem KI-System.
Wenn ja, kommt hinzu
Beim Abgleich in Echtzeit laufen Kamerabilder über das Netz zum Erkennungsdienst.
Wenn ja, kommt hinzu
Wenn ja, kommt hinzu
Wenn ja, kommt hinzu
Gesichtssuchmaschinen im Internet kann jede Person nutzen, polizeiliche Systeme nur Berechtigte.
Wenn ja, kommt hinzu
Laden Ermittlerinnen und Ermittler Bilder in eine frei verfügbare Gesichtssuchmaschine, geschieht das außerhalb jeder Freigabe.
Wenn ja, kommt hinzu
Maßnahmen zu den Prüfschwerpunkten sind direkt geöffnet. Die verlinkten Maßnahmen erläutern jeweils die Umsetzung.
Maßnahmen gegen die übrigen Bedrohungen finden Sie auf deren Seiten im Bedrohungskatalog.
Für jedes KI-System Gilt seit dem 2. Februar 2025.
Bei typischem Einsatz Prüfanlass seit dem 2. Februar 2025.
Bei typischem Einsatz Prüfanlass ab dem 2. Dezember 2027.
Je nach Einsatz Prüfanlass ab dem 2. Dezember 2027.
Je nach Einsatz Prüfanlass ab dem 2. Dezember 2027.
Greift, wenn Beschäftigte oder Beauftragte KI-Systeme betreiben oder nutzen.
Gilt seit dem 2. Februar 2025.
Die Pflichten im Einzelnen
Greift, wenn Gesichtsbilder ungezielt aus dem Internet oder aus Videoaufnahmen gesammelt werden, um den Bestand aufzubauen, oder wenn die Polizei Personen im öffentlichen Raum in Echtzeit identifiziert.
Gilt seit dem 2. Februar 2025.
Die Pflichten im Einzelnen
Greift, wenn das System Personen anhand ihres Gesichts aus der Ferne identifiziert, auch nachträglich anhand gespeicherter Aufnahmen.
Gilt ab dem 2. Dezember 2027.
Die Pflichten im Einzelnen
Greift, wenn Strafverfolgungsbehörden die Treffer nutzen, um Beweismittel oder Personen in einem Ermittlungsverfahren zu bewerten.
Gilt ab dem 2. Dezember 2027.
Die Pflichten im Einzelnen
Greift, wenn Grenzbehörden das System einsetzen, um Personen zu erkennen oder zu identifizieren, und dabei über die Prüfung von Reisedokumenten hinausgehen.
Gilt ab dem 2. Dezember 2027.
Die Pflichten im Einzelnen
Ihr System im Schnellprüfer einordnen Alle Pflichten im Pflichtenkompass
Diese Bedrohungen prüfen Sie bei jedem KI-System, egal wofür es eingesetzt wird.
Trifft eine dieser Fragen bei Ihrem System doch zu, kommen die genannten Bedrohungen hinzu.
Schreibt das System eigene Texte, etwa Antworten, Entwürfe oder Zusammenfassungen?
Das System gibt eine Trefferliste mit Ähnlichkeitswerten aus, keinen Text.
Wenn ja, kommt hinzu
Erzeugt oder verändert das System Bilder, Töne, Stimmen oder Videos?
Wenn ja, kommt hinzu
Schreibt oder gestaltet das System auf freie Anfrage neue Inhalte, die Menschen direkt lesen, sehen oder hören? Übersetzen, Vorlesen und Abschreiben zählen nicht.
Wenn ja, kommt hinzu
Kann man dem System in normaler Sprache Aufträge geben, die es dann ausführt?
Wenn ja, kommt hinzu
Formuliert das System seine Antwort aus gefundenen Dokumenten?
Wenn ja, kommt hinzu
Nutzt das System ein Begriffsnetz (Wissensgraph), in dem Begriffe und ihre Beziehungen gespeichert sind?
Wenn ja, kommt hinzu
Merkt sich das System Inhalte aus früheren Gesprächen oder Aufgaben und nutzt sie später wieder?
Wenn ja, kommt hinzu
Ruft das System selbst andere Programme, Schnittstellen oder Suchdienste auf, auch wenn es dort nur liest?
Wenn ja, kommt hinzu
Legt das System seine nächsten Arbeitsschritte selbst fest, je nachdem, was vorher herauskam?
Wenn ja, kommt hinzu
Gibt das System Aufgaben an andere KI-Agenten weiter oder übernimmt es deren Ergebnisse?
Wenn ja, kommt hinzu
Ist das System über das Model Context Protocol (MCP) an Werkzeuge oder Datenquellen angebunden?
Wenn ja, kommt hinzu
Verarbeitet das System mehrere Arten von Eingaben zusammen, etwa Text mit Bild oder Sprache?
Wenn ja, kommt hinzu
Erzeugt das System Programmcode, Skripte oder Datenbankabfragen, die weiterverwendet werden?
Wenn ja, kommt hinzu
Führt das System selbst Programme, Skripte oder Befehle aus?
Wenn ja, kommt hinzu
Soll das System eine vorgegebene Kennzahl möglichst verbessern, etwa Umsatz, Auslastung oder Klicks?
Wenn ja, kommt hinzu
KI-Verordnung, Art. 5 Abs. 1 Buchst. e und h
Die Verordnung verbietet, Gesichtsbilder ungezielt auszulesen, und mit eng begrenzten Ausnahmen auch die Fernidentifizierung in Echtzeit im öffentlichen Raum zur Strafverfolgung.
KI-Verordnung, Anhang III Nr. 1 Buchst. a
Die Verordnung nennt Systeme zur biometrischen Fernidentifizierung ausdrücklich in Anhang III.
Hunton Andrews Kurth, CNIL Fines Clearview AI 20 Million Euros, 2022
Die französische Datenschutzaufsicht CNIL verhängte gegen Clearview AI ein Bußgeld von 20 Millionen Euro.
NOS, Bußgeld der Autoriteit Persoonsgegevens gegen Clearview, 3. September 2024
Die niederländische Datenschutzaufsicht verhängte gegen Clearview ein Bußgeld von 30,5 Millionen Euro.
AI Incident Database, Incidents 74 und 592
Die Datenbank dokumentiert Fehlidentifizierungen durch Gesichtserkennung, beide bei der Polizei in Detroit.
heise online, Gesichtserkennung: Test am Bahnhof Südkreuz erfolgreich abgeschlossen, 2018
Der Bericht beschreibt einen Test der Gesichtserkennung in Deutschland.
Bundeskriminalamt, Gesichtserkennung Nach Angabe des Betreibers
Das Bundeskriminalamt beschreibt, wie das GES seit 2008 Lichtbilder mit INPOL abgleicht und Sachverständige jedes Ergebnis prüfen.
Stand: 30. September 2026. Regelwerk der Prüfliste in Fassung 0.3.2, Bedrohungskatalog in Fassung 2026.10.24.2. Wie diese Seiten aufgebaut sind