Eingabedaten und Informationsquellen
Was vor der Kamera geschieht, bestimmen die Menschen im öffentlichen Raum. Die Kameras erfassen erkennbare Menschen, auch wenn das System sie nicht identifiziert.
Intelligente Videoanalyse im öffentlichen Raum
Englisch: Intelligent video analytics
In Kamerabildern erkennt das System bestimmte Vorgänge oder Gegenstände und meldet sie einer Leitstelle, ohne Personen zu identifizieren.
Den Anwendungsfall verstehen
Was macht diesen Anwendungsfall aus?
Statt dass Beschäftigte alle Bildschirme beobachten, meldet das System nur Szenen, die zu einem gelernten Muster passen, etwa Schlagen und Treten oder schwere Gegenstände auf einer Brücke. Die Polizei in Mannheim erprobt das seit 2018, die Stadt Amsterdam überwacht so Brücken und Kaimauern.
Die Seite beschreibt einen typischen Aufbau. Die tatsächlichen Datenwege und Befugnisse ergeben sich aus Ihrer Umsetzung.
- Bauform
- Auswertung und Verarbeitung
- Handlungsmacht
- Handlungsrechte je nach Einbindung
- Einsatzfelder
- Polizei, Kommunen
- Auch bekannt als
- algorithmenbasierte Videoüberwachung, Verhaltenserkennung, Objekterkennung im öffentlichen Raum
Funktionsweise und Ablauf
Aufbau und Datenwege
Eingabedaten
Kameras im öffentlichen Raum liefern laufend Bilder an das System.
Was vor der Kamera geschieht, bestimmen die Menschen im öffentlichen Raum. Die Kameras erfassen erkennbare Menschen, auch wenn das System sie nicht identifiziert.
Verarbeitung
Das Modell sucht in den Bildern nach gelernten Bewegungsmustern oder Gegenständen.
Das System erkennt Objekte, Bewegungen oder Ereignisse in einzelnen Bildern und über die Zeit hinweg. Regeln oder weitere Modelle verdichten diese Erkennungen zu Ereignishinweisen. Die Interpretation hängt davon ab, welche Situationen das System unterscheiden soll und welche Signale die Kamera tatsächlich erfasst.
Ergebnisse
Das System meldet eine erkannte Szene mit Bildausschnitt, Ort und Zeit an die Leitstelle.
Das Ergebnis beschreibt die definierte Modellaufgabe. Ein Treffer, eine Kategorie oder eine Prognose erhält seine fachliche Bedeutung erst zusammen mit den zugrunde liegenden Daten und dem vorgesehenen Verwendungszweck.
Nutzung und Auswirkungen
Die Leitstelle prüft die Meldung und schickt bei Bedarf Einsatzkräfte oder veranlasst andere Maßnahmen vor Ort.
Die Einbindung bestimmt, ob das Ergebnis lediglich angezeigt, nach Freigabe übernommen oder direkt in ein Fachverfahren geschrieben wird. Diese Varianten unterscheiden sich in ihren Datenwegen und Befugnissen.
Aufbau aktiv erkunden: Wählen Sie einen Baustein, um seine Aufgabe, die ein- und ausgehenden Daten und die Einbindung im Anwendungsfall zu sehen. Der geführte Ablauf erläutert jede Phase. Mit Ja, Offen und Nein können Sie anschließend Ihre konkrete Systemvariante abbilden.
6 zuerst zu prüfen11 zu klären6 Grundlagen
- Vorhanden
- Hängt von Ihrem System ab
- Nicht vorhanden
- Zuerst zu prüfen
- Zu klären
So nutzen Sie das Modell
Das Bild zeigt den Anwendungsfall, wie er typischerweise gebaut ist. Wählen Sie einen Baustein, um zu sehen, was dort geschieht, und stellen Sie seine Merkmale auf Ihr System um. Mit „Analysehinweise“ sehen Sie anschließend, welche Prüfkandidaten zu diesem Aufbau gehören. Die Prüfliste der Seite bleibt auf den typischen Fall bezogen.
Abweichungen vom typischen Fall
Noch keine. Jede Umstellung erscheint hier.
Wo die meisten Bedrohungen ansetzen
- 4 zu klären
- 3 zuerst zu prüfen
- 1 zuerst zu prüfen, 2 zu klären
- 3 zu klären
Im gezeigten Aufbau: 6 zuerst zu prüfen, 11 zu klären, 6 Grundlagen.
Aufbau als Liste
Zugang von außen: Hängt von Ihrem System ab
Zu klären
Eingabe: Gehört zu jedem KI-System
Zuerst prüfen
Inhalte Dritter: Vorhanden
KI-Modell: Gehört zu jedem KI-System
Zuerst prüfen
- Modell-Drift & -Degradation Prüfschwerpunkt
Dienst eines Anbieters: Hängt von Ihrem System ab
Zu klären
Training und Rückmeldung: Vorhanden
Zuerst prüfen
Zu klären
Ergebnis: Gehört zu jedem KI-System
Grundlage für jedes KI-System
Fachanwendung oder Anlage: Hängt von Ihrem System ab
Zu klären
Mensch: Gehört zu jedem KI-System
Zuerst prüfen
- Übermäßiges Vertrauen in das KI-System Prüfschwerpunkt
Betroffene Person: Vorhanden
KI-Dienste ohne Freigabe: Hängt von Ihrem System ab
Zu klären
Lieferkette und technische Basis: 5 Grundlagen, die für jedes KI-System gelten
Grundlage für jedes KI-System
Abgrenzung zu ähnlichen Anwendungsfällen
Biometrische Fernidentifizierung (Gesichtserkennung)
Gleicht Gesichter aus Kamerabildern mit einer Datenbank ab, um Personen zu identifizieren
Schließt aus Gesicht oder Verhalten auf Gefühle oder Absichten einzelner Personen
Daten und Informationen
Verarbeitung und Betriebsumgebung
Das Modell verarbeitet die Eingaben. Ob es intern oder bei einem Dienstleister läuft, muss für die konkrete Umsetzung geklärt werden.
Speicherung und weitere Nutzung
Bestätigte und verworfene Meldungen der Leitstelle können als neue Lernbeispiele dienen.
Ergebnisse und Datenweitergabe
Je nach Betrieb löst eine Meldung selbst einen Einsatz aus oder die Leitstelle bestätigt sie erst.
Ein eingebundener Anbieter legt den Verarbeitungsort nicht automatisch fest. Speicherort, Unterauftragnehmer, Löschfristen und die Nutzung für Training sind im konkreten Betrieb zu prüfen.
Risiken einordnen und Maßnahmen festlegen
Vom Systemverständnis zur Risikoanalyse
- System abgrenzen
Daten, Beteiligte, Schnittstellen und Rechte erfassen. Offene Merkmale im Modell klären.
- Bedrohungen untersuchen
Prüfkandidaten auf die tatsächlichen Datenwege beziehen: Was könnte passieren und wer wäre betroffen?
- Risiko bewerten
Auswirkungen und Eintrittswahrscheinlichkeit im Einsatzkontext bewerten. Die Anzahl der Prüfkandidaten ist kein Risikowert.
- Maßnahmen nachweisen
Geeignete Kontrollen auswählen, Verantwortliche und Wirksamkeitsprüfungen festlegen. Restrisiken und Freigaben dokumentieren.
Wichtige Bedrohungen im Anwendungskontext
- 3 besonders wichtig
- 3 üblich
- 11 je nach System
- 6 weitere bei jedem KI-System
Insgesamt kommen bei diesem Anwendungsfall 23 Bedrohungen aus dem Bedrohungskatalog infrage.
Außerdem prüfen: ob das System Gruppen benachteiligt
Prüfen Sie, ob Auswahl, Rangfolge oder Bewertung Menschen mit geschützten Merkmalen benachteiligen, etwa nach Geschlecht, Alter oder Herkunft.
Vorrangige Prüfansätze
Übermäßiges Vertrauen in das KI-System
Beschäftigte der Leitstelle achten vor allem auf die Szenen, die das System meldet. Was es nicht erkennt, sieht dann niemand mehr, und harmlose Rangeleien können als Angriff gelten.
Licht, Wetter, Jahreszeit und Umbauten verändern das Kamerabild. Das Modell erkennt die gelernten Muster dann schlechter, ohne dass es eine Warnung ausgibt.
Wer die Kamerastandorte kennt, kann sich so bewegen oder abschirmen, dass das Muster nicht erkannt wird. Umgekehrt lassen sich gezielt Fehlalarme auslösen, die die Leitstelle binden.
3 weitere Prüfkandidaten im typischen Aufbau
Weitere relevante Bedrohungen
Gezielte Datenvergiftung / Label-Vergiftung
Wer die Kennzeichnungen in den Trainingsdaten fälscht, kann die Ergebnisse des Modells gezielt verschieben.
Steht hier wegen dieser Eigenschaft
- Lernt aus Beispielen mit richtiger Antwort
Mit gezielten Abfragen lassen sich personenbezogene und schutzbedürftige Trainingsdaten teilweise aus dem Modell zurückgewinnen.
Steht hier wegen dieser Eigenschaft
- Verarbeitet personenbezogene Daten
Offenlegung sensibler Informationen
Vertrauliche Inhalte können in Antworten, im mitgegebenen Kontext oder in Protokollen auftauchen.
Steht hier wegen dieser Eigenschaft
- Verarbeitet personenbezogene Daten
Je nach Aufbau Ihres Systems kommen bis zu 11 weitere hinzu. Neun Bedrohungen prüfen Sie bei jedem KI-System. Drei davon sind hier besonders wichtig und stehen deshalb oben.
Systemmerkmale und offene Fragen
Jedes Ja setzt weitere Bedrohungen auf Ihre Prüfliste, insgesamt bis zu 11. Können Sie eine Frage noch nicht beantworten, prüfen Sie die Bedrohungen mit.
- Kommt mit diesem Ja hinzu
- Braucht zusätzlich ein Ja auf eine andere Frage
Wie Ihr System gebaut ist
- Lernt aus Ihren eigenen Daten2 Bedrohungen, 1 weitere nur zusammen mit weiteren Merkmalen
- Verändert Daten oder löst Vorgänge aus1 Bedrohung
- Verarbeitet vertrauliche Daten1 Bedrohung
- Nutzt ein Modell eines anderen Anbieters1 Bedrohung
- Verwertet Rückmeldungen aus dem Betrieb1 Bedrohung
Wie Sie das System betreiben
- Nimmt Anfragen direkt über eine Schnittstelle an4 Bedrohungen
- Ist über ein Netzwerk erreichbar2 Bedrohungen, 1 weitere nur zusammen mit weiteren Merkmalen
- Verursacht mit jeder Anfrage Kosten1 Bedrohung
- Gibt Inhalte an Dienste außerhalb der eigenen Umgebung weiter1 Bedrohung
- Teilt Rechenleistung mit anderen Kunden oder Anwendungen1 Bedrohung
- Neben KI-Diensten ohne Freigabe im Einsatz1 Bedrohung
Wie Ihr System gebaut ist
Kann das System selbst etwas verändern, etwa Daten speichern, Nachrichten senden, Buchungen auslösen oder Rechte vergeben?
Je nach Betrieb löst eine Meldung selbst einen Einsatz aus oder die Leitstelle bestätigt sie erst.
Wenn ja, kommt hinzu
Verarbeitet das System vertrauliche Informationen, etwa Geschäftsgeheimnisse, Gesundheits- oder Finanzdaten?
Aufnahmen können zeigen, wer eine Kirche, eine Klinik oder eine Versammlung besucht.
Wenn ja, kommt hinzu
Trainiert oder verfeinert Ihre Organisation das Modell selbst mit eigenen Daten?
Wenn ja, kommt hinzu
Stammt das Modell oder sein Grundmodell von einem anderen Anbieter, auch wenn es bei Ihnen läuft?
Wenn ja, kommt hinzu
Fließen Rückmeldungen oder Ergebnisse aus dem Betrieb später in Auswertung oder Training ein?
Bestätigte und verworfene Meldungen der Leitstelle können als neue Lernbeispiele dienen.
Wenn ja, kommt hinzu
Wie Sie das System betreiben
Diese Fragen stellen sich bei fast jedem KI-System.
Können Personen oder Programme dem Modell direkt Anfragen stellen, zum Beispiel über eine Schnittstelle?
Wenn ja, kommt hinzu
Ist das System über ein Netzwerk erreichbar oder auf Dienste im Netz angewiesen?
Wenn ja, kommt hinzu
Zahlen Sie je Anfrage oder je Rechenzeit, sodass die Kosten mit der Nutzung steigen?
Wenn ja, kommt hinzu
Können Inhalte die eigene Umgebung verlassen, etwa zu einem Cloud-Anbieter, in eine Websuche oder per E-Mail?
Wenn ja, kommt hinzu
Teilt sich das System Server oder Rechenleistung mit anderen Kunden oder Anwendungen?
Wenn ja, kommt hinzu
Nutzen Beschäftigte für diese Aufgabe auch KI-Dienste, die Ihre Organisation nicht freigegeben hat?
Wenn ja, kommt hinzu
Maßnahmen und Umsetzung
Maßnahmen zu den Prüfschwerpunkten sind direkt geöffnet. Die verlinkten Maßnahmen erläutern jeweils die Umsetzung.
PrüfschwerpunktÜbermäßiges Vertrauen in das KI-System3 Maßnahmen
PrüfschwerpunktModell-Drift & -Degradation3 Maßnahmen
PrüfschwerpunktAdversariale Eingaben2 Maßnahmen
Gezielte Datenvergiftung / Label-Vergiftung3 Maßnahmen
Privacy-Angriffe3 Maßnahmen
Offenlegung sensibler Informationen3 Maßnahmen
Maßnahmen gegen die übrigen Bedrohungen finden Sie auf deren Seiten im Bedrohungskatalog.
Vorschriften der KI-Verordnung
-
Art. 4: KI-Kompetenz
Für jedes KI-System Gilt seit dem 2. Februar 2025.
-
Anhang III Nr. 6: Strafverfolgung
Je nach Einsatz Prüfanlass ab dem 2. Dezember 2027.
Gilt für jedes KI-System
Art. 4: KI-Kompetenz
Greift, wenn Beschäftigte oder Beauftragte KI-Systeme betreiben oder nutzen.
Gilt seit dem 2. Februar 2025.
Pflichten und Einzelheiten zu Art. 4: KI-Kompetenz
- Wer die Pflichten trägt
- Anbieter, Betreiber, Produkthersteller, Anbieter eines KI-Modells mit allgemeinem Verwendungszweck
Die Pflichten im Einzelnen
Kann bei bestimmtem Einsatz greifen
Anhang III Nr. 6: Strafverfolgung
Greift, wenn die Polizei die Meldungen und Aufnahmen nutzt, um Beweismittel einzuschätzen oder Personen in einem Ermittlungsverfahren zu bewerten.
Gilt ab dem 2. Dezember 2027.
Pflichten und Einzelheiten zu Anhang III Nr. 6: Strafverfolgung
- Allgemein lautet die Bedingung
- Greift, wenn Strafverfolgungsbehörden oder Stellen in ihrem Auftrag das System einsetzen, etwa um Beweismittel oder Personen einzuschätzen.
- Wer die Pflichten trägt
- Anbieter, Betreiber, Produkthersteller
Die Pflichten im Einzelnen
Greift in der Regel nicht
Anhang III Nr. 1 Buchst. a: Biometrische Fernidentifizierung
Das System erkennt Vorgänge und Gegenstände, ohne Personen anhand biometrischer Merkmale zu identifizieren.
Pflichten und Einzelheiten zu Anhang III Nr. 1 Buchst. a: Biometrische Fernidentifizierung
- Allgemein lautet die Bedingung
- Greift, wenn das System Personen aus der Ferne anhand biometrischer Merkmale identifiziert.
- Ausnahme
- Systeme, die nur bestätigen, dass eine Person die ist, die sie zu sein angibt.
- Wer die Pflichten trägt
- Anbieter, Betreiber, Produkthersteller
Die Pflichten im Einzelnen
Ihr System im Schnellprüfer einordnen Alle Pflichten im Pflichtenkompass
Übergreifende Bedrohungen
Diese Bedrohungen prüfen Sie bei jedem KI-System, egal wofür es eingesetzt wird.
- Lieferkette: Infrastruktur
- Lieferkette: Modelle
- Lieferkette: Datensätze
- Adversariale Eingaben Prüfschwerpunkt: Adversariale Eingaben
- Unsicherer Umgang mit Modellausgaben
- Anwendungs-Schwachstellen
- Übermäßiges Vertrauen in das KI-System Prüfschwerpunkt: Übermäßiges Vertrauen in das KI-System
- Modell-Drift & -Degradation Prüfschwerpunkt: Modell-Drift & -Degradation
- Middleware-Exploits (Angriffe auf AI-Frameworks)
Abweichende Systemmerkmale
18 weitere Fragen ansehen
Trifft eine dieser Fragen bei Ihrem System doch zu, kommen die genannten Bedrohungen hinzu.
Schreibt das System eigene Texte, etwa Antworten, Entwürfe oder Zusammenfassungen?
Das System gibt Meldungen mit Bildausschnitt aus, keinen Text.
Wenn ja, kommt hinzu
Erzeugt oder verändert das System Bilder, Töne, Stimmen oder Videos?
Wenn ja, kommt hinzu
Schreibt oder gestaltet das System auf freie Anfrage neue Inhalte, die Menschen direkt lesen, sehen oder hören? Übersetzen, Vorlesen und Abschreiben zählen nicht.
Wenn ja, kommt hinzu
Kann man dem System in normaler Sprache Aufträge geben, die es dann ausführt?
Wenn ja, kommt hinzu
Sucht das System in einer eigenen Sammlung von Dokumenten oder Datensätzen nach passenden Inhalten?
Wenn ja, kommt hinzu
Formuliert das System seine Antwort aus gefundenen Dokumenten?
Wenn ja, kommt hinzu
Nutzt das System ein Begriffsnetz (Wissensgraph), in dem Begriffe und ihre Beziehungen gespeichert sind?
Wenn ja, kommt hinzu
Merkt sich das System Inhalte aus früheren Gesprächen oder Aufgaben und nutzt sie später wieder?
Wenn ja, kommt hinzu
Ruft das System selbst andere Programme, Schnittstellen oder Suchdienste auf, auch wenn es dort nur liest?
Wenn ja, kommt hinzu
Legt das System seine nächsten Arbeitsschritte selbst fest, je nachdem, was vorher herauskam?
Wenn ja, kommt hinzu
Gibt das System Aufgaben an andere KI-Agenten weiter oder übernimmt es deren Ergebnisse?
Wenn ja, kommt hinzu
Ist das System über das Model Context Protocol (MCP) an Werkzeuge oder Datenquellen angebunden?
Wenn ja, kommt hinzu
Liegen Dokumente mehrerer Kunden, Abteilungen oder Berechtigungsgruppen im selben Suchspeicher?
Wenn ja, kommt hinzu
Können Menschen außerhalb Ihrer Organisation das System nutzen, auch ohne Anmeldung?
Nur Leitstelle und Behörde bedienen das System, die gefilmten Menschen nutzen es nicht.
Wenn ja, kommt hinzu
Verarbeitet das System mehrere Arten von Eingaben zusammen, etwa Text mit Bild oder Sprache?
Wenn ja, kommt hinzu
Erzeugt das System Programmcode, Skripte oder Datenbankabfragen, die weiterverwendet werden?
Wenn ja, kommt hinzu
Führt das System selbst Programme, Skripte oder Befehle aus?
Wenn ja, kommt hinzu
Soll das System eine vorgegebene Kennzahl möglichst verbessern, etwa Umsatz, Auslastung oder Klicks?
Wenn ja, kommt hinzu
Quellen
- Bericht über einen Einsatz
Innenministerium Baden-Württemberg, Startschuss für die algorithmenbasierte Videoüberwachung beim Polizeipräsidium Mannheim, 2018 Nach Angabe des Betreibers
Das Ministerium beschreibt, wie in Mannheim die Videoüberwachung mit Algorithmen begann, ohne Gesichtserkennung.
- Bericht über einen Einsatz
heise online, Evaluation von intelligenter Videoüberwachung in Mannheim erst 2027
Der Bericht meldet die Verlängerung des Projekts und die für 2027 angekündigte Auswertung.
- Register oder Fallsammlung
Algoritmeregister NL, Objectherkenning Openbare Ruimte, Gemeente Amsterdam
Der Eintrag beschreibt eine Objekterkennung, mit der die Stadt den öffentlichen Raum beaufsichtigt.
Verwandte Anwendungsfälle
Ebenfalls im Einsatzgebiet Verwaltung, Justiz und Sicherheit
- Risikobasierte Prüfauswahl bei Anträgen und LeistungenBehörden bewerten Anträge oder Zahlungen nach dem Risiko von Fehlern oder Betrug und wählen so aus, welche Fälle sie genauer prüfen.
- Automatisierte Immobilienbewertung (AVM)Aus Merkmalen des Objekts und Vergleichsverkäufen schätzt ein Modell den Marktwert von Wohnimmobilien.
- Polizeiliche Datenanalyse (Analyseplattformen)Polizeiliche Analyseplattformen führen Datenbestände aus verschiedenen Quellen zusammen und zeigen Verbindungen zwischen Personen, Vorgängen und Verfahren als Graph, Tabelle oder Karte.
- KI-Assistenz in Massenverfahren der JustizIn Massenverfahren ordnet das System Schriftsätze, zieht die Merkmale jedes Falls heraus und bereitet Entscheidungsentwürfe vor.
- Sprach- und Dialekterkennung im AsylverfahrenAus einer kurzen Sprachprobe schätzt das System, welche Sprache und welchen Dialekt eine asylsuchende Person wahrscheinlich spricht.
- Automatische Kennzeichenerkennung (ANPR)Kameras erfassen Kfz-Kennzeichen, und das System gleicht sie automatisch mit Register- oder Fahndungsdaten ab.
Stand: 30. September 2026. Regelwerk der Prüfliste in Fassung 0.3.2, Bedrohungskatalog in Fassung 2026.10.24.2. Wie diese Seiten aufgebaut sind