Eingabedaten und Informationsquellen
Die Angaben im Antrag machen die Antragstellerinnen und Antragsteller selbst. Das System bewertet Anträge bestimmter Personen oder Unternehmen mit ihren Angaben.
Risikobasierte Prüfauswahl bei Anträgen und Leistungen
Englisch: Risk scoring for benefit and grant applications
Behörden bewerten Anträge oder Zahlungen nach dem Risiko von Fehlern oder Betrug und wählen so aus, welche Fälle sie genauer prüfen.
Den Anwendungsfall verstehen
Was macht diesen Anwendungsfall aus?
Wer sehr viele Anträge bearbeitet, prüft nur einen Teil davon genauer, und ein Modell schlägt vor, welche Fälle das sein sollen. Behörden in Großbritannien und den Niederlanden nutzen solche Modelle, im niederländischen Skandal um das Kinderbetreuungsgeld gerieten Tausende Familien zu Unrecht unter Verdacht.
Die Seite beschreibt einen typischen Aufbau. Die tatsächlichen Datenwege und Befugnisse ergeben sich aus Ihrer Umsetzung.
- Bauform
- Auswertung und Verarbeitung
- Handlungsmacht
- Handlungsrechte je nach Einbindung
- Einsatzfelder
- Sozialverwaltung, Förderprogramme
- Auch bekannt als
- Risikoselektion, Betrugsrisikobewertung bei Sozialleistungen, Fallauswahl
Funktionsweise und Ablauf
Aufbau und Datenwege
Eingabedaten
Das Modell erhält Antragsangaben, frühere Anträge und Zahlungen sowie weitere Daten aus dem Fachverfahren.
Die Angaben im Antrag machen die Antragstellerinnen und Antragsteller selbst. Das System bewertet Anträge bestimmter Personen oder Unternehmen mit ihren Angaben.
Verarbeitung
Das Modell vergleicht den Antrag mit früheren Fällen und berechnet das Risiko eines Fehlers oder Betrugs.
Das System verarbeitet Angaben aus Anträgen und weiteren zugelassenen Beständen und schätzt einen Prüfbedarf. Eine Auswahlregel priorisiert anschließend die Fälle für eine nähere Untersuchung. Auswahl zur Prüfung, Sachverhaltsfeststellung und Entscheidung über eine Leistung sind verschiedene Verfahrensschritte.
Ergebnisse
Jeder Antrag erhält einen Risikowert, und Fälle für die nähere Prüfung sind gekennzeichnet.
Das Ergebnis beschreibt die definierte Modellaufgabe. Ein Treffer, eine Kategorie oder eine Prognose erhält seine fachliche Bedeutung erst zusammen mit den zugrunde liegenden Daten und dem vorgesehenen Verwendungszweck.
Nutzung und Auswirkungen
Sachbearbeiterinnen und Sachbearbeiter prüfen die gekennzeichneten Fälle, fordern Nachweise an und entscheiden über Bewilligung, Kürzung oder Rückforderung.
Die Einbindung bestimmt, ob das Ergebnis lediglich angezeigt, nach Freigabe übernommen oder direkt in ein Fachverfahren geschrieben wird. Diese Varianten unterscheiden sich in ihren Datenwegen und Befugnissen.
Aufbau aktiv erkunden: Wählen Sie einen Baustein, um seine Aufgabe, die ein- und ausgehenden Daten und die Einbindung im Anwendungsfall zu sehen. Der geführte Ablauf erläutert jede Phase. Mit Ja, Offen und Nein können Sie anschließend Ihre konkrete Systemvariante abbilden.
8 zuerst zu prüfen9 zu klären7 Grundlagen
- Vorhanden
- Hängt von Ihrem System ab
- Nicht vorhanden
- Zuerst zu prüfen
- Zu klären
So nutzen Sie das Modell
Das Bild zeigt den Anwendungsfall, wie er typischerweise gebaut ist. Wählen Sie einen Baustein, um zu sehen, was dort geschieht, und stellen Sie seine Merkmale auf Ihr System um. Mit „Analysehinweise“ sehen Sie anschließend, welche Prüfkandidaten zu diesem Aufbau gehören. Die Prüfliste der Seite bleibt auf den typischen Fall bezogen.
Abweichungen vom typischen Fall
Noch keine. Jede Umstellung erscheint hier.
Wo die meisten Bedrohungen ansetzen
- 4 zu klären
- 3 zuerst zu prüfen
- 3 zuerst zu prüfen
- 2 zu klären
Im gezeigten Aufbau: 8 zuerst zu prüfen, 9 zu klären, 7 Grundlagen.
Aufbau als Liste
Zugang von außen: Hängt von Ihrem System ab
Zu klären
Eingabe: Gehört zu jedem KI-System
Zuerst prüfen
Grundlage für jedes KI-System
Inhalte Dritter: Vorhanden
KI-Modell: Gehört zu jedem KI-System
Zu klären
Grundlage für jedes KI-System
Dienst eines Anbieters: Hängt von Ihrem System ab
Zu klären
Training und Rückmeldung: Vorhanden
Zuerst prüfen
Ergebnis: Gehört zu jedem KI-System
Zuerst prüfen
- Unsicherer Umgang mit Modellausgaben Prüfschwerpunkt
Fachanwendung oder Anlage: Hängt von Ihrem System ab
Zu klären
Mensch: Gehört zu jedem KI-System
Zuerst prüfen
- Übermäßiges Vertrauen in das KI-System Prüfschwerpunkt
Betroffene Person: Vorhanden
KI-Dienste ohne Freigabe: Hängt von Ihrem System ab
Zu klären
Lieferkette und technische Basis: 5 Grundlagen, die für jedes KI-System gelten
Grundlage für jedes KI-System
Abgrenzung zu ähnlichen Anwendungsfällen
Betrugserkennung im Zahlungsverkehr
Bewertet Zahlungen im Zahlungsverkehr einer Bank oder eines Zahlungsdienstleisters
Kreditscoring und Bonitätsprüfung
Bewertet, ob eine Person einen Kredit zurückzahlen kann
Daten und Informationen
Verarbeitung und Betriebsumgebung
Das Modell verarbeitet die Eingaben. Ob es intern oder bei einem Dienstleister läuft, muss für die konkrete Umsetzung geklärt werden.
Speicherung und weitere Nutzung
Behörden trainieren solche Modelle mit ihren eigenen früheren Fällen. Die Ergebnisse der Prüfungen, die das Modell ausgelöst hat, werden zu neuen Lernbeispielen.
Ergebnisse und Datenweitergabe
Je nach Behörde hält die Auswahl eine Zahlung selbst an oder legt den Fall nur der Sachbearbeitung vor.
Ein eingebundener Anbieter legt den Verarbeitungsort nicht automatisch fest. Speicherort, Unterauftragnehmer, Löschfristen und die Nutzung für Training sind im konkreten Betrieb zu prüfen.
Risiken einordnen und Maßnahmen festlegen
Vom Systemverständnis zur Risikoanalyse
- System abgrenzen
Daten, Beteiligte, Schnittstellen und Rechte erfassen. Offene Merkmale im Modell klären.
- Bedrohungen untersuchen
Prüfkandidaten auf die tatsächlichen Datenwege beziehen: Was könnte passieren und wer wäre betroffen?
- Risiko bewerten
Auswirkungen und Eintrittswahrscheinlichkeit im Einsatzkontext bewerten. Die Anzahl der Prüfkandidaten ist kein Risikowert.
- Maßnahmen nachweisen
Geeignete Kontrollen auswählen, Verantwortliche und Wirksamkeitsprüfungen festlegen. Restrisiken und Freigaben dokumentieren.
Wichtige Bedrohungen im Anwendungskontext
- 3 besonders wichtig
- 5 üblich
- 9 je nach System
- 7 weitere bei jedem KI-System
Insgesamt kommen bei diesem Anwendungsfall 24 Bedrohungen aus dem Bedrohungskatalog infrage.
Außerdem prüfen: ob das System Gruppen benachteiligt
Prüfen Sie, ob Auswahl, Rangfolge oder Bewertung Menschen mit geschützten Merkmalen benachteiligen, etwa nach Geschlecht, Alter oder Herkunft.
Vorrangige Prüfansätze
Übermäßiges Vertrauen in das KI-System
Wer einen ausgewählten Fall prüft, geht leicht davon aus, dass etwas nicht stimmt. Aus einer Auswahl zur Prüfung wird so ein Verdacht, wie es beim niederländischen Kinderbetreuungsgeld geschehen ist.
Geprüft und damit zum Lernbeispiel werden vor allem die Fälle, die das Modell selbst ausgewählt hat. So bestätigt es seine früheren Annahmen, und Gruppen, die es einmal häufiger ausgewählt hat, geraten immer öfter in die Prüfung.
Unsicherer Umgang mit Modellausgaben
Die Auswahl geht in das Fachverfahren weiter und kann dort eine Zahlung anhalten. Ein falscher Risikowert verzögert dann die Leistung für eine Person, die darauf angewiesen ist.
5 weitere Prüfkandidaten im typischen Aufbau
Weitere relevante Bedrohungen
Gezielte Datenvergiftung / Label-Vergiftung
Wer die Kennzeichnungen in den Trainingsdaten fälscht, kann die Ergebnisse des Modells gezielt verschieben.
Steht hier wegen dieser Eigenschaften
- Lernt aus Beispielen mit richtiger Antwort
- Verwertet Rückmeldungen aus dem Betrieb
Über Trainingsdaten oder ein übernommenes Grundmodell kann das Modell versteckte Auslöser für Fehlverhalten enthalten.
Steht hier wegen dieser Eigenschaft
- Lernt aus Ihren eigenen Daten
Mit gezielten Abfragen lassen sich personenbezogene und schutzbedürftige Trainingsdaten teilweise aus dem Modell zurückgewinnen.
Steht hier wegen dieser Eigenschaften
- Verarbeitet personenbezogene Daten
- Verarbeitet vertrauliche Daten
Offenlegung sensibler Informationen
Vertrauliche Inhalte können in Antworten, im mitgegebenen Kontext oder in Protokollen auftauchen.
Steht hier wegen dieser Eigenschaften
- Verarbeitet personenbezogene Daten
- Verarbeitet vertrauliche Daten
Exfiltration aus der ML-Anwendung
Schutzbedürftige Daten können über Werkzeuge, Netzverbindungen, Speicher oder Innentäter abfließen.
Steht hier wegen dieser Eigenschaft
- Verarbeitet vertrauliche Daten
Je nach Aufbau Ihres Systems kommen bis zu 9 weitere hinzu. Neun Bedrohungen prüfen Sie bei jedem KI-System. Zwei davon sind hier besonders wichtig und stehen deshalb oben.
Systemmerkmale und offene Fragen
Jedes Ja setzt weitere Bedrohungen auf Ihre Prüfliste, insgesamt bis zu 9. Können Sie eine Frage noch nicht beantworten, prüfen Sie die Bedrohungen mit.
- Kommt mit diesem Ja hinzu
Wie Ihr System gebaut ist
- Verändert Daten oder löst Vorgänge aus1 Bedrohung
- Optimiert eine vorgegebene Kennzahl1 Bedrohung
Wie Sie das System betreiben
- Nimmt Anfragen direkt über eine Schnittstelle an4 Bedrohungen
- Ist über ein Netzwerk erreichbar3 Bedrohungen
- Verursacht mit jeder Anfrage Kosten1 Bedrohung
- Teilt Rechenleistung mit anderen Kunden oder Anwendungen1 Bedrohung
- Neben KI-Diensten ohne Freigabe im Einsatz1 Bedrohung
Wie Ihr System gebaut ist
Kann das System selbst etwas verändern, etwa Daten speichern, Nachrichten senden, Buchungen auslösen oder Rechte vergeben?
Je nach Behörde hält die Auswahl eine Zahlung selbst an oder legt den Fall nur der Sachbearbeitung vor.
Wenn ja, kommt hinzu
Soll das System eine vorgegebene Kennzahl möglichst verbessern, etwa Umsatz, Auslastung oder Klicks?
Ist das Modell auf möglichst viele Treffer je Prüfung eingestellt, arbeitet es auf ein Ziel der Behörde hin.
Wenn ja, kommt hinzu
Wie Sie das System betreiben
Diese Fragen stellen sich bei fast jedem KI-System.
Können Personen oder Programme dem Modell direkt Anfragen stellen, zum Beispiel über eine Schnittstelle?
Wenn ja, kommt hinzu
Ist das System über ein Netzwerk erreichbar oder auf Dienste im Netz angewiesen?
Wenn ja, kommt hinzu
Zahlen Sie je Anfrage oder je Rechenzeit, sodass die Kosten mit der Nutzung steigen?
Wenn ja, kommt hinzu
Teilt sich das System Server oder Rechenleistung mit anderen Kunden oder Anwendungen?
Wenn ja, kommt hinzu
Nutzen Beschäftigte für diese Aufgabe auch KI-Dienste, die Ihre Organisation nicht freigegeben hat?
Wenn ja, kommt hinzu
Maßnahmen und Umsetzung
Maßnahmen zu den Prüfschwerpunkten sind direkt geöffnet. Die verlinkten Maßnahmen erläutern jeweils die Umsetzung.
PrüfschwerpunktÜbermäßiges Vertrauen in das KI-System3 Maßnahmen
PrüfschwerpunktVergiftung der Trainingsdaten2 Maßnahmen
PrüfschwerpunktUnsicherer Umgang mit Modellausgaben3 Maßnahmen
Gezielte Datenvergiftung / Label-Vergiftung3 Maßnahmen
Backdoor im ML-Modell2 Maßnahmen
Privacy-Angriffe3 Maßnahmen
Offenlegung sensibler Informationen3 Maßnahmen
Exfiltration aus der ML-Anwendung3 Maßnahmen
Maßnahmen gegen die übrigen Bedrohungen finden Sie auf deren Seiten im Bedrohungskatalog.
Vorschriften der KI-Verordnung
-
Art. 4: KI-Kompetenz
Für jedes KI-System Gilt seit dem 2. Februar 2025.
-
Art. 5 Abs. 1 Buchst. c: Soziale Bewertung
Je nach Einsatz Prüfanlass seit dem 2. Februar 2025.
-
Anhang III Nr. 5 Buchst. a: Öffentliche Unterstützungsleistungen
Bei typischem Einsatz Prüfanlass ab dem 2. Dezember 2027.
Gilt für jedes KI-System
Art. 4: KI-Kompetenz
Greift, wenn Beschäftigte oder Beauftragte KI-Systeme betreiben oder nutzen.
Gilt seit dem 2. Februar 2025.
Pflichten und Einzelheiten zu Art. 4: KI-Kompetenz
- Wer die Pflichten trägt
- Anbieter, Betreiber, Produkthersteller, Anbieter eines KI-Modells mit allgemeinem Verwendungszweck
Die Pflichten im Einzelnen
Kann beim üblichen Einsatz greifen
Anhang III Nr. 5 Buchst. a: Öffentliche Unterstützungsleistungen
Greift, wenn eine Behörde mit dem System den Anspruch auf öffentliche Unterstützungsleistungen prüft, etwa indem es Anträge für die nähere Prüfung auswählt, oder Leistungen kürzt oder zurückfordert.
Gilt ab dem 2. Dezember 2027.
Pflichten und Einzelheiten zu Anhang III Nr. 5 Buchst. a: Öffentliche Unterstützungsleistungen
- Allgemein lautet die Bedingung
- Greift, wenn Behörden oder Stellen in ihrem Auftrag mit dem System prüfen, ob jemand Anspruch auf öffentliche Leistungen und Dienste hat, oder diese gewähren, kürzen oder zurückfordern.
- Wer die Pflichten trägt
- Anbieter, Betreiber, Produkthersteller
Die Pflichten im Einzelnen
Kann bei bestimmtem Einsatz greifen
Art. 5 Abs. 1 Buchst. c: Soziale Bewertung
Greift, wenn das System Personen über längere Zeit nach ihrem sozialen Verhalten oder persönlichen Eigenschaften bewertet und das zu Nachteilen in anderen Zusammenhängen oder zu unverhältnismäßigen Nachteilen führt.
Gilt seit dem 2. Februar 2025.
Pflichten und Einzelheiten zu Art. 5 Abs. 1 Buchst. c: Soziale Bewertung
- Allgemein lautet die Bedingung
- Greift, wenn das System Personen über längere Zeit nach ihrem sozialen Verhalten oder persönlichen Eigenschaften bewertet und ihnen das in ganz anderen Lebensbereichen oder unverhältnismäßig schadet.
- Wer die Pflichten trägt
- Anbieter, Betreiber, Einführer, Händler, Bevollmächtigter, Produkthersteller, Anbieter eines KI-Modells mit allgemeinem Verwendungszweck
Die Pflichten im Einzelnen
Ihr System im Schnellprüfer einordnen Alle Pflichten im Pflichtenkompass
Übergreifende Bedrohungen
Diese Bedrohungen prüfen Sie bei jedem KI-System, egal wofür es eingesetzt wird.
- Lieferkette: Infrastruktur
- Lieferkette: Modelle
- Lieferkette: Datensätze
- Adversariale Eingaben
- Unsicherer Umgang mit Modellausgaben Prüfschwerpunkt: Unsicherer Umgang mit Modellausgaben
- Anwendungs-Schwachstellen
- Übermäßiges Vertrauen in das KI-System Prüfschwerpunkt: Übermäßiges Vertrauen in das KI-System
- Modell-Drift & -Degradation
- Middleware-Exploits (Angriffe auf AI-Frameworks)
Abweichende Systemmerkmale
17 weitere Fragen ansehen
Trifft eine dieser Fragen bei Ihrem System doch zu, kommen die genannten Bedrohungen hinzu.
Schreibt das System eigene Texte, etwa Antworten, Entwürfe oder Zusammenfassungen?
Das System gibt einen Risikowert oder eine Auswahl aus, keinen Text.
Wenn ja, kommt hinzu
Erzeugt oder verändert das System Bilder, Töne, Stimmen oder Videos?
Wenn ja, kommt hinzu
Schreibt oder gestaltet das System auf freie Anfrage neue Inhalte, die Menschen direkt lesen, sehen oder hören? Übersetzen, Vorlesen und Abschreiben zählen nicht.
Wenn ja, kommt hinzu
Kann man dem System in normaler Sprache Aufträge geben, die es dann ausführt?
Wenn ja, kommt hinzu
Sucht das System in einer eigenen Sammlung von Dokumenten oder Datensätzen nach passenden Inhalten?
Wenn ja, kommt hinzu
Formuliert das System seine Antwort aus gefundenen Dokumenten?
Wenn ja, kommt hinzu
Nutzt das System ein Begriffsnetz (Wissensgraph), in dem Begriffe und ihre Beziehungen gespeichert sind?
Wenn ja, kommt hinzu
Merkt sich das System Inhalte aus früheren Gesprächen oder Aufgaben und nutzt sie später wieder?
Wenn ja, kommt hinzu
Ruft das System selbst andere Programme, Schnittstellen oder Suchdienste auf, auch wenn es dort nur liest?
Wenn ja, kommt hinzu
Legt das System seine nächsten Arbeitsschritte selbst fest, je nachdem, was vorher herauskam?
Wenn ja, kommt hinzu
Gibt das System Aufgaben an andere KI-Agenten weiter oder übernimmt es deren Ergebnisse?
Wenn ja, kommt hinzu
Ist das System über das Model Context Protocol (MCP) an Werkzeuge oder Datenquellen angebunden?
Wenn ja, kommt hinzu
Liegen Dokumente mehrerer Kunden, Abteilungen oder Berechtigungsgruppen im selben Suchspeicher?
Wenn ja, kommt hinzu
Können Menschen außerhalb Ihrer Organisation das System nutzen, auch ohne Anmeldung?
Das Modell läuft im Hintergrund der Behörde, wer einen Antrag stellt, hat keinen Zugang.
Wenn ja, kommt hinzu
Verarbeitet das System mehrere Arten von Eingaben zusammen, etwa Text mit Bild oder Sprache?
Wenn ja, kommt hinzu
Erzeugt das System Programmcode, Skripte oder Datenbankabfragen, die weiterverwendet werden?
Wenn ja, kommt hinzu
Führt das System selbst Programme, Skripte oder Befehle aus?
Wenn ja, kommt hinzu
Quellen
- Rechtsakt, Norm oder Standard
KI-Verordnung, Anhang III Nr. 5 Buchst. a
Die Verordnung nennt KI-Systeme, mit denen Behörden den Anspruch auf öffentliche Unterstützungsleistungen prüfen, ausdrücklich in Anhang III.
- Register oder Fallsammlung
UK Algorithmic Transparency Record, DWP Universal Credit Advances Model
Der Eintrag beschreibt einen Klassifikator, der aus Beispielen mit bekanntem Ergebnis gelernt hat.
- Behörde, Gericht oder Parlament
Rechtbank Den Haag, Urteil zu SyRI vom 5. Februar 2020
Das Gericht erklärte die Rechtsgrundlage des niederländischen Systems zur Betrugsrisikoanalyse für unvereinbar mit Art. 8 der Europäischen Menschenrechtskonvention.
- Register oder Fallsammlung
AI Incident Database, Incident 101 (Kinderbetreuungsgeld in den Niederlanden)
Die Datenbank dokumentiert, dass Tausende Familien zu Unrecht des Betrugs verdächtigt wurden.
- Register oder Fallsammlung
Algoritmeregister NL, Risicomodel omzetdaling NOW, Ministerie van SZW
Der Eintrag beschreibt ein Risikomodell, das Anträge auf NOW für die nähere Prüfung auswählte und seit Januar 2026 außer Betrieb ist.
Verwandte Anwendungsfälle
Ebenfalls im Einsatzgebiet Verwaltung, Justiz und Sicherheit
- Automatisierte Immobilienbewertung (AVM)Aus Merkmalen des Objekts und Vergleichsverkäufen schätzt ein Modell den Marktwert von Wohnimmobilien.
- Polizeiliche Datenanalyse (Analyseplattformen)Polizeiliche Analyseplattformen führen Datenbestände aus verschiedenen Quellen zusammen und zeigen Verbindungen zwischen Personen, Vorgängen und Verfahren als Graph, Tabelle oder Karte.
- KI-Assistenz in Massenverfahren der JustizIn Massenverfahren ordnet das System Schriftsätze, zieht die Merkmale jedes Falls heraus und bereitet Entscheidungsentwürfe vor.
- Sprach- und Dialekterkennung im AsylverfahrenAus einer kurzen Sprachprobe schätzt das System, welche Sprache und welchen Dialekt eine asylsuchende Person wahrscheinlich spricht.
- Automatische Kennzeichenerkennung (ANPR)Kameras erfassen Kfz-Kennzeichen, und das System gleicht sie automatisch mit Register- oder Fahndungsdaten ab.
- Intelligente Videoanalyse im öffentlichen RaumIn Kamerabildern erkennt das System bestimmte Vorgänge oder Gegenstände und meldet sie einer Leitstelle, ohne Personen zu identifizieren.
Oft zusammen eingesetzt mit
Stand: 30. September 2026. Regelwerk der Prüfliste in Fassung 0.3.2, Bedrohungskatalog in Fassung 2026.10.24.2. Wie diese Seiten aufgebaut sind