Eingabedaten und Informationsquellen
Kundenbewertungen und Beschwerden, die in die Leistungsbewertung einfließen, schreiben Außenstehende. Das System erfasst, wer wann wo arbeitet und wie schnell.
Algorithmisches Management
Englisch: Algorithmic management
Software weist Beschäftigten Aufgaben und Schichten zu, verfolgt, was sie tun, und bewertet ihre Leistung.
Den Anwendungsfall verstehen
Was macht diesen Anwendungsfall aus?
Die Software übernimmt Aufgaben von Vorgesetzten: Sie verteilt Aufträge, legt Schichten fest, misst Tempo und Standort und leitet daraus Bewertungen oder Prämien ab. Bekannt ist das vor allem von Lieferdiensten, und unter diesem Namen regelt auch die Plattformarbeitsrichtlinie (EU) 2024/2831 den Fall.
Die Seite beschreibt einen typischen Aufbau. Die tatsächlichen Datenwege und Befugnisse ergeben sich aus Ihrer Umsetzung.
- Bauform
- Auswertung und Verarbeitung
- Handlungsmacht
- Kann in Anwendungen handeln
- Einsatzfelder
- Plattformarbeit, Lieferdienste
- Auch bekannt als
- automatisierte Aufgabenzuteilung, Leistungsüberwachung von Beschäftigten, Schicht- und Einsatzplanung
Funktionsweise und Ablauf
Aufbau und Datenwege
Eingabedaten
Das System erhält Aufträge, Verfügbarkeiten, Standorte und Messwerte zu Tempo, Annahme und Kundenbewertung.
Kundenbewertungen und Beschwerden, die in die Leistungsbewertung einfließen, schreiben Außenstehende. Das System erfasst, wer wann wo arbeitet und wie schnell.
Verarbeitung
Die Software verteilt Aufträge und Schichten nach ihren Zielvorgaben und berechnet Leistungswerte je Person.
Die Verarbeitung verbindet Arbeits- und Betriebsdaten mit einem vorgegebenen Ziel, etwa der Einsatzplanung. Daraus entstehen Zuteilungen, Bewertungen oder Empfehlungen. Ob diese lediglich angezeigt oder direkt verbindlich umgesetzt werden, bestimmt die Einbindung in den Arbeitsprozess.
Ergebnisse
Beschäftigte erhalten Zuteilungen, Schichtpläne und Leistungswerte, manchmal auch Prämien oder Warnungen.
Das Ergebnis beschreibt die definierte Modellaufgabe. Ein Treffer, eine Kategorie oder eine Prognose erhält seine fachliche Bedeutung erst zusammen mit den zugrunde liegenden Daten und dem vorgesehenen Verwendungszweck.
Nutzung und Auswirkungen
Zuteilungen und Bewertungen bestimmen Arbeitszeit, Einkommen und berufliche Zukunft der Beschäftigten.
Durch Schreib- oder Ausführungsrechte kann das System einen Zustand in einer Anwendung verändern. Deshalb sind Modellantwort, Werkzeugaufruf und tatsächlich ausgeführte Änderung getrennt zu betrachten.
Aufbau aktiv erkunden: Wählen Sie einen Baustein, um seine Aufgabe, die ein- und ausgehenden Daten und die Einbindung im Anwendungsfall zu sehen. Der geführte Ablauf erläutert jede Phase. Mit Ja, Offen und Nein können Sie anschließend Ihre konkrete Systemvariante abbilden.
8 zuerst zu prüfen8 zu klären8 Grundlagen
- Vorhanden
- Hängt von Ihrem System ab
- Nicht vorhanden
- Zuerst zu prüfen
- Zu klären
So nutzen Sie das Modell
Das Bild zeigt den Anwendungsfall, wie er typischerweise gebaut ist. Wählen Sie einen Baustein, um zu sehen, was dort geschieht, und stellen Sie seine Merkmale auf Ihr System um. Mit „Analysehinweise“ sehen Sie anschließend, welche Prüfkandidaten zu diesem Aufbau gehören. Die Prüfliste der Seite bleibt auf den typischen Fall bezogen.
Abweichungen vom typischen Fall
Noch keine. Jede Umstellung erscheint hier.
Wo die meisten Bedrohungen ansetzen
- 4 zu klären
- 3 zuerst zu prüfen
- 2 zuerst zu prüfen, 1 zu klären
- 2 zu klären
Im gezeigten Aufbau: 8 zuerst zu prüfen, 8 zu klären, 8 Grundlagen.
Aufbau als Liste
Zugang von außen: Hängt von Ihrem System ab
Zu klären
Eingabe: Gehört zu jedem KI-System
Zuerst prüfen
Grundlage für jedes KI-System
Inhalte Dritter: Hängt von Ihrem System ab
KI-Modell: Gehört zu jedem KI-System
Zuerst prüfen
- Misalignment (Fehlausrichtung) Prüfschwerpunkt
Grundlage für jedes KI-System
Dienst eines Anbieters: Hängt von Ihrem System ab
Zu klären
Training und Rückmeldung: Vorhanden
Zuerst prüfen
Zu klären
Ergebnis: Gehört zu jedem KI-System
Grundlage für jedes KI-System
Fachanwendung oder Anlage: Vorhanden
Zuerst prüfen
- Excessive Agency (übermäßige Handlungsermächtigung) Prüfschwerpunkt
Mensch: Gehört zu jedem KI-System
Zuerst prüfen
- Übermäßiges Vertrauen in das KI-System Prüfschwerpunkt
Betroffene Person: Vorhanden
KI-Dienste ohne Freigabe: Hängt von Ihrem System ab
Zu klären
Lieferkette und technische Basis: 5 Grundlagen, die für jedes KI-System gelten
Grundlage für jedes KI-System
Abgrenzung zu ähnlichen Anwendungsfällen
KI-gestützte Bewerbervorauswahl
Sortiert und bewertet Bewerbungen, bevor ein Arbeitsverhältnis besteht
Schließt aus Gesicht, Stimme oder Verhalten auf Gefühle
Daten und Informationen
Verarbeitung und Betriebsumgebung
Das Modell verarbeitet die Eingaben. Ob es intern oder bei einem Dienstleister läuft, muss für die konkrete Umsetzung geklärt werden.
Speicherung und weitere Nutzung
Messwerte aus dem Betrieb wie Lieferzeiten und Annahmequoten bestimmen, wie das System künftig zuteilt und bewertet.
Ergebnisse und Datenweitergabe
Das System teilt Aufträge und Schichten selbst zu und kann Prämien festlegen oder Konten sperren.
Ein eingebundener Anbieter legt den Verarbeitungsort nicht automatisch fest. Speicherort, Unterauftragnehmer, Löschfristen und die Nutzung für Training sind im konkreten Betrieb zu prüfen.
Risiken einordnen und Maßnahmen festlegen
Vom Systemverständnis zur Risikoanalyse
- System abgrenzen
Daten, Beteiligte, Schnittstellen und Rechte erfassen. Offene Merkmale im Modell klären.
- Bedrohungen untersuchen
Prüfkandidaten auf die tatsächlichen Datenwege beziehen: Was könnte passieren und wer wäre betroffen?
- Risiko bewerten
Auswirkungen und Eintrittswahrscheinlichkeit im Einsatzkontext bewerten. Die Anzahl der Prüfkandidaten ist kein Risikowert.
- Maßnahmen nachweisen
Geeignete Kontrollen auswählen, Verantwortliche und Wirksamkeitsprüfungen festlegen. Restrisiken und Freigaben dokumentieren.
Wichtige Bedrohungen im Anwendungskontext
- 4 besonders wichtig
- 4 üblich
- 8 je nach System
- 8 weitere bei jedem KI-System
Insgesamt kommen bei diesem Anwendungsfall 24 Bedrohungen aus dem Bedrohungskatalog infrage.
Außerdem prüfen: ob das System Gruppen benachteiligt
Prüfen Sie, ob Auswahl, Rangfolge oder Bewertung Menschen mit geschützten Merkmalen benachteiligen, etwa nach Geschlecht, Alter oder Herkunft.
Vorrangige Prüfansätze
Misalignment (Fehlausrichtung)
Ist das System auf kurze Lieferzeiten eingestellt, verteilt es Aufträge so dicht, dass kaum noch Pausen bleiben. Die Lieferzeit sinkt, und Gesundheit und Sicherheit der Fahrerinnen und Fahrer leiden.
Excessive Agency (übermäßige Handlungsermächtigung)
Das System darf Schichten entziehen oder Konten sperren, wenn Messwerte unter eine Grenze fallen. Ein Messfehler, etwa ein falscher Standort, kostet eine Person dann ohne Prüfung ihr Einkommen.
Übermäßiges Vertrauen in das KI-System
Vorgesetzte übernehmen die Leistungswerte in Gespräche und Beurteilungen, ohne zu wissen, wie sie entstanden sind. Ursachen wie Staus oder lange Wartezeiten im Restaurant bleiben dann unberücksichtigt.
Die Messwerte aus dem Betrieb steuern die künftige Zuteilung. Wer Standortdaten fälscht oder Aufträge gezielt ablehnt, verschiebt so die Werte, nach denen das System alle anderen einteilt.
4 weitere Prüfkandidaten im typischen Aufbau
Weitere relevante Bedrohungen
Gezielte Datenvergiftung / Label-Vergiftung
Wer die Kennzeichnungen in den Trainingsdaten fälscht, kann die Ergebnisse des Modells gezielt verschieben.
Steht hier wegen dieser Eigenschaft
- Verwertet Rückmeldungen aus dem Betrieb
Mit gezielten Abfragen lassen sich personenbezogene und schutzbedürftige Trainingsdaten teilweise aus dem Modell zurückgewinnen.
Steht hier wegen dieser Eigenschaften
- Verarbeitet personenbezogene Daten
- Verarbeitet vertrauliche Daten
Offenlegung sensibler Informationen
Vertrauliche Inhalte können in Antworten, im mitgegebenen Kontext oder in Protokollen auftauchen.
Steht hier wegen dieser Eigenschaften
- Verarbeitet personenbezogene Daten
- Verarbeitet vertrauliche Daten
Exfiltration aus der ML-Anwendung
Schutzbedürftige Daten können über Werkzeuge, Netzverbindungen, Speicher oder Innentäter abfließen.
Steht hier wegen dieser Eigenschaft
- Verarbeitet vertrauliche Daten
Je nach Aufbau Ihres Systems kommen bis zu 8 weitere hinzu. Neun Bedrohungen prüfen Sie bei jedem KI-System. Eine davon ist hier besonders wichtig und steht deshalb oben.
Systemmerkmale und offene Fragen
Jedes Ja setzt weitere Bedrohungen auf Ihre Prüfliste, insgesamt bis zu 8. Können Sie eine Frage noch nicht beantworten, prüfen Sie die Bedrohungen mit.
- Kommt mit diesem Ja hinzu
- Braucht zusätzlich ein Ja auf eine andere Frage
Wie Ihr System gebaut ist
- Lernt aus Ihren eigenen Daten1 Bedrohung, 1 weitere nur zusammen mit weiteren Merkmalen
- Nutzt ein Modell eines anderen Anbieters1 Bedrohung
Wie Sie das System betreiben
- Nimmt Anfragen direkt über eine Schnittstelle an4 Bedrohungen
- Ist über ein Netzwerk erreichbar2 Bedrohungen, 1 weitere nur zusammen mit weiteren Merkmalen
- Verursacht mit jeder Anfrage Kosten1 Bedrohung
- Teilt Rechenleistung mit anderen Kunden oder Anwendungen1 Bedrohung
- Neben KI-Diensten ohne Freigabe im Einsatz1 Bedrohung
Wie Ihr System gebaut ist
Trainiert oder verfeinert Ihre Organisation das Modell selbst mit eigenen Daten?
Wenn ja, kommt hinzu
Stammt das Modell oder sein Grundmodell von einem anderen Anbieter, auch wenn es bei Ihnen läuft?
Wenn ja, kommt hinzu
Wie Sie das System betreiben
Diese Fragen stellen sich bei fast jedem KI-System.
Können Personen oder Programme dem Modell direkt Anfragen stellen, zum Beispiel über eine Schnittstelle?
Wenn ja, kommt hinzu
Ist das System über ein Netzwerk erreichbar oder auf Dienste im Netz angewiesen?
Bei Lieferdiensten erreichen Zuteilungen die Beschäftigten über eine App auf dem Telefon.
Wenn ja, kommt hinzu
Zahlen Sie je Anfrage oder je Rechenzeit, sodass die Kosten mit der Nutzung steigen?
Wenn ja, kommt hinzu
Teilt sich das System Server oder Rechenleistung mit anderen Kunden oder Anwendungen?
Wenn ja, kommt hinzu
Nutzen Beschäftigte für diese Aufgabe auch KI-Dienste, die Ihre Organisation nicht freigegeben hat?
Wenn ja, kommt hinzu
Maßnahmen und Umsetzung
Maßnahmen zu den Prüfschwerpunkten sind direkt geöffnet. Die verlinkten Maßnahmen erläutern jeweils die Umsetzung.
PrüfschwerpunktMisalignment (Fehlausrichtung)3 Maßnahmen
PrüfschwerpunktExcessive Agency (übermäßige Handlungsermächtigung)3 Maßnahmen
PrüfschwerpunktÜbermäßiges Vertrauen in das KI-System3 Maßnahmen
PrüfschwerpunktVergiftung der Trainingsdaten2 Maßnahmen
Gezielte Datenvergiftung / Label-Vergiftung3 Maßnahmen
Privacy-Angriffe3 Maßnahmen
Offenlegung sensibler Informationen3 Maßnahmen
Exfiltration aus der ML-Anwendung3 Maßnahmen
Maßnahmen gegen die übrigen Bedrohungen finden Sie auf deren Seiten im Bedrohungskatalog.
Vorschriften der KI-Verordnung
-
Art. 4: KI-Kompetenz
Für jedes KI-System Gilt seit dem 2. Februar 2025.
-
Art. 5 Abs. 1 Buchst. e, f, g, h: Verbotene biometrische Praktiken
Je nach Einsatz Prüfanlass seit dem 2. Februar 2025.
-
Anhang III Nr. 4 Buchst. b: Entscheidungen im Arbeitsverhältnis
Bei typischem Einsatz Prüfanlass ab dem 2. Dezember 2027.
Gilt für jedes KI-System
Art. 4: KI-Kompetenz
Greift, wenn Beschäftigte oder Beauftragte KI-Systeme betreiben oder nutzen.
Gilt seit dem 2. Februar 2025.
Pflichten und Einzelheiten zu Art. 4: KI-Kompetenz
- Wer die Pflichten trägt
- Anbieter, Betreiber, Produkthersteller, Anbieter eines KI-Modells mit allgemeinem Verwendungszweck
Die Pflichten im Einzelnen
Kann beim üblichen Einsatz greifen
Anhang III Nr. 4 Buchst. b: Entscheidungen im Arbeitsverhältnis
Greift, wenn das System Aufgaben nach Verhalten oder persönlichen Merkmalen zuweist, Leistung und Verhalten von Beschäftigten überwacht oder Entscheidungen über Arbeitsbedingungen, Beförderung oder Kündigung beeinflusst.
Gilt ab dem 2. Dezember 2027.
Pflichten und Einzelheiten zu Anhang III Nr. 4 Buchst. b: Entscheidungen im Arbeitsverhältnis
- Allgemein lautet die Bedingung
- Greift, wenn das System Entscheidungen über Arbeitsbedingungen, Beförderung oder Kündigung beeinflusst, Aufgaben nach Verhalten oder persönlichen Merkmalen zuteilt oder Leistung und Verhalten von Beschäftigten überwacht.
- Wer die Pflichten trägt
- Anbieter, Betreiber, Produkthersteller, Einführer, Händler, Bevollmächtigter
Die Pflichten im Einzelnen
- Einstufung prüfen und begründen
- Wechsel in die Anbieterrolle prüfen
- Risikomanagementsystem einrichten und betreiben
- Ausnahme nach Art. 6 Abs. 3 registrieren
- System gemäß Betriebsanleitung verwenden
- Geeignete Personen mit der menschlichen Aufsicht betrauen
- Beschäftigte und ihre Vertretung vorab informieren
- Betroffene Personen über den Einsatz informieren
- Entscheidungen auf Verlangen erläutern
Kann bei bestimmtem Einsatz greifen
Art. 5 Abs. 1 Buchst. e, f, g, h: Verbotene biometrische Praktiken
Greift, wenn das System aus Gesicht oder Stimme auf Gefühle der Beschäftigten schließt, etwa um Stimmung oder Ärger im Callcenter zu erfassen.
Gilt seit dem 2. Februar 2025.
Pflichten und Einzelheiten zu Art. 5 Abs. 1 Buchst. e, f, g, h: Verbotene biometrische Praktiken
- Allgemein lautet die Bedingung
- Greift, wenn das System eines davon tut: Gesichtsbilder ungezielt aus dem Internet oder aus Videoaufnahmen sammeln, Gefühle am Arbeitsplatz oder in Bildungseinrichtungen erkennen, Personen biometrisch nach sensiblen Merkmalen einordnen oder Personen im öffentlichen Raum zur Strafverfolgung in Echtzeit identifizieren.
- Ausnahme
- Gefühle am Arbeitsplatz und in Bildungseinrichtungen zu erkennen ist aus medizinischen Gründen und aus Sicherheitsgründen erlaubt. Für die Echtzeit-Identifizierung zur Strafverfolgung gibt es eng begrenzte Ausnahmen.
- Wer die Pflichten trägt
- Anbieter, Betreiber, Einführer, Händler, Bevollmächtigter, Produkthersteller, Anbieter eines KI-Modells mit allgemeinem Verwendungszweck
Die Pflichten im Einzelnen
Weitere Rechtsgrundlagen
Richtlinie (EU) 2024/2831
Die Richtlinie begrenzt automatisierte Überwachung und Entscheidungen bei Plattformarbeit und verlangt, dass Menschen wichtige Entscheidungen überprüfen. Die Mitgliedstaaten müssen sie bis zum 2. Dezember 2026 umsetzen.
Ihr System im Schnellprüfer einordnen Alle Pflichten im Pflichtenkompass
Übergreifende Bedrohungen
Diese Bedrohungen prüfen Sie bei jedem KI-System, egal wofür es eingesetzt wird.
- Lieferkette: Infrastruktur
- Lieferkette: Modelle
- Lieferkette: Datensätze
- Adversariale Eingaben
- Unsicherer Umgang mit Modellausgaben
- Anwendungs-Schwachstellen
- Übermäßiges Vertrauen in das KI-System Prüfschwerpunkt: Übermäßiges Vertrauen in das KI-System
- Modell-Drift & -Degradation
- Middleware-Exploits (Angriffe auf AI-Frameworks)
Abweichende Systemmerkmale
17 weitere Fragen ansehen
Trifft eine dieser Fragen bei Ihrem System doch zu, kommen die genannten Bedrohungen hinzu.
Schreibt das System eigene Texte, etwa Antworten, Entwürfe oder Zusammenfassungen?
Das System gibt Zuteilungen, Messwerte und Bewertungen aus, keine frei formulierten Texte.
Wenn ja, kommt hinzu
Erzeugt oder verändert das System Bilder, Töne, Stimmen oder Videos?
Wenn ja, kommt hinzu
Schreibt oder gestaltet das System auf freie Anfrage neue Inhalte, die Menschen direkt lesen, sehen oder hören? Übersetzen, Vorlesen und Abschreiben zählen nicht.
Wenn ja, kommt hinzu
Kann man dem System in normaler Sprache Aufträge geben, die es dann ausführt?
Das System arbeitet mit Aufträgen, Schichtplänen und Messdaten, nicht mit Anweisungen in normaler Sprache.
Wenn ja, kommt hinzu
Sucht das System in einer eigenen Sammlung von Dokumenten oder Datensätzen nach passenden Inhalten?
Wenn ja, kommt hinzu
Formuliert das System seine Antwort aus gefundenen Dokumenten?
Wenn ja, kommt hinzu
Nutzt das System ein Begriffsnetz (Wissensgraph), in dem Begriffe und ihre Beziehungen gespeichert sind?
Wenn ja, kommt hinzu
Merkt sich das System Inhalte aus früheren Gesprächen oder Aufgaben und nutzt sie später wieder?
Wenn ja, kommt hinzu
Ruft das System selbst andere Programme, Schnittstellen oder Suchdienste auf, auch wenn es dort nur liest?
Wenn ja, kommt hinzu
Legt das System seine nächsten Arbeitsschritte selbst fest, je nachdem, was vorher herauskam?
Wenn ja, kommt hinzu
Gibt das System Aufgaben an andere KI-Agenten weiter oder übernimmt es deren Ergebnisse?
Wenn ja, kommt hinzu
Ist das System über das Model Context Protocol (MCP) an Werkzeuge oder Datenquellen angebunden?
Wenn ja, kommt hinzu
Liegen Dokumente mehrerer Kunden, Abteilungen oder Berechtigungsgruppen im selben Suchspeicher?
Wenn ja, kommt hinzu
Können Menschen außerhalb Ihrer Organisation das System nutzen, auch ohne Anmeldung?
Nur die Beschäftigten und ihre Vorgesetzten nutzen das System, nicht die Öffentlichkeit.
Wenn ja, kommt hinzu
Verarbeitet das System mehrere Arten von Eingaben zusammen, etwa Text mit Bild oder Sprache?
Wenn ja, kommt hinzu
Erzeugt das System Programmcode, Skripte oder Datenbankabfragen, die weiterverwendet werden?
Wenn ja, kommt hinzu
Führt das System selbst Programme, Skripte oder Befehle aus?
Wenn ja, kommt hinzu
Quellen
- Rechtsakt, Norm oder Standard
KI-Verordnung, Anhang III Nr. 4 Buchst. b
Die Verordnung nennt KI-Systeme, die Beförderung oder Kündigung beeinflussen, Aufgaben zuweisen oder Leistung und Verhalten überwachen, ausdrücklich in Anhang III.
- Fachstudie
OECD.AI, Algorithmic management in the workplace, 2025
Eine Befragung von über 6.000 Unternehmen, auch in Deutschland, zeigt, dass Werkzeuge des algorithmischen Managements bereits verbreitet sind.
- Fachstudie
IAB-Forum, Algorithmisches Management bei app-basierten Lieferdiensten, 23. September 2025
Das IAB hat Beschäftigte bei elf Lieferdiensten in Deutschland befragt.
- Weitere Quelle
AlgorithmWatch, Join the Ride Side, 19. März 2024
AlgorithmWatch beschreibt den Einsatz algorithmischer Steuerung bei Lieferando.
Verwandte Anwendungsfälle
Ebenfalls im Einsatzgebiet Personal und Bildung
- KI-gestützte BewerbervorauswahlAus Lebensläufen und Anschreiben ermittelt das System, wer am besten zur Stelle passt, und schlägt vor, wen das Unternehmen zum Gespräch einlädt.
- Online-ProctoringÜber Kamera, Mikrofon und Bildschirm überwacht das System Prüflinge bei Online-Prüfungen und markiert mögliche Täuschungsversuche.
- Automatisierte Bewertung von Prüfungsleistungen (Automated Essay Scoring)Ein Modell bewertet schriftliche oder mündliche Prüfungsantworten und vergibt Punkte, allein oder neben menschlichen Prüferinnen und Prüfern.
Oft zusammen eingesetzt mit
- Autonome mobile Roboter in der IntralogistikRoboter bewegen Waren im Lager selbstständig oder begleiten Beschäftigte beim Zusammenstellen von Aufträgen, und eine Steuerung verteilt die Aufträge und plant die Wege.
- Absatz- und BedarfsprognoseHändler lassen ein Modell vorhersagen, wie viel sich von jedem Artikel in jeder Filiale verkaufen wird, und leiten daraus Bestellvorschläge oder fertige Bestellungen ab.
Stand: 30. September 2026. Regelwerk der Prüfliste in Fassung 0.3.2, Bedrohungskatalog in Fassung 2026.10.24.2. Wie diese Seiten aufgebaut sind