Versatile AI Risk Assessment
Robotik und Fahrzeuge

Automatisiertes Fahren und Fahrerassistenz

Englisch: Automated driving and advanced driver assistance systems (ADAS)

Kameras und weitere Sensoren erfassen die Verkehrslage, und das System übernimmt unter festgelegten Bedingungen das Fahren oder unterstützt die Person am Steuer.

Interaktives Modell erkunden

Handout exportieren

Eine kompakte PDF mit Funktionsweise, Datenwegen und Prüfansätzen zum Weitergeben.

Die Erläuterungen und Maßnahmen beschreiben den typischen Aufbau. Viele eigene Änderungen ergänzen einen Anhang.

Den Anwendungsfall verstehen

Was macht diesen Anwendungsfall aus?

Assistenzsysteme helfen beim Lenken, Bremsen und Spurhalten, verantwortlich bleibt der Mensch am Steuer. Automatisierte Systeme fahren in einem eng umrissenen Bereich selbst. Das Kraftfahrt-Bundesamt genehmigte 2021 das erste automatisierte Spurhaltesystem. Fahrzeuge von Uber und Tesla hatten schwere Unfälle.

Die Seite beschreibt einen typischen Aufbau. Die tatsächlichen Datenwege und Befugnisse ergeben sich aus Ihrer Umsetzung.

Bauform
Auswertung und Verarbeitung
Handlungsmacht
Wirkt auf physische Abläufe
Einsatzfelder
Automobilindustrie, Mobilität
Auch bekannt als
automatisiertes Spurhaltesystem (ALKS), Staupilot, Level-3-System

Funktionsweise und Ablauf

Aufbau und Datenwege

  1. Eingabedaten

    Kameras, Radar und weitere Sensoren erfassen laufend Fahrbahn, Verkehrszeichen, Fahrzeuge und Menschen.

    Fremde können Verkehrszeichen und Fahrbahnmarkierungen im öffentlichen Raum verändern. Das System verbindet Kamera, Radar und je nach Fahrzeug weitere Sensoren wie Lidar.

  2. Verarbeitung

    Modelle erkennen Fahrzeuge, Personen und Markierungen und setzen daraus ein Bild der Verkehrslage zusammen.

    Das System verarbeitet Sensordaten zur Wahrnehmung der Verkehrssituation und leitet daraus mögliche Fahrbewegungen ab. Planung und Fahrzeugsteuerung setzen die freigegebenen Bewegungen um. Welche Aufgaben beim Menschen verbleiben, hängt vom jeweiligen Assistenz- oder Automatisierungsumfang ab.

  3. Ergebnisse

    Das System gibt Befehle zum Lenken, Bremsen und Beschleunigen oder warnt die Person am Steuer.

    Das Ergebnis beschreibt die definierte Modellaufgabe. Ein Treffer, eine Kategorie oder eine Prognose erhält seine fachliche Bedeutung erst zusammen mit den zugrunde liegenden Daten und dem vorgesehenen Verwendungszweck.

  4. Nutzung und Auswirkungen

    Das Fahrzeug bewegt sich im öffentlichen Verkehr, und jeder Fehler kann Insassen und andere Menschen unmittelbar gefährden.

    Hier schließt sich der Weg von der Berechnung zur physischen Ausführung. Die Steuerung setzt eine ausgewählte Aktion um; Sensoren liefern anschließend neue Informationen über den Zustand der Umgebung.

Aufbau aktiv erkunden: Wählen Sie einen Baustein, um seine Aufgabe, die ein- und ausgehenden Daten und die Einbindung im Anwendungsfall zu sehen. Der geführte Ablauf erläutert jede Phase. Mit Ja, Offen und Nein können Sie anschließend Ihre konkrete Systemvariante abbilden.

9 zuerst zu prüfen11 zu klären6 Grundlagen

EingangVerarbeitungErgebnisWirkung Zugangvon außen 03 Eingabe 40 InhalteDritter 00 KI-Modell 12 Dienst einesAnbieters 03 Dokumenten-sammlung 00 Gedächtnis 00 Training undRückmeldung 12 WeitereKI-Agenten 00 Werkzeuge undSchnittstellen 00 Ergebnis 00 Fachanwendungoder Anlage 20 Mensch 10 BetroffenePerson 00 KI-Diensteohne Freigabe 01 Zugangvon außen 03 Eingabe 40 InhalteDritter 00 KI-Modell 12 Dienst einesAnbieters 03 Dokumenten-sammlung 00 Gedächtnis 00 Training undRückmeldung 12 WeitereKI-Agenten 00 Werkzeuge undSchnittstellen 00 Ergebnis 00 Fachanwendungoder Anlage 20 Mensch 10 BetroffenePerson 00 KI-Diensteohne Freigabe 01
  • Vorhanden
  • Hängt von Ihrem System ab
  • Nicht vorhanden
  • Zuerst zu prüfen
  • Zu klären
Aufbau als Liste

Abgrenzung zu ähnlichen Anwendungsfällen

Daten und Informationen

Eingabedaten und Informationsquellen

Fremde können Verkehrszeichen und Fahrbahnmarkierungen im öffentlichen Raum verändern. Außenkameras erfassen andere Menschen auf der Straße, und Fahrdaten verraten etwas über die Person am Steuer.

Verarbeitung und Betriebsumgebung

Teile der Wahrnehmung kommen oft von Zulieferern.

Speicherung und weitere Nutzung

Fahrzeughersteller trainieren die Wahrnehmung mit eigenen Fahrdaten, Betreiber einer Flotte übernehmen das Modell in der Regel. Fahrdaten aus der Flotte können in die Weiterentwicklung einfließen.

Ergebnisse und Datenweitergabe

Das System lenkt, bremst und beschleunigt das Fahrzeug.

Ein eingebundener Anbieter legt den Verarbeitungsort nicht automatisch fest. Speicherort, Unterauftragnehmer, Löschfristen und die Nutzung für Training sind im konkreten Betrieb zu prüfen.

Risiken einordnen und Maßnahmen festlegen

Vom Systemverständnis zur Risikoanalyse

  1. System abgrenzen

    Daten, Beteiligte, Schnittstellen und Rechte erfassen. Offene Merkmale im Modell klären.

  2. Bedrohungen untersuchen

    Prüfkandidaten auf die tatsächlichen Datenwege beziehen: Was könnte passieren und wer wäre betroffen?

  3. Risiko bewerten

    Auswirkungen und Eintrittswahrscheinlichkeit im Einsatzkontext bewerten. Die Anzahl der Prüfkandidaten ist kein Risikowert.

  4. Maßnahmen nachweisen

    Geeignete Kontrollen auswählen, Verantwortliche und Wirksamkeitsprüfungen festlegen. Restrisiken und Freigaben dokumentieren.

Wichtige Bedrohungen im Anwendungskontext

  • 3 besonders wichtig
  • 6 üblich
  • 11 je nach System
  • 6 weitere bei jedem KI-System

Insgesamt kommen bei diesem Anwendungsfall 26 Bedrohungen aus dem Bedrohungskatalog infrage.

Außerdem prüfen: ob die Ergebnisse fachlich stimmen

Prüfen Sie, wie verlässlich die ausgegebenen Wahrscheinlichkeiten sind, ob Testdaten ins Training gerutscht sind und was ein Fehler im Fachverfahren anrichtet.

Außerdem prüfen: Sicherheit für Menschen und Anlagen

Prüfen Sie unabhängige Sicherheitsfunktionen, die Grenzen des vorgesehenen Einsatzbereichs und die Sicherheitsnachweise, die Ihre Branche verlangt.

Vorrangige Prüfansätze

  1. Adversariale Eingaben

    Veränderte Verkehrszeichen oder Aufkleber auf der Fahrbahn können die Kamera gezielt täuschen. Das Fahrzeug liest dann ein Tempolimit oder eine Spur falsch und reagiert gefährlich.

  2. Übermäßiges Vertrauen in das KI-System

    Wer am Steuer sitzt, gewöhnt sich daran, dass das System die Lage beherrscht, und wendet sich ab. Fordert das System zur Übernahme auf oder versagt es unbemerkt, bleibt zu wenig Zeit zum Eingreifen.

  3. Modell-Drift & -Degradation

    Die Wahrnehmung kennt nur die Regionen, Jahreszeiten und Verkehrslagen, mit denen sie trainiert wurde. Bei Schnee, ungewohnten Baustellen oder unerwartetem Verhalten anderer erkennt sie Hindernisse schlechter, und das fällt nicht sofort auf.

6 weitere Prüfkandidaten im typischen Aufbau

Weitere relevante Bedrohungen

  1. Gezielte Datenvergiftung / Label-Vergiftung

    Wer die Kennzeichnungen in den Trainingsdaten fälscht, kann die Ergebnisse des Modells gezielt verschieben.

    Steht hier wegen dieser Eigenschaft

    • Lernt aus Beispielen mit richtiger Antwort

  2. Denial-of-Service auf das Modell

    Aufwendige oder massenhafte Eingaben können die Rechenleistung des Modells erschöpfen.

    Steht hier wegen dieser Eigenschaften

    • Steuert Vorgänge in der physischen Welt
    • Verarbeitet Text, Bild und Sprache gemeinsam

  3. Privacy-Angriffe

    Mit gezielten Abfragen lassen sich personenbezogene und schutzbedürftige Trainingsdaten teilweise aus dem Modell zurückgewinnen.

    Steht hier wegen dieser Eigenschaft

    • Verarbeitet personenbezogene Daten

  4. Offenlegung sensibler Informationen

    Vertrauliche Inhalte können in Antworten, im mitgegebenen Kontext oder in Protokollen auftauchen.

    Steht hier wegen dieser Eigenschaft

    • Verarbeitet personenbezogene Daten

  5. Excessive Agency (übermäßige Handlungsermächtigung)

    Was das System im Auftrag oder automatisch erledigt, kann über das Erlaubte hinausgehen.

    Steht hier wegen dieser Eigenschaft

    • Steuert Vorgänge in der physischen Welt

  6. Multimodale Angriffe

    Jede weitere Eingabeart, etwa Bild oder Sprache, öffnet einen weiteren Weg, das System zu manipulieren oder widersprüchliche Ergebnisse zu erzeugen.

    Steht hier wegen dieser Eigenschaft

    • Verarbeitet Text, Bild und Sprache gemeinsam

Je nach Aufbau Ihres Systems kommen bis zu 11 weitere hinzu. Neun Bedrohungen prüfen Sie bei jedem KI-System. Drei davon sind hier besonders wichtig und stehen deshalb oben.

Systemmerkmale und offene Fragen

Jedes Ja setzt weitere Bedrohungen auf Ihre Prüfliste, insgesamt bis zu 11. Können Sie eine Frage noch nicht beantworten, prüfen Sie die Bedrohungen mit.

Wie viele Bedrohungen bei Ja hinzukommen
  • Kommt mit diesem Ja hinzu
  • Braucht zusätzlich ein Ja auf eine andere Frage

Wie Ihr System gebaut ist

  1. Lernt aus Ihren eigenen Daten2 Bedrohungen, 1 weitere nur zusammen mit weiteren Merkmalen
  2. Legt seine Arbeitsschritte selbst fest2 Bedrohungen
  3. Verarbeitet vertrauliche Daten1 Bedrohung
  4. Nutzt ein Modell eines anderen Anbieters1 Bedrohung
  5. Verwertet Rückmeldungen aus dem Betrieb1 Bedrohung
  6. Optimiert eine vorgegebene Kennzahl1 Bedrohung

Wie Sie das System betreiben

  1. Ist für Menschen außerhalb der Organisation nutzbar4 Bedrohungen
  2. Nimmt Anfragen direkt über eine Schnittstelle an3 Bedrohungen
  3. Ist über ein Netzwerk erreichbar1 Bedrohung, 1 weitere nur zusammen mit weiteren Merkmalen
  4. Verursacht mit jeder Anfrage Kosten1 Bedrohung
  5. Gibt Inhalte an Dienste außerhalb der eigenen Umgebung weiter1 Bedrohung
  6. Teilt Rechenleistung mit anderen Kunden oder Anwendungen1 Bedrohung
  7. Neben KI-Diensten ohne Freigabe im Einsatz1 Bedrohung

Wie Ihr System gebaut ist

Verarbeitet das System vertrauliche Informationen, etwa Geschäftsgeheimnisse, Gesundheits- oder Finanzdaten?

Wenn ja, kommt hinzu

Stammt das Modell oder sein Grundmodell von einem anderen Anbieter, auch wenn es bei Ihnen läuft?

Teile der Wahrnehmung kommen oft von Zulieferern.

Wenn ja, kommt hinzu

Fließen Rückmeldungen oder Ergebnisse aus dem Betrieb später in Auswertung oder Training ein?

Fahrdaten aus der Flotte können in die Weiterentwicklung einfließen.

Wenn ja, kommt hinzu

Soll das System eine vorgegebene Kennzahl möglichst verbessern, etwa Umsatz, Auslastung oder Klicks?

Wenn ja, kommt hinzu

Wie Sie das System betreiben

Diese Fragen stellen sich bei fast jedem KI-System.

Können Inhalte die eigene Umgebung verlassen, etwa zu einem Cloud-Anbieter, in eine Websuche oder per E-Mail?

Wenn ja, kommt hinzu

Maßnahmen und Umsetzung

Maßnahmen zu den Prüfschwerpunkten sind direkt geöffnet. Die verlinkten Maßnahmen erläutern jeweils die Umsetzung.

PrüfschwerpunktAdversariale Eingaben2 Maßnahmen
PrüfschwerpunktÜbermäßiges Vertrauen in das KI-System3 Maßnahmen
PrüfschwerpunktModell-Drift & -Degradation3 Maßnahmen
Gezielte Datenvergiftung / Label-Vergiftung3 Maßnahmen
Denial-of-Service auf das Modell3 Maßnahmen
Privacy-Angriffe3 Maßnahmen
Offenlegung sensibler Informationen3 Maßnahmen
Excessive Agency (übermäßige Handlungsermächtigung)3 Maßnahmen
Multimodale Angriffe2 Maßnahmen

Maßnahmen gegen die übrigen Bedrohungen finden Sie auf deren Seiten im Bedrohungskatalog.

Vorschriften der KI-Verordnung

Wann die Vorschriften der KI-Verordnung gelten
  1. Art. 4: KI-Kompetenz

    Für jedes KI-System Gilt seit dem 2. Februar 2025.

  2. Art. 6 Abs. 1, Art. 2 Abs. 2, Anhang I Abschnitt B: Fahrzeuge, Luftfahrzeuge, Schiffe und Bahnanlagen

    Bei typischem Einsatz Prüfanlass ab dem 2. August 2028.

Gilt für jedes KI-System

Art. 4: KI-Kompetenz

Greift, wenn Beschäftigte oder Beauftragte KI-Systeme betreiben oder nutzen.

Gilt seit dem 2. Februar 2025.

Pflichten und Einzelheiten
Wer die Pflichten trägt
Anbieter, Betreiber, Produkthersteller, Anbieter eines KI-Modells mit allgemeinem Verwendungszweck

Die Pflichten im Einzelnen

Kann beim üblichen Einsatz greifen

Art. 6 Abs. 1, Art. 2 Abs. 2, Anhang I Abschnitt B: Fahrzeuge, Luftfahrzeuge, Schiffe und Bahnanlagen

Greift, wenn das System als Sicherheitsbauteil eines Kraftfahrzeugs die Fahraufgabe übernimmt oder unterstützt, etwa als automatisiertes Spurhaltesystem nach UN-Regelung Nr. 157.

Gilt ab dem 2. August 2028.

Pflichten und Einzelheiten
Allgemein lautet die Bedingung
Greift, wenn das System Sicherheitsbauteil eines Fahrzeugs, Luftfahrzeugs, Schiffs oder einer Bahnanlage ist, für das Anhang I Abschnitt B gilt.
Zu beachten
Die KI-Verordnung wirkt hier über das Typgenehmigungs- oder Zulassungsrecht; ihre übrigen Kapitel gelten nicht direkt.
Wer die Pflichten trägt
Anbieter, Betreiber, Produkthersteller

Die Pflichten im Einzelnen

Greift in der Regel nicht

Art. 6 Abs. 1, Anhang I Abschnitt A: Sicherheitsbauteil eines geprüften Produkts

Kraftfahrzeuge stehen in Anhang I Abschnitt B. Die Anforderungen der KI-Verordnung kommen dort nach Art. 2 Abs. 2 über das Typgenehmigungsrecht zur Geltung, nicht über eine Konformitätsbewertung nach Abschnitt A.

Pflichten und Einzelheiten
Allgemein lautet die Bedingung
Greift, wenn das System selbst ein Produkt oder Sicherheitsbauteil eines Produkts ist, das nach den Vorschriften in Anhang I von Dritten geprüft werden muss, etwa Maschinen, Aufzüge, Medizinprodukte oder Spielzeug.
Ausnahme
Systeme, die nur Bedienung, Leistung oder Komfort verbessern und nichts mit Sicherheit zu tun haben, gelten nach Art. 6 Abs. 1a bis 1c nicht als Sicherheitsbauteil.
Wer die Pflichten trägt
Anbieter, Betreiber, Produkthersteller

Die Pflichten im Einzelnen

Ihr System im Schnellprüfer einordnen Alle Pflichten im Pflichtenkompass

Übergreifende Bedrohungen

Diese Bedrohungen prüfen Sie bei jedem KI-System, egal wofür es eingesetzt wird.

Warum diese Bedrohungen immer dazugehören

Abweichende Systemmerkmale

14 weitere Fragen ansehen

Trifft eine dieser Fragen bei Ihrem System doch zu, kommen die genannten Bedrohungen hinzu.

Quellen

Verwandte Anwendungsfälle

Ebenfalls im Einsatzgebiet Robotik und Fahrzeuge

Stand: 30. September 2026. Regelwerk der Prüfliste in Fassung 0.3.2, Bedrohungskatalog in Fassung 2026.10.24.2. Wie diese Seiten aufgebaut sind