Eingabedaten und Informationsquellen
Was im Notruf gesagt wird, bestimmt allein, wer anruft. Notrufe enthalten Namen, Anschriften und Stimmen von Anrufenden und Betroffenen.
KI-Unterstützung in der Notrufannahme
Englisch: AI-assisted emergency call triage
Während eines Notrufs hört das System mit und weist Disponentinnen und Disponenten in der Leitstelle auf Anzeichen eines Notfalls hin, etwa auf einen Herzstillstand.
Den Anwendungsfall verstehen
Was macht diesen Anwendungsfall aus?
Die Leitstelle Kopenhagen hat das Verfahren im laufenden Betrieb erprobt. Rettungsdienste in Frankreich, Italien und Schottland haben es an aufgezeichneten Notrufen getestet, in Wales läuft ein Forschungsprojekt.
Die Seite beschreibt einen typischen Aufbau. Die tatsächlichen Datenwege und Befugnisse ergeben sich aus Ihrer Umsetzung.
- Bauform
- Auswertung und Verarbeitung
- Handlungsmacht
- Handlungsrechte je nach Einbindung
- Einsatzfelder
- Rettungsdienst, Leitstellen
- Auch bekannt als
- Notruftriage, Erkennung des Herzstillstands im Notruf
Funktionsweise und Ablauf
Aufbau und Datenwege
Eingabedaten
Der Ton des laufenden Notrufs kommt direkt beim System an.
Was im Notruf gesagt wird, bestimmt allein, wer anruft. Notrufe enthalten Namen, Anschriften und Stimmen von Anrufenden und Betroffenen.
Verarbeitung
Eine Spracherkennung schreibt mit, und ein Modell prüft die Mitschrift laufend auf Anzeichen eines Notfalls wie eines Herzstillstands.
Das System verarbeitet Informationen aus dem laufenden Gespräch, etwa über Spracherkennung und die Auswertung relevanter Begriffe oder Muster. Es stellt der Leitstelle Hinweise zum möglichen Notfall bereit. Die Entscheidung über Rückfragen, Dringlichkeit und Einsatzmittel erfolgt im vorgesehenen Leitstellenprozess.
Ergebnisse
Noch während des Gesprächs erscheint bei der Disponentin oder dem Disponenten ein Hinweis.
Das Ergebnis beschreibt die definierte Modellaufgabe. Ein Treffer, eine Kategorie oder eine Prognose erhält seine fachliche Bedeutung erst zusammen mit den zugrunde liegenden Daten und dem vorgesehenen Verwendungszweck.
Nutzung und Auswirkungen
Die Leitstelle entscheidet, wie dringlich sie den Einsatz einstuft und ob sie die Anrufenden zur Wiederbelebung anleitet.
Die Einbindung bestimmt, ob das Ergebnis lediglich angezeigt, nach Freigabe übernommen oder direkt in ein Fachverfahren geschrieben wird. Diese Varianten unterscheiden sich in ihren Datenwegen und Befugnissen.
Aufbau aktiv erkunden: Wählen Sie einen Baustein, um seine Aufgabe, die ein- und ausgehenden Daten und die Einbindung im Anwendungsfall zu sehen. Der geführte Ablauf erläutert jede Phase. Mit Ja, Offen und Nein können Sie anschließend Ihre konkrete Systemvariante abbilden.
7 zuerst zu prüfen9 zu klären7 Grundlagen
- Vorhanden
- Hängt von Ihrem System ab
- Nicht vorhanden
- Zuerst zu prüfen
- Zu klären
So nutzen Sie das Modell
Das Bild zeigt den Anwendungsfall, wie er typischerweise gebaut ist. Wählen Sie einen Baustein, um zu sehen, was dort geschieht, und stellen Sie seine Merkmale auf Ihr System um. Mit „Analysehinweise“ sehen Sie anschließend, welche Prüfkandidaten zu diesem Aufbau gehören. Die Prüfliste der Seite bleibt auf den typischen Fall bezogen.
Abweichungen vom typischen Fall
Noch keine. Jede Umstellung erscheint hier.
Wo die meisten Bedrohungen ansetzen
- 4 zu klären
- 3 zuerst zu prüfen
- 1 zuerst zu prüfen, 2 zu klären
- 1 zuerst zu prüfen, 1 zu klären
Im gezeigten Aufbau: 7 zuerst zu prüfen, 9 zu klären, 7 Grundlagen.
Aufbau als Liste
Zugang von außen: Hängt von Ihrem System ab
Zu klären
Eingabe: Gehört zu jedem KI-System
Zuerst prüfen
- Offenlegung sensibler Informationen Prüfschwerpunkt
- Privacy-Angriffe
- Exfiltration aus der ML-Anwendung
Grundlage für jedes KI-System
Inhalte Dritter: Vorhanden
KI-Modell: Gehört zu jedem KI-System
Zuerst prüfen
- Modell-Drift & -Degradation Prüfschwerpunkt
Dienst eines Anbieters: Vorhanden
Zuerst prüfen
Zu klären
Training und Rückmeldung: Vorhanden
Zuerst prüfen
Zu klären
Ergebnis: Gehört zu jedem KI-System
Grundlage für jedes KI-System
Fachanwendung oder Anlage: Hängt von Ihrem System ab
Zu klären
Mensch: Gehört zu jedem KI-System
Zuerst prüfen
- Übermäßiges Vertrauen in das KI-System Prüfschwerpunkt
Betroffene Person: Vorhanden
KI-Dienste ohne Freigabe: Hängt von Ihrem System ab
Zu klären
Lieferkette und technische Basis: 5 Grundlagen, die für jedes KI-System gelten
Grundlage für jedes KI-System
Abgrenzung zu ähnlichen Anwendungsfällen
Spracherkennung und Transkription
Schreibt Gespräche nur mit, ohne sie auf Anzeichen eines Notfalls zu prüfen
Chatbot und Voicebot im Kundenservice
Nimmt Anrufe selbst entgegen und beantwortet sie
Klinische Entscheidungsunterstützung (etwa Sepsis-Früherkennung)
Wertet im Krankenhaus Vitaldaten und Patientenakte aus
Daten und Informationen
Verarbeitung und Betriebsumgebung
Alle bekannten Einsätze nutzen das System eines Herstellers.
Speicherung und weitere Nutzung
In den Pilotprojekten trainierte der Hersteller das Modell mit aufgezeichneten Notrufen der jeweiligen Leitstelle. Neue Aufzeichnungen mit bestätigter Diagnose können das Modell später weiter verbessern.
Ergebnisse und Datenweitergabe
Je nach Einbindung zeigt das System den Hinweis nur an oder setzt im Einsatzleitsystem selbst ein Einsatzstichwort oder eine Dringlichkeit. In den Pilotprojekten lagen die Aufzeichnungen für das Training beim Hersteller.
Ein eingebundener Anbieter legt den Verarbeitungsort nicht automatisch fest. Speicherort, Unterauftragnehmer, Löschfristen und die Nutzung für Training sind im konkreten Betrieb zu prüfen.
Risiken einordnen und Maßnahmen festlegen
Vom Systemverständnis zur Risikoanalyse
- System abgrenzen
Daten, Beteiligte, Schnittstellen und Rechte erfassen. Offene Merkmale im Modell klären.
- Bedrohungen untersuchen
Prüfkandidaten auf die tatsächlichen Datenwege beziehen: Was könnte passieren und wer wäre betroffen?
- Risiko bewerten
Auswirkungen und Eintrittswahrscheinlichkeit im Einsatzkontext bewerten. Die Anzahl der Prüfkandidaten ist kein Risikowert.
- Maßnahmen nachweisen
Geeignete Kontrollen auswählen, Verantwortliche und Wirksamkeitsprüfungen festlegen. Restrisiken und Freigaben dokumentieren.
Wichtige Bedrohungen im Anwendungskontext
- 3 besonders wichtig
- 4 üblich
- 9 je nach System
- 7 weitere bei jedem KI-System
Insgesamt kommen bei diesem Anwendungsfall 23 Bedrohungen aus dem Bedrohungskatalog infrage.
Außerdem prüfen: ob die Ergebnisse fachlich stimmen
Prüfen Sie, wie verlässlich die ausgegebenen Wahrscheinlichkeiten sind, ob Testdaten ins Training gerutscht sind und was ein Fehler im Fachverfahren anrichtet.
Außerdem prüfen: ob das System Gruppen benachteiligt
Prüfen Sie, ob Auswahl, Rangfolge oder Bewertung Menschen mit geschützten Merkmalen benachteiligen, etwa nach Geschlecht, Alter oder Herkunft.
Außerdem prüfen: Sicherheit für Menschen und Anlagen
Prüfen Sie unabhängige Sicherheitsfunktionen, die Grenzen des vorgesehenen Einsatzbereichs und die Sicherheitsnachweise, die Ihre Branche verlangt.
Vorrangige Prüfansätze
Übermäßiges Vertrauen in das KI-System
Verlässt sich eine Disponentin darauf, dass das System bei einem Herzstillstand anschlägt, fragt sie ohne Hinweis womöglich nicht mehr gezielt nach. Die Anleitung zur Wiederbelebung am Telefon beginnt dann zu spät.
Ein Modell, das mit Notrufen einer Leitstelle trainiert wurde, erkennt Notfälle bei anderer Sprache, Mundart oder Abfragepraxis schlechter. Deshalb trainierten die Pilotprojekte in Frankreich, Italien und Schottland es zuerst mit eigenen Aufzeichnungen.
Offenlegung sensibler Informationen
Für Training und Prüfung gehen Aufzeichnungen echter Notrufe an den Hersteller. Geraten diese Aufnahmen mit Stimmen und Gesundheitsangaben an Unbefugte, lässt sich der Schaden nicht mehr rückgängig machen.
4 weitere Prüfkandidaten im typischen Aufbau
Weitere relevante Bedrohungen
Gezielte Datenvergiftung / Label-Vergiftung
Wer die Kennzeichnungen in den Trainingsdaten fälscht, kann die Ergebnisse des Modells gezielt verschieben.
Steht hier wegen dieser Eigenschaft
- Lernt aus Beispielen mit richtiger Antwort
Über Trainingsdaten oder ein übernommenes Grundmodell kann das Modell versteckte Auslöser für Fehlverhalten enthalten.
Steht hier wegen dieser Eigenschaft
- Nutzt ein Modell eines anderen Anbieters
Mit gezielten Abfragen lassen sich personenbezogene und schutzbedürftige Trainingsdaten teilweise aus dem Modell zurückgewinnen.
Steht hier wegen dieser Eigenschaften
- Verarbeitet personenbezogene Daten
- Verarbeitet vertrauliche Daten
Exfiltration aus der ML-Anwendung
Schutzbedürftige Daten können über Werkzeuge, Netzverbindungen, Speicher oder Innentäter abfließen.
Steht hier wegen dieser Eigenschaft
- Verarbeitet vertrauliche Daten
Je nach Aufbau Ihres Systems kommen bis zu 9 weitere hinzu. Neun Bedrohungen prüfen Sie bei jedem KI-System. Zwei davon sind hier besonders wichtig und stehen deshalb oben.
Systemmerkmale und offene Fragen
Jedes Ja setzt weitere Bedrohungen auf Ihre Prüfliste, insgesamt bis zu 9. Können Sie eine Frage noch nicht beantworten, prüfen Sie die Bedrohungen mit.
- Kommt mit diesem Ja hinzu
- Braucht zusätzlich ein Ja auf eine andere Frage
Wie Ihr System gebaut ist
- Lernt aus Ihren eigenen Daten1 Bedrohung, 1 weitere nur zusammen mit weiteren Merkmalen
- Verändert Daten oder löst Vorgänge aus1 Bedrohung
- Lernt im Betrieb ohne neue Freigabe weiter1 Bedrohung
- Verwertet Rückmeldungen aus dem Betrieb1 Bedrohung
Wie Sie das System betreiben
- Ist für Menschen außerhalb der Organisation nutzbar5 Bedrohungen
- Nimmt Anfragen direkt über eine Schnittstelle an4 Bedrohungen
- Ist über ein Netzwerk erreichbar2 Bedrohungen, 1 weitere nur zusammen mit weiteren Merkmalen
- Verursacht mit jeder Anfrage Kosten1 Bedrohung
- Teilt Rechenleistung mit anderen Kunden oder Anwendungen1 Bedrohung
- Neben KI-Diensten ohne Freigabe im Einsatz1 Bedrohung
Wie Ihr System gebaut ist
Kann das System selbst etwas verändern, etwa Daten speichern, Nachrichten senden, Buchungen auslösen oder Rechte vergeben?
Je nach Einbindung zeigt das System den Hinweis nur an oder setzt im Einsatzleitsystem selbst ein Einsatzstichwort oder eine Dringlichkeit.
Wenn ja, kommt hinzu
Trainiert oder verfeinert Ihre Organisation das Modell selbst mit eigenen Daten?
In den Pilotprojekten trainierte der Hersteller das Modell mit aufgezeichneten Notrufen der jeweiligen Leitstelle.
Wenn ja, kommt hinzu
Lernt das System im laufenden Betrieb weiter und ändert dadurch sein Verhalten ohne neue Freigabe?
Wenn ja, kommt hinzu
Fließen Rückmeldungen oder Ergebnisse aus dem Betrieb später in Auswertung oder Training ein?
Neue Aufzeichnungen mit bestätigter Diagnose können das Modell später weiter verbessern.
Wenn ja, kommt hinzu
Wie Sie das System betreiben
Diese Fragen stellen sich bei fast jedem KI-System.
Können Personen oder Programme dem Modell direkt Anfragen stellen, zum Beispiel über eine Schnittstelle?
Wenn ja, kommt hinzu
Ist das System über ein Netzwerk erreichbar oder auf Dienste im Netz angewiesen?
Wenn ja, kommt hinzu
Zahlen Sie je Anfrage oder je Rechenzeit, sodass die Kosten mit der Nutzung steigen?
Wenn ja, kommt hinzu
Teilt sich das System Server oder Rechenleistung mit anderen Kunden oder Anwendungen?
Wenn ja, kommt hinzu
Können Menschen außerhalb Ihrer Organisation das System nutzen, auch ohne Anmeldung?
Wenn ja, kommt hinzu
Nutzen Beschäftigte für diese Aufgabe auch KI-Dienste, die Ihre Organisation nicht freigegeben hat?
Wenn ja, kommt hinzu
Maßnahmen und Umsetzung
Maßnahmen zu den Prüfschwerpunkten sind direkt geöffnet. Die verlinkten Maßnahmen erläutern jeweils die Umsetzung.
PrüfschwerpunktÜbermäßiges Vertrauen in das KI-System3 Maßnahmen
PrüfschwerpunktModell-Drift & -Degradation3 Maßnahmen
PrüfschwerpunktOffenlegung sensibler Informationen3 Maßnahmen
Gezielte Datenvergiftung / Label-Vergiftung3 Maßnahmen
Backdoor im ML-Modell2 Maßnahmen
Privacy-Angriffe3 Maßnahmen
Exfiltration aus der ML-Anwendung3 Maßnahmen
Maßnahmen gegen die übrigen Bedrohungen finden Sie auf deren Seiten im Bedrohungskatalog.
Vorschriften der KI-Verordnung
-
Art. 4: KI-Kompetenz
Für jedes KI-System Gilt seit dem 2. Februar 2025.
-
Anhang III Nr. 5 Buchst. d: Notrufe und Notfallversorgung
Bei typischem Einsatz Prüfanlass ab dem 2. Dezember 2027.
Gilt für jedes KI-System
Art. 4: KI-Kompetenz
Greift, wenn Beschäftigte oder Beauftragte KI-Systeme betreiben oder nutzen.
Gilt seit dem 2. Februar 2025.
Pflichten und Einzelheiten zu Art. 4: KI-Kompetenz
- Wer die Pflichten trägt
- Anbieter, Betreiber, Produkthersteller, Anbieter eines KI-Modells mit allgemeinem Verwendungszweck
Die Pflichten im Einzelnen
Kann beim üblichen Einsatz greifen
Anhang III Nr. 5 Buchst. d: Notrufe und Notfallversorgung
Greift, wenn das System Notrufe während des Gesprächs bewertet und der Leitstelle Hinweise zur Dringlichkeit gibt, etwa auf einen Herzstillstand.
Gilt ab dem 2. Dezember 2027.
Pflichten und Einzelheiten zu Anhang III Nr. 5 Buchst. d: Notrufe und Notfallversorgung
- Allgemein lautet die Bedingung
- Greift, wenn das System Notrufe bewertet oder einordnet, Einsatzkräfte losschickt oder Patientinnen und Patienten in der Notfallversorgung nach Dringlichkeit einteilt.
- Wer die Pflichten trägt
- Anbieter, Betreiber, Produkthersteller
Die Pflichten im Einzelnen
Greift in der Regel nicht
Art. 50 Abs. 1: Hinweis auf eine KI im Gespräch
Wer anruft, spricht mit einem Menschen in der Leitstelle, nicht mit dem System. Die Pflicht, auf ein Gespräch mit einer KI hinzuweisen, greift deshalb in der Regel nicht.
Pflichten und Einzelheiten zu Art. 50 Abs. 1: Hinweis auf eine KI im Gespräch
- Allgemein lautet die Bedingung
- Greift, wenn Menschen direkt mit dem System schreiben oder sprechen und nicht offensichtlich ist, dass sie es mit einer KI zu tun haben.
- Wer die Pflichten trägt
- Anbieter, Produkthersteller
Die Pflichten im Einzelnen
Ihr System im Schnellprüfer einordnen Alle Pflichten im Pflichtenkompass
Übergreifende Bedrohungen
Diese Bedrohungen prüfen Sie bei jedem KI-System, egal wofür es eingesetzt wird.
- Lieferkette: Infrastruktur
- Lieferkette: Modelle
- Lieferkette: Datensätze
- Adversariale Eingaben
- Unsicherer Umgang mit Modellausgaben
- Anwendungs-Schwachstellen
- Übermäßiges Vertrauen in das KI-System Prüfschwerpunkt: Übermäßiges Vertrauen in das KI-System
- Modell-Drift & -Degradation Prüfschwerpunkt: Modell-Drift & -Degradation
- Middleware-Exploits (Angriffe auf AI-Frameworks)
Abweichende Systemmerkmale
17 weitere Fragen ansehen
Trifft eine dieser Fragen bei Ihrem System doch zu, kommen die genannten Bedrohungen hinzu.
Schreibt das System eigene Texte, etwa Antworten, Entwürfe oder Zusammenfassungen?
Das System zeigt Hinweise an, und eine Mitschrift gibt nur wieder, was gesagt wurde.
Wenn ja, kommt hinzu
Erzeugt oder verändert das System Bilder, Töne, Stimmen oder Videos?
Wenn ja, kommt hinzu
Schreibt oder gestaltet das System auf freie Anfrage neue Inhalte, die Menschen direkt lesen, sehen oder hören? Übersetzen, Vorlesen und Abschreiben zählen nicht.
Wenn ja, kommt hinzu
Kann man dem System in normaler Sprache Aufträge geben, die es dann ausführt?
Das System hört zu und nimmt keine Aufträge entgegen.
Wenn ja, kommt hinzu
Sucht das System in einer eigenen Sammlung von Dokumenten oder Datensätzen nach passenden Inhalten?
Wenn ja, kommt hinzu
Formuliert das System seine Antwort aus gefundenen Dokumenten?
Wenn ja, kommt hinzu
Nutzt das System ein Begriffsnetz (Wissensgraph), in dem Begriffe und ihre Beziehungen gespeichert sind?
Wenn ja, kommt hinzu
Merkt sich das System Inhalte aus früheren Gesprächen oder Aufgaben und nutzt sie später wieder?
Wenn ja, kommt hinzu
Ruft das System selbst andere Programme, Schnittstellen oder Suchdienste auf, auch wenn es dort nur liest?
Wenn ja, kommt hinzu
Legt das System seine nächsten Arbeitsschritte selbst fest, je nachdem, was vorher herauskam?
Wenn ja, kommt hinzu
Gibt das System Aufgaben an andere KI-Agenten weiter oder übernimmt es deren Ergebnisse?
Wenn ja, kommt hinzu
Ist das System über das Model Context Protocol (MCP) an Werkzeuge oder Datenquellen angebunden?
Wenn ja, kommt hinzu
Liegen Dokumente mehrerer Kunden, Abteilungen oder Berechtigungsgruppen im selben Suchspeicher?
Wenn ja, kommt hinzu
Verarbeitet das System mehrere Arten von Eingaben zusammen, etwa Text mit Bild oder Sprache?
Das System wertet allein das Gespräch aus.
Wenn ja, kommt hinzu
Erzeugt das System Programmcode, Skripte oder Datenbankabfragen, die weiterverwendet werden?
Wenn ja, kommt hinzu
Führt das System selbst Programme, Skripte oder Befehle aus?
Wenn ja, kommt hinzu
Soll das System eine vorgegebene Kennzahl möglichst verbessern, etwa Umsatz, Auslastung oder Klicks?
Wenn ja, kommt hinzu
Quellen
- Fachstudie
Mit Hinweisen erkannte das Personal 93,1 statt 90,5 Prozent der Herzstillstände, ein nicht signifikanter Unterschied; das Modell allein fand mehr, löste aber mehr Fehlalarme aus.
- Fachstudie
Das Studienregister beschreibt die Kopenhagener Studie, die im laufenden Leitstellenbetrieb stattfand.
- Bericht über einen Einsatz
EENA und Corti, Detecting out-of-hospital cardiac arrest using artificial intelligence, Projektbericht vom 13. Januar 2020 Nach Angabe des Herstellers
Mitarbeitende von EENA und vom Hersteller Corti beschreiben Pilotprojekte bei AREU (Lombardei) und SDIS-SAMU 74 (Hochsavoyen), die das Modell an eigenen Notrufen trainierten.
- Bericht über einen Einsatz
Scottish Ambulance Service, Emergency Call Artificial Intelligence Pilot Trial Nach Angabe des Betreibers
Der Rettungsdienst beschreibt eine viermonatige Erprobung mit Corti an Kopien von Notrufen, ohne Eingriff in den Betrieb; danach werden die übertragenen Daten gelöscht.
- Fachstudie
University of York, Assuring Autonomy, ASSIST: AI in ambulance service 999 calls
Das Forschungsprojekt passt die in Kopenhagen erprobte Plattform für den Welsh Ambulance Service an, um die Notrufannahme beim Erkennen eines Herzstillstands zu unterstützen.
- Rechtsakt, Norm oder Standard
Verordnung (EU) 2024/1689 (KI-Verordnung), Anhang III Nr. 5 Buchst. d
Anhang III nennt KI-Systeme, die Notrufe bewerten und einordnen, Einsatzkräfte entsenden oder Patientinnen und Patienten in der Notfallversorgung nach Dringlichkeit einteilen.
Verwandte Anwendungsfälle
Ebenfalls im Einsatzgebiet Gesundheit und Rettungswesen
- KI in der medizinischen BildauswertungAuf Röntgen-, CT-, MRT- oder Mammographieaufnahmen markiert das System Auffälligkeiten und hilft Ärztinnen und Ärzten, den Befund zu stellen.
- Klinische Entscheidungsunterstützung (etwa Sepsis-Früherkennung)Das System wertet Vitaldaten, Laborwerte und Patientenakte laufend aus und warnt das Behandlungsteam, wenn sich der Zustand einer Patientin oder eines Patienten zu verschlechtern droht.
Stand: 30. September 2026. Regelwerk der Prüfliste in Fassung 0.3.2, Bedrohungskatalog in Fassung 2026.10.24.2. Wie diese Seiten aufgebaut sind