Versatile AI Risk Assessment
Gesundheit und Rettungswesen

Klinische Entscheidungsunterstützung (etwa Sepsis-Früherkennung)

Englisch: Clinical decision support and early warning systems

Das System wertet Vitaldaten, Laborwerte und Patientenakte laufend aus und warnt das Behandlungsteam, wenn sich der Zustand einer Patientin oder eines Patienten zu verschlechtern droht.

Interaktives Modell erkunden

Handout exportieren

Eine kompakte PDF mit Funktionsweise, Datenwegen und Prüfansätzen zum Weitergeben.

Die Erläuterungen und Maßnahmen beschreiben den typischen Aufbau. Viele eigene Änderungen ergänzen einen Anhang.

Den Anwendungsfall verstehen

Was macht diesen Anwendungsfall aus?

Ein Frühwarnsystem berechnet aus der Patientenakte einen Risikowert und schlägt Alarm, sobald er eine Schwelle überschreitet. US-Krankenhäuser nutzen solche Systeme, um eine Sepsis früh zu erkennen. An Michigan Medicine schnitt ein verbreitetes Modell aber deutlich schlechter ab, als der Hersteller angibt.

Die Seite beschreibt einen typischen Aufbau. Die tatsächlichen Datenwege und Befugnisse ergeben sich aus Ihrer Umsetzung.

Bauform
Auswertung und Verarbeitung
Handlungsmacht
Handlungsrechte je nach Einbindung
Einsatzfelder
Gesundheitswesen
Auch bekannt als
Frühwarnsystem, Sepsis-Vorhersage, klinische Risikovorhersage

Funktionsweise und Ablauf

Aufbau und Datenwege

  1. Eingabedaten

    Aus Überwachung, Labor und Patientenakte kommen laufend Vitaldaten, Laborwerte, Diagnosen und Einträge.

    Manche Modelle werten neben Messwerten auch Freitext aus Arztbriefen oder Pflegeberichten aus. Das System wertet die Akte einzelner Patientinnen und Patienten aus.

  2. Verarbeitung

    Ein Modell berechnet daraus für jede Patientin und jeden Patienten ein Risiko, etwa für eine Sepsis.

    Das Modell verarbeitet die vorgesehenen klinischen Angaben und kann Verläufe oder Auffälligkeiten einschätzen. Daraus entstehen Hinweise oder priorisierte Meldungen für das Behandlungsteam. Eine Modellwarnung, die klinische Bewertung und eine tatsächlich eingeleitete Behandlung sind getrennte Schritte.

  3. Ergebnisse

    Überschreitet der Risikowert eine Schwelle, erscheint beim Behandlungsteam ein Alarm.

    Das Ergebnis beschreibt die definierte Modellaufgabe. Ein Treffer, eine Kategorie oder eine Prognose erhält seine fachliche Bedeutung erst zusammen mit den zugrunde liegenden Daten und dem vorgesehenen Verwendungszweck.

  4. Nutzung und Auswirkungen

    Das Team prüft den Alarm und entscheidet über Untersuchung und Behandlung; ohne Alarm fehlt dieser Anstoß.

    Die Einbindung bestimmt, ob das Ergebnis lediglich angezeigt, nach Freigabe übernommen oder direkt in ein Fachverfahren geschrieben wird. Diese Varianten unterscheiden sich in ihren Datenwegen und Befugnissen.

Aufbau aktiv erkunden: Wählen Sie einen Baustein, um seine Aufgabe, die ein- und ausgehenden Daten und die Einbindung im Anwendungsfall zu sehen. Der geführte Ablauf erläutert jede Phase. Mit Ja, Offen und Nein können Sie anschließend Ihre konkrete Systemvariante abbilden.

6 zuerst zu prüfen11 zu klären7 Grundlagen

EingangVerarbeitungErgebnisWirkung Zugangvon außen 04 Eingabe 31 InhalteDritter 00 KI-Modell 10 Dienst einesAnbieters 02 Dokumenten-sammlung 00 Gedächtnis 00 Training undRückmeldung 12 WeitereKI-Agenten 00 Werkzeuge undSchnittstellen 00 Ergebnis 00 Fachanwendungoder Anlage 01 Mensch 10 BetroffenePerson 00 KI-Diensteohne Freigabe 01 Zugangvon außen 04 Eingabe 31 InhalteDritter 00 KI-Modell 10 Dienst einesAnbieters 02 Dokumenten-sammlung 00 Gedächtnis 00 Training undRückmeldung 12 WeitereKI-Agenten 00 Werkzeuge undSchnittstellen 00 Ergebnis 00 Fachanwendungoder Anlage 01 Mensch 10 BetroffenePerson 00 KI-Diensteohne Freigabe 01
  • Vorhanden
  • Hängt von Ihrem System ab
  • Nicht vorhanden
  • Zuerst zu prüfen
  • Zu klären
Aufbau als Liste

Abgrenzung zu ähnlichen Anwendungsfällen

Daten und Informationen

Eingabedaten und Informationsquellen

Das System wertet die Akte einzelner Patientinnen und Patienten aus. Vitaldaten, Laborwerte und Diagnosen sind Gesundheitsdaten.

Verarbeitung und Betriebsumgebung

Das Epic Sepsis Model gehört zum Krankenhausinformationssystem des Herstellers, andere Modelle stammen aus der Forschung.

Speicherung und weitere Nutzung

Manche Häuser entwickeln oder verfeinern das Modell mit eigenen Behandlungsdaten, andere übernehmen das Modell ihres Softwareanbieters. Bestätigte und verworfene Alarme können in die Weiterentwicklung des Modells einfließen.

Ergebnisse und Datenweitergabe

Je nach Einbindung zeigt das System den Alarm nur an oder legt im Krankenhausinformationssystem selbst Aufgaben oder Vorschläge für Anordnungen an. Läuft das Modell beim Anbieter, verlassen Gesundheitsdaten das eigene Haus.

Ein eingebundener Anbieter legt den Verarbeitungsort nicht automatisch fest. Speicherort, Unterauftragnehmer, Löschfristen und die Nutzung für Training sind im konkreten Betrieb zu prüfen.

Risiken einordnen und Maßnahmen festlegen

Vom Systemverständnis zur Risikoanalyse

  1. System abgrenzen

    Daten, Beteiligte, Schnittstellen und Rechte erfassen. Offene Merkmale im Modell klären.

  2. Bedrohungen untersuchen

    Prüfkandidaten auf die tatsächlichen Datenwege beziehen: Was könnte passieren und wer wäre betroffen?

  3. Risiko bewerten

    Auswirkungen und Eintrittswahrscheinlichkeit im Einsatzkontext bewerten. Die Anzahl der Prüfkandidaten ist kein Risikowert.

  4. Maßnahmen nachweisen

    Geeignete Kontrollen auswählen, Verantwortliche und Wirksamkeitsprüfungen festlegen. Restrisiken und Freigaben dokumentieren.

Wichtige Bedrohungen im Anwendungskontext

  • 3 besonders wichtig
  • 3 üblich
  • 11 je nach System
  • 7 weitere bei jedem KI-System

Insgesamt kommen bei diesem Anwendungsfall 24 Bedrohungen aus dem Bedrohungskatalog infrage.

Außerdem prüfen: ob die Ergebnisse fachlich stimmen

Prüfen Sie, wie verlässlich die ausgegebenen Wahrscheinlichkeiten sind, ob Testdaten ins Training gerutscht sind und was ein Fehler im Fachverfahren anrichtet.

Außerdem prüfen: ob das System Gruppen benachteiligt

Prüfen Sie, ob Auswahl, Rangfolge oder Bewertung Menschen mit geschützten Merkmalen benachteiligen, etwa nach Geschlecht, Alter oder Herkunft.

Außerdem prüfen: Sicherheit für Menschen und Anlagen

Prüfen Sie unabhängige Sicherheitsfunktionen, die Grenzen des vorgesehenen Einsatzbereichs und die Sicherheitsnachweise, die Ihre Branche verlangt.

Vorrangige Prüfansätze

  1. Modell-Drift & -Degradation

    Ein anderswo entwickeltes Modell trifft auf andere Patientinnen und Patienten, Abläufe und Dokumentationsgewohnheiten und liefert schlechtere Ergebnisse. An Michigan Medicine blieb die gemessene Güte deutlich hinter der Herstellerangabe zurück.

  2. Übermäßiges Vertrauen in das KI-System

    Verlässt sich das Team darauf, dass das System bei einer Sepsis Alarm gibt, gilt ein Patient ohne Alarm schnell als stabil. Die Behandlung beginnt dann zu spät.

  3. Offenlegung sensibler Informationen

    Für Entwicklung und Betrieb braucht das Modell vollständige Behandlungsverläufe vieler Patientinnen und Patienten. Gelangen diese Daten beim Training oder beim Anbieter an Unbefugte, liegen Diagnosen und Laborwerte offen.

3 weitere Prüfkandidaten im typischen Aufbau

Weitere relevante Bedrohungen

  1. Gezielte Datenvergiftung / Label-Vergiftung

    Wer die Kennzeichnungen in den Trainingsdaten fälscht, kann die Ergebnisse des Modells gezielt verschieben.

    Steht hier wegen dieser Eigenschaft

    • Lernt aus Beispielen mit richtiger Antwort

  2. Privacy-Angriffe

    Mit gezielten Abfragen lassen sich personenbezogene und schutzbedürftige Trainingsdaten teilweise aus dem Modell zurückgewinnen.

    Steht hier wegen dieser Eigenschaften

    • Verarbeitet personenbezogene Daten
    • Verarbeitet vertrauliche Daten

  3. Exfiltration aus der ML-Anwendung

    Schutzbedürftige Daten können über Werkzeuge, Netzverbindungen, Speicher oder Innentäter abfließen.

    Steht hier wegen dieser Eigenschaft

    • Verarbeitet vertrauliche Daten

Je nach Aufbau Ihres Systems kommen bis zu 11 weitere hinzu. Neun Bedrohungen prüfen Sie bei jedem KI-System. Zwei davon sind hier besonders wichtig und stehen deshalb oben.

Systemmerkmale und offene Fragen

Jedes Ja setzt weitere Bedrohungen auf Ihre Prüfliste, insgesamt bis zu 11. Können Sie eine Frage noch nicht beantworten, prüfen Sie die Bedrohungen mit.

Wie viele Bedrohungen bei Ja hinzukommen
  • Kommt mit diesem Ja hinzu
  • Braucht zusätzlich ein Ja auf eine andere Frage

Wie Ihr System gebaut ist

  1. Lernt aus Ihren eigenen Daten2 Bedrohungen, 1 weitere nur zusammen mit weiteren Merkmalen
  2. Verarbeitet Text, Bild und Sprache gemeinsam2 Bedrohungen
  3. Verändert Daten oder löst Vorgänge aus1 Bedrohung
  4. Nutzt ein Modell eines anderen Anbieters1 Bedrohung
  5. Lernt im Betrieb ohne neue Freigabe weiter1 Bedrohung
  6. Verwertet Rückmeldungen aus dem Betrieb1 Bedrohung

Wie Sie das System betreiben

  1. Ist für Menschen außerhalb der Organisation nutzbar5 Bedrohungen
  2. Nimmt Anfragen direkt über eine Schnittstelle an4 Bedrohungen
  3. Ist über ein Netzwerk erreichbar2 Bedrohungen, 1 weitere nur zusammen mit weiteren Merkmalen
  4. Verursacht mit jeder Anfrage Kosten1 Bedrohung
  5. Teilt Rechenleistung mit anderen Kunden oder Anwendungen1 Bedrohung
  6. Neben KI-Diensten ohne Freigabe im Einsatz1 Bedrohung

Wie Ihr System gebaut ist

Kann das System selbst etwas verändern, etwa Daten speichern, Nachrichten senden, Buchungen auslösen oder Rechte vergeben?

Je nach Einbindung zeigt das System den Alarm nur an oder legt im Krankenhausinformationssystem selbst Aufgaben oder Vorschläge für Anordnungen an.

Wenn ja, kommt hinzu

Stammt das Modell oder sein Grundmodell von einem anderen Anbieter, auch wenn es bei Ihnen läuft?

Das Epic Sepsis Model gehört zum Krankenhausinformationssystem des Herstellers, andere Modelle stammen aus der Forschung.

Wenn ja, kommt hinzu

Lernt das System im laufenden Betrieb weiter und ändert dadurch sein Verhalten ohne neue Freigabe?

Wenn ja, kommt hinzu

Fließen Rückmeldungen oder Ergebnisse aus dem Betrieb später in Auswertung oder Training ein?

Bestätigte und verworfene Alarme können in die Weiterentwicklung des Modells einfließen.

Wenn ja, kommt hinzu

Verarbeitet das System mehrere Arten von Eingaben zusammen, etwa Text mit Bild oder Sprache?

Manche Modelle werten neben Messwerten auch Freitext aus Arztbriefen oder Pflegeberichten aus.

Wenn ja, kommt hinzu

Wie Sie das System betreiben

Diese Fragen stellen sich bei fast jedem KI-System.

Maßnahmen und Umsetzung

Maßnahmen zu den Prüfschwerpunkten sind direkt geöffnet. Die verlinkten Maßnahmen erläutern jeweils die Umsetzung.

PrüfschwerpunktModell-Drift & -Degradation3 Maßnahmen
PrüfschwerpunktÜbermäßiges Vertrauen in das KI-System3 Maßnahmen
PrüfschwerpunktOffenlegung sensibler Informationen3 Maßnahmen
Gezielte Datenvergiftung / Label-Vergiftung3 Maßnahmen
Privacy-Angriffe3 Maßnahmen
Exfiltration aus der ML-Anwendung3 Maßnahmen

Maßnahmen gegen die übrigen Bedrohungen finden Sie auf deren Seiten im Bedrohungskatalog.

Vorschriften der KI-Verordnung

Wann die Vorschriften der KI-Verordnung gelten
  1. Art. 4: KI-Kompetenz

    Für jedes KI-System Gilt seit dem 2. Februar 2025.

  2. Art. 6 Abs. 1, Anhang I Abschnitt A: Sicherheitsbauteil eines geprüften Produkts

    Bei typischem Einsatz Prüfanlass ab dem 2. August 2028.

Gilt für jedes KI-System

Art. 4: KI-Kompetenz

Greift, wenn Beschäftigte oder Beauftragte KI-Systeme betreiben oder nutzen.

Gilt seit dem 2. Februar 2025.

Pflichten und Einzelheiten
Wer die Pflichten trägt
Anbieter, Betreiber, Produkthersteller, Anbieter eines KI-Modells mit allgemeinem Verwendungszweck

Die Pflichten im Einzelnen

Kann beim üblichen Einsatz greifen

Art. 6 Abs. 1, Anhang I Abschnitt A: Sicherheitsbauteil eines geprüften Produkts

Greift, wenn das System als Medizinprodukt nach der Verordnung (EU) 2017/745 in Verkehr kommt und eine Benannte Stelle seine Konformität bewerten muss, wie nach Regel 11 meist bei Software für Befund und Frühwarnung.

Gilt ab dem 2. August 2028.

Pflichten und Einzelheiten
Allgemein lautet die Bedingung
Greift, wenn das System selbst ein Produkt oder Sicherheitsbauteil eines Produkts ist, das nach den Vorschriften in Anhang I von Dritten geprüft werden muss, etwa Maschinen, Aufzüge, Medizinprodukte oder Spielzeug.
Ausnahme
Systeme, die nur Bedienung, Leistung oder Komfort verbessern und nichts mit Sicherheit zu tun haben, gelten nach Art. 6 Abs. 1a bis 1c nicht als Sicherheitsbauteil.
Wer die Pflichten trägt
Anbieter, Betreiber, Produkthersteller

Die Pflichten im Einzelnen

Greift in der Regel nicht

Anhang III Nr. 5 Buchst. d: Notrufe und Notfallversorgung

Ein Frühwarnsystem auf Station bewertet keine Notrufe und sortiert keine Patientinnen und Patienten in der Notfallversorgung nach Dringlichkeit. Anders kann es sein, wenn die Notaufnahme es zur Ersteinschätzung nutzt.

Pflichten und Einzelheiten
Allgemein lautet die Bedingung
Greift, wenn das System Notrufe bewertet oder einordnet, Einsatzkräfte losschickt oder Patientinnen und Patienten in der Notfallversorgung nach Dringlichkeit einteilt.
Wer die Pflichten trägt
Anbieter, Betreiber, Produkthersteller

Die Pflichten im Einzelnen

Ihr System im Schnellprüfer einordnen Alle Pflichten im Pflichtenkompass

Übergreifende Bedrohungen

Diese Bedrohungen prüfen Sie bei jedem KI-System, egal wofür es eingesetzt wird.

Warum diese Bedrohungen immer dazugehören

Abweichende Systemmerkmale

17 weitere Fragen ansehen

Trifft eine dieser Fragen bei Ihrem System doch zu, kommen die genannten Bedrohungen hinzu.

Quellen

Verwandte Anwendungsfälle

Ebenfalls im Einsatzgebiet Gesundheit und Rettungswesen

Stand: 30. September 2026. Regelwerk der Prüfliste in Fassung 0.3.2, Bedrohungskatalog in Fassung 2026.10.24.2. Wie diese Seiten aufgebaut sind