Eingabedaten und Informationsquellen
Im Gespräch sprechen auch Bürgerinnen und Bürger, Patientinnen und Patienten oder Gäste einer Sitzung. Aufnahme und Protokoll halten fest, wer was gesagt hat.
KI-Protokoll und Gesprächsdokumentation
Englisch: AI meeting notes, ambient scribe
Aus aufgezeichneten Besprechungen und Beratungsgesprächen entwirft das System ein Protokoll oder einen Aktenvermerk samt Aufgabenliste.
Den Anwendungsfall verstehen
Was macht diesen Anwendungsfall aus?
Sozialverwaltungen und Kommunalparlamente setzen solche Werkzeuge ein. Für das britische Gesundheitswesen gibt es eine eigene Leitlinie dazu.
Die Seite beschreibt einen typischen Aufbau. Die tatsächlichen Datenwege und Befugnisse ergeben sich aus Ihrer Umsetzung.
- Bauform
- Generative Assistenz
- Handlungsmacht
- Handlungsrechte je nach Einbindung
- Einsatzfelder
- Sozialverwaltung, Kommunalparlamente, Gesundheitswesen
- Auch bekannt als
- Meeting-Zusammenfassung, Ambient Scribe, Fallnotizen per KI
Funktionsweise und Ablauf
Aufbau und Datenwege
Eingabedaten
Eine Besprechung, eine Sitzung oder ein Beratungsgespräch wird aufgezeichnet.
Im Gespräch sprechen auch Bürgerinnen und Bürger, Patientinnen und Patienten oder Gäste einer Sitzung. Aufnahme und Protokoll halten fest, wer was gesagt hat.
Verarbeitung
Eine Spracherkennung schreibt das Gespräch ab, und ein Sprachmodell verdichtet die Abschrift nach einer Vorlage.
Zuerst wandelt eine Spracherkennung die Tonaufnahme in eine Abschrift um. Anschließend ordnet ein Sprachmodell die Aussagen nach einer Vorlage und formuliert daraus Themen, Vereinbarungen und Aufgaben. Dabei entsteht ein neuer Text: Das Protokoll ist keine wortgetreue Abschrift, und eine formulierte Aufgabe ist noch kein ausgeführter Arbeitsschritt.
Ergebnisse
Das System liefert einen Entwurf für Protokoll, Fallnotiz oder Vermerk samt Aufgabenliste.
Ein generiertes Ergebnis ist neu formuliert oder erzeugt. Für seine Einordnung muss erkennbar bleiben, auf welchem Auftrag und welchem Kontext es beruht.
Nutzung und Auswirkungen
Der freigegebene Entwurf wird Teil der Akte und bestimmt, was später als besprochen und vereinbart gilt.
Die Einbindung bestimmt, ob das Ergebnis lediglich angezeigt, nach Freigabe übernommen oder direkt in ein Fachverfahren geschrieben wird. Diese Varianten unterscheiden sich in ihren Datenwegen und Befugnissen.
Aufbau aktiv erkunden: Wählen Sie einen Baustein, um seine Aufgabe, die ein- und ausgehenden Daten und die Einbindung im Anwendungsfall zu sehen. Der geführte Ablauf erläutert jede Phase. Mit Ja, Offen und Nein können Sie anschließend Ihre konkrete Systemvariante abbilden.
12 zuerst zu prüfen12 zu klären8 Grundlagen
- Vorhanden
- Hängt von Ihrem System ab
- Nicht vorhanden
- Zuerst zu prüfen
- Zu klären
So nutzen Sie das Modell
Das Bild zeigt den Anwendungsfall, wie er typischerweise gebaut ist. Wählen Sie einen Baustein, um zu sehen, was dort geschieht, und stellen Sie seine Merkmale auf Ihr System um. Mit „Analysehinweise“ sehen Sie anschließend, welche Prüfkandidaten zu diesem Aufbau gehören. Die Prüfliste der Seite bleibt auf den typischen Fall bezogen.
Abweichungen vom typischen Fall
Noch keine. Jede Umstellung erscheint hier.
Wo die meisten Bedrohungen ansetzen
- 4 zuerst zu prüfen
- 3 zuerst zu prüfen, 1 zu klären
- 4 zu klären
- 2 zuerst zu prüfen
Im gezeigten Aufbau: 12 zuerst zu prüfen, 12 zu klären, 8 Grundlagen.
Aufbau als Liste
Zugang von außen: Hängt von Ihrem System ab
Zu klären
Eingabe: Gehört zu jedem KI-System
Zuerst prüfen
- Offenlegung sensibler Informationen Prüfschwerpunkt
- Privacy-Angriffe
- Exfiltration aus der ML-Anwendung
Zu klären
Grundlage für jedes KI-System
Inhalte Dritter: Vorhanden
Zuerst prüfen
KI-Modell: Gehört zu jedem KI-System
Zuerst prüfen
- Sleepy Agent (zeit-/ereignisgetriggerte verdeckte Instruktionen)
- Prompt Injection: Direkt
- Jailbreaks
- Extraktion des Meta-Prompts
Grundlage für jedes KI-System
Dienst eines Anbieters: Vorhanden
Zuerst prüfen
Zu klären
Gedächtnis: Hängt von Ihrem System ab
Zu klären
Training und Rückmeldung: Hängt von Ihrem System ab
Zu klären
Werkzeuge und Schnittstellen: Hängt von Ihrem System ab
Zu klären
Ergebnis: Gehört zu jedem KI-System
Zuerst prüfen
Grundlage für jedes KI-System
Fachanwendung oder Anlage: Hängt von Ihrem System ab
Mensch: Gehört zu jedem KI-System
Zuerst prüfen
- Übermäßiges Vertrauen in das KI-System Prüfschwerpunkt
Betroffene Person: Hängt von Ihrem System ab
KI-Dienste ohne Freigabe: Hängt von Ihrem System ab
Zu klären
Lieferkette und technische Basis: 5 Grundlagen, die für jedes KI-System gelten
Grundlage für jedes KI-System
Abgrenzung zu ähnlichen Anwendungsfällen
Spracherkennung und Transkription
Schreibt nur ab, was gesagt wurde, ohne zusammenzufassen oder Aufgaben abzuleiten
KI-Assistent in Büroanwendungen
Fasst Besprechungen in der Büroanwendung mit den Rechten der angemeldeten Person zusammen
Daten und Informationen
Verarbeitung und Betriebsumgebung
Spracherkennung und Sprachmodell stammen in der Regel von Anbietern.
Speicherung und weitere Nutzung
Manche Werkzeuge greifen auf frühere Notizen zum selben Fall zurück. Korrekturen der Beschäftigten können in die Verbesserung der Vorlagen oder des Modells einfließen.
Ergebnisse und Datenweitergabe
Manche Werkzeuge legen den Entwurf direkt in der Fallakte ab oder verteilen Aufgaben; andere geben ihn nur zur Übernahme aus. Bei einem Clouddienst verlassen Aufnahme und Abschrift die eigene Umgebung.
Ein eingebundener Anbieter legt den Verarbeitungsort nicht automatisch fest. Speicherort, Unterauftragnehmer, Löschfristen und die Nutzung für Training sind im konkreten Betrieb zu prüfen.
Risiken einordnen und Maßnahmen festlegen
Vom Systemverständnis zur Risikoanalyse
- System abgrenzen
Daten, Beteiligte, Schnittstellen und Rechte erfassen. Offene Merkmale im Modell klären.
- Bedrohungen untersuchen
Prüfkandidaten auf die tatsächlichen Datenwege beziehen: Was könnte passieren und wer wäre betroffen?
- Risiko bewerten
Auswirkungen und Eintrittswahrscheinlichkeit im Einsatzkontext bewerten. Die Anzahl der Prüfkandidaten ist kein Risikowert.
- Maßnahmen nachweisen
Geeignete Kontrollen auswählen, Verantwortliche und Wirksamkeitsprüfungen festlegen. Restrisiken und Freigaben dokumentieren.
Wichtige Bedrohungen im Anwendungskontext
- 3 besonders wichtig
- 9 üblich
- 12 je nach System
- 8 weitere bei jedem KI-System
Insgesamt kommen bei diesem Anwendungsfall 32 Bedrohungen aus dem Bedrohungskatalog infrage.
Vorrangige Prüfansätze
Faktische Fehler (Halluzinationen)
Das Sprachmodell schreibt einer Klientin eine Aussage zu, die sie nie gemacht hat, oder ergänzt eine Diagnose. Steht der Satz in der Fallakte, gilt er in späteren Entscheidungen als festgestellt.
Übermäßiges Vertrauen in das KI-System
Der Entwurf ist sofort fertig und wirkt vollständig. Unter Zeitdruck zeichnen Beschäftigte ihn ab, ohne ihn mit ihrer Erinnerung an das Gespräch abzugleichen.
Offenlegung sensibler Informationen
Aufnahmen aus der Sozialberatung enthalten Angaben zu Gesundheit, Familie und Finanzen. Bleiben sie beim Anbieter gespeichert oder sehen zu viele Beschäftigte das Protokoll, erreichen die Angaben Unbefugte.
9 weitere Prüfkandidaten im typischen Aufbau
Weitere relevante Bedrohungen
Über Trainingsdaten oder ein übernommenes Grundmodell kann das Modell versteckte Auslöser für Fehlverhalten enthalten.
Steht hier wegen dieser Eigenschaft
- Nutzt ein Modell eines anderen Anbieters
Sleepy Agent (zeit-/ereignisgetriggerte verdeckte Instruktionen)
Ein Modell, das Anweisungen befolgt, kann sein Verhalten zu einem bestimmten Zeitpunkt oder bei einem bestimmten Ereignis ändern.
Steht hier wegen dieser Eigenschaft
- Führt Aufträge in normaler Sprache aus
Nutzerinnen und Nutzer können mit ihren Eingaben die Arbeitsanweisungen des Systems aushebeln.
Steht hier wegen dieser Eigenschaft
- Führt Aufträge in normaler Sprache aus
Steht in einem Dokument oder Werkzeugergebnis eine Anweisung, kann das Modell sie wie eine eigene Arbeitsanweisung befolgen.
Steht hier wegen dieser Eigenschaften
- Führt Aufträge in normaler Sprache aus
- Verarbeitet Inhalte, die Außenstehende verfassen können
Wer das System Inhalte erzeugen lässt, kann versuchen, die vorgesehenen Grenzen zu umgehen.
Steht hier wegen dieser Eigenschaft
- Führt Aufträge in normaler Sprache aus
Geschickte Abfragen können die Arbeitsanweisungen des Systems offenlegen. Sie dürfen deshalb keine Geheimnisse enthalten.
Steht hier wegen dieser Eigenschaft
- Führt Aufträge in normaler Sprache aus
Denial-of-Service auf das Modell
Aufwendige oder massenhafte Eingaben können die Rechenleistung des Modells erschöpfen.
Steht hier wegen dieser Eigenschaft
- Schreibt eigene Texte
Mit gezielten Abfragen lassen sich personenbezogene und schutzbedürftige Trainingsdaten teilweise aus dem Modell zurückgewinnen.
Steht hier wegen dieser Eigenschaften
- Verarbeitet personenbezogene Daten
- Verarbeitet vertrauliche Daten
Exfiltration aus der ML-Anwendung
Schutzbedürftige Daten können über Werkzeuge, Netzverbindungen, Speicher oder Innentäter abfließen.
Steht hier wegen dieser Eigenschaft
- Verarbeitet vertrauliche Daten
Je nach Aufbau Ihres Systems kommen bis zu 12 weitere hinzu. Neun Bedrohungen prüfen Sie bei jedem KI-System. Eine davon ist hier besonders wichtig und steht deshalb oben.
Systemmerkmale und offene Fragen
Jedes Ja setzt weitere Bedrohungen auf Ihre Prüfliste, insgesamt bis zu 12. Können Sie eine Frage noch nicht beantworten, prüfen Sie die Bedrohungen mit.
- Kommt mit diesem Ja hinzu
- Braucht zusätzlich ein Ja auf eine andere Frage
Wie Ihr System gebaut ist
- Ruft andere Programme oder Schnittstellen auf2 Bedrohungen
- Verwertet Rückmeldungen aus dem Betrieb2 Bedrohungen
- Lernt aus Ihren eigenen Daten1 Bedrohung, 1 weitere nur zusammen mit weiteren Merkmalen
- Merkt sich Inhalte über das einzelne Gespräch hinaus1 Bedrohung
- Verändert Daten oder löst Vorgänge aus1 Bedrohung
- Lernt aus Beispielen mit richtiger Antwort1 Bedrohung
- Verarbeitet Text, Bild und Sprache gemeinsam1 Bedrohung
Wie Sie das System betreiben
- Nimmt Anfragen direkt über eine Schnittstelle an4 Bedrohungen
- Ist über ein Netzwerk erreichbar1 Bedrohung, 1 weitere nur zusammen mit weiteren Merkmalen
- Verursacht mit jeder Anfrage Kosten1 Bedrohung
- Teilt Rechenleistung mit anderen Kunden oder Anwendungen1 Bedrohung
- Neben KI-Diensten ohne Freigabe im Einsatz1 Bedrohung
Wie Ihr System gebaut ist
Merkt sich das System Inhalte aus früheren Gesprächen oder Aufgaben und nutzt sie später wieder?
Manche Werkzeuge greifen auf frühere Notizen zum selben Fall zurück.
Wenn ja, kommt hinzu
Ruft das System selbst andere Programme, Schnittstellen oder Suchdienste auf, auch wenn es dort nur liest?
Wenn ja, kommt hinzu
Kann das System selbst etwas verändern, etwa Daten speichern, Nachrichten senden, Buchungen auslösen oder Rechte vergeben?
Manche Werkzeuge legen den Entwurf direkt in der Fallakte ab oder verteilen Aufgaben; andere geben ihn nur zur Übernahme aus.
Wenn ja, kommt hinzu
Trainiert oder verfeinert Ihre Organisation das Modell selbst mit eigenen Daten?
Wenn ja, kommt hinzu
Wird das Modell mit Beispielen trainiert, denen jemand die richtige Antwort zugeordnet hat?
Wenn ja, kommt hinzu
Fließen Rückmeldungen oder Ergebnisse aus dem Betrieb später in Auswertung oder Training ein?
Korrekturen der Beschäftigten können in die Verbesserung der Vorlagen oder des Modells einfließen.
Wenn ja, kommt hinzu
Verarbeitet das System mehrere Arten von Eingaben zusammen, etwa Text mit Bild oder Sprache?
Wenn ja, kommt hinzu
Wie Sie das System betreiben
Diese Fragen stellen sich bei fast jedem KI-System.
Können Personen oder Programme dem Modell direkt Anfragen stellen, zum Beispiel über eine Schnittstelle?
Wenn ja, kommt hinzu
Ist das System über ein Netzwerk erreichbar oder auf Dienste im Netz angewiesen?
Wenn ja, kommt hinzu
Zahlen Sie je Anfrage oder je Rechenzeit, sodass die Kosten mit der Nutzung steigen?
Wenn ja, kommt hinzu
Teilt sich das System Server oder Rechenleistung mit anderen Kunden oder Anwendungen?
Wenn ja, kommt hinzu
Nutzen Beschäftigte für diese Aufgabe auch KI-Dienste, die Ihre Organisation nicht freigegeben hat?
Teilnehmende bringen mitunter eigene Protokollwerkzeuge in Videokonferenzen mit, die niemand freigegeben hat.
Wenn ja, kommt hinzu
Maßnahmen und Umsetzung
Maßnahmen zu den Prüfschwerpunkten sind direkt geöffnet. Die verlinkten Maßnahmen erläutern jeweils die Umsetzung.
PrüfschwerpunktFaktische Fehler (Halluzinationen)3 Maßnahmen
PrüfschwerpunktÜbermäßiges Vertrauen in das KI-System3 Maßnahmen
PrüfschwerpunktOffenlegung sensibler Informationen3 Maßnahmen
Backdoor im ML-Modell2 Maßnahmen
Sleepy Agent (zeit-/ereignisgetriggerte verdeckte Instruktionen)3 Maßnahmen
Prompt Injection: Direkt3 Maßnahmen
Prompt Injection: Indirekt3 Maßnahmen
Jailbreaks2 Maßnahmen
Extraktion des Meta-Prompts2 Maßnahmen
Denial-of-Service auf das Modell3 Maßnahmen
Privacy-Angriffe3 Maßnahmen
Exfiltration aus der ML-Anwendung3 Maßnahmen
Maßnahmen gegen die übrigen Bedrohungen finden Sie auf deren Seiten im Bedrohungskatalog.
Vorschriften der KI-Verordnung
-
Art. 4: KI-Kompetenz
Für jedes KI-System Gilt seit dem 2. Februar 2025.
-
Anhang III Nr. 5 Buchst. a: Öffentliche Unterstützungsleistungen
Je nach Einsatz Prüfanlass ab dem 2. Dezember 2027.
Gilt für jedes KI-System
Art. 4: KI-Kompetenz
Greift, wenn Beschäftigte oder Beauftragte KI-Systeme betreiben oder nutzen.
Gilt seit dem 2. Februar 2025.
Pflichten und Einzelheiten zu Art. 4: KI-Kompetenz
- Wer die Pflichten trägt
- Anbieter, Betreiber, Produkthersteller, Anbieter eines KI-Modells mit allgemeinem Verwendungszweck
Die Pflichten im Einzelnen
Kann bei bestimmtem Einsatz greifen
Anhang III Nr. 5 Buchst. a: Öffentliche Unterstützungsleistungen
Greift, wenn eine Behörde die erzeugten Fallnotizen nutzt, um Ansprüche auf Sozialleistungen oder Hilfen zu prüfen, zu gewähren oder zu kürzen.
Gilt ab dem 2. Dezember 2027.
Pflichten und Einzelheiten zu Anhang III Nr. 5 Buchst. a: Öffentliche Unterstützungsleistungen
- Allgemein lautet die Bedingung
- Greift, wenn Behörden oder Stellen in ihrem Auftrag mit dem System prüfen, ob jemand Anspruch auf öffentliche Leistungen und Dienste hat, oder diese gewähren, kürzen oder zurückfordern.
- Wer die Pflichten trägt
- Anbieter, Betreiber, Produkthersteller
Die Pflichten im Einzelnen
Greift in der Regel nicht
Art. 50 Abs. 1: Hinweis auf eine KI im Gespräch
Die Teilnehmenden sprechen mit Menschen und nicht mit dem System. Die Hinweispflicht für Gespräche mit KI greift deshalb in der Regel nicht.
Pflichten und Einzelheiten zu Art. 50 Abs. 1: Hinweis auf eine KI im Gespräch
- Allgemein lautet die Bedingung
- Greift, wenn Menschen direkt mit dem System schreiben oder sprechen und nicht offensichtlich ist, dass sie es mit einer KI zu tun haben.
- Wer die Pflichten trägt
- Anbieter, Produkthersteller
Die Pflichten im Einzelnen
Weitere Rechtsgrundlagen
§ 201 StGB
Wer das nicht öffentlich gesprochene Wort eines anderen unbefugt aufnimmt, macht sich strafbar. Holen Sie deshalb vor der Aufzeichnung das Einverständnis aller Teilnehmenden ein.
Ihr System im Schnellprüfer einordnen Alle Pflichten im Pflichtenkompass
Übergreifende Bedrohungen
Diese Bedrohungen prüfen Sie bei jedem KI-System, egal wofür es eingesetzt wird.
- Lieferkette: Infrastruktur
- Lieferkette: Modelle
- Lieferkette: Datensätze
- Adversariale Eingaben
- Unsicherer Umgang mit Modellausgaben
- Anwendungs-Schwachstellen
- Übermäßiges Vertrauen in das KI-System Prüfschwerpunkt: Übermäßiges Vertrauen in das KI-System
- Modell-Drift & -Degradation
- Middleware-Exploits (Angriffe auf AI-Frameworks)
Abweichende Systemmerkmale
12 weitere Fragen ansehen
Trifft eine dieser Fragen bei Ihrem System doch zu, kommen die genannten Bedrohungen hinzu.
Erzeugt oder verändert das System Bilder, Töne, Stimmen oder Videos?
Wenn ja, kommt hinzu
Schreibt oder gestaltet das System auf freie Anfrage neue Inhalte, die Menschen direkt lesen, sehen oder hören? Übersetzen, Vorlesen und Abschreiben zählen nicht.
Das System fasst zusammen, was im Gespräch gesagt wurde, und gestaltet keine Inhalte nach freier Vorgabe.
Wenn ja, kommt hinzu
Sucht das System in einer eigenen Sammlung von Dokumenten oder Datensätzen nach passenden Inhalten?
Wenn ja, kommt hinzu
Formuliert das System seine Antwort aus gefundenen Dokumenten?
Wenn ja, kommt hinzu
Nutzt das System ein Begriffsnetz (Wissensgraph), in dem Begriffe und ihre Beziehungen gespeichert sind?
Wenn ja, kommt hinzu
Legt das System seine nächsten Arbeitsschritte selbst fest, je nachdem, was vorher herauskam?
Wenn ja, kommt hinzu
Gibt das System Aufgaben an andere KI-Agenten weiter oder übernimmt es deren Ergebnisse?
Wenn ja, kommt hinzu
Ist das System über das Model Context Protocol (MCP) an Werkzeuge oder Datenquellen angebunden?
Wenn ja, kommt hinzu
Liegen Dokumente mehrerer Kunden, Abteilungen oder Berechtigungsgruppen im selben Suchspeicher?
Wenn ja, kommt hinzu
Können Menschen außerhalb Ihrer Organisation das System nutzen, auch ohne Anmeldung?
Wenn ja, kommt hinzu
Erzeugt das System Programmcode, Skripte oder Datenbankabfragen, die weiterverwendet werden?
Wenn ja, kommt hinzu
Soll das System eine vorgegebene Kennzahl möglichst verbessern, etwa Umsatz, Auslastung oder Klicks?
Wenn ja, kommt hinzu
Quellen
- Register oder Fallsammlung
UK Algorithmic Transparency Record, Newcastle City Council Magic Notes
Das Werkzeug zeichnet Gespräche auf und macht daraus automatisch Fallnotizen.
- Register oder Fallsammlung
Algoritmeregister NL, Notuleren van raadsvergaderingen, Gemeente Rotterdam
Die Stadt erstellt Protokolle aus Tonaufnahmen der Ratssitzungen.
- Behörde, Gericht oder Parlament
Die britische Regierung erprobt ihr Werkzeug Minute in 25 Kommunen für Sitzungsprotokolle.
- Fachstudie
Ada Lovelace Institute, Scribe and prejudice?, 11. Februar 2026
Eine Untersuchung in 17 Kommunen zeigt, dass Fehler solcher Werkzeuge in amtliche Akten gelangen.
- Behörde, Gericht oder Parlament
NHS England hat eine eigene Leitlinie für die KI-gestützte Dokumentation in Klinik und Pflege herausgegeben.
Verwandte Anwendungsfälle
Ebenfalls im Einsatzgebiet Büroarbeit und Wissensmanagement
- Generativer KI-Assistent für BeschäftigteBeschäftigte entwerfen, überarbeiten, übersetzen und kürzen Texte mit einem Sprachmodell, das ihnen die Organisation in einer abgesicherten Umgebung bereitstellt.
- KI-Assistent in BüroanwendungenBeschäftigte rufen den Assistenten direkt in E-Mail, Textverarbeitung, Tabellen und Chat auf, und er greift mit ihren Rechten auf Postfach und Dateiablage zu.
- KI-Wissensassistent (Enterprise Search)Der Assistent beantwortet Fragen aus einem festgelegten Dokumentbestand und zeigt, aus welchen Dokumenten die Antwort stammt.
- Spracherkennung und TranskriptionEine Spracherkennung schreibt Diktate, Gespräche und andere Aufnahmen automatisch ab.
- Maschinelle ÜbersetzungBehörden und Unternehmen lassen Texte, Websites und Dokumente automatisch übersetzen, oft nach einem eigenen Glossar.
- KI-AgentEin KI-Agent zerlegt eine Aufgabe in Schritte und erledigt sie weitgehend selbst, mit Werkzeugen, Schnittstellen und eigenen Rechten in Fachanwendungen.
Oft zusammen eingesetzt mit
- Klinische Entscheidungsunterstützung (etwa Sepsis-Früherkennung)Das System wertet Vitaldaten, Laborwerte und Patientenakte laufend aus und warnt das Behandlungsteam, wenn sich der Zustand einer Patientin oder eines Patienten zu verschlechtern droht.
- Risikobasierte Prüfauswahl bei Anträgen und LeistungenBehörden bewerten Anträge oder Zahlungen nach dem Risiko von Fehlern oder Betrug und wählen so aus, welche Fälle sie genauer prüfen.
Stand: 30. September 2026. Regelwerk der Prüfliste in Fassung 0.3.2, Bedrohungskatalog in Fassung 2026.10.24.2. Wie diese Seiten aufgebaut sind