Eingabedaten und Informationsquellen
Gesprochen haben oft auch Außenstehende, etwa Kundinnen und Kunden am Telefon oder Beteiligte in einer Verhandlung. Aufnahme und Abschrift enthalten Stimmen, Namen und das, was Personen gesagt haben.
Spracherkennung und Transkription
Englisch: Automatic speech recognition and transcription
Eine Spracherkennung schreibt Diktate, Gespräche und andere Aufnahmen automatisch ab.
Den Anwendungsfall verstehen
Was macht diesen Anwendungsfall aus?
Die britische Justiz und die Bundesagentur für Arbeit nutzen Spracherkennung, kleinere Finanzinstitute lassen laut BaFin Kundengespräche abschreiben.
Die Seite beschreibt einen typischen Aufbau. Die tatsächlichen Datenwege und Befugnisse ergeben sich aus Ihrer Umsetzung.
- Bauform
- Generative Assistenz
- Handlungsmacht
- Liefert Ergebnisse zur Weiterverwendung
- Einsatzfelder
- Justiz, öffentliche Verwaltung, Banken
- Auch bekannt als
- Speech-to-Text, Diktiererkennung, Gesprächsmitschrift
Funktionsweise und Ablauf
Aufbau und Datenwege
Eingabedaten
Ein Diktat, ein Telefonat oder eine andere Aufnahme kommt als Tonspur an.
Gesprochen haben oft auch Außenstehende, etwa Kundinnen und Kunden am Telefon oder Beteiligte in einer Verhandlung. Aufnahme und Abschrift enthalten Stimmen, Namen und das, was Personen gesagt haben.
Verarbeitung
Ein Erkennungsmodell macht aus der Sprache Wörter und Satzzeichen; Fachwortschätze helfen bei Begriffen aus Medizin oder Recht.
Die Spracherkennung verarbeitet Abschnitte des Audiosignals und ordnet ihnen Wörter zu. Aus diesen Abschnitten entsteht die Abschrift; je nach Werkzeug kommen Zeitmarken und eine Zuordnung zu sprechenden Personen hinzu. Die Abschrift ist eine Interpretation der Aufnahme, kein unmittelbar gemessener Text.
Ergebnisse
Eine Abschrift liegt vor, die ein Mensch prüfen und korrigieren kann.
Ein generiertes Ergebnis ist neu formuliert oder erzeugt. Für seine Einordnung muss erkennbar bleiben, auf welchem Auftrag und welchem Kontext es beruht.
Nutzung und Auswirkungen
Die Abschrift wandert in Akten, Befunde, Entscheidungen oder Beratungsprotokolle.
Das Modell liefert Informationen zur Weiterverwendung. Die Auswahl, Übernahme oder fachliche Entscheidung im anschließenden Arbeitsablauf ist ein eigener Schritt und sollte dem Modell nicht automatisch zugerechnet werden.
Aufbau aktiv erkunden: Wählen Sie einen Baustein, um seine Aufgabe, die ein- und ausgehenden Daten und die Einbindung im Anwendungsfall zu sehen. Der geführte Ablauf erläutert jede Phase. Mit Ja, Offen und Nein können Sie anschließend Ihre konkrete Systemvariante abbilden.
8 zuerst zu prüfen7 zu klären8 Grundlagen
- Vorhanden
- Hängt von Ihrem System ab
- Nicht vorhanden
- Zuerst zu prüfen
- Zu klären
So nutzen Sie das Modell
Das Bild zeigt den Anwendungsfall, wie er typischerweise gebaut ist. Wählen Sie einen Baustein, um zu sehen, was dort geschieht, und stellen Sie seine Merkmale auf Ihr System um. Mit „Analysehinweise“ sehen Sie anschließend, welche Prüfkandidaten zu diesem Aufbau gehören. Die Prüfliste der Seite bleibt auf den typischen Fall bezogen.
Abweichungen vom typischen Fall
Noch keine. Jede Umstellung erscheint hier.
Wo die meisten Bedrohungen ansetzen
- 4 zu klären
- 3 zuerst zu prüfen
- 2 zuerst zu prüfen
- 1 zuerst zu prüfen, 1 zu klären
Im gezeigten Aufbau: 8 zuerst zu prüfen, 7 zu klären, 8 Grundlagen.
Aufbau als Liste
Zugang von außen: Hängt von Ihrem System ab
Zu klären
Eingabe: Gehört zu jedem KI-System
Zuerst prüfen
- Offenlegung sensibler Informationen Prüfschwerpunkt
- Privacy-Angriffe
- Exfiltration aus der ML-Anwendung
Grundlage für jedes KI-System
Inhalte Dritter: Vorhanden
KI-Modell: Gehört zu jedem KI-System
Grundlage für jedes KI-System
Dienst eines Anbieters: Vorhanden
Zuerst prüfen
Zu klären
Training und Rückmeldung: Vorhanden
Zuerst prüfen
Zu klären
Ergebnis: Gehört zu jedem KI-System
Zuerst prüfen
Grundlage für jedes KI-System
Mensch: Gehört zu jedem KI-System
Zuerst prüfen
- Übermäßiges Vertrauen in das KI-System Prüfschwerpunkt
Betroffene Person: Hängt von Ihrem System ab
KI-Dienste ohne Freigabe: Hängt von Ihrem System ab
Zu klären
Lieferkette und technische Basis: 5 Grundlagen, die für jedes KI-System gelten
Grundlage für jedes KI-System
Abgrenzung zu ähnlichen Anwendungsfällen
KI-Protokoll und Gesprächsdokumentation
Fasst das Gespräch zusammen und entwirft daraus Protokoll oder Vermerk mit Aufgaben
Sprach- und Dialekterkennung im Asylverfahren
Schließt aus der Sprechweise auf Herkunft oder Dialekt einer Person
Biometrische Verifizierung und Video-Ident
Prüft an der Stimme, ob eine Person die ist, für die sie sich ausgibt
Daten und Informationen
Verarbeitung und Betriebsumgebung
Das Erkennungsmodell stammt meist von einem Anbieter; bei BenchNotes ist es Azure Speech Services.
Speicherung und weitere Nutzung
Manche Betreiber passen die Erkennung mit eigenen Aufnahmen oder einem Fachwortschatz an. Korrigierte Abschriften können als neue Lernbeispiele zurückfließen.
Ergebnisse und Datenweitergabe
Bei einem Clouddienst verlassen die Tonaufnahmen die eigene Umgebung.
Ein eingebundener Anbieter legt den Verarbeitungsort nicht automatisch fest. Speicherort, Unterauftragnehmer, Löschfristen und die Nutzung für Training sind im konkreten Betrieb zu prüfen.
Risiken einordnen und Maßnahmen festlegen
Vom Systemverständnis zur Risikoanalyse
- System abgrenzen
Daten, Beteiligte, Schnittstellen und Rechte erfassen. Offene Merkmale im Modell klären.
- Bedrohungen untersuchen
Prüfkandidaten auf die tatsächlichen Datenwege beziehen: Was könnte passieren und wer wäre betroffen?
- Risiko bewerten
Auswirkungen und Eintrittswahrscheinlichkeit im Einsatzkontext bewerten. Die Anzahl der Prüfkandidaten ist kein Risikowert.
- Maßnahmen nachweisen
Geeignete Kontrollen auswählen, Verantwortliche und Wirksamkeitsprüfungen festlegen. Restrisiken und Freigaben dokumentieren.
Wichtige Bedrohungen im Anwendungskontext
- 3 besonders wichtig
- 5 üblich
- 7 je nach System
- 8 weitere bei jedem KI-System
Insgesamt kommen bei diesem Anwendungsfall 23 Bedrohungen aus dem Bedrohungskatalog infrage.
Vorrangige Prüfansätze
Faktische Fehler (Halluzinationen)
Bei einer Pause oder undeutlicher Sprache fügt das Modell einen Satz ein, der nie gesagt wurde. Steht er in einem Befund oder einer Entscheidung, gilt er später als Aussage der Person.
Übermäßiges Vertrauen in das KI-System
Die Abschrift liest sich flüssig und vollständig. Wer sie ohne Abgleich mit der Aufnahme freigibt, übersieht verhörte Zahlen, Namen und Verneinungen.
Offenlegung sensibler Informationen
Diktate und Gespräche enthalten Gesundheitsangaben, Verfahrensdetails oder Kontodaten. Speichert der Anbieter Aufnahmen und Abschriften oder sind sie zu weit freigegeben, erreichen sie Unbefugte.
5 weitere Prüfkandidaten im typischen Aufbau
Weitere relevante Bedrohungen
Gezielte Datenvergiftung / Label-Vergiftung
Wer die Kennzeichnungen in den Trainingsdaten fälscht, kann die Ergebnisse des Modells gezielt verschieben.
Steht hier wegen dieser Eigenschaft
- Lernt aus Beispielen mit richtiger Antwort
Über Trainingsdaten oder ein übernommenes Grundmodell kann das Modell versteckte Auslöser für Fehlverhalten enthalten.
Steht hier wegen dieser Eigenschaft
- Nutzt ein Modell eines anderen Anbieters
Denial-of-Service auf das Modell
Aufwendige oder massenhafte Eingaben können die Rechenleistung des Modells erschöpfen.
Steht hier wegen dieser Eigenschaft
- Schreibt eigene Texte
Mit gezielten Abfragen lassen sich personenbezogene und schutzbedürftige Trainingsdaten teilweise aus dem Modell zurückgewinnen.
Steht hier wegen dieser Eigenschaften
- Verarbeitet personenbezogene Daten
- Verarbeitet vertrauliche Daten
Exfiltration aus der ML-Anwendung
Schutzbedürftige Daten können über Werkzeuge, Netzverbindungen, Speicher oder Innentäter abfließen.
Steht hier wegen dieser Eigenschaft
- Verarbeitet vertrauliche Daten
Je nach Aufbau Ihres Systems kommen bis zu 7 weitere hinzu. Neun Bedrohungen prüfen Sie bei jedem KI-System. Eine davon ist hier besonders wichtig und steht deshalb oben.
Systemmerkmale und offene Fragen
Jedes Ja setzt weitere Bedrohungen auf Ihre Prüfliste, insgesamt bis zu 7. Können Sie eine Frage noch nicht beantworten, prüfen Sie die Bedrohungen mit.
- Kommt mit diesem Ja hinzu
- Braucht zusätzlich ein Ja auf eine andere Frage
Wie Ihr System gebaut ist
- Lernt aus Ihren eigenen Daten1 Bedrohung, 1 weitere nur zusammen mit weiteren Merkmalen
- Verwertet Rückmeldungen aus dem Betrieb1 Bedrohung
Wie Sie das System betreiben
- Nimmt Anfragen direkt über eine Schnittstelle an4 Bedrohungen
- Ist für Menschen außerhalb der Organisation nutzbar4 Bedrohungen
- Ist über ein Netzwerk erreichbar1 Bedrohung, 1 weitere nur zusammen mit weiteren Merkmalen
- Verursacht mit jeder Anfrage Kosten1 Bedrohung
- Teilt Rechenleistung mit anderen Kunden oder Anwendungen1 Bedrohung
- Neben KI-Diensten ohne Freigabe im Einsatz1 Bedrohung
Wie Ihr System gebaut ist
Trainiert oder verfeinert Ihre Organisation das Modell selbst mit eigenen Daten?
Manche Betreiber passen die Erkennung mit eigenen Aufnahmen oder einem Fachwortschatz an.
Wenn ja, kommt hinzu
Fließen Rückmeldungen oder Ergebnisse aus dem Betrieb später in Auswertung oder Training ein?
Korrigierte Abschriften können als neue Lernbeispiele zurückfließen.
Wenn ja, kommt hinzu
Wie Sie das System betreiben
Diese Fragen stellen sich bei fast jedem KI-System.
Können Personen oder Programme dem Modell direkt Anfragen stellen, zum Beispiel über eine Schnittstelle?
Wenn ja, kommt hinzu
Ist das System über ein Netzwerk erreichbar oder auf Dienste im Netz angewiesen?
Wenn ja, kommt hinzu
Zahlen Sie je Anfrage oder je Rechenzeit, sodass die Kosten mit der Nutzung steigen?
Wenn ja, kommt hinzu
Teilt sich das System Server oder Rechenleistung mit anderen Kunden oder Anwendungen?
Wenn ja, kommt hinzu
Können Menschen außerhalb Ihrer Organisation das System nutzen, auch ohne Anmeldung?
Wenn ja, kommt hinzu
Nutzen Beschäftigte für diese Aufgabe auch KI-Dienste, die Ihre Organisation nicht freigegeben hat?
Beschäftigte laden Aufnahmen mitunter bei frei verfügbaren Diensten hoch, wenn intern kein Werkzeug bereitsteht.
Wenn ja, kommt hinzu
Maßnahmen und Umsetzung
Maßnahmen zu den Prüfschwerpunkten sind direkt geöffnet. Die verlinkten Maßnahmen erläutern jeweils die Umsetzung.
PrüfschwerpunktFaktische Fehler (Halluzinationen)3 Maßnahmen
PrüfschwerpunktÜbermäßiges Vertrauen in das KI-System3 Maßnahmen
PrüfschwerpunktOffenlegung sensibler Informationen3 Maßnahmen
Gezielte Datenvergiftung / Label-Vergiftung3 Maßnahmen
Backdoor im ML-Modell2 Maßnahmen
Denial-of-Service auf das Modell3 Maßnahmen
Privacy-Angriffe3 Maßnahmen
Exfiltration aus der ML-Anwendung3 Maßnahmen
Maßnahmen gegen die übrigen Bedrohungen finden Sie auf deren Seiten im Bedrohungskatalog.
Vorschriften der KI-Verordnung
Gilt für jedes KI-System
Art. 4: KI-Kompetenz
Greift, wenn Beschäftigte oder Beauftragte KI-Systeme betreiben oder nutzen.
Gilt seit dem 2. Februar 2025.
Pflichten und Einzelheiten zu Art. 4: KI-Kompetenz
- Wer die Pflichten trägt
- Anbieter, Betreiber, Produkthersteller, Anbieter eines KI-Modells mit allgemeinem Verwendungszweck
Die Pflichten im Einzelnen
Greift in der Regel nicht
Art. 50 Abs. 2: Kennzeichnung künstlich erzeugter Inhalte
Die Abschrift gibt wieder, was gesprochen wurde, und erzeugt in der Regel keine neuen Inhalte.
Pflichten und Einzelheiten zu Art. 50 Abs. 2: Kennzeichnung künstlich erzeugter Inhalte
- Allgemein lautet die Bedingung
- Greift, wenn das System künstliche Texte, Bilder, Töne oder Videos erzeugt.
- Ausnahme
- Ausgenommen ist unter anderem eine übliche Hilfe beim Bearbeiten, die Eingaben oder ihre Bedeutung nicht wesentlich verändert.
- Zu beachten
- Systeme, die vor dem 2. August 2026 auf den Markt kamen, müssen bis zum 2. Dezember 2026 nachgerüstet werden.
- Wer die Pflichten trägt
- Anbieter, Produkthersteller, Anbieter eines KI-Modells mit allgemeinem Verwendungszweck
Die Pflichten im Einzelnen
Ihr System im Schnellprüfer einordnen Alle Pflichten im Pflichtenkompass
Übergreifende Bedrohungen
Diese Bedrohungen prüfen Sie bei jedem KI-System, egal wofür es eingesetzt wird.
- Lieferkette: Infrastruktur
- Lieferkette: Modelle
- Lieferkette: Datensätze
- Adversariale Eingaben
- Unsicherer Umgang mit Modellausgaben
- Anwendungs-Schwachstellen
- Übermäßiges Vertrauen in das KI-System Prüfschwerpunkt: Übermäßiges Vertrauen in das KI-System
- Modell-Drift & -Degradation
- Middleware-Exploits (Angriffe auf AI-Frameworks)
Abweichende Systemmerkmale
18 weitere Fragen ansehen
Trifft eine dieser Fragen bei Ihrem System doch zu, kommen die genannten Bedrohungen hinzu.
Erzeugt oder verändert das System Bilder, Töne, Stimmen oder Videos?
Wenn ja, kommt hinzu
Schreibt oder gestaltet das System auf freie Anfrage neue Inhalte, die Menschen direkt lesen, sehen oder hören? Übersetzen, Vorlesen und Abschreiben zählen nicht.
Das System schreibt ab, was gesagt wurde, und gestaltet keine neuen Inhalte.
Wenn ja, kommt hinzu
Kann man dem System in normaler Sprache Aufträge geben, die es dann ausführt?
Das System nimmt keine Aufträge entgegen, es schreibt nur ab.
Wenn ja, kommt hinzu
Sucht das System in einer eigenen Sammlung von Dokumenten oder Datensätzen nach passenden Inhalten?
Wenn ja, kommt hinzu
Formuliert das System seine Antwort aus gefundenen Dokumenten?
Wenn ja, kommt hinzu
Nutzt das System ein Begriffsnetz (Wissensgraph), in dem Begriffe und ihre Beziehungen gespeichert sind?
Wenn ja, kommt hinzu
Merkt sich das System Inhalte aus früheren Gesprächen oder Aufgaben und nutzt sie später wieder?
Wenn ja, kommt hinzu
Ruft das System selbst andere Programme, Schnittstellen oder Suchdienste auf, auch wenn es dort nur liest?
Wenn ja, kommt hinzu
Kann das System selbst etwas verändern, etwa Daten speichern, Nachrichten senden, Buchungen auslösen oder Rechte vergeben?
Wenn ja, kommt hinzu
Legt das System seine nächsten Arbeitsschritte selbst fest, je nachdem, was vorher herauskam?
Wenn ja, kommt hinzu
Gibt das System Aufgaben an andere KI-Agenten weiter oder übernimmt es deren Ergebnisse?
Wenn ja, kommt hinzu
Ist das System über das Model Context Protocol (MCP) an Werkzeuge oder Datenquellen angebunden?
Wenn ja, kommt hinzu
Liegen Dokumente mehrerer Kunden, Abteilungen oder Berechtigungsgruppen im selben Suchspeicher?
Wenn ja, kommt hinzu
Bewegt oder steuert das System unmittelbar etwas in der physischen Welt, etwa Motoren, Ventile, Fahrzeuge oder Temperaturen?
Wenn ja, kommt hinzu
Verarbeitet das System mehrere Arten von Eingaben zusammen, etwa Text mit Bild oder Sprache?
Wenn ja, kommt hinzu
Erzeugt das System Programmcode, Skripte oder Datenbankabfragen, die weiterverwendet werden?
Wenn ja, kommt hinzu
Führt das System selbst Programme, Skripte oder Befehle aus?
Wenn ja, kommt hinzu
Soll das System eine vorgegebene Kennzahl möglichst verbessern, etwa Umsatz, Auslastung oder Klicks?
Wenn ja, kommt hinzu
Quellen
- Statistik
Von den Unternehmen, die KI nutzen, setzen 42 Prozent Spracherkennung ein.
- Register oder Fallsammlung
UK Algorithmic Transparency Record, HM Courts and Tribunals Service BenchNotes
BenchNotes schreibt Diktate von Richterinnen und Richtern automatisch ab.
- Bericht über einen Einsatz
Die Bundesagentur für Arbeit wandelt Gesprochenes für ihre Dokumentation in Text um.
- Behörde, Gericht oder Parlament
BaFin, Risiken im Fokus 2026: Digitalisierung
Die BaFin berichtet, dass kleinere Institute Kundengespräche automatisch abschreiben lassen.
- Fachstudie
Koenecke u. a., Careless Whisper: Speech-to-Text Hallucination Harms (arXiv 2402.08021)
In etwa 1 Prozent der untersuchten Abschriften erfand Whisper ganze Sätze, die in der Aufnahme nicht vorkamen.
Verwandte Anwendungsfälle
Ebenfalls im Einsatzgebiet Büroarbeit und Wissensmanagement
- Generativer KI-Assistent für BeschäftigteBeschäftigte entwerfen, überarbeiten, übersetzen und kürzen Texte mit einem Sprachmodell, das ihnen die Organisation in einer abgesicherten Umgebung bereitstellt.
- KI-Assistent in BüroanwendungenBeschäftigte rufen den Assistenten direkt in E-Mail, Textverarbeitung, Tabellen und Chat auf, und er greift mit ihren Rechten auf Postfach und Dateiablage zu.
- KI-Wissensassistent (Enterprise Search)Der Assistent beantwortet Fragen aus einem festgelegten Dokumentbestand und zeigt, aus welchen Dokumenten die Antwort stammt.
- KI-Protokoll und GesprächsdokumentationAus aufgezeichneten Besprechungen und Beratungsgesprächen entwirft das System ein Protokoll oder einen Aktenvermerk samt Aufgabenliste.
- Maschinelle ÜbersetzungBehörden und Unternehmen lassen Texte, Websites und Dokumente automatisch übersetzen, oft nach einem eigenen Glossar.
- KI-AgentEin KI-Agent zerlegt eine Aufgabe in Schritte und erledigt sie weitgehend selbst, mit Werkzeugen, Schnittstellen und eigenen Rechten in Fachanwendungen.
Oft zusammen eingesetzt mit
Stand: 30. September 2026. Regelwerk der Prüfliste in Fassung 0.3.2, Bedrohungskatalog in Fassung 2026.10.24.2. Wie diese Seiten aufgebaut sind