Versatile AI Risk Assessment
Kundenkontakt, Marketing und Plattformen

Chatbot und Voicebot im Kundenservice

Englisch: Customer service chatbot, voicebot

Ein Bot beantwortet Anliegen von Kundinnen und Kunden oder Bürgerinnen und Bürgern im Chat oder am Telefon selbst und gibt schwierige Fälle an Menschen ab.

Interaktives Modell erkunden

Handout exportieren

Eine kompakte PDF mit Funktionsweise, Datenwegen und Prüfansätzen zum Weitergeben.

Die Erläuterungen und Maßnahmen beschreiben den typischen Aufbau. Viele eigene Änderungen ergänzen einen Anhang.

Den Anwendungsfall verstehen

Was macht diesen Anwendungsfall aus?

Telekommunikationsanbieter, Zahlungsdienste und Verwaltungen setzen solche Bots ein. Laut BaFin gehören Chatbots zu den häufigsten KI-Anwendungen der Banken.

Die Seite beschreibt einen typischen Aufbau. Die tatsächlichen Datenwege und Befugnisse ergeben sich aus Ihrer Umsetzung.

Bauform
Auswertung und Verarbeitung
Handlungsmacht
Handlungsrechte je nach Einbindung
Einsatzfelder
Telekommunikation, Banken, Zahlungsdienste, öffentliche Verwaltung, Luftverkehr
Auch bekannt als
virtueller Assistent, Sprachdialogsystem, Conversational IVR, KI-Kundenassistent

Funktionsweise und Ablauf

Aufbau und Datenwege

  1. Eingabedaten

    Eine Kundin schreibt im Chatfenster oder ruft an und schildert ihr Anliegen in eigenen Worten.

    Jede Eingabe stammt von Menschen außerhalb der Organisation. Anrufende und Schreibende nennen Namen, Kundennummern, Anschriften und ihr Anliegen.

  2. Verarbeitung

    Der Bot erkennt das Anliegen, sucht die passende Auskunft und ruft bei Bedarf Kundendaten ab.

    Das System verarbeitet eine Nachricht oder wandelt gesprochene Sprache zunächst in Text um. Dialogsteuerung und gegebenenfalls eine Wissenssuche stellen Kontext bereit; das Modell erzeugt die Antwort. Ein Voicebot wandelt diese anschließend wieder in Sprache um. Zugriffe auf Kundendaten oder Buchungssysteme sind zusätzliche Funktionen.

  3. Ergebnisse

    Der Bot antwortet schriftlich oder mit synthetischer Stimme, erledigt einfache Vorgänge oder verbindet mit einem Menschen.

    Das Ergebnis beschreibt die definierte Modellaufgabe. Ein Treffer, eine Kategorie oder eine Prognose erhält seine fachliche Bedeutung erst zusammen mit den zugrunde liegenden Daten und dem vorgesehenen Verwendungszweck.

  4. Nutzung und Auswirkungen

    Die Kundin handelt nach der Auskunft, und Zusagen des Bots können den Betreiber binden.

    Die Einbindung bestimmt, ob das Ergebnis lediglich angezeigt, nach Freigabe übernommen oder direkt in ein Fachverfahren geschrieben wird. Diese Varianten unterscheiden sich in ihren Datenwegen und Befugnissen.

Aufbau aktiv erkunden: Wählen Sie einen Baustein, um seine Aufgabe, die ein- und ausgehenden Daten und die Einbindung im Anwendungsfall zu sehen. Der geführte Ablauf erläutert jede Phase. Mit Ja, Offen und Nein können Sie anschließend Ihre konkrete Systemvariante abbilden.

15 zuerst zu prüfen23 zu klären7 Grundlagen

EingangVerarbeitungErgebnisWirkung Zugangvon außen 51 Eingabe 21 InhalteDritter 10 KI-Modell 40 Dienst einesAnbieters 11 Dokumenten-sammlung 01 Gedächtnis 01 Training undRückmeldung 02 WeitereKI-Agenten 00 Werkzeuge undSchnittstellen 02 Ergebnis 113 Fachanwendungoder Anlage 00 Mensch 10 BetroffenePerson 00 KI-Diensteohne Freigabe 01 Zugangvon außen 51 Eingabe 21 InhalteDritter 10 KI-Modell 40 Dienst einesAnbieters 11 Dokumenten-sammlung 01 Gedächtnis 01 Training undRückmeldung 02 WeitereKI-Agenten 00 Werkzeuge undSchnittstellen 02 Ergebnis 113 Fachanwendungoder Anlage 00 Mensch 10 BetroffenePerson 00 KI-Diensteohne Freigabe 01
  • Vorhanden
  • Hängt von Ihrem System ab
  • Nicht vorhanden
  • Zuerst zu prüfen
  • Zu klären
Aufbau als Liste

Abgrenzung zu ähnlichen Anwendungsfällen

Daten und Informationen

Eingabedaten und Informationsquellen

Jede Eingabe stammt von Menschen außerhalb der Organisation. Anrufende und Schreibende nennen Namen, Kundennummern, Anschriften und ihr Anliegen.

Verarbeitung und Betriebsumgebung

Sprachmodell und Spracherkennung stammen in der Regel von Anbietern; in Amsterdam ist es PolyAI.

Speicherung und weitere Nutzung

Viele Bots suchen Antworten in einer Wissensdatenbank mit Fragen und Antworten oder in Hilfeseiten. Manche Bots greifen auf frühere Gespräche mit derselben Person zurück.

Ergebnisse und Datenweitergabe

Manche Bots rufen Kundendaten ab, prüfen Störungen oder buchen Termine über Schnittstellen. Ändert der Bot Tarife, Adressen oder Termine selbst, verändert er Kundendaten; andere Bots geben nur Auskunft.

Ein eingebundener Anbieter legt den Verarbeitungsort nicht automatisch fest. Speicherort, Unterauftragnehmer, Löschfristen und die Nutzung für Training sind im konkreten Betrieb zu prüfen.

Risiken einordnen und Maßnahmen festlegen

Vom Systemverständnis zur Risikoanalyse

  1. System abgrenzen

    Daten, Beteiligte, Schnittstellen und Rechte erfassen. Offene Merkmale im Modell klären.

  2. Bedrohungen untersuchen

    Prüfkandidaten auf die tatsächlichen Datenwege beziehen: Was könnte passieren und wer wäre betroffen?

  3. Risiko bewerten

    Auswirkungen und Eintrittswahrscheinlichkeit im Einsatzkontext bewerten. Die Anzahl der Prüfkandidaten ist kein Risikowert.

  4. Maßnahmen nachweisen

    Geeignete Kontrollen auswählen, Verantwortliche und Wirksamkeitsprüfungen festlegen. Restrisiken und Freigaben dokumentieren.

Wichtige Bedrohungen im Anwendungskontext

  • 4 besonders wichtig
  • 11 üblich
  • 23 je nach System
  • 7 weitere bei jedem KI-System

Insgesamt kommen bei diesem Anwendungsfall 45 Bedrohungen aus dem Bedrohungskatalog infrage.

Vorrangige Prüfansätze

  1. Prompt Injection: Direkt

    Jemand schreibt dem Bot, er solle seine Vorgaben vergessen und einen Rabatt bestätigen. Folgt der Bot, steht eine Zusage im Gesprächsverlauf, auf die sich die Person berufen kann.

  2. Unsicherer Umgang mit Modellausgaben

    Die Antwort des Bots erreicht die Kundin direkt und ungeprüft. Nennt er eine falsche Frist oder Erstattungsregel, handelt sie danach, und der Betreiber muss dafür einstehen, wie im Fall Air Canada.

  3. Cost Harvesting / Zweckentfremdung

    Der Bot ist ohne Anmeldung erreichbar und ruft bei jeder Nachricht ein kostenpflichtiges Sprachmodell auf. Automatisierte Anfragen in großer Zahl treiben die Kosten oder nutzen den Bot als kostenlosen Zugang zum Modell.

  4. Übermäßiges Vertrauen in das KI-System

    Kundinnen und Kunden halten die Auskunft des Bots für verbindlich, weil er im Namen des Unternehmens spricht. Beschäftigte übernehmen seine Zusammenfassung des Anliegens, ohne das Gespräch nachzulesen.

11 weitere Prüfkandidaten im typischen Aufbau

Weitere relevante Bedrohungen

  1. Backdoor im ML-Modell

    Über Trainingsdaten oder ein übernommenes Grundmodell kann das Modell versteckte Auslöser für Fehlverhalten enthalten.

    Steht hier wegen dieser Eigenschaft

    • Nutzt ein Modell eines anderen Anbieters

  2. Sleepy Agent (zeit-/ereignisgetriggerte verdeckte Instruktionen)

    Ein Modell, das Anweisungen befolgt, kann sein Verhalten zu einem bestimmten Zeitpunkt oder bei einem bestimmten Ereignis ändern.

    Steht hier wegen dieser Eigenschaft

    • Führt Aufträge in normaler Sprache aus

  3. Modell-Diebstahl

    Wer das Modell abfragen kann, kann es mit vielen Abfragen nachbauen. Selbst trainierte Gewichte lassen sich über den Netzzugang stehlen.

    Steht hier wegen dieser Eigenschaft

    • Ist für Menschen außerhalb der Organisation nutzbar

  4. Prompt Injection: Indirekt

    Steht in einem Dokument oder Werkzeugergebnis eine Anweisung, kann das Modell sie wie eine eigene Arbeitsanweisung befolgen.

    Steht hier wegen dieser Eigenschaften

    • Führt Aufträge in normaler Sprache aus
    • Verarbeitet Inhalte, die Außenstehende verfassen können

  5. Jailbreaks

    Wer das System Inhalte erzeugen lässt, kann versuchen, die vorgesehenen Grenzen zu umgehen.

    Steht hier wegen dieser Eigenschaft

    • Führt Aufträge in normaler Sprache aus

  6. Extraktion des Meta-Prompts

    Geschickte Abfragen können die Arbeitsanweisungen des Systems offenlegen. Sie dürfen deshalb keine Geheimnisse enthalten.

    Steht hier wegen dieser Eigenschaft

    • Führt Aufträge in normaler Sprache aus

  7. Denial-of-Service auf das Modell

    Aufwendige oder massenhafte Eingaben können die Rechenleistung des Modells erschöpfen.

    Steht hier wegen dieser Eigenschaft

    • Ist für Menschen außerhalb der Organisation nutzbar

  8. Privacy-Angriffe

    Mit gezielten Abfragen lassen sich personenbezogene und schutzbedürftige Trainingsdaten teilweise aus dem Modell zurückgewinnen.

    Steht hier wegen dieser Eigenschaft

    • Verarbeitet personenbezogene Daten

  9. Offenlegung sensibler Informationen

    Vertrauliche Inhalte können in Antworten, im mitgegebenen Kontext oder in Protokollen auftauchen.

    Steht hier wegen dieser Eigenschaft

    • Verarbeitet personenbezogene Daten

  10. Denial-of-Service auf die Anwendung

    Ist die Anwendung über das Netz erreichbar, können massenhafte Anfragen sie lahmlegen.

    Steht hier wegen dieser Eigenschaft

    • Ist für Menschen außerhalb der Organisation nutzbar

  11. Modell-Reconnaissance

    Gezielte Abfragen können verraten, wie das Modell gebaut und geschützt ist.

    Steht hier wegen dieser Eigenschaft

    • Ist für Menschen außerhalb der Organisation nutzbar

Je nach Aufbau Ihres Systems kommen bis zu 23 weitere hinzu. Neun Bedrohungen prüfen Sie bei jedem KI-System. Zwei davon sind hier besonders wichtig und stehen deshalb oben.

Systemmerkmale und offene Fragen

Jedes Ja setzt weitere Bedrohungen auf Ihre Prüfliste, insgesamt bis zu 23. Können Sie eine Frage noch nicht beantworten, prüfen Sie die Bedrohungen mit.

Wie viele Bedrohungen bei Ja hinzukommen
  • Kommt mit diesem Ja hinzu
  • Braucht zusätzlich ein Ja auf eine andere Frage

Wie Ihr System gebaut ist

  1. Erzeugt Bilder, Töne oder Videos3 Bedrohungen, 7 weitere nur zusammen mit weiteren Merkmalen
  2. Ruft andere Programme oder Schnittstellen auf3 Bedrohungen
  3. Verwertet Rückmeldungen aus dem Betrieb2 Bedrohungen
  4. Schreibt eigene Texte1 Bedrohung, 13 weitere nur zusammen mit weiteren Merkmalen
  5. Durchsucht eine eigene Sammlung von Dokumenten1 Bedrohung
  6. Formuliert Antworten aus gefundenen Dokumenten1 Bedrohung
  7. Merkt sich Inhalte über das einzelne Gespräch hinaus1 Bedrohung
  8. Verändert Daten oder löst Vorgänge aus1 Bedrohung
  9. Verarbeitet vertrauliche Daten1 Bedrohung
  10. Lernt aus Ihren eigenen Daten1 Bedrohung
  11. Lernt aus Beispielen mit richtiger Antwort1 Bedrohung
  12. Verarbeitet Text, Bild und Sprache gemeinsam1 Bedrohung
  13. Erzeugt Inhalte auf freie Anfrage12 Bedrohungen nur zusammen mit weiteren Merkmalen

Wie Sie das System betreiben

  1. Gibt Inhalte an Dienste außerhalb der eigenen Umgebung weiter1 Bedrohung
  2. Teilt Rechenleistung mit anderen Kunden oder Anwendungen1 Bedrohung
  3. Neben KI-Diensten ohne Freigabe im Einsatz1 Bedrohung
  4. Nimmt Anfragen direkt über eine Schnittstelle an1 Bedrohung nur zusammen mit weiteren Merkmalen

Wie Ihr System gebaut ist

Schreibt das System eigene Texte, etwa Antworten, Entwürfe oder Zusammenfassungen?

Ältere Bots wählen vorformulierte Antworten aus; Bots mit Sprachmodell formulieren selbst, wie es die Telekom für „Frag Magenta“ angibt.

Wenn ja, kommt hinzu

Schreibt oder gestaltet das System auf freie Anfrage neue Inhalte, die Menschen direkt lesen, sehen oder hören? Übersetzen, Vorlesen und Abschreiben zählen nicht.

Ist der Bot auf freigegebene Auskünfte beschränkt, gestaltet er keine freien Inhalte; ein frei antwortendes Sprachmodell schon.

Wenn ja, kommt hinzu

Sucht das System in einer eigenen Sammlung von Dokumenten oder Datensätzen nach passenden Inhalten?

Viele Bots suchen Antworten in einer Wissensdatenbank mit Fragen und Antworten oder in Hilfeseiten.

Wenn ja, kommt hinzu

Merkt sich das System Inhalte aus früheren Gesprächen oder Aufgaben und nutzt sie später wieder?

Manche Bots greifen auf frühere Gespräche mit derselben Person zurück.

Wenn ja, kommt hinzu

Kann das System selbst etwas verändern, etwa Daten speichern, Nachrichten senden, Buchungen auslösen oder Rechte vergeben?

Ändert der Bot Tarife, Adressen oder Termine selbst, verändert er Kundendaten; andere Bots geben nur Auskunft.

Wenn ja, kommt hinzu

Verarbeitet das System vertrauliche Informationen, etwa Geschäftsgeheimnisse, Gesundheits- oder Finanzdaten?

Bei Banken und Versicherern geht es um Konten und Verträge, bei Behörden um Leistungen und Verfahren.

Wenn ja, kommt hinzu

Wird das Modell mit Beispielen trainiert, denen jemand die richtige Antwort zugeordnet hat?

Die Erkennung von Anliegen lernt oft aus Beispielsätzen, denen jemand das richtige Anliegen zugeordnet hat.

Wenn ja, kommt hinzu

Verarbeitet das System mehrere Arten von Eingaben zusammen, etwa Text mit Bild oder Sprache?

Wenn ja, kommt hinzu

Wie Sie das System betreiben

Diese Fragen stellen sich bei fast jedem KI-System.

Können Inhalte die eigene Umgebung verlassen, etwa zu einem Cloud-Anbieter, in eine Websuche oder per E-Mail?

Wenn ja, kommt hinzu

Maßnahmen und Umsetzung

Maßnahmen zu den Prüfschwerpunkten sind direkt geöffnet. Die verlinkten Maßnahmen erläutern jeweils die Umsetzung.

PrüfschwerpunktPrompt Injection: Direkt3 Maßnahmen
PrüfschwerpunktUnsicherer Umgang mit Modellausgaben3 Maßnahmen
PrüfschwerpunktCost Harvesting / Zweckentfremdung3 Maßnahmen
PrüfschwerpunktÜbermäßiges Vertrauen in das KI-System3 Maßnahmen
Backdoor im ML-Modell2 Maßnahmen
Sleepy Agent (zeit-/ereignisgetriggerte verdeckte Instruktionen)3 Maßnahmen
Modell-Diebstahl3 Maßnahmen
Prompt Injection: Indirekt3 Maßnahmen
Jailbreaks2 Maßnahmen
Extraktion des Meta-Prompts2 Maßnahmen
Denial-of-Service auf das Modell3 Maßnahmen
Privacy-Angriffe3 Maßnahmen
Offenlegung sensibler Informationen3 Maßnahmen
Denial-of-Service auf die Anwendung3 Maßnahmen
Modell-Reconnaissance3 Maßnahmen

Maßnahmen gegen die übrigen Bedrohungen finden Sie auf deren Seiten im Bedrohungskatalog.

Vorschriften der KI-Verordnung

Wann die Vorschriften der KI-Verordnung gelten
  1. Art. 4: KI-Kompetenz

    Für jedes KI-System Gilt seit dem 2. Februar 2025.

  2. Art. 53 Abs. 1 Buchst. b, Anhang XII: Eingebautes Allzweckmodell

    Je nach Einsatz Prüfanlass seit dem 2. August 2025.

  3. Art. 50 Abs. 1: Hinweis auf eine KI im Gespräch

    Bei typischem Einsatz Prüfanlass seit dem 2. August 2026.

  4. Anhang III Nr. 5 Buchst. a: Öffentliche Unterstützungsleistungen

    Je nach Einsatz Prüfanlass ab dem 2. Dezember 2027.

Gilt für jedes KI-System

Art. 4: KI-Kompetenz

Greift, wenn Beschäftigte oder Beauftragte KI-Systeme betreiben oder nutzen.

Gilt seit dem 2. Februar 2025.

Pflichten und Einzelheiten
Wer die Pflichten trägt
Anbieter, Betreiber, Produkthersteller, Anbieter eines KI-Modells mit allgemeinem Verwendungszweck

Die Pflichten im Einzelnen

Kann beim üblichen Einsatz greifen

Art. 50 Abs. 1: Hinweis auf eine KI im Gespräch

Greift, wenn Kundinnen und Kunden oder Bürgerinnen und Bürger mit dem Bot schreiben oder telefonieren und nicht offensichtlich ist, dass eine KI antwortet.

Gilt seit dem 2. August 2026.

Pflichten und Einzelheiten
Allgemein lautet die Bedingung
Greift, wenn Menschen direkt mit dem System schreiben oder sprechen und nicht offensichtlich ist, dass sie es mit einer KI zu tun haben.
Wer die Pflichten trägt
Anbieter, Produkthersteller

Die Pflichten im Einzelnen

Kann bei bestimmtem Einsatz greifen

Anhang III Nr. 5 Buchst. a: Öffentliche Unterstützungsleistungen

Greift, wenn der Bot für eine Behörde prüft, ob jemand eine öffentliche Leistung erhält, statt nur Auskunft zu geben oder weiterzuleiten.

Gilt ab dem 2. Dezember 2027.

Pflichten und Einzelheiten
Allgemein lautet die Bedingung
Greift, wenn Behörden oder Stellen in ihrem Auftrag mit dem System prüfen, ob jemand Anspruch auf öffentliche Leistungen und Dienste hat, oder diese gewähren, kürzen oder zurückfordern.
Wer die Pflichten trägt
Anbieter, Betreiber, Produkthersteller

Die Pflichten im Einzelnen

Art. 53 Abs. 1 Buchst. b, Anhang XII: Eingebautes Allzweckmodell

Greift, wenn Ihre Organisation den Bot selbst baut und dafür ein großes Sprachmodell oder ein anderes Allzweckmodell eines fremden Anbieters verwendet.

Gilt seit dem 2. August 2025.

Pflichten und Einzelheiten
Allgemein lautet die Bedingung
Greift, wenn ein KI-Modell mit allgemeinem Verwendungszweck eines anderen Anbieters eingebaut ist, etwa ein großes Sprachmodell.
Zu beachten
Die Pflichten für das Modell trägt dessen Anbieter. Er muss Ihnen die Informationen nach Anhang XII geben; nutzen Sie sie für Ihre eigene Dokumentation.
Wer die Pflichten trägt
Anbieter eines KI-Modells mit allgemeinem Verwendungszweck

Die Pflichten im Einzelnen

Ihr System im Schnellprüfer einordnen Alle Pflichten im Pflichtenkompass

Übergreifende Bedrohungen

Diese Bedrohungen prüfen Sie bei jedem KI-System, egal wofür es eingesetzt wird.

Warum diese Bedrohungen immer dazugehören

Abweichende Systemmerkmale

7 weitere Fragen ansehen

Trifft eine dieser Fragen bei Ihrem System doch zu, kommen die genannten Bedrohungen hinzu.

Quellen

Verwandte Anwendungsfälle

Ebenfalls im Einsatzgebiet Kundenkontakt, Marketing und Plattformen

Oft zusammen eingesetzt mit

Stand: 30. September 2026. Regelwerk der Prüfliste in Fassung 0.3.2, Bedrohungskatalog in Fassung 2026.10.24.2. Wie diese Seiten aufgebaut sind