Versatile AI Risk Assessment
Büroarbeit und Wissensmanagement

KI-Assistent in Büroanwendungen

Englisch: Embedded workplace AI assistant (copilot)

Beschäftigte rufen den Assistenten direkt in E-Mail, Textverarbeitung, Tabellen und Chat auf, und er greift mit ihren Rechten auf Postfach und Dateiablage zu.

Interaktives Modell erkunden

Handout exportieren

Eine kompakte PDF mit Funktionsweise, Datenwegen und Prüfansätzen zum Weitergeben.

Die Erläuterungen und Maßnahmen beschreiben den typischen Aufbau. Viele eigene Änderungen ergänzen einen Anhang.

Den Anwendungsfall verstehen

Was macht diesen Anwendungsfall aus?

Der Assistent entwirft E-Mails, fasst Besprechungen und Dokumente zusammen und beantwortet Fragen zu allem, was die Person sehen darf. Die britische Regierung hat ihn erprobt, ein IT-Dienstleister führt ihn ein, und eine niederländische Gemeinde arbeitet bereits damit.

Die Seite beschreibt einen typischen Aufbau. Die tatsächlichen Datenwege und Befugnisse ergeben sich aus Ihrer Umsetzung.

Bauform
Wissensassistent mit Quellenbindung
Handlungsmacht
Handlungsrechte je nach Einbindung
Einsatzfelder
öffentliche Verwaltung, IT-Dienstleistungen
Auch bekannt als
Copilot, Microsoft 365 Copilot, KI in E-Mail und Textverarbeitung

Funktionsweise und Ablauf

Aufbau und Datenwege

  1. Eingabedaten

    Eine Person stellt in E-Mail, Textverarbeitung, Tabelle oder Chat eine Frage oder gibt einen Auftrag.

    Eingehende E-Mails, Einladungen und geteilte Dokumente stammen auch von Außenstehenden; bei EchoLeak genügte eine präparierte E-Mail. Postfach, Kalender und Chats enthalten Namen, Kontaktdaten und Inhalte von Gesprächen.

  2. Verarbeitung

    Der Assistent durchsucht mit ihren Rechten Postfach, Kalender und Dateiablage und reicht die Treffer an ein Sprachmodell weiter.

    Die Büroanwendung stellt dem Modell den Auftrag und den verfügbaren Arbeitskontext bereit, etwa ein geöffnetes Dokument oder eine ausgewählte Nachricht. Das Modell formuliert einen Vorschlag innerhalb dieser Anwendung. Welche weiteren Dateien einbezogen werden, hängt von den angebundenen Diensten und den Berechtigungen ab.

  3. Ergebnisse

    Der Assistent liefert einen Entwurf, eine Zusammenfassung oder eine Antwort mit Verweisen auf die verwendeten Inhalte.

    Ein generiertes Ergebnis ist neu formuliert oder erzeugt. Für seine Einordnung muss erkennbar bleiben, auf welchem Auftrag und welchem Kontext es beruht.

  4. Nutzung und Auswirkungen

    Die Person verschickt oder speichert das Ergebnis; so fließt es in E-Mails, Dokumente und Entscheidungen ein.

    Die Einbindung bestimmt, ob das Ergebnis lediglich angezeigt, nach Freigabe übernommen oder direkt in ein Fachverfahren geschrieben wird. Diese Varianten unterscheiden sich in ihren Datenwegen und Befugnissen.

Aufbau aktiv erkunden: Wählen Sie einen Baustein, um seine Aufgabe, die ein- und ausgehenden Daten und die Einbindung im Anwendungsfall zu sehen. Der geführte Ablauf erläutert jede Phase. Mit Ja, Offen und Nein können Sie anschließend Ihre konkrete Systemvariante abbilden.

So ist das System aufgebaut

23 zuerst zu prüfen17 zu klären9 Grundlagen

EingangVerarbeitungErgebnisWirkung Zugangvon außen 04 Eingabe 31 InhalteDritter 10 KI-Modell 40 Dienst einesAnbieters 11 Dokumenten-sammlung 21 Gedächtnis 01 Training undRückmeldung 02 WeitereKI-Agenten 00 Werkzeuge undSchnittstellen 04 Ergebnis 122 Fachanwendungoder Anlage 00 Mensch 00 BetroffenePerson 00 KI-Diensteohne Freigabe 01 Zugangvon außen 04 Eingabe 31 InhalteDritter 10 KI-Modell 40 Dienst einesAnbieters 11 Dokumenten-sammlung 21 Gedächtnis 01 Training undRückmeldung 02 WeitereKI-Agenten 00 Werkzeuge undSchnittstellen 04 Ergebnis 122 Fachanwendungoder Anlage 00 Mensch 00 BetroffenePerson 00 KI-Diensteohne Freigabe 01
  • Vorhanden
  • Hängt von Ihrem System ab
  • Nicht vorhanden
  • Zuerst zu prüfen
  • Zu klären

Im gezeigten Aufbau: 23 zuerst zu prüfen, 17 zu klären, 9 Grundlagen.

Aufbau als Liste

Abgrenzung zu ähnlichen Anwendungsfällen

Daten und Informationen

Eingabedaten und Informationsquellen

Eingehende E-Mails, Einladungen und geteilte Dokumente stammen auch von Außenstehenden; bei EchoLeak genügte eine präparierte E-Mail. Postfach, Kalender und Chats enthalten Namen, Kontaktdaten und Inhalte von Gesprächen.

Verarbeitung und Betriebsumgebung

Sprachmodell und Suchdienst stellt der Anbieter der Büroanwendung bereit.

Speicherung und weitere Nutzung

Der Assistent sucht in Postfach, Kalender, Chats und Dateiablage nach passenden Inhalten. Er formuliert seine Antworten aus den gefundenen E-Mails und Dokumenten.

Ergebnisse und Datenweitergabe

Je nach Produkt ruft der Assistent Funktionen anderer Anwendungen oder Erweiterungen auf. Je nach Produkt und Einstellung verschickt der Assistent selbst E-Mails, legt Termine an und ändert Dateien oder legt nur Entwürfe vor.

Ein eingebundener Anbieter legt den Verarbeitungsort nicht automatisch fest. Speicherort, Unterauftragnehmer, Löschfristen und die Nutzung für Training sind im konkreten Betrieb zu prüfen.

Risiken einordnen und Maßnahmen festlegen

Vom Systemverständnis zur Risikoanalyse

  1. System abgrenzen

    Daten, Beteiligte, Schnittstellen und Rechte erfassen. Offene Merkmale im Modell klären.

  2. Bedrohungen untersuchen

    Prüfkandidaten auf die tatsächlichen Datenwege beziehen: Was könnte passieren und wer wäre betroffen?

  3. Risiko bewerten

    Auswirkungen und Eintrittswahrscheinlichkeit im Einsatzkontext bewerten. Die Anzahl der Prüfkandidaten ist kein Risikowert.

  4. Maßnahmen nachweisen

    Geeignete Kontrollen auswählen, Verantwortliche und Wirksamkeitsprüfungen festlegen. Restrisiken und Freigaben dokumentieren.

Wichtige Bedrohungen im Anwendungskontext

  • 4 besonders wichtig
  • 19 üblich
  • 17 je nach System
  • 9 bei jedem KI-System

Insgesamt kommen bei diesem Anwendungsfall 49 Bedrohungen aus dem Bedrohungskatalog infrage.

Vorrangige Prüfansätze

  1. Prompt Injection: Indirekt

    Jemand von außen schickt eine E-Mail mit versteckten Anweisungen, die der Assistent beim nächsten Suchlauf mitliest. Er befolgt sie, ohne dass die Person die E-Mail je geöffnet hat.

  2. Exfiltration aus der ML-Anwendung

    Eingeschleuste Anweisungen bringen den Assistenten dazu, interne Inhalte in einen Link oder ein Bild einzubauen. Lädt die Anwendung das Bild, landen die Daten auf einem fremden Server, so geschehen bei EchoLeak.

  3. Cross-Tenant-Leakage (Multi-Tenant Vector-DB)

    In der Dateiablage sind Ordner mit Personal- oder Vorstandsunterlagen versehentlich für alle freigegeben. Der Assistent findet sie und gibt ihren Inhalt an jeden weiter, der danach fragt.

  4. RAG-spezifische Angriffe (Document Poisoning)

    Jemand legt ein Dokument mit falschen Angaben in eine gemeinsame Ablage. Der Assistent zitiert es als Quelle und trägt den Fehler in Antworten an viele Beschäftigte weiter.

19 weitere Prüfkandidaten im typischen Aufbau

Weitere relevante Bedrohungen

  1. Backdoor im ML-Modell

    Über Trainingsdaten oder ein übernommenes Grundmodell kann das Modell versteckte Auslöser für Fehlverhalten enthalten.

    Steht hier wegen dieser Eigenschaft

    • Nutzt ein Modell eines anderen Anbieters
  2. Sleepy Agent (zeit-/ereignisgetriggerte verdeckte Instruktionen)

    Ein Modell, das Anweisungen befolgt, kann sein Verhalten zu einem bestimmten Zeitpunkt oder bei einem bestimmten Ereignis ändern.

    Steht hier wegen dieser Eigenschaft

    • Führt Aufträge in normaler Sprache aus
  3. Prompt Injection: Direkt

    Nutzerinnen und Nutzer können mit ihren Eingaben die Arbeitsanweisungen des Systems aushebeln.

    Steht hier wegen dieser Eigenschaft

    • Führt Aufträge in normaler Sprache aus
  4. Jailbreaks

    Wer das System Inhalte erzeugen lässt, kann versuchen, die vorgesehenen Grenzen zu umgehen.

    Steht hier wegen dieser Eigenschaft

    • Führt Aufträge in normaler Sprache aus
  5. Extraktion des Meta-Prompts

    Geschickte Abfragen können die Arbeitsanweisungen des Systems offenlegen. Sie dürfen deshalb keine Geheimnisse enthalten.

    Steht hier wegen dieser Eigenschaft

    • Führt Aufträge in normaler Sprache aus
  6. Denial-of-Service auf das Modell

    Aufwendige oder massenhafte Eingaben können die Rechenleistung des Modells erschöpfen.

    Steht hier wegen dieser Eigenschaft

    • Schreibt eigene Texte
  7. Privacy-Angriffe

    Mit gezielten Abfragen lassen sich personenbezogene und schutzbedürftige Trainingsdaten teilweise aus dem Modell zurückgewinnen.

    Steht hier wegen dieser Eigenschaften

    • Verarbeitet personenbezogene Daten
    • Verarbeitet vertrauliche Daten
  8. Offenlegung sensibler Informationen

    Vertrauliche Inhalte können in Antworten, im mitgegebenen Kontext oder in Protokollen auftauchen.

    Steht hier wegen dieser Eigenschaften

    • Verarbeitet personenbezogene Daten
    • Verarbeitet vertrauliche Daten
  9. Hassrede und Diskriminierung

    Frei erzeugte Inhalte können diskriminierende oder hasserfüllte Aussagen enthalten.

    Steht hier wegen dieser Eigenschaften

    • Schreibt eigene Texte
    • Erzeugt Inhalte auf freie Anfrage
  10. Obszöne Sprache / Profanität

    Frei formulierte Antworten können im Ton danebenliegen.

    Steht hier wegen dieser Eigenschaften

    • Schreibt eigene Texte
    • Erzeugt Inhalte auf freie Anfrage
  11. Gewalt / gefährliche Handlungen

    Frei erzeugte Inhalte können Gewalt darstellen oder bei gefährlichen Handlungen helfen.

    Steht hier wegen dieser Eigenschaften

    • Schreibt eigene Texte
    • Erzeugt Inhalte auf freie Anfrage
  12. Kontroverse Themen

    Antworten zu umstrittenen Themen brauchen unter Umständen eine eigene redaktionelle Prüfung.

    Steht hier wegen dieser Eigenschaften

    • Schreibt eigene Texte
    • Erzeugt Inhalte auf freie Anfrage
  13. Rechtswidrige Handlungen

    Frei erzeugte Inhalte können rechtswidrige Handlungen erleichtern. Wie streng Sie prüfen, hängt von Zweck und Nutzerkreis ab.

    Steht hier wegen dieser Eigenschaften

    • Schreibt eigene Texte
    • Erzeugt Inhalte auf freie Anfrage
  14. Belästigung

    Frei erzeugte Inhalte können zur Belästigung verwendet werden.

    Steht hier wegen dieser Eigenschaften

    • Schreibt eigene Texte
    • Erzeugt Inhalte auf freie Anfrage
  15. Unethisches Verhalten

    Frei erzeugte Vorschläge können im konkreten Einsatz ethische Grenzen überschreiten.

    Steht hier wegen dieser Eigenschaften

    • Schreibt eigene Texte
    • Erzeugt Inhalte auf freie Anfrage
  16. Social Engineering

    Erzeugte Bilder, Stimmen und Texte lassen sich nutzen, um zu täuschen oder Personen nachzuahmen.

    Steht hier wegen dieser Eigenschaften

    • Schreibt eigene Texte
    • Erzeugt Inhalte auf freie Anfrage
  17. Betrug

    Erzeugte Inhalte können Betrug erleichtern, etwa mit gefälschten Nachrichten oder Dokumenten.

    Steht hier wegen dieser Eigenschaften

    • Schreibt eigene Texte
    • Erzeugt Inhalte auf freie Anfrage
  18. Desinformation

    Künstlich erzeugte Inhalte können als echt ausgegeben und irreführend verbreitet werden.

    Steht hier wegen dieser Eigenschaften

    • Schreibt eigene Texte
    • Erzeugt Inhalte auf freie Anfrage
  19. Faktische Fehler (Halluzinationen)

    Erzeugte Texte können Tatsachen erfinden oder beim Umformulieren verfälschen.

    Steht hier wegen dieser Eigenschaft

    • Schreibt eigene Texte

Je nach Aufbau Ihres Systems kommen bis zu 17 weitere hinzu. Neun Bedrohungen prüfen Sie bei jedem KI-System.

Systemmerkmale und offene Fragen

Jedes Ja setzt weitere Bedrohungen auf Ihre Prüfliste, insgesamt bis zu 17. Können Sie eine Frage noch nicht beantworten, prüfen Sie die Bedrohungen mit.

Wie viele Bedrohungen bei Ja hinzukommen
  • Kommt mit diesem Ja hinzu

Wie Ihr System gebaut ist

Erzeugt oder verändert das System Bilder, Töne, Stimmen oder Videos?

In einigen Büroanwendungen erzeugt der Assistent auch Bilder, etwa für Präsentationen.

Wenn ja, kommt hinzu

Merkt sich das System Inhalte aus früheren Gesprächen oder Aufgaben und nutzt sie später wieder?

Manche Produkte merken sich Vorlieben und Angaben aus früheren Unterhaltungen.

Wenn ja, kommt hinzu

Kann das System selbst etwas verändern, etwa Daten speichern, Nachrichten senden, Buchungen auslösen oder Rechte vergeben?

Je nach Produkt und Einstellung verschickt der Assistent selbst E-Mails, legt Termine an und ändert Dateien oder legt nur Entwürfe vor.

Wenn ja, kommt hinzu

Verarbeitet das System mehrere Arten von Eingaben zusammen, etwa Text mit Bild oder Sprache?

Wenn ja, kommt hinzu

Erzeugt das System Programmcode, Skripte oder Datenbankabfragen, die weiterverwendet werden?

In Tabellen schreibt der Assistent auch Formeln und Skripte.

Wenn ja, kommt hinzu

Wie Sie das System betreiben

Diese Fragen stellen sich bei fast jedem KI-System.

Maßnahmen und Umsetzung

Maßnahmen zu den Prüfschwerpunkten sind direkt geöffnet. Die verlinkten Maßnahmen erläutern jeweils die Umsetzung.

PrüfschwerpunktPrompt Injection: Indirekt3 Maßnahmen
PrüfschwerpunktExfiltration aus der ML-Anwendung3 Maßnahmen
PrüfschwerpunktCross-Tenant-Leakage (Multi-Tenant Vector-DB)3 Maßnahmen
PrüfschwerpunktRAG-spezifische Angriffe (Document Poisoning)3 Maßnahmen
Backdoor im ML-Modell2 Maßnahmen
Sleepy Agent (zeit-/ereignisgetriggerte verdeckte Instruktionen)3 Maßnahmen
Prompt Injection: Direkt3 Maßnahmen
Jailbreaks2 Maßnahmen
Extraktion des Meta-Prompts2 Maßnahmen
Denial-of-Service auf das Modell3 Maßnahmen
Privacy-Angriffe3 Maßnahmen
Offenlegung sensibler Informationen3 Maßnahmen
Hassrede und Diskriminierung2 Maßnahmen
Obszöne Sprache / Profanität2 Maßnahmen
Gewalt / gefährliche Handlungen2 Maßnahmen
Kontroverse Themen3 Maßnahmen
Rechtswidrige Handlungen3 Maßnahmen
Belästigung3 Maßnahmen
Unethisches Verhalten3 Maßnahmen
Social Engineering3 Maßnahmen
Betrug3 Maßnahmen
Desinformation2 Maßnahmen
Faktische Fehler (Halluzinationen)3 Maßnahmen

Maßnahmen gegen die übrigen Bedrohungen finden Sie auf deren Seiten im Bedrohungskatalog.

Vorschriften der KI-Verordnung

Wann die Vorschriften der KI-Verordnung gelten
  1. Art. 4: KI-Kompetenz

    Für jedes KI-System Gilt seit dem 2. Februar 2025.

  2. Art. 50 Abs. 4: Kennzeichnung von Deepfakes und veröffentlichten Texten

    Je nach Einsatz Prüfanlass seit dem 2. August 2026.

Gilt für jedes KI-System

Art. 4: KI-Kompetenz

Greift, wenn Beschäftigte oder Beauftragte KI-Systeme betreiben oder nutzen.

Gilt seit dem 2. Februar 2025.

Pflichten und Einzelheiten zu Art. 4: KI-Kompetenz
Wer die Pflichten trägt
Anbieter, Betreiber, Produkthersteller, Anbieter eines KI-Modells mit allgemeinem Verwendungszweck

Die Pflichten im Einzelnen

Kann bei bestimmtem Einsatz greifen

Art. 50 Abs. 4: Kennzeichnung von Deepfakes und veröffentlichten Texten

Greift, wenn mit dem Assistenten erstellte Texte zu Themen von öffentlichem Interesse veröffentlicht werden und niemand sie redaktionell prüft und verantwortet.

Gilt seit dem 2. August 2026.

Pflichten und Einzelheiten zu Art. 50 Abs. 4: Kennzeichnung von Deepfakes und veröffentlichten Texten
Allgemein lautet die Bedingung
Greift, wenn mit dem System Deepfakes entstehen oder KI-Texte zu Themen von öffentlichem Interesse ohne redaktionelle Verantwortung veröffentlicht werden.
Wer die Pflichten trägt
Betreiber

Die Pflichten im Einzelnen

Greift in der Regel nicht

Art. 50 Abs. 1: Hinweis auf eine KI im Gespräch

Beschäftigte rufen den Assistenten in ihrer Büroanwendung bewusst auf, sodass offensichtlich ist, dass sie mit einem KI-System arbeiten.

Pflichten und Einzelheiten zu Art. 50 Abs. 1: Hinweis auf eine KI im Gespräch
Allgemein lautet die Bedingung
Greift, wenn Menschen direkt mit dem System schreiben oder sprechen und nicht offensichtlich ist, dass sie es mit einer KI zu tun haben.
Wer die Pflichten trägt
Anbieter, Produkthersteller

Die Pflichten im Einzelnen

Ihr System im Schnellprüfer einordnen Alle Pflichten im Pflichtenkompass

Übergreifende Bedrohungen

Diese Bedrohungen prüfen Sie bei jedem KI-System, egal wofür es eingesetzt wird.

Warum diese Bedrohungen immer dazugehören

Abweichende Systemmerkmale

3 weitere Fragen ansehen

Trifft eine dieser Fragen bei Ihrem System doch zu, kommen die genannten Bedrohungen hinzu.

  • Legt das System seine nächsten Arbeitsschritte selbst fest, je nachdem, was vorher herauskam?

    Der Assistent erledigt einzelne Aufträge und plant keine eigenen Arbeitsschritte.

    Wenn ja, kommt hinzu

  • Können Menschen außerhalb Ihrer Organisation das System nutzen, auch ohne Anmeldung?

    Wenn ja, kommt hinzu

  • Soll das System eine vorgegebene Kennzahl möglichst verbessern, etwa Umsatz, Auslastung oder Klicks?

    Wenn ja, kommt hinzu

Quellen

Verwandte Anwendungsfälle

Ebenfalls im Einsatzgebiet Büroarbeit und Wissensmanagement

Stand: 30. September 2026. Regelwerk der Prüfliste in Fassung 0.3.2, Bedrohungskatalog in Fassung 2026.10.24.2. Wie diese Seiten aufgebaut sind