Englisch: Enterprise generative AI assistant
Beschäftigte entwerfen, überarbeiten, übersetzen und kürzen Texte mit einem Sprachmodell, das ihnen die Organisation in einer abgesicherten Umgebung bereitstellt.
Den Anwendungsfall verstehen
Sie schreiben ihre Aufträge in normaler Sprache und erhalten Entwürfe, die sie selbst prüfen und weiterverwenden. Eine Landesverwaltung, die Bundesagentur für Arbeit und eine Stadtverwaltung setzen solche Assistenten ein.
Die Seite beschreibt einen typischen Aufbau. Die tatsächlichen Datenwege und Befugnisse ergeben sich aus Ihrer Umsetzung.
Aufbau und Datenwege
Beschäftigte geben einen Auftrag ein und hängen bei Bedarf Texte oder Dateien an.
Beschäftigte fügen E-Mails, Webseiten und Dokumente Dritter ein, um sie bearbeiten zu lassen. Viele Assistenten nehmen neben Text auch Bilder, Tabellen oder gesprochene Eingaben an.
Ein Sprachmodell liest Auftrag und Material und formuliert eine Antwort.
Das Sprachmodell verarbeitet den Auftrag zusammen mit dem mitgegebenen Kontext und erzeugt den Text schrittweise. Es unterscheidet dabei nicht automatisch zwischen einer belegten Aussage und einer plausiblen Formulierung. Eine Recherche in freigegebenen Quellen ist ein zusätzlicher Verarbeitungsschritt, sofern sie eingebunden ist.
Zurück kommt ein Entwurf, eine Zusammenfassung oder eine Übersetzung.
Ein generiertes Ergebnis ist neu formuliert oder erzeugt. Für seine Einordnung muss erkennbar bleiben, auf welchem Auftrag und welchem Kontext es beruht.
Beschäftigte übernehmen den Text in Schreiben, Vermerke oder Präsentationen, die intern oder nach außen gehen.
Das Modell liefert Informationen zur Weiterverwendung. Die Auswahl, Übernahme oder fachliche Entscheidung im anschließenden Arbeitsablauf ist ein eigener Schritt und sollte dem Modell nicht automatisch zugerechnet werden.
Aufbau aktiv erkunden: Wählen Sie einen Baustein, um seine Aufgabe, die ein- und ausgehenden Daten und die Einbindung im Anwendungsfall zu sehen. Der geführte Ablauf erläutert jede Phase. Mit Ja, Offen und Nein können Sie anschließend Ihre konkrete Systemvariante abbilden.
22 zuerst zu prüfen15 zu klären8 Grundlagen
Das Bild zeigt den Anwendungsfall, wie er typischerweise gebaut ist. Wählen Sie einen Baustein, um zu sehen, was dort geschieht, und stellen Sie seine Merkmale auf Ihr System um. Mit „Analysehinweise“ sehen Sie anschließend, welche Prüfkandidaten zu diesem Aufbau gehören. Die Prüfliste der Seite bleibt auf den typischen Fall bezogen.
Noch keine. Jede Umstellung erscheint hier.
Im gezeigten Aufbau: 22 zuerst zu prüfen, 15 zu klären, 8 Grundlagen.
Zugang von außen: Hängt von Ihrem System ab
Zu klären
Eingabe: Gehört zu jedem KI-System
Zuerst prüfen
Zu klären
Grundlage für jedes KI-System
Inhalte Dritter: Vorhanden
Zuerst prüfen
KI-Modell: Gehört zu jedem KI-System
Zuerst prüfen
Grundlage für jedes KI-System
Dienst eines Anbieters: Vorhanden
Zuerst prüfen
Zu klären
Dokumentensammlung: Hängt von Ihrem System ab
Zu klären
Gedächtnis: Hängt von Ihrem System ab
Zu klären
Training und Rückmeldung: Hängt von Ihrem System ab
Zu klären
Werkzeuge und Schnittstellen: Hängt von Ihrem System ab
Zu klären
Ergebnis: Gehört zu jedem KI-System
Zuerst prüfen
Zu klären
Grundlage für jedes KI-System
Mensch: Gehört zu jedem KI-System
Zuerst prüfen
Betroffene Person: Hängt von Ihrem System ab
KI-Dienste ohne Freigabe: Hängt von Ihrem System ab
Zu klären
Lieferkette und technische Basis: 5 Grundlagen, die für jedes KI-System gelten
Grundlage für jedes KI-System
KI-Assistent in Büroanwendungen
Greift mit den Rechten der angemeldeten Person auf Postfach, Kalender und Ablage zu
KI-Wissensassistent (Enterprise Search)
Beantwortet Fragen aus einem festgelegten Dokumentbestand und nennt die Fundstellen
Textanalyse von Rückmeldungen und Stellungnahmen (Text Analytics)
Wertet viele freie Texte aus Umfragen, Beschwerden oder Beteiligungen gebündelt aus
Beschäftigte fügen E-Mails, Webseiten und Dokumente Dritter ein, um sie bearbeiten zu lassen. Schreiben, die umformuliert oder zusammengefasst werden sollen, nennen oft Kundinnen und Kunden, Bürgerinnen und Bürger oder Kolleginnen und Kollegen.
Das Sprachmodell stammt in der Regel von einem anderen Anbieter, auch wenn es in der eigenen Umgebung läuft.
Einige Assistenten durchsuchen hochgeladene Dateien oder das Internet. Manche Assistenten merken sich Angaben aus früheren Unterhaltungen und greifen später darauf zurück.
Manche Assistenten starten selbst eine Websuche oder rufen andere Dienste auf. Läuft das Sprachmodell bei einem Clouddienst, verlassen die Eingaben die eigene Umgebung.
Ein eingebundener Anbieter legt den Verarbeitungsort nicht automatisch fest. Speicherort, Unterauftragnehmer, Löschfristen und die Nutzung für Training sind im konkreten Betrieb zu prüfen.
Risiken einordnen und Maßnahmen festlegen
Daten, Beteiligte, Schnittstellen und Rechte erfassen. Offene Merkmale im Modell klären.
Prüfkandidaten auf die tatsächlichen Datenwege beziehen: Was könnte passieren und wer wäre betroffen?
Auswirkungen und Eintrittswahrscheinlichkeit im Einsatzkontext bewerten. Die Anzahl der Prüfkandidaten ist kein Risikowert.
Geeignete Kontrollen auswählen, Verantwortliche und Wirksamkeitsprüfungen festlegen. Restrisiken und Freigaben dokumentieren.
Insgesamt kommen bei diesem Anwendungsfall 45 Bedrohungen aus dem Bedrohungskatalog infrage.
Eine Beschäftigte lässt eine eingegangene E-Mail zusammenfassen, in der versteckte Anweisungen stehen. Der Assistent befolgt sie und liefert eine verfälschte Zusammenfassung oder eine irreführende Empfehlung.
Offenlegung sensibler Informationen
Beschäftigte fügen Personalunterlagen, Verträge oder Quellcode ein, um sie bearbeiten zu lassen. Speichert der Dienst die Eingaben oder gelangen sie zum Anbieter, verlassen vertrauliche Inhalte die Organisation.
Übermäßiges Vertrauen in das KI-System
Die Entwürfe klingen sicher und sind sprachlich glatt. Wer sie unter Zeitdruck übernimmt, schaut sich Inhalt und Quellen nicht mehr an.
Faktische Fehler (Halluzinationen)
Der Assistent nennt in einem Entwurf eine Vorschrift, ein Urteil oder eine Zahl, die es nicht gibt. Übernimmt jemand den Text, landet der Fehler in einem Schreiben an Kundinnen und Kunden oder Bürgerinnen und Bürger.
Über Trainingsdaten oder ein übernommenes Grundmodell kann das Modell versteckte Auslöser für Fehlverhalten enthalten.
Steht hier wegen dieser Eigenschaft
Sleepy Agent (zeit-/ereignisgetriggerte verdeckte Instruktionen)
Ein Modell, das Anweisungen befolgt, kann sein Verhalten zu einem bestimmten Zeitpunkt oder bei einem bestimmten Ereignis ändern.
Steht hier wegen dieser Eigenschaft
Nutzerinnen und Nutzer können mit ihren Eingaben die Arbeitsanweisungen des Systems aushebeln.
Steht hier wegen dieser Eigenschaft
Wer das System Inhalte erzeugen lässt, kann versuchen, die vorgesehenen Grenzen zu umgehen.
Steht hier wegen dieser Eigenschaft
Geschickte Abfragen können die Arbeitsanweisungen des Systems offenlegen. Sie dürfen deshalb keine Geheimnisse enthalten.
Steht hier wegen dieser Eigenschaft
Denial-of-Service auf das Modell
Aufwendige oder massenhafte Eingaben können die Rechenleistung des Modells erschöpfen.
Steht hier wegen dieser Eigenschaft
Mit gezielten Abfragen lassen sich personenbezogene und schutzbedürftige Trainingsdaten teilweise aus dem Modell zurückgewinnen.
Steht hier wegen dieser Eigenschaften
Exfiltration aus der ML-Anwendung
Schutzbedürftige Daten können über Werkzeuge, Netzverbindungen, Speicher oder Innentäter abfließen.
Steht hier wegen dieser Eigenschaft
Frei erzeugte Inhalte können diskriminierende oder hasserfüllte Aussagen enthalten.
Steht hier wegen dieser Eigenschaften
Frei formulierte Antworten können im Ton danebenliegen.
Steht hier wegen dieser Eigenschaften
Gewalt / gefährliche Handlungen
Frei erzeugte Inhalte können Gewalt darstellen oder bei gefährlichen Handlungen helfen.
Steht hier wegen dieser Eigenschaften
Antworten zu umstrittenen Themen brauchen unter Umständen eine eigene redaktionelle Prüfung.
Steht hier wegen dieser Eigenschaften
Frei erzeugte Inhalte können rechtswidrige Handlungen erleichtern. Wie streng Sie prüfen, hängt von Zweck und Nutzerkreis ab.
Steht hier wegen dieser Eigenschaften
Frei erzeugte Inhalte können zur Belästigung verwendet werden.
Steht hier wegen dieser Eigenschaften
Frei erzeugte Vorschläge können im konkreten Einsatz ethische Grenzen überschreiten.
Steht hier wegen dieser Eigenschaften
Erzeugte Bilder, Stimmen und Texte lassen sich nutzen, um zu täuschen oder Personen nachzuahmen.
Steht hier wegen dieser Eigenschaften
Erzeugte Inhalte können Betrug erleichtern, etwa mit gefälschten Nachrichten oder Dokumenten.
Steht hier wegen dieser Eigenschaften
Künstlich erzeugte Inhalte können als echt ausgegeben und irreführend verbreitet werden.
Steht hier wegen dieser Eigenschaften
Je nach Aufbau Ihres Systems kommen bis zu 15 weitere hinzu. Neun Bedrohungen prüfen Sie bei jedem KI-System. Eine davon ist hier besonders wichtig und steht deshalb oben.
Jedes Ja setzt weitere Bedrohungen auf Ihre Prüfliste, insgesamt bis zu 15. Können Sie eine Frage noch nicht beantworten, prüfen Sie die Bedrohungen mit.
Wie Ihr System gebaut ist
Wie Sie das System betreiben
Manche Assistenten erzeugen auf Wunsch auch Bilder; reine Textassistenten tun das nicht.
Wenn ja, kommt hinzu
Einige Assistenten durchsuchen hochgeladene Dateien oder das Internet.
Wenn ja, kommt hinzu
Wenn ja, kommt hinzu
Manche Assistenten merken sich Angaben aus früheren Unterhaltungen und greifen später darauf zurück.
Wenn ja, kommt hinzu
Manche Assistenten starten selbst eine Websuche oder rufen andere Dienste auf.
Wenn ja, kommt hinzu
Die meisten Betreiber nutzen das Sprachmodell unverändert; einige verfeinern es mit eigenen Texten.
Wenn ja, kommt hinzu
Wenn ja, kommt hinzu
Bewerten Beschäftigte die Antworten, kann das in die Verbesserung des Dienstes einfließen.
Wenn ja, kommt hinzu
Viele Assistenten nehmen neben Text auch Bilder, Tabellen oder gesprochene Eingaben an.
Wenn ja, kommt hinzu
Beschäftigte lassen sich auch Tabellenformeln, Skripte oder Datenbankabfragen schreiben.
Wenn ja, kommt hinzu
Manche Assistenten führen Programmcode selbst aus, etwa um Tabellen auszuwerten.
Wenn ja, kommt hinzu
Diese Fragen stellen sich bei fast jedem KI-System.
Wenn ja, kommt hinzu
Wenn ja, kommt hinzu
Bei einem Clouddienst kostet jede Anfrage Geld.
Wenn ja, kommt hinzu
Wenn ja, kommt hinzu
Steht kein freigegebener Assistent bereit, nutzen Beschäftigte oft öffentliche Dienste mit privaten Konten.
Wenn ja, kommt hinzu
Maßnahmen zu den Prüfschwerpunkten sind direkt geöffnet. Die verlinkten Maßnahmen erläutern jeweils die Umsetzung.
Maßnahmen gegen die übrigen Bedrohungen finden Sie auf deren Seiten im Bedrohungskatalog.
Für jedes KI-System Gilt seit dem 2. Februar 2025.
Je nach Einsatz Prüfanlass seit dem 2. August 2025.
Je nach Einsatz Prüfanlass seit dem 2. August 2026.
Je nach Einsatz Prüfanlass seit dem 2. August 2026.
Greift, wenn Beschäftigte oder Beauftragte KI-Systeme betreiben oder nutzen.
Gilt seit dem 2. Februar 2025.
Die Pflichten im Einzelnen
Greift, wenn Ihre Organisation den Assistenten selbst entwickelt und unter eigenem Namen bereitstellt.
Gilt seit dem 2. August 2026.
Die Pflichten im Einzelnen
Greift, wenn mit dem Assistenten erstellte Texte zu Themen von öffentlichem Interesse veröffentlicht werden und niemand sie redaktionell prüft und verantwortet.
Gilt seit dem 2. August 2026.
Die Pflichten im Einzelnen
Greift, wenn Ihre Organisation ein großes Sprachmodell oder ein anderes Allzweckmodell eines fremden Anbieters in einen eigenen Assistenten einbaut.
Gilt seit dem 2. August 2025.
Die Pflichten im Einzelnen
Beschäftigte rufen den Assistenten bewusst auf, sodass offensichtlich ist, dass sie mit einem KI-System arbeiten.
Die Pflichten im Einzelnen
Ihr System im Schnellprüfer einordnen Alle Pflichten im Pflichtenkompass
Diese Bedrohungen prüfen Sie bei jedem KI-System, egal wofür es eingesetzt wird.
Trifft eine dieser Fragen bei Ihrem System doch zu, kommen die genannten Bedrohungen hinzu.
Nutzt das System ein Begriffsnetz (Wissensgraph), in dem Begriffe und ihre Beziehungen gespeichert sind?
Wenn ja, kommt hinzu
Legt das System seine nächsten Arbeitsschritte selbst fest, je nachdem, was vorher herauskam?
Jeder Auftrag steht für sich; der Assistent plant keine eigenen Arbeitsschritte.
Wenn ja, kommt hinzu
Gibt das System Aufgaben an andere KI-Agenten weiter oder übernimmt es deren Ergebnisse?
Wenn ja, kommt hinzu
Ist das System über das Model Context Protocol (MCP) an Werkzeuge oder Datenquellen angebunden?
Wenn ja, kommt hinzu
Liegen Dokumente mehrerer Kunden, Abteilungen oder Berechtigungsgruppen im selben Suchspeicher?
Wenn ja, kommt hinzu
Können Menschen außerhalb Ihrer Organisation das System nutzen, auch ohne Anmeldung?
Der Assistent steht nur Beschäftigten offen, nicht Kundinnen und Kunden oder Bürgerinnen und Bürgern.
Wenn ja, kommt hinzu
Soll das System eine vorgegebene Kennzahl möglichst verbessern, etwa Umsatz, Auslastung oder Klicks?
Wenn ja, kommt hinzu
Staatsministerium Baden-Württemberg, KI-Assistenz F13 wird zur Open-Source-Software, 23. Juli 2025
Alle Beschäftigten der Landesverwaltung können mit F13 chatten, Texte zusammenfassen und recherchieren.
Algoritmeregister NL, ChatAmsterdam, Gemeente Amsterdam
Die Stadt Amsterdam betreibt einen generativen Assistenten in einer abgesicherten Umgebung.
Die Bundesagentur für Arbeit stellt allen Beschäftigten eine Lösung mit generativer KI bereit, die Texte an ihren Sprachleitfaden anpasst.
Von den Unternehmen, die KI nutzen, setzen 35 Prozent Techniken zur Erzeugung natürlicher Sprache ein.
Bundesamt für Sicherheit in der Informationstechnik (BSI), Generative KI-Modelle, 2025
Das BSI erklärt große Sprachmodelle und beschreibt ihre Risiken für Unternehmen und Behörden.
AI Incident Database, Incident 768 (Samsung)
Beschäftigte von Samsung gaben Quellcode und Besprechungsnotizen in ChatGPT ein.
Stand: 30. September 2026. Regelwerk der Prüfliste in Fassung 0.3.2, Bedrohungskatalog in Fassung 2026.10.24.2. Wie diese Seiten aufgebaut sind