Eingabedaten und Informationsquellen
Vorlagen wie Fotos, Stimmaufnahmen oder Referenzbilder stammen oft von Dritten. Zeigen die Vorlagen oder Ergebnisse echte Personen, verarbeitet das System deren Bild oder Stimme.
Generierung von Bildern, Videos und Stimmen
Englisch: Generative media (image, video, audio)
Aus einer kurzen Beschreibung erzeugt oder verändert das System Bilder, Videos und Ton, etwa für Werbung und Kommunikation.
Den Anwendungsfall verstehen
Was macht diesen Anwendungsfall aus?
Aus einer Beschreibung oder einer Vorlage entstehen neue Bilder, Filmszenen oder Stimmen, die sich von echten Aufnahmen kaum unterscheiden lassen. Große Marken lassen damit Werbefilme und Werbebilder herstellen.
Die Seite beschreibt einen typischen Aufbau. Die tatsächlichen Datenwege und Befugnisse ergeben sich aus Ihrer Umsetzung.
- Bauform
- Generierung von Medien
- Handlungsmacht
- Liefert Ergebnisse zur Weiterverwendung
- Einsatzfelder
- Marketing, Getränkeindustrie, Zahlungsdienste
- Auch bekannt als
- Text-zu-Bild, synthetische Medien, KI-Video, Deepfake, Stimmklon
Funktionsweise und Ablauf
Aufbau und Datenwege
Eingabedaten
Eine Person beschreibt das gewünschte Motiv in Worten und hängt bei Bedarf Fotos, Videos oder Stimmaufnahmen als Vorlage an.
Vorlagen wie Fotos, Stimmaufnahmen oder Referenzbilder stammen oft von Dritten. Bearbeitet das System vorhandene Bilder oder Videos nach einer Beschreibung, verarbeitet es Bild und Text zusammen.
Verarbeitung
Ein generatives Modell erzeugt daraus neue Bilder, Filmszenen oder Töne oder verändert die Vorlage.
Ein generatives Modell verarbeitet die Beschreibung und gegebenenfalls Referenzmaterial und erzeugt daraus neue Bild-, Ton- oder Videoinhalte. Der Generierungsprozess kann mehrere Varianten und Bearbeitungsschritte umfassen. Das Ergebnis ist erzeugtes Material und kein Nachweis, dass eine dargestellte Szene tatsächlich stattgefunden hat.
Ergebnisse
Die fertigen Bilder, Videos oder Tonspuren ähneln echten Aufnahmen oft täuschend.
Ein generiertes Ergebnis ist neu formuliert oder erzeugt. Für seine Einordnung muss erkennbar bleiben, auf welchem Auftrag und welchem Kontext es beruht.
Nutzung und Auswirkungen
Die Ergebnisse erscheinen in Werbung, sozialen Medien und Kommunikation und prägen, was Menschen für echt halten.
Das Modell liefert Informationen zur Weiterverwendung. Die Auswahl, Übernahme oder fachliche Entscheidung im anschließenden Arbeitsablauf ist ein eigener Schritt und sollte dem Modell nicht automatisch zugerechnet werden.
Aufbau aktiv erkunden: Wählen Sie einen Baustein, um seine Aufgabe, die ein- und ausgehenden Daten und die Einbindung im Anwendungsfall zu sehen. Der geführte Ablauf erläutert jede Phase. Mit Ja, Offen und Nein können Sie anschließend Ihre konkrete Systemvariante abbilden.
16 zuerst zu prüfen16 zu klären9 Grundlagen
- Vorhanden
- Hängt von Ihrem System ab
- Nicht vorhanden
- Zuerst zu prüfen
- Zu klären
So nutzen Sie das Modell
Das Bild zeigt den Anwendungsfall, wie er typischerweise gebaut ist. Wählen Sie einen Baustein, um zu sehen, was dort geschieht, und stellen Sie seine Merkmale auf Ihr System um. Mit „Analysehinweise“ sehen Sie anschließend, welche Prüfkandidaten zu diesem Aufbau gehören. Die Prüfliste der Seite bleibt auf den typischen Fall bezogen.
Abweichungen vom typischen Fall
Noch keine. Jede Umstellung erscheint hier.
Wo die meisten Bedrohungen ansetzen
- 11 zuerst zu prüfen, 3 zu klären
- 5 zu klären
- 3 zuerst zu prüfen
- 1 zuerst zu prüfen, 2 zu klären
Im gezeigten Aufbau: 16 zuerst zu prüfen, 16 zu klären, 9 Grundlagen.
Aufbau als Liste
Zugang von außen: Hängt von Ihrem System ab
Zu klären
Eingabe: Gehört zu jedem KI-System
Zu klären
Grundlage für jedes KI-System
Inhalte Dritter: Vorhanden
Zuerst prüfen
KI-Modell: Gehört zu jedem KI-System
Zuerst prüfen
- Sleepy Agent (zeit-/ereignisgetriggerte verdeckte Instruktionen)
- Prompt Injection: Direkt
- Extraktion des Meta-Prompts
Grundlage für jedes KI-System
Dienst eines Anbieters: Vorhanden
Zuerst prüfen
Zu klären
Training und Rückmeldung: Hängt von Ihrem System ab
Zu klären
Ergebnis: Gehört zu jedem KI-System
Zuerst prüfen
- Jailbreaks Prüfschwerpunkt
- Sexuelle Inhalte Prüfschwerpunkt
- Desinformation Prüfschwerpunkt
- Denial-of-Service auf das Modell
- Hassrede und Diskriminierung
- Gewalt / gefährliche Handlungen
- Rechtswidrige Handlungen
- Belästigung
- Unethisches Verhalten
- Social Engineering
- Betrug
Zu klären
Grundlage für jedes KI-System
Mensch: Gehört zu jedem KI-System
Grundlage für jedes KI-System
KI-Dienste ohne Freigabe: Hängt von Ihrem System ab
Zu klären
Lieferkette und technische Basis: 5 Grundlagen, die für jedes KI-System gelten
Grundlage für jedes KI-System
Abgrenzung zu ähnlichen Anwendungsfällen
Chatbot und Voicebot im Kundenservice
Spricht im Dialog mit Kundinnen und Kunden, auch mit synthetischer Stimme
Generativer KI-Assistent für Beschäftigte
Erzeugt vor allem Texte und nur nebenbei ein Bild
Daten und Informationen
Verarbeitung und Betriebsumgebung
Die Generatoren stammen von Anbietern wie Midjourney, OpenAI oder Adobe.
Speicherung und weitere Nutzung
Manche Betreiber verfeinern den Generator mit eigenen Bildern, etwa für einen einheitlichen Markenauftritt.
Ergebnisse und Datenweitergabe
Bei einem Clouddienst verlassen Beschreibungen und Vorlagen die eigene Umgebung.
Ein eingebundener Anbieter legt den Verarbeitungsort nicht automatisch fest. Speicherort, Unterauftragnehmer, Löschfristen und die Nutzung für Training sind im konkreten Betrieb zu prüfen.
Risiken einordnen und Maßnahmen festlegen
Vom Systemverständnis zur Risikoanalyse
- System abgrenzen
Daten, Beteiligte, Schnittstellen und Rechte erfassen. Offene Merkmale im Modell klären.
- Bedrohungen untersuchen
Prüfkandidaten auf die tatsächlichen Datenwege beziehen: Was könnte passieren und wer wäre betroffen?
- Risiko bewerten
Auswirkungen und Eintrittswahrscheinlichkeit im Einsatzkontext bewerten. Die Anzahl der Prüfkandidaten ist kein Risikowert.
- Maßnahmen nachweisen
Geeignete Kontrollen auswählen, Verantwortliche und Wirksamkeitsprüfungen festlegen. Restrisiken und Freigaben dokumentieren.
Wichtige Bedrohungen im Anwendungskontext
- 3 besonders wichtig
- 13 üblich
- 16 je nach System
- 9 bei jedem KI-System
Insgesamt kommen bei diesem Anwendungsfall 41 Bedrohungen aus dem Bedrohungskatalog infrage.
Vorrangige Prüfansätze
Jemand lädt das Foto einer Kollegin hoch und lässt daraus ein freizügiges Bild erzeugen. Verhindert das Werkzeug das nicht, entsteht eine intime Darstellung ohne Einwilligung, die die Person schwer verletzt.
Ein Werbevideo zeigt eine realistisch wirkende Szene mit einer bekannten Person, die so nie stattgefunden hat. Fehlt der Hinweis auf die KI, halten Zuschauerinnen und Zuschauer sie für echt und verbreiten sie weiter.
Mit geschickt umschriebenen Beschreibungen umgehen Nutzerinnen und Nutzer die Sperren des Generators. Er erzeugt dann Gewaltdarstellungen oder geschützte Marken, die dem Betreiber zugerechnet werden.
13 weitere Prüfkandidaten im typischen Aufbau
Weitere relevante Bedrohungen
Über Trainingsdaten oder ein übernommenes Grundmodell kann das Modell versteckte Auslöser für Fehlverhalten enthalten.
Steht hier wegen dieser Eigenschaft
- Nutzt ein Modell eines anderen Anbieters
Sleepy Agent (zeit-/ereignisgetriggerte verdeckte Instruktionen)
Ein Modell, das Anweisungen befolgt, kann sein Verhalten zu einem bestimmten Zeitpunkt oder bei einem bestimmten Ereignis ändern.
Steht hier wegen dieser Eigenschaft
- Führt Aufträge in normaler Sprache aus
Nutzerinnen und Nutzer können mit ihren Eingaben die Arbeitsanweisungen des Systems aushebeln.
Steht hier wegen dieser Eigenschaft
- Führt Aufträge in normaler Sprache aus
Steht in einem Dokument oder Werkzeugergebnis eine Anweisung, kann das Modell sie wie eine eigene Arbeitsanweisung befolgen.
Steht hier wegen dieser Eigenschaften
- Führt Aufträge in normaler Sprache aus
- Verarbeitet Inhalte, die Außenstehende verfassen können
Geschickte Abfragen können die Arbeitsanweisungen des Systems offenlegen. Sie dürfen deshalb keine Geheimnisse enthalten.
Steht hier wegen dieser Eigenschaft
- Führt Aufträge in normaler Sprache aus
Denial-of-Service auf das Modell
Aufwendige oder massenhafte Eingaben können die Rechenleistung des Modells erschöpfen.
Steht hier wegen dieser Eigenschaft
- Erzeugt Bilder, Töne oder Videos
Frei erzeugte Inhalte können diskriminierende oder hasserfüllte Aussagen enthalten.
Steht hier wegen dieser Eigenschaften
- Erzeugt Bilder, Töne oder Videos
- Erzeugt Inhalte auf freie Anfrage
Gewalt / gefährliche Handlungen
Frei erzeugte Inhalte können Gewalt darstellen oder bei gefährlichen Handlungen helfen.
Steht hier wegen dieser Eigenschaften
- Erzeugt Bilder, Töne oder Videos
- Erzeugt Inhalte auf freie Anfrage
Frei erzeugte Inhalte können rechtswidrige Handlungen erleichtern. Wie streng Sie prüfen, hängt von Zweck und Nutzerkreis ab.
Steht hier wegen dieser Eigenschaften
- Erzeugt Bilder, Töne oder Videos
- Erzeugt Inhalte auf freie Anfrage
Frei erzeugte Inhalte können zur Belästigung verwendet werden.
Steht hier wegen dieser Eigenschaften
- Erzeugt Bilder, Töne oder Videos
- Erzeugt Inhalte auf freie Anfrage
Frei erzeugte Vorschläge können im konkreten Einsatz ethische Grenzen überschreiten.
Steht hier wegen dieser Eigenschaften
- Erzeugt Bilder, Töne oder Videos
- Erzeugt Inhalte auf freie Anfrage
Erzeugte Bilder, Stimmen und Texte lassen sich nutzen, um zu täuschen oder Personen nachzuahmen.
Steht hier wegen dieser Eigenschaft
- Erzeugt Bilder, Töne oder Videos
Erzeugte Inhalte können Betrug erleichtern, etwa mit gefälschten Nachrichten oder Dokumenten.
Steht hier wegen dieser Eigenschaft
- Erzeugt Bilder, Töne oder Videos
Je nach Aufbau Ihres Systems kommen bis zu 16 weitere hinzu. Neun Bedrohungen prüfen Sie bei jedem KI-System.
Systemmerkmale und offene Fragen
Jedes Ja setzt weitere Bedrohungen auf Ihre Prüfliste, insgesamt bis zu 16. Können Sie eine Frage noch nicht beantworten, prüfen Sie die Bedrohungen mit.
- Kommt mit diesem Ja hinzu
- Braucht zusätzlich ein Ja auf eine andere Frage
Wie Ihr System gebaut ist
- Schreibt eigene Texte3 Bedrohungen, 1 weitere nur zusammen mit weiteren Merkmalen
- Verarbeitet vertrauliche Daten3 Bedrohungen
- Verarbeitet personenbezogene Daten2 Bedrohungen
- Verwertet Rückmeldungen aus dem Betrieb2 Bedrohungen
- Lernt aus Ihren eigenen Daten1 Bedrohung, 1 weitere nur zusammen mit weiteren Merkmalen
- Erkennt oder vergleicht Personen an Körpermerkmalen1 Bedrohung
- Lernt aus Beispielen mit richtiger Antwort1 Bedrohung
- Verarbeitet Text, Bild und Sprache gemeinsam1 Bedrohung
Wie Sie das System betreiben
- Ist für Menschen außerhalb der Organisation nutzbar5 Bedrohungen
- Nimmt Anfragen direkt über eine Schnittstelle an3 Bedrohungen, 1 weitere nur zusammen mit weiteren Merkmalen
- Ist über ein Netzwerk erreichbar1 Bedrohung, 1 weitere nur zusammen mit weiteren Merkmalen
- Verursacht mit jeder Anfrage Kosten1 Bedrohung
- Gibt Inhalte an Dienste außerhalb der eigenen Umgebung weiter1 Bedrohung
- Teilt Rechenleistung mit anderen Kunden oder Anwendungen1 Bedrohung
- Neben KI-Diensten ohne Freigabe im Einsatz1 Bedrohung
Wie Ihr System gebaut ist
Schreibt das System eigene Texte, etwa Antworten, Entwürfe oder Zusammenfassungen?
Manche Werkzeuge schreiben auch Drehbücher, Werbetexte oder Untertitel.
Wenn ja, kommt hinzu
Verarbeitet das System Angaben zu erkennbaren Personen, auch in Eingaben, Ausgaben oder Protokollen?
Zeigen die Vorlagen oder Ergebnisse echte Personen, verarbeitet das System deren Bild oder Stimme.
Wenn ja, kommt hinzu
Verarbeitet das System vertrauliche Informationen, etwa Geschäftsgeheimnisse, Gesundheits- oder Finanzdaten?
Wenn ja, kommt hinzu
Nutzt das System Gesicht, Stimme, Fingerabdruck oder andere Körpermerkmale, um Personen zu erkennen oder zu vergleichen?
Bildet das System Stimme oder Gesicht einer bestimmten Person nach, arbeitet es mit ihren Körpermerkmalen.
Wenn ja, kommt hinzu
Trainiert oder verfeinert Ihre Organisation das Modell selbst mit eigenen Daten?
Manche Betreiber verfeinern den Generator mit eigenen Bildern, etwa für einen einheitlichen Markenauftritt.
Wenn ja, kommt hinzu
Wird das Modell mit Beispielen trainiert, denen jemand die richtige Antwort zugeordnet hat?
Wenn ja, kommt hinzu
Fließen Rückmeldungen oder Ergebnisse aus dem Betrieb später in Auswertung oder Training ein?
Wenn ja, kommt hinzu
Verarbeitet das System mehrere Arten von Eingaben zusammen, etwa Text mit Bild oder Sprache?
Bearbeitet das System vorhandene Bilder oder Videos nach einer Beschreibung, verarbeitet es Bild und Text zusammen.
Wenn ja, kommt hinzu
Wie Sie das System betreiben
Diese Fragen stellen sich bei fast jedem KI-System.
Können Personen oder Programme dem Modell direkt Anfragen stellen, zum Beispiel über eine Schnittstelle?
Wenn ja, kommt hinzu
Ist das System über ein Netzwerk erreichbar oder auf Dienste im Netz angewiesen?
Wenn ja, kommt hinzu
Zahlen Sie je Anfrage oder je Rechenzeit, sodass die Kosten mit der Nutzung steigen?
Bei Clouddiensten kostet jedes erzeugte Bild oder Video Geld.
Wenn ja, kommt hinzu
Können Inhalte die eigene Umgebung verlassen, etwa zu einem Cloud-Anbieter, in eine Websuche oder per E-Mail?
Bei einem Clouddienst verlassen Beschreibungen und Vorlagen die eigene Umgebung.
Wenn ja, kommt hinzu
Teilt sich das System Server oder Rechenleistung mit anderen Kunden oder Anwendungen?
Wenn ja, kommt hinzu
Können Menschen außerhalb Ihrer Organisation das System nutzen, auch ohne Anmeldung?
Bietet eine Organisation den Generator ihren Kundinnen und Kunden an, nutzen ihn auch Außenstehende.
Wenn ja, kommt hinzu
Nutzen Beschäftigte für diese Aufgabe auch KI-Dienste, die Ihre Organisation nicht freigegeben hat?
Agenturen und Beschäftigte nutzen oft frei verfügbare Generatoren mit eigenen Konten.
Wenn ja, kommt hinzu
Maßnahmen und Umsetzung
Maßnahmen zu den Prüfschwerpunkten sind direkt geöffnet. Die verlinkten Maßnahmen erläutern jeweils die Umsetzung.
PrüfschwerpunktSexuelle Inhalte3 Maßnahmen
PrüfschwerpunktDesinformation2 Maßnahmen
PrüfschwerpunktJailbreaks2 Maßnahmen
Backdoor im ML-Modell2 Maßnahmen
Sleepy Agent (zeit-/ereignisgetriggerte verdeckte Instruktionen)3 Maßnahmen
Prompt Injection: Direkt3 Maßnahmen
Prompt Injection: Indirekt3 Maßnahmen
Extraktion des Meta-Prompts2 Maßnahmen
Denial-of-Service auf das Modell3 Maßnahmen
Hassrede und Diskriminierung2 Maßnahmen
Gewalt / gefährliche Handlungen2 Maßnahmen
Rechtswidrige Handlungen3 Maßnahmen
Belästigung3 Maßnahmen
Unethisches Verhalten3 Maßnahmen
Social Engineering3 Maßnahmen
Maßnahmen gegen die übrigen Bedrohungen finden Sie auf deren Seiten im Bedrohungskatalog.
Vorschriften der KI-Verordnung
-
Art. 4: KI-Kompetenz
Für jedes KI-System Gilt seit dem 2. Februar 2025.
-
Art. 53 Abs. 1 Buchst. b, Anhang XII: Eingebautes Allzweckmodell
Je nach Einsatz Prüfanlass seit dem 2. August 2025.
-
Art. 50 Abs. 2: Kennzeichnung künstlich erzeugter Inhalte
Bei typischem Einsatz Prüfanlass seit dem 2. August 2026.
-
Art. 50 Abs. 4: Kennzeichnung von Deepfakes und veröffentlichten Texten
Bei typischem Einsatz Prüfanlass seit dem 2. August 2026.
-
Art. 5 Abs. 1 UAbs. 1 Buchst. ba, Art. 5 Abs. 1a, 1b: Intime Darstellungen ohne Einwilligung
Bei typischem Einsatz Prüfanlass ab dem 2. Dezember 2026.
-
Art. 5 Abs. 1 UAbs. 1 Buchst. bb: Darstellungen sexuellen Missbrauchs von Kindern
Bei typischem Einsatz Prüfanlass ab dem 2. Dezember 2026.
Gilt für jedes KI-System
Art. 4: KI-Kompetenz
Greift, wenn Beschäftigte oder Beauftragte KI-Systeme betreiben oder nutzen.
Gilt seit dem 2. Februar 2025.
Pflichten und Einzelheiten zu Art. 4: KI-Kompetenz
- Wer die Pflichten trägt
- Anbieter, Betreiber, Produkthersteller, Anbieter eines KI-Modells mit allgemeinem Verwendungszweck
Die Pflichten im Einzelnen
Kann beim üblichen Einsatz greifen
Art. 5 Abs. 1 UAbs. 1 Buchst. ba, Art. 5 Abs. 1a, 1b: Intime Darstellungen ohne Einwilligung
Greift, wenn das Werkzeug realistische Bilder, Videos oder Töne bestimmbarer Personen erzeugen oder verändern kann, etwa aus hochgeladenen Fotos.
Gilt ab dem 2. Dezember 2026.
Pflichten und Einzelheiten zu Art. 5 Abs. 1 UAbs. 1 Buchst. ba, Art. 5 Abs. 1a, 1b: Intime Darstellungen ohne Einwilligung
- Allgemein lautet die Bedingung
- Greift, wenn das System realistische Bilder, Videos oder Töne bestimmbarer Personen erzeugen oder verändern kann.
- Zu beachten
- Für Betreiber greift das Verbot nur, wenn sie das System genau zu diesem Zweck verwenden.
- Wer die Pflichten trägt
- Anbieter, Betreiber, Einführer, Händler, Bevollmächtigter, Produkthersteller, Anbieter eines KI-Modells mit allgemeinem Verwendungszweck
Die Pflichten im Einzelnen
Art. 5 Abs. 1 UAbs. 1 Buchst. bb: Darstellungen sexuellen Missbrauchs von Kindern
Greift, wenn das Werkzeug realistische Bilder, Videos oder Töne erzeugen oder verändern kann und nicht wirksam verhindert, dass Darstellungen von Kindern in sexuellem Zusammenhang entstehen.
Gilt ab dem 2. Dezember 2026.
Pflichten und Einzelheiten zu Art. 5 Abs. 1 UAbs. 1 Buchst. bb: Darstellungen sexuellen Missbrauchs von Kindern
- Allgemein lautet die Bedingung
- Greift, wenn das System realistische Bilder, Videos oder Töne erzeugen oder verändern kann.
- Wer die Pflichten trägt
- Anbieter, Betreiber, Einführer, Händler, Bevollmächtigter, Produkthersteller, Anbieter eines KI-Modells mit allgemeinem Verwendungszweck
Die Pflichten im Einzelnen
Art. 50 Abs. 2: Kennzeichnung künstlich erzeugter Inhalte
Greift, wenn Ihre Organisation den Generator selbst anbietet oder unter eigenem Namen bereitstellt. Die erzeugten Bilder, Videos und Töne müssen dann maschinenlesbar gekennzeichnet sein.
Gilt seit dem 2. August 2026.
Pflichten und Einzelheiten zu Art. 50 Abs. 2: Kennzeichnung künstlich erzeugter Inhalte
- Allgemein lautet die Bedingung
- Greift, wenn das System künstliche Texte, Bilder, Töne oder Videos erzeugt.
- Ausnahme
- Ausgenommen ist unter anderem eine übliche Hilfe beim Bearbeiten, die Eingaben oder ihre Bedeutung nicht wesentlich verändert.
- Zu beachten
- Systeme, die vor dem 2. August 2026 auf den Markt kamen, müssen bis zum 2. Dezember 2026 nachgerüstet werden.
- Wer die Pflichten trägt
- Anbieter, Produkthersteller, Anbieter eines KI-Modells mit allgemeinem Verwendungszweck
Die Pflichten im Einzelnen
Art. 50 Abs. 4: Kennzeichnung von Deepfakes und veröffentlichten Texten
Greift, wenn Ihre Organisation Bilder, Videos oder Töne veröffentlicht, die echten Personen, Orten oder Ereignissen täuschend ähnlich sind.
Gilt seit dem 2. August 2026.
Pflichten und Einzelheiten zu Art. 50 Abs. 4: Kennzeichnung von Deepfakes und veröffentlichten Texten
- Allgemein lautet die Bedingung
- Greift, wenn mit dem System Deepfakes entstehen oder KI-Texte zu Themen von öffentlichem Interesse ohne redaktionelle Verantwortung veröffentlicht werden.
- Wer die Pflichten trägt
- Betreiber
Die Pflichten im Einzelnen
Kann bei bestimmtem Einsatz greifen
Art. 53 Abs. 1 Buchst. b, Anhang XII: Eingebautes Allzweckmodell
Greift, wenn Ihre Organisation ein großes Sprachmodell oder ein anderes Allzweckmodell eines fremden Anbieters in ein eigenes Werkzeug zur Bild- oder Videoerzeugung einbaut.
Gilt seit dem 2. August 2025.
Pflichten und Einzelheiten zu Art. 53 Abs. 1 Buchst. b, Anhang XII: Eingebautes Allzweckmodell
- Allgemein lautet die Bedingung
- Greift, wenn ein KI-Modell mit allgemeinem Verwendungszweck eines anderen Anbieters eingebaut ist, etwa ein großes Sprachmodell.
- Zu beachten
- Die Pflichten für das Modell trägt dessen Anbieter. Er muss Ihnen die Informationen nach Anhang XII geben; nutzen Sie sie für Ihre eigene Dokumentation.
- Wer die Pflichten trägt
- Anbieter eines KI-Modells mit allgemeinem Verwendungszweck
Die Pflichten im Einzelnen
Ihr System im Schnellprüfer einordnen Alle Pflichten im Pflichtenkompass
Übergreifende Bedrohungen
Diese Bedrohungen prüfen Sie bei jedem KI-System, egal wofür es eingesetzt wird.
Abweichende Systemmerkmale
14 weitere Fragen ansehen
Trifft eine dieser Fragen bei Ihrem System doch zu, kommen die genannten Bedrohungen hinzu.
Sucht das System in einer eigenen Sammlung von Dokumenten oder Datensätzen nach passenden Inhalten?
Wenn ja, kommt hinzu
Formuliert das System seine Antwort aus gefundenen Dokumenten?
Wenn ja, kommt hinzu
Nutzt das System ein Begriffsnetz (Wissensgraph), in dem Begriffe und ihre Beziehungen gespeichert sind?
Wenn ja, kommt hinzu
Merkt sich das System Inhalte aus früheren Gesprächen oder Aufgaben und nutzt sie später wieder?
Wenn ja, kommt hinzu
Ruft das System selbst andere Programme, Schnittstellen oder Suchdienste auf, auch wenn es dort nur liest?
Wenn ja, kommt hinzu
Kann das System selbst etwas verändern, etwa Daten speichern, Nachrichten senden, Buchungen auslösen oder Rechte vergeben?
Wenn ja, kommt hinzu
Legt das System seine nächsten Arbeitsschritte selbst fest, je nachdem, was vorher herauskam?
Wenn ja, kommt hinzu
Gibt das System Aufgaben an andere KI-Agenten weiter oder übernimmt es deren Ergebnisse?
Wenn ja, kommt hinzu
Ist das System über das Model Context Protocol (MCP) an Werkzeuge oder Datenquellen angebunden?
Wenn ja, kommt hinzu
Liegen Dokumente mehrerer Kunden, Abteilungen oder Berechtigungsgruppen im selben Suchspeicher?
Wenn ja, kommt hinzu
Bewegt oder steuert das System unmittelbar etwas in der physischen Welt, etwa Motoren, Ventile, Fahrzeuge oder Temperaturen?
Wenn ja, kommt hinzu
Erzeugt das System Programmcode, Skripte oder Datenbankabfragen, die weiterverwendet werden?
Wenn ja, kommt hinzu
Führt das System selbst Programme, Skripte oder Befehle aus?
Wenn ja, kommt hinzu
Soll das System eine vorgegebene Kennzahl möglichst verbessern, etwa Umsatz, Auslastung oder Klicks?
Wenn ja, kommt hinzu
Quellen
- Statistik
Von den Unternehmen, die KI nutzen, setzen 52 Prozent Techniken zur Erzeugung von Bildern, Videos oder Ton ein.
- Bericht über einen Einsatz
Marketing Week, Coca-Cola AI version of Holidays Are Coming
Coca-Cola hat einen Werbespot mit generativer KI herstellen lassen.
- Bericht über einen Einsatz
Marketing Dive, Klarna, 29. Mai 2024 Nach Angabe des Betreibers
Klarna erstellt und bearbeitet nach eigener Angabe Werbebilder mit Bildgeneratoren.
- Behörde, Gericht oder Parlament
Bundesamt für Sicherheit in der Informationstechnik (BSI), Generative KI-Modelle, 2025
Das BSI behandelt Bild- und Videogeneratoren als eigene Modellklasse.
- Behörde, Gericht oder Parlament
Europäische Kommission, Fragen und Antworten zu den Transparenzpflichten nach Art. 50 KI-Verordnung
Die Kommission erklärt die Kennzeichnung synthetischer Inhalte und Deepfakes. Systeme, die vor dem 2. August 2026 in Verkehr gebracht wurden, haben bis zum 2. Dezember 2026 Zeit.
Verwandte Anwendungsfälle
Ebenfalls im Einsatzgebiet Kundenkontakt, Marketing und Plattformen
- Chatbot und Voicebot im KundenserviceEin Bot beantwortet Anliegen von Kundinnen und Kunden oder Bürgerinnen und Bürgern im Chat oder am Telefon selbst und gibt schwierige Fälle an Menschen ab.
- EmpfehlungssystemAus Verhalten und Profil einer Person wählt das System Produkte, Inhalte oder Suchtreffer aus und legt fest, in welcher Reihenfolge sie erscheinen.
- Dynamische Preisgestaltung (Dynamic Pricing)Onlinehändler und Plattformen lassen ihre Preise automatisch an Nachfrage, Kosten, Kapazität und die Preise der Konkurrenz anpassen.
- Personalisierte Online-Werbung (Behavioural Targeting)Das System wählt aus Nutzungsverhalten und Profil einer Person aus, welche Anzeigen sie sieht.
- Automatisierte InhaltsmoderationPlattformen lassen rechtswidrige oder regelwidrige Beiträge automatisch finden und entfernen, einschränken oder einem Menschen zur Prüfung vorlegen.
Stand: 30. September 2026. Regelwerk der Prüfliste in Fassung 0.3.2, Bedrohungskatalog in Fassung 2026.10.24.2. Wie diese Seiten aufgebaut sind