Eingabedaten und Informationsquellen
Der Bestand enthält E-Mails, Verträge und Unterlagen, die Außenstehende verfasst haben. E-Mails und Akten nennen Beschäftigte, Beteiligte und Dritte.
E-Discovery und KI-gestützte Dokumentenprüfung (TAR)
Englisch: E-discovery, technology-assisted review (TAR)
Das System sortiert große Dokumentbestände danach, wie wichtig sie vermutlich für eine Untersuchung oder einen Informationsantrag sind, und erleichtert so die Durchsicht.
Den Anwendungsfall verstehen
Was macht diesen Anwendungsfall aus?
Eine britische Aufsichtsbehörde, eine niederländische Provinz und ein US-Ministerium setzen solche Systeme ein.
Die Seite beschreibt einen typischen Aufbau. Die tatsächlichen Datenwege und Befugnisse ergeben sich aus Ihrer Umsetzung.
- Bauform
- Auswertung und Verarbeitung
- Handlungsmacht
- Liefert Ergebnisse zur Weiterverwendung
- Einsatzfelder
- Aufsichtsbehörden, öffentliche Verwaltung
- Auch bekannt als
- Predictive Coding, Technology Assisted Review
Funktionsweise und Ablauf
Aufbau und Datenwege
Eingabedaten
Für eine Untersuchung oder einen Informationsantrag kommt ein großer Bestand aus E-Mails, Dateien und Akten zusammen.
Der Bestand enthält E-Mails, Verträge und Unterlagen, die Außenstehende verfasst haben. E-Mails und Akten nennen Beschäftigte, Beteiligte und Dritte.
Verarbeitung
Fachleute bewerten eine Auswahl, und das Modell lernt daraus laufend, welche Dokumente vermutlich wichtig sind.
Das System bereitet den Dokumentenbestand für Suche und Vergleich auf und bewertet Dokumente anhand der Untersuchungsfrage. Die Ergebnisse dienen etwa zur Priorisierung der Durchsicht. Eine Rangfolge drückt die geschätzte Relevanz aus; sie ersetzt weder die Sichtung des Dokuments noch die fachliche Entscheidung über seine Bedeutung.
Ergebnisse
Das System sortiert die Dokumente nach vermuteter Bedeutung und schätzt, wie viele wichtige noch ungelesen sind.
Das Ergebnis beschreibt die definierte Modellaufgabe. Ein Treffer, eine Kategorie oder eine Prognose erhält seine fachliche Bedeutung erst zusammen mit den zugrunde liegenden Daten und dem vorgesehenen Verwendungszweck.
Nutzung und Auswirkungen
Die Reihenfolge bestimmt, was Menschen lesen, was herausgegeben wird und worauf sich eine Untersuchung stützt.
Das Modell liefert Informationen zur Weiterverwendung. Die Auswahl, Übernahme oder fachliche Entscheidung im anschließenden Arbeitsablauf ist ein eigener Schritt und sollte dem Modell nicht automatisch zugerechnet werden.
Aufbau aktiv erkunden: Wählen Sie einen Baustein, um seine Aufgabe, die ein- und ausgehenden Daten und die Einbindung im Anwendungsfall zu sehen. Der geführte Ablauf erläutert jede Phase. Mit Ja, Offen und Nein können Sie anschließend Ihre konkrete Systemvariante abbilden.
8 zuerst zu prüfen15 zu klären8 Grundlagen
- Vorhanden
- Hängt von Ihrem System ab
- Nicht vorhanden
- Zuerst zu prüfen
- Zu klären
So nutzen Sie das Modell
Das Bild zeigt den Anwendungsfall, wie er typischerweise gebaut ist. Wählen Sie einen Baustein, um zu sehen, was dort geschieht, und stellen Sie seine Merkmale auf Ihr System um. Mit „Analysehinweise“ sehen Sie anschließend, welche Prüfkandidaten zu diesem Aufbau gehören. Die Prüfliste der Seite bleibt auf den typischen Fall bezogen.
Abweichungen vom typischen Fall
Noch keine. Jede Umstellung erscheint hier.
Wo die meisten Bedrohungen ansetzen
- 5 zu klären
- 5 zu klären
- 3 zuerst zu prüfen, 1 zu klären
- 3 zuerst zu prüfen
Im gezeigten Aufbau: 8 zuerst zu prüfen, 15 zu klären, 8 Grundlagen.
Aufbau als Liste
Zugang von außen: Hängt von Ihrem System ab
Zu klären
Eingabe: Gehört zu jedem KI-System
Zuerst prüfen
- Offenlegung sensibler Informationen Prüfschwerpunkt
- Privacy-Angriffe
- Exfiltration aus der ML-Anwendung
Zu klären
Grundlage für jedes KI-System
Inhalte Dritter: Vorhanden
KI-Modell: Gehört zu jedem KI-System
Zu klären
- Sleepy Agent (zeit-/ereignisgetriggerte verdeckte Instruktionen)
- Prompt Injection: Direkt
- Prompt Injection: Indirekt
- Jailbreaks
- Extraktion des Meta-Prompts
Grundlage für jedes KI-System
Dienst eines Anbieters: Vorhanden
Zu klären
Dokumentensammlung: Vorhanden
Zuerst prüfen
Zu klären
Training und Rückmeldung: Vorhanden
Zuerst prüfen
Ergebnis: Gehört zu jedem KI-System
Zu klären
Grundlage für jedes KI-System
Mensch: Gehört zu jedem KI-System
Zuerst prüfen
- Übermäßiges Vertrauen in das KI-System Prüfschwerpunkt
Betroffene Person: Hängt von Ihrem System ab
KI-Dienste ohne Freigabe: Hängt von Ihrem System ab
Zu klären
Lieferkette und technische Basis: 5 Grundlagen, die für jedes KI-System gelten
Grundlage für jedes KI-System
Abgrenzung zu ähnlichen Anwendungsfällen
Automatische Anonymisierung und Schwärzung
Findet und schwärzt nur Personenangaben in bereits ausgewählten Dokumenten
KI-Wissensassistent (Enterprise Search)
Beantwortet Fragen aus einem Dokumentbestand, statt Dokumente zu sortieren
Daten und Informationen
Verarbeitung und Betriebsumgebung
Plattform und Lernverfahren stammen von Anbietern wie Relativity oder ZyLAB.
Speicherung und weitere Nutzung
Das System erschließt den Bestand für die Suche und findet Dokumente, die den bereits als wichtig bewerteten ähneln. In jedem Verfahren lernt das Modell neu aus den Bewertungen der Prüferinnen und Prüfer.
Ergebnisse und Datenweitergabe
Bei einer Cloudplattform liegt der gesamte Untersuchungsbestand beim Anbieter.
Ein eingebundener Anbieter legt den Verarbeitungsort nicht automatisch fest. Speicherort, Unterauftragnehmer, Löschfristen und die Nutzung für Training sind im konkreten Betrieb zu prüfen.
Risiken einordnen und Maßnahmen festlegen
Vom Systemverständnis zur Risikoanalyse
- System abgrenzen
Daten, Beteiligte, Schnittstellen und Rechte erfassen. Offene Merkmale im Modell klären.
- Bedrohungen untersuchen
Prüfkandidaten auf die tatsächlichen Datenwege beziehen: Was könnte passieren und wer wäre betroffen?
- Risiko bewerten
Auswirkungen und Eintrittswahrscheinlichkeit im Einsatzkontext bewerten. Die Anzahl der Prüfkandidaten ist kein Risikowert.
- Maßnahmen nachweisen
Geeignete Kontrollen auswählen, Verantwortliche und Wirksamkeitsprüfungen festlegen. Restrisiken und Freigaben dokumentieren.
Wichtige Bedrohungen im Anwendungskontext
- 3 besonders wichtig
- 5 üblich
- 15 je nach System
- 8 weitere bei jedem KI-System
Insgesamt kommen bei diesem Anwendungsfall 31 Bedrohungen aus dem Bedrohungskatalog infrage.
Vorrangige Prüfansätze
Gezielte Datenvergiftung / Label-Vergiftung
Eine Prüferin kennzeichnet belastende Dokumente versehentlich oder absichtlich als unwichtig. Das Modell lernt daraus und schiebt ähnliche Dokumente ans Ende der Liste, wo niemand sie mehr liest.
Übermäßiges Vertrauen in das KI-System
Die Durchsicht endet, sobald das Modell kaum noch wichtige Dokumente erwartet. Liegt diese Schätzung falsch, bleiben wichtige Unterlagen ungelesen, und niemand bemerkt die Lücke.
Offenlegung sensibler Informationen
Der Bestand vereint Geschäftsgeheimnisse und Personalunterlagen vieler Beteiligter auf einer Plattform. Sind die Zugriffsrechte zu weit gefasst, sehen Prüferinnen, Prüfer oder Dritte mehr, als das Verfahren erfordert.
5 weitere Prüfkandidaten im typischen Aufbau
Weitere relevante Bedrohungen
Über eigenes Training oder Rückmeldungen aus dem Betrieb können manipulierte Daten in die Lerndaten gelangen.
Steht hier wegen dieser Eigenschaften
- Lernt aus Ihren eigenen Daten
- Lernt im Betrieb ohne neue Freigabe weiter
- Verwertet Rückmeldungen aus dem Betrieb
Über Trainingsdaten oder ein übernommenes Grundmodell kann das Modell versteckte Auslöser für Fehlverhalten enthalten.
Steht hier wegen dieser Eigenschaften
- Lernt aus Ihren eigenen Daten
- Nutzt ein Modell eines anderen Anbieters
Mit gezielten Abfragen lassen sich personenbezogene und schutzbedürftige Trainingsdaten teilweise aus dem Modell zurückgewinnen.
Steht hier wegen dieser Eigenschaften
- Verarbeitet personenbezogene Daten
- Verarbeitet vertrauliche Daten
Exfiltration aus der ML-Anwendung
Schutzbedürftige Daten können über Werkzeuge, Netzverbindungen, Speicher oder Innentäter abfließen.
Steht hier wegen dieser Eigenschaft
- Verarbeitet vertrauliche Daten
RAG-spezifische Angriffe (Document Poisoning)
Was in die abrufbare Wissenssammlung gelangt, kann Antworten und nächste Schritte beeinflussen.
Steht hier wegen dieser Eigenschaft
- Durchsucht eine eigene Sammlung von Dokumenten
Je nach Aufbau Ihres Systems kommen bis zu 15 weitere hinzu. Neun Bedrohungen prüfen Sie bei jedem KI-System. Eine davon ist hier besonders wichtig und steht deshalb oben.
Systemmerkmale und offene Fragen
Jedes Ja setzt weitere Bedrohungen auf Ihre Prüfliste, insgesamt bis zu 15. Können Sie eine Frage noch nicht beantworten, prüfen Sie die Bedrohungen mit.
- Kommt mit diesem Ja hinzu
- Braucht zusätzlich ein Ja auf eine andere Frage
Wie Ihr System gebaut ist
- Führt Aufträge in normaler Sprache aus5 Bedrohungen
- Schreibt eigene Texte2 Bedrohungen, 1 weitere nur zusammen mit weiteren Merkmalen
- Verarbeitet Text, Bild und Sprache gemeinsam2 Bedrohungen
- Ein Suchspeicher für mehrere Berechtigungsgruppen1 Bedrohung
Wie Sie das System betreiben
- Nimmt Anfragen direkt über eine Schnittstelle an4 Bedrohungen, 1 weitere nur zusammen mit weiteren Merkmalen
- Ist über ein Netzwerk erreichbar3 Bedrohungen
- Verursacht mit jeder Anfrage Kosten1 Bedrohung
- Teilt Rechenleistung mit anderen Kunden oder Anwendungen1 Bedrohung
- Neben KI-Diensten ohne Freigabe im Einsatz1 Bedrohung
Wie Ihr System gebaut ist
Schreibt das System eigene Texte, etwa Antworten, Entwürfe oder Zusammenfassungen?
Klassische Verfahren sortieren nur. Neuere Plattformen lassen ein Sprachmodell Dokumente zusammenfassen oder begründen, warum sie wichtig sind.
Wenn ja, kommt hinzu
Kann man dem System in normaler Sprache Aufträge geben, die es dann ausführt?
Prüft ein Sprachmodell die Dokumente, befolgt es unter Umständen Anweisungen, die in einem Dokument stehen.
Wenn ja, kommt hinzu
Liegen Dokumente mehrerer Kunden, Abteilungen oder Berechtigungsgruppen im selben Suchspeicher?
Liegen Bestände mehrerer Verfahren oder Mandanten auf derselben Plattform, müssen Suche und Rechte sie trennen.
Wenn ja, kommt hinzu
Verarbeitet das System mehrere Arten von Eingaben zusammen, etwa Text mit Bild oder Sprache?
Wenn ja, kommt hinzu
Wie Sie das System betreiben
Diese Fragen stellen sich bei fast jedem KI-System.
Können Personen oder Programme dem Modell direkt Anfragen stellen, zum Beispiel über eine Schnittstelle?
Wenn ja, kommt hinzu
Ist das System über ein Netzwerk erreichbar oder auf Dienste im Netz angewiesen?
Wenn ja, kommt hinzu
Zahlen Sie je Anfrage oder je Rechenzeit, sodass die Kosten mit der Nutzung steigen?
Wenn ja, kommt hinzu
Teilt sich das System Server oder Rechenleistung mit anderen Kunden oder Anwendungen?
Wenn ja, kommt hinzu
Nutzen Beschäftigte für diese Aufgabe auch KI-Dienste, die Ihre Organisation nicht freigegeben hat?
Wenn ja, kommt hinzu
Maßnahmen und Umsetzung
Maßnahmen zu den Prüfschwerpunkten sind direkt geöffnet. Die verlinkten Maßnahmen erläutern jeweils die Umsetzung.
PrüfschwerpunktGezielte Datenvergiftung / Label-Vergiftung3 Maßnahmen
PrüfschwerpunktÜbermäßiges Vertrauen in das KI-System3 Maßnahmen
PrüfschwerpunktOffenlegung sensibler Informationen3 Maßnahmen
Vergiftung der Trainingsdaten2 Maßnahmen
Backdoor im ML-Modell2 Maßnahmen
Privacy-Angriffe3 Maßnahmen
Exfiltration aus der ML-Anwendung3 Maßnahmen
RAG-spezifische Angriffe (Document Poisoning)3 Maßnahmen
Maßnahmen gegen die übrigen Bedrohungen finden Sie auf deren Seiten im Bedrohungskatalog.
Vorschriften der KI-Verordnung
-
Art. 4: KI-Kompetenz
Für jedes KI-System Gilt seit dem 2. Februar 2025.
-
Anhang III Nr. 6: Strafverfolgung
Je nach Einsatz Prüfanlass ab dem 2. Dezember 2027.
Gilt für jedes KI-System
Art. 4: KI-Kompetenz
Greift, wenn Beschäftigte oder Beauftragte KI-Systeme betreiben oder nutzen.
Gilt seit dem 2. Februar 2025.
Pflichten und Einzelheiten zu Art. 4: KI-Kompetenz
- Wer die Pflichten trägt
- Anbieter, Betreiber, Produkthersteller, Anbieter eines KI-Modells mit allgemeinem Verwendungszweck
Die Pflichten im Einzelnen
Kann bei bestimmtem Einsatz greifen
Anhang III Nr. 6: Strafverfolgung
Greift, wenn eine Strafverfolgungsbehörde das System nutzt, um in Ermittlungen zu bewerten, wie verlässlich Beweismittel sind.
Gilt ab dem 2. Dezember 2027.
Pflichten und Einzelheiten zu Anhang III Nr. 6: Strafverfolgung
- Allgemein lautet die Bedingung
- Greift, wenn Strafverfolgungsbehörden oder Stellen in ihrem Auftrag das System einsetzen, etwa um Beweismittel oder Personen einzuschätzen.
- Wer die Pflichten trägt
- Anbieter, Betreiber, Produkthersteller
Die Pflichten im Einzelnen
Greift in der Regel nicht
Anhang III Nr. 8 Buchst. a: Rechtspflege
Behörden und Kanzleien sichten Dokumente für ein Verfahren. Das System hilft nicht dem Gericht selbst dabei, Sachverhalte zu ermitteln oder auszulegen.
Pflichten und Einzelheiten zu Anhang III Nr. 8 Buchst. a: Rechtspflege
- Allgemein lautet die Bedingung
- Greift, wenn das System Gerichte oder Schlichtungsstellen dabei unterstützt, Sachverhalte zu ermitteln und Recht auszulegen.
- Ausnahme
- Reine Hilfstätigkeiten wie das Anonymisieren von Urteilen oder die Verständigung unter Beschäftigten sind nach Erwägungsgrund 61 nicht erfasst.
- Wer die Pflichten trägt
- Anbieter, Betreiber, Produkthersteller
Die Pflichten im Einzelnen
Ihr System im Schnellprüfer einordnen Alle Pflichten im Pflichtenkompass
Übergreifende Bedrohungen
Diese Bedrohungen prüfen Sie bei jedem KI-System, egal wofür es eingesetzt wird.
- Lieferkette: Infrastruktur
- Lieferkette: Modelle
- Lieferkette: Datensätze
- Adversariale Eingaben
- Unsicherer Umgang mit Modellausgaben
- Anwendungs-Schwachstellen
- Übermäßiges Vertrauen in das KI-System Prüfschwerpunkt: Übermäßiges Vertrauen in das KI-System
- Modell-Drift & -Degradation
- Middleware-Exploits (Angriffe auf AI-Frameworks)
Abweichende Systemmerkmale
14 weitere Fragen ansehen
Trifft eine dieser Fragen bei Ihrem System doch zu, kommen die genannten Bedrohungen hinzu.
Erzeugt oder verändert das System Bilder, Töne, Stimmen oder Videos?
Wenn ja, kommt hinzu
Schreibt oder gestaltet das System auf freie Anfrage neue Inhalte, die Menschen direkt lesen, sehen oder hören? Übersetzen, Vorlesen und Abschreiben zählen nicht.
Wenn ja, kommt hinzu
Nutzt das System ein Begriffsnetz (Wissensgraph), in dem Begriffe und ihre Beziehungen gespeichert sind?
Wenn ja, kommt hinzu
Merkt sich das System Inhalte aus früheren Gesprächen oder Aufgaben und nutzt sie später wieder?
Wenn ja, kommt hinzu
Ruft das System selbst andere Programme, Schnittstellen oder Suchdienste auf, auch wenn es dort nur liest?
Wenn ja, kommt hinzu
Kann das System selbst etwas verändern, etwa Daten speichern, Nachrichten senden, Buchungen auslösen oder Rechte vergeben?
Wenn ja, kommt hinzu
Legt das System seine nächsten Arbeitsschritte selbst fest, je nachdem, was vorher herauskam?
Wenn ja, kommt hinzu
Gibt das System Aufgaben an andere KI-Agenten weiter oder übernimmt es deren Ergebnisse?
Wenn ja, kommt hinzu
Ist das System über das Model Context Protocol (MCP) an Werkzeuge oder Datenquellen angebunden?
Wenn ja, kommt hinzu
Bewegt oder steuert das System unmittelbar etwas in der physischen Welt, etwa Motoren, Ventile, Fahrzeuge oder Temperaturen?
Wenn ja, kommt hinzu
Können Menschen außerhalb Ihrer Organisation das System nutzen, auch ohne Anmeldung?
Wenn ja, kommt hinzu
Erzeugt das System Programmcode, Skripte oder Datenbankabfragen, die weiterverwendet werden?
Wenn ja, kommt hinzu
Führt das System selbst Programme, Skripte oder Befehle aus?
Wenn ja, kommt hinzu
Soll das System eine vorgegebene Kennzahl möglichst verbessern, etwa Umsatz, Auslastung oder Klicks?
Wenn ja, kommt hinzu
Quellen
- Register oder Fallsammlung
UK Algorithmic Transparency Record, Care Quality Commission: Relativity Active Learning
Ein lernendes Modell (Support Vector Machine) sortiert Dokumente danach, wie wichtig sie für eine Untersuchung sind.
- Register oder Fallsammlung
Algoritmeregister NL, Ondersteuning Openbaarmakingsverzoeken, Provincie Noord-Holland
Die Provinz indexiert, analysiert und schwärzt Unterlagen mit ZyLAB.
- Register oder Fallsammlung
US Federal AI Use Case Inventory 2024, Rohdaten
Das US-Heimatschutzministerium (DHS) führt RelativityOne in seinem Verzeichnis der KI-Anwendungen.
Verwandte Anwendungsfälle
Ebenfalls im Einsatzgebiet Dokumente und Sachbearbeitung
- Intelligente Dokumentenverarbeitung (IDP)Das System liest Schreiben, Rechnungen und Formulare, ordnet sie der zuständigen Stelle zu und überträgt die Angaben ins Fachverfahren.
- Automatische Anonymisierung und SchwärzungDas System findet Namen, Anschriften und andere Personenangaben in Dokumenten und schlägt Schwärzungen vor, die ein Mensch freigibt.
- Textanalyse von Rückmeldungen und Stellungnahmen (Text Analytics)Das System fasst große Mengen freier Antworten aus Umfragen, Beschwerden oder Beteiligungsverfahren zusammen, erkennt Themen und ordnet jede Antwort zu.
Oft zusammen eingesetzt mit
Stand: 30. September 2026. Regelwerk der Prüfliste in Fassung 0.3.2, Bedrohungskatalog in Fassung 2026.10.24.2. Wie diese Seiten aufgebaut sind