KI-Assistenz in Massenverfahren der Justiz

Schreibt das System eigene Texte, etwa Antworten, Entwürfe oder Zusammenfassungen?

Aus Textbausteinen setzt das System Entwürfe zusammen, ohne selbst zu formulieren, ein Sprachmodell dagegen schreibt eigene Sätze.

Wenn ja, kommt hinzu

• Denial-of-Service auf das Modell
• Faktische Fehler (Halluzinationen)
• Seitenkanal-Angriffe (Timing-Analyse)

Kann man dem System in normaler Sprache Aufträge geben, die es dann ausführt?

Arbeitet ein Sprachmodell mit, folgt es Anweisungen, auch solchen, die in einem Schriftsatz stehen.

Wenn ja, kommt hinzu

• Sleepy Agent (zeit-/ereignisgetriggerte verdeckte Instruktionen)
• Prompt Injection: Direkt
• Prompt Injection: Indirekt
• Jailbreaks
• Extraktion des Meta-Prompts

Sucht das System in einer eigenen Sammlung von Dokumenten oder Datensätzen nach passenden Inhalten?

Manche Systeme suchen zu einem Fall ähnliche, bereits entschiedene Verfahren heraus.

Wenn ja, kommt hinzu

• RAG-spezifische Angriffe (Document Poisoning)

Formuliert das System seine Antwort aus gefundenen Dokumenten?

Wenn ja, kommt hinzu

• RAG-spezifische Angriffe (Document Poisoning)

Kann das System selbst etwas verändern, etwa Daten speichern, Nachrichten senden, Buchungen auslösen oder Rechte vergeben?

Je nach Einbindung schreibt das System Merkmale selbst in die elektronische Akte oder zeigt sie nur an.

Wenn ja, kommt hinzu

• Excessive Agency (übermäßige Handlungsermächtigung)

Trainiert oder verfeinert Ihre Organisation das Modell selbst mit eigenen Daten?

Klassifikationsmodelle für die Fallmerkmale werden oft mit Schriftsätzen aus dem eigenen Gericht trainiert.

Wenn ja, kommt hinzu

• Vergiftung der Trainingsdaten
• Backdoor im ML-Modell
• Modell-Diebstahl

Stammt das Modell oder sein Grundmodell von einem anderen Anbieter, auch wenn es bei Ihnen läuft?

Wenn ja, kommt hinzu

• Backdoor im ML-Modell

Wird das Modell mit Beispielen trainiert, denen jemand die richtige Antwort zugeordnet hat?

Lernt das System, Fallmerkmale zu erkennen, braucht es Schriftsätze, in denen Menschen diese Merkmale markiert haben.

Wenn ja, kommt hinzu

• Gezielte Datenvergiftung / Label-Vergiftung

Fließen Rückmeldungen oder Ergebnisse aus dem Betrieb später in Auswertung oder Training ein?

Wenn ja, kommt hinzu

• Vergiftung der Trainingsdaten
• Gezielte Datenvergiftung / Label-Vergiftung

Können Personen oder Programme dem Modell direkt Anfragen stellen, zum Beispiel über eine Schnittstelle?

Wenn ja, kommt hinzu

• Modell-Diebstahl
• Denial-of-Service auf das Modell
• Denial-of-Service auf die Anwendung
• Modell-Reconnaissance
• Seitenkanal-Angriffe (Timing-Analyse)

Ist das System über ein Netzwerk erreichbar oder auf Dienste im Netz angewiesen?

Wenn ja, kommt hinzu

• Modell-Diebstahl
• Denial-of-Service auf das Modell
• Denial-of-Service auf die Anwendung

Zahlen Sie je Anfrage oder je Rechenzeit, sodass die Kosten mit der Nutzung steigen?

Wenn ja, kommt hinzu

• Cost Harvesting / Zweckentfremdung

Teilt sich das System Server oder Rechenleistung mit anderen Kunden oder Anwendungen?

Wenn ja, kommt hinzu

• Seitenkanal-Angriffe (Timing-Analyse)

Nutzen Beschäftigte für diese Aufgabe auch KI-Dienste, die Ihre Organisation nicht freigegeben hat?

Kopieren Beschäftigte Aktenteile in einen frei verfügbaren Chatdienst, geschieht das außerhalb jeder Freigabe.

Wenn ja, kommt hinzu

• Shadow AI (nicht genehmigte Nutzung von KI-Diensten)