Intelligente Dokumentenverarbeitung (IDP)

Schreibt das System eigene Texte, etwa Antworten, Entwürfe oder Zusammenfassungen?

Klassische Verfahren geben nur ausgelesene Felder zurück. Liest ein Sprachmodell die Angaben aus, formuliert es seine Ausgabe selbst.

Wenn ja, kommt hinzu

• Denial-of-Service auf das Modell
• Faktische Fehler (Halluzinationen)
• Seitenkanal-Angriffe (Timing-Analyse)

Kann man dem System in normaler Sprache Aufträge geben, die es dann ausführt?

Ein Sprachmodell folgt Anweisungen, auch solchen, die in einem eingereichten Dokument stehen.

Wenn ja, kommt hinzu

• Sleepy Agent (zeit-/ereignisgetriggerte verdeckte Instruktionen)
• Prompt Injection: Direkt
• Prompt Injection: Indirekt
• Jailbreaks
• Extraktion des Meta-Prompts

Kann das System selbst etwas verändern, etwa Daten speichern, Nachrichten senden, Buchungen auslösen oder Rechte vergeben?

Je nach Einbindung legt das System Datensätze im Fachverfahren selbst an oder schlägt sie nur zur Freigabe vor.

Wenn ja, kommt hinzu

• Excessive Agency (übermäßige Handlungsermächtigung)

Trainiert oder verfeinert Ihre Organisation das Modell selbst mit eigenen Daten?

Manche Betreiber trainieren die Erkennung mit eigenen Dokumenten nach, andere nutzen das Modell unverändert.

Wenn ja, kommt hinzu

• Vergiftung der Trainingsdaten
• Modell-Diebstahl

Fließen Rückmeldungen oder Ergebnisse aus dem Betrieb später in Auswertung oder Training ein?

Korrekturen der Sachbearbeitung können als neue Lernbeispiele zurückfließen.

Wenn ja, kommt hinzu

• Vergiftung der Trainingsdaten

Verarbeitet das System mehrere Arten von Eingaben zusammen, etwa Text mit Bild oder Sprache?

Layoutmodelle werten Bild und Text eines Scans gemeinsam aus; reine Texterkennung tut das nicht.

Wenn ja, kommt hinzu

• Denial-of-Service auf das Modell
• Multimodale Angriffe

Können Personen oder Programme dem Modell direkt Anfragen stellen, zum Beispiel über eine Schnittstelle?

Wenn ja, kommt hinzu

• Modell-Diebstahl
• Denial-of-Service auf das Modell
• Denial-of-Service auf die Anwendung
• Modell-Reconnaissance
• Seitenkanal-Angriffe (Timing-Analyse)

Ist das System über ein Netzwerk erreichbar oder auf Dienste im Netz angewiesen?

Wenn ja, kommt hinzu

• Modell-Diebstahl
• Denial-of-Service auf das Modell
• Denial-of-Service auf die Anwendung

Zahlen Sie je Anfrage oder je Rechenzeit, sodass die Kosten mit der Nutzung steigen?

Wenn ja, kommt hinzu

• Cost Harvesting / Zweckentfremdung

Teilt sich das System Server oder Rechenleistung mit anderen Kunden oder Anwendungen?

Wenn ja, kommt hinzu

• Seitenkanal-Angriffe (Timing-Analyse)

Können Menschen außerhalb Ihrer Organisation das System nutzen, auch ohne Anmeldung?

Laden Bürgerinnen und Bürger ihre Unterlagen selbst hoch, erreicht das System auch Menschen außerhalb der Organisation.

Wenn ja, kommt hinzu

• Modell-Diebstahl
• Denial-of-Service auf das Modell
• Cost Harvesting / Zweckentfremdung
• Denial-of-Service auf die Anwendung
• Modell-Reconnaissance

Nutzen Beschäftigte für diese Aufgabe auch KI-Dienste, die Ihre Organisation nicht freigegeben hat?

Wenn ja, kommt hinzu

• Shadow AI (nicht genehmigte Nutzung von KI-Diensten)