Versatile AI Risk Assessment
Personal und Bildung

Automatisierte Bewertung von Prüfungsleistungen (Automated Essay Scoring)

Englisch: Automated scoring of exams and essays

Ein Modell bewertet schriftliche oder mündliche Prüfungsantworten und vergibt Punkte, allein oder neben menschlichen Prüferinnen und Prüfern.

Interaktives Modell erkunden

Handout exportieren

Eine kompakte PDF mit Funktionsweise, Datenwegen und Prüfansätzen zum Weitergeben.

Die Erläuterungen und Maßnahmen beschreiben den typischen Aufbau. Viele eigene Änderungen ergänzen einen Anhang.

Den Anwendungsfall verstehen

Was macht diesen Anwendungsfall aus?

Das Modell hat an Antworten gelernt, die Menschen bereits bewertet haben, und schätzt daraus die Punktzahl einer neuen Antwort. Große internationale Prüfungsanbieter nutzen es nach eigener Angabe für Zulassungs- und Sprachtests.

Die Seite beschreibt einen typischen Aufbau. Die tatsächlichen Datenwege und Befugnisse ergeben sich aus Ihrer Umsetzung.

Bauform
Auswertung und Verarbeitung
Handlungsmacht
Handlungsrechte je nach Einbindung
Einsatzfelder
Bildung, Sprachprüfungen
Auch bekannt als
automatische Aufsatzbewertung, maschinelle Bewertung von Sprachtests

Funktionsweise und Ablauf

Aufbau und Datenwege

  1. Eingabedaten

    Schriftliche Antworten oder Sprachaufnahmen der Prüflinge kommen zusammen mit der Aufgabe an.

    Die Antworten schreiben oder sprechen die Prüflinge selbst. Werden Sprech- und Schreibteile gemeinsam bewertet, verarbeitet das System Ton und Text.

  2. Verarbeitung

    Das Modell misst Merkmale wie Aufbau, Wortschatz, Grammatik oder Aussprache und schätzt daraus die Punktzahl.

    Das Modell bewertet Merkmale einer eingereichten Leistung anhand eines festgelegten Bewertungsschemas oder erlernter Vergleichsmuster. Daraus entstehen Teilbewertungen, Rückmeldungen oder ein Notenvorschlag. Entscheidend ist, welche Leistungsaspekte das Verfahren tatsächlich erfasst und wie daraus eine Bewertung gebildet wird.

  3. Ergebnisse

    Das Modell vergibt eine Punktzahl je Antwort oder Prüfungsteil.

    Das Ergebnis beschreibt die definierte Modellaufgabe. Ein Treffer, eine Kategorie oder eine Prognose erhält seine fachliche Bedeutung erst zusammen mit den zugrunde liegenden Daten und dem vorgesehenen Verwendungszweck.

  4. Nutzung und Auswirkungen

    Die Punktzahl geht allein oder zusammen mit menschlichen Bewertungen in das Prüfungsergebnis ein und entscheidet mit über Zulassung oder Nachweis.

    Die Einbindung bestimmt, ob das Ergebnis lediglich angezeigt, nach Freigabe übernommen oder direkt in ein Fachverfahren geschrieben wird. Diese Varianten unterscheiden sich in ihren Datenwegen und Befugnissen.

Aufbau aktiv erkunden: Wählen Sie einen Baustein, um seine Aufgabe, die ein- und ausgehenden Daten und die Einbindung im Anwendungsfall zu sehen. Der geführte Ablauf erläutert jede Phase. Mit Ja, Offen und Nein können Sie anschließend Ihre konkrete Systemvariante abbilden.

7 zuerst zu prüfen15 zu klären7 Grundlagen

EingangVerarbeitungErgebnisWirkung Zugangvon außen 04 Eingabe 31 InhalteDritter 00 KI-Modell 05 Dienst einesAnbieters 03 Dokumenten-sammlung 00 Gedächtnis 00 Training undRückmeldung 30 WeitereKI-Agenten 00 Werkzeuge undSchnittstellen 00 Ergebnis 00 Fachanwendungoder Anlage 01 Mensch 10 BetroffenePerson 00 KI-Diensteohne Freigabe 01 Zugangvon außen 04 Eingabe 31 InhalteDritter 00 KI-Modell 05 Dienst einesAnbieters 03 Dokumenten-sammlung 00 Gedächtnis 00 Training undRückmeldung 30 WeitereKI-Agenten 00 Werkzeuge undSchnittstellen 00 Ergebnis 00 Fachanwendungoder Anlage 01 Mensch 10 BetroffenePerson 00 KI-Diensteohne Freigabe 01
  • Vorhanden
  • Hängt von Ihrem System ab
  • Nicht vorhanden
  • Zuerst zu prüfen
  • Zu klären
Aufbau als Liste

Abgrenzung zu ähnlichen Anwendungsfällen

Daten und Informationen

Eingabedaten und Informationsquellen

Die Antworten schreiben oder sprechen die Prüflinge selbst. Jede Antwort ist einem Prüfling mit Namen und Prüfungsnummer zugeordnet.

Verarbeitung und Betriebsumgebung

Nutzt eine Hochschule oder Schule ein fertiges Bewertungsmodell, stammt es von einem anderen Anbieter.

Speicherung und weitere Nutzung

Die Prüfungsanbieter trainieren ihre Modelle mit eigenen, bereits bewerteten Prüfungsantworten. Neue Bewertungen durch Menschen können als Lernbeispiele für die nächste Fassung dienen.

Ergebnisse und Datenweitergabe

Beim PTE Academic geht der maschinelle Wert ohne menschliche Prüferinnen und Prüfer in das Ergebnis ein, beim e-rater ergänzt er menschliche Bewertungen.

Ein eingebundener Anbieter legt den Verarbeitungsort nicht automatisch fest. Speicherort, Unterauftragnehmer, Löschfristen und die Nutzung für Training sind im konkreten Betrieb zu prüfen.

Risiken einordnen und Maßnahmen festlegen

Vom Systemverständnis zur Risikoanalyse

  1. System abgrenzen

    Daten, Beteiligte, Schnittstellen und Rechte erfassen. Offene Merkmale im Modell klären.

  2. Bedrohungen untersuchen

    Prüfkandidaten auf die tatsächlichen Datenwege beziehen: Was könnte passieren und wer wäre betroffen?

  3. Risiko bewerten

    Auswirkungen und Eintrittswahrscheinlichkeit im Einsatzkontext bewerten. Die Anzahl der Prüfkandidaten ist kein Risikowert.

  4. Maßnahmen nachweisen

    Geeignete Kontrollen auswählen, Verantwortliche und Wirksamkeitsprüfungen festlegen. Restrisiken und Freigaben dokumentieren.

Wichtige Bedrohungen im Anwendungskontext

  • 3 besonders wichtig
  • 4 üblich
  • 15 je nach System
  • 7 weitere bei jedem KI-System

Insgesamt kommen bei diesem Anwendungsfall 29 Bedrohungen aus dem Bedrohungskatalog infrage.

Außerdem prüfen: ob das System Gruppen benachteiligt

Prüfen Sie, ob Auswahl, Rangfolge oder Bewertung Menschen mit geschützten Merkmalen benachteiligen, etwa nach Geschlecht, Alter oder Herkunft.

Vorrangige Prüfansätze

  1. Adversariale Eingaben

    Prüflinge lernen, welche Merkmale die Punktzahl heben, etwa Länge, seltene Wörter oder bestimmte Satzmuster. Das System vergibt dann gute Werte für Antworten, die inhaltlich schwach sind.

  2. Gezielte Datenvergiftung / Label-Vergiftung

    Das Modell übernimmt die Maßstäbe der Menschen, von deren Bewertungen es gelernt hat. Haben sie etwa Prüflinge mit einem bestimmten Akzent strenger bewertet, macht das System bei allen so weiter.

  3. Übermäßiges Vertrauen in das KI-System

    Sieht eine Zweitprüferin den maschinellen Wert vorab, orientiert sie sich leicht daran. Die menschliche Bewertung prüft den Wert dann nicht mehr unabhängig.

4 weitere Prüfkandidaten im typischen Aufbau

Weitere relevante Bedrohungen

  1. Vergiftung der Trainingsdaten

    Über eigenes Training oder Rückmeldungen aus dem Betrieb können manipulierte Daten in die Lerndaten gelangen.

    Steht hier wegen dieser Eigenschaft

    • Lernt aus Ihren eigenen Daten

  2. Backdoor im ML-Modell

    Über Trainingsdaten oder ein übernommenes Grundmodell kann das Modell versteckte Auslöser für Fehlverhalten enthalten.

    Steht hier wegen dieser Eigenschaft

    • Lernt aus Ihren eigenen Daten

  3. Privacy-Angriffe

    Mit gezielten Abfragen lassen sich personenbezogene und schutzbedürftige Trainingsdaten teilweise aus dem Modell zurückgewinnen.

    Steht hier wegen dieser Eigenschaft

    • Verarbeitet personenbezogene Daten

  4. Offenlegung sensibler Informationen

    Vertrauliche Inhalte können in Antworten, im mitgegebenen Kontext oder in Protokollen auftauchen.

    Steht hier wegen dieser Eigenschaft

    • Verarbeitet personenbezogene Daten

Je nach Aufbau Ihres Systems kommen bis zu 15 weitere hinzu. Neun Bedrohungen prüfen Sie bei jedem KI-System. Zwei davon sind hier besonders wichtig und stehen deshalb oben.

Systemmerkmale und offene Fragen

Jedes Ja setzt weitere Bedrohungen auf Ihre Prüfliste, insgesamt bis zu 15. Können Sie eine Frage noch nicht beantworten, prüfen Sie die Bedrohungen mit.

Wie viele Bedrohungen bei Ja hinzukommen
  • Kommt mit diesem Ja hinzu

Wie Ihr System gebaut ist

  1. Führt Aufträge in normaler Sprache aus5 Bedrohungen
  2. Verarbeitet Text, Bild und Sprache gemeinsam2 Bedrohungen
  3. Verändert Daten oder löst Vorgänge aus1 Bedrohung
  4. Verarbeitet vertrauliche Daten1 Bedrohung

Wie Sie das System betreiben

  1. Nimmt Anfragen direkt über eine Schnittstelle an4 Bedrohungen
  2. Ist über ein Netzwerk erreichbar3 Bedrohungen
  3. Verursacht mit jeder Anfrage Kosten1 Bedrohung
  4. Gibt Inhalte an Dienste außerhalb der eigenen Umgebung weiter1 Bedrohung
  5. Teilt Rechenleistung mit anderen Kunden oder Anwendungen1 Bedrohung
  6. Neben KI-Diensten ohne Freigabe im Einsatz1 Bedrohung

Wie Ihr System gebaut ist

Kann das System selbst etwas verändern, etwa Daten speichern, Nachrichten senden, Buchungen auslösen oder Rechte vergeben?

Beim PTE Academic geht der maschinelle Wert ohne menschliche Prüferinnen und Prüfer in das Ergebnis ein, beim e-rater ergänzt er menschliche Bewertungen.

Wenn ja, kommt hinzu

Verarbeitet das System vertrauliche Informationen, etwa Geschäftsgeheimnisse, Gesundheits- oder Finanzdaten?

Prüfungsergebnisse sind vertraulich, und mündliche Antworten enthalten die Stimme der Prüflinge.

Wenn ja, kommt hinzu

Wie Sie das System betreiben

Diese Fragen stellen sich bei fast jedem KI-System.

Können Inhalte die eigene Umgebung verlassen, etwa zu einem Cloud-Anbieter, in eine Websuche oder per E-Mail?

Wenn ja, kommt hinzu

Nutzen Beschäftigte für diese Aufgabe auch KI-Dienste, die Ihre Organisation nicht freigegeben hat?

Lassen Lehrkräfte Aufsätze in einem frei verfügbaren Chatdienst bewerten, geschieht das außerhalb jeder Freigabe.

Wenn ja, kommt hinzu

Maßnahmen und Umsetzung

Maßnahmen zu den Prüfschwerpunkten sind direkt geöffnet. Die verlinkten Maßnahmen erläutern jeweils die Umsetzung.

PrüfschwerpunktAdversariale Eingaben2 Maßnahmen
PrüfschwerpunktGezielte Datenvergiftung / Label-Vergiftung3 Maßnahmen
PrüfschwerpunktÜbermäßiges Vertrauen in das KI-System3 Maßnahmen
Vergiftung der Trainingsdaten2 Maßnahmen
Backdoor im ML-Modell2 Maßnahmen
Privacy-Angriffe3 Maßnahmen
Offenlegung sensibler Informationen3 Maßnahmen

Maßnahmen gegen die übrigen Bedrohungen finden Sie auf deren Seiten im Bedrohungskatalog.

Vorschriften der KI-Verordnung

Wann die Vorschriften der KI-Verordnung gelten
  1. Art. 4: KI-Kompetenz

    Für jedes KI-System Gilt seit dem 2. Februar 2025.

  2. Art. 53 Abs. 1 Buchst. b, Anhang XII: Eingebautes Allzweckmodell

    Je nach Einsatz Prüfanlass seit dem 2. August 2025.

  3. Anhang III Nr. 3: Allgemeine und berufliche Bildung

    Bei typischem Einsatz Prüfanlass ab dem 2. Dezember 2027.

Gilt für jedes KI-System

Art. 4: KI-Kompetenz

Greift, wenn Beschäftigte oder Beauftragte KI-Systeme betreiben oder nutzen.

Gilt seit dem 2. Februar 2025.

Pflichten und Einzelheiten
Wer die Pflichten trägt
Anbieter, Betreiber, Produkthersteller, Anbieter eines KI-Modells mit allgemeinem Verwendungszweck

Die Pflichten im Einzelnen

Kann beim üblichen Einsatz greifen

Anhang III Nr. 3: Allgemeine und berufliche Bildung

Greift, wenn das System Lernergebnisse bewertet, etwa Aufsätze oder Sprechleistungen in einer Prüfung, von der Zulassung oder Abschluss abhängen.

Gilt ab dem 2. Dezember 2027.

Pflichten und Einzelheiten
Allgemein lautet die Bedingung
Greift, wenn das System über Zugang oder Zulassung entscheidet, Lernergebnisse bewertet, das Bildungsniveau einstuft oder Prüfungen beaufsichtigt.
Wer die Pflichten trägt
Anbieter, Betreiber, Produkthersteller

Die Pflichten im Einzelnen

Kann bei bestimmtem Einsatz greifen

Art. 53 Abs. 1 Buchst. b, Anhang XII: Eingebautes Allzweckmodell

Greift, wenn ein großes Sprachmodell oder ein anderes Allzweckmodell eines fremden Anbieters die Antworten bewertet.

Gilt seit dem 2. August 2025.

Pflichten und Einzelheiten
Allgemein lautet die Bedingung
Greift, wenn ein KI-Modell mit allgemeinem Verwendungszweck eines anderen Anbieters eingebaut ist, etwa ein großes Sprachmodell.
Zu beachten
Die Pflichten für das Modell trägt dessen Anbieter. Er muss Ihnen die Informationen nach Anhang XII geben; nutzen Sie sie für Ihre eigene Dokumentation.
Wer die Pflichten trägt
Anbieter eines KI-Modells mit allgemeinem Verwendungszweck

Die Pflichten im Einzelnen

Ihr System im Schnellprüfer einordnen Alle Pflichten im Pflichtenkompass

Übergreifende Bedrohungen

Diese Bedrohungen prüfen Sie bei jedem KI-System, egal wofür es eingesetzt wird.

Warum diese Bedrohungen immer dazugehören

Abweichende Systemmerkmale

16 weitere Fragen ansehen

Trifft eine dieser Fragen bei Ihrem System doch zu, kommen die genannten Bedrohungen hinzu.

Quellen

Verwandte Anwendungsfälle

Ebenfalls im Einsatzgebiet Personal und Bildung

Oft zusammen eingesetzt mit

Stand: 30. September 2026. Regelwerk der Prüfliste in Fassung 0.3.2, Bedrohungskatalog in Fassung 2026.10.24.2. Wie diese Seiten aufgebaut sind