Übermäßiges Vertrauen in das KI-System

Gehört bei jedem KI-System auf die Prüfliste. Was Sie bei jedem KI-System prüfen

Besonders wichtig bei:

• Generativer KI-Assistent für BeschäftigteDie Entwürfe klingen sicher und sind sprachlich glatt. Wer sie unter Zeitdruck übernimmt, schaut sich Inhalt und Quellen nicht mehr an.
• Spracherkennung und TranskriptionDie Abschrift liest sich flüssig und vollständig. Wer sie ohne Abgleich mit der Aufnahme freigibt, übersieht verhörte Zahlen, Namen und Verneinungen.
• KI-Protokoll und GesprächsdokumentationDer Entwurf ist sofort fertig und wirkt vollständig. Unter Zeitdruck zeichnen Beschäftigte ihn ab, ohne ihn mit ihrer Erinnerung an das Gespräch abzugleichen.
• Intelligente Dokumentenverarbeitung (IDP)Wer täglich viele erkannte Datensätze freigibt, schaut irgendwann nur noch flüchtig hin. Ein falscher Betrag oder eine falsche Zuordnung fällt dann nicht mehr auf.
• Automatische Anonymisierung und SchwärzungDie Vorschläge stimmen meistens, und die Freigabe wird zur Routine. Übersehene Stellen fallen dann erst auf, wenn das Dokument veröffentlicht ist.
• E-Discovery und KI-gestützte Dokumentenprüfung (TAR)Die Durchsicht endet, sobald das Modell kaum noch wichtige Dokumente erwartet. Liegt diese Schätzung falsch, bleiben wichtige Unterlagen ungelesen, und niemand bemerkt die Lücke.
• Textanalyse von Rückmeldungen und Stellungnahmen (Text Analytics)Die Themenübersicht wirkt vollständig und ist nach Häufigkeit sortiert. Seltene, aber gewichtige Hinweise, etwa auf eine Gefährdung, liest danach niemand mehr im Wortlaut.
• Chatbot und Voicebot im KundenserviceKundinnen und Kunden halten die Auskunft des Bots für verbindlich, weil er im Namen des Unternehmens spricht. Beschäftigte übernehmen seine Zusammenfassung des Anliegens, ohne das Gespräch nachzulesen.
• Kreditscoring und BonitätsprüfungLiegt der Scorewert knapp unter der Schwelle, lehnt die Sachbearbeitung den Antrag womöglich ab, ohne sich die Lage der Person anzusehen. So wird aus einer Schätzung eine Entscheidung, auch wenn der Wert falsch ist.
• Geldwäscheerkennung und SanktionsscreeningBei vielen Fehlalarmen schließen Fachkräfte Alarme irgendwann im Eiltempo und halten Konten ohne Alarm für unauffällig. Bewertet das Modell einen Fall falsch, bemerkt das dann niemand.
• Risikobewertung und Tarifierung in der Lebens- und KrankenversicherungEmpfiehlt das Modell eine ungünstige Risikoklasse, übernimmt die Risikoprüfung sie womöglich, ohne die Gesundheitsangaben selbst anzusehen. Die Person erhält dann einen Zuschlag oder eine Ablehnung, die nur auf einer Schätzung beruht.
• KI-gestützte SchadenbearbeitungWer täglich viele Regulierungsvorschläge freigibt, winkt sie irgendwann nur noch durch. Übersieht das System eine Unstimmigkeit, bemerkt sie dann auch in der Sachbearbeitung niemand.
• KI-gestützte BewerbervorauswahlPersonalverantwortliche sehen sich oft nur die ersten Plätze der Rangfolge an. Wen das System weiter hinten einordnet, hat dann kaum eine Chance, auch wenn die Einordnung falsch ist.
• Algorithmisches ManagementVorgesetzte übernehmen die Leistungswerte in Gespräche und Beurteilungen, ohne zu wissen, wie sie entstanden sind. Ursachen wie Staus oder lange Wartezeiten im Restaurant bleiben dann unberücksichtigt.
• Online-ProctoringDie Aufsicht schaut vor allem auf die markierten Stellen und übernimmt den Verdacht. Wer wegen einer Behinderung, eines Kindes im Raum oder schlechter Beleuchtung auffällt, gerät so zu Unrecht unter Verdacht.
• Automatisierte Bewertung von Prüfungsleistungen (Automated Essay Scoring)Sieht eine Zweitprüferin den maschinellen Wert vorab, orientiert sie sich leicht daran. Die menschliche Bewertung prüft den Wert dann nicht mehr unabhängig.
• Biometrische Fernidentifizierung (Gesichtserkennung)Das System nennt den ähnlichsten Treffer, auch wenn die gesuchte Person gar nicht im Bestand ist. Verlassen sich Ermittlerinnen und Ermittler darauf, gerät eine unbeteiligte Person unter Verdacht, wie die Vorfälle in Detroit zeigen.
• EmotionserkennungEin Gesichtsausdruck verrät nicht zuverlässig, was ein Mensch fühlt, und unterscheidet sich je nach Kultur und Person. Wer dem Ergebnis trotzdem glaubt, hält eine angespannte Reisende für verdächtig oder einen ruhigen Beschäftigten für unmotiviert.
• Risikobasierte Prüfauswahl bei Anträgen und LeistungenWer einen ausgewählten Fall prüft, geht leicht davon aus, dass etwas nicht stimmt. Aus einer Auswahl zur Prüfung wird so ein Verdacht, wie es beim niederländischen Kinderbetreuungsgeld geschehen ist.
• Automatisierte Immobilienbewertung (AVM)Bei Tausenden Objekten sehen sich Gutachterinnen und Gutachter oft nur auffällige Werte genauer an. Ein unauffällig falscher Wert landet dann im Bescheid, und die Eigentümerin muss ihn selbst anfechten.
• Polizeiliche Datenanalyse (Analyseplattformen)Eine Verbindung im Graphen sieht aus wie ein Befund, auch wenn sie nur auf einer gemeinsamen Anschrift oder einer Zeugenaussage beruht. Übernehmen Ermittlerinnen und Ermittler sie ungeprüft, gerät eine unbeteiligte Person in ein Verfahren.
• KI-Assistenz in Massenverfahren der JustizBei vielen gleichartigen Klagen liegt es nahe, die herausgezogenen Merkmale und den Entwurf einfach zu übernehmen. Weicht ein Fall in einem Detail ab, das das System übersehen hat, passt das Urteil nicht zum Fall.
• Sprach- und Dialekterkennung im AsylverfahrenEine Wahrscheinlichkeit für einen Dialekt sieht wie ein Messwert aus, sagt aber nichts darüber, wo jemand aufgewachsen ist. Gilt sie als Beweis, wirkt eine Person, deren Sprache von mehreren Regionen geprägt ist, schnell unglaubwürdig.
• Automatische Kennzeichenerkennung (ANPR)Kontrollkräfte sehen täglich viele Treffer und bestätigen sie irgendwann, ohne genau hinzusehen. Eine verwechselte Ziffer führt dann zu einem Bescheid gegen eine unbeteiligte Person.
• Intelligente Videoanalyse im öffentlichen RaumBeschäftigte der Leitstelle achten vor allem auf die Szenen, die das System meldet. Was es nicht erkennt, sieht dann niemand mehr, und harmlose Rangeleien können als Angriff gelten.
• KI in der medizinischen BildauswertungWer täglich viele Aufnahmen mit KI-Markierungen befundet, schaut mit der Zeit vor allem dort genau hin, wo das System etwas markiert hat. Was es nicht markiert, wird dann leichter übersehen.
• Klinische Entscheidungsunterstützung (etwa Sepsis-Früherkennung)Verlässt sich das Team darauf, dass das System bei einer Sepsis Alarm gibt, gilt ein Patient ohne Alarm schnell als stabil. Die Behandlung beginnt dann zu spät.
• KI-Unterstützung in der NotrufannahmeVerlässt sich eine Disponentin darauf, dass das System bei einem Herzstillstand anschlägt, fragt sie ohne Hinweis womöglich nicht mehr gezielt nach. Die Anleitung zur Wiederbelebung am Telefon beginnt dann zu spät.
• Vorausschauende Instandhaltung (Predictive Maintenance)Verlässt sich die Instandhaltung auf die Vorhersage und streckt deshalb die festen Prüfintervalle, fällt ein Schaden, den kein Sensor erfasst, erst beim Ausfall auf. An Weichen oder Energieanlagen stört das den Betrieb und kann Menschen gefährden.
• Visuelle und akustische QualitätsprüfungWer sich darauf verlässt, dass die Kamera jeden Fehler findet, lässt Stichproben von Hand schnell weg. Fehlerarten, die das Modell nie gesehen hat, bleiben so unentdeckt.
• Automatisiertes Fahren und FahrerassistenzWer am Steuer sitzt, gewöhnt sich daran, dass das System die Lage beherrscht, und wendet sich ab. Fordert das System zur Übernahme auf oder versagt es unbemerkt, bleibt zu wenig Zeit zum Eingreifen.
• Coding-AssistentVorschläge, die sich glatt einfügen und fehlerfrei übersetzen lassen, winkt man leicht ohne gründliche Prüfung durch. So gelangen Sicherheitslücken wie eine fehlende Eingabeprüfung in den Code.
• KI-gestützte AngriffserkennungMeldet das System nichts, gilt ein Netz schnell als sauber, und niemand sucht mehr selbst nach Angreifern. Angriffe, die das Modell nicht als Abweichung erkennt, bleiben so lange unbemerkt.