KI in Finanzunternehmen: Was die Revision jetzt prüfen sollte

73 Prozent der Finanzunternehmen in Deutschland setzen bereits KI ein, Tendenz deutlich steigend. Das Spektrum reicht von Operations über IT, Marketing und Risikomanagement bis hin zu Personal. Höchste Zeit also, diese Technologie in das Prüfungsuniversum zu integrieren, sagt unsere Expertin und Revisorin Christa Köhler. 

Für die Prüfung von KI sind unterschiedliche Ansätze denkbar – entlang des Lebenszyklus, aus der Perspektive der Governance und Organisation, durch die Compliance-Brille, projektbegleitend bei der Einführung oder als Werkzeug zur Unterstützung der Prozesse, um nur einige zu nennen.

Diese Varianten schließen sich nicht gegenseitig aus, sondern ergänzen sich sinnvoll. Die Auswahl hängt in erster Linie vom Einsatzgebiet der KI in den Finanzunternehmen ab und lässt sich differenzieren nach

• der Art der KI (Fremd-KI, eigenentwickelte KI, Kombination),
• den unterstützten Prozessen (Vertrieb, Risikocontrolling, Personal usw.),
• der Phase des Einsatzes (Pilot, ausgewählte Bereiche, flächendeckende Anwendung).

Als Prüfungsgrundlage sind – neben den sektorspezifischen Regularien – insbesondere die Anforderungen aus DORA, der DSGVO, NIS2 und spätestens ab dem 2. August 2026 auch des AI Act zu beachten.

Natürlich kann man nun strikt die Erfüllung der regulatorischen Anforderungen prüfen und die fehlende oder unzureichende Umsetzung den geprüften Bereichen als Feststellung auf die To-Do-Liste setzen. Um dem Unternehmen jedoch einen Mehrwert zu bieten, empfiehlt es sich zunächst im Sinne des risikoorientierten Vorgehens, sich nicht nur auf dem Papier, sondern sich tatsächlich mit den Risiken auseinander zu setzen, die eine KI mitbringt. Wir stellen Ihnen hier einige Risiken vor, die sich aus den beiden Haupt-Angriffsflächen von KI ergeben.

Angriffsfläche „KI-Modell“

• Die verwendeten Modelle kommen oft verpackt in eine Grey oder Black Box. Die enthaltenen Regeln/Algorithmen sind daher nicht (vollständig) transparent, erklärbar und nachvollziehbar.
• Die KI setzt einzelne Informationen zu Ergebnissen zusammen, die schlüssig und fundiert wirken, aber de facto falsch, unbegründet und erfunden sind. Sie halluziniert also.
• Die KI verfällt in Panik und startet einen Angriff von innen.
• Während der Abfragen werden minimale, nicht wahrnehmbare Störungen eingebaut mit dem Ziel, eine Fehlentscheidung herbeizuführen (Model Evasion).
• Das Modell wird rekonstruiert oder gestohlen (Model Extraction).

Angriffsfläche „Daten“

• Die Trainingsdaten werden manipuliert mit dem Ziel einer Fehlfunktion oder Leistungsminderung der Modelle (Data Poisoning).
• In die Trainingsdaten werden manipulierte Muster eingebaut mit dem Ziel, dass das Modell mit kompromittierten Trainingsdaten lernt (Backdoors).
• Die Trainingsdaten stellen, wie auch das Modell, eine Grey oder Black Box dar, so dass die Qualität der Ergebnisse potenziell nicht belastbar ist.
• Die Trainingsdaten sind zwar transparent, weisen aber eine geringe Qualität auf, wodurch die Ergebnisse nicht automatisch besser werden. Zwei Minus ergeben nicht immer ein Plus.
• Die Angriffspunkte der verwendeten Daten sind unterschiedlich. So können minimale Veränderungen bei Bildern oder Audiodateien durch das menschliche Auge oder Ohr nicht mehr oder nur noch schwer erkannt werden.

Die Ursachen dieser Risiken sind nicht immer eindeutig auf ein fehlerhaftes Modell oder fehlerhafte Daten zurückzuführen, da die Modelle durch die Daten trainiert werden und die beiden Komponenten daher eng miteinander verzahnt sind.

Was bedeutet das nun für Ihre Prüfungen?

Wenn Ihr Institut plant, demnächst KI einzusetzen oder sich noch in der Einführungsphase befindet, bietet sich eine projektbegleitende Prüfung an. Diese sollte ihren Fokus nicht nur auf die ordnungsgemäße Projektsteuerung und -durchführung legen, sondern auch die geplanten Einsatzgebiete und die Art der KI auf den Radarschirm nehmen. Nur so können Sie dazu beitragen, dass die Risiken von Beginn an angemessen adressiert werden und Ihr Institut nicht spät oder gar zu spät ein böses Erwachen erlebt.

Wenn Sie KI bereits im Einsatz haben, kommt sowohl eine Prüfung der KI selbst als auch eine Prüfung der KI als Werkzeug in den Prozessen in Betracht, so als würden Sie eine Anwendung prüfen. Der Unterschied liegt in den neuen bzw. vergrößerten Angriffsflächen der KI:

• Bei der Angriffsfläche „KI-Modell“ ist auf die angemessene Definition, fundierte Tests und die laufende Überprüfung der Modelle sowie der Genauigkeit der Ergebnisse ebenso Acht zu geben wie auf ausreichende Schutzmechanismen vor Angriffen von innen oder außen.
• Zur Reduzierung oder Vermeidung von Risiken im Kontext der Angriffsfläche „Daten“ können offene Augen und Ohren, Fachkompetenz und auch der gesunde Menschenverstand in Kombination mit Maßnahmen, die auf die Verlässlichkeit der Datenherkunft, die Qualität der Daten und Ergebnisse und den Schutz vor Manipulationen abzielen, einen wertvollen Beitrag leisten.

Mit steigender Komplexität nimmt die Undurchsichtigkeit zu. Die Sensibilisierung und die Fachkompetenz der handelnden Personen müssen einen hohen Stellenwert einnehmen, da es sich bei KI eben nicht nur um eine IT-Anwendung handelt, sondern die technologische Entwicklung ein neues Niveau erreicht hat.

Oder um es mit den Worten von Garry Kasparow zu sagen: „Die gefährlichste Zukunft ist nicht die, in der Maschinen denken wie Menschen, sondern die, in der Menschen aufhören zu denken.“

Gern unterstützen die Expertinnen und Experten von ETL consit Sie bei der Prüfung Ihres KI-Ansatzes. ETL consit ist ein Unternehmen der Gruppe ETL Prüfung & Beratung.  

Jetzt lesen: KI prüft mit, Menschen entscheiden