Prüfung von Künstlicher Intelligenz: Der Weg zur Verlässlichkeit

Prüfungsstandard IDW PS 861 – Hintergründe und Anwendungsbereiche

Künstliche Intelligenz (KI) ist dabei, die Wirtschaftswelt im Sturm zu erobern. Ihr Einsatz erstreckt sich über verschiedenste Geschäftsprozesse, von der Bewertung von Kreditausfallrisiken bis zur intelligenten Textverarbeitung. Die steigende Relevanz von KI-Systemen hat Fragen zur Verlässlichkeit und Sicherheit aufgeworfen. Um hierbei zu unterstützen hat das IDW einen Prüfungsstandard für die Prüfung von KI-Systemen entwickelt (IDW PS 861). In diesem Artikel werfen wir einen genaueren Blick auf die Hintergründe, Ziele und Anwendungsbereiche dieses Prüfungsstandards.

Die Einführung des IDW Prüfungsstandards 861 stellt einen wichtigen Schritt in Richtung Vertrauen und Verlässlichkeit im Umgang mit Künstlicher Intelligenz dar. Wirtschaftsprüfung und Unternehmen sind gut beraten, sich mit diesem Standard vertraut zu machen. Tools und Services, die Wirtschaftsprüfer*innen bei der digitalen Transformation unterstützen, finden sich auf der Plattform SOLON X.

Motivation für den Prüfungsstandard

Mit der Nutzung von KI-Systemen sind Risiken verbunden, die eine verstärkte Aufmerksamkeit erfordern, denn sie können die Verlässlichkeit von KI-Systemen beeinträchtigen. Daher war es aus Sicht von Wirtschaftsprüferinnen und Wirtschaftsprüfern notwendig, einen standardisierten Prüfungsansatz zu entwickeln. Dieser soll es ermöglichen, KI-Systeme einheitlich zu beurteilen und über ihre Verlässlichkeit zu berichten.

Der Weg zur Entwicklung des Prüfungsstandards

Der Fachausschuss für Informationstechnologie des IDW (FAIT) ist bei der Entwicklung des Prüfungsstandards praxisnah vorgegangen. In einem Stakeholder-Workshop mit Unternehmen aus verschiedenen Branchen wurden die Anforderungen der Unternehmen an eine KI-Prüfung ermittelt. Die Erkenntnisse hat der FAIT in die Entwicklung des Prüfungsstandards einfließen lassen.

Welche KI-Systeme kann man mit IDW PS 861 prüfen?

Der Prüfungsstandard IDW PS 861 ist vielseitig einsetzbar und kann zur Prüfung ganz unterschiedlicher KI-Systeme genutzt werden. Hier sind einige Beispiele für Anwendungsszenarien:

Vorhersagen und Bewertungen (z.B KI-Systeme, die Kreditausfallrisiken bewerten, oder KI-Systeme, die den korrekten Umsatzsteuerschlüssel ermitteln)
Konsistenzprüfungen und Klassifikationen (z.B. KI-Systeme, welche Rechnungs- und Belegdaten erkennen und zu Aufwendungen oder aktivierbaren Kosten zuordnen oder Systeme intelligenter Textverarbeitung, die Daten in den fachlichen Kontext einordnen)
Verbesserung von Geschäftsprozessen (z.B. KI-Systeme für Benchmarking, die Daten aus verschiedenen Formaten suchen, auslesen und miteinander verknüpfen oder Systeme des steuerlichen Prozessmanagements, die unstrukturierte Daten aus Steuerbescheiden extrahieren und mit den Daten aus der Steuererklärung abgleichen)

Was ist KI im Sinne des Prüfungsstandards?

Der Prüfungsstandard definiert Künstliche Intelligenz als Systeme, die eines oder mehrere der folgenden Merkmale aufweisen:

Die Fähigkeit, mathematisch-berechenbare Modelle auf der Basis von Daten zu erstellen und auf neue Daten anzuwenden (maschinelles Lernen).
Die Nutzung und ggf. die Generierung von Daten basierend auf Mustern und Merkmalen.
Algorithmen, die mathematisch-berechenbare Modelle durch Nutzung von Daten verändern.
Die Fähigkeit, Daten auszulesen, zu verarbeiten, zu interpretieren und Informationen zu generieren.

Aufbau des Prüfungsstandards

Der IDW Prüfungsstandard 861 lehnt sich an den internationalen Prüfungsstandard ISAE 3000 an, der für sonstige betriebswirtschaftliche Prüfungen außerhalb der Abschlussprüfung gilt. Die Prüfung ist als „Attestation Engagement“ gestaltet, bei dem die Beschreibung des KI-Systems, erstellt vom Unternehmen und mit Angaben der gesetzlichen Vertreter, Gegenstand der Prüfung ist. Die Prüfung kann entweder als Angemessenheitsprüfung oder als Wirksamkeitsprüfung durchgeführt werden. Der Prüfungsstandard enthält zudem ein „Sollobjekt“, d.h. Beurteilungskriterien und vom Mandanten zu beachtende Maßnahmen.

Kriterien für die Prüfung von KI-Systemen

Der Prüfungsstandard berücksichtigt verschiedene Kriterien, die für die Prüfung von KI-Systemen herangezogen werden. Diese Kriterien umfassen ethische und rechtliche Anforderungen für Künstliche Intelligenz, die Nachvollziehbarkeit der Systeme, die IT-Sicherheit sowie die Leistungsfähigkeit der KI-Modelle im Vergleich zu den festgelegten Anforderungen.

Verhältnis von IDW PS 861 zum EU AI Act

Die Europäische Union plant mit dem AI Act eine Regelung für den Einsatz von Künstlicher Intelligenz. Der IDW Prüfungsstandard 861 wurde bewusst offen und generisch gestaltet, um seine Vereinbarkeit mit verschiedenen Regelungen, einschließlich des EU AI Act, zu gewährleisten. Der Prüfungsstandard kann Anforderungen des AI Acts integrieren, die nicht bereits im PS 861 enthalten sind. Es ist jedoch zu beachten, dass der Prüfungsstandard – im Gegensatz zum EU AI Act – keine Klassifizierung von KI-Systemen in Risikokategorien vornimmt und dass er eine eigene KI-Definition verwendet.

IDW PS 861 im Video-Podcast

Pascal Campe, Partner Technology Risk bei EY und Mitglied im FAIT, leitet die IDW Arbeitsgruppe „Prüfung von KI-Systemen“, die den IDW PS 861 vorbereitet hat. Im Video-Podcast stellt er den Prüfungsstandard vor. Das Interview führt Valerie Wachter, Senior Technical Manager Digitalization & Advisory beim IDW.