KI-Abkommen des Weißen Hauses: Schlupfloch bei der unabhängigen Prüfung

Das am 29. September veröffentlichte Abkommen fordert die Entwickler auf, Risiken zu überwachen, interne Kontrollen einzurichten und externe Prüfer oder Gutachter hinzuzuziehen, um zu beurteilen, ob diese Kontrollen funktionieren. Es handelt sich um eine vielversprechende Entwicklung für eine Branche, in der Unternehmen bisher weitgehend für die Bewertung ihrer eigenen Technologie verantwortlich waren.

Das Abkommen lässt jedoch eine kritische Lücke offen. Es fordert unabhängige Bewertungen, ohne festzulegen, wer dazu berechtigt ist, was unter Unabhängigkeit zu verstehen ist oder wie Interessenkonflikte zu handhaben sind. Ohne diese Standards könnten zwei Entwickler dasselbe Bekenntnis durch Bewertungen mit sehr unterschiedlichem Detaillierungsgrad und Objektivität erfüllen, was Unternehmen und Regulierungsbehörden unsicher machen würde, wie viel Vertrauen sie in die Ergebnisse setzen können.

Bei Schellman bieten wir akkreditierte KI-Sicherheitsprüfungen an und haben aus erster Hand erfahren, warum die Glaubwürdigkeit dieser Arbeit von Unabhängigkeit, klarem Umfang und qualifizierten Fachleuten abhängt. Der Prüfungsberuf hat Jahrzehnte damit verbracht, Standards für Kompetenz, Unabhängigkeit und Qualitätskontrolle im Bereich der Finanzberichterstattung, Cybersicherheit und des Datenschutzes zu etablieren. Diese Standards gibt es, weil eine unabhängige Meinung nur so glaubwürdig ist wie die Personen, die die Bewertung durchführen und die Beweise, die ihren Schlussfolgerungen zugrunde liegen.

Unabhängigkeit muss in der Praxis Bestand haben.

Betrachten Sie einen KI-Entwickler, der eine Firma beauftragt, um seine Sicherheitskontrollen zu bewerten. Der Gutachter stimmt einem begrenzten Umfang zu, führt Tests durch und erstellt einen positiven Bericht. Wenn dieselbe Firma gleichzeitig die Kontrollen entworfen hat, die überprüft werden, ist ihre Objektivität fraglich. Wenn wichtige Risiken außerhalb des Geltungsbereichs liegen, könnten Kunden eine begrenzte Aussage als eine umfassende Billigung des Systems missverstehen.

Für Führungskräfte, die KI-Anbieter auswählen, sind diese Unterscheidungen entscheidend für Kauf- und Einsatzentscheidungen. Sie müssen wissen, wer die Bewertung durchgeführt hat, ob die richtigen Fachkenntnisse vorhanden waren, welche Schutzmaßnahmen geprüft wurden und was ausgeschlossen wurde. Der Gutachter benötigt auch Zugang zu ausreichenden Beweisen und die Freiheit, ungünstige Ergebnisse zu melden. Ein Bericht ist nur dann nützlich, wenn die Leser sowohl seine Schlussfolgerungen als auch seine Grenzen verstehen.

Gutachter sollten relevante kommerzielle Beziehungen offenlegen, bevor die Arbeit beginnt, und dokumentieren, wie sie Interessenkonflikte behandeln. Sie sollten definierte Kriterien verwenden, ihre Methoden erläutern und einer unabhängigen Qualitätsprüfung unterzogen werden. Die Akkreditierung, wo angemessen, bietet eine weitere Möglichkeit, Kompetenz und Unparteilichkeit zu überprüfen.

Unabhängigkeit ist am wichtigsten, wenn Probleme auftreten.

Der eigentliche Test der unabhängigen Aufsicht kommt dann, wenn eine Bewertung etwas aufdeckt, das der Entwickler lieber nicht hören möchte. Das Abkommen sieht vor, dass interne Teams die identifizierten Risiken angehen, wobei ein unabhängiges Prüfungsausschuss die Ergebnisse und Reaktionen überwacht. Diese Schutzmaßnahmen hängen jedoch davon ab, dass die Gutachter die Freiheit haben, Bedenken zu melden, ohne dass sie ihre Schlussfolgerungen abschwächen müssen.

Betrachten Sie einen Gutachter, der eine schwerwiegende Cyber-Sicherheitslücke in einem fortschrittlichen Modell identifiziert. Wenn der Entwickler den Befund bestreitet oder eine Einschränkung des Geltungsbereichs fordert, muss der Gutachter in der Lage sein, hinter den Beweisen zu stehen und das Risiko klar zu kommunizieren. Der Entwickler muss dann festlegen, ob zusätzliche Tests, Korrekturmaßnahmen oder Einschränkungen bei der Veröffentlichung erforderlich sind. Ohne eine unabhängige Bewertung, die das ursprüngliche Risiko genau erfasst, kann selbst ein klar definierter Reparaturprozess scheitern.

Eine glaubwürdige KI-Sicherheitsprüfung erfordert auch die richtigen Fachkenntnisse. Technische Gutachter verstehen das Verhalten von Modellen, neue Fähigkeiten und Angriffsszenarien, während Prüfexperten Erfahrung in der Bewertung von Governance, internen Kontrollen und unterstützenden Beweismitteln mitbringen. Beide Perspektiven sind notwendig, aber keine qualifiziert jemanden automatisch für die Bewertung aller Aspekte eines KI-Systems.

Wir sehen bereits Fortschritte in der Art und Weise, wie KI-Sicherheitsprüfungen durchgeführt werden. AICPA und AIUC haben kürzlich ein gemeinsames Angebot angekündigt, das SOC 2-Prüfungen mit AIUC-1-Zertifizierung kombiniert, wodurch etablierte Prüfungsstandards mit technischen Tests von KI-Agenten kombiniert werden, einschließlich vierteljährlicher Wiederholungsprüfungen, da sich Risiken weiterentwickeln. Es ist ein vielversprechender Schritt in Richtung strengerer Bewertungen, aber stärkere Methoden allein können keine glaubwürdigen Ergebnisse garantieren. Die Gutachter, die sie anwenden, müssen auch die Expertise, Unabhängigkeit und Rechenschaftspflicht unter Beweis stellen, um Vertrauen zu erlangen.

Die Unternehmen, die das Abkommen unterzeichnet haben, haben die Möglichkeit, klarere Erwartungen an die unabhängige KI-Sicherheitsprüfung festzulegen. Dazu sollten Mindestanforderungen an die Qualifikation von Gutachtern, transparente Bewertungsmethoden, Offenlegung von Interessenkonflikten und unabhängige Qualitätskontrolle gehören. Berichte sollten ihren Geltungsbereich, ihre Einschränkungen und wesentliche Ergebnisse klar kommunizieren, damit Vorstände, Regulierungsbehörden und Kunden verstehen können, was bewertet wurde und wie viel Vertrauen sie in die Ergebnisse setzen können.

Die Standards müssen auch für kleinere Entwickler praktikabel sein. Die KI-Nutzung geht über die größten Technologieunternehmen hinaus, und ein Prüfungsprozess, der für kleinere Unternehmen zu teuer ist, würde zu Lücken auf dem Markt führen. Die Erwartungen sollten dem beteiligten Risiko entsprechen, ohne die Unabhängigkeit zu beeinträchtigen.

Das Weiße Haus hat einen wichtigen Schritt getan, indem es die unabhängige Aufsicht in den Mittelpunkt seiner Verpflichtungen zur KI-Sicherheit gestellt hat. Damit diese Aufsicht Gewicht hat, muss die Branche jedoch klare Standards für die Frage festlegen, wer Bewertungen durchführen kann, wie ihre Unabhängigkeit überprüft wird und wie die Rechenschaftspflicht aussieht, wenn diese Standards nicht eingehalten werden. Ohne diese Erwartungen können Entwickler möglicherweise nachweisen, dass eine Bewertung stattgefunden hat, ohne zu beweisen, dass sie glaubwürdig war. Da KI-Systeme zunehmend Verantwortung übernehmen, müssen die Personen, die sie bewerten, ebenso strengen Standards unterworfen werden.