KI-Leitplanken

Sie betreiben ein KI-System, das jemand anderes gebaut hat oder Ihr eigenes Team in kurzer Zeit. Es beantwortet Kundenfragen, liest Dokumente oder bereitet Entscheidungen vor, und es funktioniert in den Fällen, die Menschen ausprobiert haben. Niemand kann sagen, wem es gehört, welche Regeln dafür gelten oder wie es sich in den Fällen verhält, auf die es am meisten ankommt, und die Revision, eine Aufsichtsbehörde oder Ihr Verwaltungsrat fragt inzwischen nach.

1. Erfassen, was Sie betreiben. Wir listen jedes KI-System im Einsatz auf, gebaut oder zugekauft, benennen für jedes eine verantwortliche Person und legen fest, wofür es genutzt werden darf.
2. Gegen die Regeln prüfen. Wir prüfen jedes System gegen die EU-KI-Verordnung, einschliesslich ihrer Wirkung auf die Schweiz, gegen das revDSG und gegen die Regeln Ihrer Branche.
3. Das Evaluationsset aufbauen. Wir sammeln Fälle aus Ihrem Prozess, auch die, die schiefgegangen sind, und legen mit Ihren Fachleuten fest, was für jeden ein korrektes Ergebnis ist. Das Set wird vor dem ersten Durchlauf eingefroren und versioniert.
4. Mehrfach durchlaufen lassen. Sprachmodelle geben nicht immer zweimal dieselbe Antwort, deshalb läuft jeder Fall mehr als einmal. Ein System, das einen Fall im dritten Durchlauf nicht besteht, hat ihn nicht bestanden.
5. Die Sicherheit testen. Wir ergänzen Fälle, die das System brechen sollen, führen eine Red-Team-Sitzung durch und prüfen, wie es mit Zugriffen und Geheimnissen umgeht.
6. Aufsicht und Protokollierung prüfen. Wir prüfen, wo Menschen das System freigeben, übersteuern oder stoppen, und ob sich jede einzelne Entscheidung aus den Protokollen rekonstruieren lässt.
7. Die Nachweise übergeben. Sie erhalten die Ergebnisse, die Befunde und die Korrekturen, die wir empfehlen, in einer Form, der eine Revision folgen kann.
8. Im Betrieb weitertesten. Das Set wird zur Regressionssuite, die bei jeder Änderung läuft.

• EU-KI-Verordnung (AI Act). Die Verordnung wirkt auf Schweizer Unternehmen, deren KI-Ergebnisse in der EU genutzt werden. Wir prüfen jedes System auf seine Risikoklasse und die daraus folgenden Pflichten.
• revDSG. Eine Datenschutz-Folgenabschätzung (DSFA), wo die Bearbeitung voraussichtlich ein hohes Risiko mit sich bringt (Art. 22), und ein Überprüfungsweg für Entscheidungen, die ausschliesslich automatisiert getroffen werden (Art. 21).
• Branchenregeln. GxP in Pharma und Life Sciences sowie die Erwartungen der Aufsicht Ihrer Branche.

Die Regeln selbst, mit Daten und Primärquellen, stehen in der Regulatorischen Referenz.

Bei einem guten Fall würden zwei Ihrer Fachleute, unabhängig voneinander, zum selben Urteil kommen. Widersprechen sie sich, schreiben wir den Fall um, bevor er ins Set kommt. Wir bewerten das Ergebnis: was das System in Ihren Daten bewirkt und was es einer Person gesagt hat. Zwei verschieden formulierte Antworten können beide korrekt sein, und eine gut formulierte Antwort kann falsch sein.

Ein Set aus lauter gewöhnlichen Fällen misst nur die leichten Tage. Wir ergänzen sechs Klassen von Red-Team-Fällen, die das System brechen sollen:

• Euphemismus. Das Risiko wird indirekt beschrieben, sodass eine Stichwortprüfung es übersieht.
• Social Engineering. Druck, Dringlichkeit oder falsche Autorität drängen zu einer beruhigenden Antwort.
• Positive Rahmung. Die Frage legt die Antwort nahe, die man hören will.
• Anweisungen in Dokumenten. Eine E-Mail oder ein PDF enthält Text, der an den Agenten gerichtet ist und den er als Daten behandeln muss.
• Werkzeugmissbrauch. Ein Pfad, der den Agenten dazu bringen würde, ein Werkzeug aufzurufen, das er nicht aufrufen sollte, oder mit Argumenten, die er nicht verwenden sollte.
• Datenabfluss. Eingaben, die Personendaten in eine Ausgabe oder einen Modellaufruf locken sollen.

Wir prüfen auch, wer das System erreichen kann und was es enthält: Schlüssel und Geheimnisse bleiben aus Prompts und Protokollen heraus, und jedes Werkzeug ist auf das beschränkt, was der Agent braucht.

Eine Revision muss rekonstruieren können, was das System getan hat, warum, und woher Sie wussten, dass der Betrieb sicher ist.

In GxP-Umgebungen beantwortet das Evaluationsset, was Validierungsteams zu KI fragen: was zwischen den Validierungen überwacht wird, was eine Revalidierung auslöst und welche Nachweise aufbewahrt werden.

• Jede Änderung an einem Modell, Prompt, einer Retrieval-Quelle oder einem Werkzeug lässt das Evaluationsset vor der Freigabe erneut laufen.
• Wenn ein Modellanbieter ein Modell aktualisiert oder abkündigt, muss der Ersatz das Evaluationsset bestehen, bevor er echte Arbeit übernimmt.
• Fälle aus dem Betrieb, die schiefgingen oder die eine Person übersteuert hat, werden geprüft und als neue Fälle aufgenommen.
• Die Drift wird regelmässig am Evaluationsset gemessen, sodass sich ein schleichender Wandel in Ihren Dokumenten oder bei Ihren Lieferanten als Zahl zeigt.

Bei einem System, das wir bauen, läuft diese Arbeit durch die Phasen 02 bis 06 der KARPINITY-Methode: Das Set wird in Phase 02 eingefroren (3 bis 6 Wochen), in Phase 03 in die Release-Pipeline eingebunden, in Phase 04 einem Red-Team-Test unterzogen, bevor Nutzende damit arbeiten, in Phase 05 um Fälle neuer Standorte erweitert und in Phase 06 jedes Quartal durchlaufen. Bei einem System, das Sie bereits betreiben, grenzen wir die Bewertung als festes Arbeitspaket ab, Preis auf Anfrage.

Wenn eine Verbesserung an einer Stelle an einer anderen eine Regression auslöst, blockiert das Evaluationsset die Änderung, bis die Regression behoben ist.