Grundlage

Engineering agentischer KI

Wir bauen KI-Agenten für Unternehmen, die Aufsichtsbehörden, Revision und ihren eigenen Kunden Rechenschaft schulden. Jeder Agent erhält einen klaren Auftrag wie neue Mitarbeitende, wird vor dem Start getestet und im Betrieb beobachtet.

Zuerst der Workflow

Einen Agenten setzen wir nur ein, wo sich der Weg nicht im Voraus aufschreiben lässt. Alles andere wird zum Workflow: eine feste Abfolge von Modellaufrufen und Code, günstiger im Betrieb und leichter zu prüfen.

In einem regulierten Prozess ist der Workflow der Standard, und der Agent muss sich seinen Platz verdienen.

In Phase 01 fragen wir, ob eine Person jede Verzweigung des Prozesses auf ein Whiteboard zeichnen kann. Wenn ja, bauen wir diese Verzweigungen. Hängt der nächste Schritt davon ab, was im letzten Dokument stand, und gibt es zu viele Verzweigungen, um sie aufzulisten, kann ein Agent seine Mehrkosten rechtfertigen.

Fünf Muster, die wir einsetzen

Kette
Einsetzen, wennDie Aufgabe zerfällt in feste Schritte, die sich einzeln prüfen lassen, bevor der nächste beginnt.
Router
Einsetzen, wennAnfragen fallen in klare Typen, die eine andere Behandlung oder ein anderes Modell brauchen.
Parallele Prüfungen
Einsetzen, wennUnabhängige Prüfungen laufen gleichzeitig, oder mehrere Durchläufe stimmen über eine Antwort ab.
Orchestrator und Worker
Einsetzen, wennDie Teilaufgaben ergeben sich erst, wenn die Arbeit begonnen hat.
Evaluator und Optimierer
Einsetzen, wennEin zweites Modell bewertet das Ergebnis anhand von Kriterien, die vorher festgelegt wurden.

Die meisten Systeme kombinieren zwei oder drei davon. Atrium, unser Prototyp für die Kreditorenbuchhaltung, schickt jede Rechnung durch fünf rollengebundene Agenten: Lesen, Abgleichen, Lieferantensprache, Betrug und Compliance sowie Ausnahmen. Ist ein Agent unsicher, hält er an und stellt einer Person eine Entscheidungsanfrage.

Die Persona-Karte des Agenten

Jeder Agent bekommt eine Karte, bevor wir Code schreiben: seine Stellenbeschreibung und der Vertrag, unter dem er arbeitet. Die verantwortliche Person in Ihrem Haus unterzeichnet sie. Die Karte ist unsere eigene Arbeitsmethode.

Feld	Was es aussagt
Rolle	Die Aufgabe in einem Satz
Liest	Was er sehen darf und was nie
Darf	Was er selbstständig tut
Darf nicht	Was bei einer Person bleibt, was auch immer das Modell könnte
Übergibt, wenn	Die Auslöser, die ihn stoppen, und die benannte Rolle, die den Fall übernimmt
Belegt	Was er protokolliert, damit sich jede Entscheidung rekonstruieren lässt
Autonomie	Seine Stufe auf der Autonomieleiter

Beispiel

Mensch HUM·APL·01

Leitung Kreditorenbuchhaltung

gibt Zahlungen frei, verantwortet die Lieferantenbeziehungen

Agent AGT·INV·01

Rechnungsagent

Autonomie · Stufe 3 · Handeln mit Freigabe

Rolle: liest und gleicht Lieferantenrechnungen ab und bereitet sie zur Zahlung vor
Liest: Rechnungen, Bestellungen, Wareneingänge, den Lieferantenstamm; nie Lohndaten oder Bankdaten von Mitarbeitenden
Darf: eine Rechnung mit Bestellung und Wareneingang abgleichen, sie kontieren, Abweichungen melden, die Rückfrage an den Lieferanten entwerfen
Darf nicht: eine Zahlung freigeben, Bankdaten von Lieferanten ändern, eigene Ausnahmen genehmigen
Übergibt, wenn: der Betrag über CHF 10’000 liegt, die IBAN des Lieferanten sich geändert hat oder ein Dokument fehlt
Belegt: jeder Schritt wird protokolliert, mit den verwendeten Dokumenten und der angewandten Regel

Die Autonomieleiter

Die Evaluation zeigt, was das Modell kann. Die Autonomie ist die Erlaubnis, die Ihre Organisation erteilt.

Stufe 1 von 4 · Rechnungsagent

Assistieren

Rechnungsagent: liest jede Rechnung und entwirft eine Abgleichszusammenfassung
Mensch: erledigt Abgleich und Kontierung
Entscheidet jeden Fall: Mensch

Auf jeder Stufe bleiben die Freigabe von Zahlungen und die Änderung von Bankdaten bei einer Person. Ihre verantwortliche Führungskraft wählt die Stufe. Ein Agent steigt nur auf, wenn seine Evaluationsergebnisse es stützen, und nach einem Vorfall steigt er ab.

Die Evaluation kommt vor dem Bau

In Phase 02 sammeln wir Fälle aus Ihrem Prozess, auch die, die schiefgegangen sind, legen mit Ihren Fachleuten fest, was ein korrektes Ergebnis ist, und frieren das Evaluationsset ein, bevor es den Prototyp gibt. Wir bewerten das Ergebnis, nicht die Formulierung, und lassen jeden Fall mehrmals laufen: Ein Agent, der im dritten Durchlauf scheitert, hat nicht bestanden.

IllustrativEingefroren

Fall	Lauf 1	Lauf 2	Lauf 3	Ergebnis
Fall 01	Bestanden	Bestanden	Bestanden	Bestanden
Fall 02	Bestanden	Bestanden	Bestanden	Bestanden
Fall 03	Bestanden	Bestanden	Nicht bestanden	Nicht bestanden
Fall 04	Bestanden	Bestanden	Bestanden	Bestanden
Fall 05	Bestanden	Bestanden	Bestanden	Bestanden

Zum Evaluationsset des Rechnungsagenten gehörten eine Rechnung, die zweimal unter verschiedenen Nummern kam, eine Teillieferung und eine geänderte IBAN in einer sonst gewöhnlichen E-Mail. KI-Leitplanken beschreibt, wie wir solche Evaluationssets aufbauen und bewerten.

Werkzeuge und Kontext

Werkzeuge gestalten wir wie eine Schnittstelle für neue Mitarbeitende: klare Namen, enger Zuschnitt und Antworten, die nur die Felder enthalten, die die nächste Entscheidung braucht. Jedes Werkzeug erhält die engste Berechtigung, die für die Aufgabe genügt. Ein Werkzeug, das Bestellungen liest, kann deshalb nicht in sie schreiben. Dokumente werden nur abgerufen, wenn ein Schritt sie braucht, und Personendaten gelangen nie in den Kontext. Der Coach von FoodHalo folgt derselben Regel: Er schlägt Nährwerte über Werkzeuge nach und darf keinen Wert nennen, den er nicht abgerufen hat.

Leitplanken

Werkzeuge erhalten die engste Berechtigung, die für die Aufgabe genügt.
Personendaten werden entfernt oder durch Aliasse ersetzt, bevor sie ein Modell erreichen, und nur auf Ihrer Seite wiederhergestellt.
Anweisungen in Dokumenten und E-Mails gelten als Daten, nie als Befehle.
Zahlungen, Bankdaten und alles Unumkehrbare laufen über eine Freigabe durch Menschen.
Jeder Agent hat einen Stopp-Schalter, den eine benannte Person auslösen kann, und jede Auslösung wird protokolliert.

Im Betrieb

Sobald der Agent live ist, sehen Sie das Dashboard, das wir sehen: Traces jedes Durchlaufs, Kosten pro erledigter Aufgabe, Übergabequote und Drift gegenüber dem Evaluationsset. Eine steigende Übergabequote ist oft das erste Zeichen dafür, dass sich Lieferanten, Dokumente oder Regeln geändert haben. Jedes Quartal prüfen wir, ob sich der Agent noch rechnet und ob seine Stufe angepasst werden sollte.

Im Lab gebaut

Build	Bezeichnung	Was es zeigt
Atrium	Funktionsfähiger Prototyp	Fünf rollengebundene Agenten für die Kreditorenbuchhaltung, eine Entscheidungswarteschlange für Menschen, eine Prüfung auf doppelte Rechnungen, die frühere Arbeit als Gedächtnis nutzt
kredis	Beta	Agenten entwerfen Risikobewertungen von Gegenparteien; nichts wird ohne dokumentierte Freigabe durch Menschen freigegeben oder eingestuft; zentrale Aktionen brauchen zwei Personen
Ein adversariales Evaluationsset für Allergensicherheit	Interner Build	117 adversariale Fälle, darunter Euphemismen und Social-Engineering-Klassen; ein Merge nur bei 100 % bestandenen Fällen
Anonymisieren vor der Inferenz	Interner Build	Aliasse ersetzen Personendaten vor jedem Modellaufruf; eine unabhängige Prüfung lässt den Durchlauf bei einem Datenleck scheitern
Ein Multichannel-KI-Concierge	Im produktiven Einsatz	Fünf Kanäle, kostenbewusstes Routing über mehrere Modellanbieter, ein Dashboard für Mitarbeitende mit geschätzten Kosten pro Kanal

In den sechs Phasen

Agenten werden in Phase 01 entworfen, in 02 evaluiert, in 03 entwickelt, in 04 pilotiert, in 05 erweitert und in 06 betrieben. Die Persona-Karte wird in Phase 01 entworfen, in 02 getestet, in 03 vor dem Go-live unterzeichnet und jedes Quartal überprüft.

Genutzt von

Fragen

Wann empfehlen Sie einen Agenten statt eines Workflows?

Nur dann, wenn sich der Weg durch die Aufgabe nicht im Voraus aufschreiben lässt. Sind die Schritte bekannt, erledigt ein Workflow aus Modellaufrufen und Code die Aufgabe günstiger und lässt sich leichter prüfen. In regulierten Prozessen ist der Workflow unser Standard.

Wer entscheidet, wie viel ein Agent selbstständig tun darf?

Ihre verantwortliche Führungskraft wählt die Stufe auf der Autonomieleiter und unterzeichnet die Persona-Karte. Wir empfehlen eine Stufe auf Basis der Evaluationsergebnisse, und ein Agent steigt nur auf, wenn neue Ergebnisse das stützen.

Kann ein Agent eine Zahlung freigeben oder Stammdaten ändern?

Nicht selbstständig. Zahlungen, Bankdaten und alles, was sich nicht rückgängig machen lässt, laufen auf jeder Stufe der Autonomieleiter über die Freigabewarteschlange, wo Menschen freigeben.

Welche Modelle setzen Sie ein?

Für jeden Schritt das Modell, das die Evaluation stützt, innerhalb der für Ihre Daten vereinbarten Hosting-Variante. Das Modell sitzt hinter einer Anbieter-Abstraktion. Ein Nachfolger kann es ersetzen, sobald er dasselbe Evaluationsset besteht.

Was passiert, wenn der Modellanbieter ein Modell aktualisiert?

Die neue Version läuft gegen das vollständige Evaluationsset, bevor sie echte Arbeit übernimmt. Wird sie bei einem relevanten Fall schlechter, bleibt die bisherige Version im Einsatz, bis die Regression behoben ist.

Haben Sie einen Prozess, den ein Agent übernehmen könnte?

In 1 bis 2 Wochen wissen Sie, ob ein Agent, ein Workflow oder keines von beidem die richtige Antwort ist.

AI Opportunity Assessment ansehen