Feldnotiz
Warum KI-Piloten den produktiven Einsatz nie erreichen
Branchendaten zeigen: Die meisten KI-Proofs-of-Concept werden verworfen, bevor sie in den produktiven Einsatz gehen. Sechs Fehlermuster, jedes der Projektphase zugeordnet, die es auffängt, bevor es teuer wird.
Eine Voice-of-the-Enterprise-Umfrage unter über tausend Fachleuten aus IT und Fachbereichen in Nordamerika und Europa ergab, dass Organisationen im Durchschnitt 46 % ihrer KI-Proofs-of-Concept verwarfen, bevor diese in den produktiven Einsatz gingen.1 Gartner prognostizierte davon unabhängig, dass bis Ende 2025 mindestens 30 % der Projekte mit generativer KI nach dem Proof of Concept aufgegeben würden.2 Beide Zahlen sind global, nicht schweizerisch. Branchendaten zeigen dasselbe Muster aus zwei Blickwinkeln: Viel KI-Arbeit wird begonnen, und vieles davon geht nie in Betrieb.
Die meisten Prototypen hinter diesen Zahlen funktionierten wahrscheinlich, in dem engen Sinn, dass sie eine plausible Ausgabe lieferten. Sie scheiterten an der Reihenfolge. Die Teams bauten, bevor sie den Wert der Idee beziffert, die Daten geprüft oder festgelegt hatten, woran sich der Erfolg zeigen würde. Jedes der folgenden Fehlermuster gehört zu einer Arbeitsphase, die es auffängt, bevor es teuer wird.
Fehler 1: Niemand kann sagen, was das Projekt wert ist
Ein Projekt wird bewilligt, weil KI dieses Jahr strategische Priorität hat, aber niemand benennt die Zahl, die sich bewegen muss. Das kann der Aufwand pro bearbeitetem Schadenfall sein, die eingesparte Zeit pro Fall oder die Fehlerquote an einer Linie. Ohne benannte Kennzahl und verantwortliche Person kann ein Projekt ein Jahr laufen, sein Budget verbrauchen und nie ein Urteil liefern. Es wird weder abgebrochen noch belegt.
Die erste Phase, Phase 01 · Fall begründen, beugt dem mit einem schriftlichen Business Case vor, bevor Produktivcode entsteht. Er benennt die Kennzahl, die verantwortliche Person und den Ausgangswert, der zu schlagen ist.3 Wenn der Nutzen nicht auf eine Seite passt, übersteht er auch die Budgetprüfung nicht. Das erfahren Sie besser in Woche eins als in Jahr eins.
Fehler 2: Die Daten waren nie da
Dieser Fehler zeigt sich mitten im Bau und ist fast immer vermeidbar. Ein Team nimmt an, dass die Daten existieren, zugänglich und sauber genug sind. Dass es nicht so ist, merkt es erst, wenn Zeitplan und Budget gebunden sind. Die Daten liegen vielleicht in einem System, auf das niemand rechtmässig zugreifen darf, oder sind nach einem Jahrzehnt manueller Erfassung zu uneinheitlich, als dass ein Modell daraus lernen könnte.
Eine Prüfung der Datenquellen, von denen ein Anwendungsfall abhängt, nach Vollständigkeit, Genauigkeit, Zugänglichkeit und Herkunft fängt das vor Baubeginn ab.3 Dann ist es noch eine Frage des Umfangs und kein gestopptes Projekt. Die Prüfung dauert meist einen Bruchteil der Zeit, die der Fehler später kostet.
Fehler 3: Ein eindrücklicher Prototyp, der die Zahl nie bewegt hat
Ein Prototyp überzeugt in der Demo, alle im Raum sind beeindruckt, und achtzehn Monate später kann niemand die Kennzahl zeigen, die er bewegen sollte. Ein Proof of Concept fragt, ob sich etwas bauen lässt, und fast alles lässt sich bauen. Ein Proof of Value fragt, ob es die in Phase 01 benannte Zahl bewegt, und antwortet mit Belegen. Evaluation vor dem Bau zeigt, wie eine solche Evaluation aussieht, einschliesslich adversarialer Fälle.
Fehler 4: Auf dem Laptop lief es, im produktiven Einsatz nicht
Viele KI-Vorhaben, die einen guten Prototyp überstehen, scheitern am nächsten Schritt. Etwas, das einmal funktioniert, mit kuratierten Daten und auf einer einzelnen Maschine, ist weit entfernt von einem System, das unter Last auf der eigenen Infrastruktur der Organisation läuft. Dieses System braucht Monitoring, Zugriffskontrollen, Governance und die Dokumentation, die ein Audit verlangt. Deshalb liefert die Phase System entwickeln ein produktionsreifes System als Ergebnis, keine lauffähige Demo.3
Fehler 5: Es ging live, und niemand nutzte es
Ein System kann live und ungenutzt sein: im Statusbericht ein Erfolg, im Betrieb ignoriert. Die Menschen erledigen die Aufgabe weiter auf die alte Weise, umgehen das neue Werkzeug oder haben nie erfahren, wann sie ihm vertrauen und wann sie eingreifen sollen. Mit der Qualität des Modells hat das nichts zu tun. Entscheidend ist, ob jemand den Arbeitsablauf neu gestaltet, die Nutzenden geschult und einen Rückkanal aufgebaut hat, der zeigt, wo das Werkzeug weiterhin gemieden wird.
Fehler 6: Es driftete, bis ein Audit es fand
Ein System wird als abgeschlossen markiert und übergeben, und danach driftet es. Seine Genauigkeit sinkt, weil sich die Welt ändert, die es abbildet, und seine Compliance lässt nach, weil sich die Regulierung weiterentwickelt. Niemand merkt es, bis ein Vorfall oder ein Audit die Frage erzwingt. Ein KI-System braucht eine dauerhaft verantwortliche Person und regelmässige Reviews, keine einmalige Abnahme.
Was die sechs gemeinsam haben
Alle sechs sind Fehler in der Reihenfolge, und jeder war früh erkennbar, wenn jemand hinsah. Wer KI-Arbeit in feste Phasen gliedert, jede mit einem benannten Ergebnis und einem benannten Fehlermuster, schützt sich vor jedem einzelnen. Die KARPINITY-Methode beschreibt die sechs Phasen und zeigt, welche Phase welchen Fehler auffängt. Wenn Sie noch am Anfang stehen, ist das AI Opportunity Assessment der schnellste und günstigste Weg herauszufinden, ob eine Idee die erste Hürde nimmt.
Footnotes
-
S&P Global Market Intelligence, «Generative AI experiences rapid adoption, but with mixed outcomes - Highlights from VotE: AI & Machine Learning», März 2025, auf Basis einer Voice-of-the-Enterprise-Umfrage unter 1’006 IT- und Fachbereichsfachleuten in Nordamerika und Europa: Organisationen verwarfen im Durchschnitt 46 % der KI-Proofs-of-Concept, bevor diese in den produktiven Einsatz gingen. Globale Daten, nicht schweizspezifisch. https://www.spglobal.com/market-intelligence/en/news-insights/research/ai-experiences-rapid-adoption-but-with-mixed-outcomes-highlights-from-vote-ai-machine-learning ↩
-
Gartner, «Gartner Predicts 30% of Generative AI Projects Will Be Abandoned After Proof of Concept By End of 2025», Medienmitteilung, 29. Juli 2024. Globale Daten, nicht schweizspezifisch. https://www.gartner.com/en/newsroom/press-releases/2024-07-29-gartner-predicts-30-percent-of-generative-ai-projects-will-be-abandoned-after-proof-of-concept-by-end-of-2025 ↩
-
Die vollständige Struktur in sechs Phasen, das Ergebnis jeder Phase und das Fehlermuster, dem sie vorbeugt, beschreibt die KARPINITY-Methode. ↩ ↩2 ↩3