KI im Einsatz: Lessons Learned - der Punkt, der meistens zuerst fällt

Wenn in Teams mit KI gearbeitet wird, ganze Prozesse damit gesteuert werden oder komplexe Themen bearbeitet werden, braucht es regelmäßige Rückmeldeschleifen.

Nicht irgendwann nach dem Projekt. Nicht nur beim Aufsetzen eines Agenten. Sondern laufend.

Denn KI erledigt Aufgaben entlang von Prompts oder erstellten Agenten. Ein Teil der Arbeit wird von Menschen beeinflusst. Ein anderer Teil erledigt die KI selbst – im Hintergrund, ohne dass jede einzelne Zwischenentscheidung sichtbar oder kontrollierbar ist.

Das allein lässt viele Mitarbeiter:innen und Führungskräfte ins Schwitzen kommen: Kontrolle abgeben an ein System, das ein gewisses Eigenleben zu führen scheint.

Deshalb gilt: Jede kritische KI-Empfehlung braucht Human Review. Der Mensch behält die Entscheidungshoheit.

Bei agentischen Systemen wird das noch wichtiger. Dort gibt der Mensch Teile der Entscheidungshoheit und Kontrolle ab. Es reicht also nicht, ein System einmal sorgfältig aufzusetzen. Es muss regelmäßig geprüft werden, ob die KI noch das macht, was sie machen soll – und ob das mit dem Team geteilt wird.

Das ist keine Kür, sondern Governance. Das NIST AI Risk Management Framework betont genau das: kontinuierliches Messen, Managen und Anpassen statt einmaliger Prüfung.

Und genau hier liegt die Herausforderung.

Viele Unternehmen machen Lessons Learned nach größeren Projekten oder Deals nicht – oder erst dann, wenn es für das nächste Projekt zu spät ist. Offiziell wird Lernen großgeschrieben. Inoffiziell fällt die Lessons-Learned-Einheit oft aus Zeitgründen weg.

Das ist keine bloße Vermutung: Das Project Management Institute beschreibt, dass Lessons Learned häufig erst am Projektende angesetzt oder gar nicht wirksam umgesetzt werden. Forschung zum organisationalen Lernen aus Projekten kommt zudem zu dem Ergebnis, dass Erkenntnisse selten zuverlässig in die Organisation übertragen werden.

Agile Teams haben hier einen strukturellen Vorteil: Retrospektiven sind in agilen Arbeitsweisen systemimmanent. Aber auch sie wirken nicht automatisch. Studien zeigen, dass Retros oft bei wiederkehrenden Themen bleiben, wenn ihre Erkenntnisse nicht in konkrete Maßnahmen, Verantwortlichkeiten und Veränderungen überführt werden.

Was stattdessen helfen würde:

Regelmäßige Rückmeldeschleifen mit dem gesamten Team beziehungsweise mit allen Betroffenen etablieren.

Ein strukturierter Austausch:

• Was hat funktioniert?

• Welche Erfahrungen sind für alle interessant?

• Welche Fehler gibt es, und was funktioniert noch nicht?

• Welche KI-generierten Empfehlungen waren kritisch – und wie haben wir sie geprüft?

Das Ziel ist immer, das System zu verbessern.

Als fester Agendapunkt im Jour fixe. Als Retrospektive. Bewusst über KI reflektieren. Kritische Empfehlungen diskutieren. Nicht nur im Rahmen eines bestimmten Projekts.

Damit nicht nur Einzelne in der Arbeit mit KI lernen, sondern alle vom Erfahrungswissen des Teams profitieren.

Wenn Unternehmen das nicht schaffen, wird es mit KI-erledigter Arbeit gravierende Auswirkungen haben. Denn dann entsteht ein System, das Entscheidungen vorbereitet oder trifft, während niemand systematisch prüft, ob es noch im Sinne der Strategie und der Ziele arbeitet.

KI braucht keine Kontrolle auf dem Papier. Sie braucht laufende Human Oversight, Monitoring und eine Struktur, in der Lessons Learned tatsächlich stattfinden.