Livegang is bij AI niet de finish: het echte werk begint daarna. Het artikel laat zien waarom adoptie al vóór de livegang begint en waarom iedere agent een eigenaar nodig heeft met het mandaat om hem aan te passen, terug te schalen of uit te zetten. Ook gaat het over het bepalen van een acceptabele foutmarge per proces.
Veel organisaties behandelen livegang nog als de finish.
De oplossing werkt. De eerste resultaten zijn goed. Het projectteam gaat door naar het volgende initiatief.
Maar bij AI begint een belangrijk deel van het werk dan pas.
Want wie bepaalt drie maanden later of een agent nog steeds goed genoeg functioneert? Wie ziet dat medewerkers hun output steeds vaker corrigeren? En wie mag uiteindelijk zeggen: deze agent passen we aan, schalen we terug of zetten we uit?
Hoe meer agents onderdeel worden van onze dagelijkse operatie, hoe belangrijker die vragen worden.
Het begint vóór de livegang
In de praktijk merk ik dat succesvolle adoptie veel eerder begint.
Als we iets ontwikkelen en het daarna simpelweg aan een team geven, is de kans groot dat het uiteindelijk op de plank belandt. Technisch kan de oplossing prima werken, maar dat betekent nog niet dat mensen hem gaan gebruiken.
Wat beter werkt, is samen met het team bepalen hoe AI onderdeel wordt van hun werk. Welke stappen willen we veranderen? Waar helpt AI? Hoe gaan we ermee werken? En wat moeten mensen zelf kunnen?
Daarbij helpt het om een gemeenschappelijke skillbase op te bouwen. Bijvoorbeeld codegeneratie of het opstellen van requirements: je wil niet dat iedereen individueel uitvindt hoe AI wordt ingezet. Je ontwikkelt samen een manier van werken en leert wat goede output is.
Dat creëert niet alleen kennis, maar ook eigenaarschap. En zonder eigenaarschap wordt adoptie heel moeilijk.
Wanneer is een agent goed genoeg?
Vervolgens komt een moeilijkere vraag: wanneer vinden we de kwaliteit eigenlijk goed genoeg?
Daar bestaat volgens mij geen universeel percentage voor.
We zien in de praktijk iets interessants: organisaties accepteren menselijke fouten vaak makkelijker dan fouten van AI. Een medewerker die een verkeerde inschatting maakt, wordt gezien als menselijk. Maakt een AI-agent dezelfde fout, dan staat de betrouwbaarheid van de technologie al snel ter discussie.
Daarom moet iedere organisatie per proces bepalen welke foutmarge acceptabel is.
Een fout in een eerste concepttekst heeft een heel andere impact dan een fout bij een financiële transactie.
Ik zou daarom niet alleen meten hoe vaak een agent het goed doet. Kijk vooral naar de kwaliteit van zijn handelingen en hoeveel menselijke controles en correcties nog nodig zijn.
Human-in-the-loop is geen eindstation
In het begin is het logisch dat mensen relatief veel controleren. Je moet ervaring opbouwen en ontdekken waar het mis kan gaan.
Maar als de kwaliteit over langere tijd betrouwbaar en voorspelbaar wordt, ontstaat een nieuwe vraag:
Waarom controleren we eigenlijk nog alles?
Menselijke controle kan dan steeds verder naar achteren verschuiven: van iedere handeling controleren, naar uitzonderingen beoordelen, naar uiteindelijk toezicht houden op de kwaliteit van het totale proces.
Human-in-the-loop moet geen reflex worden waarmee we ieder risico proberen af te dekken. Het is een ontwerpkeuze die je opnieuw moet beoordelen naarmate technologie en organisatie volwassener worden.
Iedere agent heeft een eigenaar nodig
Als een agent zelfstandig werkzaamheden uitvoert, moet duidelijk zijn wie verantwoordelijk is voor zijn functioneren.
In onze aanpak krijgt daarom iedere agent een eigenaar. Op organisatieniveau bepaal je de KPI’s en randvoorwaarden waarbinnen agents mogen opereren. De eigenaar bewaakt vervolgens of zijn agent daar nog aan voldoet.
Dat betekent niet dat iedere manager straks twintig agents rechtstreeks moet aansturen. Een manager kan ook mensen aansturen die verantwoordelijk zijn voor specifieke agents.
Het belangrijkste is niet waar het vakje in het organogram staat.
Het belangrijkste is dat iemand verantwoordelijk is.
Van spaghetti-code naar een pastaramp van agents
Hier zie ik in de komende jaren misschien nog wel een grotere uitdaging.
Nu experimenteren organisaties met één agent hier en één agent daar. Maar wat gebeurt er als we straks tientallen of honderden agents hebben? Agents die andere agents aanroepen, verschillende databronnen gebruiken en acties uitvoeren in allerlei systemen.
Bij software kennen we spaghetti-code.
Als we niet oppassen, creëren we straks een complete pastaramp van agents.
Daarom wordt orchestratie zo belangrijk. Welke agent doet wat? Welke agents werken samen? Wie is waarvan eigenaar? Welke data mogen ze gebruiken? En wat gebeurt er als één agent niet goed functioneert?
Governance moet wat mij betreft niet alleen risico’s beperken. Goede governance moet er juist voor zorgen dat je kunt opschalen zonder de controle over je operatie kwijt te raken.
Herijken heeft geen einddatum
Tijdens mijn AI Leadership Course bij Harvard kwam de continue leercyclus sterk terug: gebruik levert data en feedback op, daarmee verbeter je de oplossing en betere oplossingen kunnen vervolgens weer meer waarde creëren.
Dat principe hebben we meegenomen in de vijfde stap van onze AI-native aanpak: herijken.
Maar eigenlijk begint herijken al vóór de eerste regel code.
Je denkt vooraf na over adoptie en businesswaarde, over wat goede output is, wie eigenaar wordt en binnen welke randvoorwaarden een agent mag opereren.
Na livegang toets je die aannames continu. Wordt de agent gebruikt? Levert hij waarde? Is de kwaliteit voorspelbaar? Hoeveel menselijke controles zijn nog nodig? Kunnen we meer autonomie geven? Of moeten we juist terug?
En soms moet je durven stoppen.
Op termijn krijgt vrijwel iedere organisatie toegang tot dezelfde modellen. Het onderscheid zit daarom niet alleen in de technologie, maar in hoe snel je organisatie leert wat werkt, wat niet werkt en wat je vervolgens durft te veranderen.
AI-native worden betekent voor mij niet dat je zoveel mogelijk agents hebt.
Het betekent dat je een organisatie bouwt waarin mensen, traditionele software en AI ieder worden ingezet waar ze de meeste waarde toevoegen.
En dan wordt één vraag steeds belangrijker:
Wie heeft bij jullie het mandaat om te zeggen: deze agent is niet meer goed genoeg?
