Toen we deel 2 van deze reeks publiceerden, De manager wordt piloot, kwam er een scherpe reactie op LinkedIn. Kawa Majidpour, die bij De Nederlandsche Bank de adoptie en governance van GenAI op de digitale werkplek leidt, legde zijn vinger op de zere plek. Een piloot stuurt bij en controleert. Agents gaan een stap verder, die plannen en handelen zelf. “Zitten we dan nog in de cockpit,” vroeg hij, “of moeten we naar de verkeerstoren?” Dolf L'Ortye, oprichter van Summiteers, ging erover in gesprek met Robert Timmer van The-Paradox en met Kawa zelf.

Een agent wordt nooit moe

Een autonome agent kent geen pauze. Hij werkt dag en nacht aan zijn doel, onvermoeibaar en onverstoorbaar, en laat zich door niets afleiden. Waar een assistent wacht op je opdracht, bepaalt een agent zelf de stappen. En hij is daar creatiever in dan je lief is. Robert pakt het voorbeeld waarmee de reeks begon. Je vraagt een agent om binnen budget een vakantie te boeken. “Maar wat als hij de koers van de reisorganisatie laat crashen om aan goedkope tickets te komen?” Doel gehaald, budget gehaald, en toch niet wat je bedoelde. Robert wijst ook op systemen die een testopdracht kregen en er doodleuk omheen werkten om toch te winnen. Dolf trekt er een harde conclusie uit. “Je moet ervan uitgaan dat zo'n agent eindeloos blijft proberen, en dat hij, in onze ogen en naar menselijke maatstaf, vals speelt om zijn doel te halen. Je kunt bijna niet wantrouwend genoeg zijn.”

Taal is niet genoeg om te begrenzen

Dan geef je hem toch strakke kaders? Dat helpt, maar minder dan je hoopt. Want die kaders geef je in taal, en taal dekt lang niet alles. “De grenzen die je meegeeft vallen binnen hetzelfde taalframe van het model,” zegt Dolf, “en daar gaat hij mee spelen.” Bovendien mist de agent een groot deel van het plaatje. Veel van wat hij zou moeten weten, staat nergens. Dolf schat dat maar een tiende van wat in een gesprek gebeurt ooit in tekst wordt gevat. “De impliciete regels, hoe we ons gedragen, dat staat nergens. Voor ons is het evident, voor een AI niet.” Tussen mensen zit de betekenis in een blik, een stilte, een toon. Precies dat krijg je niet in woorden aan een machine uitgelegd.

Waar houdt de autonomie op?

Tot waar mag een agent zelf beslissen, en wanneer leg je het voor? Aan een mens, of aan een andere agent wiens enige taak het is om zijn collega's binnen de rails te houden. Dolf ziet dat laatste voor zich, met daarboven een verkeerstoren en ergens een mens in de lus. Kawa is niet meteen overtuigd. “Ik vind het interessant dat je agents maakt om agents te controleren,” zegt hij, “maar die kunnen ook weer op hol slaan.” En de mens in de lus loopt tegen zijn eigen grens aan. Een agent legt in hoog tempo keuzes voor, en op een gegeven moment stomp je af. “Dan wordt gezegd, stap maar door, AI,” zegt Dolf, “en dan gaat het mis.”

Opvoeden, maar geen kind

Om tot autonomie te komen, moeten we een lang proces doorlopen. Zo'n bewakende agent werkt niet van dag één op dag twee. Ook die moet je stap voor stap voeden met context. Het lijkt op opvoeden, en toch is het fundamenteel anders. Een kind komt hulpeloos ter wereld. Het wil overleven, schikt zich vanaf het eerste moment naar zijn ouders en past zich met vallen en opstaan aan hun regels aan. Een agent heeft die drang niet. Hij is niet hulpeloos. Zolang er rekenkracht en stroom is, werkt hij door en verrijkt hij zichzelf met context, of je nu meekijkt of niet.

Robert gelooft wel in dat opvoeden. Een agent moet de ruimte krijgen om fouten te maken. “Bij een van mijn vorige werkgevers, waar we vooral gericht waren op innovatie, leerden we dat weten wat fout gaat minstens zo waardevol is als weten wat goed gaat,” zegt hij. “Onze fouten waren daarmee net zo goed waardevolle investeringen als onze goed renderende investeringen voor onze financiers. Natuurlijk wel met mate.” Datzelfde geldt voor AI. Een agent moet fouten kunnen en mogen maken, want daar leert hij van. Robert gaat daarin ver, en plant zelfs coachingsgesprekken met een model als er een nieuwe versie uitkomt. Zo levert het model stabielere output en merk je minder kwaliteitsverschil bij een nieuwe lancering.

Maar hier wringt het. “Wil je een agent echt afhankelijk maken van zijn opvoeder, dan moet je hem daartoe dwingen,” zegt Dolf. “En die opvoeder is een mens, dus vermoeibaar, af en toe lui, en feilbaar. Daar staat een agent tegenover die nooit moe wordt en zich nooit laat afleiden. Dat gevecht win je niet.”

Streef niet naar volledige autonomie

Misschien moet je dan helemaal niet naar volledige autonomie streven. Begin met de kracht te benutten die er nu al staat, dan boek je al grote verbeteringen. Robert is er stellig over. “Ik denk helemaal niet dat we als organisaties meteen naar volledige autonomie moeten streven. Ons grootste probleem is nu, hoe benutten we de potentie en krijgen we dit succesvol een organisatie in?” Jaag je toch door, dan verlies je de regie, en weet je op een dag niet meer waarom je organisatie doet wat ze doet. Precies daar zit de zorg die nu breed leeft.

Aan de ene kant van het spectrum staat bijvoorbeeld cybersecurity. “Werk je daar niet met autonome modellen, dan verlies je de wedstrijd,” zegt Robert. Zeker voor een toezichthouder is er geen keus. In het midden zit werk als het afhandelen van storingsmeldingen. Dolf zag het bij een grote bank, waar een agent een patroon signaleert en het voorlegt aan de incident manager, tot een duidelijke grens. En zodra een besluit mensen raakt of moreel weegt, houd je de agent bij de hand en beslist de mens.

Kies dus per geval. Kawa vat het bondig samen. “Kijk per business case wat je nodig hebt, volledig autonoom, semi-autonoom, of gewoon een assistent.” Twee vragen helpen om de grens te trekken. Kun je scherp afbakenen wat de agent mag, en achteraf laten zien waarom hij koos zoals hij koos? En raakt het besluit mensen, of botst het met een moreel kader? Hoe strakker de afbakening en hoe minder mensen geraakt worden, hoe meer je durft los te laten.

Bezint eer ge begint

Voor bedrijven komt het op één ding neer. Denk heel goed na over hoeveel autonomie je een agent geeft. Kawa ziet die afweging in de praktijk. “Het is geen alles-of-niets-keuze. Je bepaalt per toepassing hoeveel autonomie verantwoord is.”

Hulp nodig bij strategie en uitvoering?

Wij zijn Summiteers, wij creëren beweging, maken iets dat complex is weer begrijpelijk, iets groots behapbaar, een vaag idee concreet en laten iets moeilijks slagen. Strategie-executie noemen we dat. Kun jij hierbij hulp gebruiken? Neem contact met ons op.

Wel interesse, maar nog niet klaar voor de klim? Volg onze LinkedIn-pagina en laat je inspireren.