Modeldrift bij je AI-stafchef: waarom sluipende kwaliteitsafname gevaarlijker is dan een crash

Als je Gmail-integratie eruit ligt, weet je het meteen. Geen samenvattingen, geen prioriteitenlijst, rode foutmelding. Vervelend, maar duidelijk. Je belt support, je wacht, het is weer aan.

Drift werkt niet zo. De bestuursvoorzitter van PagerDuty heeft het treffend gezegd: agentische systemen crashen niet, ze drijven af. Alles blijft draaien. Er komt elke ochtend een samenvatting binnen, de prioriteiten staan er nog, de toon klinkt vertrouwd. Maar de kwaliteit onder die oppervlakte is stilletjes verschoven.

Het is het verschil tussen een auto die stalt en een auto waarvan de wielafstelling langzaam scheeftrekt. Bij de eerste stop je meteen. Bij de tweede rijd je gewoon door, tot de banden ongelijk verslijten en je het pas merkt bij de volgende beurt — of bij een ongeluk.

Bij een AI-stafchef gaat het niet om een enkel voorspelmodel dat een getal verkeerd inschat. Het gaat om vier dingen die stap voor stap kunnen verschuiven: wat als urgent wordt gemarkeerd, hoe beslissingen worden samengevat, welke toon wordt aangehouden richting klanten of team, en welke context als relevant wordt meegenomen.

Stel dat je AI-stafchef leert dat jij vaak snel reageert op Slack-berichten van je salesteam, maar trager op e-mails van juridisch. Over een paar weken begint het systeem Slack-drukte structureel hoger te prioriteren dan een contractwijziging die in je inbox staat. Niemand heeft dat zo ingesteld. Het is gewoon de opgetelde richting van duizend kleine signalen.

Dit heet concept drift: de relatie tussen input en output verandert, terwijl niemand de regels heeft aangepast. Er is ook context drift — je bedrijfsregels wijzigen (een nieuwe deal-structuur in HubSpot, een andere sprint-cadans in Linear), maar de logica van het systeem loopt achter die verandering aan.

En dan is er behavioral drift: jij en je team wennen aan de AI-output en stoppen met kritisch checken. Dat mechanisme wordt in onderzoek 'sleepwalking' genoemd — je vertrouwt de samenvatting zonder ze nog te toetsen aan de brondata.

64% van de organisaties experimenteert met agentische AI. Minder dan 25% heeft formele monitoring of escalatieprotocollen voor die agents ingericht. Dat gat is het probleem in één zin.

Tegelijk zegt 68% van de leidinggevenden dat AI-risicogovernance nu hun grootste operationele prioriteit is, tegen 39% een jaar eerder. Het bewustzijn groeit sneller dan de daadwerkelijke controlemechanismen. Bedrijven zien het risico aankomen, maar hebben nog geen instrumentenpaneel om het te meten.

Dat instrumentenpaneel is precies wat ontbreekt bij de meeste teams die een AI-stafchef inzetten naast Gmail, Outlook, Pipedrive of Notion. Er is uptime-monitoring — werkt de integratie, komt de sync door — maar geen kwaliteitsmonitoring. Niemand vraagt zich structureel af: klopt de prioriteitenlijst van vandaag nog met wat er écht toe doet, vergeleken met drie maanden geleden?

De schade van drift is niet in de eerste plaats operationeel, het is relationeel. Als een AI-stafchef een paar keer een verkeerde prioriteit zet of een deal in Pipedrive verkeerd samenvat, stopt een manager niet met het systeem gebruiken — die gaat het gewoon minder vertrouwen. En een half vertrouwd systeem is nutteloos: je checkt alles dubbel, wat de tijdsbesparing van automatisering meteen opeet.

Dit is de kern van het probleem met sluipende degradatie: het eet niet je output op, het eet je vertrouwen op. En vertrouwen herstel je niet met een patch. Dat kost weken van consistente, correcte outputs om terug te winnen — als het al terugkomt.

Er is ook een feedbackrisico. Als een AI-stafchef systematisch bepaalde type taken lager prioriteert — zeg, juridische e-mails ten opzichte van sales-Slack — en jij leert je eigen aandacht daarop af te stemmen, versterk je zelf de scheve prioritering. De mens gaat de bias van het systeem overnemen in plaats van andersom. Dat mechanisme is in ander onderzoek naar AI-vooroordelen ook aangetoond: mensen nemen patronen over van systemen die zij eerder zelf hebben getraind.

De oplossing is niet meer vertrouwen of minder vertrouwen. Het is periodieke, geplande steekproeven — net zoals je een boekhouding steekproefsgewijs controleert, ook als de balans klopt.

Wat dat concreet betekent voor een AI-stafchef: leg elke maand een baseline vast van hoe het systeem vijf terugkerende beslissingen samenvat — een deal-update uit HubSpot, een sprint-blocker uit Linear, een klantklacht uit een e-mailthread. Vergelijk die samenvatting handmatig met de brondocumenten. Niet omdat je het systeem niet vertrouwt, maar omdat drift per definitie onmerkbaar is zolang je niet actief meet.

Bouw daarnaast drift-metrics in los van uptime: hoe vaak wijkt de gekozen prioriteit af van wat jij zelf achteraf als urgent zou hebben aangemerkt? Verandert de toon van samenvattingen richting formeler of losser zonder dat jij dat hebt gevraagd? Dit zijn geen technische metrics voor een datateam — dit zijn vragen die een operator zelf, in tien minuten per maand, kan beantwoorden.

Het is ook een kwestie van eigenaarschap verdelen. Wie is verantwoordelijk voor de technische gezondheid van het systeem, en wie is verantwoordelijk voor of de output nog past bij hoe het bedrijf nu werkt? Zonder die scheiding valt drift tussen twee stoelen: de techniek zegt 'het draait', de business heeft niemand aangewezen om te checken of het nog klopt.

Bij Moments proberen we dat spanningsveld niet weg te poetsen door te beweren dat het systeem zichzelf perfect corrigeert. Dat doet geen enkel AI-systeem. Wat wel helpt: korte, terugkerende reviewmomenten inbouwen in het product zelf, zodat de steekproef geen extra taak wordt die je toch overslaat op een drukke dinsdag.

Dit is niet alleen een kwaliteitsvraag, het wordt ook een compliance-vraag. De EU AI Act verplicht doorlopende monitoring, logging en menselijk toezicht voor risicovolle AI-systemen. Een systeem dat bij ingebruikname compliant was, kan door drift zonder enige code-wijziging alsnog uit de pas gaan lopen met de regels.

Voor een operator die een AI-stafchef inzet op gevoelige beslissingen — wie krijgt welke informatie, welke klantcommunicatie wordt geprioriteerd — is dat geen ver-van-je-bed risico. Het is een reden om drift-detectie net zo serieus te nemen als je nu al uptime en databeveiliging neemt.