Blog

Een schadebehandelaar begon met een leeg blad. Copilot Studio schrijft nu de eerste versie.

TL;DR. Copilot Studio-agents kunnen meer dan vragen beantwoorden. Zet er een op een postvak vol schadeformulieren en hij haalt de gegevens eruit, past de aansprakelijkheidsregels toe, en schrijft een beslissing uit. Niet altijd juist, en niet bedoeld om alleen te beslissen. Een mens controleert en tekent nog steeds elk dossier, precies zoals de EU AI Act voorschrijft voor hoogrisico-automatisering.

Vraag de meeste mensen wat een Copilot Studio-agent doet, en je krijgt een variant van hetzelfde antwoord: het is een chatbot. Je stelt een vraag en krijgt een antwoord. Met de juiste configuratie een bronlink en een smiley erbij. In technische termen heten dit retrieval agents: ze zoeken informatie op en geven die terug. Maar om de volledige reikwijdte van Copilot Studio te begrijpen, wilden we een stap verder gaan. Hoe maak je de agent onderdeel van een workflow?

Denk aan het verschil tussen een bibliothecaris en een assistent. Vraag een bibliothecaris naar een reis naar Berlijn en je krijgt een antwoord: hier is het reisbeleid, wat leuke plekken, en wie je moet contacteren. Nuttig, maar jij doet nog steeds het werk. Een assistent doet veel meer dan dat. Die boekt je hotel en vlucht, zodat jij enkel nog aan je koffer hoeft te denken.

In Copilot Studio is het bouwen van een assistent een designkeuze, geen ander product. Koppel de agent aan een SharePoint-site en je hebt een bibliothecaris gebouwd. Geef diezelfde agent een connector naar Outlook en je boekingssysteem, en hij wordt je persoonlijke assistent. In de kern halen agents hun redeneervermogen uit dezelfde modellen. Het verschil zit in wat je aan de agent koppelt en wat je hem laat aanraken. Copilot Studio is in essentie een manier om een bestaand taalmodel in te pluggen op je organisatie. De tools die je meegeeft, bepalen of je een bibliothecaris krijgt of een assistent

The proof of concept: verzekeringsagent

Om de taakuitvoering van Copilot Studio te testen, concentreerden we onze experimenten op een fictief verzekeringskantoor dat Europese Aanrijdingsformulieren op schaal verwerkt. Dit zijn de standaarddocumenten voor het vastleggen van een verkeersongeval. Beide partijen vullen er samen een in op de plek van het ongeval, met verzekeringsgegevens, een schets van de botsing, en een checklist van omstandigheden.

Onze proof of concept was eenvoudig opgezet. Wanneer een formulier in de mailbox van de agent belandt, haalt hij de gegevens uit het document en zet ze om in een gestructureerde database. Daarna gebruikt de agent zijn kennisbronnen om te bepalen welke partij aansprakelijk is. Kortom, twee soorten AI na elkaar: document intelligence om een gescand formulier om te zetten in gestructureerde data, en een taalmodel om die data te interpreteren.

Door onze data te structureren, hebben we hier al winst uit gehaald. Niet enkel vanuit beheersperspectief, maar ook op vlak van privacy. Om de identiteit van iedereen te beschermen, laten we enkel de kerngegevens van het ongeval tot bij de agent komen. Genoeg om aansprakelijkheid te bepalen, niet genoeg om iemand te identificeren.

De AI assessment

Telkens de agent gegevens moet beoordelen, steunt hij uitsluitend op zijn kennisbronnen. In dit geval gebruikt de agent de RDR-regeling (Règlement Direct, in België de Directe Regeling) om zijn beslissing te onderbouwen:

Je denkt misschien: waarom zou ik een agent vertrouwen met zo’n beslissing? En je hebt gelijk, dat zou je niet moeten! Niet volledig, toch. Hoewel de vooruitgang in AI ons doet dromen van autonome agents, zijn we daar nog lang niet. Om een agent, of eender welke AI-oplossing, waarde te laten hebben, moeten we controle uitoefenen. Daarom bouwden we een tool die precies dat doet.

Big Brothering de agent

De EU AI Act vereist menselijk toezicht ingebouwd in hoogrisicosystemen, en die redenering is moeilijk te weerleggen: automatisering voedt een beslissing, ze vervangt niet stilletjes de persoon die ze neemt. Om dat in de praktijk te brengen, bouwden we een aparte applicatie die toeziet op het werk van de agent. Elke actie van de agent wordt gelogd. Elk stukje data, gestructureerd of niet, wordt bewaard. En niets wat de agent produceert, gaat vanzelf verder. Zo monitoren we niet alleen de agent, we bepalen ook zijn rol. In de kern van dit proces neemt een mens nog steeds de eindbeslissing, en de agent ondersteunt die keuzes, hij maakt ze niet.

We kunnen er niet op vertrouwen dat AI altijd juist is, daarom werd het bouwen van reviewtools een kernonderdeel van onze oplossing. Een reviewer kan corrigeren wat het OCR-model verkeerd las, door de gestructureerde data te vergelijken in een gebruiksvriendelijke app. Hij kan ook de redenering van de agent doorlopen en zijn eigen expertise gebruiken om argumenten snel te beoordelen. Daarnaast kan de reviewer prioriteren waar hij eerst kijkt, op basis van de betrouwbaarheidsscore van de AI:

AI hoeft niet perfect te zijn om nuttig te zijn

Ondanks zijn imperfectie levert de agent bij elke run iets op. Extractie kan een veld missen, en de redenering kan afdwalen, maar de schadebehandelaar krijgt altijd meer dan hij eerst had. Ofwel een grotendeels ingevuld dossier in plaats van een gescande PDF, ofwel een uitgewerkt argument in plaats van een leeg blad. We blijven kritisch over elke praktijkimplementatie, maar we zien wel de waarde die ontstaat na de juiste ontwerpkeuzes. Op dit moment vervangt een agent geen enkele job, maar hij kan wel het gewicht van de schouders van de persoon die het werk doet halen.