Waarom één AI-agent niet genoeg is als je met je data communiceert
Door Yigit Unver
De meeste AI-producten waarmee je met je gegevens kunt chatten, zijn op precies dezelfde manier opgezet. Je neemt één groot taalmodel, koppelt dat aan je database en stelt er een vraag aan.
In een zorgvuldig geënsceneerde demo werkt het perfect. In de praktijk mislukt het echter meteen.
Ik heb dit de afgelopen maanden op de harde manier geleerd tijdens de ontwikkeling van ‘Chat with your Analyst’. Dit is de functie AssistYou waarmee je de statistieken van je spraakagent kunt opvragen in gewone taal.
Dit artikel is een openhartig verslag van wat er misging met onze eerste versie, waarom één enkele AI-agent deze taak simpelweg niet aankan en welke architecturale keuze uiteindelijk de oplossing bracht.
De valkuil van de 'enige verantwoordelijke'
Toen ik de eerste versie van deze functie ontwikkelde, maakte ik gebruik van één enkele agent. Eén groot taalmodel kreeg de vraag van de gebruiker, de relevante gegevens en een instructie waarin stond hoe het zich moest gedragen.
Al vrijwel meteen liep ik tegen een enorme technische hindernis aan. Er deden zich twee belangrijke storingspatronen voor.
Het eerste probleem was hallucinatie. Wanneer het model werd gevraagd om getallen te genereren die het niet direct kon berekenen, verzon het soms waarschijnlijk ogende waarden. Als een gebruiker bijvoorbeeld vroeg naar het percentage afgehandelde oproepen, spuwde het model vol vertrouwen een getal uit dat er correct uitzag, maar dat absoluut geen enkele basis in de werkelijkheid had. In een analytisch product voor bedrijven is dit rampzalig. Je kunt geen zakelijke beslissingen nemen op basis van verzonnen cijfers.
De tweede tekortkoming was de voortdurende afweging tussen kwantitatieve en kwalitatieve prestaties. Toen ik het systeem zo instelde dat de wiskundige nauwkeurigheid bij rekenopgaven werd gemaximaliseerd, ging de kwaliteit van de verhalende samenvattingen achteruit. Toen ik het model zo instelde dat het betere verhalende samenvattingen schreef, begonnen de cijfers af te wijken.
Ik vroeg hetzelfde model om twee taken uit te voeren die totaal tegengestelde kanten opgaan. Hoe beter het in de ene taak werd, hoe slechter het in de andere werd.
Verdeel en heers
De oplossing voor dit probleem is al ouder dan kunstmatige intelligentie zelf. Het is het kernprincipe dat al veertig jaar lang de leidraad vormt voor de ontwikkeling van software. Als er te veel van één onderdeel wordt gevraagd, splits je het op.
Ik heb 'Chat with your Analyst' volledig opnieuw opgebouwd rond een multi-agentarchitectuur. In plaats van één enkel model dat alle verzoeken probeert te verwerken, maakt het systeem nu gebruik van een goed gecoördineerd team van gespecialiseerde agents.
Een coördinator stuurt de gebruiker aan, terwijl een team van subagenten het zware werk voor zijn rekening neemt.
Hoe de Orchestrator precies werkt
De orchestrator is de enige agent die daadwerkelijk met je communiceert. Wanneer je een bericht verstuurt, voert hij een strikt proces uit om volledige nauwkeurigheid te garanderen.
Ten eerste interpreteert het je bedoeling en doorloopt het een verduidelijkingscyclus. Als je opdracht vaag is, gaat de orchestrator niet gissen. Het weigert ronduit om een antwoord te verzinnen en vraagt je in plaats daarvan om verduidelijking. Deze strikte grens voorkomt dat er ooit ongewenste gegevens in het systeem terechtkomen.
Ten tweede stelt het een plan op en verdeelt het werk over meerdere parallelle processen. Op basis van uw opdracht activeert de orchestrator de juiste subagenten tegelijkertijd. Als u om cijfergegevens en een schriftelijke samenvatting vraagt, wacht het systeem niet tot het ene proces is voltooid voordat het andere wordt gestart. De agenten werken parallel aan elkaar.
Ten derde stelt het de reactie samen. De subagenten sturen hun resultaten terug in de vorm van gestructureerde interne berichten. De orchestrator controleert de gegevens en stelt de uiteindelijke uitvoer naadloos samen.
Je beleeft één natuurlijk gesprek. Maar achter de schermen is een heel team van specialisten al voor je aan de slag gegaan.
Maak kennis met de subagenten
Elke subagent binnen 'Chat with your Analyst' wordt grondig getest en is ontworpen rond één specifieke analytische functie.
De Analyst Agent Deze subagent verwerkt uw kwantitatieve verzoeken. Hij ontwikkelt de logica om de juiste gegevens op te halen en berekent de exacte cijfers. Hij levert exact overeenkomende records op. Hij verzint geen waarden en maakt nooit gebruik van schattingen.
De Summariser-agent Deze subagent houdt zich bezig met het extraheren van verhalende informatie. Hij leest de relevante inhoud en signaleert thema’s in duizenden gesprekken. Hij is uitsluitend afgestemd op kwalitatieve diepgang.
De Investigator Agent Dit is ons ultieme wapen tegen hallucinaties. Deze subagent duikt in de ruwe transcripties en haalt exacte citaten eruit om verifieerbaar bewijs te leveren. Hij bewijst je dat de gegevens echt zijn.
Het hele systeem is bovendien standaard meertalig opgezet. Je kunt een vraag in het Engels stellen over een database met Nederlandse klantgesprekken, en de medewerkers zullen de informatie naadloos verwerken en vertalen.
Waarom dit de afweging tussen gegevens en prestaties oplost
Het oorspronkelijke probleem was dat één model niet tegelijkertijd uitblonk in wiskunde en verhalen vertellen. De multi-agentarchitectuur lost dit op door het model daar niet langer om te vragen.
De Analyst-agent hoeft nooit een verslag te schrijven. De Summariser-agent hoeft nooit een formule te berekenen. Die afweging is niet verdwenen omdat de onderliggende AI-modellen op magische wijze beter zijn geworden. Ze is verdwenen omdat ik de fundamentele softwarearchitectuur heb aangepast.
We vragen een generalist niet langer om zich als specialist te gedragen.
Wat onze volgende stap is
De routekaart voor 'Chat with your Analyst' biedt twee veelbelovende ontwikkelingsrichtingen.
De eerste functie is het inplannen van rapportages. Binnenkort kunt u de analist een vraag stellen, het antwoord controleren en vervolgens diezelfde analyse zo instellen dat deze elke maandagochtend wordt uitgevoerd en rechtstreeks in uw inbox wordt bezorgd.
Op de langere termijn streven we naar volledige integratie met uw Flow Builder. Een flow van een spraakagent genereert analyses. Deze analyses geven precies weer wat wel en wat niet werkt. Een logische volgende stap is dat de analist directe aanpassingen aan de flow zelf voorstelt. Een knooppunt waar gebruikers vaak afhaken, kan worden gemarkeerd met een aanbevolen herontwerp. Getest en geïmplementeerd.
De grens tussen het analyseren van je bedrijfsvoering en het actief verbeteren ervan zal volledig verdwijnen.
Architectuur wint altijd van het model
Het is verleidelijk om te denken dat dit soort structurele keuzes overbodig zullen worden naarmate taalmodellen groter worden. Men gaat ervan uit dat een enorm model zomaar elke vraag perfect kan beantwoorden.
Dit slaat de plank volledig mis.
Zelfs een groter model kan nog steeds niet tegelijkertijd voor twee tegenstrijdige doelstellingen worden geoptimaliseerd. Zelfs een groter model levert veel betere resultaten op wanneer het werk wordt opgedeeld in stappen die afzonderlijk kunnen worden geanalyseerd, getest en verbeterd.
Multi-agent-coördinatie is geen tijdelijke noodoplossing voor de beperkingen van de huidige modellen. Het is de manier waarop betrouwbare systemen op bedrijfsniveau worden gebouwd. Softwareontwikkelaars hebben dit al decennia geleden geleerd. AI-ontwikkelaars zijn dit nu opnieuw aan het leren.
Veelgestelde vragen
Wat is een multi-agentarchitectuur in AI-producten? Een ontwerppatroon waarbij meerdere gespecialiseerde AI-agenten onder leiding van een coördinator samenwerken, in plaats van dat één enkele agent alle taken op zich neemt. Elke agent is geoptimaliseerd voor een specifieke taak, wat de betrouwbaarheid aanzienlijk verhoogt.
Wat is een orchestrator-agent? Dit is de agent die tussen de gebruiker en de gespecialiseerde subagenten in staat. Hij interpreteert de intentie, voert verduidelijkingsrondes uit om onjuiste invoer te voorkomen en zet de juiste subagenten aan om parallel te werken.
Waarom volstaat één AI-agent niet voor analyse? Kwantitatieve analyse vereist strikte wiskundige nauwkeurigheid. Kwalitatieve analyse vereist nuance en verhalende diepgang. Door het werk te verdelen over gespecialiseerde subagenten wordt de afweging tussen beide volledig weggenomen.
Hoe voorkomt dit hallucinaties? Dankzij de multi-agentarchitectuur krijgt elke agent een specifieke taak toegewezen, waardoor er minder kans is op fouten. Bovendien weigert de orchestrator vage input, en levert de subagent Investigator verifieerbaar bewijs door exacte citaten uit de ruwe gesprekslogs te halen.
Wat is 'Chat with your Analyst'? Dit is AssistYou functie AssistYou waarmee gebruikers via natuurlijke taal informatie kunnen opvragen over de analysegegevens van hun AI-spraakagent. In plaats van dashboards te maken, stellen gebruikers rechtstreeks vragen en krijgen ze antwoorden die zijn gebaseerd op hun daadwerkelijke operationele gegevens.
