Warum ein KI-Agent nicht ausreicht, wenn man mit seinen Daten spricht
Von Yigit Unver
Die meisten KI-Produkte, mit denen man mit seinen Daten chatten kann, sind alle nach dem gleichen Prinzip aufgebaut. Man nimmt ein einziges großes Sprachmodell, verbindet es mit der eigenen Datenbank und stellt ihm eine Frage.
In einer sorgfältig inszenierten Demo funktioniert es hervorragend. In der Praxis versagt es jedoch sofort.
Das habe ich in den letzten Monaten beim Aufbau von „Chat with your Analyst“ auf die harte Tour gelernt. Dabei handelt es sich um eine Funktion AssistYou , mit der Sie die Analysedaten Ihres Sprachassistenten in natürlicher Sprache abfragen können.
Dieser Artikel schildert ehrlich, was bei unserer ersten Version schiefgelaufen ist, warum ein einzelner KI-Agent diese Aufgabe einfach nicht bewältigen kann und welche architektonische Entscheidung das Problem schließlich gelöst hat.
Die Ein-Agenten-Falle
Als ich die erste Version dieser Funktion entwickelte, stützte ich mich auf einen einzigen Agenten. Einem großen Sprachmodell wurden die Frage des Nutzers, die relevanten Daten sowie eine Anleitung zur Vorgehensweise übermittelt.
Fast sofort stieß ich auf eine gewaltige technische Hürde. Es traten zwei wesentliche Fehlerquellen auf.
Das erste Problem war eine Art von „Halluzination“. Wenn das Modell aufgefordert wurde, Zahlen zu liefern, die es nicht direkt berechnen konnte, erfand es manchmal Werte, die plausibel wirkten. Wenn ein Nutzer nach der Lösungsquote für Anrufe fragte, spuckte das Modell selbstbewusst eine Zahl aus, die korrekt aussah, aber keinerlei realen Bezug hatte. In einem Analyseprodukt für Unternehmen ist das katastrophal. Man kann keine geschäftlichen Entscheidungen auf der Grundlage gefälschter Zahlen treffen.
Das zweite Problem war der ständige Zielkonflikt zwischen quantitativer und qualitativer Leistung. Wenn ich das System so optimierte, dass es bei numerischen Fragen maximale mathematische Genauigkeit lieferte, verschlechterte sich die Qualität der narrativen Zusammenfassungen. Wenn ich das Modell so optimierte, dass es bessere narrative Zusammenfassungen erzeugte, begannen die Zahlen zu weichen.
Ich habe genau dasselbe Modell gebeten, zwei Aufgaben zu erledigen, die in völlig entgegengesetzte Richtungen zielen. Je besser es bei der einen wurde, desto schlechter wurde es bei der anderen.
Teile und herrsche
Die Lösung für dieses Problem ist älter als die künstliche Intelligenz selbst. Es ist das Grundprinzip, das die Softwareentwicklung seit vierzig Jahren bestimmt. Wenn von einer Komponente zu viel verlangt wird, teilt man sie auf.
Ich habe „Chat with your Analyst“ auf Basis einer Multi-Agenten-Architektur komplett neu entwickelt. Anstelle eines einzigen Modells, das versucht, jede Anfrage zu bearbeiten, setzt das System nun auf ein eng abgestimmtes Team spezialisierter Agenten.
Ein Orchestrator koordiniert den Benutzer, während ein Team von Unteragenten die eigentliche Arbeit erledigt.
Wie der Orchestrator tatsächlich funktioniert
Der Orchestrator ist der einzige Agent, der tatsächlich mit Ihnen kommuniziert. Wenn Sie eine Nachricht senden, führt er einen streng definierten Prozess aus, um absolute Genauigkeit zu gewährleisten.
Zunächst interpretiert er Ihre Absicht und durchläuft eine Klärungsschleife. Ist Ihre Eingabe vage, rät der Orchestrator nicht. Er weigert sich rundweg, eine Antwort zu erfinden, und bittet Sie stattdessen um Klarstellung. Diese strenge Grenze verhindert, dass jemals unbrauchbare Daten in das System gelangen.
Zweitens erstellt es einen Plan und verteilt die Arbeit parallel. Basierend auf Ihrer Absicht löst der Orchestrator die entsprechenden Unteragenten gleichzeitig aus. Wenn Sie numerische Daten und eine schriftliche Zusammenfassung anfordern, wartet das System nicht, bis die eine Aufgabe abgeschlossen ist, bevor es mit der anderen beginnt. Die Agenten laufen parallel.
Drittens erstellt er die Antwort. Die Unteragenten geben ihre Ergebnisse als strukturierte interne Nachrichten zurück. Der Orchestrator überprüft die Daten und stellt die endgültige Ausgabe nahtlos zusammen.
Sie erleben ein ganz normales Gespräch. Im Hintergrund hat sich jedoch ein ganzes Team von Spezialisten für Sie an die Arbeit gemacht.
Lernen Sie die Untervertreter kennen
Jeder Sub-Agent innerhalb von „Chat with your Analyst“ wird gründlich getestet und ist auf eine bestimmte Analysefunktion ausgerichtet.
Der Analyst-Agent Dieser Unteragent bearbeitet Ihre quantitativen Anfragen. Er erstellt die Logik zum Abrufen der richtigen Daten und berechnet die genauen Zahlen. Er liefert genau übereinstimmende Datensätze. Er erfindet keine Werte und gibt niemals Näherungswerte an.
Der Summariser-Agent Dieser Unteragent ist für die Extraktion von Inhaltszusammenfassungen zuständig. Er liest die relevanten Inhalte und identifiziert Themen in Tausenden von Anrufen. Er ist ausschließlich auf qualitative Tiefe ausgelegt.
Der Investigator-Agent Dies ist unsere ultimative Waffe gegen Halluzinationen. Dieser Unteragent taucht tief in die Rohprotokolle ein und extrahiert genaue Zitate, um überprüfbare Beweise zu liefern. Er beweist Ihnen, dass die Daten echt sind.
Die gesamte Architektur ist zudem von Grund auf mehrsprachig ausgelegt. Sie können eine Frage auf Englisch zu einer Datenbank mit niederländischen Kundengesprächen stellen, und die Mitarbeiter werden die Informationen nahtlos verarbeiten und übersetzen.
Warum dies den Datenkompromiss löst
Das ursprüngliche Problem bestand darin, dass ein einzelnes Modell nicht gleichzeitig sowohl in Mathematik als auch im Geschichtenerzählen hervorragende Leistungen erbringen konnte. Die Multi-Agenten-Architektur löst dieses Problem, indem sie nicht mehr verlangt, dass das Modell dies versucht.
Der Analyst-Agent muss niemals einen Bericht verfassen. Der Summariser-Agent muss niemals eine Formel berechnen. Dieser Kompromiss ist nicht verschwunden, weil die zugrunde liegenden KI-Modelle auf magische Weise besser geworden wären. Er ist verschwunden, weil ich die grundlegende Softwarearchitektur geändert habe.
Wir haben aufgehört, von einem Generalisten zu verlangen, dass er ein Spezialist ist.
Wohin geht es als Nächstes?
Die Roadmap für „Chat with your Analyst“ sieht zwei äußerst spannende Entwicklungsrichtungen vor.
Der erste Punkt betrifft die geplante Berichterstellung. In Kürze können Sie dem Analysten eine Frage stellen, die Antwort überprüfen und dann festlegen, dass genau diese Analyse jeden Montagmorgen durchgeführt und direkt in Ihren Posteingang gesendet wird.
Langfristig streben wir eine vollständige Integration mit Ihrem Flow Builder an. Ein Sprachagenten-Ablauf generiert Analysedaten. Diese Analysedaten zeigen genau auf, was funktioniert und was nicht. Ein logischer nächster Schritt wäre, dass der Analyst direkte Änderungen am Ablauf selbst vorschlägt. Ein Knotenpunkt, an dem Nutzer häufig abspringen, könnte mit einem Umgestaltungsvorschlag gekennzeichnet werden. Getestet und implementiert.
Die Grenze zwischen der Analyse Ihrer Betriebsabläufe und deren aktiver Verbesserung wird vollständig verschwinden.
Die Architektur übertrifft immer das Modell
Man könnte leicht annehmen, dass solche strukturellen Entscheidungen mit zunehmender Größe der Sprachmodelle überflüssig werden. Viele gehen davon aus, dass ein riesiges Modell einfach jede Art von Frage perfekt bewältigen kann.
Das geht völlig am Thema vorbei.
Selbst ein umfangreicheres Modell lässt sich nicht gleichzeitig auf zwei widersprüchliche Ziele optimieren. Selbst ein umfangreicheres Modell liefert deutlich bessere Ergebnisse, wenn die Arbeit in einzelne Schritte unterteilt wird, die unabhängig voneinander analysiert, getestet und verbessert werden können.
Die Multi-Agenten-Koordination ist keine vorübergehende Notlösung für die derzeitigen Einschränkungen des Modells. Sie ist die Grundlage für den Aufbau zuverlässiger Systeme auf Unternehmensniveau. Softwareentwickler haben dies bereits vor Jahrzehnten erkannt. KI-Entwickler lernen es gerade neu.
Häufig gestellte Fragen
Was versteht man unter einer Multi-Agenten-Architektur in KI-Produkten? Es handelt sich um ein Entwurfsmuster, bei dem mehrere spezialisierte KI-Agenten unter der Leitung eines Koordinators zusammenarbeiten, anstatt dass ein einzelner Agent alle Aufgaben übernimmt. Jeder Agent ist auf eine bestimmte Aufgabe optimiert, was die Zuverlässigkeit erheblich verbessert.
Was ist ein Orchestrator-Agent? Der Agent, der zwischen dem Benutzer und den spezialisierten Unteragenten angesiedelt ist. Er interpretiert die Absicht, führt Abklärungsrunden durch, um fehlerhafte Eingaben zu verhindern, und löst die Ausführung der richtigen Unteragenten parallel zueinander aus.
Warum reicht ein KI-Agent für die Analyse nicht aus? Die quantitative Analyse erfordert strenge mathematische Präzision. Die qualitative Analyse erfordert Nuancen und erzählerische Tiefe. Durch die Aufteilung der Arbeit auf spezialisierte Unteragenten wird der Zielkonflikt zwischen beiden Bereichen vollständig beseitigt.
Wie verhindert dies Halluzinationen? Bei einer Multi-Agenten-Architektur erhält jeder Agent eine eng gefasste Aufgabe, bei der Fehler weniger leicht passieren können. Darüber hinaus lehnt der Orchestrator vage Eingaben ab, und der Subagent „Investigator“ liefert überprüfbare Beweise, indem er genaue Zitate aus den rohen Gesprächsprotokollen hervorhebt.
Was ist „Chat with your Analyst“? Eine Funktion AssistYou , mit der Nutzer die Analysedaten ihres KI-Sprachassistenten mithilfe natürlicher Sprache abfragen können. Anstatt Dashboards zu erstellen, stellen Nutzer direkt Fragen und erhalten Antworten, die auf ihren tatsächlichen Betriebsdaten basieren.
