So bauen Sie einen Zoo von KI-Agent-Tools in einen einzigen Stack

Jeder, der versucht hat, autonome Agenten oder komplexe LLM-Pipelines in der Produktion einzusetzen, stößt schnell auf denselben Schmerzpunkt. Zuerst montiert man Langfuse oder Phoenix für Tracing an. Dann merkt man, dass Logs ohne automatisierte Evaluierung nutzlos sind, also schleppt man eine separate Bibliothek für Evals ein. Als Nächstes entdeckt man, dass der Agent fröhlich Jailbreaks abfängt und Tokens leakt, also schichtet man Guardrails oder Lakera oben drauf. Und man braucht trotzdem noch ein schnelles Gateway für das Routing zwischen Providern und einen Simulator für das Durchspielen von Dialogen vor dem Deployment.

Infolgedessen verbringen Teams statt an dem Produkt zu arbeiten Wochen damit, fünf verschiedene Services zusammenzuflicken. Das future-agi-Projekt versucht, dieses Chaos mit einer einzigen Box zu lösen. Das Team hat eine Open-Source-Plattform unter der Apache-2.0-Lizenz gebaut, die Tracing, Evaluierungen, Simulationen, ein Gateway und Prompt-Optimierung bündelt.

Was steckt in der Box

Die Kernidee hinter der Plattform ist einfach: Produktionsdatenerfassung und Agent-Verbesserung in einer einzigen geschlossenen Schleife zusammenführen. Wenn ein Agent bei einem echten Nutzer einen Fehler gemacht hat, sollte dieser Trace sofort ein Testfall für die nächste Prompt-Iteration werden.

Die gesamte Funktionalität ist in sechs Hauptbereiche aufgeteilt.

Szenario-Simulation und synthetische Tests

Agenten manuell zu testen ist langsam und ineffizient. Das eingebaute Simulationsmodul kann Tausende von mehrstufigen Dialogen mit verschiedenen Rollen, kniffligen Fragen und Hacking-Versuchen generieren.

Interessant ist, dass das Modul nicht nur Text, sondern auch Voice-Agenten über Integrationen mit LiveKit, Retell, VAPI und Pipecat unterstützt. Man kann Latenz und Voice Activity Detector (VAD)-Performance prüfen, bevor ein echter Kunde das wirre Gerede des Bots hört.

Echtzeit-Qualitätsbewertung und Sicherheit

Die Bibliothek enthält über 50 eingebaute Metriken. Es gibt Standardprüfungen für Halluzinationen und Kontexttreue, Bewertung der Tool-Nutzungskorrektheit, Tonanalyse und Erkennung von personenbezogenen Datenlecks. Die Evaluierung funktioniert durch eine Kombination aus Heuristiken, leichtgewichtigen ML-Modellen und dem LLM-as-a-Judge-Ansatz.

Für Echtzeit-Schutz gibt es 18 eingebaute Scanner gegen Injections und Jailbreaks, plus Adapter für externe Lösungen wie Presidio oder Llama Guard. Scanner können direkt innerhalb des Proxy-Gateways aufgerufen oder über ein separates SDK im Anwendungscode aufgerufen werden.

Command Center Gateway und Tracing

Das Request-Routing wird von einem in Go geschriebenen Gateway abgewickelt. Die Autoren geben eine gewichtete Routing-Latenz von etwa 9,9 Nanosekunden und einen Durchsatz von etwa 29.000 Requests pro Sekunde auf einer t3.xlarge-Instanz an. Mit aktivierten Sicherheitsprüfungen liegt die P99-Latenz bei etwa 21 Millisekunden.

Das Gateway ist OpenAI-API-kompatibel, unterstützt über hundert Provider (von OpenAI und Anthropic bis zu lokalem Ollama und vLLM), kann semantisches Caching durchführen und verwaltet virtuelle Keys.

Für Tracing wird der OpenTelemetry-Standard verwendet. Die Plattform sammelt Span-Graphen, Latenz und Token-Kosten von 50 Frameworks wie LangChain, CrewAI, DSPy oder LlamaIndex ohne komplexe manuelle Konfiguration.

Prompt-Optimierung auf echten Daten

Der interessanteste Teil ist algorithmisches Prompt-Tuning. Statt manuell Formulierungen im Code anzupassen, stehen sechs Optimierungsalgorithmen zur Verfügung, darunter GEPA, PromptWizard, ProTeGi und Bayesian Search. Echte Produktions-Fehlertraces werden in den Optimierer eingespeist, der automatisch neue System-Prompt-Varianten generiert und testet.

Schnellstart

Das Projekt kann lokal über Docker Compose deployed oder in der Cloud betrieben werden. Für das lokale Deployment einfach das Repository klonen und das Installationsskript ausführen:

git clone https://github.com/future-agi/future-agi.git
cd future-agi
./bin/install

Nach Abschluss ist die Web-Oberfläche unter http://localhost:3000 verfügbar.

Die Integration in bestehenden Python-Code dauert buchstäblich drei Zeilen:

from fi_instrumentation import register
from traceai_openai import OpenAIInstrumentor
import openai

register(project_name="support-agent")
OpenAIInstrumentor().instrument()

client = openai.OpenAI()

response = client.chat.completions.create(
    model="gpt-4o",
    messages=[{"role": "user", "content": "Как оформить возврат товара?"}],
)

In einem TypeScript- oder Node.js-Codebase sieht alles ähnlich aus:

import { register } from "@traceai/fi-core";
import { OpenAIInstrumentation } from "@traceai/openai";
import OpenAI from "openai";

register({ projectName: "support-agent" });
new OpenAIInstrumentation().instrument();

const openai = new OpenAI();
const response = await openai.chat.completions.create({
  model: "gpt-4o",
  messages: [{ role: "user", content: "Как оформить возврат товара?" }],
});

Nach dem Aufruf gehen Daten automatisch an den Tracer, wo man den Aufrufbaum, übergebene Parameter sehen und die Generierungszeit messen kann.

Architektur und Tech Stack

Unter der Haube verwendet die Plattform einen ziemlich pragmatischen Stack ohne exotische Entscheidungen:

• Backend in Python 3.11 mit Django 5.1 und Django Channels für WebSockets.
• High-Load-Gateway in Go 1.23.
• Frontend mit React 18 und Vite-Bundler.
• PostgreSQL für Metadaten und Konfigurationsspeicherung, ClickHouse für Span-Analytik und Zeitreihen, Redis für State und Cache. Hintergrundaufgaben laufen über RabbitMQ und Temporal.

Alle Ökosystem-Komponenten sind in separate Pakete aufgeteilt. Wenn man nicht die gesamte Oberfläche braucht, kann man nur das Metrics-Modul pip install ai-evaluation oder den Prompt-Optimierer pip install agent-opt installieren.

Für wen das Projekt jetzt geeignet ist

Wenn man einen einfachen FAQ-Chatbot baut, der Fragen mit einem Knopfdruck beantwortet, wird Future AGI wie ein überdimensionierter Mähdrescher wirken. Ein paar grundlegende Console-Logs reichen dort völlig aus.

Aber wenn man baut:

• Komplexe RAG-Pipelines, wo man Zitate validieren und Antworten Fakten-prüfen muss.
• Voice-Assistenten basierend auf LiveKit oder Retell, wo jede Millisekunde Latenz kritisch ist.
• Agenten, die Dutzende externer APIs und MCP-Tools aufrufen, wo das Abfangen von Fehlern in Reasoning-Chains kritisch ist.
• Systeme, die aufgrund von Datenisolierungsanforderungen nicht an externe SaaS-Services übergeben werden können.

In diesen Szenarien spart die Möglichkeit, den gesamten Monitoring-, Simulations- und Gateway-Stack mit einem Befehl docker compose up hochzufahren, eine Menge Engineering-Stunden.

Das Projekt befindet sich derzeit in aktiver Entwicklung, wie das Banner im README ehrlich warnt. Man kann hier und da auf raue Kanten in der Oberfläche stoßen, aber der Open-Source-Code und die Architektur basierend auf OTel und ClickHouse machen es zu einem großartigen Kandidaten für Tests in der eigenen Infrastruktur.