Wie man den neuronalen Netzwerk-Zoo mit TokenHub zähmt
Wenn ein Team beginnt, neuronale Netze in seine Dienste zu integrieren, gerät das Schlüssel-Management fast immer ins Chaos. Entwickler verwenden OpenAI, Analysten experimentieren mit DeepSeek und Qwen, jemand richtet ein lokales Llama über Ollama ein, und Designer möchten Zugang zur Bilderzeugung. Am Monatsende sieht die Buchhaltung die Gesamtrechnung und versucht herauszufinden, welche Abteilung das Budget aufgebraucht hat.
Kommt Ihnen das bekannt vor? Wenn Sie jemals versucht haben, den Zugriff auf Dutzende verschiedener LLMs zu zentralisieren, wissen Sie, wie viel Improvisationskunst dafür nötig ist: Proxies, selbstgebaute Router, Log-Aggregatoren. Der Autor des beliebten Beego Go-Frameworks (astaxie) hat ein Projekt namens TokenHub veröffentlicht, das sich dieser Probleme annimmt.
Was steckt unter der Haube und warum Sie es brauchen
TokenHub ist ein privater KI-Gateway, geschrieben in Go. Sie deployen ihn in Ihrer Infrastruktur, fügen API-Schlüssel von externen Anbietern oder Adressen für lokale Modelle hinzu und exponieren eine einzelne einheitliche Schnittstelle nach außen.
Die Kernidee ist, dass Anwendungsentwickler ihren Code nicht für jede neue API umschreiben müssen. TokenHub unterstützt standardmäßige OpenAI-Endpunkte (/v1/chat/completions, /v1/embeddings, /v1/responses) und die Anthropic Messages-Spezifikation (/v1/messages). Wenn Ihr Dienst von GPT-4o auf Claude 3.5 Sonnet oder ein lokales vLLM umsteigen muss, müssen Sie den Client-Code nicht ändern – nur den Modellnamen aktualisieren oder eine Routing-Regel auf dem Gateway konfigurieren.
Kernfunktionen des Gateways
Das Repository konzentriert sich auf Enterprise-Szenarien, in denen Kostenkontrolle und klare Verantwortungsbereiche entscheidend sind.
Klare Rollentrennung
Die Oberfläche und Zugriffsrechte in TokenHub sind in drei Ebenen unterteilt:
- Normaler Benutzer. Sieht den verfügbaren Modellkatalog, erstellt eigene Projekt-API-Schlüssel, sieht persönliche Statistiken und Dokumentation.
- Teamleiter. Verwaltet Projektarbeitsbereiche, Teammitglieder, gemeinsame Kontingente und sieht detaillierte Kostenberichte für ein bestimmtes Projekt.
- Administrator. Konfiguriert externe Anbieter, verbindet Corporate SSO über OAuth/OIDC und konfiguriert Failover- und Audit-Regeln.
Dieses Setup ist praktisch: Teamleiter müssen nicht jedes Mal DevOps bemühen, wenn ein neuer Praktikant einen Testschlüssel benötigt.
Intelligentes Routing und Failover
Wenn ein externer Anbieter einen 500-Fehler zurückgibt oder ein Rate-Limit erreicht, kann TokenHub Anfragen automatisch auf Backup-Kanäle umschalten (Failover). Sie können Prioritäten setzen, Gewichtungen für die Verteilung der Last über mehrere Konten festlegen und die Routen-Gesundheit über integrierte Diagnose prüfen.
Unterstützung für über 150 Anbieter-Vorlagen
Out-of-the-box funktioniert der Gateway mit nativen Adaptern für Azure OpenAI, Anthropic, Google Gemini, DeepSeek, Qwen sowie lokale Inferenz-Server wie vLLM und Ollama. Jeder Drittanbieterdienst mit einer OpenAI-kompatiblen API verbindet sich über fertige Vorlagen mit wenigen Klicks.
Besonders hervorzuheben ist die Codex-Abonnement-Integration: TokenHub kann Aufrufe von lokalen CLI-Tools (z.B. Gemini CLI) durch isolierte Profile proxyen.
Bilderzeugung und -bearbeitung
Über Text und Embeddings hinaus verarbeitet das System Bilderzeugungsanfragen über die Endpunkte /v1/images/generations und /v1/images/edits. Der Gateway unterstützt asynchrone Aufgaben und serverseitige Speicherung der erzeugten Bilder, sodass Client-Anwendungen Dateien nicht sofort in ihren eigenen S3 herunterladen müssen.
Deployment und Architektur
Das Projekt ist in Go geschrieben und verbraucht minimale Ressourcen. SQLite wird standardmäßig für die Datenspeicherung verwendet, sodass Sie den Dienst für ein kleines Team buchstäblich in Minuten hochfahren können, ohne schwere Datenbanken einzurichten.
Zum Testen unter Linux über systemd:
curl -fsSL https://raw.githubusercontent.com/astaxie/TokenHub/main/deploy/native/install.sh \
-o /tmp/tokenhub-install.sh
sudo bash /tmp/tokenhub-install.sh install
Oder der klassische Docker Compose-Start:
cp deploy/.env.example deploy/.env
# Задайте надежные пароли в deploy/.env
./deploy/install.sh
Nach dem Start ist die Web-Verwaltungskonsole auf Port 3000 verfügbar, und die API selbst nimmt Anfragen auf Port 8080 entgegen.
Wenn Sie eine hohe Last mit mehreren Backend-Repliken planen, lässt sich SQLite problemlos durch eine externe PostgreSQL ersetzen. In diesem Fall wird der Zustand über Instanzen verteilt, und Versionsaktualisierungen können zentral ausgerollt werden.
Für wen das Projekt gerade jetzt geeignet ist
TokenHub ist eine großartige Wahl, wenn Sie:
- Interne KI-Tools in Ihrem Unternehmen entwickeln und die Ausgaben zentral nach Projekten und Abteilungen verfolgen möchten.
- Eine ausfallsichere Einrichtung mit mehreren LLM-Anbietern aufbauen, bei der ein ausgefallener API nicht Ihren Client-Dienst lahmlegen sollte.
- Den Zugriff auf lokal bereitgestellte Modelle (Ollama / vLLM) sicher für Ihr gesamtes Team freigeben möchten, ohne direkten Zugriff auf Inferenz-Server zu gewähren.
- Es leid sind, Dutzende von API-Schlüsseln manuell über verschiedene Dashboards hinweg zu verwalten.
Das Projekt ist noch frisch, wird aber von einem erfahrenen Maintainer unterstützt, und die Go-Codebasis wirkt sauber und verständlich. Wenn Sie zwischen schwergewichtigen kommerziellen Lösungen und selbstgebauten Proxies abwägen, ist es definitiv einen Versuch wert, TokenHub in einer Testumgebung hochzufahren.
Ähnliche Projekte