Cómo domar el zoológico de redes neuronales con TokenHub
Cuando un equipo comienza a integrar redes neuronales en sus servicios, la gestión de claves casi siempre se convierte en caos. Los desarrolladores usan OpenAI, los analistas experimentan con DeepSeek y Qwen, alguien despliega un Llama local vía Ollama, y los diseñadores quieren acceso a la generación de imágenes. Al final del mes, contabilidad ve la factura total e intenta descubrir qué departamento gastó el presupuesto.
¿Te suena familiar? Si alguna vez has intentado centralizar el acceso a docenas de LLMs diferentes, sabes cuánta "cinta adhesiva y alambre" se necesita: proxies, routers caseros, agregadores de logs. El autor del popular framework Go Beego (astaxie) lanzó un proyecto llamado TokenHub, que se encarga de este dolor de cabeza.
Qué hay bajo el capó y por qué lo necesitas
TokenHub es una puerta de enlace privada de IA escrita en Go. La despliegas dentro de tu infraestructura, agregas claves API de proveedores externos o direcciones para modelos locales, y expones una única interfaz unificada hacia afuera.
La idea central es que los desarrolladores de aplicaciones no deberían necesitar reescribir código para cada nueva API. TokenHub soporta endpoints estándar de OpenAI (/v1/chat/completions, /v1/embeddings, /v1/responses) y la especificación de Mensajes de Anthropic (/v1/messages). Si tu servicio necesita cambiar de GPT-4o a Claude 3.5 Sonnet o un vLLM local, no necesitarás cambiar el código del cliente—solo actualizar el nombre del modelo o configurar una regla de enrutamiento en la puerta de enlace.
Características principales de la puerta de enlace
El repositorio se enfoca en escenarios empresariales donde el control de costos y la separación clara de responsabilidades son críticos.
Separación clara de roles
La interfaz y los derechos de acceso en TokenHub se dividen en tres niveles:
- Usuario Regular. Ve el catálogo de modelos disponibles, crea sus propias claves API de proyecto, ve estadísticas personales y documentación.
- Líder de Equipo. Gestiona espacios de trabajo de proyectos, miembros del equipo, cuotas compartidas, y ve informes detallados de costos para un proyecto específico.
- Administrador. Configura proveedores externos, conecta SSO corporativo vía OAuth/OIDC, y configura reglas de failover y auditoría.
Esta configuración es conveniente: los líderes de equipo no necesitan molestar a DevOps cada vez que un nuevo interno necesita una clave de prueba.
Enrutamiento inteligente y failover
Si un proveedor externo devuelve un error 500 o alcanza un límite de tasa, TokenHub puede cambiar automáticamente las solicitudes a canales de respaldo (failover). Puedes establecer prioridades, pesos para distribuir la carga entre múltiples cuentas, y verificar la salud de las rutas mediante diagnósticos integrados.
Soporte para más de 150 plantillas de proveedores
De fábrica, la puerta de enlace funciona con adaptadores nativos para Azure OpenAI, Anthropic, Google Gemini, DeepSeek, Qwen, así como servidores de inferencia locales como vLLM y Ollama. Cualquier servicio de terceros con una API compatible con OpenAI se conecta mediante plantillas ya hechas en un par de clics.
Vale la pena destacar la integración de suscripción Codex: TokenHub puede hacer proxy de llamadas desde utilidades CLI locales (por ejemplo, Gemini CLI) a través de perfiles aislados.
Generación y edición de imágenes
Más allá del texto y los embeddings, el sistema maneja solicitudes de generación de imágenes mediante los endpoints /v1/images/generations y /v1/images/edits. La puerta de enlace soporta tareas asíncronas y almacenamiento en servidor de las imágenes generadas, eliminando la necesidad de que las aplicaciones cliente descarguen archivos inmediatamente a su propio S3.
Despliegue y arquitectura
El proyecto está escrito en Go y consume recursos mínimos. SQLite se usa para almacenamiento de datos por defecto, así que puedes levantar el servicio para un equipo pequeño en literalmente minutos sin desplegar bases de datos pesadas.
Para pruebas en Linux vía systemd:
curl -fsSL https://raw.githubusercontent.com/astaxie/TokenHub/main/deploy/native/install.sh \
-o /tmp/tokenhub-install.sh
sudo bash /tmp/tokenhub-install.sh install
O el clásico lanzamiento con Docker Compose:
cp deploy/.env.example deploy/.env
# Задайте надежные пароли в deploy/.env
./deploy/install.sh
Después del inicio, la consola de gestión web está disponible en el puerto 3000, y la API en sí acepta solicitudes en el puerto 8080.
Si estás planeando alta carga con múltiples réplicas de backend, SQLite se reemplaza fácilmente con un PostgreSQL externo. En este caso, el estado se distribuye entre las instancias, y las actualizaciones de versión se pueden desplegar centralmente.
Para quién es el proyecto ahora mismo
TokenHub es ideal si tú:
- Estás desarrollando herramientas de IA internas en tu empresa y quieres rastrear centralmente los gastos por proyectos y departamentos.
- Estás construyendo una configuración resiliente con múltiples proveedores de LLM, donde una API que falle no debería tumbar tu servicio cliente.
- Quieres exponer de forma segura acceso a modelos desplegados localmente (Ollama / vLLM) a todo tu equipo sin otorgar acceso directo a los servidores de inferencia.
- Estás cansado de gestionar manualmente docenas de claves API en diferentes paneles.
El proyecto aún es reciente, pero está respaldado por un mantenedor experimentado, y el código base en Go se ve limpio y comprensible. Si estás eligiendo entre soluciones comerciales pesadas y proxies caseros, definitivamente vale la pena probar desplegar TokenHub en un entorno de prueba.
Proyectos relacionados