Como Domar o Zoológico de Redes Neurais com o TokenHub
Quando uma equipe começa a integrar redes neurais em seus serviços, o gerenciamento de chaves quase sempre despenca no caos. Desenvolvedores usam OpenAI, analistas experimentam com DeepSeek e Qwen, alguém configura um Llama local via Ollama, e designers querem acesso à geração de imagens. No final do mês, a contabilidade vê a fatura total e tenta descobrir qual departamento gastou o orçamento.
Soa familiar? Se você já tentou centralizar o acesso a dezenas de LLMs diferentes, sabe quanta gambiarra entra nisso: proxies, roteadores caseiros, agregadores de logs. O autor do popular framework Go Beego (astaxie) lançou um projeto chamado TokenHub, que resolve essa dor de cabeça.
O que está por Trás do Capô e Por Que Você Precisa Dele
TokenHub é um gateway de IA privado escrito em Go. Você o implanta dentro da sua infraestrutura, adiciona chaves de API de provedores externos ou endereços para modelos locais, e expõe uma única interface unificada.
A ideia central é que desenvolvedores de aplicações não precisem reescrever código para cada nova API. O TokenHub suporta endpoints padrão da OpenAI (/v1/chat/completions, /v1/embeddings, /v1/responses) e a especificação de Mensagens da Anthropic (/v1/messages). Se o seu serviço precisar trocar de GPT-4o para Claude 3.5 Sonnet ou um vLLM local, você não precisará mudar o código do cliente—apenas atualizar o nome do modelo ou configurar uma regra de roteamento no gateway.
Funcionalidades Principais do Gateway
O repositório foca em cenários empresariais onde controle de custos e separação clara de responsabilidades são críticos.
Separação Clara de Funções
A interface e os direitos de acesso no TokenHub são divididos em três níveis:
- Usuário Comum. Vê o catálogo de modelos disponíveis, cria suas próprias chaves de API de projetos, visualiza estatísticas pessoais e documentação.
- Líder de Equipe. Gerencia workspaces de projetos, membros da equipe, quotas compartilhadas, e vê relatórios detalhados de custos de um projeto específico.
- Administrador. Configura provedores externos, conecta SSO corporativo via OAuth/OIDC, e configura regras de failover e auditoria.
Essa configuração é conveniente: líderes de equipe não precisam incomodar o DevOps toda vez que um novo estagiário precisa de uma chave de teste.
Roteamento Inteligente e Failover
Se um provedor externo retorna erro 500 ou atinge um limite de taxa, o TokenHub pode automaticamente trocar requisições para canais de backup (failover). Você pode definir prioridades, pesos para distribuição de carga entre múltiplas contas, e verificar a saúde das rotas via diagnósticos integrados.
Suporte para Mais de 150 Modelos de Provedores
De fábrica, o gateway funciona com adaptadores nativos para Azure OpenAI, Anthropic, Google Gemini, DeepSeek, Qwen, além de servidores de inferência locais como vLLM e Ollama. Qualquer serviço de terceiros com API compatível com OpenAI conecta via modelos prontos em poucos cliques.
Vale destacar a integração com assinatura Codex: o TokenHub pode fazer proxy de chamadas de utilitários CLI locais (ex.: Gemini CLI) através de perfis isolados.
Geração e Edição de Imagens
Além de texto e embeddings, o sistema trata requisições de geração de imagens via endpoints /v1/images/generations e /v1/images/edits. O gateway suporta tarefas assíncronas e armazenamento de imagens geradas no servidor, eliminando a necessidade de aplicações cliente baixarem arquivos imediatamente para seu próprio S3.
Implantação e Arquitetura
O projeto é escrito em Go e consome recursos mínimos. SQLite é usado para armazenamento de dados por padrão, então você pode subir o serviço para uma pequena equipe em literalmente minutos sem levantar bancos de dados pesados.
Para testes no Linux via systemd:
curl -fsSL https://raw.githubusercontent.com/astaxie/TokenHub/main/deploy/native/install.sh \
-o /tmp/tokenhub-install.sh
sudo bash /tmp/tokenhub-install.sh install
Ou o clássico lançamento com Docker Compose:
cp deploy/.env.example deploy/.env
# Задайте надежные пароли в deploy/.env
./deploy/install.sh
Após iniciar, o console web de gerenciamento está disponível na porta 3000, e a API em si aceita requisições na porta 8080.
Se você está planejando alta carga com múltiplas réplicas de backend, o SQLite é facilmente substituído por um PostgreSQL externo. Nesse caso, o estado é distribuído entre instâncias, e atualizações de versão podem ser implementadas centralmente.
Para Quem o Projeto É Indicado Agora
TokenHub é uma ótima escolha se você:
- Está desenvolvendo ferramentas internas de IA na sua empresa e quer rastrear gastos centralmente por projetos e departamentos.
- Está construindo uma configuração resiliente com múltiplos provedores de LLM, onde uma API saindo do ar não deve derrubar seu serviço cliente.
- Quer expor com segurança acesso a modelos implantados localmente (Ollama / vLLM) para toda a sua equipe sem conceder acesso direto aos servidores de inferência.
- Está cansado de gerenciar manualmente dezenas de chaves de API em diferentes painéis.
O projeto ainda é recente, mas tem o respaldo de um mantenedor experiente, e a base de código Go parece limpa e compreensível. Se você está escolhendo entre soluções comerciais robustas e proxies caseiros, subir o TokenHub em um ambiente de teste definitivamente vale a tentativa.
Projetos relacionados