Come Organizzare le Query delle Tue Reti Neurali con CPA Manager Plus

Quando assembli uno stack di diversi modelli di reti neurali per la produzione o per strumenti personali, prima o poi il caos si insinua. Una richiesta è andata a Claude, la seconda a Gemini, la terza è andata in timeout da OpenAI, e alla fine del mese ti arriva una fattura per un importo incomprensibile. Se stai già usando CLIProxyAPI (CPA) per il routing del traffico, l'interfaccia standard diventa rapidamente insufficiente.

Il progetto CPA Manager Plus (CPAMP) colma questa lacuna. È un pannello di controllo e sistema di osservabilità che si deploya sul tuo server, memorizza la cronologia delle richieste localmente e ti aiuta a capire dove vengono effettivamente consumati i token.

Sotto il Cofano

Lo strumento è composto da due parti. La prima è un'interfaccia web che può essere integrata direttamente in CPA al posto del pannello predefinito. La seconda è un Manager Server separato in Go con un database SQLite.

L'architettura è semplice e non richiede registrazioni cloud. Il progetto non invia telemetria all'esterno—tutti i log e i dati sui prezzi dei modelli vengono memorizzati in file locali. Le chiavi di accesso vengono crittografate prima di essere scritte nel database usando una chiave locale data.key.

Funzionalità Principali del Pannello

Trovare i Fallimenti Senza Perdita di Dati

Il problema principale degli aggregatori API è che è difficile capire perché una richiesta è fallita. I log di solito contengono o un caos o JSON grezzi con dati sensibili degli utenti.

CPAMP estrae i dati dalla coda di CPA e li memorizza in SQLite. Ottieni la ricerca per stato, latenza, tipi di token e account. I corpi degli errori vengono automaticamente privati delle informazioni private. Se hai bisogno di trasferire i log per il debug su un altro sistema, la cronologia può essere esportata in formato JSONL.

Tracciamento Preciso dei Costi

Il pannello scompone i costi per modello, provider, account, chiavi API client e progetti.

I prezzi vengono estratti automaticamente da models.dev, e in caso di problemi ci sono fallback su LiteLLM e OpenRouter. Se hai endpoint personalizzati o sconti aziendali, i prezzi possono essere sovrascritti manualmente. L'applicazione tiene conto di strutture di prezzo complesse: la differenza tra token di input e output, la memorizzazione nella cache del contesto e i token di ragionamento.

Controllo degli Account e Automazione delle Quote

Quando si lavora con un pool di account Codex e xAI, spesso si scontrano con i limiti della finestra di richieste. CPAMP può controllare lo stato degli account su schedule, leggere lo stato delle quote e inviare automaticamente un account in cooldown quando si avvicina al limite. Se un account si rompe, va in una coda di azioni separata per la revisione manuale o il recupero.

Come Avviare

Il modo più semplice per deployare il bundle CPA e manager è tramite Docker Compose. Crea un file di configurazione:

services:
  cli-proxy-api:
    image: eceasy/cli-proxy-api:latest
    restart: unless-stopped
    ports:
      - '8317:8317'
    volumes:
      - cpa-data:/app/data

  cpa-manager-plus:
    image: seakee/cpa-manager-plus:latest
    restart: unless-stopped
    ports:
      - '18317:18317'
    volumes:
      - cpa-manager-plus-data:/data

volumes:
  cpa-data:
  cpa-manager-plus-data:

Avvia i container con il comando docker compose up -d. Dopo l'avvio, apri l'indirizzo http://<host>:18317/management.html, recupera la chiave admin generata dai log del container cpa-manager-plus e collega CPA tramite URL e master key.

Se il tuo proxy è già in esecuzione separatamente, il manager può essere avviato come container standalone:

docker run -d \
  --name cpa-manager-plus \
  --restart unless-stopped \
  -p 18317:18317 \
  -v cpa-manager-plus-data:/data \
  seakee/cpa-manager-plus:latest

A Chi È Destinato

Il progetto è rivolto a chi mantiene il proprio gateway di reti neurali per un team o script personali. Se sei stanco di indovinare alla cieca perché una pipeline è fallita e quale collega ha bruciato l'intero limite giornaliero di token, CPAMP risolve il problema senza complicazioni extra con servizi di monitoraggio esterni. Il database si avvia in un paio di minuti, non richiede configurazione di ClickHouse o Grafana e ti dà immediatamente un quadro chiaro di cosa sta succedendo.