Hoe u uw Neurale Netwerk Query's kunt Organiseren met CPA Manager Plus

Wanneer je een stack van verschillende neurale netwerkmodellen assembleert voor productie of persoonlijke tools, slaat de chaos uiteindelijk toe. Het ene verzoek ging naar Claude, het tweede naar Gemini, het derde liep time-out bij OpenAI, en aan het einde van de maand krijg je een factuur voor een onbegrijpelijk bedrag. Als je CLIProxyAPI (CPA) al gebruikt voor verkeersroutering, wordt de standaard interface al snel ontoereikend.

Het CPA Manager Plus (CPAMP) project lost deze lacune op. Het is een controlepaneel en observability-systeem dat op je eigen server wordt geïmplementeerd, verzoekgeschiedenis lokaal opslaat, en je helpt begrijpen waar tokens daadwerkelijk worden verbruikt.

Onder de Motorkap

Het gereedschap bestaat uit twee delen. Het eerste deel is een webinterface die direct in CPA kan worden ingebed in plaats van het standaard paneel. Het tweede is een aparte Manager Server in Go met een SQLite-database.

De architectuur is eenvoudig en vereist geen cloud-registraties. Het project stuurt geen telemetrie extern—alle logs en modelprijsgegevens worden opgeslagen in lokale bestanden. Toegangssleutels worden versleuteld voordat ze naar de database worden geschreven met een lokale sleutel data.key.

Belangrijkste Paneelfuncties

Storingen Vinden Zonder Datalekken

Het belangrijkste probleem met API-aggregatoren is dat het moeilijk te begrijpen is waarom een verzoek is mislukt. Logs bevatten typisch of een rommel of ruwe JSON met gevoelige gebruikersgegevens.

CPAMP haalt gegevens uit de CPA-wachtrij en slaat ze op in SQLite. Je kunt zoeken op status, latentie, tokentypen en accounts. Foutmeldingen worden automatisch gestript van privé-informatie. Als je logs voor debugging naar een ander systeem moet overdragen, kan de geschiedenis worden geëxporteerd in JSONL-formaat.

Nauwkeurige Kosten Tracking

Het paneel breekt kosten af per model, provider, account, client API-sleutels en projecten.

Prijzen worden automatisch opgehaald van models.dev, en bij problemen zijn er fallbacks naar LiteLLM en OpenRouter. Als je aangepaste eindpunten of bedrijfskortingen hebt, kunnen prijzen handmatig worden overschreven. De applicatie houdt rekening met complexe prijsstructuren: het verschil tussen input- en output-tokens, context caching en reasoning-tokens.

Accountcontrole en Quota-automatisering

Bij het werken met een pool van Codex- en xAI-accounts kom je vaak limieten voor verzoekvensters tegen. CPAMP kan de accountstatus op een planning controleren, de quotastatus uitlezen en automatisch een account naar cooldown sturen wanneer de limiet nadert. Als een account kapot gaat, komt deze in een aparte actiewachtrij voor handmatige review of herstel.

Hoe te Starten

De eenvoudigste manier om de CPA en manager bundle te implementeren is via Docker Compose. Maak een configuratiebestand:

services:
  cli-proxy-api:
    image: eceasy/cli-proxy-api:latest
    restart: unless-stopped
    ports:
      - '8317:8317'
    volumes:
      - cpa-data:/app/data

  cpa-manager-plus:
    image: seakee/cpa-manager-plus:latest
    restart: unless-stopped
    ports:
      - '18317:18317'
    volumes:
      - cpa-manager-plus-data:/data

volumes:
  cpa-data:
  cpa-manager-plus-data:

Start de containers met het commando docker compose up -d. Na opstarten open je adres http://<host>:18317/management.html, pak je de gegenereerde admin-sleutel uit de container logs cpa-manager-plus, en koppel je CPA via URL en master key.

Als je proxy al apart draait, kan de manager ook worden gestart als standalone container:

docker run -d \
  --name cpa-manager-plus \
  --restart unless-stopped \
  -p 18317:18317 \
  -v cpa-manager-plus-data:/data \
  seakee/cpa-manager-plus:latest

Waarvoor Het Is

Het project is gericht op degenen die hun eigen neurale netwerkgateway onderhouden voor een team of persoonlijke scripts. Als je het beu bent om blindelings te raden waarom een pipeline is mislukt en welke collega de hele dagelijkse tokenlimiet heeft verbruikt, lost CPAMP het probleem op zonder extra gedoe met externe monitoringdiensten. De database draait binnen een paar minuten op, vereist geen ClickHouse- of Grafana-configuratie, en geeft je onmiddellijk een duidelijk beeld van wat er gebeurt.