Switchyard — Il router e traduttore di traffico LLM di NVIDIA

Immagina questo scenario: vuoi usare uno strumento di autocompletamento da terminale o un agente di codifica come Claude Code o Codex CLI. È uno strumento utile, ma è progettato per un'API specifica. Se vuoi reindirizzare le sue richieste a un vLLM locale, Ollama o NVIDIA NIM, incontrerai un problema: i formati degli endpoint e le strutture dei dati non corrisponderanno. Anthropic si aspetta il formato Messages, OpenAI usa Chat Completions e il tuo modello locale è ottimizzato per un terzo formato completamente diverso.

Il progetto Switchyard del team NVIDIA NeMo risolve esattamente questo problema. È un server proxy e una libreria Rust progettata per la traduzione di protocolli API e l'instradamento intelligente delle richieste tra diversi modelli linguistici.

Cosa può fare Switchyard

Il progetto si basa su due meccanismi fondamentali: conversione delle richieste in tempo reale e algoritmi di instradamento.

L'applicazione client continua a "pensare" di comunicare con l'API nativa di Anthropic o OpenAI. In realtà, Switchyard riceve la richiesta, la traduce nel formato del provider di destinazione, la invia al backend appropriato e trasforma la risposta.

Attualmente sono supportati tre formati principali:

• OpenAI Chat
• Anthropic Messages
• OpenAI Responses

Questo significa che puoi puntare Claude Code verso un modello locale tramite vLLM, e il client non noterà nemmeno il cambio.

Instradamento intelligente invece del semplice round-robin

Qualsiasi server proxy può bilanciare il carico in modo casuale. Ciò che rende interessante Switchyard sono i suoi scenari di distribuzione del traffico. Gli autori hanno incorporato quattro algoritmi predefiniti:

• Stage Router. Valuta i segnali all'interno del dialogo stesso. Se una precedente chiamata di strumento è terminata con un errore, il router reindirizzerà il turno successivo a un modello più potente. Se tutto procede senza problemi, un modello più economico gestirà la richiesta.
• Escalation Router. Invia prima la richiesta a un modello più debole. In parallelo, un modello giudice speciale valuta la qualità della risposta. Se il risultato non è soddisfacente, la stessa richiesta viene automaticamente escalata a un modello di punta.
• LLM Classifier. Un modello leggero separato classifica le richieste in entrata per complessità e seleziona il backend appropriato prima che inizi la generazione principale.
• Random. Distribuzione casuale standard con split fisso. Utile per test A/B o per valutare i costi tra diversi provider.

Architettura e opzioni di integrazione

Gli sviluppatori hanno strutturato Switchyard in diversi moduli. La scelta della modalità operativa dipende dal tuo compito.

Se hai bisogno di avviare rapidamente un agente di codifica con le impostazioni giuste, usa il launcher CLI. L'intera installazione si riduce a un singolo comando del gestore di pacchetti:

Dopo di che, l'agente si avvia con una singola riga che specifica la configurazione:

Per eseguirlo come proxy di rete, compila il binario. Tiene traccia delle metriche tramite Prometheus (conteggio dei token, latenze, errori) ed è configurato tramite un file.

Se stai scrivendo la tua applicazione Rust, non avrai bisogno di includere un server HTTP separato. La crate incorpora la logica di instradamento direttamente nel tuo codice. La libreria non effettua chiamate di rete da sola — decide semplicemente l'instradamento e restituisce il backend di destinazione selezionato alla tua applicazione.

Stato attuale del progetto

La pagina del repository riporta un avviso: Switchyard è in fase pre-alpha. Al momento di questa recensione, il progetto ha quasi 800 stelle su GitHub e lo stato di software sperimentale.

Questo significa che l'API pubblica, la struttura della configurazione TOML e l'architettura interna della crate sono soggette a modifiche. Usarlo adesso in produzione critica è una mossa rischiosa.

Chi dovrebbe tenere d'occhio questo progetto

Switchyard sembra promettente per due categorie di sviluppatori:

1. Coloro che usano attivamente agenti AI da terminale (Claude Code, Codex CLI) e vogliono risparmiare denaro reindirizzando alcune attività semplici a modelli locali o API più economiche.
2. Team che costruiscono la propria infrastruttura attorno agli LLM basati su Rust. La possibilità di utilizzare algoritmi di escalation e traduttori di protocollo già pronti dalla crate farà risparmiare un paio di settimane di lavoro.

Se stavi cercando uno strumento pulito per la sostituzione trasparente del backend senza riscrivere il codice dell'agente stesso, questo progetto vale sicuramente la pena di seguire.