Come Risparmiare sui Log senza Impazzire per le Bollette di Splunk
Recentemente mi sono imbattuto in un progetto interessante chiamato SigLens. I ragazzi hanno deciso di affrontare qualcosa di sacro: detronizzare Splunk ed ElasticSearch, promettendo un risparmio di risorse dieci volte superiore. Sembra il tipico hype di marketing, se non fosse per un "ma": il progetto è stato recentemente archiviato, è passato alla licenza Apache 2.0, ed è ora disponibile open source come base pronta per chiunque voglia costruire il proprio sistema di observability senza farsi spennare.
A proposito, gli sviluppatori di SigLens sostengono che la loro soluzione sia 100 volte più efficiente di Splunk. Sono sempre scettico riguardo a questi numeri, ma il background tecnico del team (al servizio di oltre 10.000 ingegneri) ti fa venire voglia di dare un'occhiata più da vicino ai dettagli.
Qual è il Principale Punto Doloroso delle Soluzioni Attuali
Se hai lavorato con i log in progetti di grandi dimensioni, conosci questo scenario. Per prima cosa configuri ElasticSearch, la vita è magnifica, e poi sei mesi dopo ti rendi conto che il cluster è cresciuto fino a dimensioni oscene, richiede attenzione costante da parte degli admin, e divora memoria come se non ci fosse un domani. Grafana Loki sembra una salvezza finché non entrano in gioco query complesse — le prestazioni a volte ricordano quelle di una tartaruga.
SigLens è stato concepito come risposta a queste difficoltà. È un binario Go che combina log, metriche e trace in un unico pacchetto. Nessuna dipendenza esterna. Puoi eseguirlo su un normale laptop e, secondo gli autori, gestire fino a 8 TB di dati al giorno.
Cosa Può Fare Questo Strumento
Il progetto è interessante principalmente per la sua architettura "all-in-one". Invece di saltare tra strumenti diversi, ottieni un unico punto di accesso.
Supporto per Linguaggi di Query Familiari
Questa è probabilmente la sua forza maggiore. Se il tuo team scrive in Splunk SPL da anni, non c'è bisogno di riqualificare. SigLens comprende sia SPL che SQL standard. Questo abbassa significativamente la barriera d'ingresso per la migrazione.
Flessibilità nell'Ingestion dei Dati
Lo strumento non ti costringe a riscrivere le tue pipeline di delivery dei log. Può accettare dati in formato OpenTelemetry, Elastic, Splunk HEC e persino Loki. In sostanza, puoi sostituirlo al tuo backend esistente, e la maggior parte dei tuoi agent (come Fluentbit o Vector) non noteranno nemmeno il cambio.
Prestazioni in Numeri Reali
Il blog degli autori presenta un case study in cui hanno elaborato 1 PB di dati in un solo giorno. Per questo, avevano bisogno di soli 32 instance EC2. Per confronto: Splunk o Elastic richiederebbero circa 3.000 macchine per lo stesso compito. La differenza nei costi infrastrutturali è colossale.
Il Lato Tecnico
SigLens è scritto in Go, il che spiega la sua leggerezza. Il punto forte qui è il motore di storage, ottimizzato per le specificità delle serie temporali e dei log non strutturati. A differenza di Elastic, che costruisce indici invertiti pesanti su ogni campo, SigLens utilizza approcci più efficienti per la compressione e la ricerca.
Interessante notare che il progetto offre dashboard integrate e un sistema di alerting già pronto all'uso. Non è necessariamente necessario agganciare Grafana, sebbene tale capacità esista probabilmente tramite API.
Chi Potrebbe Trarne Vantaggio Ora
Dato che il progetto è stato spostato in modalità archivio, è un'arma a doppio taglio. Da un lato, non dovresti aspettarti uno sviluppo attivo da parte del team originale. Dall'altro, la licenza Apache 2.0 ti dà completa libertà.
Vedo diversi scenari in cui SigLens potrebbe "decollare":
- Strumenti di monitoraggio interni nelle startup, dove il budget infrastrutturale è limitato ma c'è già una grande quantità di dati.
- Debug locale. Grazie al fatto che è un singolo binario, è facile farlo girare in un container Docker sulla macchina di uno sviluppatore per analizzare trace e log in tempo reale.
- Una base per creare la tua propria soluzione proprietaria di analisi dei dati.
Vale la Pena Provarlo
Se sei stanco di pagare migliaia di dollari per Splunk o di combattere con la manutenzione di enormi cluster Elasticsearch, SigLens è un ottimo candidato da esplorare. Sì, il progetto è archiviato, ma il codice Go è piuttosto maturo e funzionale.
Per un avvio rapido, hanno chart Helm e immagini Docker pronte all'uso. Puoi distribuire il sistema in cinque minuti e vedere come gestisce il tuo flusso di log. Forse questo è esattamente il caso in cui l'open source "abbandonato" può far risparmiare a un'azienda un anno di budget cloud.
Nella mia esperienza, spesso questi motori specializzati funzionano meglio delle soluzioni universali all-in-one. L'importante è capire che d'ora in poi dovrai fornire supporto in autonomia o attraverso la community che deciderà di fare un fork del progetto.
Progetti correlati