Come DAOS Estrae il Massimo delle Prestazioni da NVMe e Memoria SCM
Quando un file system standard inizia a soffocare su milioni di piccole operazioni I/O casuali, gli sviluppatori in genere cercano soluzioni alternative. La storia familiare: le moderne unità NVMe operano a velocità incredibili, ma lo stack standard del kernel Linux consuma molto tempo su lock e context switch.
Gli specialisti della Linux Foundation stanno sviluppando DAOS (Distributed Asynchronous Object Storage). Si tratta di un sistema di archiviazione a oggetti distribuito con codice open-source scritto in C. È stato progettato specificamente per la memoria non volatile (NVM), i moduli Storage Class Memory e le unità NVMe.
Qual è l'Idea
I sistemi di archiviazione tradizionali cercano di forzare il vecchio modello POSIX sulla memoria veloce. Questo crea colli di bottiglia. DAOS adotta un approccio diverso: il progetto abbandona completamente lo stack I/O tradizionale del kernel.
invece di file e cartelle familiari, il sistema offre una struttura key-value con I/O transazionale asincrono. I flussi di dati non si bloccano a vicenda durante le scritture e l'accesso all'hardware avviene direttamente attraverso le librerie SPDK e PMDK.
Quali Funzionalità Offre il Progetto
Gli sviluppatori hanno integrato diverse funzionalità principali nell'architettura per lavorare con grandi volumi di dati.
- Transazioni asincrone non bloccanti per scritture parallele
- Verifica end-to-end dell'integrità dei dati dal client all'archiviazione
- Ripristino automatico in caso di guasto di singoli nodi
- Scalabilità elastica del cluster senza interruzione del servizio
Un punto interessante riguarda le interfacce. A differenza degli store KV di scopo ristretto, DAOS offre comodi wrapper client. Puoi lavorare con esso attraverso un dizionario Python nativo, connetterti a Spark, passarlo attraverso TensorFlow-IO, oppure usare le librerie HDF5 e MPI-IO tradizionali per il software scientifico. Per la compatibilità con il software legacy, c'è l'emulazione del file system parallelo.
Cosa C'è Sotto il Cofano e Quali Sfumature Esistono
Il codice è scritto in C e il repository esiste dal 2016. Il progetto ha raccolto circa mille stelle su GitHub, ma non aspettarti una distribuzione facile. Non è un'utility CLI carina che installi con un singolo comando.
Il funzionamento completo di DAOS richiede hardware specializzato con supporto NVMe e preferibilmente memoria non volatile (SCM). Non sarai in grado di valutare il concetto con un budget di un paio di server cloud economici. La configurazione del piano di controllo e delle librerie client richiede una solida comprensione degli stack di rete e dell'infrastruttura.
I log degli errori e la documentazione sono dettagliati ma voluminosi. Se qualcosa va storto durante la build, dovrai scavare nei log o cercare aiuto su Slack e nei forum della community.
Chi Dovrebbe Provarlo
Il progetto non è stato creato per siti web quotidiani o piccoli database PostgreSQL. La sua nicchia è l'infrastruttura con requisiti di throughput colossali.
- Team che addestrano reti neurali giganti su TensorFlow, dove il caricamento dei dataset è diventato il collo di bottiglia.
- Ingegneri dei dati che lavorano con analisi distribuite su Hadoop e Spark.
- Laboratori scientifici e cluster HPC dove standard Lustre o GPFS hanno smesso di farcela.
- Sviluppatori di sistemi ad alto carico che creano il proprio storage su dischi NVMe raw.
Il Risultato Finale
DAOS è un ottimo esempio di come l'architettura del software si adatta al nuovo hardware. Il progetto è complesso, di scopo ristretto e esigente sull'infrastruttura, ma nel suo dominio risolve un vero problema di overhead del sistema. Se stai costruendo storage per attività di machine learning o analisi di big data, dare un'occhiata alla documentazione ha sicuramente senso.
Progetti correlati