Uploads at the speed of light in a distribuited world
L’azienda Xriba ha esposto la sua soluzione custom di upload dei file in un ambiente distribuito.
Il caricamento dei file è un problema comune di molti clienti, i quali caricano ogni anno dai 100 ai 5000 file, spesso di formati differenti, da sorgenti diverse e spesso di terze parti, con frequenti problemi di sincronia.
In questo contesto si pone la soluzione di Xriba, ridefinendo il concetto di documento come immutabile, accompagnato da metadati mutabili. Le componenti sono:
- Storage layer basato su google cloud, per documenti e metadati. Si basa su transazioni atomiche al fine di rendere ogni operazione consistente.
- Indexer: ordina i metadati in strutture utili alle interrogazioni. Usa gli alberi per i path di navigabilità e le hash table per accessi puntuali su chiavi note.
- Control plane: coordina le interazioni con i consumer esterni.
- Coda asincrona: distribuisce eventi e notifiche internamente.
Il flusso è il seguente:
Usa l’applicativo open-source Apache Ignite per muoversi all’interno di una data-grid distribuita. Fa uso inoltre di algoritmi gossip, protocolli raft, possibilità di riutilizzo di strutture distribuite o possibilità di crearne di proprie.
