Valkey 9.2 usa meno memoria per tenere in ordine cinque milioni di punteggi
Nei test del progetto, il nuovo indice ha risparmiato 109 MB inserendo i punteggi in sequenza. Mescolando gli stessi elementi cambia il modo in cui si riempiono le foglie dell’albero.
In una classifica online il nome di un giocatore può occupare meno memoria dei collegamenti necessari per tenerlo al posto giusto. Nei test di Valkey, per ciascun elemento di 20 byte il vecchio indice ordinato richiedeva in media altri 50,3 byte. Con Valkey 9.2, disponibile dal 19 novembre, il costo scende a 28,5 byte se gli elementi vengono inseriti in sequenza. La stessa classifica si può costruire anche inserendo i giocatori alla rinfusa. È quello che hanno fatto gli sviluppatori nella seconda prova.
Leggere un punteggio e trovare il vicino in classifica
Per sapere quanti punti ha una persona, Valkey cerca il suo identificativo in una tabella hash. Per elencare i dieci giocatori che la precedono, deve invece conoscere l’ordine dei punteggi. Le due strutture convivono negli insiemi ordinati di grandi dimensioni. L’aggiornamento riguarda quella che tiene traccia delle posizioni. Chi usa soprattutto il comando che restituisce il punteggio di un singolo membro continua a passare per la tabella hash.
Prima della versione 9.2 l’indice usava una skiplist, una lista con scorciatoie che permettono di saltare tratti più o meno lunghi. Ogni elemento si porta dietro puntatori e conteggi delle posizioni saltate. Il costo si ripete anche se il dato da conservare è un identificativo di poche lettere.
Con il nuovo albero B+, diversi elementi condividono la stessa struttura. Una foglia da 512 byte può contenere fino a 61 puntatori ai valori. I nodi superiori indirizzano la ricerca verso la foglia pertinente. Se un intervallo di punteggi prosegue oltre il suo bordo, si passa direttamente alla foglia accanto. Per leggere una serie di posizioni consecutive non occorre ripartire dalla cima. La spiegazione tecnica del progetto.
Il risparmio dipende anche dall’ordine di arrivo
Nella prova con cinque milioni di elementi inseriti in ordine casuale, l’indice nuovo ha richiesto in media 32 byte aggiuntivi per elemento. Restavano più foglie riempite soltanto in parte. Il risparmio rispetto alla skiplist è stato comunque di circa 92 MB, contro i 109 MB della prova sequenziale. I valori riguardano l’indice ordinato. Restano da conservare sia i dati dei giocatori sia la tabella che li ritrova per nome. I risultati associati alla modifica.
C’è un controllo semplice per chi amministra un servizio già in produzione. Sugli insiemi grandi OBJECT ENCODING restituisce ora btree. Un allarme configurato per aspettarsi skiplist può quindi scattare proprio quando l’aggiornamento ha funzionato. Gli insiemi piccoli conservano la rappresentazione compatta listpack. E se molti giocatori abbandonano la classifica? Come spiegano le note di rilascio, Valkey può compattare le foglie rimaste quasi vuote e restituire parte della memoria.
Per stimare il beneficio sulla propria applicazione, contare i gigabyte occupati oggi dice poco. Conviene contare gli elementi e osservare in quale ordine entrano nell’indice. È il piccolo risparmio ripetuto per ciascun giocatore, milioni di volte, a fare la differenza sulla memoria del server.