Redis prepara bitmap che non sprecano mezzo gigabyte per un solo bit

Impostare un solo bit molto lontano può costare a Redis circa mezzo gigabyte. Le bitmap tradizionali occupano infatti spazio fino all’offset più alto, anche se nel mezzo non c’è quasi nulla. È semplice e veloce quando i dati sono densi, parecchio meno simpatico quando gli identificativi sono sparsi.

Antonio Viggiano ha portato nel codice di sviluppo di Redis le bitmap compresse Roaring, già usate in sistemi come Elasticsearch e ClickHouse. Invece di conservare tutto come un’unica distesa di bit, Roaring sceglie rappresentazioni diverse per zone sparse, dense o formate da lunghe sequenze consecutive. Conteggi, unioni e intersezioni possono lavorare sui dati compressi.

Daniel Lemire ha provato l’implementazione confrontandola con le bitmap ordinarie: i casi con ID sparsi mostrano bene quanto spazio e lavoro si possano evitare. Non è un miglioramento uniforme su qualsiasi insieme. La funzione è opzionale ed è attesa in Redis 8.12; per ora è codice integrato nel ramo di sviluppo, non una novità già presente nella versione stabile.