Polars 2.0 usa lo streaming e comincia a scaricare il lavoro su disco
La nuova versione riduce la pressione sulla RAM nelle query lazy e amplia SQL; join e group-by non possono ancora fare spill su disco.
Che succede
Polars 2.0 rende predefinito il motore streaming quando si raccolgono i risultati di un LazyFrame. La libreria per analizzare dati può elaborare più lavoro a blocchi e comincia a usare il disco quando alcune operazioni consumano troppa memoria.
Lo spill su disco copre ordinamenti, funzioni finestra e molte espressioni. Join e raggruppamenti arriveranno in seguito. SQL diventa inoltre una funzionalità di primo piano, con copertura più ampia e miglioramenti all’ottimizzazione delle query.
Il cambio di motore può modificare l’ordine delle righe in operazioni come join, group-by e unpivot. Le pipeline che dipendono da quell’ordine devono renderlo esplicito: un risultato con gli stessi dati può comunque comportarsi diversamente nel passaggio successivo.
Perché conta
Polars comincia a superare il limite della RAM senza chiederti una macchina più grande. Lo spill su disco è il passo sostanziale della 2.0; finché mancano join e raggruppamenti, però, il beneficio dipende dalla query che devi eseguire.
Leggi la fonte
PolarsVuoi sapere di più su pillole come questa?