Vlákno názorů k článku
Zstd 1.5.0 s rychlejší a lepší kompresí od Mintaka - Většinou komprimuji celé disky nebo partitions a tam...

Většinou komprimuji celé disky nebo partitions a tam mi hodně pomáhá pigz, který zvládá běžet vícevláknově a využije více jader CPU.

Je někde přehled, pro jaká data je zstd dobré a kde nic moc?

Souhlas, pigz je paradni a divim se, ze ty ostatni popularni kompresory paralelni processing neumi.

S pigz na Power9 s 64 lcpu (AIX, lpar, db server) zalohuji celou instanci databaze | pigz na 16 cpu a i kdyz je pod tim hw all flash diskove pole, ktere umi zapsat vysoke stovky MBs/s, tak diky te paralelni kompresi, kterou ta masina v klidu zvladne, snizim celkovy beh backupu na mensi polovinu, proste luxus a na pigz nenecham dopustit :-)

Tak zstd má třeba u mě na počítači rychlost obecně vyšší stovky MB za sekundu (podle obsahu), což stejně naráží na rychlost běžných disků.

Ale zase je fakt, že by to stejně mohlo umět i paralelní zpracování. Vlastně by bylo triviálně jednoduché udělat takové udělátko na paralelní kompresi nad jakýmkoli kompresorem. Využil bych toho, že všechny ty gzipy, xz, zstd apod. lze řetězit, (DEKOMPRESE(KOM­PRESE(obsahA) + KOMPRESE(obsahB)) = obsahA + obsahB). Takový kompresor by postupně četl soubor řekněme po 10 MB, každou takovou část zabalil v separátním vlákně, a pak všechny tyhle zabalené části postupně zapisoval do výsledného souboru. To by snad šlo i v bashi. Kompresní poměr by byl samozřejmě horší (mezi jednotlivými částmi se ztrácí kontext), ale to je u pigz taky, jinak to udělat ani snad nejde.

zstd je paralelní již nativně, lze použít buď zstd -T0, nebo zstdmt

xz taky umí paralelní kompresi xz -T0, nebo je k dispozici pxz

Tak to je docela zásadní informace. Díky za info.