Souhlas, pigz je paradni a divim se, ze ty ostatni popularni kompresory paralelni processing neumi.
S pigz na Power9 s 64 lcpu (AIX, lpar, db server) zalohuji celou instanci databaze | pigz na 16 cpu a i kdyz je pod tim hw all flash diskove pole, ktere umi zapsat vysoke stovky MBs/s, tak diky te paralelni kompresi, kterou ta masina v klidu zvladne, snizim celkovy beh backupu na mensi polovinu, proste luxus a na pigz nenecham dopustit :-)
Tak zstd má třeba u mě na počítači rychlost obecně vyšší stovky MB za sekundu (podle obsahu), což stejně naráží na rychlost běžných disků.
Ale zase je fakt, že by to stejně mohlo umět i paralelní zpracování. Vlastně by bylo triviálně jednoduché udělat takové udělátko na paralelní kompresi nad jakýmkoli kompresorem. Využil bych toho, že všechny ty gzipy, xz, zstd apod. lze řetězit, (DEKOMPRESE(KOMPRESE(obsahA) + KOMPRESE(obsahB)) = obsahA + obsahB). Takový kompresor by postupně četl soubor řekněme po 10 MB, každou takovou část zabalil v separátním vlákně, a pak všechny tyhle zabalené části postupně zapisoval do výsledného souboru. To by snad šlo i v bashi. Kompresní poměr by byl samozřejmě horší (mezi jednotlivými částmi se ztrácí kontext), ale to je u pigz taky, jinak to udělat ani snad nejde.