Vlákno názorů k článku
Turbosqueeze je nová rychlá komprese
od CX - je to horsie ako zstd, ma to vyznam?
-
FíkZlatý podporovatelTabulka je jedno vlákno, lz4 víc neumí. Ten turbosqueeze ano a pak je rychlejší.
-
Pravda, nicméně ta užitečnost stále pokulhává.
Kdysi jsem používal lz4, abych zrychlil přístup na disk u dočasných souborů a taky ušetřil trochu místa. Finální soubory šly do gzip na AWS S3. Nicméně paralelizace probíhala na vyšší úrovni - komprese věc zrychlí jenom v nějaké dnes už ne tak významné fázi.
Ten turbosqueeze IMHO v reálných podmínkách velký význam mít nebude a jeho komprese je oproti STORE relativně zanedbatelná (i ten lz4 vypadá teď slabě, ale záleží na datech - u XML či JSON je snad vyšší).
-
FíkZlatý podporovatel
Ha, opravdu má, ale až od verze 1.10 z června 2024, takže to mám zatím jen v Gentoo. Podle všeho to pomáhá spíš při vyšší kompresi než při té nejrychlejší a dekompresi to pomáhá také trochu tím, že dá I/O do jiného vlákna než dekompresi. Zstd to má v podstatě stejně, však je stejný autor.
-
FíkZlatý podporovatel
Tak jsem to zkusil a lz4 komprese na jednom vlákně mám 622MB/s a na čtyřech vláknech 722MB/s. U dekomprese se to prakticky neliší (taky jsem to psal do /dev/null) 1015MB/s a 1020MB/s.
Ten turbosqueeze neumím pustit na více vláknech :( Na jednom vlákně komprese má 256MB/s a dekomprese 818MB/s.
-
FíkZlatý podporovatel
Tady to bylo bez parametru, což je výchozí rychlá komprese -1. Odpovídá mi i velikost komprimovaného souboru.
ČLÁNKY DO MAILU