Vlákno názorů k článku Nová softwarová sklizeň (21. 3. 2007) od xxx - a ono nejde na paralelne zabzip2ovany soubor pouzit...

a ono nejde na paralelne zabzip2ovany soubor pouzit normalni bunzip2 ???
je pouzit snad jiny algoritmus, to je myslim spatny postup.

Paralelni pbzip2 a bzip2 jsou kompatabilni, takze na pbzip2ovany soubor muzete pustit normalni bunzip2 a opacne.

Algoritmus je stejny, jen se bloky chroustaji stridave v ruznych CPU, aspon tak si to predstavuju ja. Deleni bloku dat mezi CPU ridi parametr -b:

-b#: where # is the file block size in 100k (default 9 = 900k)

nemelo by se to zamnenovat s bloky vlastni bzip2 komprese, parametr stejny u bzip2 i pbzip2:

-1 .. -9 : set BWT block size to 100k .. 900k (default 900k)

A jeste jsem si vsimnul, ze vysledek pbzip2 je casto o trosicku vetsi nez vysledek bzip2, asi prave kvuli tomu deleni na bloky.

pbzip2 komprimuje samostatne bloky a proto je muze delit na jednotliva CPU. dekomprese obecne paralelizovatelna neni, protoze u normalniho bzipu dalsi bloky zavisi na predchozich a nejde je preskakovat. Bylo by nutne mit nejak oznaceny archiv, kde jsou nezavisle bloky a pak by i dekomprese mohla probihat paralelne.

Podle manualu to vypada, ze mate pravdu. Pred vanoci jsem si napsal vlastni vicevlaknovou implementaci bzipu (pbzip2 se mi nelibi pristupem k souboru), ale vychazel jsem jen z hlavickovych souboru. Zkusim pridat i dekompresi, pripadne vysledek zverejnim. Mohlo by se to nekomu hodit.