Jak na duplicitní soubory na více počítačích

4. 7. 2017

Pokud hledáte duplicitní soubory na jednom počítači, zřejmě sáhnete po osvědčeném nástroji fdupes, nebo po jeho novější a bohatější verzi jdupes. Jdupes umí navíc například omezit velikost souborů a přímo deduplikovat na Btrfs. K tomu je u fdupes potřeba použít duperemove.

Co ale dělat, pokud chceme najít stejné soubory na různých počítačích? Připojit souborový systém vzdáleně sice jde, ale prohledávání bude pomalé. Proto je výhodnější vytvořit hashe souborů lokálně na obou strojích, spojit je a najít duplicity.

Výhodné je například použití md5deep nebo sha256deep, seřadit a najít duplicity podle návodu. Jelikož vytváření hashů je tou nejpomalejší operací, bývá často vhodné omezit velikost zpracovávaných souborů pomocí parametru například -i 4g a větší soubory srovnat ručně (pokud jich nemáme moc) s pomocí prostého find . -size +4g.

Našli jste v článku chybu?

Zasílat nově přidané názory e-mailem

Aktualita je stará, nové názory již nelze přidávat.

5. 7. 2017 0:28

Mlocik97

Ako suprový návod, ale ja osobne som to zatím nikdy nepotreboval, prípadne som nemal problém neco "pretriediť" ručne. Ostatne ak budem potrebovať, alebo niekto iný s týmto pomôcť, viem aký program použiť/odporučiť.
- Skok na další nový názor. K navigaci lze použít i klávesy N pro následující a P pro předchozí nový názor
5. 7. 2017 7:44

N (neregistrovaný)

Nebylo by lepší nejprve vytvořit seznam souborů a počítat hash až když dojde nalezení více souborů se stejnou velikostí?
- Zobrazit celé vlákno
- Skok na další nový názor. K navigaci lze použít i klávesy N pro následující a P pro předchozí nový názor
5. 7. 2017 7:51

Fík

Zlatý podporovatel

Ano, tak to dělají ty automatické programy fdupes a spol. Ručně mi to přijde složitější.
- Zobrazit celé vlákno
- Skok na další nový názor. K navigaci lze použít i klávesy N pro následující a P pro předchozí nový názor
7. 7. 2017 11:24

N (neregistrovaný)

No jo, ale není "fdupes a spol." pouze lokální? Já tu poznámku myslel na řešení nabídnuté ve článku „Jak na duplicitní soubory na více počítačích“, který vlastně - pokud to chápu správně - říká „spočítat hash pro všechny soubory a najít duplicity“.
- Zobrazit celé vlákno
- Skok na další nový názor. K navigaci lze použít i klávesy N pro následující a P pro předchozí nový názor
7. 7. 2017 11:41

Fík

Zlatý podporovatel

Ano, já to pochopil. Ale automatický nástroj na váš postup neznám a ručně sestavit seznam s velikostmi na obou strojích, oba srovnat a jen ty stejné pak hashovat jistě jde, ale je to pracnější - tedy myslím více operací člověka a méně operací CPU :)

Navíc ještě ty lokální fdupes etc. používají další metodu, kdy se dva soubory stejné velikosti čtou od začátku a porovnávají se. Pokud se najde první rozdíl, tak může přestat, což je rychlejší než číst celé soubory a dělat jejich hashe. No možná pro hodně souborů je zase rychlejší použít hashe, než otevřít stovku souborů a ty paralelně číst.
- Zobrazit celé vlákno
- Skok na další nový názor. K navigaci lze použít i klávesy N pro následující a P pro předchozí nový názor
10. 7. 2017 17:46

N (neregistrovaný)

Aha, ok, tak to já Vaši odpověď původně pochopil špatně.
- Zobrazit celé vlákno
- Skok na další nový názor. K navigaci lze použít i klávesy N pro následující a P pro předchozí nový názor
5. 7. 2017 13:06

NA (neregistrovaný)

Zrovna teď jsem použil "na takové to domácí porovnávání" dupeGuru. Celkem pohodlný, schopný a rozumně rychlý. Například úloha: Najdi duplicity v adresářové struktuře "pisničky" a po vyčištení ji považuj za referenční a hledej duplicity na zbytku počítače.
- Skok na další nový názor. K navigaci lze použít i klávesy N pro následující a P pro předchozí nový názor
7. 7. 2017 2:04

JA (neregistrovaný)

A my vsichni ostatni alt+f7 v total commanderu .....
- Skok na další nový názor. K navigaci lze použít i klávesy N pro následující a P pro předchozí nový názor
19. 11. 2017 22:52

m3l1sk0 (neregistrovaný)

nieje prave na taketo ucely git annex?