Ve středu na schůzi vedení OpenZFS bylo oznámeno, že PanzuraStorage uvolní svoji výkonnou online deduplikaci ZFS jako open source. ZFS již dlouho online deduplikaci má, ale kvůli malému výkonu a velké náročnosti na RAM není často používána.
Panzura je společnost, která používá ZFS ve svém Panzura Distributed Cloud File-System. Více detailů o jejich souborovém systému najdete na v oficiální brožurce. Ovšem o deduplikaci se tu mnoho nedozvíte.
(zdroj: phoronix)
Jsem to přeložil jako online, na rozdíl od offline deduplikace. Doufám, že jsem se trefil.
a přes časovou osu souboru je přesně co? jako jen mezi verzemi stejného souboru?
online deduplikace to bude patrně i tak, jako že se deduplikuje automaticky při zápisu a není potřeba periodicky pouštět nějaký offline nástroj
ZFS má jen online deduplikaci, offline by se dala udělat jen překopírováním souboru a smazáním originálu (a všech jeho snapshotů). Deduplikace je na základě checksumu bloku (default 128 kB) a při kolizi se porovná i obsah. To jestli jde o aktuální verzi souboru nebo snapshot je fuk, porovnává se blok.
V té brožurce píšou, že deduplikaci provádějí ještě před tím, než se data zapíšou na disk. Mohlo by to být ono – že se deduplikace provádí hned v průběhu zápisu a ne až dodatečně.
To v kontextu FS s podporou snapshots znamená, že se deduplikují soubory napříč verzemi. Když vytvořím soubor, udělám snapshot, přidám do něj řádek, opět udělám snapshot, pak ten řádek zase smažu a udělám ještě jeden snapshot, mám 3 verze souboru, ale první a poslední je identická. Temporal dedup to pozná a udělá z nich (něco jako) hardlink na stejná data (což je u CoW FS bez rizika).
ZFS by hlavně potřeboval offline deduplikaci. Ta má hned několik výhod: 1. může se spouštět, když je výkonový prostor, 2. může se přerušit, když je výkon potřeba jinde, 3. může být nastavena, že má deduplikovat soubory až po X hodinách - takže se nemusí ztrácet čas na deduplikaci souborů, které jsou uloženy krátce nebo se často mění.
