Články o ZFS jsou bezesporu zajímavé, ale osobně tam trochu postrádám nějaký úvod do problematiky. O ZFS mám jakousi představu, ačkoliv nikdy jsem ho nepoužíval.
A tak by mi přišlo užitečné, kdyby vyšel (nejspíš hned jako první v řadě :-) článek o tom, co a zač je ZFS, jaké jsou jeho silné (případně slabé) stránky, co mi nabídne oproti klasice jako ext4, XFS, btrfs, ideálně jaká je jeho podpora v hlavních distribucích (ale chápu, že autor používá Debian, tak s ničím jiným třeba zkušenosti nemá; nicméně z licenčních důvodů jej typicky nenasadím stejně snadno jako "klasické" souborové systémy) a proč bych jej vlastně měl chtít začít používat. Pokud by autor zvážil napsání takového článku, patří mu předem mé poděkování :-).
Tohle je třetí díl série o ZFS. První a druhý je zde.
https://www.root.cz/clanky/zfsbootmenu-bootovani-linuxu-na-souborovem-systemu-zfs/
https://www.root.cz/clanky/souborovy-system-zfs-klonovani-instalace-na-jiny-disk/
A není to první článek na téma ZFS ani na rootu. Je jich více.
ZFS není žádná novinka, ale je nyní snandé jej používat i na Linuxu.
Bohužel články není moc snadné je najít. Např. zde je jedna série.
https://www.root.cz/serialy/souborovy-system-zfs/
Pokud bych měl říci ve zkratce výhody.
- snapshoty, snadné inkrementální zálohy na jiný disk.
- možnost libovolně vytvářet a mazat datasety (oddíly disku), jak je potřeba. datasety sdílejí společné místo.
- komprese (úspora cca 1/3 místa) a možnost šifrování dat
Nevýhody:
- licence, nekompatibilní s Linuxem
- starší, ale dobře odzkoušené generace oproti btrfs, který je podobný souborový systém pro Linux. Pokud máte velké diskové pole, možnosti přidávat další disky jsou omezenější. Odebírat není možné. To já jsem ale nikdy nepotřeboval.
Používání ZFS u tak starého článku se může lišit maximálně nějakými detaily, jako např. mohla přibýt nějaký nový způsob komprese. Základní principy a použití budou určitě naprosto stejné. Ve freeBSD se věci obvykle tolik nepředělávají jak bývá zvykem v Linuxu.
Zde je ještě jeden novější článek.
https://www.root.cz/clanky/konverze-debianu-ze-souboroveho-systemu-ext4-na-moderni-zfs/
Ono sa za 15 rokov toho aj u zfs zmenilo dost. Napr. uz je flexibilnejsi ohladom rozsirovania pola.
Ohladom ficur ma ako kazdy dospely filesystem feature flagy ulozene v metadatach. Takze pre stary filesystem bude pouzivat stare ficury, pre novy novsie ficury a ked pouzivatel vie, ze stary filesystem uz do stareho systemu nepojde, moze si ich pozapinat tiez.
- snapshoty - ma aj btrfs
- snadné inkrementální zálohy na jiný disk - ma aj btrfs
- možnost libovolně vytvářet a mazat datasety - ma aj btrfs (subvolume)
- komprese (úspora cca 1/3 místa) - ma aj btrfs
- a možnost šifrování dat - toto btrfs nema
- starší, ale dobře odzkoušené generace oproti btrfs - no, neviem. V petabytovych poliach dajme tomu, s tym skusenosti nemam a tam asi zfs exceluje. Doma (jednotky az desiatky diskov) by som tam zasadny rozdiel asi nevidel
- pokud máte velké diskové pole, možnosti přidávat další disky jsou omezenější. Odebírat není možné. To já jsem ale nikdy nepotřeboval. - no, ja mam NAS o 8 diskoch a uz som odoberat potreboval - napriklad ked chcipol stary disk s malou kapacitou (4 TB) a nahradzal som aj jeho brata za dva vacsie disky (14 a 20 TB), pricom som nemal oba k dispozicii v rovnaky cas. Proste som jeden disk odobral (a nechal jeho data rozliat po zvysnych diskoch v poli) a potom som az postupne pridaval nove disky. Tu by si clovek zo ZFS podla mna dost vylamal zuby.
Ja som so ZFS experimentoval pred par (8?) rokmi, ked som staval svoj prvy vacsi (5+ diskov) NAS. Nakoniec som zhodnotil, ze ta teoreticky vacsia bezpecnost dat (*1) nevyvazi diskomfort ktory to prinesie a ostal som na btrfs 'raid1(10)'. Jedna z mala veci co sa mi na zfs pacila bolo, ze self-healing fungoval uplne transparentne a lepsie reportoval problemy. Na btrfs to chce o krok naviac - pridat do cronu scrub a pokial ten na niecom failuje, horsie sa dohladava zoznam zasiahnutych suborov. Pokial by som mal btrfs nieco vytknut, tak prave tento reporting, ktory stale, aj po tolkych rokoch, stoji podla mna uplne za prd.
*1 - ono je to uz nejaka doba, ale niekde na webe som narazil na ludi co sa so zfs dostali do slepej ulicky a prisli o data
*1 O data se dá přijít vždy, zvláště když někdo nedělá backup a spoléhá se, že to pole nikdy nemůže padnout a i kdyby, že půjde opravit.
Když se podívám na Debian wiki o Btrfs, budí to dojem, jako že to není ještě dodělané kolik je tam různých varování. I když některé možná budou zastaralá.
https://wiki.debian.org/Btrfs
Naproti tomu ZFS je relativně čisté.
https://wiki.debian.org/ZFS
V mém případě dělám a posílám snapshoty na záložní stroj každých 5 minut. Kdyby disk nebo stroj odešel, převezme jeho práci záložní stroj. Nemusím nic obnovovat nebo dolovat, aby vše běželo ze záložního místa. Ale ještě jsem o žádné ZFS nepřišel. Spíše padají nebo zlobí počítače. Tedy zrovna v mém případě mám jistotu, že to co umí Btrfs navíc nikdy nebudu potřebovat. Kdyby šlo hlavně o to mít hodně dat na jednom poli a větší množství různých disků, je to trochu jiné užití.
U btrfs je najvacsi fuckup asi write hole u raid5/6. Preto sa doporucuje tieto raidy nepouzivat. Synology na to slo inak a stavia kvazi-raid spajanim sw raidov rozprestrenych po diskoch do jedneho btrfs filesystemu, coz mi pripada genialne, ale zaroven zlozite na udrzbu. Ja som na ZFS chcel prejst niekolko krat, ale proste moj realny mix diskov je taky, ze nikdy nemam x diskov rovnakej kapacity - a ani nechcem v pripade havarie jedneho disku preskladavat cele pole z novych diskov, aby som neplytval kapacitou noveho disku. Toto je viac pravdepodobnejsi scenar v datacentrach, kde je tych serverov x v racku a maju rovnake disky - a za rovnake ich v pripade poruchy vymienaju.
Co sa tyka migracie, ja uz doma bezim vlastne vsetko v proxmoxe. Keby som mal teda 2 a viac strojov, tak by som postavil ceph cluster a bezal to na nom a na zfs a btrfs sa uz asi vykaslal.
Write hole sa da riesit UPS-kou, pre tie situacie, kde je to problem. Osobne si myslim, ze toto nikdy nebude v btrfs vyriesene. Na rozdiel od ostatnych rezimov, v parity mode nie su peniaze. Ani Synology ich nenaslo, a to btrfs predavaju a ziju z neho.
V zfs pravidlo rovnakej velkosti diskov plati pre vdev, nie pre pool! Takze je mozne zostavit pool z viacerych vdev, pricom kazdy vdev ma inu velkost. Ale to sa tiez bavime o pocitacoch, ktore maju viac diskov ako zopar.
Na ceph 2 nody nestacia, resp. nema to zmysel. Aj proxmox ma pri jednocifernych poctov nodov vacsi zmysel v HA clusteri a VM na NAS alebo lokalne a synchronizovat ich. Proxmox pre HA vyzaduje aspon 3 nody (treti node nemusi byt nutne plny Proxmox, ale musi to byt corosync qdevice, aby nody vedeli kedy maju quorum, co sa v parnom pocte neda). A este pamataj na to, ze ceph s nizkym poctom nodov bude mat nizsi vykon ako lokalne disky, takze aby si nebol sklamany.
"U btrfs je najvacsi fuckup asi write hole u raid5/6. Preto sa doporucuje tieto raidy nepouzivat."
Neustale a dlouhy roky oprakovany blabol ...
Kdyz libovolny pole vyrves z elektriky, tak to zjebe data na nem. A je uplne jedno jaky je to HW a jaky na tom je FS. Presne proto mas na raidovych radicich baterky, a kazdy spevpravny pole ma baterky taky, svoje, vubec neni rec o UPS ktera je jen dalsim prvkem.
S tymto nemam skusenosti, najvacsie pole co som kedy riesil malo 8 diskov a bol to sw raid. Mozno prave preto, ze to nemam pod kozou, tieto hw raidy nepouzivam. Raz som sa nechal ukecat a pouzil som v dell serveri hw raid s linuxom a rozbil som si hubu ked jeden disk chcipol - a uz to nikdy nechcem zazit. Preto som pri upgrade domaceho serveru (presiel som zo skladacky na dell poweredge) preflashoval perc do it mode a bezim tam btrfs raid1 zatial k plnej spokojnosti. Tak uvidime.