Chcte prijit o data ? poridte si ZFS - a hnako bonus vam nenabyzi zadne oprtavne nastroje, Estonci jej nasazovali a ja vse zezalohoval a smazal - do jednoho a jako architekt zakazal.
Dale jsme nasadil posledni verzi ZFS a ukazal jsme, jak znicim masivnim I/O data - testujeme vypnuti elektriny, pad OS atd. - a pak jsem rekl, ze pokud poskozeny ZFS - testovano na dikovem poli HPE Primera - FC !!! takze zadne lokalni disky - Primeru jsme samozrejme nevypinal, jen server pres ILO - hard power OFF
Krom toho, ze me ZFS zcenruiovali a tvrdili, ze jakozto spickovy NetApp specialista jsme deb*** nebo jsme pozadoval, aby sel expandovat ZRAID - pry to niko nema, tak jsme jim rekl, ze to naopka z enterprise maji dnes vsichni - treba Netapp u svych Raid grup, SW_RAID - nakonec to nedavno dodali, aha takze to byl dobry napad to pozadovat ze ? - a tez jsme chtel oprvany naztroj, pry se ZFS nikdy nepokazi ;-) tak urcite.
ZFS nic neumi, uz nejak resili dedupliaci, aby to nezralo RAM, ale co ja vim, me ZFS moc nezjima, deduplaci proste predtim nemel, ja spravji desitky PB - kdyby NetApp zral RAM jakjo ZFS na deduplaci, tak potrebuji 100TB RAM - LOL
Dale kenrel 7.2 a hlavne 7.3 plne ipomlementoval Large Folios - pouzitelne to zacaslo byt v kernel 6.12+ - ale uplna revolucie proi BTRFS je 7.2 a hlavne 7.3 - kde predelali i IO_scheduler ... cili BTRFS je dnes brutalne rychly - jako RAID chci SW_RAID nebo LVM - ten umi raid taky ...
Mimochodem SW_RAD large folios pouziva taky - umi jej vubec ZFS - kdyz pro Linux oficilane vubec neni a je to port ze zastaralých Unixu ?
Cos e tyce refl;inku, snapshoptu, replikaci a nakonec i reduplikaci,. je BTRFS vyrazne lepsi - skoda ze neumi SSD cache - coz lze na linuxu udelat jinak, ja bych chtel jen RO_SSD - na linuxu to ovsem znemanea smazat data - BTRFS to neumi, umi jen pridat treba 2 SSD v mirroru ale jsou pak RW - tedy pri vypadku odejdou data ... ale vyresil jsme to ;-) mam 64GB RAM v NAS a tak jsme upravil linux tak, aby delal lazy mazani a drzel tam data jak jen muze - a zvetsil jsme RW cache v RAM a velkou RO RAM cache - dost to na 10Gb pomohlo ... ted jedu na kernelu 7.2 a cekam na 7.3 - ale BTRFS se zrychlil brutalne, dostal mega patche, aby pouzival Large folios - kdyz to FS nema a neni na to prepsany, tak je nevyuzivate a zabijite CPU kupou 4kb bloku a hlavne indexem ktery to peklo zpravuje, mi to udela treba 64MB blok a je to pak jena polozka v indexu .... Large Folios je dynamicka vec a je to jako Huge Mem v Oracle, ale Oracle uz LargeFolio zacal posuzovat, jen na to ma svuj subsytem pro aplikace, pro DB a indexy + cache ma stale statcike HuigePage, na apliakce, triggery a veco kolem uz ma dynamicke a funguje to az od kernelu 6.12 a s novymi Oracle ... proto musite mit min Oracle Linux 9 UEK8 (kde je prave unbreakable kernel 6.12) a nebo 10 ...
Takze za me ZFS nebrat, je to smjed, prijdete o data - a videl jsme nekolik firem co po me pak chteli, abych jim to opravil a ja jkim rekl, ze jsou pozde, ze to nejde, tedy ze obnova ze zalohy a uz to svinstvo nemaji nasazovat - a zkousel jsme i Solaris a jeho hracku ala opravny nastroj, prtoste rekne ze je vazdny a nepomouze nic, je par metod, jak se o to pokusit, ale nefunguje zadna, jedna se neco zahodi, nevim zda jsournal, nebo indexy - prste me to nezajima - a na rozdil od doby, kde me jakzosto spickove odbornika zablokovali, kdyz jsme jim rikla dobre napady z WaflFS a co pouzivam - to prosim zadarmo, Cinani mi platili 10k euro/ mesic za migraci netappu z Cluster mode na MetroCluster ... no tak v ZFS poiprve priznali, ze ten FS je smejd a ze se teda fakt kazi - LOL kolik let pote, co jsme jim to rikal ? UTFG kde to rikaji a kde vam rikaji, ze to mate smazat, onbovit ze zalohy ;-)) + 3 pokusy, jak to opravit - vetsinou vam, nepomuze zadny.
A co ja se naoppravoval XFS kde bylo potreba smazat journal, to same ext3 nebo ext4 s naborenym journalem, dokonce cerla struktura pro journal byla vadan a bylo treba ji smazat a delal to 30 minut (jinak FS zamrzl pri kazdych novych datech ) - ja opravdu vzkrilil FS z vsemoznych stavu ....
BTW ja uz krisli raid5 kde odesly 2 disky a byly vadne bloky, vadna serie disku SEAGATE - jeden byl mrtvy a druhy mel asi 100 vadnych bloku - dodal jsme novy WD RED a dal sync - a prekocil ty vadne ploky, SW raid je chytyry, kdyby prisle o disk, tak se snazi udelat maximum, pak oprava - zajimave vec, data byly 100% v poradku ale poskozena byla prave prazdna struktura ... ale to jsou m,el veci, na NetAppu se mi takove veci nikdy nestaly ... btw i NetApp ma opravnou utilitu na wafl !!!! jen ji ma k dispozici jen support - ale nebyla nikdy potreba - kolega zazil, ze se jednou sama spustila po padu - netapp pak opravoval data nekolik hodin ;-))) to ja nikdy nevidel a to jsme resil veci jako kahuna a disk consistency sync a daval tak pomale disky na jednu hlavu a rychle na druhou.
BTW proti lidem z ZFS nic nemam, tomu ze me zabanovali se dodnes smejsi, nebot jak se ukazlo, vubec nerozumi FS a o nasazeni v enterprise - na rozdil od lidi z BRTFS je nezajima, ze umim nasimulovat zhrouceni ZFS ;-) naposledy jsem to pro filmu delal minuly rok - kdyz jsme testovali vsemozne virtualizace, a musely projit firemnim standardem - ukazoval jsme na to PROXMOX - a do zparvy jsme dal FS co maji zakazano nasazovat. Jen ro davam rad k doby, ze tahle arogantni komunita na napady reguje tak, ze nerousmim entreprise ze to nikod nema a kdyz jsme treda rekl ze treba NetApp ? a ze spise neznam moc enterprise reseni, ktere to nemaji ... zjimalo by me, kolik storage epxertu z enterpsie tridy takhle zabanovali ;-)) a prisli tak od nazor a rady od lidi, kterym plati firmy nemale penize a maji obrovske zkusenosti se spavou dat i se vsemoznymi FS.
BTW diky tomu, ze BTRFS byl dost zpomalovan tak tam kde neni potreba komprese a dedupliace pouzivame XFS (umi reflink i deduplika pouziva to VEEAM - mem nekolik nodu destiky PB zaloh ) nekde ext4 ... ale jak Infinidat, Netapp tak i HPE Primera umi inline kopresi a deduplikaci (ibox jen kompresi) - a ent. RedHat BTRFS nepodporuje, Oracle Linux jej umi ... a Veem je sifrovany, takze by deduplikovat a komprese nesla, Veeam tak musi data zkomprimovat a deduplikovat na proxy a zasifrovane se pak zapisi jiz zkomprimovane a deduplikovane - sifrovane data nejde ani komprimovat, ani deduplikovat - proto tam mame vice levnejich FC poli pro bakcup co tyhle veci vubec neumi.
Takze pokud chcte prijit o data, pouzivejte ZFS - zvlaste vas support ala RedHat ci OracleLinux tas pak posle nekam ;-) a vendor pole ci serveru taky - no lidi co delaji support pr pro filrmy v situacih, kdi si HPE/IBM/DELL atd nevbi rady - TAKY nebot uz s tim maji bohate zkusenosti a reknou vam, ze pokud jste zkusili ty 3 metdoy, tak ze vam ustri penize za cas darheo odbornika a radeji vam pom,uze s disaster recovery ze zaloh ;-))
Já bych pokažený ZFS souborový systém rozhodně neopravoval. Podobně jako bych neopravoval rozbitou innodb databázi. ZFS jsem rozbitý ještě neviděl, ale stát se může vše. Když nějaký problém se strojem - jakýkoli, prostě všechny věci spustím na záložním stroji, kam se zálohují i všechna data. ZFS SEND každých pět minut. Pak mohu přijít o změny maximálně za posledních 5 minut.
Databáze se zálohují okamžitě pomocí Master -> Slave replikací. V případě problému mohu udělat Master z nějakého Slave a o žádná data nepřijdu.
Ale pokud se někdo specializuje na diskové pole a souborové systémy, určitě má spoustu možností tohle všechno řešit nějak složitěji. A možná i lépe.
Ale celkově té potřebě mít obrovské diskové pole s kterým vše padá nechápu. Raději data rozdělím na více serverů, které pak mohou zálohovat jeden druhého, bez nutnosti obnovovat něco ze zálohy.
Když jsem s tím začínal byl Btrfs ještě děravý jak řešeto. A nyní nemám důvod ZFS opouštět. Kdybych znovu začínal nyní, byla by situace možná trochu jiná.
A hlavní argument, proč si instalaci neulehčit použitím Btrfs není moc platný, neb pokud chci používat Btrfs a všechny jeho výhody a zároveň Debian, nelze moc mluvit o tom, že by situace byla celkově v Debianu jednodušší, než pokud použiji ZFS. Instalovat systém pomocí debootstrap není žádná raketová věda.
Panové, přiznám, že vaše příspěvky "nejdou pročíst" všechny, pardon, ALE napadlo vás, že ZFS může být z principu špatný nápad ho provozovat na komplexních RAID+FC hardwarech ?
Začal bych čtením zde:
https://openzfs.github.io/openzfs-docs/Performance%20and%20Tuning/Hardware.html#hardware-raid-controllers
a pak se pídit dál.
IMHO, také BTRFS bude mít svoje principy implementace, které mohou v jistých HW konfiguracích diskového podvozku narazit, a tedy píditi se pak i směrem k BTRFS považuji za rozumé.
Peklo pro složitější typy FS začíná v momentě, kdy mu diskový subsystém = HW/ovladače nedokážou zaručit, že nějaký jeho jisto-jistě zapsaný blok (metadato/žurnál/log/ apod.) byl skutečně zapsán a to často i v pořadí v jakém měl.
Nehledě na FS, příklady problémů začínají už s NCQ na obyč SATA discích. Kde buďto funguje FUA/DPO/apod. nebo ne. A je na zvážení vypnout write-back.
Zkoušel jsem předělat Blade servery se sdíleným řadičem + DAS -- prostě z konfigurace vhodné VMwaru na PROXMOX. Jak jinak :-)
Tak ten sdílený řadič jsem vzdal a lokální RAIDy v bladech snad půjdou přepnout do HBA. Čímž vznikne lokální ZFS mirror v každé žiletce a abych zajistil, že mi do těch ZFS nebudou lokální HBA kecat (jsou příliš chytré) zkusím extra PCIe karty do každé žiletky pro SLOG (tedy synchronní data půjdou nejkratší cestou do dvou disků zperzistentnit). Přiznám, ještě to je WIP, ale chtěl bych využít navíc funkcí ZFS oproti (default) LVM pro ten PROXMOX resp. práce s VM disky.