Názory k článku
OpenZFS 2.3.0 umožňuje rozšiřovat RAIDZ za běhu a vylepšuje deduplikaci

  • Článek je starý, nové názory již nelze přidávat.
  • 14. 1. 2025 12:37

    RDa

    Jak jsou na tom linuxove NAS-specificke distribuce s adopci techto noviken v OpenZFS ?

    ( ten online resize byl jednim z duvodu preference BTRFS )

  • 14. 1. 2025 13:35

    Uncaught ReferenceError:

    truenas v tomhle bývá rychlejší než linux kernel s tím raidz rozšířování přišel už na podzim v betě.

    Já dneska jedu už jen na nixos a tam jsem si rc kernelu dal už v prosinci, tohle vypadá, že mi funguje dobře, na mém vzorku jednoho serveru :).

  • 14. 1. 2025 13:54

    Michal Šmucr
    Bronzový podporovatel

    Nevím, jak otevřené NAS specifické distribuce (upřímně to moc nepoužívám, mám radši CLI a standardní distribuce nebo FreeBSD), ale například QNAP QuTS hero obsahoval patche, co přidávají tu možnost expanze RAID-Z, už před víc jak rokem mimo aktuální oficiální release 2.3.0.

    14. 1. 2025, 13:55 editováno autorem komentáře

  • 15. 1. 2025 11:49

    Izak

    LOL kdy jsme vyvojarum ZFS rikal, ze je to uzitecna feture a navrhl jsem jim to, tak mi rekli, ze to nikdo nepotrebuje, udajne to nema zadne enterprise reseni - na to jsme se zeptal treba NetApp ? - ten ma imho zvetsovani a zmensovani volum za behu.

    Tak je hezke ze to uz maji, ale ZFS provozuje jen blazen, ZFS nema opravny nastroj a kdyz FS padne, tak jej neni jak opravit a jak se dostat k datum.

    Opravny nastroj dle hlupaku z ZFS tez nikdo nepotrebuje a nechce - takze nic, ja uz videl par zhroucenych ZFS vinou vypadku elektriny - takze zadne vadne disky etc. a nebo i na diskovych polich, kde ani nemohlo dojit ke ztrate dat - tedy ciste ZFS a ze ztratil to, co mel v RAM a uz pak nedokazal ZFS nahodit a opravne nastroje zadne, jeden je, ale nefunguje ;-) - takze obnovy ze zalohy ... dnes uz ZFS vubec neresim, pokud by s tim za mnou nekdo prisel, ze mu to mam opravit, tak ani za penize, proste to nejde

  • 15. 1. 2025 12:15

    Danny
    Stříbrný podporovatel

    Proti vypadkum elektriny existuje vynalez jmenem UPS... a predpokladam, ze kdyz nekde neco duleziteho mate, tak nespolehate jen na napajeni ze site. Aneb vasim slovnikem muzeme rict, ze jen blazen provozuje server bez UPS ;-)

    Rozbit se umi libovolny filesystem. A samozrejme zvlast v pripade nekontrolovanych vypnuti muzete u kazdeho filesystemu narazit na to, ze nejaka data ztratite. To fakt neni chyba/vada/spe­cifikum ZFS.

  • 15. 1. 2025 16:03

    bez prezdivky ...

    Aneb zase se vyjadrujes k tematum, o kterych nic nevis.... ona i ta UPSka kupodivu muze failnout. A svepravnej FS rozhodne vypadek elektriny neznici. Tady totiz vubec nejde o to, ze jsou poskozena nejaka data, ale ze celej FS je v loji. Coz je prave u ZFS naprostej standard.

  • 15. 1. 2025 17:20

    Danny
    Stříbrný podporovatel

    UPS samozrejme failnout muze. Proto muzou byt i ty UPS dve a server osazen dvema napajecimi zdroji, ze? ;-) Samozrejme, ze doma se s necim takovym nikdo asi crcat nebude (nebo to vyresi jinak), ale dve napajeci vetve v datacentru jsou standard.... a jen blazen riskuje, ze kvuli odeslemu zdroji (coz je jedna z nejcastejsich poruch) mu zhebne rovnou cely server... ale chapu, ze "vesnicane" z garazovek to takhle nedelaji, protoze to je "zbytecne".

  • 15. 1. 2025 17:18

    Izak

    Jeden mel UPS, velkou serverovou rackovou - zasahl blesku do budovy, UPS zafungovala skvele, logicky, nebot byla online - ale spadla a vypla se - i vetev na 230V ze site a jejich proti bleskova ochrana zaregovala skvele, blesk do serverovny nepustila, ale vse slo dolu. - a presne tehdy se ZFS odporucel ... XFS, ext3 etc. sly jen opravit a bezely dal ... ano nekde se docetl, ze ZFS je super bezpecny a spolehlivy FS, co jej zachrani od vypadku a nikdy se neposkodi ;-)

    Ale to nic neni vymenil jsem baterky v UPS - takove 4 mega tezke zasuvky plne batarek, neslo nastavit datum, vymeny, pak jsme na to prisel, nejaka chyba SW ups, muselo se dat nejake davnejsi datum a az pak slo zmenit na soucasne ... no ale mezitim jen varovala, ze mam sice dle mereni baterky 100% a OK, ale po 6 mesicich se vypla ... jako ze uplne, ze pry mam stare baterky ;-) ... deji se ruzne veci, ano v DC je zalozni generator a preklenovaci zdroj - dalo by se rict takova mega velka UPS, co to udrzi jen chvili, nez nabehnou generatory - tam problemy nejsou ani s blesky, mam takovy dojem, ze jedna vetev bezi jen na generatory a vubec neni v siti - ale oni maji i svuj vysoko napetovy privod a velke trafo stanice

  • 15. 1. 2025 17:33

    Izak

    Je to chyba jen a pouze ZFS a ne zadny rozbity a neopravitelny FS jsme v zivote nevidel, krom nejakych experimentalnich beta verzi a jinych smejdu

    A delam storage a na opravy FS jsem fakt machr, poznam kde co, mazu journaly, struktury vadnych jornalu, prochazim vzdy vse - vzdy vse fungovalo, dokonce i ten NTFS co kdyz je totalne rozjebany jde aspon specialnimi placenymi nastroji obnovit na novy disk, nekdy teda jen soubory a ne celou strukturu, to je pak na h*** ... a radejio obnova ze zalohy ... ale kdo by resil windows a NTFS, ja delam Linux a unix servery, storage a tak ;-)) ... ale jen jako bombonek, ze natroje na obnovy smazanych souboru umi opravit i totalne rozjebanou NTFS treba i HW vadou diksu. - btw,. vadne bloky etc. umi opravit i XFS, ext2-4, btrfs a kupa dalsich FS.

    Podotykam ze u vypadku ZFS bylo diskove pole, ktere ma cache na baterku a diskove pole tak zapsalo vse, co reklo ze zapasalo, ale k*** i kdyby ne, od toho to ma journal, aby poznal, ze je to rozjebane a od toho je opravna utilita, co zkontroluje kompletni konzistenci vsech souboru-bloku a struktury FS ... jo aha, ZFS to nema - tak nic co ... zajimave ze jedine FS co nikdo neumel ani opravit, ani nejak namountovat, aspon RO byl jen a pouze ZFS, a to umim opravit i rozpadly sw_raid, kdyz padl, dnes sw-raid necha v raidu i vadny disk, pokud ma jen vadne bloky a po jeho vyrazeni vy spadl ... ale kdyz spadne, disky se rozjedou, da se nahodit jako ze vytvorit s rely firce parametrem, on jej nahodi, dokupi se disky, postupne se rebuldi ... sranda, vadne bloky mimo data, i po tehle harakyry sel opravit ext4 - dokonce mel poskozenou celou journal strukturu a neumel zapsat nova data - musela se smazat a vytvorit znova - i s tim ext4 pocita, ze se to stane chybou HW - to smazani journal struktury neni jak u XFS kde je to hjned, ale jede to na velkych discich dlouho, treba i 30min - vytvoreni nove uz je na pozadi ... nebo jsme opravil rozpadly sw_raid, na nem XFS - ten chtel taky smazat joirnal,nebot na nem padal, mel je poskozene oba ;-) - a pak check celeho FS a do lost_and_found dal asi jen 6 souboru ze stovek tisic - zbytek naprosto OK --- jo a taky po zasahu blesku, to nebyl dulezity system taky to nebyla chyba XFS ze to tak blbe spadlo, ale umel to opravit xfs_repair s par parametry a vynucenimi.

  • 15. 1. 2025 20:59

    Adam Kalisz
    Stříbrný podporovatel

    Samozřejmě ZFS může někdo provozovat i na laptopu, kde jsou ty garance přeci jen horší. Třeba géniové z Lenova odebrali příčetný S3 sleep, takže teď se může úplně v pohodě vybít uspaný laptop i za den, dva v tašce, kdy mnohem starší laptopy vydržely snad i týden.

  • 15. 1. 2025 23:54

    Virnik

    Tak pokud nema laptop 2x NVME nebo 2x SSD, tak nema ZFS moc smysl. A to jsem jeste skromny co se pameti tyce. Ale uz jsem takovou instalaci delal, i pres rizika ktera to obnasi - slo o kombinaci NVME+SSD for bpool, rpool a hpool, takze 'basic setup'.

    Dosud funguje bez problemu, ale je fakt ze sleep moc neuzivam.

  • 16. 1. 2025 12:41

    Izak

    Ja nechapu, na co mas ZFS ;-) jasne ze na jednom disku dava BTRFS i ZFS smysl, kvuli sub volumam, reflinkum, snapshotu a zapisovatelnym snap clonum - konec koncu i kompresi a dedupliaci - kterou ma ZFS spatne a zjevne ji meni po vzoru NetAppu - proc NetApp ? - protoze jim to sakra funguje a neni to vylozene block storage ale je to primarne NAS ... btw FreeBSD ani jiny moderni FS nez ZFS nema ;-) proto jej pouzivaji i na jednom SSD disku - vcetne sub volum - konec koncu fedora pouziva to same na BTRFS - rpoc na desktopu rozdelovat root, home var, kdyz to muze byt subvoluma, klidne s kvotou na velikost subvolumy - ktera jde on the fly zmensovat i zvetsovat dle potreby

    A pak tez binarni replika na jiny volume, imho konsistentni, nebot to udela snapshot a k tomu zreplikuje zmeny.

    Jasne zakladni reflink umi i XFS - no vzdy taky umi deduplikaci ;-) - treba mam vetsi virtualku v KVM a chci ji mit 4x a neco testovat, tak udelam jen reflink a mam ji na disku jen jednou a 3x k ni jen zmeny bloku.

    Konec koncu mi nevyhouvuje na BTRFS jejich beta RAID5/6 - nevadi mam pod tim SW-RAID ;-) - SW raid umi zvetsovat, expandovat disky a dokonce zmenit z raid5 na raid6 bez ztraty dat ... staci jen pridat spares a voala ;-)

    Ja tak migruji bezne na velke disky, jeden po druhem rebuldim, part. uz mu dam vetsi a za mam vsechny disky vetsi, tak mu reknu, ze to mam expandovat a je to ... a zacal jsme tak, ze jsme dal raid5 na 2 disky ;-)) ano 2 disky jsou minimum na raid5 - datove + 1 paritni (btw dedikovany paritni je raid4 - ale to je jedno, distribuovana parita, rozumime si) --- a proc jsme to tak udelal, protoze jsme potreboval nutne NAS a vedel jsem, ze vesi kapacitu budu potrebovat az za rok a disky na cene klesaly, tak jsme pak jen prikoupil disk a nemusel konvertovat, dal jsme jen expandovat stavajici 2 diksovy raid5 o 1 disk a nemusel jsme u toho konvertovat mirror na raid5 - i kdyz efektivne to mirror byl, ale vnitrni logikou nikoliv.

  • 15. 1. 2025 12:30

    RDa

    Pokud vam FS padne, tak zadny opravny nastroj vam nepomuze, typicky nasleduje obnova ze zalohy, nebo vyuziti data recovery sluzeb.

    Delam obnovu dat (s uzkym zamerenim na multimedialni formaty a media z kamer), tak jsem mnoho (ne)hezkych pripadu, napr. kdyz zapis prepsal kousek adresare (buhvi proc, zda se ztratila adresa ve firmwaru, nebo preskocil v adrese bit kdekoliv mezi cpu a nand). Jak tohle chcete obnovit?? Na to zadny nastroj neni.

    Prakticky kazdy fsck resi pouze soft chyby, ktere pochazi z preruseni prace jinak plne funkcniho setupu (vypadek napajeni / necekane odpojeni disku). Nedokaze to opravit wtf chyby, kdy premalujete nahodne sektory nahodnymi daty (at uz to udelate ex post, nebo to udela fs driver protoze se zblaznil).

    Takze pokud z logiky provozu vyplyva, ze nemuze dojit k inkonzistenci (tj. kazdy jeden bod, mezi kazdym zapisem byt i jednotlivych sektoru znamena nedegradovany stav), tak fsck nepotrebujete.

    Ze nedokazete opravit ZFS, protoze nemate fsck, je vymluva jako ze nejste milionar, protoze mate na uctu velke kulove. Tak to nefunguje.

    Stejny pripad je, kdyz mi nekdo prinese FAT32 / ExFAT, ze to nejde - bud to nejde mountnout, nebo neco nejde cist. A to maj prece i Windowsy nejaky chkdsk.. jenze v pripade opravdove chyby vam takovy nastroj nepomuze, nebo dokonce zhorsi situaci.. a stejne to musim resit pak rucne, a pak mame data. Nejsem klikac jako vy, co ceka ze to za nej fsck vyresi.

  • 15. 1. 2025 16:06

    bez prezdivky ...

    Opravnej nastroj ti treba dohleda plonkovy nicemu neprideleny bloky, ktery ale zaroven nejsou oznaceny jako volny, tudiz s tim muzes nejak nalozit, nebo pouzit nejakou heuristiku nebo ... ale zbytek souboru bude normalne citelnych. Takze z ty zalohy mozna obnovis poskozeny soubory, ale nepotrebujes obnovovat vsechna data.

    Coz je presne to, co dela fsck. Kterej navic umi overit, ze zadny takovy veci na disku nejsou, a tudiz je to z pohledu FS OK.

  • 15. 1. 2025 17:05

    Loki

    nikto sa nechce zaoberať nejakými náhodne neuvolnenými blokmi. Treba si naštudovať ako funguje ZFS, všetko sa zapíše na nové miesta a potom sa prepíše pole Uber blokov. keby niečo nevyšlo tak sa použije starší uber blok, niečo bude chýbať ale dáta budú konzistentné. Ak užívateľ chce pristúpiť k poškodenému súboru tak ZFS ho chce opraviť, ak to nejde tak vráti chybu, ale nikdy nie neplatné/náhodné dáta... aký zmysel má aby mi vrátil 8MB JPEG kde je niečo na začiatku poškodené... celý súbor je zle vykreslený aj keď mohlo byť poškodených len zopár bajtov, tam fsck nepomôže. jedine obnova zo zálohy tak si self healing ani neškrtol... a ešte tu máme pravidelný scrub dát, čo je prelezenie celého stromu a kontrola každého bajtu... opraví ak nájde chybu, ale netipuje, buď to vie matematicky odvodiť alebo nie. nechápem na čo by mi bol nástroj ktorý mi vráti že tu je nejakých 1000 súborov, kde sú nejaké dáta a bez mena... týmito vecami sme si už asi všetci prešli... zahraňovať dáta stojí X peňazí (bez garancie), ale kvalitná záloha len desatinu z toho... tak načo riskovať...

  • 15. 1. 2025 18:18

    RDa

    Jenze tohle dohledani nereferencovanych bloku muze fungovat na primitivnich FS jako jsou FAT/ExFAT (kde je seznam alokovanych bloku retezen), nebo na EXT2/3, kde je viceurovnova alokacni tabulka. U ExFAT nebo EXT3/4 mate jeste bitmapy, ktere muzou oznacit bloky jako nevolne, ale nesoulad je znova jenom problem nevhodneho vypnuti - zachranovat polorozepsana data se nikdy nedela (vyjma tech pripadu ktere resim ja - ze soubor je primarni/live nahravka v kamere). Uz od EXT4 se vam problem sezlozituje, ze tam nejsou chainy ale extents. U CoW systemu jako btrfs/zfs nic identickeho neexistuje - volne je defaultne vse, co se nereferencuje ze stromu.

    Schvalne sem dejte nejake chybove hlasky, jak se vam zachovalo to rozbite ZFS - ze co byl duvod ze to cele neslo nahodit.

  • 15. 1. 2025 17:57

    Izak

    Ja jsem vziviote zadne data recovery slzueb nevyuzil, musela by to byt ta v D, co umi rozbertat plotny - nebo na SSD/SD co to odlesti a na kontakty pripji priostroj, data z poskozene NTFS, FAT, exfat umi ziskat snadno, jsou na to nastroje ... AHA a jsme kurna u toho ;-) super nastroj na obnovu je primo v linuxu https://www.cgsecurity.org/wiki/PhotoRec, nebo ontrack atd.

    Jenze u serverovych OS a serverovych FS se mi tohle vzivote nestalo ... bud disk odesel uplne, coz me nikdy nezajimalo, ty se vymeni, spravoval jsme NetAppy co mely klide i 500 disku ... a co jako ... wafl - coz je FS netappu, ktery ZFS i BTRFS vykrada nikdy nepadl a nikdy jsme jej neopravoval, nastroje na to ma jen vendor a nejsou pristupne zakaznikum, ve sfere enterprise nepriada HW chyba, co by znicila data v uvahu, zdravim EMC a jejich shit hracky, co tolikrat droply data ;-))

    Data nic hlavne windows a je to chyba tech windows ;-) - zadny zblazneny radic a podobne pohadky, to se moc nestava, vetsinou se takovy radic rovnou odporoucel, moderni RAID radice maji baterku, ECC ramku a vse si hlidaji i konsistenci zapisu - to se stavalo v davnych dobach, presto to neznicilo cely FS, ale jen par souboru ... btw. nejvice se nici SD karty, casto vadny HW a nebo nejaky fotak poskodi tabulku patritions nebo hlavicku FS ... tam je ale obnova snadna - pokud se karta nacte - pokud ne, tak sorry jako, tam uz se to musi napojit primo na flash chip a na to uz je treba mit specializovany HW - fotografove to resi 2 sloty a zapisem na 2 karty

    Jenze u ZFS je jen vypadek ... hele bavime se o amaterskem FS, co je takova dojebana beta - v enterprise maji lidi NetAppy pokud potrebuji snapshoty, snap-clony atd, pokud chteji jen block device, maji FC diskove pole, vetsinou Hitachi, IBM, HPE, Purestore atd. a na nem nejaky skutecny OS ala Linux, Unixy a na naich poradne a overene FS, jako ext4, XFS - ten je hodne pouzivany a extremne jej doporucuje i RedHat ... firmy jako Meta si otestovali ZFS a zakazali jej pouzivat, pouzvaji BTRFS ... asi dospeli ke stejnemu zaveru jako ja a u nich na datech vubec nezalezi, nebot je maji tak 4x a vicekrat, takze kriticke selhani nodu resi nahrazenim jinym atd.

    Joa k tomu ZFS - neopravis jej ani ty, nebot na ne nexistuji ani komercni nastroje ;-)) ... a u nich nesdolo k nejakemu brutalnimu poskozeni, proste me jen nekonzisteni posledni data presne to se k*** stalo nebo poskozeny jornal, co ja vim, je mi tio k* jednmo, jsme profik a chci profi FS, co tohle umi vyresit, at uz sam a nebo opravnymi nastroji ... opkauji vzivote jsme nevidel serverovy FS, co by jsme nedokazal opravit a to dokonce i takove, co byly poskozene vadnymi disky, coz se v enterpsise sfere vubec nedeje, tam vadny disk a poskzoeni dat nepripada v uavhu, to delalo pole huawei kdyz melo moc diksu a to pole o tom vedelo a volal se vzdy support - ale to nebylo enterprise ze ;-) ... u skutecnych diskovych poli maji vse chraneno soucty a disky vypadavai bezne, dole je vyradi, vezme si spare a rebuildi to ... bezn ejdou dnes 2-parity, 3-parity a diskove pole o stovkach diksu neni jeden raid6 raid-dp, raid-tp ... ale kupa raidu ... takze kdyz diksy vypadnou vhodne, muze naraz vypadnout i 10 disku ... no ale ne 3 disky ze stejne DP grupy (raid6) ... uz jsem zazil stare diskove pole, ktere se zrovna migrovalo, kde jsem menil disky 2x tydne

  • 15. 1. 2025 12:35

    RDa

    ... tedy ciste ZFS a ze ztratil to, co mel v RAM a uz pak nedokazal ZFS nahodit ...

    Tak to asi ne, vzdyt je to COW a takove mezistavy ze ram only.. je neco co tam ani nemuze nastat. Nejspis tam nekdo udelal nejakou podivnou konfiguracni zmenu - treba zapnul write cache a rezim potvrzeni dat, protoze mu to ZFS prislo pomaly... a ted ma co si zaslouzi, kdyz pak jednotlive disky z pole nebyly vypnuty synchronne, a nektere zapisy prosli, a jine nikoliv.

    To je klasicky pripad nekompetence provozovatele / admina, ktery nezna nasledky sveho chytrolinstvi.

  • 15. 1. 2025 18:10

    Izak

    na diskovem polic IBM DS400 ? - to jako vazne COW se pos* muze, proste se to stava a nic s tim neudelas ;-) od toho je opravny nastroj, ten velmi snadno pozna nekonzistenci FS a opravi ji ... jo ale ZFS zadny nema ... tazke je na H* rikam to celou dobu, to ze se nemuze podelat COW FS si mysleli i vyvojari BTRFS ... a ejhle, zjistili ze vubec a ze ten natroj nutne potrebuji, zacalo to ze jej umel dat aspon RO a pak kopie dat jinam, ale to je dost na h*** treba ja mam dome pres 100TB - a nema dalsich 100TB ... kdyby se mi tak v praci pos** diskove pole co ma 1PB, tak by mi ten dalsi 1PB musel dat vendor ze ;-) ... no a tak dnes mame i na BTRFS nastroj, co jej umi opravit in-place jako kazdy slusny nastroj na opravu FS ;-)) ... a ano na BTRFS mam 2x (DUP) ten jeho index - metadata tomu rikaji, je to extremne doporucovane i na raidu - tedy pro BTRFS jen jedeno blokove zarizeni, u mirroru ma byt na kazdem disku, u vice mirroru nemusi, u raid5-6 pry musi byt taky na kazdem disku, dost se to rozpada, ale disky tomu to sam opravi - nevim, nepouzivam, vyvojari rikaji, ze je to beta, ale ze dnes uz to funguje s vypadky, ale o data neprijdu, no ja jsme rad, ze ma doma NAS, co funguje bez vypadku - hpe microserver imho ...

    Firma Oracle dnes asi na ZFS nedava zaruku ze ? Jako ze mi treba dodaji HW, an nem ZFS, treba i se SOlarisem, ze jim budu platit a kdyz se to podela, tak mi to opravi a kdyz ne, tak mi zaplati ztratu ze ... ja si tak vzpominam, ze mi v jedne firme rikali, ze kdyz jim system resyncoval data asi 1/2 dne - a neprisli vubec o nic, tak ze za to platilo odskodne kolem 500k euro ... dava takove zaruky oracle na ZFS ? --- ja jen ze ten NetApp na Wafl ANO - jasne, nesmis pak dat netapp do debug modu bez potvrzeni NetAppu a plno ukonu musi delat bud on, nebo ti to musi schvalit - ale pak ti zaplati vesketer skody za to ze system bude offline - ano metro cluster je v takovych pripadech povinnost a nebo ze ztrati pole/nas data ...

  • 15. 1. 2025 15:10

    Virnik

    Nesmysl. Kdyz 'FS padne', tak importuji zpool v ro a bez metadat, pripadne vyberu starsi dokoncenou relaci/snapshot. Pak uz pouziju nastroje co zfs ma k pretazeni dat na neposkozeny zpool, prejmenuji jej, remountnu, rozsirim pripadne o dalsi svazek/disk a prepisu cache. reboot, a system bezi na novych discich. Vim o cem mluvim, desktop jsem na UPS nemel, kdyz CEZ zacal laborovat se siti a opakovane v radech sekund az minut elektrinu zapinal a vypinal po dobu celych dvou hodin. Stacily dva takove rebooty a mel jsem duvod resit presne to co popisujete.

    Mimochodem, tohle musi byt silena spuhra nahod, aby odesel jeden disk a doslo ke spatnemu zapisu, ze by neslo zpool otevrit (vcetne replay, defaults).

    15. 1. 2025, 15:12 editováno autorem komentáře

  • 15. 1. 2025 18:37

    Izak

    Hezke, taky moznsot - ale nekdy nejde ani to ... ted treba mame takov skarede pole, nelibi se mi to, ze je to cely RACK, to je takovy oldscool, kdyz jem meli jeden NetApp treba na 5 racich - ano plne velkych schelfu, pak prisly 36TB SSD disky 2.5" razem jich nebylo 24 ve 4U ale 24 v 1U ;-)) no ale kdyby mi teda ten 1 rack krachl - tak kde dat dalsi rack, jako muzu nekam jinam v DC a nechat si natahnou 12x optiku - 12 portu mam jeste v FC - a slo by to nouzove redukovat i na 6xFC ... a ten 1PT bych nekolik dnu kopiroval .... myslim, ze dlasi takove diskove pole uz by jsme si nekoupili ;-)) ... rikas neco jineho, ale houby, skoro kazde pole ma dnes v sobe linux a vse je tam reseno SW i RAID, pak to tam ma nejaky svuj FS, nebo system ala LVM a exportuje to pak soubory co presnetuje jako LUN, kdyz je to NAS tak to ma i nejaky vsuj FS, nebo treba ne a ma to XFS ... jen NetApp ma vse svoje, jede na FreeBSD a ma svuj Wafl-FS - coz je super, volumy umi za behiu i zmensovat, aggregaty a raid grupy teda ne ;-) ty uz umi jen rozrisovat a pridavat tam veci - ubirat nelze, coz je logicke, ale NFS volumy zvetsuji a zmensuji dokonce dynamicky ;-)

    Jake by to bylo krasne, kdyby ZFS rekl, ze je poskozen a ze mas pouzit ZFS_repair etc. pak ze tohle je slozistejsi a bud jako fsck.ext4 rekl i jak eprametry mas pouzit, ale to uz jen potesi, aspon by rekl na sem selhal a manual o tom nemlcel ze - hezky by to opravil a jedlo by se dala ... hele ja ani doma nemam 100TB navic vis ono to stoji 1200 euro ty disky - mam ted doma jako 3 nasy, 1 stary HPE microserver asi prodam ;-) levne - ale vazne se mi nechce davat neco RO, investovat 1.200e - par dnu kopirovat data - kdyz slusny FS to umi opravit primo v nem ... jo a to co rikas by asi neslo, on jim vsem zpool jako takovy nabehl, videl videl jsem v nem disk - nemeli raid, raid meli na poli ... ale nesel proste namontovat ani opravit ;-) - jo vsichni meli zalohy - hnihovna s LTO3 paskama .... a po tehle srande vsichni zakazali nasazovani ZFS v podniku - hele jim se libilo ze je to COW a ze to checkuje konsistenci, tak si mysleli, ze to bude lepsi ... a nevadilo jim ze to pomaleji zapisuje, oni hlavne cetli - ale takova obnova ze 14 pasek LTO proste trochu trva

  • 15. 1. 2025 19:07

    Izak

    Jo a vzdy to funguje ;-)
    https://www.truenas.com/community/threads/recover-data-from-zfs-pool.114954/

    zjevne nejsem sam ... v dobe kdy jsme to resil ja to podle me ani neslo, nebo na to nebyly navody ... ZFS byl na solarisu, freeBSD a opnesolarisu, mozna uz zacinal OpenZFS na linuxu - ten jsme testoval ja a neprsel mimi testy, neumel co jsme potreboval - tak jsem se o nej prestal zajimat, vyzkousel jsem si jej, pak jsme testoval BTRFS, treba jak se zpomalil na 1MB/s i kdyz mel volno v metadatech, neumel si je rozsirit - v te dobe nepomohlo nic, az nedokumnetovany parametr pri mountu, kdy sel rozsirit rucne, staci to udelat jednou s tim par. pak uz se nemuselo - taky sranda, pak do dali do dokumentace a nakonec to opravili, ze se to zvetsi samo - nketre pripady pry umely zvetsit metadata po scrub, nebo rebalance ... to je jedno, ted zu to bezi, jen jeden muj velky FS se montuje pres 1 min ;-) - zkousel jsme vsechny scany, opravy, checkovani a dle vyvojaru je to v poradku, nic spatneho neni tak jsme zvysil timeout pro systemd-moun ... on totiz po asi 30 sec, nebo po 1 min vytimeoutuje a rekne opravi si to, nemamountoval jsme FS ;-)) ... strasna sranda - mam deduplikovane soubory i kompresi level 1

    Jo a tady taky resi, ze import nejde a je treba obnovovat ... no skvely subsystemem to je ;-)
    https://openzfs.github.io/openzfs-docs/msg/ZFS-8000-8A/

    Ja jim to rikal, uz me poslechli s tim, ze umi rozsirovat RAID dalsi disky ... btw sw_raiod umi i konverst ... ale pssst ... a treba jednou udelaji i opravne nastroje ;-)

  • 15. 1. 2025 20:57

    Adam Kalisz
    Stříbrný podporovatel

    Stále píšete víceméně to samé pod většinou článků o ZFS zde. Máte tedy nějaké konkrétní údaje, který by pomohly při hledání chyby?

    Už několikrát jsem Vás upozorňoval, že tohle poměrně nekonkrétní – a teď se prosím nezlobte – plácání nikomu nepomůže. Třeba to je pravda, třeba to ani není chyba ZFS, ale to se nikdy nedozvíme, když k tomu nebude víc dat.

  • 15. 1. 2025 20:58

    RDa

    Nemusi se ani moc rozepisovat, at da link na svuj bug report, nebo sve vlakno ve zdejsim foru.. rikat ze me to nejde, a neresit to, neni jak se typicky k veci stavi ajtaci :-)

  • 16. 1. 2025 12:21

    Izak

    Ano, nepouzivat jej a prejit na BTRFS a SW raid - zcela snadne reseni. A vzhledem k tomu, ze lidi oz ZFS problemy nezajimaji a nikdy nezjimali a az po dlouhych tech uznali ze mam pravdu ... ano logicky, oni jsou amateri ve storage a ja profesional, prtoo jem navrhoval ve foru nove funkce, ktere mi tam chybi - kdyz zjistili, ze mi lozu do oci a ze tomu rozumim lepe nez oni, neuneslo to jejich ego - coz je jejich problem ne muj, ja svoje data nehodlam riskovat - ja jen varuji kazdeho, kdo tuhle betaverzi od naprostych amateru, co se ani nezamysli nad dobrymi radami lidi z oboru vazne nehodlam opravovat a uz jim ani nic nepisi, je mi to JEDNO - lidi od BTRFS jsou naprosto OK s temi jsme se bavil a je to jiny level.

    konec koncu jak moc musi byt clovek idiot, kdyz mu reknu, ze musi mit opravne nastroje, oni reknou ze nemsi a za 5 let nato priznaji, ze se teda ZFS muze podelat a ze se to stava bezne a lidi jsou nas* a oni presto zadne opravne nastroje nehodlaji vyvijet a delat ? - vazne by jste si takovy storage koupil ? - kdyby mi tohle delal bezne NetApp tak jde z firmy.

    Cili ne, presvedcujte si je sami, ja uvazoval o nasazeni ZFS, nelibilo se mi moc veci, napr. i stupidni deduplikace, kdy vyzaduje RAM - LOL, to by mi NetApp s par PT asi slad co ? - vsichni vcetne BTRFS to delaji jina, nekdo treba jen na SSD discich, na spindle jen spustenou ulohou - ale je mnoho reseni a ted na to prislo ;-)

    To mate jako Fujifilm mam profi kameru, stredni format a fuji se nas profiku zeptalo, na zpetnou odezvu, tak jsme jim zkrtizoval, ze nami svtelena skla a jake bych chtel, ze nemuzou mit skla o svetlenosti z velkeho medium formatu, kdyz tohle neni 6x7 cm ale crop cropu, ze je treba torchu jiny pristup - ale to jsou japonci ze, ti jsou za zpetnou opdezvu radfi, podekuji a zamysli se - a ehle jedno ze skel ktere jsem chtel vyrobili - jasne ze ne sam, preci nejsme nejchytrejsi na svete, jen vite profik netappista nebude ztracet cas, aby psal neco do konference ZFS, uzije si svuj plat a venuje se enterprise a ne nejake hracce ... no a lidi co foti na me urovni tez vedi co chteji a potrebuji - to sklo 80/1.7 se imho stala jejeich nejprodavnejsim sklem, neudelali mi moje druhe doporuceni neco kolme 40mm/1.7 - treba na to jednou dojde, ted udelali jine sklo, logicky maji pravdu, nebot ohnisko je uhlopricka snimace, takove skla se povazuji za zakladni na dany snimac .... Fuji dokonce udelalo apku, kde muzu posilat fuji, statsitiky o zuiti skle a nastaveni fotaku - at vedi - nemusm, muzu - no a to ze ekvivalent 35mm/1.x bude hyt vim proto, ze jsme na to fotil vetsinu fotrk na FF a stejne tak vertsina profiku sahla po sigma art 35/1.4mm - jejich asi nejprodavanejsi sklo -- dlasi jen 135/1.8 - ale tu na GFX pouzivam z FF a tak ji od fuji nepotrebuji - no a tez vyslechli prani lidi, co foti divoke zvirata a udelali jim poradne pevne sklo se super stabilizaci - to je sakra ten rozdil, bud je firma profi a vi co lidi chteji, nebot na to ma data, nebo se zeptaji, popr. zbiraji zpetnou vazbu a zamysli se, zda na tom neni neco pravdy - kor kdyz se bavi s nekym, kdo se enterprise storage zivi ;-)) ja jsme jim poradil, co s tim udelaji je jejich vec, podle me ZFS nebude dobre fungovat nikdy a BTRFS jej nakonec predbehne ve vsem - takze pouzivam BTRFS a hlasim chyby tam - teda hlasil jsem, ted zadne nemam - veci co potrebuji tam zapracovali.

    BTW tez jsem daval navrhy do jinych SW, treba Drasktable, ja to napsal, nekdo se nad tim zamyslel a nektere veci zaimplementovali, ze je to super, kdyz potrebovali specificke RAWy, tak jsem jim je poslal etc. a pomohl tak zlepsit SW co pouzivam a vubec by mi nevadlo, kdyby treba rekli ne to neni potreba, oni to tam nechali, vyjadrilo se vice lidi, ze je to dobry napad, ze jim to chybi taky a bylo to ;-) --- ty brdo u ZFS jsem pozadoval jen uplne zaklady co pouzivam denne ... ja jsme pragmatik, ne fanda ;-) menim znacky kde ceho, pokud mi to dava smysl, SW to same ;-)

  • 16. 1. 2025 14:20

    Adam Kalisz
    Stříbrný podporovatel

    Umím si představit, že jste naštvaný, protože kdybyste rezignoval, tak už se nevypisujete. Ale ty „braindumpy“ se opravdu nečtou dobře a začínat příspěvek něčím, co by kde kdo chápal jako útok, či arogantní vystupování taky není nejlepší a to klidně můžete mít věcně pravdu.

    Je to jen dohad, ale vypadá to totiž, že čí ego něco neuneslo je hlavně to Vaše. Však nemusíte někomu pochlebovat, ale nejdřív zjistit, jestli protistranu Váš feedback zajímá je docela dobrý začátek. Může se stát, že vůbec nešlo tolik o fakta jako o způsob, kterým jste podněty předal, že jim nebylo vyhověno.

  • 15. 1. 2025 15:05

    Virnik

    Konecne. Deduplikaci mam vsude zatim vyplou krom stareho FreeBSD, prave pro jeji pomalost. ZFS uzivam i na desktopech a uz ani nepocitam, kolikrat jsem diky ZFS neprisel o data. Jsem zvedav kdy se 2.3 objevi v Ubuntu

    NVME totiz se ZFS starsich verzi nevynikaji zrovna rychlosti, ac by mely.

    15. 1. 2025, 15:06 editováno autorem komentáře

  • 15. 1. 2025 18:14

    Izak

    Divne, ja neprichazim o data ani na XFS, ext4 ani na BTRFS ... na doma vse na RAID a dulezite veci mam na RAID v PC a na RAID na NASU a z PC je pravidelne synchronizuji na NAS ... blbosti mam jen na NASu

  • 15. 1. 2025 21:11

    Adam Kalisz
    Stříbrný podporovatel

    Prosím nezapínejte na blind ani tuto deduplikaci, pořád je to něco, co na desktopech převážně moc nepomůže a pořád je to docela drahé na prostředky. To, že to dává teď smysl na více místech ještě neznamená, že je to safe default.

    Mrkněte aspoň na toto video: https://www.youtube.com/watch?v=_T2lkb49gc8

    a něco si o tom přečtěte: https://despairlabs.com/blog/posts/2024-10-27-openzfs-dedup-is-good-dont-use-it/

  • 15. 1. 2025 23:58

    Virnik

    Nemusite mit strach, na masinach na kterych mi zalezi bych tohle nezkousel. Ale samotneho me to zajima, protoze budu nasledujici rok menit NAS, cize cely novy HW, novy setup, atd - a deduplikace by snizila obsazeni domaci knihovny (16TB ve trech poolech) o podstatna procenta.

  • 16. 1. 2025 12:55

    Izak

    Ted jsme koupil Ugreen NAS - s 8 pozicemi, jeho hlavni vyhoda je, ze je to PC, staci tam vypnout v biosu watchdog - ten to restartuje - a uz tam mam Linux ;-) nekdo tam dava TrueNAS, *BSD etc. - jde tam dat az 64GB RAM, 8 3.5 a 2x M.2 NVME

    Dalsi zajimavy kousek je HPE micro server - hlavne proto, ze to ma ILO (nutno dokoupit port, nebot neni vyvedeno - ale ILO je tam na desce)

    Nebo: JONSBO N3 NAS Mini Case - maji kupu variant, tahle je na 8x 3.5 disku, jine maji 4, nebo 6 3.5 a 4x2.5 ... do toho jde koupit na aliexpressu serverova deska do NASu, i starsi, co mene zere a je formatu ITX a ma porty na SATA 0 treba 2x6 - specialni kabel - takova kocka z 1 konekotru na 6 nebo 12 - je to levnejsi, nebot na ali polsou desku, s CPU a hlavne i ECC RAM - bezne 32GB nebo 64GB - nevyhoda je ze je treba koupit zdroj a je to vetsi nez treba UgreenNAS - nasy kde si nemuzu naisntalovat svuj SW/OS me nezajimaji - duvod je zrejmy, kdyz se neco stane, umim to opravit ;-) - pokud bych si kupioval HW raid tak asi ARECA - hlavbne prot, ze jsme na tom stavel NASy pro 14 diskove schlefy a je to mega spolehliove - a tez kompatibilni - neni problem vymenit kartu za novejsi model a ona pak raid importuje bez problemu - u SW raidu mam prenositelnost jeste vetsi a pocitani RAID na modernich CPU neni problem.