Nevím, jak otevřené NAS specifické distribuce (upřímně to moc nepoužívám, mám radši CLI a standardní distribuce nebo FreeBSD), ale například QNAP QuTS hero obsahoval patche, co přidávají tu možnost expanze RAID-Z, už před víc jak rokem mimo aktuální oficiální release 2.3.0.
14. 1. 2025, 13:55 editováno autorem komentáře
LOL kdy jsme vyvojarum ZFS rikal, ze je to uzitecna feture a navrhl jsem jim to, tak mi rekli, ze to nikdo nepotrebuje, udajne to nema zadne enterprise reseni - na to jsme se zeptal treba NetApp ? - ten ma imho zvetsovani a zmensovani volum za behu.
Tak je hezke ze to uz maji, ale ZFS provozuje jen blazen, ZFS nema opravny nastroj a kdyz FS padne, tak jej neni jak opravit a jak se dostat k datum.
Opravny nastroj dle hlupaku z ZFS tez nikdo nepotrebuje a nechce - takze nic, ja uz videl par zhroucenych ZFS vinou vypadku elektriny - takze zadne vadne disky etc. a nebo i na diskovych polich, kde ani nemohlo dojit ke ztrate dat - tedy ciste ZFS a ze ztratil to, co mel v RAM a uz pak nedokazal ZFS nahodit a opravne nastroje zadne, jeden je, ale nefunguje ;-) - takze obnovy ze zalohy ... dnes uz ZFS vubec neresim, pokud by s tim za mnou nekdo prisel, ze mu to mam opravit, tak ani za penize, proste to nejde
Proti vypadkum elektriny existuje vynalez jmenem UPS... a predpokladam, ze kdyz nekde neco duleziteho mate, tak nespolehate jen na napajeni ze site. Aneb vasim slovnikem muzeme rict, ze jen blazen provozuje server bez UPS ;-)
Rozbit se umi libovolny filesystem. A samozrejme zvlast v pripade nekontrolovanych vypnuti muzete u kazdeho filesystemu narazit na to, ze nejaka data ztratite. To fakt neni chyba/vada/specifikum ZFS.
UPS samozrejme failnout muze. Proto muzou byt i ty UPS dve a server osazen dvema napajecimi zdroji, ze? ;-) Samozrejme, ze doma se s necim takovym nikdo asi crcat nebude (nebo to vyresi jinak), ale dve napajeci vetve v datacentru jsou standard.... a jen blazen riskuje, ze kvuli odeslemu zdroji (coz je jedna z nejcastejsich poruch) mu zhebne rovnou cely server... ale chapu, ze "vesnicane" z garazovek to takhle nedelaji, protoze to je "zbytecne".
Jeden mel UPS, velkou serverovou rackovou - zasahl blesku do budovy, UPS zafungovala skvele, logicky, nebot byla online - ale spadla a vypla se - i vetev na 230V ze site a jejich proti bleskova ochrana zaregovala skvele, blesk do serverovny nepustila, ale vse slo dolu. - a presne tehdy se ZFS odporucel ... XFS, ext3 etc. sly jen opravit a bezely dal ... ano nekde se docetl, ze ZFS je super bezpecny a spolehlivy FS, co jej zachrani od vypadku a nikdy se neposkodi ;-)
Ale to nic neni vymenil jsem baterky v UPS - takove 4 mega tezke zasuvky plne batarek, neslo nastavit datum, vymeny, pak jsme na to prisel, nejaka chyba SW ups, muselo se dat nejake davnejsi datum a az pak slo zmenit na soucasne ... no ale mezitim jen varovala, ze mam sice dle mereni baterky 100% a OK, ale po 6 mesicich se vypla ... jako ze uplne, ze pry mam stare baterky ;-) ... deji se ruzne veci, ano v DC je zalozni generator a preklenovaci zdroj - dalo by se rict takova mega velka UPS, co to udrzi jen chvili, nez nabehnou generatory - tam problemy nejsou ani s blesky, mam takovy dojem, ze jedna vetev bezi jen na generatory a vubec neni v siti - ale oni maji i svuj vysoko napetovy privod a velke trafo stanice
Je to chyba jen a pouze ZFS a ne zadny rozbity a neopravitelny FS jsme v zivote nevidel, krom nejakych experimentalnich beta verzi a jinych smejdu
A delam storage a na opravy FS jsem fakt machr, poznam kde co, mazu journaly, struktury vadnych jornalu, prochazim vzdy vse - vzdy vse fungovalo, dokonce i ten NTFS co kdyz je totalne rozjebany jde aspon specialnimi placenymi nastroji obnovit na novy disk, nekdy teda jen soubory a ne celou strukturu, to je pak na h*** ... a radejio obnova ze zalohy ... ale kdo by resil windows a NTFS, ja delam Linux a unix servery, storage a tak ;-)) ... ale jen jako bombonek, ze natroje na obnovy smazanych souboru umi opravit i totalne rozjebanou NTFS treba i HW vadou diksu. - btw,. vadne bloky etc. umi opravit i XFS, ext2-4, btrfs a kupa dalsich FS.
Podotykam ze u vypadku ZFS bylo diskove pole, ktere ma cache na baterku a diskove pole tak zapsalo vse, co reklo ze zapasalo, ale k*** i kdyby ne, od toho to ma journal, aby poznal, ze je to rozjebane a od toho je opravna utilita, co zkontroluje kompletni konzistenci vsech souboru-bloku a struktury FS ... jo aha, ZFS to nema - tak nic co ... zajimave ze jedine FS co nikdo neumel ani opravit, ani nejak namountovat, aspon RO byl jen a pouze ZFS, a to umim opravit i rozpadly sw_raid, kdyz padl, dnes sw-raid necha v raidu i vadny disk, pokud ma jen vadne bloky a po jeho vyrazeni vy spadl ... ale kdyz spadne, disky se rozjedou, da se nahodit jako ze vytvorit s rely firce parametrem, on jej nahodi, dokupi se disky, postupne se rebuldi ... sranda, vadne bloky mimo data, i po tehle harakyry sel opravit ext4 - dokonce mel poskozenou celou journal strukturu a neumel zapsat nova data - musela se smazat a vytvorit znova - i s tim ext4 pocita, ze se to stane chybou HW - to smazani journal struktury neni jak u XFS kde je to hjned, ale jede to na velkych discich dlouho, treba i 30min - vytvoreni nove uz je na pozadi ... nebo jsme opravil rozpadly sw_raid, na nem XFS - ten chtel taky smazat joirnal,nebot na nem padal, mel je poskozene oba ;-) - a pak check celeho FS a do lost_and_found dal asi jen 6 souboru ze stovek tisic - zbytek naprosto OK --- jo a taky po zasahu blesku, to nebyl dulezity system taky to nebyla chyba XFS ze to tak blbe spadlo, ale umel to opravit xfs_repair s par parametry a vynucenimi.
Tak pokud nema laptop 2x NVME nebo 2x SSD, tak nema ZFS moc smysl. A to jsem jeste skromny co se pameti tyce. Ale uz jsem takovou instalaci delal, i pres rizika ktera to obnasi - slo o kombinaci NVME+SSD for bpool, rpool a hpool, takze 'basic setup'.
Dosud funguje bez problemu, ale je fakt ze sleep moc neuzivam.
Ja nechapu, na co mas ZFS ;-) jasne ze na jednom disku dava BTRFS i ZFS smysl, kvuli sub volumam, reflinkum, snapshotu a zapisovatelnym snap clonum - konec koncu i kompresi a dedupliaci - kterou ma ZFS spatne a zjevne ji meni po vzoru NetAppu - proc NetApp ? - protoze jim to sakra funguje a neni to vylozene block storage ale je to primarne NAS ... btw FreeBSD ani jiny moderni FS nez ZFS nema ;-) proto jej pouzivaji i na jednom SSD disku - vcetne sub volum - konec koncu fedora pouziva to same na BTRFS - rpoc na desktopu rozdelovat root, home var, kdyz to muze byt subvoluma, klidne s kvotou na velikost subvolumy - ktera jde on the fly zmensovat i zvetsovat dle potreby
A pak tez binarni replika na jiny volume, imho konsistentni, nebot to udela snapshot a k tomu zreplikuje zmeny.
Jasne zakladni reflink umi i XFS - no vzdy taky umi deduplikaci ;-) - treba mam vetsi virtualku v KVM a chci ji mit 4x a neco testovat, tak udelam jen reflink a mam ji na disku jen jednou a 3x k ni jen zmeny bloku.
Konec koncu mi nevyhouvuje na BTRFS jejich beta RAID5/6 - nevadi mam pod tim SW-RAID ;-) - SW raid umi zvetsovat, expandovat disky a dokonce zmenit z raid5 na raid6 bez ztraty dat ... staci jen pridat spares a voala ;-)
Ja tak migruji bezne na velke disky, jeden po druhem rebuldim, part. uz mu dam vetsi a za mam vsechny disky vetsi, tak mu reknu, ze to mam expandovat a je to ... a zacal jsme tak, ze jsme dal raid5 na 2 disky ;-)) ano 2 disky jsou minimum na raid5 - datove + 1 paritni (btw dedikovany paritni je raid4 - ale to je jedno, distribuovana parita, rozumime si) --- a proc jsme to tak udelal, protoze jsme potreboval nutne NAS a vedel jsem, ze vesi kapacitu budu potrebovat az za rok a disky na cene klesaly, tak jsme pak jen prikoupil disk a nemusel konvertovat, dal jsme jen expandovat stavajici 2 diksovy raid5 o 1 disk a nemusel jsme u toho konvertovat mirror na raid5 - i kdyz efektivne to mirror byl, ale vnitrni logikou nikoliv.
Pokud vam FS padne, tak zadny opravny nastroj vam nepomuze, typicky nasleduje obnova ze zalohy, nebo vyuziti data recovery sluzeb.
Delam obnovu dat (s uzkym zamerenim na multimedialni formaty a media z kamer), tak jsem mnoho (ne)hezkych pripadu, napr. kdyz zapis prepsal kousek adresare (buhvi proc, zda se ztratila adresa ve firmwaru, nebo preskocil v adrese bit kdekoliv mezi cpu a nand). Jak tohle chcete obnovit?? Na to zadny nastroj neni.
Prakticky kazdy fsck resi pouze soft chyby, ktere pochazi z preruseni prace jinak plne funkcniho setupu (vypadek napajeni / necekane odpojeni disku). Nedokaze to opravit wtf chyby, kdy premalujete nahodne sektory nahodnymi daty (at uz to udelate ex post, nebo to udela fs driver protoze se zblaznil).
Takze pokud z logiky provozu vyplyva, ze nemuze dojit k inkonzistenci (tj. kazdy jeden bod, mezi kazdym zapisem byt i jednotlivych sektoru znamena nedegradovany stav), tak fsck nepotrebujete.
Ze nedokazete opravit ZFS, protoze nemate fsck, je vymluva jako ze nejste milionar, protoze mate na uctu velke kulove. Tak to nefunguje.
Stejny pripad je, kdyz mi nekdo prinese FAT32 / ExFAT, ze to nejde - bud to nejde mountnout, nebo neco nejde cist. A to maj prece i Windowsy nejaky chkdsk.. jenze v pripade opravdove chyby vam takovy nastroj nepomuze, nebo dokonce zhorsi situaci.. a stejne to musim resit pak rucne, a pak mame data. Nejsem klikac jako vy, co ceka ze to za nej fsck vyresi.
Opravnej nastroj ti treba dohleda plonkovy nicemu neprideleny bloky, ktery ale zaroven nejsou oznaceny jako volny, tudiz s tim muzes nejak nalozit, nebo pouzit nejakou heuristiku nebo ... ale zbytek souboru bude normalne citelnych. Takze z ty zalohy mozna obnovis poskozeny soubory, ale nepotrebujes obnovovat vsechna data.
Coz je presne to, co dela fsck. Kterej navic umi overit, ze zadny takovy veci na disku nejsou, a tudiz je to z pohledu FS OK.
nikto sa nechce zaoberať nejakými náhodne neuvolnenými blokmi. Treba si naštudovať ako funguje ZFS, všetko sa zapíše na nové miesta a potom sa prepíše pole Uber blokov. keby niečo nevyšlo tak sa použije starší uber blok, niečo bude chýbať ale dáta budú konzistentné. Ak užívateľ chce pristúpiť k poškodenému súboru tak ZFS ho chce opraviť, ak to nejde tak vráti chybu, ale nikdy nie neplatné/náhodné dáta... aký zmysel má aby mi vrátil 8MB JPEG kde je niečo na začiatku poškodené... celý súbor je zle vykreslený aj keď mohlo byť poškodených len zopár bajtov, tam fsck nepomôže. jedine obnova zo zálohy tak si self healing ani neškrtol... a ešte tu máme pravidelný scrub dát, čo je prelezenie celého stromu a kontrola každého bajtu... opraví ak nájde chybu, ale netipuje, buď to vie matematicky odvodiť alebo nie. nechápem na čo by mi bol nástroj ktorý mi vráti že tu je nejakých 1000 súborov, kde sú nejaké dáta a bez mena... týmito vecami sme si už asi všetci prešli... zahraňovať dáta stojí X peňazí (bez garancie), ale kvalitná záloha len desatinu z toho... tak načo riskovať...
Jenze tohle dohledani nereferencovanych bloku muze fungovat na primitivnich FS jako jsou FAT/ExFAT (kde je seznam alokovanych bloku retezen), nebo na EXT2/3, kde je viceurovnova alokacni tabulka. U ExFAT nebo EXT3/4 mate jeste bitmapy, ktere muzou oznacit bloky jako nevolne, ale nesoulad je znova jenom problem nevhodneho vypnuti - zachranovat polorozepsana data se nikdy nedela (vyjma tech pripadu ktere resim ja - ze soubor je primarni/live nahravka v kamere). Uz od EXT4 se vam problem sezlozituje, ze tam nejsou chainy ale extents. U CoW systemu jako btrfs/zfs nic identickeho neexistuje - volne je defaultne vse, co se nereferencuje ze stromu.
Schvalne sem dejte nejake chybove hlasky, jak se vam zachovalo to rozbite ZFS - ze co byl duvod ze to cele neslo nahodit.
Ja jsem vziviote zadne data recovery slzueb nevyuzil, musela by to byt ta v D, co umi rozbertat plotny - nebo na SSD/SD co to odlesti a na kontakty pripji priostroj, data z poskozene NTFS, FAT, exfat umi ziskat snadno, jsou na to nastroje ... AHA a jsme kurna u toho ;-) super nastroj na obnovu je primo v linuxu https://www.cgsecurity.org/wiki/PhotoRec, nebo ontrack atd.
Jenze u serverovych OS a serverovych FS se mi tohle vzivote nestalo ... bud disk odesel uplne, coz me nikdy nezajimalo, ty se vymeni, spravoval jsme NetAppy co mely klide i 500 disku ... a co jako ... wafl - coz je FS netappu, ktery ZFS i BTRFS vykrada nikdy nepadl a nikdy jsme jej neopravoval, nastroje na to ma jen vendor a nejsou pristupne zakaznikum, ve sfere enterprise nepriada HW chyba, co by znicila data v uvahu, zdravim EMC a jejich shit hracky, co tolikrat droply data ;-))
Data nic hlavne windows a je to chyba tech windows ;-) - zadny zblazneny radic a podobne pohadky, to se moc nestava, vetsinou se takovy radic rovnou odporoucel, moderni RAID radice maji baterku, ECC ramku a vse si hlidaji i konsistenci zapisu - to se stavalo v davnych dobach, presto to neznicilo cely FS, ale jen par souboru ... btw. nejvice se nici SD karty, casto vadny HW a nebo nejaky fotak poskodi tabulku patritions nebo hlavicku FS ... tam je ale obnova snadna - pokud se karta nacte - pokud ne, tak sorry jako, tam uz se to musi napojit primo na flash chip a na to uz je treba mit specializovany HW - fotografove to resi 2 sloty a zapisem na 2 karty
Jenze u ZFS je jen vypadek ... hele bavime se o amaterskem FS, co je takova dojebana beta - v enterprise maji lidi NetAppy pokud potrebuji snapshoty, snap-clony atd, pokud chteji jen block device, maji FC diskove pole, vetsinou Hitachi, IBM, HPE, Purestore atd. a na nem nejaky skutecny OS ala Linux, Unixy a na naich poradne a overene FS, jako ext4, XFS - ten je hodne pouzivany a extremne jej doporucuje i RedHat ... firmy jako Meta si otestovali ZFS a zakazali jej pouzivat, pouzvaji BTRFS ... asi dospeli ke stejnemu zaveru jako ja a u nich na datech vubec nezalezi, nebot je maji tak 4x a vicekrat, takze kriticke selhani nodu resi nahrazenim jinym atd.
Joa k tomu ZFS - neopravis jej ani ty, nebot na ne nexistuji ani komercni nastroje ;-)) ... a u nich nesdolo k nejakemu brutalnimu poskozeni, proste me jen nekonzisteni posledni data presne to se k*** stalo nebo poskozeny jornal, co ja vim, je mi tio k* jednmo, jsme profik a chci profi FS, co tohle umi vyresit, at uz sam a nebo opravnymi nastroji ... opkauji vzivote jsme nevidel serverovy FS, co by jsme nedokazal opravit a to dokonce i takove, co byly poskozene vadnymi disky, coz se v enterpsise sfere vubec nedeje, tam vadny disk a poskzoeni dat nepripada v uavhu, to delalo pole huawei kdyz melo moc diksu a to pole o tom vedelo a volal se vzdy support - ale to nebylo enterprise ze ;-) ... u skutecnych diskovych poli maji vse chraneno soucty a disky vypadavai bezne, dole je vyradi, vezme si spare a rebuildi to ... bezn ejdou dnes 2-parity, 3-parity a diskove pole o stovkach diksu neni jeden raid6 raid-dp, raid-tp ... ale kupa raidu ... takze kdyz diksy vypadnou vhodne, muze naraz vypadnout i 10 disku ... no ale ne 3 disky ze stejne DP grupy (raid6) ... uz jsem zazil stare diskove pole, ktere se zrovna migrovalo, kde jsem menil disky 2x tydne
... tedy ciste ZFS a ze ztratil to, co mel v RAM a uz pak nedokazal ZFS nahodit ...
Tak to asi ne, vzdyt je to COW a takove mezistavy ze ram only.. je neco co tam ani nemuze nastat. Nejspis tam nekdo udelal nejakou podivnou konfiguracni zmenu - treba zapnul write cache a rezim potvrzeni dat, protoze mu to ZFS prislo pomaly... a ted ma co si zaslouzi, kdyz pak jednotlive disky z pole nebyly vypnuty synchronne, a nektere zapisy prosli, a jine nikoliv.
To je klasicky pripad nekompetence provozovatele / admina, ktery nezna nasledky sveho chytrolinstvi.
na diskovem polic IBM DS400 ? - to jako vazne COW se pos* muze, proste se to stava a nic s tim neudelas ;-) od toho je opravny nastroj, ten velmi snadno pozna nekonzistenci FS a opravi ji ... jo ale ZFS zadny nema ... tazke je na H* rikam to celou dobu, to ze se nemuze podelat COW FS si mysleli i vyvojari BTRFS ... a ejhle, zjistili ze vubec a ze ten natroj nutne potrebuji, zacalo to ze jej umel dat aspon RO a pak kopie dat jinam, ale to je dost na h*** treba ja mam dome pres 100TB - a nema dalsich 100TB ... kdyby se mi tak v praci pos** diskove pole co ma 1PB, tak by mi ten dalsi 1PB musel dat vendor ze ;-) ... no a tak dnes mame i na BTRFS nastroj, co jej umi opravit in-place jako kazdy slusny nastroj na opravu FS ;-)) ... a ano na BTRFS mam 2x (DUP) ten jeho index - metadata tomu rikaji, je to extremne doporucovane i na raidu - tedy pro BTRFS jen jedeno blokove zarizeni, u mirroru ma byt na kazdem disku, u vice mirroru nemusi, u raid5-6 pry musi byt taky na kazdem disku, dost se to rozpada, ale disky tomu to sam opravi - nevim, nepouzivam, vyvojari rikaji, ze je to beta, ale ze dnes uz to funguje s vypadky, ale o data neprijdu, no ja jsme rad, ze ma doma NAS, co funguje bez vypadku - hpe microserver imho ...
Firma Oracle dnes asi na ZFS nedava zaruku ze ? Jako ze mi treba dodaji HW, an nem ZFS, treba i se SOlarisem, ze jim budu platit a kdyz se to podela, tak mi to opravi a kdyz ne, tak mi zaplati ztratu ze ... ja si tak vzpominam, ze mi v jedne firme rikali, ze kdyz jim system resyncoval data asi 1/2 dne - a neprisli vubec o nic, tak ze za to platilo odskodne kolem 500k euro ... dava takove zaruky oracle na ZFS ? --- ja jen ze ten NetApp na Wafl ANO - jasne, nesmis pak dat netapp do debug modu bez potvrzeni NetAppu a plno ukonu musi delat bud on, nebo ti to musi schvalit - ale pak ti zaplati vesketer skody za to ze system bude offline - ano metro cluster je v takovych pripadech povinnost a nebo ze ztrati pole/nas data ...
Nesmysl. Kdyz 'FS padne', tak importuji zpool v ro a bez metadat, pripadne vyberu starsi dokoncenou relaci/snapshot. Pak uz pouziju nastroje co zfs ma k pretazeni dat na neposkozeny zpool, prejmenuji jej, remountnu, rozsirim pripadne o dalsi svazek/disk a prepisu cache. reboot, a system bezi na novych discich. Vim o cem mluvim, desktop jsem na UPS nemel, kdyz CEZ zacal laborovat se siti a opakovane v radech sekund az minut elektrinu zapinal a vypinal po dobu celych dvou hodin. Stacily dva takove rebooty a mel jsem duvod resit presne to co popisujete.
Mimochodem, tohle musi byt silena spuhra nahod, aby odesel jeden disk a doslo ke spatnemu zapisu, ze by neslo zpool otevrit (vcetne replay, defaults).
15. 1. 2025, 15:12 editováno autorem komentáře
Hezke, taky moznsot - ale nekdy nejde ani to ... ted treba mame takov skarede pole, nelibi se mi to, ze je to cely RACK, to je takovy oldscool, kdyz jem meli jeden NetApp treba na 5 racich - ano plne velkych schelfu, pak prisly 36TB SSD disky 2.5" razem jich nebylo 24 ve 4U ale 24 v 1U ;-)) no ale kdyby mi teda ten 1 rack krachl - tak kde dat dalsi rack, jako muzu nekam jinam v DC a nechat si natahnou 12x optiku - 12 portu mam jeste v FC - a slo by to nouzove redukovat i na 6xFC ... a ten 1PT bych nekolik dnu kopiroval .... myslim, ze dlasi takove diskove pole uz by jsme si nekoupili ;-)) ... rikas neco jineho, ale houby, skoro kazde pole ma dnes v sobe linux a vse je tam reseno SW i RAID, pak to tam ma nejaky svuj FS, nebo system ala LVM a exportuje to pak soubory co presnetuje jako LUN, kdyz je to NAS tak to ma i nejaky vsuj FS, nebo treba ne a ma to XFS ... jen NetApp ma vse svoje, jede na FreeBSD a ma svuj Wafl-FS - coz je super, volumy umi za behiu i zmensovat, aggregaty a raid grupy teda ne ;-) ty uz umi jen rozrisovat a pridavat tam veci - ubirat nelze, coz je logicke, ale NFS volumy zvetsuji a zmensuji dokonce dynamicky ;-)
Jake by to bylo krasne, kdyby ZFS rekl, ze je poskozen a ze mas pouzit ZFS_repair etc. pak ze tohle je slozistejsi a bud jako fsck.ext4 rekl i jak eprametry mas pouzit, ale to uz jen potesi, aspon by rekl na sem selhal a manual o tom nemlcel ze - hezky by to opravil a jedlo by se dala ... hele ja ani doma nemam 100TB navic vis ono to stoji 1200 euro ty disky - mam ted doma jako 3 nasy, 1 stary HPE microserver asi prodam ;-) levne - ale vazne se mi nechce davat neco RO, investovat 1.200e - par dnu kopirovat data - kdyz slusny FS to umi opravit primo v nem ... jo a to co rikas by asi neslo, on jim vsem zpool jako takovy nabehl, videl videl jsem v nem disk - nemeli raid, raid meli na poli ... ale nesel proste namontovat ani opravit ;-) - jo vsichni meli zalohy - hnihovna s LTO3 paskama .... a po tehle srande vsichni zakazali nasazovani ZFS v podniku - hele jim se libilo ze je to COW a ze to checkuje konsistenci, tak si mysleli, ze to bude lepsi ... a nevadilo jim ze to pomaleji zapisuje, oni hlavne cetli - ale takova obnova ze 14 pasek LTO proste trochu trva
Jo a vzdy to funguje ;-)
https://www.truenas.com/community/threads/recover-data-from-zfs-pool.114954/
zjevne nejsem sam ... v dobe kdy jsme to resil ja to podle me ani neslo, nebo na to nebyly navody ... ZFS byl na solarisu, freeBSD a opnesolarisu, mozna uz zacinal OpenZFS na linuxu - ten jsme testoval ja a neprsel mimi testy, neumel co jsme potreboval - tak jsem se o nej prestal zajimat, vyzkousel jsem si jej, pak jsme testoval BTRFS, treba jak se zpomalil na 1MB/s i kdyz mel volno v metadatech, neumel si je rozsirit - v te dobe nepomohlo nic, az nedokumnetovany parametr pri mountu, kdy sel rozsirit rucne, staci to udelat jednou s tim par. pak uz se nemuselo - taky sranda, pak do dali do dokumentace a nakonec to opravili, ze se to zvetsi samo - nketre pripady pry umely zvetsit metadata po scrub, nebo rebalance ... to je jedno, ted zu to bezi, jen jeden muj velky FS se montuje pres 1 min ;-) - zkousel jsme vsechny scany, opravy, checkovani a dle vyvojaru je to v poradku, nic spatneho neni tak jsme zvysil timeout pro systemd-moun ... on totiz po asi 30 sec, nebo po 1 min vytimeoutuje a rekne opravi si to, nemamountoval jsme FS ;-)) ... strasna sranda - mam deduplikovane soubory i kompresi level 1
Jo a tady taky resi, ze import nejde a je treba obnovovat ... no skvely subsystemem to je ;-)
https://openzfs.github.io/openzfs-docs/msg/ZFS-8000-8A/
Ja jim to rikal, uz me poslechli s tim, ze umi rozsirovat RAID dalsi disky ... btw sw_raiod umi i konverst ... ale pssst ... a treba jednou udelaji i opravne nastroje ;-)
Stále píšete víceméně to samé pod většinou článků o ZFS zde. Máte tedy nějaké konkrétní údaje, který by pomohly při hledání chyby?
Už několikrát jsem Vás upozorňoval, že tohle poměrně nekonkrétní – a teď se prosím nezlobte – plácání nikomu nepomůže. Třeba to je pravda, třeba to ani není chyba ZFS, ale to se nikdy nedozvíme, když k tomu nebude víc dat.
Ano, nepouzivat jej a prejit na BTRFS a SW raid - zcela snadne reseni. A vzhledem k tomu, ze lidi oz ZFS problemy nezajimaji a nikdy nezjimali a az po dlouhych tech uznali ze mam pravdu ... ano logicky, oni jsou amateri ve storage a ja profesional, prtoo jem navrhoval ve foru nove funkce, ktere mi tam chybi - kdyz zjistili, ze mi lozu do oci a ze tomu rozumim lepe nez oni, neuneslo to jejich ego - coz je jejich problem ne muj, ja svoje data nehodlam riskovat - ja jen varuji kazdeho, kdo tuhle betaverzi od naprostych amateru, co se ani nezamysli nad dobrymi radami lidi z oboru vazne nehodlam opravovat a uz jim ani nic nepisi, je mi to JEDNO - lidi od BTRFS jsou naprosto OK s temi jsme se bavil a je to jiny level.
konec koncu jak moc musi byt clovek idiot, kdyz mu reknu, ze musi mit opravne nastroje, oni reknou ze nemsi a za 5 let nato priznaji, ze se teda ZFS muze podelat a ze se to stava bezne a lidi jsou nas* a oni presto zadne opravne nastroje nehodlaji vyvijet a delat ? - vazne by jste si takovy storage koupil ? - kdyby mi tohle delal bezne NetApp tak jde z firmy.
Cili ne, presvedcujte si je sami, ja uvazoval o nasazeni ZFS, nelibilo se mi moc veci, napr. i stupidni deduplikace, kdy vyzaduje RAM - LOL, to by mi NetApp s par PT asi slad co ? - vsichni vcetne BTRFS to delaji jina, nekdo treba jen na SSD discich, na spindle jen spustenou ulohou - ale je mnoho reseni a ted na to prislo ;-)
To mate jako Fujifilm mam profi kameru, stredni format a fuji se nas profiku zeptalo, na zpetnou odezvu, tak jsme jim zkrtizoval, ze nami svtelena skla a jake bych chtel, ze nemuzou mit skla o svetlenosti z velkeho medium formatu, kdyz tohle neni 6x7 cm ale crop cropu, ze je treba torchu jiny pristup - ale to jsou japonci ze, ti jsou za zpetnou opdezvu radfi, podekuji a zamysli se - a ehle jedno ze skel ktere jsem chtel vyrobili - jasne ze ne sam, preci nejsme nejchytrejsi na svete, jen vite profik netappista nebude ztracet cas, aby psal neco do konference ZFS, uzije si svuj plat a venuje se enterprise a ne nejake hracce ... no a lidi co foti na me urovni tez vedi co chteji a potrebuji - to sklo 80/1.7 se imho stala jejeich nejprodavnejsim sklem, neudelali mi moje druhe doporuceni neco kolme 40mm/1.7 - treba na to jednou dojde, ted udelali jine sklo, logicky maji pravdu, nebot ohnisko je uhlopricka snimace, takove skla se povazuji za zakladni na dany snimac .... Fuji dokonce udelalo apku, kde muzu posilat fuji, statsitiky o zuiti skle a nastaveni fotaku - at vedi - nemusm, muzu - no a to ze ekvivalent 35mm/1.x bude hyt vim proto, ze jsme na to fotil vetsinu fotrk na FF a stejne tak vertsina profiku sahla po sigma art 35/1.4mm - jejich asi nejprodavanejsi sklo -- dlasi jen 135/1.8 - ale tu na GFX pouzivam z FF a tak ji od fuji nepotrebuji - no a tez vyslechli prani lidi, co foti divoke zvirata a udelali jim poradne pevne sklo se super stabilizaci - to je sakra ten rozdil, bud je firma profi a vi co lidi chteji, nebot na to ma data, nebo se zeptaji, popr. zbiraji zpetnou vazbu a zamysli se, zda na tom neni neco pravdy - kor kdyz se bavi s nekym, kdo se enterprise storage zivi ;-)) ja jsme jim poradil, co s tim udelaji je jejich vec, podle me ZFS nebude dobre fungovat nikdy a BTRFS jej nakonec predbehne ve vsem - takze pouzivam BTRFS a hlasim chyby tam - teda hlasil jsem, ted zadne nemam - veci co potrebuji tam zapracovali.
BTW tez jsem daval navrhy do jinych SW, treba Drasktable, ja to napsal, nekdo se nad tim zamyslel a nektere veci zaimplementovali, ze je to super, kdyz potrebovali specificke RAWy, tak jsem jim je poslal etc. a pomohl tak zlepsit SW co pouzivam a vubec by mi nevadlo, kdyby treba rekli ne to neni potreba, oni to tam nechali, vyjadrilo se vice lidi, ze je to dobry napad, ze jim to chybi taky a bylo to ;-) --- ty brdo u ZFS jsem pozadoval jen uplne zaklady co pouzivam denne ... ja jsme pragmatik, ne fanda ;-) menim znacky kde ceho, pokud mi to dava smysl, SW to same ;-)
Umím si představit, že jste naštvaný, protože kdybyste rezignoval, tak už se nevypisujete. Ale ty „braindumpy“ se opravdu nečtou dobře a začínat příspěvek něčím, co by kde kdo chápal jako útok, či arogantní vystupování taky není nejlepší a to klidně můžete mít věcně pravdu.
Je to jen dohad, ale vypadá to totiž, že čí ego něco neuneslo je hlavně to Vaše. Však nemusíte někomu pochlebovat, ale nejdřív zjistit, jestli protistranu Váš feedback zajímá je docela dobrý začátek. Může se stát, že vůbec nešlo tolik o fakta jako o způsob, kterým jste podněty předal, že jim nebylo vyhověno.