Vlákno názorů k článku Souborový systém ZFS: přechod a běžná práce s daty od zz_indigo - Už konečne vyriešili problem keď je volných uz...

  • 5. 11. 2026 10:20

    Michal Šmucr
    Stříbrný podporovatel

    To se mi nějak nezdá, spíš mi to přijde, že tam u vás musel být souběh s nějakým jiným problémem.
    Protože pokud je všechno ostatní v pořádku, dostanete se maximálně do fáze, že už nemůžete zapisovat žádná další data a ne že by se začaly samovolně mrvit nějaké struktury fs.
    A samozřejmě ano, pokud nějaký fs delší dobu provozujete s nedostatkem volného místa, tak se to přirozeně projeví na výkonu, fragmentaci. U těchhle složitějších fs s CoW, snapshoty atd. to pak může být ještě citelnější. A pokud ho naplníte úplně po hrdlo (což ale zdaleka neodpovídá těm 20%, které zmiňujete), může za určitých okolností nastat hlava 22 situace, což ale opět neznamená ztrátu dat.

    Teď přímo k tomu ZFS, zpool po vytvoření počítá s takzvaným slop space, což je ve výchozím stavu 1/32 kapacity (s maximem 128 GiB a nastavitelné přes parametr modulu - spa_slop_shift).
    https://openzfs.github.io/openzfs-docs/Performance%20and%20Tuning/Module%20Parameters.html#spa-slop-shift
    To je vyhrazená část právě primárně na to, aby se daly dokončit operace s metadaty, pokud už došlo standardní místo. Je to víceméně ten rozdíl kapacity, co vidíte při zpool list (free) a zfs list (available).
    Další obecný aspekt, co je třeba mít na paměti, je to, že pokud mažu soubory (tzn. i když je zpool plný a potřebuju uvolnit místo), tak musím dát logicky pozor, aby nebyly součástí jiných snapshotů a také, že se místo neuvolňuje okamžitě, ale asynchronně přes workery na pozadí.

    Stran té praktické degradace výkonu, respektive nějakého prahu volného místa, kdy se se to začne chovat jinak z hlediska alokace. Většinou se jako bezproblémové "pravidlo" zmiňuje držet se do 90 % použitelné kapacity. Je to zjednodušená celková cifra kvůli tomu, že se při alokaci používají tzv. metaslaby, aby se zlepšila škálovatelnost. Pokud daný metaslab má míň než 4 % volného místa, alokátor pak použije jinou (pomalejší strategii). Takže nejde jen o to kolik celkově mám volného místa, ale i kam přesně zapisuji.
    https://openzfs.github.io/openzfs-docs/Performance%20and%20Tuning/Workload%20Tuning.html#metaslab-allocator

    Takže mechanismy, které by měly bránit problémům, v ZFS jsou. Osobně jsem s poškozením nebo ztrátou dat v důsledku nedostatku volného místa problémy (neřkuli s těmi 20%, co zimňujete) nikdy neměl. Přičemž se bavíme o dlouhodobé zkušenosti s nejrůznějšími použitími (byť tedy převážně na FreeBSD a předtím i Illumosu) i velikostmi zpoolů.. včetně různých DIY NASů od kamarádů, co se k nim nechovali úplně "hezky" a mělo to fakt daleko k best practices :). A několikrát během let jsem i tyhle specifické situace zkoušel.

  • 5. 11. 2026 14:35

    zz_indigo

    No zdať sa vám to nemusí. Ale ja som to zažil.

    - Opensolaris ako storage server tam je to natívne. - Strata dat alebo len konexie. Pomale ako keby tie dáta boli na USB kľúčiku.
    - Linux (myslím Ubuntu) - Pomalosť a strata konexie.
    - IBM SPP Vsnap - Strata časti dat. Musel som to zmazať a vytvoriť prázdne. A tam som vedel pridať kapacitu hneď ako to vyskočilo. (Ale obrovsky balík dat tak bolo neskoro)

    Všade rovnaký problem. Kým som dostal navýšenú kapacitu prehuplo sa to cez 20% a v prípade IBM SPP Vsnap cez 10% volného.

  • 7. 11. 2026 7:58

    zz_indigo

    IBM SPP Vsanp server lento rok. verzia 10.1.18.

    Keďže je to úložisko na backup tam ten nárast bol extrémne rýchli. z bezpečných 20%% free to za víkend vyletelo na 7% a koniec. Postavilo a začalo sa zálohovať nove prostredie.

    Linux to bolo tak cca 4 roky dozadu. Open solaris ešte dávnejšie..

  • 6. 11. 2026 11:31

    Michal Šmucr
    Stříbrný podporovatel

    O.K. já nerozporuju, že s tím máte špatnou zkušenost. Rozhodně to má nárok na to, aby se to v určitý moment zpomalilo a technicky dává smysl, proč se to děje. Fragmentace volného místa v metaslabech, daleko vyšší vytížení CPU při alokaci, špatná lokalita - nekontinuální uložená data.
    A ano samozřejmě kolik toho případného zpomalení vaše použití snese je další věc. Stejně jako bude záležet na nastavení celého systému. V tom ohledu, že to zpomalení bude daleko drastičtější dopad, pokud budu mít třeba často se přepisující soubory nebo zvoly s malými bloky, snapshoty a ještě to bude např. na nějakém vdevu s točivými disky a raidz (od počátku nicmoc IOPSy).. tam bych si na dostatek volného místa dal extra pozor. Oproti tomu pak v případě, že to bude víceméně bulk storage, data se nebudou moc měnit, tak to snese mnohem míň volného místa, aniž by se to zásadně projevilo (ozkoušeno poměrně mnohokrát, zmíněné různé DIY nasy, co jsem dával do kupy).
    V ZFS pak (minimálně ve těch verzích za posledních x let zpět) máte poměrně hodně nástrojů, jak tohle analyzovat (zdb, sysctl OID na FreeBSD nebo procfs položky na Linuxu, DTrace a perf pokud chcete jít úplně do detailu a zkoumat kolik času ZFS tráví v jednotlivých úkonech, abyste třeba odseparoval samotná bloková zařízení a CPU).
    Plus jak už jsem zmiňoval předtím, zpomalení je problém víceméně všech fs.. zvlášť těch složitějších Btrfs nevyjímaje (tam používám také leckde tvrdé kvóty).

    "strata konexie" upřímně nevím, co si pod tím představit - jakože to mělo tak dlouhé odezvy, že vypršely nějaké timeouty v aplik. vrstvách nad fs?

    Ale prostě moc nemá logiku, proč byste měl v tu chvíli přijít o data pokud zaberete 80 nebo 90 % kapacity poolu.
    Ano mohl to být i nějaký bug v konkrétní verzi, ale to je s tím výčtem, co jste psal, docela nepravděpodobné.
    OpenSolaris už jsem minul (co to Oracle zařízl, pak už byl Illumos, kde to stejně konvergovalo ke společnému OpenZFS) a IBP Vsnap jen vím, že existuje jako nějaká alternativa Veemu. Ale už tím, že je to sw s podporou, v podstatě sw appliance od IBM s přednastaveným ZFS, tak bych v případě takového fatálu tohle rozhodně s nimi řešil a chtěl se dobrat detailního rozboru chyby.
    Stejně tak, kdyby se mi to třeba stalo na FreeBSD, asi bych asi také pátral, chtěl to zdebugovat a nebral to jen jako "shit happens". I v té komunitě okolo se pohybuje dost lidí z Klary, iX Systems, OpenZFS.. co by tyhle fatální situace měly zajímat a mohli být nápomocní.
    Totiž ať už tam muže být zmíněné zpomalení, tak nepřipojení fs nebo ztráta dat je úplně jiný level problému. Nedokážu si představit, že fs, který je mnoho let výchozí na všech FreeBSD instalacích, existuje bambilion instalací s Oracle appliancemi, TrueNASy, Proxmoxem (oboje může mít placenou podporu a SLA), QNAP QuTS, takb bude mít problém v duchu:
    víc než x % zabraného místa -> ztráta dat, fajn kluci jdeme od toho.. to se tak prostě stává.

  • 7. 11. 2026 7:46

    czpepik

    Jen pro doplnění:
    V posledním OpenSolarisu opravdu byl problém se zaplněním fs přes 80%.
    Nedocházelo ke ztrátě dat, ale fs se téměř zastavil.
    Oracle to později opravil, nebyla to jednoduchá oprava. Ale tento fix se už do OpenZFS nedostal.

  • 7. 11. 2026 10:21

    Michal Šmucr
    Stříbrný podporovatel

    Díky za doplnění, tohle jsem nevěděl..
    Se Solarisem jsem se už po uzavření kódu prakticky nesetkal, ale teď jsem to zkoušel dohledávat - musel jsem do blogu z r. 2015
    https://web.archive.org/web/20210411183233/https://blogs.oracle.com/roch/block-picking
    To potvrzuje, co jste psal. Není to jednotlivý fix, ale jak to chápu, tak docela razantně překopali ten alokátor, který už nepřepíná dvě strategie (first fit, best fit) na bázi celkového volného místa v metaslabu. Tzn. není tam ten fixní práh (70% historicky před 2010 a pak 4%) a jinak to pracuje s vážením těch vhodných metaslabů.
    Nicméně byť tahle úprava z proprietárního Solarisu už není v OpenZFS, tak se nedá říct, že by tohle vůbec neřešili. Pamatuju si historicky (2018-19) pár pull-requestů i od Matthewa Ahrense nebo ze SmartOS, které řešili právě ty kritické propady výkonu a nějaké patologické situace, co mohly nastat v metaslab alokátoru když docházelo místo. Teď jsem to nehledal znovu, ale od té doby budou součástí OpenZFS (minimálně od dvojkové verze).