Jak je to s defragmentací na Linuxu?

Jistě, alokátor bude počítat s tím, že soubor bude mít více než jeden blok. V případě NTFS nejprve vyhradí místo v MFT, po zvětšení souboru alokuje několik bloků, atd. Ale přesto bude fragmentace vyšší, než když alokujete rovnou 20MB, protože jak sám píšete: "opakovaným připisováním dat k souboru se zapisuje za poslední data - dokud je to možné". Když to možné není, dojde na další fragment, a až nebude místo tam, situace se bude opakovat. Naopak pokud na začátku vytvoříte 20MB soubor, bude s daleko vyšší pravděpodobností uložen souvisle.

Alokátor NTFS je popsán v MS KB article 841551.

Pan LO by s vámi nesouhlasil, neboť neexistuje oficiální důvěryhodný zdroj takového tvrzení :-P

No to bych samozřejmě nesouhlasil, z důvodů které jsem popsal výše. A řekl bych, že jsou to zatraceně dobré důvody :)

Přesně tak. Typicky ftp download, soubory o velikosti desítky MB se fragmentují na stovky až tisíce kousků. I v případě, že je na filesystému několik souvislých oblastí velikosti řádově GB.

Zkoušel jsem pomocí dvou instancí ftp.exe, dva soubory po 14MB, oba stahované najednou. Opět bez fragmentace. V čem to asi bude? ;)

To asi tak trochu kecáte. Windows Explorer (a obecně Windows API) totiž při kopírování nejprve alokuje soubor cílové velikosti, a pak teprve do něj zapisuje.

Ostatně jsem to právě zkusil. Jeden soubor 2.7GB, druhý 1.4GB, oba kopírovány najednou. Výsledek? Oba jsou bez fragmentace, "měřeno" pomocí contig -a.

To by mě opravdu zajímalo, jestli to ti pánové zkoušeli, nebo si to vycucali z prstu. V prvním případě by jistě dali vědět své poznatky.

Ono je něco jiného mít 1GB soubor v 10 fragmentech, a něco jiného 10MB soubor v 1000 fragmentech. To první vás opravdu netrápí. Nakonec proto defrag ve Vistě by default defragmentuje jen fragmenty menší než 64MB.

Ale samozřejmě, že to tak je a NTFS je moderní FS, ale pouze v případě, že se nemluví o fragmentaci :D Jinak jsou samozřejmě windows lepší než linux, neboť poskytují defragmentovací API, které je ovšem úplně na houby, protože NTFS je moderní FS a s fragmentací nemá problémy :-P

To chce nějaký seriózní test, který se zabývá fragmentací různých FS. Já takový nenašel.

Máte nějaké podklady k tvrzení, že ext3 fragmentuje méně než NTFS?

Nejsem zadny fanda extX ale co se tyce NTFS tak je proste znamy fakt ze se fragmentuje jako prase a to proste neokecate. I winXP samotne maji ruzne berlicky, pousti defrag semo tamo samy o sobe, adobe reader se defragmentuje rovnou v ramci nejake optimalizace a jak ste rikal je tam i dost dobre propracovane defrag API, takze tento problem se ve win aktivne resi a to proste proto ze existuje.

A pokud do toho hodite hlasku, ze vlastne XP uz je stare a ted se to po novu resi lepe a radostneji, tak to Vam nesnim, protoze to uz se o windows tvrdi asi 10 let, zatimco ext2, XFS a dalsi jsou tu stale v nezmenene podobe.

Z moji praxe: mam tu dva filesystemy na ext3 a jeden na NTFS, ty ext3 pouzivam denne a delam tam psi kusy jelikoz mam "distribuci" LFS plus spoustu fotek a castym jevem je 80-90% full a nekolikrat jsem uz byl i na 100% a honem neco mazal. Jeden system hlasi 2.1% frag, a druhy 5.1%. Ten NTFS mam na to, ze si tam jednou za uhersky rok nainstaluju hru z dvd na poloprazdny disk a zahraju -- a hadejte co, uz nekolikrat jsem to defragoval, pokazde to bylo fragmentovano asi 30%. Plus k tomu pripoctete moje zkusenosti s XFS, kde mam fragmentaci <1% permanentne (a ty disky taky zazivaji velky zahul). Takze se nezlobte, ale neco na tom bude.

S temi windows NT jste to pekne odsunul do outu -- mam na mysli znamou skutecnost, ze ve verzi NT 4 neexistoval defrag.exe a pak ho tam s ocasem stazenym museli dodat -- takze zrejme to vetsina "rozumnych uzivatelu" potrebovala.

Kdy/jak/proč pouští WinXP defrag samy od sebe? Kdy/jak/proč pouští Adobe Reader defrag? Ani o jednom nic nevím.

XP jsou samozřejmě staré, to je prostě fakt. Defrag ve Vistě má oproti XP low prioritu I/O operací, takže uživatele nezpomaluje. Navíc nemá progress bar, protože vývojáři došli k názoru, že byl stejně tak nelineární, že neměl smysl.

Usuzujete z existence defrag API ve Windows, že NTFS fragmentuje více, než ext3? To je trochu zcestná dedukce, ne? XFS také umí defrag, dokonce online (jak jsem se dnes dozvěděl). Znamená to, že když XFS obsahuje defrag API, tak také "fragmentuje jako prase"?

Zkuste si pustit defrag utility pro Windows od tří různých výrobců, a napište nám, jaké číslo popisující fragmentaci vám vrátí. Ono se to číslo vyjadřující fragmentaci totiž blbě počítá, a u každého produktu vyjadřuje něco jiného. Zvláště u těch komerčních je třeba na začátku ukázat velmi vysokou hodnotu, a na konci velmi nízkou, aby zákazník viděl, že za svoje peníze dostává opravdu kvalitu :). Podobně každý program na odstraňování spywaru musí odstranit pár "kritických" tracking cookies, abyste věděl, že vaše investice byla oprávněná.

Pokud chcete posuzovat fragmentaci FS, tak si ne tím způsobem, že budete porovnávat nějaká čísla, která si utility vycucaly blíže neurčeným způsobem z prstu, navíc na strojích, které mají naprosto odlišný volume and type of workload. Je to hrozně jenoduché. Máte k dispozici nějaký seriózní zdroj, který by se vyjadřoval k fragmentaci NTFS a extX, nebo ne?

V NT 4.0 byla pouze podpora defrag API, nikoliv vlastní utilita. Ta byla zdarma ke stažení od Executive Software. Nevím, proč z toho soudíte, že vetsina "rozumnych uzivatelu" potrebovala defrag. Já bych spíš řekl, že ho většina "rozumnych uzivatelu" potřebuje dnes na Linuxu, ale nemají ho (resp. v lepším případě mají s obtížemi). Viz též druhý odstavec, "proč tedy XFS má online defrag".

Nebraň se tomu, prostě přiznej, že ty tvoje widle jsou tak akorát veliký pompézní zajíc v pytli a bude to fajné.
Kolik ti platěj za tenhle job? :)

Pak ještě vypálit cigaretou oči fotografii Steve Ballmera, koupit přítelkyni tanga s Tuxem, a budu plnoprávný člen komunity? :)

ne, budeš plnoprávný flameař komunity:)

Kdy/jak/proč pouští WinXP defrag samy od sebe?

http://www.extremetech.com/article2/0,1697,1786009,00.asp

After your computer has been idle for some time between 5 and 30 minutes, the system will read the prefetcher's boot data and start the defrag. The system defrag is run in the background and is invisible to the user. Eventually, if you leave your computer on long enough, it will be defragment the boot files.

Kdy/jak/proč pouští Adobe Reader defrag?

Tahle vec asi neni moc znama, ale pokud si stahnete deployment utilitu pro masove instalovani AR, tak to tam lze vypnout. Uryvek z manualu:

8. 1. Organization

Installation Options Use this pane to configure the following information:

[...]

• Specify whether to enable or disable certain behaviors of the installed application on users’ computers: whether Adobe Acrobat will be the default PDF document viewer, whether to remove previous Adobe Acrobat versions, whether to run the optimization (defragmentation) utility, and whether installer files will be cached on the local hard disk.

(Je mozny ze to neni vec AR ale MSI, ale pak tim hur.)

Dale jsem nasel toto na technetu:

• Defragment volumes after installing software or after performing an upgrade or clean install of Windows. Volumes often become fragmented after installing software, so running Disk Defragmenter helps to ensure the best file system performance.

Defrag ve Vistě má oproti XP low prioritu I/O operací, takže uživatele nezpomaluje. Navíc nemá progress bar, protože vývojáři došli k názoru, že byl stejně tak nelineární, že neměl smysl.

Copak v XP neslo nastavit low priorita? A i kdyby byla sebelow, tak bude porad opruzovat. Navic si protirecite -- proc tohle vsechno resit, kdyz se NTFS podle vas nefragmentuje? A pripadne jednou za uhersky rok si to pustim klidne na high priorite, at to je rychle.

Znamená to, že když XFS obsahuje defrag API, tak také "fragmentuje jako prase"?

Ne, to jen znamena ze existuje defrag utilita standardne dodavana k XFS. Jak si muzete precist, je jen jedna, funguje, nema zadne progres bary, nemusela byt kazdou chvili predelavana, optimalizovana, aby nerusila uzivatele, nemuselo se s ni nic delat. A to nejspis proto, ze ji pustite jen v krajnim pripade -- abyste nemusel delat dump/restore. Jinak ji nepotrebujete.

Zkuste si pustit defrag utility pro Windows od tří různých výrobců, a napište nám, jaké číslo popisující fragmentaci vám vrátí.

Na druhou stranu jak vidim tak defragmentace NTFS je celkem vynasejici byznys. Utility jsou rovnou od tri vyrobcu a kazda udava jine cifry. Vite co? Mne to nezajima. TA JEDNA utilita ktera je dodavana STANDARDNE by mela fungovat (asi nefunguje kdyz propagujete alternativni utility), zobrazovat spravne cifry, a podle Vas bych ji nemel never ever potrebovat. Kolik to ukazuje Vam?

strojích, které mají naprosto odlišný volume and type of workload

Ano, porovnal jsem minimalni zatez na NTFS, versus velkou zatez na extX a XFS. To je podle Vas nefer vuci NTFS.

Máte k dispozici nějaký seriózní zdroj, který by se vyjadřoval k fragmentaci NTFS a extX, nebo ne?

Ne, cestne prohlaseni od MS nemam. MS se zabyva pouze "vylepsenim" proti FAT, a unixove zdroje dementuji NTFS automaticky jako fragmentujici se. Muzete byt prvni, kdo tento mytus vyvrati. Pak Vam zatleskam a uznam ze mate pravdu. V opacnem pripade mate smulu, je dost dukazu proti. :-)

PS. jeste jedna perlicka. Disk nikdy nebyl defragmentovan (je to uz par let) a nikdy nebyl vic nez 50% plny. System je NTFS. OS Win 2000 server. Copak, zobrazuje to spatny cisla? Ve vistach to uz ukazuje neco jineho? Nebo si mam nekde koupit super-program-odhal-mi-pravdu-a-spravna-cisla-o-fragmentaci-PRO?

Mounted at: Z:\
    Volume size                                = 195 GB
    Cluster size                               = 4 KB
    Used space                                 = 61,919 MB
    Free space                                 = 134 GB
    Percent free space                         = 69 %

Volume fragmentation
    Total fragmentation                        = 45 %
    File fragmentation                         = 91 %
    Free space fragmentation                   = 0 %

File fragmentation
    Total files                                = 60,247
    Average file size                          = 1,275 KB
    Total fragmented files                     = 1,772
    Total excess fragments                     = 71,896
    Average fragments per file                 = 2.19

Pagefile fragmentation
    Pagefile size                              = 0 bytes
    Total fragments                            = 0

Directory fragmentation
    Total directories                          = 6,658
    Fragmented directories                     = 417
    Excess directory fragments                 = 2,243

Master File Table (MFT) fragmentation
    Total MFT size                             = 412 MB
    MFT record count                           = 67,263
    Percent MFT in use                         = 15 %
    Total MFT fragments                        = 2

To není defrag, Extremetech kecá. Je to file placement optimization. Na základě sesbíraných logů startování systému se setřídí soubory tak, aby byly na disku uloženy ve správném pořadí. Tím se minimalizuje seekování při bootu, a díky tomu XP poměrně rychle bootují. S defragmentací FS to nemá nic společného.
http://technet.microsoft.com/en-us/library/bb457057.aspx
http://www.google.cz/search?hl=en&safe=off&q=file+placement+optimization+xp+site%3Amicrosoft.com

Defragmentace při instalaci Adobe Readeru mě poněkud překvapuje. Ten dokument jsem našel, ale je otázkou, o jaké defragmentaci (čeho) to vlastně mluví. Mohu zcela jistě prohlásit, že nejde o defragmentaci disku běžným způsobem, protože ta na většině strojů trvá desítky minut a déle, a nelze jí přehlídnout.

Samozřejmě setup je dnes dynamická bestie, a zapisuje soubory paralelně. Pokud instalujete pár set MB souborů různých velikostí, s paralelním zápisem, nedej bože s typickým downloadovaným balíčkem (150MB .exe, spustíte, rozbalí se do 100 souborů, následný setup jich nainstaluje pár tisíc až desítek tisíc, a nakonec smažete ty soubory z fáze 0 a 1), může být defrag celkem dobrý nápad. To ovšem platí u každého systému.

XP nemají prioritizaci I/O operací. Můžete nastavit nízkou prioritu procesu, ale to nijak neřeší prioritu I/O. Proces s nízkou prioritou v pohodě vygeneruje tolik I/O, že si uživatel může dojít na kafe, a pak na další, dokud to vydrží :). Samozřejmě když máte řízení priority I/O operací, nemusí uživatel nic poznat, tedy vyjma toho, že vrčí disk.

Aha, takže když má defrag utilitu XFS, tak je to jen taková věc, co vlastně nikdo nepotřebuje (pánové z SGI ji asi dělali, protože se nudili, a protože jí nikdo nepotřebuje). Naopak když mají defrag Windows, je to proto, že NTFS hrozně moc fragmentuje, což sice nemůžete podložit žádným argumentem či hodnověrným testem, ale prostě to tak nějak cítíte...

S tím hodnověrným zdrojem, dokládajícím tendenci NTFS k fragmentaci ve srovnání s jinými FS, je to opravdu těžké. "Unixové zdroje" jsou plné technických nesmyslů, zvláště pokud jsou to zprávičky na rootu, nebo nedej bože zdejší diskuze. Prostě nic nemáte, smůla.

Defrag pro Windows je samozřejmě k dispozici od různých výrobců. Některé kousky nemají omezení, které měla příslušná verze Windows (třeba něco defragmentují pomocí manipulace s interními strukturami NTFS, a po SP nebo v nové verzi Windows vám z FS udělají kůlničku na dříví :)), nebo mají lepší algoritmus optimalizace přesunů atp. V současné době je to ale mrtvý trh. Jediný silnější hráč byla firma Executive Software, která měla od MS dočasně zajištěné místo na trhu (podobně jako Citrix vždy umí o kousek víc, než Terminal Services, aby přátelské firmy měly co jíst).

K těm číslům ještě jednou. Každá defrag utilita může vracet jiné hodnoty. Některé vracejí procento souborů, které jsou nesouvislé. Další vracejí procento bloků, které pokračují jinde než následujícím blokem. Další do toho zamíchají fragmentaci volného místa. Jinými slovy: pokud vám nějaká utilita řekne "fragmentace je X%", tak to nelze srovávat s výsledkem jiných utilit. Je to už jasné? A co to píše mě ve Vistě? Fragmentace je prý "0%" :)

Report, který sem dáváte, je celkem v pohodě. Zvláště pokud používáte System Restore, nebo komprimované soubory (obojí je standardně na system drive). NTFS provádí online kompresi na úrovni tuším 16 bloků, takže když těch 16 bloků stáhne třeba na 6 bloků, máte na disku 10 bloků díru, což pochopitelně zvyšuje fragmentaci. Opět vás to nemusí nijak trápit, protože komprese se týká typicky System Restore, odinstalačních dat apod.

No, myslím, že jsem demonstroval, že problematika je poměrně složitá, že nemáte k dispozici data, a že vaše představy byly silně zkreslené.

No, te demonstraci jste moc nedal.

Aha, takže když má defrag utilitu XFS ... na NTFS je kolem toho takovy humbuk, dokonce i sam MS radi defragmentovat po (de)instalaci SW (!) zatimco na XFS et al to nikdo neresi. Takze ano, skutecne, "je to jen taková věc, co vlastně nikdo nepotřebuje" a "NTFS hrozně moc fragmentuje, což sice nemůžete podložit žádným argumentem či hodnověrným testem, ale prostě to tak nějak cítíte..." -- ano presne tak, citim to z toho co vsude ctu, vy take nemate hodnoverne argumenty a testy, takze jsme nejspis v patu. Na XFS/extX nedefragmentuju ani kdyz "rozbalí se do 100 souborů, následný setup jich nainstaluje pár tisíc až desítek tisíc, a nakonec smažete ty soubory z fáze 0 a 1". A ani mi to nikdo nedoporucuje.

Mohu zcela jistě prohlásit, že nejde o defragmentaci disku běžným způsobem

Ja si myslim, ze se jedna o defragmentaci nekolika malo nainstalovanych souboru o kterych vyrobce tusi, ze se budou casto cist.

"Unixové zdroje" nejsou mistni, ale poctive jsem prolezl hodne stranek. Ja tvrdim, ze kdyz hodne "nehodnovernych" zdroju tvrdi totez, tak na tom neco bude. Vy tvrdite, ze ne. Tak to je tezky. Mimochodem je dost dobre mozne, ze hodnoverny zdroj ani neexistuje. Ruzne firmy delaji ruzne statistiky a porovnani vykonu a kolikrat si vysledek pak priohnou tim spravnym smerem.

Report, který sem dáváte, je celkem v pohodě. Zvláště pokud používáte System Restore, nebo komprimované soubory (obojí je standardně na system drive).

Na windows 2000 system restore neexistuje, komprimovane soubory nepouzivam, a Z: rozhodne neni system drive.

No, myslím, že jsem demonstroval, že problematika je poměrně složitá, že nemáte k dispozici data, a že vaše představy byly silně zkreslené.

Demonstroval jste prvni vec, ne tu treti. U te druhe jsme se zatim nedohodli na vyznamu slova data.

Ohledně instalací a deinstalací je tu několik rozdílů. 1) defrag v takové situaci prospěje každému systému, 2) na unixech se příliš často neinstalují aplikace o stovkách MB, 3) na unixech ve spoustě případů neprobíhá zápis dekomprimovaných souborů paralelně, 3) Windows jsou typicky instalované na jednom disku, od binárek (které se nehýbou) až po temp a temporary internet files, včetně System Restore s jeho komprimovanými daty.

V případě Adobe to spíš vidím na nějaký problém pocházející z Macu. Adobe na svých stránkách v každém troubleshooting guide píše "repair and defragment hard disks". Všichni víme, že poškozený FS může působit řadu problémů. Ale fragmentovaný???

Jednotka Z: může být bývalý systémový drive, typicky pokud vrazíte starý systémový disk do nového počítače. Samozřejmě vaše Z: může být cokoliv.

Vrátil bych se k tomu "cítím to", a "kdyz hodne "nehodnovernych" zdroju tvrdi totez, tak na tom neco bude". Jistě sám víte, že oba tyto argumenty jsou zcela neplatné. Subjektivní hodnocení je na nic, a nevěrohodných zdrojů, které tvrdí, že Elvis žije, se dá také sehnat hromada.

na to aby ext alokator rozdelil 10MB do 1000 fragmentov by na disku muselo byt tolko miesta, ze vista by uzivatelovi odporucala restart ako jedine mozne riesenie problemu

Jak říkám, je to zřejmě otázka grafické reprezentace té fragmentace. Zajímavý je spíš seznam fragmentovaných souborů, které to vyhodí při analýze (nebo na konci fragmentace).

Windows XP i Windows 2003 jsou staré produkty, a jsou v nich již pouze opravovány chyby tykající se bezpečnosti nebo funkcionality. Z toho důvodu nahrazení defragu nepřipadá v úvahu. Ale na trhu je řada jiných nástrojů, které používají to samé API.

Jak říkám, v takovém případě je určující výpis výsledů analýzy, a výsledků defragmentace. Bez těchto výstupů je to diskuze o ničem.

Navíc algoritmus defragmentace nemusí směřovat vždy do stejného "totálně defragmentovaného" stavu.

"Swap file se totiž vytváří při instalaci, a jeho velikost je stálá."

Doporučuji se podívat na disk nějakou tou externí utilitou po 1/2 roce používání ;)

"A jaké že jiné non-movable objekty nelze defragmentovat?"

Z hlavy netuším, jen vím, že jsem se tím kdysi zabýval.

"A jak konkrétně to činí defragmentaci "na houby", a výsloedky "tristními"?"

Ne TO, ale defragmetaci všeobecně. Viz http://www.root.cz/zpravicky/jak-je-to-s-defragmentaci-na-linuxu/206214/

"Pokud máte FS ošklivě fragmentovaný, tak defrag pomůže."

Jistě. Ovšem s "ošklivě" fragmentovaným FS jsem se ještě za těch X let na ext3 nesetkal. S NTFS to asi bude jiné, nevím. Nedefragmentuju, protože s build-in utilitou to nemá smysl a externí kupovat nemíním :)

Tak se podívejte na disk externí utilitou, a řekněte nám, kolik fragmentů má váš swap. Jestli je jich hromada, nejspíš jste swap zrušil, a pak znovu založil na fragmentovaném disku.

Jinými slovy nevíte, co nelze defragmentovat. Kdysi to byla třeba MFT, soubory Windows Registry, a pár podobných věcí. Už v XP/Win2003 většina takových limitů odpadla. Navíc je otázkou, jaký to má vliv na výkon. Třeba MFT se typicky nefragmentuje (viz MFT zone).

Kolegovi Douchovi jsem psal, že důležitá není grafická reprezentace fragmentace, ale výsledky analýzy, a výsledky defragmentace. Pokud sedíte celý dny u unixů, tak bych nečekal, že budete přeceňovat malůvky ;)


Jak jsem psal, defrag vestavěnou utilitou má dobrý účinek. Nemyslím, že by neměla smysl jen proto, že nedefragmentuje swap, u kterého to nepotřebujete.

"Tak se podívejte na disk externí utilitou, a řekněte nám, kolik fragmentů má váš swap. Jestli je jich hromada, nejspíš jste swap zrušil, a pak znovu založil na fragmentovaném disku."

Žádnou nemám a pořizovat nebudu. Ale vím bezpečně, jak to vypadalo, když jsme XP ještě používali.

"Jinými slovy nevíte, co nelze defragmentovat..."

Defragmentovat lze všechno, ovšem ne za běhu systému.

"Kolegovi Douchovi jsem psal, že důležitá není grafická reprezentace fragmentace, ale výsledky analýzy, a výsledky defragmentace. Pokud sedíte celý dny u unixů, tak bych nečekal, že budete přeceňovat malůvky ;)"

To samozřejmě nepřeceňuju, i když u windows jsou malůvky zdaleka to nejpodstatnější :) Vzpomínám si, že jsem si jen tak ze zajímavosti dělal test, jak vypadá fragmetace po použití vestavěné utility. Vysledky nebyly moc dobré ;)

Kdyby měly výsledky defragmentace touto utilitou dobrý účinek, asi by se neprodávaly drahé externí aplikace :)

Ale to jsme poněkud odbočili.

Vím, že debata je už mrtvá, ale pro příští čtenáře:

A dreaded problem that we have found with drives that are 2/3 full or so is little gaps, or file interstices. They are between 1 and 15 clusters in size (always less than 16), and sit between most files. This eats up a great deal of free space, and NTFS, in its infinite stupidity, will start sticking files in there when a larger free space is available, causing files with hundreds of fragments. Yet all (as of the time this was written) other defragmentation programs make such interstices when defragmenting!

Celý článek: DirMS