Vlákno názorů k článku NetWare zapadá - Linux vychází od Radim Kolář - Je stejne jen otazka casu, kdy si lide...
-
Je stejne jen otazka casu, kdy si lide uvedomi, ze nic jineho nez ZFS nema smysl. Je to uzasny filesystem/volume manager. jen administrativni moznosti ZFS zdaleka prevysuji vsechno co tu kdy bylo, je to pekne integrovano s OS. ZFS bezi na Solarisu, Jabkach (WIP), FreeBSD 7, Linuxu v FUSE. Data jsou ulozena bezpecne pred poskozenim a tim padem to bez problemu nahradi HW raidy, nema to RAID write hole problem. ZFS umi hot spare, ZRAID1/2, Mirror, NFS4 ACL, writeable snapshoty, ... Kod ZFS je stabilni a odladeny. Moznosti jsou nekonecne.
Za 5 let nebude nikdo pouzivat na serverech nic jineho nebot k tomu nebude sebemensi duvod. Z meho okoli vidim lidi prechazejici z Linuxu na Solaris nebo FreeBSD prave kvuli ZFS. -
markonius (neregistrovaný)Souhlasím, že ZFS je asi nejlepší souborový systém a vlastně patřím k lidem, kteří z Linuxu přešli u souborových serverů na Solaris, ale i tak nevidím v ZFS budoucnost. Problém je, že po několika měsících provozu NFS-ZFS serveru se objevily podivné problémy, vlastně je s tím příliš mnoho zvláštních problémů. Za 6 měsíců testovacího provozu se mi podařilo shodit NFS na Solarisu takovým způsobem, že jsem to nebyl schopný řešit jinak než kompletní reinstalací. SSH démon na Solarisu má podivnou odezvu a zpoždění. Celkově můj pilotní projekt úložného serveru na Solarisu po 6 měsících provozu končí problémy a i když stávající situaci zachovám, vzhledem k problémům nalezlých při testování neuvažuji o rozšíření.
Podle mě je budoucnost v iSCSI, iSCSI má možnosti mnohem dál než ZFS, umí snapshoty, redudantní infrastrukturu, je jednodušší k implementaci a má větší podporu. Dalo by se říci, že porovnávat ZFS s iSCSI je o ničem, jenomže dneska nikdo nechce lokální souborový systém. Budoucnost je v síťových úložných systémech a tady ZFS v kombinaci s NFS prostě není nejlepší řešení a po testech na opravdové zátěži a v reálném prostředí mi nevyšlo dobře. -
nutrie (neregistrovaný)Ano iSCSI je protokol pro prenos SCSI prikazu pres TCP/IP site (viz napr. http://en.wikipedia.org/wiki/ISCSI). Umoznuje napr. pripojit vzdaleny diskovy oddil (partition) jako lokalni SCSI disk. (Tam se pak musi vytvorit souborovy system.) Drivery pro initiator a target jsou v Linuxu, Windows, ...
My jsme napr. potrebovali linuxovy NFS server se 6 TB diskove kapacity. Protoze jsme uz meli Windows file server, tak jako levne reseni vychazelo alokovani onech 6 TB na Windows serveru. PC s Linuxem by k nim pristupovalo pres iSCSI na gigabitovem Ethernetu. Nakonec jsme ale poridili samostatny linuxovy server s 9 TB. Cena (spolu s paskovou jednotkou) vylezla na priblizne 600 kKc. -
Izak (neregistrovaný)iSCSI je shit ! je to tunelovana SCSI komunikace pres TCP/IP .... a vzhledem k tomu ze SCSI neni navrzen jako kolizni protokol, tak pri pretizeni klesa rychlost exponencialne, na velke vzdalenosti je iSCSI nepouzitelny i kdyz je dedikovana linka (Pokusy na TEN a Cesnetu) .... zato FC ma buffery, ktere diky inteligentnim switchum prekonaji i obrovske vzdalenosti.
Jinak ja vidim budoucnost v LUSTRE, AFS a podobnych nativnich sitovych FS, ktere maji advanced vlastnosti a neskrabou se nohou za uchem, jako iSCSI -
ToM (neregistrovaný):-) A copak asi beha ve FC?
Na velke vzdalenosti se ani FC nepouziva v synchronnim modu. A u asychnronniho vam kolize nevadi. Panove, kteri prisli na to, ze je iSCSI nepouzitelne, by si meli zjistit, jak se tyto protokoly pouzivaji v produkci.
Ale jinak samozrejme iSCSI stejne jako FC neni filesystem a srovnavat tyto protokoly s Lustre, AFS, NFS, CIFS apod. postrada logiku. -
tbc (neregistrovaný)Bud si delate srandu, nebo ty marketingove materialy Sunu prilis zerete. Sun tradicne sve produkty ohlasuje s velkymi fanfarami a zrejme nevyhody se neboji prohlasit za prednosti. Az budou k dispozici vysledky rozumne navrzenych benchmarku a zkusenosti z realneho nasazeni, pak ma smysl zacit o ZFS premyslet. Zatim ma vyznam jen pro uzivatele Solarisu, kde nahrazuje zoufale zastaraly UFS.
-
tbc (neregistrovaný)To je sice prima, ale v rade konfiguraci je velmi dulezita vykonnost. Pred nekolika mesici jsme jeden vetsi souborovy server kupovali, a tak jsem zjistoval technicke detaily. Ke svemu prekvapeni jsem nenasel zadne rozumne benchmarky porovnavajici vykonnost ZFS, XFS a ReseirFS. Vzdy to bylo jen ZFS proti UFS, pripadne nejake jednoduche testy studentu. Tipuji, ze kdyby vykonnost ZFS byla lepsi nez v pripade XFS nebo ReiserFS, tak by to Sun uz davno roztruboval do sveta.
Zapomente na to, ze "nic jineho nez ZFS nema smysl". Kdyz mate cluster se stovkami nodu (ono jich staci par desitek), pak klasicke souborove systemy vykonnostne nestaci (napr. NFS + EXT3, ReiserFS, XFS, ...). V teto oblasti to bez specialnich souborovych systemu (GPFS, Lustre, OCFS, ...) nejde.
Krome Vas jsem neslysel o cloveku, ktery by prohlasoval, ze ZFS nahradi HW RAID. Vim, ze Sun ve svych marketingovych materialech vyzdvihoval SW RAID, ale to bylo proto, ze zadny HW RAID vykonnostne srovnatelny s resenimi od 3ware, Adaptecu nebo HP proste nemel. Pokud nejaka aplikace vyzaduje synchronni zapisy, pak baterii zalohovany HW RAID poskytuje vyrazne vyssi vykon nez samostatne disky s SW RAIDem. -
Pokud mate o vykon FS vazny zajem a potrebujete maximalni mozny, musite si udelat vlastni benchmarky. Stoji to cas, ale jinak to nejde protoze vysledky cizich testu jsou vam k nicemu, kdyz mate odlisny typ zateze. Benchmarkoval jsem XFS, JFS, ext3, RFS3, RFS4 a o prvni pozici v testu se ponejvice prali RFS3 a XFS, ale pri nejakych workloadech vyhravalo ext3 a to o hodne. Je tedy fakt ze JFS skoncilo vzdycky s velkym naskokem posledni...
Benchmarku ZFS v UFS je dost, protoze obe dve nejpouzivanejsi platformy pro ZFS tzn. FreeBSD a Solaris tyto filesystemy maji a tak je logicke ze se budou benchmarkovat navzajem. Tim nerikam, ze bych se na benchmarky s XFS a Reiser
ze zvedavosti rad nepodival.
Radice s batery backed RAMkou jsou dobra vec, tech se neni duvod vzdavat, jen je nekonfigurovat jako RAID pole, protoze administrativni moznosti ZFS prevysuji o hodne administrativni moznosti bezneho HW RAID radice. Krom toho ZFS nabizi lepsi bezpecnost dat.
Neni pravda ze Sun o rychlosti ZFS nepise:
Near platter speeds
This radical new architecture optimizes and simplifies code paths from the application to the hardware, producing sustained throughput at near platter speeds. New block allocation algorithms accelerate write operations, consolidating what would traditionally be many small random writes into a single, more efficient sequential operation.
http://www.sun.com/software/solaris/ds/zfs.jsp
Doporucuji kazdemu, stahnout si nejake distro OpenSolarisu a ZFS vyzkouset. Velmi rychle zjistite, ze pouzivat neco jineho nema smysl. ZFS je rychle, bezpecne a velmi snadno se administruje.
Otazka nestoji proc ZFS, ale proc pouzivat neco jineho. Je nejaka jina technologie bezpecnejsi, skalovatelnejsi a snadno administrovatelnejsi? XFS/LVM2 proti ZFS neobstoji, ZFS umi vse co tohle combo + dost veci navic. -
tbc (neregistrovaný)ZFS neumi jednu zcela zasadni vec - bezet nativne v Linuxu. Pokud pouzivate enterprise reseni (napr. servery od HP s certifikovanym SLES, certifikovanym zalohovacim SW pro paskovou knihovnu, ... - HP na to ma compatibility matrices), pak mate smulu jak se ZFS pod Linuxem tak i pod FreeBSD. V podstate Vam nezbyde nez koupit server se Solarisem od Sunu (nedavno se psalo, ze mozna i od IBM). A o to Sunu jde - pretahnout uzivatele Linuxu k Solarisu a HW od Sunu. Mimochodem, zkuste si porovnat cenu reseni s diskovou kapacitou 10 TB a vys u Sunu a HP. Pak pochopite, proc ma smysl uvazovat i o necem jinem nez jen o ZFS.
Jeste k tem enterprise resenim: mistni IT oddeleni obsluhuje 30 000 uzivatelu (vetsinou zdravotnicky personal). Predstava, ze by nasadili necertifikovane systemy, je pro ne absurdni.
Co se rychlosti tyce - me zajimaji cisla. Povidani o "Near platter speeds" je sice hezke, ale experimentalni data nenahradi. -
Milan Jurik (neregistrovaný)Dve poznamky:
a) Sun uvita, pokud nekdo naimplementuje ZFS pro Linux, tohle uz jsme rekli mnohokrat
b) Solaris lze certifikovane leta provozovat na mnoha boxech od HP (certifikaci si dela HP a chlubi se tim), IBM pred par dny certifikovalo prvni box ve spolupraci se Sunem
A jak vam tu bylo receno, nejaka imaginarni cisla vam tu nikdo nerekne, benchmarky se delaji pro konkretni situace a konkretni sestavy. By jste asi docela koukal, jak se pak Sun, HP a IBM predhani v tunovani takovych sestav :-) -
tbc (neregistrovaný)> a) Sun uvita, pokud nekdo naimplementuje ZFS pro Linux, tohle uz jsme rekli mnohokrat
Pridejte nejake relevantni odkazy. Posledni informace, ktere mam, rikaji, ze implementace je problematicka z licencnich a patentovych duvodu (viz napr. http://kerneltrap.org/node/8066). To je duvod, proc se to nyni dela pres FUSE.
> b) Solaris lze certifikovane leta provozovat na mnoha boxech od HP
Budiz, to jsem nevedel. Ted vidim, ze obdoba support matrix pro Linux
(http://h18004.www1.hp.com/products/servers/linux/hpLinuxcert.html) je i pro Solaris
(http://h71028.www7.hp.com/enterprise/cache/492635-0-0-0-121.html)
> A jak vam tu bylo receno, nejaka imaginarni cisla vam tu nikdo nerekne,
> benchmarky se delaji pro konkretni situace a konkretni sestavy.
Ted si delate srandu. Analyzy vykonu se pravidelne objevuji na USENIX konferencich. Nechci zadna imaginarni cisla, ale test, kde se postupuje vedeckou metodikou a vysledek je publikovan v (pokud mozno) peer reviewed clanku. Takovych testu pro typicka zatizeni byla provedena cela rada, namatkou jsem vygoogloval napr.
http://www.usenix.org/events/usenix02/tech/freenix/full_papers/bryant/bryant_html/index.html -
Milan Jurik (neregistrovaný)Implementace je problematicka z licencnich duvodu v tom pripade, ze to nekdo bude chtit distribuovat primo s Linuxem a ne jako samostatny zdrojovy kod. Duvodem je licencni politika GPL a jeji protichudnost s CDDL a myslenkami Opensolarisu jako takoveho. Patentove duvody v pripade, ze nekdo bude distribuovat ten kod samostatne, padaji, protoze vlastni kod bude originalni kod pod CDDL, ktera vam dava zaroven i patentovou ochranu, jen wrapper by byl pod GPLv2.
I v pripade, ze by ZFS bylo prepsano pro Linux from scratch (vyhodnejsi pro obe strany, druha implementace je prinosem pro kvalitu kodu) a tedy asi pod GPLv2, tak Sun dane IP neuzije, z obchodnich duvodu to neni v jeho zajmu.
Vyjadreni CEO Sunu ohledne teto veci vam staci? http://blogs.sun.com/jonathan/entry/one_plus_one_is_fifty
Zajmem Sunu je dostat ZFS na mnoho dalsich platforem, pro snizeni barier mezi systemy.
K tomu threadu na LKML se nevyjadruji, tolik FUDu co se tam okolo Solarisu a jeho technologii posledni rok plodi, to je uz jen k smichu.
Benchmarky tohoto typu jsou casto vysoce zavadejici, stezi postihuji ruzne charakteristiky hardware, v tomto pripade musite navic delat komplexni benchmark dvou rozdilnych operacnich systemu. Takze si srandu nedelam, vysledkem takovychto benchmarku jsou casto jen imaginarni cisla, pro srovnani nepouzitelna. Daji se uzit jen pro nalezeni uzkych hrdel konkretni implementace a zakladni charakteristiky.
Krome toho, Sun obvykle nepublikuje sve srovnavaci benchmarky (ktere si samozrejme dela), to nechava jinym, pokud mozno nezavislym. Takze ode me benchmarky take neocekavejte :-) -
tbc (neregistrovaný)Kdyby Sun chtel ZFS dostat na Linux, tak ho davno mohl uvolnit pod dualni licenci (CDDL a GPLv2). Ze tak neucinil a ucinit nehodla svedci o tom, ze reci ma mnoho, ale skutek utek.
ZFS ma vyznam hlavne na vetsich strojich. Ty se kupuji s enterprise verzemi Linuxu (SLES, RHEL, ...) a plnou podporou. Dokazete si predstavit, ze by Novell nebo Red Hat zakaznikum rikali: "Mate nasi 24x7 podporu, ale zdrojovy kod ZFS si stahnete a zkompilujte sami." To je absurdni.
Co se benchmarku tyce: V tomto se asi nikdy neshodneme. Performance tuning byla jednou z veci, kterou jsem se u Sunu zivil (to bylo hodne davno). Benchmarky, i kdyz nedokazaly predpovedet chovani konkretni konfigurace, dokazaly mnohe napovedet. S nekolika cisly v hlave a jednoduchym matematickym modelem bylo velmi casto mozne zakaznikovi rict, ze z daneho systemu vetsi vykon nedostane, nebo ze vykon jeho konfigurace neodpovida teoretickemu vykonu, a proto by se melo zacit s ladenim.
Pokud nejaka organizace publikovala vysledky testu, kde Sun vychazel vitezne, tak se to hned objevilo v marketingovych materialech. (Ted budu "nasty": Na rozdil od Vas jsem u Sunu pracoval v dobe, kdy Sun byl number 1 v rychlosti CPU, grafiky, ...). Nyni to Sun nedela ne proto, ze by nechtel, ale proto, ze neni co prezentovat. A to se podle me tyka i ZFS.
Mimochodem, asi pred pul rokem jsem se zajimal o StorageTek 5220 NAS. Ke svemu prekvapeni jsem nenasel zadna data o vykonnosti. Me osobne se to zdalo vysoce nefer vuci zakaznikum, ale treba to vidite jinak. -
Milan Jurik (neregistrovaný)> Kdyby Sun chtel ZFS dostat na Linux, tak ho davno mohl uvolnit pod dualni licenci (CDDL a
> GPLv2). Ze tak neucinil a ucinit nehodla svedci o tom, ze reci ma mnoho, ale skutek utek.
Dualni licencovani je presne to, co Sun ani vetsina lidi v OpenSolarisu nechce. Protoze by to vedlo jen a pouze k forkum kodu a naslednym moznym problemum. Bud si to lide napisi pod GPLv2, Linux prejde na vhodnejsi licenci nebo nezbyva nez samostatna cesta.
Vite kolik lita po svete zakazniku, kteri uzivaji VxFS pod Linuxem? Takze i tato cesta (samostatna distribuce, jak si ji GPLv2 vynucuje) by byla mozna. Jde jen o to, jak ji vhodne zabalit. A Veritas je docela slusne enterprise.
Co se tyce tech nezavislych benchmarku, zjevne se nikdo dosud neodvazil nejaky seriozni provest. Kdyz si myslite, ze je to mozne, dokazte to. Proste takovy benchmark, ktery by postihoval treba ZFS vs. XFS v dnesni dobe seriozne nikdo jen tak neudela. Jedine, ze by jste to provedl na nejakych trivialnich ramdiscich.
Kdyz jste se o ten box zajimal, obratil jste se i na Sun ci dodavatele s zadosti o data?
Benchmarky jsou publikovany tehdy, kdyz je nekdo udela. Kdyz je nikdo nedela, protoze si netroufa na srovnani jednodusse nesrovnatelneho (filesystemy mezi ruznymi OS) nebo to aktualne nikoho nezajima (vami uvedeny box), tak s tim nic nenadelate. Nebo si ma Sun zadat "nezavislou" studii?
Btw. ja neobhajuji ZFS, mam s nim sve zkusenosti, mam k nemu sve vyhrady, i k jeho aktualni implementaci, ale proste vase argumentace, ze Sun neco musi udelat, s tim nesouhlasim. Sun nabizi moznosti, ale rozhodne to neni jen o Sunu.
Co se tyce vykonnostnich testu, tak jak u Sparcu, tak u x86 boxu Sun nezavisle benchmarky zverejnuje, to jen k tomu vasemu naznaku, ze snad Sun neni na vykonnostni spicce, ci ze neco zatajuje. -
Izak (neregistrovaný)3ware, adaptec .... ha ha ha ... nechte se vysmat !!!
Jestli SATA raid tak ARECA ! i kdyz ten ted myslim pouziva 64bit RAID chipset od Intelu realna rychlost pres 300MB/sec na 10GB vzorcich
SUN ma FC/SCSI externi diskova pole s radici LSI (mimochodem LSI je i v HBA bez raidu o uroven vys nez zabugovany adaptec) ... no a pak ma i enterprise pole.
Jinak ZFS je pomaly pro zapis uz z podstaty, co vsechno musi provadet. -
tbc (neregistrovaný)Clovece, vy jste jak brouk Pytlik, ktery vsechno zna a vsechno vi. Kdyz neco tvrdite, tak to musite dolozit fakty. Kde najdu testy, ktere ukazuji, ze Areca ma rychlejsi SATA RAID? Ja mam dokument, (4583_RAIDPerformance_WP_15.pdf) ktery pro Areca 1220 tvrdi pravy opak. Mistni superpocitacove centrum porovnavalo SATA RAIDy od Areca a 3ware a vybralo si 3ware. Jsou to snad hlupaci, kteri nedokazi poznat lepsi SATA RAID? (Mimochodem, jejich superpocitac je v TOP500).
-
Mikuláš Patočka (neregistrovaný)ZFS je špatné např. na databáze, protože zápis dovnitř souboru tento blok vždycky nově alokuje. Takže máte souvislý soubor, změníte v něm jeden blok, a už souvislý není. Zapíšete do něj mnohokrát znovu, a úplně se rozfragmentuje. Pak jednou databáze udělá full-scan tabulky (v domění, že soubor je alokován souvisle), a nedočkáte se, protože disková hlava seekuje od bloku k bloku.
-
Tenhle nazor slycham hodne casto. Fakt ale je ze aj Oracle aj PostgreSQL maji na ZFS podstatne vetsi odpich nez na UFS. Krom toho se v posledni dobe ZFS dost tunuje na workload ktery delaji databaze a jen za posledni rok se jeho rychlost pri workloadu ala Oracle zvedla o 20-30% a to jeste nejsou vsechny zamyslene optimalizace hotove. Takze pomalosti Oraclu na ZFS te bych se fakt neobaval a male deti tim nestrasil.
Zejmena snapshoty jsou velmi dobra featura pro provozovani databazi, zvlaste kdyz jde do nich zapisovat nebo z nich pak udelat hlavni FS (kewl pro upgrady). To to pak muzete velmi elegantne provozovat nekolik databazi vedle sebe (produkcni, vyvojovou). -
Mikuláš Patočka (neregistrovaný)A jak tenhle problém řešili? Defragmentují to nějak za běhu?
Nebo zapisují rovnou do toho souboru bez relokace? --- to zase moc nemůžou, protože při pádu počítače by tak poškodili i bloky, do kterých se nezapisovalo (RAID-5 bez hardwarového řadiče s baterií to udělá taky a nejde proti tomu nic dělat). -
myslim ze se tato technika nazyva clustered writes. Pocka se az se nastrada vice zmen a pak se najde dostatecne volny fragment a zapise se tam sekvencne a tutiz hodne rychle. RFS3 dela to same. na sundev serveru maji dost dem ktery to graficky ukazuji vcetne elevator algoritmu.
Databaze fsyncuje jen protokolacni soubory a u tech fragmentace nevadi, protoze se stejne ctou jen pri obnove db, tedy prakticky nikdy. -
LO (neregistrovaný)Souhlasím, že ZFS má zajímavé features. Podotkl bych, že bylo na čase s FS u Solarisu něco udělat. UFS byl tak tragický, že většina firem kupovala automaticky Veritas FS, který byl sám o sobě až srovnatelně drahý, jako licence Windows Serveru :).
Problémem ZFS je jeho náročnost. Také fakt, že nahrazuje HW RAID, je poněkud nešťastný. Pokud bych chtěl část zátěže přesunout na HW (jako se to dělá použitím HW RAIDu), ZFS mi to neumožní. Vhodnější by bylo mít vrstvu bezpečného blokového zařízení (která může být zajištěna SW či HW, pěkně modulárně), vrstvu volume managementu, vrstvu FS atd., dohromady s features ZFS. -
ZFS muzete bez problemu pouzivat jako klasicky volume manager. Pokud si chcete v ZFS poolech vytvaret jine filesystemy, tak tato moznost je podporvana. Nerekl bych je ZFS je nejak vyjimecne narocny, je to prece FS pro servery.
To, ze nahrazuje HW raid je dobre, protoze jen diky tomu je mozne mit features, ktery hw raid nikdy mit nebude. Dnesni CPU jsou dostatecne rychla na to aby to zvladala a server se 4x multicore CPU je dneska bezna zalezitost. -
HlavneKlid (neregistrovaný)Dokud jsem se nenaucil odladit UFS, tak jsem taky automaticky doporucoval VxFS. Pak jsem zjistil, ze pul mega az dve mega na prumerny cluster za VxFS a VxVM vazne nestoji za ten marginalne vyssi vykon v nekterych zpusobech uziti. Za ty prachy je lepsi koupit vic pameti na buffery, nebo rovnou poradne FC pole a mate vystarano i pro UFS a na nejake starosti s kontinualne alokovanymi bloky muzete povetsinou zapomenout.
U DB zadnou vyhodu pouzitim VxFS proti UFS neziskate (nutnost pouziti forcedirectio to totiz srovna, dokonce na UFS je to mene problemove), takze zbyva leda mraky malych souboru a'la news nebo mail spool (10000 a vic polozek v adresari), coz ale pri dnesnich velikostech pameti vyresite trochou premysleni nebo v nejhorsim v name/inode cache UFS celkem snadno.
U ZFS bych byl jeste opatrny. Vypada to zatim dobre, ale osobne bych vahal s pouzitim jinde nez na klasicke fileservery, vyvoj apod. Proti produkcnimu vyuziti mluvi velke tempo zmen a velke skoky ve vykonu (to znamena, ze je tam porad co vylepsovat a tedy i porad dost much). Jako AdvFS na Tru64, se kterym ma ZFS dost veci spolecnych a nektere jeste ani nema (skutecne sdileni jednoho FS mnoha nody), si ZFS zrejme "sedne" behem par let. Do te doby je predcasne soudit.
ČLÁNKY DO MAILU