Názory k článku
Požár datacentra OVH ve Štrasburku
-
peci1Stříbrný podporovatelTakhle nam jednou nekdo povidal, jak horelo datacentrum v Praze. Po revizi tech velkych vetraku centralni klimatizace. Revizni technik je zkontroloval, odskrtnul fajfky v lejstrech, a pripojil je na zpetny chod...
10. 3. 2021, 09:56 editováno autorem komentáře
-
To mohlo být cokoliv i mimo datové sály, i z těch fotek je patrné, že v obálce budovy figurovaly syntetické materiály. Sendvičové panely, pohledové kryty všeho, kabely, textilní prvky... většina těch materiálů má nějakou požár zpomalující normu, ale když se to rozjede, tak se ty jednotky MJ/m² prostě na svobodu dostanou.
-
Filip JirsákStříbrný podporovatelOctave Klaba (zakladatel OVH) dnes řekl, že že mají snímek z termokamery, ze kterého je patrné, že hoří UPS 7 a 8. A na UPS 7 předtím ráno dodavatel dělal servisní zásah, vyměnil tam několik dílů.
-
Při dnešní míře redundance, je vskutku instalace sprinklerů zbytečná.
Obligátní xkcd to říkal již dávno:
https://xkcd.com/1737/ -
L.Stříbrný podporovatel
Proto to taky před spuštěním systému varuje, abyste urychleně opustili prostor :-)
-
J ouda (neregistrovaný)
Tak zrovna hasící systém založený na deionizované vodě jsem už kdysi v nejmenované firmě viděl. Byl levný,
Trochu problém nastal, když se opravdu spustil, sice destilka jako taková proud nevede, ale destilka s rozpuštěným bordelem z prachu už elektrolyzuje docela hezky. ;-) Jestli si dobře pamatuju tak i přes vysušení ty servery šly do kopru v řádu dní komplet.Jinak inergen se (prý) ředí trochou kyslíku, aby tam člověk na podlaze sice v bezvědomí, ale přežil. Nevím, nechtěl bych to zkoušet na vlastní kůži.
10. 3. 2021, 15:23 editováno autorem komentáře
-
Tak nějak by to mělo být, jen jsem netušil, že přežít by to mělo jít v bezvědomí :). Měl jsem za to, že je to namíchané akorát aby podíl kyslíku v atmosféře klesnul trochu pod hranici, kdy jsou schopné okolní předměty hořet. Ale možná i přesto by toho kyslíku pro trochu normální fungování lidí bylo málo.
Další legrace při hašení inertním plynem je (teď z hlavy nedodám odkaz, musel bych hledat), že pokud se to navrhne blbě a vyústění potrubí s hasicím plynem je nevhodně tvarované a/nebo je příliš vysoká rychlost proudění plynu, dokáže to vytvořit takový hluk, že to poškodí nebo zničí HDD v serverech. To by případnému nešťastníkovi uvězněnému v serverovně asi taky dvakrát neprospělo.
Mně ale vrtá hlavou ještě jiná věc - co vlastně může v datovém centru tak dobře hořet, a co tam prakticky může nějak snadno chytit. Samotná technika je převážně plech, racky jakbysmet, vlastní elektronika na PCB, což taky není úplně ochotně vznětlivý materiál (snad jedině když už se požár rozjede), a něco plastu. Snad ještě kvanta kabelů, ale tam bych čekal, že na nich budou použité samozhášivé plasty, o hasicím systému nemluvě. Evidentně to je nějak jinak, ale docela by mě to zajímalo, proč/co tam tak snadno chytilo a proč se to tak rozhořelo. Jo, ještě by to mohla teoreticky podpořit vzduchotechnika, ale i tak...
-
Tak to mate jako se spalovnami.. prece domaci odpadkac nehori. (ale jasne, vetsina odpadu je organickeho puvodu, takze je jenom otazkou teploty kdy, ne zda to shori)
U te elektroniky, to mate vodice, polovodice a nevodice (izolace a prislusenstvi), sem tam nejaky elektrolyt. Predstava, ze rack je hlavne "zelezo" je licha.. je tam spousty toho, co kov neni, a to hori. A pak hori i ten kov - viz ty diry v kontejnerech, nebo kdyz vam silovej kabel natahne oblouk - hori kabel? jiste ze jo.. kdyz mu date spravnej proud :-)
Prekvapuje me spis ze nemaji centralni "pojistky" - v pripade problemu je treba zastavit prisun energie a zbytecne nekrmit "retezovou" reakci.. ale poznejte, ze vam neco hori, pri spotrebe v radu MW :-) Druha vec co me zajima, je jak tam meli reseny UPS - zda nahodou za kompletni destrukci nemohli baterie distribuovane mezi jine vybaveni.
-
Tak to mate jako se spalovnami.. prece domaci odpadkac nehori. (ale jasne, vetsina odpadu je organickeho puvodu, takze je jenom otazkou teploty kdy, ne zda to shori)
Jasně, ale ono to ani v té spalovně není tak jednoduché. Někdy odpad hoří pěkně sám a někdy, pokud má nevhodné složení, je vlhký apod. je třeba pod ním přitopit plynem. V podobném duchu se nesl i můj dotaz.U te elektroniky, to mate vodice, polovodice a nevodice (izolace a prislusenstvi), sem tam nejaky elektrolyt. Predstava, ze rack je hlavne "zelezo" je licha.. je tam spousty toho, co kov neni, a to hori. A pak hori i ten kov - viz ty diry v kontejnerech, nebo kdyz vam silovej kabel natahne oblouk - hori kabel? jiste ze jo.. kdyz mu date spravnej proud :-)
O tom taky není sporu. Jde mi spíš o to, že tak nějak v průměru mi servery a ta bižuterie okolo nepřijdou jako nějak dobře hořlavý materiál - jasně, že když je hodím třeba do té spalovny, tak shoří taky, částečně včetně kovových součástí. Ale když se je pokusím zapálit třeba letlampou, tak to asi žádná velká paráda nebude. Jinými slovy - asi to chce nejdřív pořádný zdroj tepla, aby se to pořádně rozjelo a pak shořelo celé DC. A to by mě právě zajímalo, od čeho to vůbec vzniklo a jak se to šířilo (nebo nějaká zkušenost či podložená hypotéza). To se ale určitě časem dozvíme.Prekvapuje me spis ze nemaji centralni "pojistky" - v pripade problemu je treba zastavit prisun energie a zbytecne nekrmit "retezovou" reakci.. ale poznejte, ze vam neco hori, pri spotrebe v radu MW :-) Druha vec co me zajima, je jak tam meli reseny UPS - zda nahodou za kompletni destrukci nemohli baterie distribuovane mezi jine vybaveni.
Předpokládám, že to snad má každá elektroinstalace :). Spíš bych řekl, že si toho všimli pozdě na to, aby to odpojení nějak víc pomohlo. Pro detekci požáru bych očekával obyčejné detektory kouře, taky by mě překvapilo, kdyby tam mj. neměli monitoring pomocí kamer v serverovnách. Možná si to ale jen maluju moc na růžovo :).S těmi UPS to je zajímavá domněnka, teď jde o to, jak by k požáru měly přispět. Jedna možnost je, že by tam prvotně došlo k úniku vodíku a kyslíku z baterií z UPS a následnému výbuchu/požáru. Další možnost, co mě napadá, je požár z jiného zdroje a UPS by to následně přiživily zkratem baterií (teď je otázka, ja moc to je pravděpodobné) - ale to jen spekuluju :). Mimochodem, jsou v takhle velkých instalacích používané konvenční UPS s Pb akumulátory, nebo se to řeší něčím jako rotačními UPS?
-
Možná jen další prvek, který nebyl příčinou, ale požár přiživil. S tou hořlavostí viz heslo ethylenglykol na české wiki:
Směs ethylenglykolu a vody se může v nízkotlaké atmosféře čistého kyslíku vznítit a hořet.
Sice v DC není nízkotlaká atmosféra čistého kyslíku, ale umím si představit, že pokud se tam už rozjel dostatečně velký požár z nějakého jiného důvodu, mohl ho ethylenglykol v nemrznoucí směsi přiživit.
-
Nejsem odbornik vlastne na nic, ale rekl bych, ze proudovy odber na zalozeni pozaru ve vztahu k "normalni spotrebe" nejakeho jisteneho spotrebice nemusi byt zase tak velky. Tusim, ze se pocita s nejakymi 60W (srov. se serverem ktery si vezme 2kW, 60W je v tom chyba mereni, nepocitam proudove spicky pri nabehu).
No a jakmile je dostatecny pozar zalozen, tak uz ho neni nutne krmit elektrickou energii. Parkrat se mi povedlo pri navrhu nejake elektroniky nechat vyhoret ruzne integrace/tantalove kondenzatory/drahy na PCB a rekl bych, ze zalozit nejakym plosnakem pozar neni az takovy problem.
-
Snad ještě kvanta kabelů, ale tam bych čekal, že na nich budou použité samozhášivé plasty
Pokud vím, tak se vyrábějí kabely, které se vznítí až při větším žáru a hoří pomaleji. Ale nehořlavé, natož zhášecí nejsou. Takže jakmile se požár dostane až k nim, tak stejně hoří. Smysl to má jen kvůli tomu, že v nich požár snadno nevznikne, a při malém žáru začnou přispívat k šíření tak rychle.
Zbytek úvah - no, ino, OVH je low end nejlowendovatější, takže je možné, že to je důsledek "ekonomického" chování. Líto je mi těch lidí, kteří žijí v přesvědčení, že provider vše ochrání a ručí za to, že se datům nikdy nic nestane.
-
Pokud vím, tak se vyrábějí kabely, které se vznítí až při větším žáru a hoří pomaleji. Ale nehořlavé, natož zhášecí nejsou. Takže jakmile se požár dostane až k nim, tak stejně hoří. Smysl to má jen kvůli tomu, že v nich požár snadno nevznikne, a při malém žáru začnou přispívat k šíření tak rychle.
Myslel jsem to zhruba tak, že opláštění vodičů/kabelu by mělo být z materiálu, který jak říkáte začne hořet jednak při vyšší teplotě než by byla u "běžného" materiálu, a za druhé obsahuje složky, které zpomalují/znemožňují hoření - a to ne tak, že by snad kabel přežil požár bez újmy, ale že materiál sám o sobě hoření neudrží bez energie dodávané externě.Zbytek úvah - no, ino, OVH je low end nejlowendovatější, takže je možné, že to je důsledek "ekonomického" chování. Líto je mi těch lidí, kteří žijí v přesvědčení, že provider vše ochrání a ručí za to, že se datům nikdy nic nestane.
Tak o OVH nevím prakticky nic, ani že je low-end :). Tím se možná dá leccos vysvětlit, pokud se šetřilo na nesprávných místech. Jinak taková blbost jako že bych věřil, že u providera je to všechno v suchu, by mě nikdy nenapadla, to se nebojte :). -
Ony existují různý kabely. Třeba ty se silikonovou izolací. Hoří jenom když dostávají energii zvenčí a jinak zhasnou. A když už hoří, kouř není toxický. Proto se používají třeba na osvětlení únikových cest, v prostorech s větším množstvím lidí... Jenom to nikdo nekupuje, pokud to fakt není nutný.
Třeba LAPP vyrábí ÖLFLEX HEAT 180 H05SS-F EWKF 5G2,5, ale za metr dáš kolem 230Kč u výrobce a obyčejnou CYKY J5x2.5 máš o 200 na metru levnější. A představ si uličku 20m dlouhou, v ní 16 racků, ke každýmu přívod z jedné větve leva, z druhé zprava, něco k rozvaděči... 50m na rack, 800m kabelu, 160 000 Kč navíc jenom na přívodu šťávy k jedné uličce... Máš tam několik řad a dostaneš se na megový příplatek.
V prostoru datovýho sálu, kde není potřeba ochrana vyššího počtu osob, dostane se tam jenom proškolená obsluha a ještě jenom občas, kde podle analýzy rizik bude v nejbližších 10 letech hořet s pravděpodobností třeba 0.1%, takovou investici prostě neobhájíš.
-
Kouř z hořící silikonové izolace je zamozřejmě smrtelně nebezpečný. Ostatně jako každý jiný kouř. Rozhodně nikdy v případě požáru v jakékoli místnosti ani na půl nádechu neriskujte, že jakýkoli kouř vdechnete. To není jako když vás ovane kouř u táboráku u pečení buřtů.
Kolega hasič mi říkal, že lidi často umřou už při dvou nádeších kouře v místnosti kde hoří jakýkoli plasty.
Jinak silikonové izolace jsou v případě požáru opravdu dobrým řešením. Při vysoké teplotě udělají "keramickou" vrstvičku kolem vodiče která odolá opravdu vysoké teplotě. Ale bohužel nesnese jakýkoli pohyb s vodičem.
Obecně silikonové izolace mají malou mechanickou odolnost oproti klasice. Tedy třeba nesnesou aby na ně nekdo šlapal ve žlabech. -
to se samozřejmě dělá, napouští se to pak inertním plynem, ale pokud se mi požár rozšíří z venku, udělá si tam díru (poruší hermetičnost) a vnikne dovnitř, pak jakýkoliv takovým plyn není účinný a je okamžitě pryč, často ten samotný plyn hoření urychluje (v kombinací s kyslíkem z venku).
DC jsou z pohledu požárů sranda, polovina spotřebované energie jde do cirkulace vzduchu, běžně v budovách mi vduch pěkně stojí a izoluje a požár se šíří úměrně obsahu, ale v DC má každá prkotina větrák, obrovská klimatizace žene masy vzduchu sem a tam, oheň je nadšený. Pokud nemám tlačítko okamžitého vypnutí, tak mám zpravidla opravdu jen pár minut než to blafne celé.
Ještě větší sranda jsou oleje, poslední trend je nakládat vše do různých olejů. Ty vypadají podle datasheetu úplně ideálně, ale postupem času se do nich uvolní poměrně dost cizorodných látek, které snižují teplotu vzplanutí'. I ty nejodolnější silikony nebo fluorované uhlovodíky končí s teplotní odolností u 300 - 500 stupnů, pak nám pěkně toxicky hoří. Mají další výhodu, jakmile se začnou rozpadat, tvoří si vlastní kyslík, takže až tohle bude někdo hasit, užije si spousty zábavy.
-
Člověk uvězněný v hořící serverovně ve které se spustil halonový hasící systém = mrtvý člověk. U tohohle bych zůstal a nikomu nevykládal o kyslíku který tam přidávají. Podle mne nepřidávají. A je to uplně jedno. Zustaneš li v serverovně během požáru tak jsi mrtvý Dejve. Mrtvý.
Doporučim dobré přehledné čtení: http://metodika.cahd.cz/konspekty/1_1_05.pdfA jinak se ted nově do serveroven montuje hasivo hasivo 3M Novec 1230 prý o je ekologický. Více na webu prodejce https://www.3mcesko.cz/3M/cs_CZ/novec-ctl/applications/fire-suppression/
-
Z Pajkusova blogu o návštěvě datacentra Microsoftu:
Teraz perlička – ako hasí Microsoft prípadný požiar v sále? Moderné dátové centrá na Slovensku majú komplikované a rozsiahle systémy hasenia na báze inertných plynov. Ten sa vženie do celej sály aby sa eliminoval oheň a zároveň aby ľudia vedeli dýchať a technika sa nepoškodila.
Čím hasí Microsoft? Vodou, usmieva sa náš hostiteľ, je to lacné. Máme vyrátané, že pri hasení vodou zničíme naraz najviac tri racky – vraví. To je nič, všetky dáta sú rozkopírované aj inde, takže len vymeníme celé racky, pozrite, tu za rohom už máme prichystané náhradné, veď sú lacné.
-
DannyStříbrný podporovatelTo jeste bude vesely....
Plan for the next 1-2 weeks:
1) rebuilding 20KV for SBG3
2) rebuilding 240V in SBG1/SBG4
3) verifying DWDM/routers/switchs in the network room A (SBG1). checking the fibers Paris/Frankfurt
4) rebuilding the network room B (in SBG5). checking fibers Paris/Frankfurt -
Ocelova konstrukce se montuje rychleji. Neni treba technologickych pauz, bez kterych by v betonove stavbe monterum racku cvachtalo v botach :-)
Ocelovou konstrukci lze rozebrat a komplet zrecyklovat. Beton se rozebira blbe a recykluje taky blbe. Da se sice rozdrtit, ale vzhledem k nasakavosti a dalsim parametrum, ktere chce norma, se ho da jako kameniva pro novou stavbu pouzit jenom trochu. Mozna jsou dnesni technologie uz ucinnejsi, ale zlepseni vlastnosti recyklatu taky neco stoji. Nakonec muze byt levnesi ulamat dalsi kus znelce z Marianske skaly :-)
