Požár datacentra OVH ve Štrasburku

Může mi někdo vysvětlit, jak je možný, že v datacentru, kde jsou všude čidla a hasivo, sprinklery apod. se tohle stane?

Detektory tam měly, ale sprinkely prý ne.

Snadno - lowcost datacentrum, co nema hasici system, ale jenom cidla s napojenim na hasice. Docela bych si vsadil, ze treba AWS to bude mit podobne, proto vsichni cloud provideri rikaji "pokud chcete HA, vytocte si druhou instanci jinde".

pokud chytne něco z venku, tak sprinklery, čidla, plyn mi je k ničemu, to je proti zahoření serverů uvnitř. Pokud se požár rozšíří z venku, mám třeba pár minut, že to chytne celé.

Člověk by čekal, že datacentrum by shořet nemělo (při těch všech protipožárních opatřeních), ale jak ukazuje i česká zkušenost (třeba bývalý OP Prostějov), možné je vše.

Ta serverovna v Prostejove mela od "datacentra" hodne daleko..

Takhle nam jednou nekdo povidal, jak horelo datacentrum v Praze. Po revizi tech velkych vetraku centralni klimatizace. Revizni technik je zkontroloval, odskrtnul fajfky v lejstrech, a pripojil je na zpetny chod...

10. 3. 2021, 09:56 editováno autorem komentáře

Zaujimalo by ma co tam zacalo horiet. Boli to baterie v UPS ? Dieselgenerator ?

To mohlo být cokoliv i mimo datové sály, i z těch fotek je patrné, že v obálce budovy figurovaly syntetické materiály. Sendvičové panely, pohledové kryty všeho, kabely, textilní prvky... většina těch materiálů má nějakou požár zpomalující normu, ale když se to rozjede, tak se ty jednotky MJ/m² prostě na svobodu dostanou.

zaznamenal jsem něco, že prý kabeláž od UPS.

Octave Klaba (zakladatel OVH) dnes řekl, že že mají snímek z termokamery, ze kterého je patrné, že hoří UPS 7 a 8. A na UPS 7 předtím ráno dodavatel dělal servisní zásah, vyměnil tam několik dílů.

Teď jsou data doslova v cloudu. ;-)

čoudu :)

On to tak myslel jen tys to nepochopil.

už v božím cloudu

Při dnešní míře redundance, je vskutku instalace sprinklerů zbytečná.

Obligátní xkcd to říkal již dávno:
https://xkcd.com/1737/

V serverovně nemůžou být sprinklery, elektřina se vodou nehasí. V labu Sunu na Chodově se hasilo inertním plynem, byly tam velké tlakové lahve. Teda nechtěl bych tam při aktivaci systému být, asi by se tam dost špatně dýchalo.

Proto to taky před spuštěním systému varuje, abyste urychleně opustili prostor :-)

Tak nějak by to mělo být, jen jsem netušil, že přežít by to mělo jít v bezvědomí :). Měl jsem za to, že je to namíchané akorát aby podíl kyslíku v atmosféře klesnul trochu pod hranici, kdy jsou schopné okolní předměty hořet. Ale možná i přesto by toho kyslíku pro trochu normální fungování lidí bylo málo.

Další legrace při hašení inertním plynem je (teď z hlavy nedodám odkaz, musel bych hledat), že pokud se to navrhne blbě a vyústění potrubí s hasicím plynem je nevhodně tvarované a/nebo je příliš vysoká rychlost proudění plynu, dokáže to vytvořit takový hluk, že to poškodí nebo zničí HDD v serverech. To by případnému nešťastníkovi uvězněnému v serverovně asi taky dvakrát neprospělo.

Mně ale vrtá hlavou ještě jiná věc - co vlastně může v datovém centru tak dobře hořet, a co tam prakticky může nějak snadno chytit. Samotná technika je převážně plech, racky jakbysmet, vlastní elektronika na PCB, což taky není úplně ochotně vznětlivý materiál (snad jedině když už se požár rozjede), a něco plastu. Snad ještě kvanta kabelů, ale tam bych čekal, že na nich budou použité samozhášivé plasty, o hasicím systému nemluvě. Evidentně to je nějak jinak, ale docela by mě to zajímalo, proč/co tam tak snadno chytilo a proč se to tak rozhořelo. Jo, ještě by to mohla teoreticky podpořit vzduchotechnika, ale i tak...

Tak to mate jako se spalovnami.. prece domaci odpadkac nehori. (ale jasne, vetsina odpadu je organickeho puvodu, takze je jenom otazkou teploty kdy, ne zda to shori)

U te elektroniky, to mate vodice, polovodice a nevodice (izolace a prislusenstvi), sem tam nejaky elektrolyt. Predstava, ze rack je hlavne "zelezo" je licha.. je tam spousty toho, co kov neni, a to hori. A pak hori i ten kov - viz ty diry v kontejnerech, nebo kdyz vam silovej kabel natahne oblouk - hori kabel? jiste ze jo.. kdyz mu date spravnej proud :-)

Prekvapuje me spis ze nemaji centralni "pojistky" - v pripade problemu je treba zastavit prisun energie a zbytecne nekrmit "retezovou" reakci.. ale poznejte, ze vam neco hori, pri spotrebe v radu MW :-) Druha vec co me zajima, je jak tam meli reseny UPS - zda nahodou za kompletni destrukci nemohli baterie distribuovane mezi jine vybaveni.

Tak to mate jako se spalovnami.. prece domaci odpadkac nehori. (ale jasne, vetsina odpadu je organickeho puvodu, takze je jenom otazkou teploty kdy, ne zda to shori)
Jasně, ale ono to ani v té spalovně není tak jednoduché. Někdy odpad hoří pěkně sám a někdy, pokud má nevhodné složení, je vlhký apod. je třeba pod ním přitopit plynem. V podobném duchu se nesl i můj dotaz.

U te elektroniky, to mate vodice, polovodice a nevodice (izolace a prislusenstvi), sem tam nejaky elektrolyt. Predstava, ze rack je hlavne "zelezo" je licha.. je tam spousty toho, co kov neni, a to hori. A pak hori i ten kov - viz ty diry v kontejnerech, nebo kdyz vam silovej kabel natahne oblouk - hori kabel? jiste ze jo.. kdyz mu date spravnej proud :-)
O tom taky není sporu. Jde mi spíš o to, že tak nějak v průměru mi servery a ta bižuterie okolo nepřijdou jako nějak dobře hořlavý materiál - jasně, že když je hodím třeba do té spalovny, tak shoří taky, částečně včetně kovových součástí. Ale když se je pokusím zapálit třeba letlampou, tak to asi žádná velká paráda nebude. Jinými slovy - asi to chce nejdřív pořádný zdroj tepla, aby se to pořádně rozjelo a pak shořelo celé DC. A to by mě právě zajímalo, od čeho to vůbec vzniklo a jak se to šířilo (nebo nějaká zkušenost či podložená hypotéza). To se ale určitě časem dozvíme.

Prekvapuje me spis ze nemaji centralni "pojistky" - v pripade problemu je treba zastavit prisun energie a zbytecne nekrmit "retezovou" reakci.. ale poznejte, ze vam neco hori, pri spotrebe v radu MW :-) Druha vec co me zajima, je jak tam meli reseny UPS - zda nahodou za kompletni destrukci nemohli baterie distribuovane mezi jine vybaveni.
Předpokládám, že to snad má každá elektroinstalace :). Spíš bych řekl, že si toho všimli pozdě na to, aby to odpojení nějak víc pomohlo. Pro detekci požáru bych očekával obyčejné detektory kouře, taky by mě překvapilo, kdyby tam mj. neměli monitoring pomocí kamer v serverovnách. Možná si to ale jen maluju moc na růžovo :).

S těmi UPS to je zajímavá domněnka, teď jde o to, jak by k požáru měly přispět. Jedna možnost je, že by tam prvotně došlo k úniku vodíku a kyslíku z baterií z UPS a následnému výbuchu/požáru. Další možnost, co mě napadá, je požár z jiného zdroje a UPS by to následně přiživily zkratem baterií (teď je otázka, ja moc to je pravděpodobné) - ale to jen spekuluju :). Mimochodem, jsou v takhle velkých instalacích používané konvenční UPS s Pb akumulátory, nebo se to řeší něčím jako rotačními UPS?

Snad ještě kvanta kabelů, ale tam bych čekal, že na nich budou použité samozhášivé plasty

Pokud vím, tak se vyrábějí kabely, které se vznítí až při větším žáru a hoří pomaleji. Ale nehořlavé, natož zhášecí nejsou. Takže jakmile se požár dostane až k nim, tak stejně hoří. Smysl to má jen kvůli tomu, že v nich požár snadno nevznikne, a při malém žáru začnou přispívat k šíření tak rychle.

Zbytek úvah - no, ino, OVH je low end nejlowendovatější, takže je možné, že to je důsledek "ekonomického" chování. Líto je mi těch lidí, kteří žijí v přesvědčení, že provider vše ochrání a ručí za to, že se datům nikdy nic nestane.

Pokud vím, tak se vyrábějí kabely, které se vznítí až při větším žáru a hoří pomaleji. Ale nehořlavé, natož zhášecí nejsou. Takže jakmile se požár dostane až k nim, tak stejně hoří. Smysl to má jen kvůli tomu, že v nich požár snadno nevznikne, a při malém žáru začnou přispívat k šíření tak rychle.
Myslel jsem to zhruba tak, že opláštění vodičů/kabelu by mělo být z materiálu, který jak říkáte začne hořet jednak při vyšší teplotě než by byla u "běžného" materiálu, a za druhé obsahuje složky, které zpomalují/zne­možňují hoření - a to ne tak, že by snad kabel přežil požár bez újmy, ale že materiál sám o sobě hoření neudrží bez energie dodávané externě.

Zbytek úvah - no, ino, OVH je low end nejlowendovatější, takže je možné, že to je důsledek "ekonomického" chování. Líto je mi těch lidí, kteří žijí v přesvědčení, že provider vše ochrání a ručí za to, že se datům nikdy nic nestane.
Tak o OVH nevím prakticky nic, ani že je low-end :). Tím se možná dá leccos vysvětlit, pokud se šetřilo na nesprávných místech. Jinak taková blbost jako že bych věřil, že u providera je to všechno v suchu, by mě nikdy nenapadla, to se nebojte :).

Ony existují různý kabely. Třeba ty se silikonovou izolací. Hoří jenom když dostávají energii zvenčí a jinak zhasnou. A když už hoří, kouř není toxický. Proto se používají třeba na osvětlení únikových cest, v prostorech s větším množstvím lidí... Jenom to nikdo nekupuje, pokud to fakt není nutný.

Třeba LAPP vyrábí ÖLFLEX HEAT 180 H05SS-F EWKF 5G2,5, ale za metr dáš kolem 230Kč u výrobce a obyčejnou CYKY J5x2.5 máš o 200 na metru levnější. A představ si uličku 20m dlouhou, v ní 16 racků, ke každýmu přívod z jedné větve leva, z druhé zprava, něco k rozvaděči... 50m na rack, 800m kabelu, 160 000 Kč navíc jenom na přívodu šťávy k jedné uličce... Máš tam několik řad a dostaneš se na megový příplatek.

V prostoru datovýho sálu, kde není potřeba ochrana vyššího počtu osob, dostane se tam jenom proškolená obsluha a ještě jenom občas, kde podle analýzy rizik bude v nejbližších 10 letech hořet s pravděpodobností třeba 0.1%, takovou investici prostě neobhájíš.

Mně spíš napadla jiná věc - nebylo by možné takovéto sály pořádně utěsnit a místo běžnou atmosférou napustit dusíkem? Pak by tam hořet nemohlo. Jen měniči disků by tam holt museli lézt s dýchacím přístrojem.

to se samozřejmě dělá, napouští se to pak inertním plynem, ale pokud se mi požár rozšíří z venku, udělá si tam díru (poruší hermetičnost) a vnikne dovnitř, pak jakýkoliv takovým plyn není účinný a je okamžitě pryč, často ten samotný plyn hoření urychluje (v kombinací s kyslíkem z venku).

DC jsou z pohledu požárů sranda, polovina spotřebované energie jde do cirkulace vzduchu, běžně v budovách mi vduch pěkně stojí a izoluje a požár se šíří úměrně obsahu, ale v DC má každá prkotina větrák, obrovská klimatizace žene masy vzduchu sem a tam, oheň je nadšený. Pokud nemám tlačítko okamžitého vypnutí, tak mám zpravidla opravdu jen pár minut než to blafne celé.

Ještě větší sranda jsou oleje, poslední trend je nakládat vše do různých olejů. Ty vypadají podle datasheetu úplně ideálně, ale postupem času se do nich uvolní poměrně dost cizorodných látek, které snižují teplotu vzplanutí'. I ty nejodolnější silikony nebo fluorované uhlovodíky končí s teplotní odolností u 300 - 500 stupnů, pak nám pěkně toxicky hoří. Mají další výhodu, jakmile se začnou rozpadat, tvoří si vlastní kyslík, takže až tohle bude někdo hasit, užije si spousty zábavy.

Člověk uvězněný v hořící serverovně ve které se spustil halonový hasící systém = mrtvý člověk. U tohohle bych zůstal a nikomu nevykládal o kyslíku který tam přidávají. Podle mne nepřidávají. A je to uplně jedno. Zustaneš li v serverovně během požáru tak jsi mrtvý Dejve. Mrtvý.
Doporučim dobré přehledné čtení: http://metodika.cahd.cz/konspekty/1_1_05.pdf

A jinak se ted nově do serveroven montuje hasivo hasivo 3M Novec 1230 prý o je ekologický. Více na webu prodejce https://www.3mcesko.cz/3M/cs_CZ/novec-ctl/applications/fire-suppression/

To, čím se vmetá intertní plyn do prostoru se taky nazývá "sprinkler".

Z Pajkusova blogu o návštěvě datacentra Microsoftu:

Teraz perlička – ako hasí Microsoft prípadný požiar v sále? Moderné dátové centrá na Slovensku majú komplikované a rozsiahle systémy hasenia na báze inertných plynov. Ten sa vženie do celej sály aby sa eliminoval oheň a zároveň aby ľudia vedeli dýchať a technika sa nepoškodila.

Čím hasí Microsoft? Vodou, usmieva sa náš hostiteľ, je to lacné. Máme vyrátané, že pri hasení vodou zničíme naraz najviac tri racky – vraví. To je nič, všetky dáta sú rozkopírované aj inde, takže len vymeníme celé racky, pozrite, tu za rohom už máme prichystané náhradné, veď sú lacné.

Tak ono je rozdil zda je to server housing, kdyz se musi chranit i majetek zakazniku (typicke ceske DC), nebo zda poskytuji jenom sluzby (napr. VPS se storage v uplne jine casti, pripadne geo-zaloha, nebo ciste jen sluzby) kde vypadek jsou pripraveni vykrejt / data obnovit ze zalohy, jine kopie.

To jeste bude vesely....
Plan for the next 1-2 weeks:
1) rebuilding 20KV for SBG3
2) rebuilding 240V in SBG1/SBG4
3) verifying DWDM/routers/swit­chs in the network room A (SBG1). checking the fibers Paris/Frankfurt
4) rebuilding the network room B (in SBG5). checking fibers Paris/Frankfurt

Zrovna před měsícem jsem ze Štrasburku přemigroval farmu od OVH k Hetzner. Uff.

10. 3. 2021, 18:05 editováno autorem komentáře

Vsimam si ze je posledni dobou (Minimalne po evrope viz maincubes) celkem trend provozovat datacentra v takovychto plechovych krabicich. Nevim jestli pro ne maji treba vyhody oproti betonu?

Cena (materiál stojí míň, práce stojí míň, technika je lacinější, času se s tím stráví míň, ...).

Ale je to vycpaný polyuretanem a dalším palivem :-)

Hledal jsem fotky jak to vypada zevnitr.. a nektere hodne dense reseni co OVH ma jsou takove zahustene "google open rack" servery - takze pomer zeleza vs. aktivnich topidel a FR4 paliva, je tam zcela jiny nez v klasickem, poctivem serverovem racku :)

Ocelova konstrukce se montuje rychleji. Neni treba technologickych pauz, bez kterych by v betonove stavbe monterum racku cvachtalo v botach :-)

Ocelovou konstrukci lze rozebrat a komplet zrecyklovat. Beton se rozebira blbe a recykluje taky blbe. Da se sice rozdrtit, ale vzhledem k nasakavosti a dalsim parametrum, ktere chce norma, se ho da jako kameniva pro novou stavbu pouzit jenom trochu. Mozna jsou dnesni technologie uz ucinnejsi, ale zlepseni vlastnosti recyklatu taky neco stoji. Nakonec muze byt levnesi ulamat dalsi kus znelce z Marianske skaly :-)

Dobry emc stineni a muze do toho rachnout blesk bez vetsich skod. V pripade rozsireni nebo oprav vymenis kosticku.

Recyklovat a likvidovat to jdevlip jak beton. Pokud se to nejaky tlusty babe v parlamentu nebude libit muzes to odstehovat.

To jsou konspirace, kazdy material, i nehorlavy, je horlavy. Zkuste treba google, napovim kyslik.