Názory k článku Když zhasne datacentrum: vyjádření MasterDC k energetickému výpadku

Na vstupu do domu (bytový, ne rodinný s jednou rodinou) jsou typicky nožovky, ne?

Máme nožovky i do RD a jsme jedna rodina :)
Dnes už to jinak nejde.

JJ, pojistokove spodky nebo tak se tomu nejak rika :) Vetsinou dvirka vedle elektromeru

Připojení pomocí ATS není samo o sobě problém je to řešení pro jednozdrojové zařízení, které potřebuji mít zajištěno vůči selhání napájení. Prostě někdy zařízení se dvouma zdroji neexistují. Použití vychází ze statistiky, kdy selhání zdroje je řádově méně pravděpodobné než selhání dodávky el. energie.

To očem vy píšete, že by umřela další větev protože vadný zdroj by vyhodil první větev a byl připojen na záložní a tu by vyhodil také, je problematika jištění a správného návrhu. Stejně tak při dostatečném počtu zařízení roste pravděpodobnost, že mohou selhat dva různé zdroje a každý na jiné větvy.

Zároveň bych upozornil, že článek hovoří o UPS N+1 na větvy B a poruše UPS N+1 na větvy A. (vice versa) Tedy napájení DC je z celkového pohledu v režimu 2(N+1)

Pokud investuji do 2(N+1)režimu, měl bych si být jist, že mi to nevyhodí kravina.

Kolegové správně poznamenali, že dokud neidentifikuji závadu nemám do toho šahat. Spálená pojistka se sice laicky řeší její výměnou, ale správně má být nejdříve ověřeno, že není jiný problém a až následně ji vyměnit, případně jistič "natáhnout". To jsou základní pravidla u elektrikářů s pravidelným přezkoušením.

Zarizeni se dvemi zdroji existuji - bavime se o tom, co se bezne nosi do DC za UPSkou zalohovane vetve - servery, switche, routery, firewally, zdroje presneho casu atd... pripadne u nekterych jednozdrojovych zarizeni je predpoklad, ze provozujete dve v HA (a logicky si kazde pripojite na jinou vetev) - napr. ty zminene firewally.
Dobre spocitane jisteni pred ATS nezabrani tomu, ze vam pri zkratu ve zdroji vypadne napajeni pro cely stojan (pripadne jeho cast). Ja nikde nepsal, ze to nutne musi vyhodit cele datacentrum... ale dostupnost vasi sluzby to proste ovlivni :-) ATS je v tomto spise spise low-cost redundance (a spise odchazeji ty zdroje, nez ze by vypadavaly zalohovane vetve v DC)...

Clanek nehovori o poruse UPS na vetvi B - clanek rika, ze pri havarijnim prepojovani casti zateze z vetve A doslo k vypadku jistice (v 10:43)... no, tyhle veci se obcas stavaji i jinde. Kdyby doslo k poruse druhe UPS, asi by to nenahodili zpet tak rychle (v 11:16), ze ;-) Jistotu, ze vam jistic nevyhodi nejaka kravina nemate nikdy. Ono kdyz vypadne jistic, co ma jmenovity proud ve stovkach amper, tak to nikdy neni kravina. V neposledni rade i ten jistic se muze porouchat (nebo byt treba jen chybne nastaveny, viz link vyse).

A samozrejme, po bitve bude kazdy general. Ono se na internetu se od kafe vzdy lepe teoretizuje a rozmysli, ale zkuste se vzit do role techniku na miste v case vypadku, kde do nej zvenci busi zakaznici s tim, kdy uz jim to teda konecne pojede... a zpravidla ti, co plati nejmene (provozuji low-cost reseni) jsou ti, kteri pak busi nejvice ;-)

Doplním, že jsem byl účasten velké události o povodních 2002 na Karlíně, kdy jsme udržovali v provozu infrastrukturu v době, kdy tam oficiálně nebylo živé duše a Karlín byl "obklíčen" vojskem a policií. Znovu jen zopakuji, že ve většině případů jde o dodržování základních pravidel. Ano nevyloučí, že se tak nestane, ale MTTR i podle jejich záznamů bylo neodpovídající.

Vsak o tom Karline tu je clanek (a diskuze pod nim)... aneb slunickovy to tehda vsude taky nebylo.

Ano sluníčkové to nebylo, padali jsme na hubu. Omezení počet lidí mělo povolen vstup do zóny, např. o DC se pak staral jeden člověk, který tam byl 24 hodin denně nonstop. Plus k tomu pak pomáhali hasičům a dělali jim zázemí, neboť jako jediný jsme měli elektřinu. Kolem padali baráky a přesto se tam lidi snažili zajistit vše , aby v mnoho služeb fungovalo i přes vyšší událost typu katastrofy. V diskuzi pod tím např. není vše pravdivé. Ten údajný manažer co řídil přepojování generátoru jsem byl já osobně. I když jsem vůbec manažer nebyl, pouhý specialista strategie a rozvoje sítě internet online. Jen jsem byl jako jediný ze všech kolegů IOL s elektro vzděláním. A aby to přepojení bylo úspěšné, tak jsem vypracoval plán práce a s montéry prošel každý krok a ověřil, že mají každý potřebný nástroj pro danou činnost bez nutnosti jej hledat, tak aby jsme se mohli v každém okamžiku vrátit ke starému generátoru. K tomu se pojila i hrůza , kdy po přepojení UPS odmítli akceptovat napájecí napětí z nového generátoru a odmítly se nabíjet. Naštěstí pomohlo manuálně snížit a zvýšit frekvenci a ono se to chytlo. A mimo to protože, v karlíně hrozili propady vozovky se jezdilo s cisternou nafty společně s vojenskou tatrou s rozkazem dotáhnout i na smyka bez podvozku. Samozřejmě původní rozvody nešly použít, tak tam se táhl pěkně dlouhý kabel, který opravdu topil jaký proud ním tekl.

Vše růžové nebylo, než šplouchla voda, jsme chtěli jako technici od ředitele schválení pro přenos všeho co jde na Olšanskou, jen místo rozhodnutí bylo ticho, asi nechtěl řešit kdyby to byl planý poplach.

Kluci z master DC udělali co neměli, jak jsem psal. Volili na pohled nejrychlejší a nejjednodušší cestu a doplatili na to s pravděpodobnou design chybou.

Tak ci onak ta diskuze zjevne odrazi zpetnou vazbu tehdejsich zakazniku - a ta asi bude objektivnejsi nez samochvala. A kdyz uz mluvime o design chybach - tak jednou z nich bylo treba uz i to mit datacentrum kousek od reky (zvlaste kdyz se podivame, kde bylo jeji historicke koryto - ostatne Pobrezni nema sve jmeno nahodou...) :-)

Ano, umístnění bylo špatné. Taktéž to odnesl RedBus ten sotva co postavil svoje DC ve stejném areálu tak skončil kompletně vytopen. Také bylo vše jak to šlo okamžitě odvezeno a nikdo se nepokoušel o návrat do dané lokality.

Jen bych konstatoval jednu věc, vše bylo postaveno a naplánováno, tak aby to normální povodeň ustálo, to co přišlo nikdo nečekal. Stejně tak bylo ohroženo a odstaveno DC na Moravě klasifikace TIER III v případě tornáda, tam to také nikdo nečekal. A přitom víme, že větrná smršť je ČR běžná a běžně lítají střechy.

V tomto případě srovnáváte nesrovnatelné. Závada napájecího zdroje je běžný provozní incident. (MTBF daného zdroje a jejich počet) Zatímco Povodeň , Tornádo je vyjímečná událost. Tady si stačí uvědomit, že ani protipovodňová zábrana při výstavbě metra nezabránila jeho zaplavení. Okolnosti, že bylo metro zaplaveno ve větším rozsahu, než muselo být, je jinou otázkou.

Karlin zaplavovala voda odjakziva. Aneb baraky v Karline v dusledku povodni padaly treba i v roce 1845. Ale kdo by se zajimal o historii, vymluvit se na "necekane" je jednodussi :-)

Zrovna tu řeku bych jim nevyčítal, s tím nepočítal nikdo. Desítky let všichni slýchali, že pro ochranu před povodní přece máme přehrady, na Vltavě celou kaskádu. A taky desítky let žádná povodeň v Praze nebyla – naposledy 1940 (před tou z roku 1954 Prahu opravdu ochránily Slapy, akorát že díky tomu, že byly před napuštěním).

Navíc později bylo vypočteno, že povodeň v roce 2002 byla cca pětisetletá – a nemyslím si, že běžné datacentrum má být stavěné tak, aby bez výpadku ustálo událost, ke které dochází v průměru jednou za pět set let.

Ostatně i ta zpětná vazba tehdejších zákazníků ukazuje, že povodeň bylo něco, s čím vůbec nepočítali – a teprve po hodině telefonování uvěřili tomu, že je Praha opravdu pod vodou.

Ne, bezne datacentrum by nemelo byt stavene u vody. Zadne. Predvidat prirodni jevy dost dobre nedokaze nikdo a ze voda v roce 2002 byla "petisetleta" neimplikuje, ze dalsich pet set let se nic podobneho prihodit nemuze... muze, klidne treba uz letos.
Navic do Prahy nepriteka jen Vltava... ona treba i Berounka umi pekne zatopit... a tam zadne "Slapy" nemate, ze :-)

Já jsem nic o implikaci nepsal. Psal jsem, že to riziko bylo všeobecně vnímané jako nízké. Na takovouhle povodeň nebylo připravené ani pražské metro, a tam šlo o trošku jiné hodnoty, než jedno datové centrum. Co je to „u vody“? je to padesátiletá voda? Stoletá? Tisíciletá?

Ano, riziko se vseobecne podcenovalo. A pokud jde o to, "jaka voda" - v minulosti byly mj. vypracovane i plany zohlednujici protrzeni vltavske kaskady. Tzn. stacilo vychazet z techto planu... coz se proste nestalo.

Jak pravděpodobné je protržení vltavské kaskády? Opravdu by někoho při protržení vltavské kaskády zajímalo, jestli běží jedno tuctové pražské datacentrum? To datacentrum není chráněné ani proti pádu dopravního letadla, zemětřesení, cunami, pádu meteoritu. Akorát že lidé chtějí levné datacentrum a nepotřebují být jištění proti takhle nepravděpodobným věcem. A pokud někdo potřebuje mít pokryté i takhle nepravděpodobné události, nebude mít zařízení v jednom superbezpečném datacentru, ale v několika datacentrech, která jsou dostatečně daleko od sebe.

Vzdyt to, jak se lidi muzou zblaznit (po**at), kdyz chvili nebezi jedno tucove prazske datacentrum krasne odrazi tato diskuze :-) Uz vidim, jak tihle borci najednou smirlive a s pochopenim prijimaji skutecnost, ze datacentrum splachla velka voda nebo na nej spadlo to ledadlo, kdyz nedokazou prekousnout ani to, ze i pri sebelepsim navrhu muze elektrika obcas vypadnout...

Datacentra se ovšem nestaví pro to, aby se vyhovělo pár křiklounům v diskusi. Výpadek rozvodny VVN by tuctové datacentrum mělo ustát. Předpokládám, že MasterDC v tuto chvíli šetří, co přesně se stalo – zda mají chybu v návrhu a výpadek chodovské rozvodny by je sestřelil stejně i před půlrokem nebo znovu za půl roku. Nebo zda selhalo ještě něco jiného, co se nedá s rozumnými náklady zajistit (a svou pravděpodobností tedy ta událost byla podobná třeba té pětisetleté vodě nebo pádu meteoritu.)

Ale oni technicky vzato vypadek v 8:49 ustali - vetev B byla funkcni - a to, ze dojde k technickemu selhani UPS na vetvi A... no, se stat muze. Kratke vypadky na VVN jsou i v Praze pomerne caste (vesmes kratke), takze pri spatnem navrhu by se chyba projevila vyrazne driv.

Tady jde o něco jiného. Za prvé Internet v roce 2002 a v současné době je velký rozdíl a to v závislosti ekonomiky.

Každá událost slouží i ostatním k poučení, kde se stala chyba a co udělali špatně a tedy kde mohu mít chybu i já.

I díky vám se ukázalo, že většinou jde o selhání lidského faktoru viz váš příklad TTC, které to však přiznalo.

U master dc nedošlo k přiznání chyby, ale jen popisu co se dělo. V rámci diskuze byli předloženy různé pohledy, včetně informací o chování UPS v případě zkratu na výstupu UPS. Což mě a myslím, že další lidi vede k předběžnému závěru, že došlo taktéž k selhání lidského faktoru, resp. obsluha neměla dostatečné znalosti o chování UPS a podstoupila rizikovou operaci. Pokud ji měla tak to holt nevyšlo.

Nikdo nezpochybňuje to, že nemůže dojít k závadě. Podle Murphyho k ní dojde obvykle v nejméně vhodnou dobu. Což se naplnilo.

Proto ta konstruktivní kritika se zdůvodněním práce kluků z master. V tomto případě ten výpadek se zdá být zbytečným a ne způsoben souhrou okolností bez možnosti ovlivnění obsluhou.

Domnívám se, že spousta lidí si až teď uvědomila, že jistič za UPSkou, neřeší vše co si mysleli.

Hodnoceni z roku 2002 clanek take obsahuje. Z 319 respondentu ~69% hodnotilo reseni jako spatne :) Z diskuze je patrna i (ne)dulezitost - ale chapu, vy sam se musite vychvalit a kriticke hlasy z te doby proste budete bagatelizovat...

Co tu porat mumlate o neznalosti chovani UPS? Jedine, co se v ramci havarijniho prepojovani casti zateze z vetve A na vetev B doopravdy stalo je v 10:43 vypadly jistic pred UPS. A v textu clanku, ktery komentujete to mate popsane. Z textu je rovnez patrne, ze take nevybavil podruzny jistic po ceste. Vite proc? Nevite, jen tu varite z vody. Ano, mohla to byt lidska chyba - ale klidne mohlo jit jen o technicke selhani toho podruzneho jisticiho prvku (ano, i jistice odchazi).
A vypadek UPS na vetvi A byl instantni, ta vetev vypadla uz v 8:49. Tam o zadnou lidskou chybu neslo. Selhala technika. No a datacentrum na te vetvi ma zakazniky, co druhou vetev privedenou nemaji (vc. takovych, jako je treba Cesky Rozhlas ci Ceska Televize) - ale i tihle zakaznici urcite ve smlouve maji nejake SLA. Takze ta vase idea na nic nesahat a nechat tyhle zakazniky proste odpojene je formalne vzato holy nesmysl. Postupovali podle havarijniho planu, ktery pro takovou situaci maji vypracovany (a viditelne je na takovy scenar pripravena samotna energeticka infrastruktura) - ne jako ty vase improvizace s poddimenzovanym kabelem hozenym z okna ;-)

Domnívám se, že jsem vcelku srozumitelně popsal proč a kde udělali chybu. Když si přečtěte ten technický dokument o funkci UPS, tak pochopíte proč jejich postup bez nahození vypadlé větve aspoň bez UPS byl risk. Skoro to vypadá jako by jste tam pracoval a nechcete si to přiznat. Pokusme se opravdu na to podívat i z pohledu jak tomu předejít. Může to být poučné i pro spoustu malých DC v továrně, ale i v nemocnicích.

Nebyl jste tam, neznate mistni podminky.... ale bezpecne vite, v cem udelali chybu. Tak jisteze. Podle popisu proste jen vybavil jistic u vyvodu z UPS (chranici samotnou UPS pred ucinky zkratu). Takze cele to vase pojednani o reakci UPS na zkrat je sice pekne, ale v kontextu celeho incidentu naprosto o nicem.
Kdyby tu vetev nahodili nejdriv bez UPS, tak to nevyresi nic - k havarijni manipulaci s prepojenim single-feed zakazniku by vysoce pravdepodobne muselo dojit, nechat X dalsich dni zakazniky mimo UPS by asi bylo o poruseni SLA - i zakaznik s jednou vetvi si plati za to, ze vetev bude zalohovana (a ne pripojena natvrdo). A i pri tom prepojovani "po testu" se muze neco pokazit - to jsou veci, ktere proste nepredpovite (a zjevne ani nepripoustite). A jeste jako bonus by to meli ti zakaznici s dalsim nerizenym vypnutim svych serveru "natvrdo" v dusledku toho jako "blikani" treba jeste vic rozbitymi filesystemy... tady se presne ukazuje, ze premyslite "uzkoprofilove" jen jako elektrikar, co ma nulovy vhled do technologie na konci dratu - a je mu to vlastne jedno, co se deje dal...

Pokud by jste četl, ten dokument tak se dozvíte, že většinou UPS není schopna odbavit zkrat a proto si pomůže bypasem. Tedy zajistí dostatečně tvrdý zdroj pro odbavení zkratového proudu a ano máte pravdu, tady nastupuje jistič před UPS, který to má ustát. V jiném případě je pak defakto UPS k ničemu.

Samozřejmě nic jistého nevím, dedukuji. Také jsem poznamenal, že vyjádření master dc je neúplné z tohoto hlediska. Vámi zmiňované TTC uznalo lidskou chybu se špatně nastaveným jištěním.

Co se týče mého vzdělání, tak elektroprůmka a mikroelektronika na VŠ, tedy můj pohled není úzkoprofilový, ale právě velmi široký s uvědoměním si, že vše na sebe navazuje a jedno bez druhého v krizi selže.

Tady ještě doplním, že opravdu kluci z master DC neměli na to šahat, pokud neznají co se může stát.

Stačí si přečíst dokument výrobce UPS, jak se UPS chovají v případě zkratu.

https://www.eaton.com/content/dam/eaton/markets/data-center/documents/power-source-behavior-and-effect-of-power-distribution.pdf

Tedy prvně měli zprovoznit nefunkční větev aspoň bez UPS nejlépe s napájením ze sítě příp. dostatečně silným generátorem, aby spolehlivě mohla vybavit při správné selektivitě příslušná ochrana a až pak se pokoušet- přepojovat zařízení, neboť i jak zmiňuje dokument v odkazu, riskovali odpojení UPS a přepnutí na bypass což u single přívodu, nemusí technika ustát. A někdy to vezme režimem, kdy to zařízením nevadí a někdy v režimu, kdy je zaznamenán krátkodobý výpadek. Pokud UPS nedokáže dodat proud na vybavení ochrany, tak to vezme přes bypass, který by měl již odbavaní ochrany zvládnout. Hlavně by měli v momentě práce, vždy další funkční větev i když už ne zálohovanou. Takto neměli nic.

Tak si znovu prectete report z TTC. Proste nic vam nezaruci, ze v ramci toho prepojovani neco neshori a nasledne nevyhodi vse okolo. Druha vec je, ze to nouzove prepojeni ze site/generatoru vetve A na zalohovane vyvody vetve B by bezvypadkove rozhodne nebylo - takze to mate s dalsim vypnutim serveru natvrdo... no jejich spravci by Vam jiste pekne podekovali.
Dle dostupnych informaci v MasterDC postupovali podle havarijnich planu. To jsou dokumenty, ktere mozna rizika analyzuji a zohlednuji. Tvrdit, ze nevedeli, co delaji je hodne odvazne. Zrovnatak muzu tvrdit, ze vy v Karline jste mel jenom zprdele kliku, ze to tam neshorelo cele (viz ty zminky o topicim kabelu, to znamena ze byl asi poddimenzovany, ze? ).

Princip je jednoduchý, postup práce musí být takový aby neohrozil fungující věci s výjimkou záchrany vyšších škod. Topící kabel byl nouzově natažený a ano hlídal se. Vyhoření nehrozilo byl natažen z okna venkem ke generátoru.

Zapojení vypadnuté větve, nebylo myšleno způsobem odpojení funkční větve.

v Reportu TTC je chyba výpadku zřejmě označena v bodě 2 - sumarizace chyb

lidská chyba na straně dodavatele zařízení pro projekt Náhrada zastaralých UPS, kdy nedošlo k ověření správnosti nastavení jistící ochrany v nově dodávaném prvku výstupního jištění UPS = první výpadek

Proto jsem popisoval v jiném příspěvku, že jsem kontroloval činnost montérů při přepojování generátoru. Aby nedošlo k průšvihu. Připravenost, přesné pojmenování a návaznost kroků, které budou dělat vždy s identifikací jestli se můžeme vrátit okamžitě nebo dostatečně rychle zpět. (předělání způsobu připojení).

V těchto situacích je potřeba se zastavit a říct si co se stane, když a podle toho postupovat. A hlavně kontrolovat. Checklisty.....

Je to to co jsem uvadel v diskusi. Kultura vícenásobné zpetne kontroly. Poradek a navaznost praci. To nam v nasi kulture dost chybi. Cest takovym výjimkam dokazi organizovat a maji predstavu o navaznosti kroku.

Jsem rad ze je tu nekdo z praxe kdo to na realnem prikladu popsal.

A nemyslete si ze treba na elektrarnach je proti DC je situace lepsi. Vzhledem ke komplexite a konzervativnosti tohoto průmyslu horsi. Lidsky bordel a zbytecna/zastaraly zpusob vedeni procesu.

Btw: V Karlíně se nam oddelalo pole, ale DR plan vetsinou fungoval. Kde myslite ale ze byla cast ulozen havarijniho planu ? Nekde na tom poli... Tridente vyzer si to... nebo si dej kokes z firemni lednicky az to skonci.

Jasne, byl natazen z okna a proto ten kabel nemohl zahoret... :-) A stala u nej nepretrzite hlidka s kyblikem vody, ktere bylo vsude okolo dostatek, ze? :-D Mluvit o pripravenosti, kdyz jste vse napajel poddimenznovanym kabelem (system, co se kde zrovna narychlo vyhrabalo) je fakt vtipny. Kdyby to fakt zahorelo, tak vam zadny checklist nepomuze. Proste jste mel jen kliku, ze se nahodou nic nestalo...

Podívejte se na tabulky povoleneho oteplení běžných kabelů, budete se divit.

Zbyva malickost - verohodne prokazat, ze jste se v mantinelech tech tabulek skutecne pohyboval :-) Zatim tu mame jen vase namachrovana tvrzeni...

12. 6. 2022, 17:14 editováno autorem komentáře

To, že udržíte ruku na takovém kabelu je dostatečný ukazatel.