Hlavní navigace

Když zhasne datacentrum: vyjádření MasterDC k energetickému výpadku

3. 6. 2022
Doba čtení: 2 minuty

Sdílet

 Autor: © kiri - Fotolia.com
Ve čtvrtečních dopoledních hodinách došlo k velkému výpadku dodávky elektrické energie v Praze. Problém zasáhl i datacentrum MasterDC, kde se ale situace zkomplikovala natolik, že vypadly obě napájecí větve.

Výpadek zasáhl i servery společnosti Internet Info, která provozuje také Root.cz. Po obnově provozu jsme o situaci napsali ve zprávičce. Společnost Master Internet, která provozuje datacentra MasterDC slíbila zveřejnění podrobnosti o výpadku. Vydáváme celé oficiální vyjádření společnosti:

Vážení zákazníci, 

zdravím vás den poté, co naše pražské DC zasáhly následky masivního výpadku dodávek  elektřiny v části Prahy. Hned v úvodu se jménem MasterDC všem omlouvám za  způsobené komplikace a zároveň děkuji, že jste nám dali čas. Jak jsme včera avizovali,  byl nezbytně nutný k důkladnému prošetření celého incidentu a sestavení časové osy.  Rozhodl jsem se celou situaci transparentně komunikovat.  

Níže tedy najdete následující: 1. k čemu došlo, 2. jaká je aktuální situace, 3. co nás  v nejbližších dnech čeká a 4. jaké kroky jsme přijali do budoucna. 

Ve čtvrtek 2. 6. 2022 v 8:49 ráno zaznamenal náš monitoring výpadek napájení z distribuční sítě dodavatele PRE. Automatický systém zálohovaného napájení okamžitě  převzal na větvi B systém UPS v režimu N+1 a následně motorgenerátor na větvi B. Na  napájecí větvi A došlo ve stejnou chvíli k selhání soustavy N+1 UPS jednotek z důvodů,  které jsou v tuto chvíli stále v šetření (jedním ze scénářů je abnormální přepětí v síti – zcela potvrdit to nyní však nemůžeme). Jeden z motorgenerátorů v soustavě N+1 nastartoval, ale problém na soustavě UPS byl natolik vážný, že neproběhl bypass UPS  a napájení větve A selhalo. 

V souladu s krizovým plánem pro tyto situace přistoupili pracovníci technického týmu  k přesouvání vybraných zařízení větve A na sekundární větev B. Jeden z přepojovaných  prvků způsobil zkrat, který vyhodil hlavní jistič (na trase byl i podružný jistič, který však  nevybavil). Tím nastal v čase 10:43 výpadek i větve B. 

Jednalo se tedy o extrémní případ souběžného selhání několika záložních a jisticích  prvků v soustavě. Zde bych rád uvedl, že všechny tyto technologie splňovaly  kvalitativní standard datacentra včetně pravidelných revizí a testování,  rovněž i postup personálu se po vyšetřování ukázal být v souladu s krizovým plánem. 

Včera jsme zmínili, že ke zprovoznění napájení došlo před 13. hodinou. Musíme  upřesnit, že v tomto čase jsme již evidovali kompletně obnovený provoz datacentra.  Ke zprovoznění napájecí větve A došlo v čase 11:11, napájení na větvi B bylo  zprovozněno v 11:16. V průběhu odpoledne jsme se pak věnovali primárně asistenci  zákazníkům s obnovou provozu jejich aplikací.

Stav k 3. 6. 2022, 18:10 je následující: 

  • všechny zákaznické služby v provozu; 
  • se servisní organizací jsme naplánovali revizní a servisní práce na obou větvích,  které proběhnou příští týden v úterý 7. 6. 2022, 19:00 – 21:00 na větvi B a ve středu 8. 6. 2022, 5:00 – 7:00 na větvi A. Středeční ranní zásah na  větvi A se neobejde bez servisní odstávky celé větve. Prosím sledujte dál naši  komunikaci, o zásazích vás budeme ještě informovat standardní cestou. 

Kromě výše zmíněných kroků jsme se rozhodli přistoupit ke kompletní obnově soustavy  UPS jednotek pro větev A od nového dodavatele. Další opatření aktuálně nezamýšlíme – konfigurace veškerých prvků (MTG, UPS, klimatizace a další) je v módu minimálně N+1 a příčinou tohoto výpadku tedy nebyla nedostatečná redundance. 

Děkujeme za podporu, které se nám od mnohých z vás dostalo i veřejnou cestou.  Za MasterDC 

Filip Špaček, provozní ředitel

Byl pro vás článek přínosný?

Autor článku