Ve středu požár zničil datacentra SBG2 a částečně SBG1 patřící OVH ve Štrasburku. OVH je největším hostingem v Evropě a třetím největším na světě. Přerušen byl provoz například bezplatného šachového serveru Lichess.org, servery pro hru Rust a stránky VeraCrypt.
Zakladatel OVH Octave Klaba zveřejnil video, kde popisuje co se stalo a jak bude postupovat obnova. Podle něj požár zřejmě začal v místě dvou UPS. Jedna z nich byla navíc nedávno opravována.
(zdroj: bleepingcomputer)
A co teď asi může podpora dělat jiného? Kdyby to nedělali takhle, tak vám zatím neodpověděli vůbec, protože by váš ticket byl někde daleko ve frontě. Nechápu, jak jste přišel na to, že všichni nemakají – ona jaksi podpora je logicky dimenzovaná na normální provoz, ne na nedostupnost celé jedné lokality.
100% souhlas .... ticketů na odbavení tam mohou teď mít tisíce, spíše desítky tisíc. I kdyby s těmi tickety pomáhali netechničtí pracovníci, tak to stejně nejde rozumně odbavit, natož v nějakém individuálním režimu.
Pro tohle bych měl zrovna pochopení, byť z druhé strany chápu, že pokud tam měl někdo server/servery a ani neví zda bude nebo nebude mít data, je to pro něj krajně nepříjemné ... a například informace zda data budou nebo ne by ovlivnilo další postup.
Informace, zda data budou nebo nebudou, ale OVH rozesílá. Majitelům VPS šel včera obecný e-mail (které lokality jsou postižené)*), dnes už přišel konkrétní e-mail „VPS xy nebude možné obnovit“.
*) Trochu problém je v tom, že OVH má tradičně guláš v označování. Ve včerejším e-mailu bylo, že servery v datacentru SBG2 (zóny sbg-1, sbg-2 a sbg-4) nebude možné obnovit. Já jsem přitom měl v administraci napsánu zónu sbg-1 ale lokalitu SBG1, což je v rozporu s e-mailem. Teď je to značené zase jinak – lokalita SBG a zóna „OpenStack: os-sbg2“.
Co jsem se tak dozvěděl z neověřených informací, tak tam prý bylo zanedbáno několik věcí ohledně požární bezpečnosti ( prý jde o low-cost datacentrum ).
Někteří co to tam hostovali ani neměli zálohy geograficky oddělené, případně byla záloha do budovy vedle, která taky utrpěla poškození.
https://www.vortex.cz/rust-prisel-pri-pozaru-o-evropske-servery-a-jejich-data/
"Podle autorů Rustu je offline 25 evropských serverů a potvrdily se vážné obavy, že se ztracená data nepovede nahradit ani obnovit."
Tezko rici kdyz clovek nezna pozarni predpisy dane zeme. Nekdy je pozar proste kalkulovany risk.
Kdy se pocita ze budova muze cela lehnout popelem, ale porad je to levnejsi nez pozarni zabezpeceni. To zejmena v pripadech kdy je sance ze jsou pozarni zony volne a budova je uprostred niceho.
Kdy pozar nema sanci se sirit.
Hlavni fail od pohledu je ze ty budovy nemeli dist dakeko od sebe aby mohlo dojit k izolaci pozaru. Ok beru uspora mista. Precijen ten pozemek muze byt hodne drahy.
V takovem pripade aspon rozvody na vnejsi ochlazovaci vodni steny.
Díky za názor.
Přijde mi málo pravděpodobné, že by kalkulace nechat to vyhořet, byla levnější, než tam zrealizovat napuštění nehořlavým plynem.
Ale našel jsem diskuzi zde:
https://www.root.cz/zpravicky/pozar-datacentra-ovh-ve-strasburku/
Tak to tady asi nebudeme duplikovat.
pokud požár vznikne vně budovy v technickém zázemí, napuštění plynem je úplně neúčinné. Jakmile požár pronikne do hermetizované sekce, její těsnění poruší a napuštění plynem nic nevyřeší.
Požární zabezpečení servoven je velký oříšek a v podstatě se to nedá vyřešit dobře, OVH se netají tím, že stahuje náklady dolu, takže ano, kalkulují s rizikem, ale na jejich obhajobu, mají těch lokalit snad stovky a požár tohoto rozsahu je první, co si pamatuji.
Datacenter mají přes 30 (na webu různě uvádějí 30, 31, 32).
Podle mne mají spíš ten přístup, že se snaží minimalizovat riziko vzniku nějaké mimořádné události. Takže tam mají počítače, které staví jeden jako druhý, případě problému určitě vyměňují kus za kus – takže minimalizují přítomnost lidí tam, minimalizují riziko, že tam někdo bude něco kutit a to způsobí problém. Mají snímek z termokamery, zde kterého je patrné, že hoří UPS 7 a 8 – nepředpokládám, že si tam náhodou někdo hrál s termokamerou. Spíš datacentrum sledují termokamerou neustále, a jakmile se někde začne něco přehřívat, pryč s tím. A tohle byla ta výjimka potvrzující pravidlo – externí dodavatel vyměnil několik dílů UPS.
Přitom tak jako tak potřebují umět rychle postavit nové datacentrum. Takže největší rizika eliminují, a v případě té málo pravděpodobné události, že by datové centrum opravdu shořelo, umějí relativně rychle postavit nové. Připadá mi reálné, že v takovém případě se nevyplatí řešit nějaké hašení požáru.
Vy tu hadzate uvahy ako z bazalneho vyskumu. Matematika je jednoducha a o nic ine tu nejde. Peniaze!!!
Ci sa im oplati robit hasenie alebo instalovat iba kamery s dohladom alebo AI alebo radsej stavat viac malych nezabezpecenych centier alebo menej vacsich 'poriadnych' to je vsetko len otazka penazi. A kedze tie cisla nemame tak sa iba spolahneme ze oni ich maju a maju aj kalkulacku a budu si vediet spocitat pomer medzi hasiacim zariadim vs 100ky zhorenych server vs strata doveryhodnosti. To je vsetko, chybaju nam ceny takze je zbytocne filozofovat.
Vsetko je to virtualne takze ak mali zalohy tak tie servre pravdepodobne uz bezia v inej lokacii. Tie ktore nemali si musia vyriesit klienti. Zjavne zatial nedoslo z ich strany k poruseniu dohod. Za danu cenu predavali a deklarovali nezabezpeceny server.
Že to dělají, protože se jim to vyplatí, je jasné. Otázka na začátku byla, jak je možné, že se jim to vyplatí. Mimochodem, těch serverů je víc než stovky. A ztráta důvěryhodnosti? I kdyby to hasili dřív, stejně budou mít výpadek. Možná by to nepostihlo okolní datacentra. Byly by menší ztráty na datech klientů. Těch klientů, kteří si nepřiplácí za to, aby měli data zálohovaná. Já nevím – připadá vám rozumné investovat do toho, abyste mohl klientům poskytnout službu, za kterou nechtějí platit (tedy ochranu jejich vlastních dat)? U lowcostu?
Ano? A ake cislo si dosadili za pravdepodobnost kompletneho vyhorenia datoveho centra? Nie su garazovka v akom zmysle? Podla tych fotiek som videl ze je to absolutne najlacnejsie datove centrum ake sa da postavit, to aj betonova garaz je lepsie miesto.
Preco ocakavate sofistikovanost kde ziadna nie je?
A ake cislo si dosadili za pravdepodobnost kompletneho vyhorenia datoveho centra?
Netuším, zapomněli mi to říct.
Nie su garazovka v akom zmysle?
V tom smyslu, že je poskytovatel cloudových služeb, VPS, managed serverů apod. který v Evropě patří určitě do top ten.
Podla tych fotiek som videl ze je to absolutne najlacnejsie datove centrum ake sa da postavit, to aj betonova garaz je lepsie miesto.
Ano, správně. Vlastně jsou myslím průkopníci v tom, na čem se dá v datacentru ještě ušetřit.
Preco ocakavate sofistikovanost kde ziadna nie je?
Sofistikovanost může mít různé podoby. Někdy si pořídí superdrahé sofistikované diskové pole, které má zaručit dostupnost dat málem 100 %. A někdo postaví datové úložiště z konzumního hardwaru, ale vypiluje k dokonalosti automatizaci tak, aby to, že odejde nějaký disk nebo počítač, představovalo prakticky nulové náklady na výměnu za jiný hardware.
> V tom smyslu, že je poskytovatel cloudových služeb
Cize neexistuje garazovka co poskytuje cloudove sluzby lebo to je hrozne sofistikovana sluzba? :-D
> jsou myslím průkopníci v tom, na čem se dá v datacentru ještě ušetřit
Takze su garazovka?
Podla mna sa sef opytal? Kedy horelo v nejakom datovom centra tak ze cele zhorelo? A ved je racky su zo zeleza, pocitace su zo zeleza, disky su zo zeleza, tam nema co horiet, postavte to bez hasenia, to je zbytocne drahe. Ziadna veda.
Cize neexistuje garazovka co poskytuje cloudove sluzby
Existuje. Ve spektru dle velikosti je na opačném konci, než OVH.
Takze su garazovka?
Ne.
„Garážovka“ znamená, že to někdo dělá sám nebo s pár lidma v provizorních podmínkách. Je to od toho, že ten provoz je v garáži vedle domu. Třicet datacenter se vám do garáže fakt nevejde.
Podla mna sa sef opytal?
Co?
Kedy horelo v nejakom datovom centra tak ze cele zhorelo?
Kdyby se nepočítalo se zničením celého datacentra, nedoporučovalo by se zálohovat do jiné lokality.
A ved je racky su zo zeleza, pocitace su zo zeleza, disky su zo zeleza, tam nema co horiet, postavte to bez hasenia, to je zbytocne drahe. Ziadna veda.
A co izolace datacentra, izolace kabelů, plasty, vzduchotechnika, možná baterie v UPS?
> Existuje. Ve spektru dle velikosti je na opačném konci, než OVH.
To mame asi ine predstavy co je to garazovka. To ze maju viac centier neznamena ze to nerobia amatersky.
> Třicet datacenter se vám do garáže fakt nevejde.
Ale do 30 garazi ano a neviem na co pozerate vy ale tie kontajnery su teda podla mna horsie ako garaze.
> nedoporučovalo by se zálohovat do jiné lokality
To vam odporucia vsade z dovody lokalnej prirodnej katastrofy (poskodenie spojenia, dlhodoby vypadok elektriny, ...), neznamena ze pocitali s vyhorenim data centra.
> izolace datacentra, izolace kabelů
To som sa vam snazil priblizit pohlad EBITDA fokusovaneho majitela/manazera. Proste minimalizacia nakladov, ziadne sofistikovane vypocty ako si to predstavujete vy.
To mame asi ine predstavy co je to garazovka.
Evidentně ano.
To ze maju viac centier neznamena ze to nerobia amatersky.
Zajímalo by mne, jak by podle vás mohlo dojít k tomu, že se někdo, kdo stále dělá věci amatérsky, dostane mezi největší firmy v oboru.
Ale do 30 garazi ano a neviem na co pozerate vy ale tie kontajnery su teda podla mna horsie ako garaze.
Zdá se, že si pletete lowcost a garážovku. Lowcost v rozměrech OVH je pravý opak garážovky – přesně to, co by dělala garážovka na koleně, musí mít OVH perfektně zmáknuté, nastavené funkční procesy, zautomatizované když je to možné. Kdyby to byla garážovka, staví ty servery Klaba doma v ložnici. OVH má ale na jejich montáž linku.
To vam odporucia vsade z dovody lokalnej prirodnej katastrofy (poskodenie spojenia, dlhodoby vypadok elektriny, ...), neznamena ze pocitali s vyhorenim data centra.
Je jedno, proč je to datacentrum nedostupné nebo zničené. Přírodní katastrofy mohou být také zemětřesení, záplavy, lesní požáry. Může tam spadnout letadlo. Prostě se zničením datacentra se počítá jako s nepravděpodobnou leč možnou variantou.
To som sa vam snazil priblizit pohlad EBITDA fokusovaneho majitela/manazera.
To, co jste se „snažil přiblížit“, je východisko, se kterým začala tahle diskuse. Nosíte dříví do lesa.
Proste minimalizacia nakladov, ziadne sofistikovane vypocty ako si to predstavujete vy.
Minimalizace nákladů je založena právě na výpočtech. Nic moc sofistikovaného na nich není, jsou to jen náklady na výstavbu nového datacentra (to OVH dobře zná), náklady spojené s migrací a ručními opravami a zásahy, náklady na zhoršení reputace a naproti tomu pravděpodobnost takové události.
Je to resitelne. Proste DC bude pod vodou/v oleji/ baterky dobre hasitelne mimo vlastni DC technologie nebo co masina to baterka etc.
Je to jen blby cmoud hosting. Zadny superpocitac nebo mainframe tam nemaji.
Nikdo se ale neptal na cenu takoveho protipozarniho reseni.
Blbejsi je to v pripade telco/storagi/ vysilacu a zkratka velkych monolitickych hovad co zaberou i cely rack. To nerizdistribuujes na jednotlive baterky.
Tam musis mit napajeni bokem, DC a vazne se zabyvat pozarnimi riziky.
Neřekl bych, že schválně tak, aby shořelo celé datacentrum. Ale schválně tak, že neřeší likvidaci požáru, ale snaží se požáru předejít. Jak jsem psal výše, mají snímek z termokamery, kde je údajně vidět, že hoří UPS 7 a 8. To nebude náhoda, že si tam zrovna někdo hrál s termokamerou, ale s největší pravděpodobností termokamerou trvale sledují celé datacentrum. Jenže holt je něco jiného zadřené ložisko případně i zkrat v serveru a něco jiného je zkrat na UPS.
Je fakt, že požár li-ion bateriíí se úplně dobře nehasí. Možná to ani standardní metodou uhasit nejde, když jsem viděl, jak hoří Tesly. Ale u UPS vždy předpokládám, že může blafnout, takže to je očekávané riziko stejně jako se dávají disky do raidu. To není otázka jestli, ale kdy. Ale třeba právě na tohle čekali a chtěli vědět, co se stane. Příště to postaví líp.
Je vic moznosti. Nejsme ve statni sprave abychom delali veci vzdy stejne blbe jako ostatni nebo hure.
Bud je tam distribuovana zaloha - co masina to maly zalozni zdroj a nebo zcela bezbateriova zaloha.
Napriklad stale rotujici setrvacniky nebo setrcacnik-generator. A tuhle vec mit venku.
Kdyz navrhuji nove DC tak bych fakt dal ups uplne bokem alespon do jine mistnosti nebo kontejneru
16. 3. 2021, 08:59 editováno autorem komentáře
Franta Pecka: Mě by zajímalo, na jaké technologii ty UPS měli postavené. Čekal bych, obzvláště u velkého DC, že to bude klasika olovo, hlavně kvůli ceně, nebo ještě spíš něco typu DUPS. Pokud tam byly li-ion akumulátory, tak pak se asi není čemu divit, to se asi fakt moc hasit nedá.
Pokud vím, tak problém je, že jakmile li-ion aku jednou začne hořet, nedá se to dost dobře zastavit. Hlavně proto, že kvůli svému složení dokáže při nastalé reakci uvolňovat kyslík potřebný k dalšímu hoření, takže klasické hašení ve smyslu ochlazení/odepření přístupu kyslíku prakticky nefunguje. Takže pak snad jedině to izolovat a nechat dohořet, nebo zasypat pískem.
Jak uz bylo zmineno je to kalkulovany risk. Ta vnejsi vodni stena mezi budovami by ale byt mohla. To neni tak drahe kdyz to bude nezavodnene jako suchy rozvod.
Nicmene s francouzskou pracovni moralkou bych tomu moc neveril.
Jednou takhle v evrope umrelo DC jen kvuli tomu ze frantici nedolili naftu. Jen napajeni nejelo 2 hodiny. Fle toho casu usuzuji ze byli na obede.
16. 3. 2021, 08:41 editováno autorem komentáře
Tak ještě je tady norma EN 50600-2-5, otázkou je, v jaké třídě požární ochrany to SBG-2 budovali (jestli měli alespoň třídu 3, tak tu něco nehraje). Nicméně je docela pravděpodobné, že ta budova asi byla postavena dříve, než začaly normy řady 50600 platit. Na druhu stranu, jestli měli UPS s Li bateriemi, a začaly hořet ty, tak nevím, jak snadno by to šlo uhasit (když si vzpomenu na tu Teslu zavřenou pod vodou ve speciálním kontejneru po požáru na 24h).
Spíše mě zaráží, že řeší přivezení generátorů a jejich rozjetí protože jsou odříznutí od 20kV, když původně psali, že jejich DC mají Uptime Institute certifikaci alespoň Tier III, a zrovna Uptime bere externí napájení jako nespolehlivé a provoz (včetně zálohování) musí být zajistitelný generátory s palivem alespoň na 12h a požadavky na redundanci dle Tier. Ale je docela možné, že došlo k poškození generátorů během požáru nebo hašení.
Ono to z nich leze dost jako z chlupaté deky, nejprve říkají, že nezasažené systémy budou spouštět od 15.3., pak že vlastně jen napájení a síť, ale servery až 22.3, pak se ukáže, že 22. jen první servery (SBG-3+4, které nemají být poškozené), ale vlastně je to OK, protože v pátek psali o spuštění v týdnu 12 (což je 22.3.+, ale kdo to ví). Zákazníci, kteří to chtějí řešit v RBX musí znova platit drahé licence, aby pak stejně nemohlo zálohu obnovit, tak se musí vymyslet komplikovaný způsob jak překlopit zálohu na jinou IP, protože obnovení na nově koupenou instanci není možné, atd.
Potom také píší, že SBG-3 je nezasažené požárem, ale dneska v update je že byla odstraněna voda z podlahy v SBG-3 z důvodů hašení (tak jen doufám, že další krok se neukáže "vysušení a odbahnění" serverů). Také teprve teď kontrolují/opravují chladící okruhy.
Ale možná, že zákazníkům jde mail s přesnějšími informacemi.
Neřekl bych, že je to „jak z chlupaté deky“. Bavíme se o poškozených datacentrech – musí zjistit, co a jak je poškozené. Je pochopitelné, že se to nedá dopředu přesně odhadnout, co jak dlouho bude trvat. Pořád je mi milejší nepřesný odhad, který se průběžně upřesňuje, než mlčení resp. informace „až to bude tak to bude“.
Zakaznikum zadny presnejsi informace nechodej. Prvni email 11.3 s odkazem na univerzalni verejne dostupny webovy FAQ. Druhy email 12.3 s informacema ohledne VPS. Matouci informace ze zona sbg-1 (kde melo byt moje VPS) byla v datacentru SBG2. Ale zaroven, ze lokaci meho VPS se dozvim v manageru kde v te dobe byla lokace SBG1. Opet odkaz na FAQ. Treti email 13.3 s tim, ze VPS nelze znovu uvest do provozu. Ze poskytnou sestinasobek unorovy platby zdarma. Pro sluzby co potrebuji rychly restart je doporuceni zridit (a zaplatit) novou sluzbu v datacentru Gravelines. Opet odkaz na FAQ. A s dalsima informacema se ozvou za par dni. U VPS co jsou fyzicky v datacentru SBG3 byl v poslednim emailu jen rozdil, ze tam bylo uvedeny predbezny uvedeni do provozu 22.3. A nekde mezi druhym a tretim emailem se zona kde se melo nachazet moje VPS zmenila z sbg-1 na sbg-4 coz jim na duveryhodnosti vubec nepridava.
Zmatek v označování, kde zařízení máte, je u OVH taková tradice… Mně se v administraci označení umístění u VPS mezi čtvrtkem a víkendem změnilo – původně jsem tam měl lokalitu SBG1, teď už uvádějí jenom SBG, a změnila se i zóna. A v e-mailu jsou ještě jiné informace – přišel mi ten samý e-mail o SBG2 a SBG3 (který by mi ale logicky neměl přijít, pokud by má VPS byla v SBG1).
Třeba jim konečně dojde, že není dobrý nápad označit datacentra SBG1–SBG4 a zóny sbg-1 až sbg-6 (nebo kolik vlastně) nebo víc, přičemž sbg-1, sbg-2 a sbg-4 jsou v SBG2, sbg-6 je v SBG3.
Je to lowcost, takže požární bezpečnost se zřejmě řešila jako nutné minimum. Navíc OVH staví neustále nová datacentra, takže ztráta jednoho datacentra pro ně není taková katastrofa – nezačínají teď zjišťovat, jak se takové datacentrum staví, ale prostě postaví to, co stavěli nedávno. Zrovna ve Štrasburku mají myslím před dokončením SBG5.
Ty zálohy mne překvapily nejvíc. Spousta serverů nejspíš nemá žádné zálohy (je to lowcost, zálohy jsou za příplatek). Ale překvapilo mne, že ty placené zálohy, které dělá OVH, jsou „některé v jiném sálu ve stejném datacentru; některé v jiném datacentru ve stejné lokalitě; některé v jiné lokalitě“. Hlavně to první bych nečekal – když má OVH desítky datacenter, zálohovat do stejného datacentra je prostě špatně. A jak se teď ukázalo, i zálohování do jiného datacentra ve stejné lokalitě, protože i jedna vlastně banální událost dokáže zlikvidovat víc datacenter v jedné lokalitě.
To hašení by mě zajímalo ... ano je to lowcost ... ale jak moc ? Opravdu tam nebylo žádné hašení, nebo tam něco selhalo ? Nějaké informace, jako že tam hašení nebylo jsem zaznamenal, asi jako všichni ... ale jak moc jsou ty informace reálné je otázkou. Za sebe beru tu informaci s hodně velkou rezervou a čekám co z toho nakonec vyleze.
Zálohovat data v rámci jednoho objektu nebo lokality je objektivně levnější než posílat je do jiného datacentra vzdáleného stovky kilometrů. U levné služby mě tohle asi nepřekvapuje ... Zajímavá je spíš ta různorodost ... jak se staně že někomu se data posílají do jiného DC a někomu ne? Je to dáno typem služby, nebo prostě nebyla kapacita na propoji, tak se to v nějaký okamžik zařízlo a začalo zálohovat lokálně ?
O žádném interním hašení nikde nebyla žádná zpráva – vždy se začíná tím, za kolik minut tam byli hasiči. Mně to připadá reálné – hašení by datacentrum prodražovalo a prodlužovalo dobu jeho stavby.
Zálohování do jiné lokality je dražší. Ale zálohování do jiného datacentra ve stejné lokalitě by snad nemuselo být nákladnější. Proto jsem také psal, že zálohování v rámci lokality chápu, zálohování v rámci datacentra moc ne. Další věc je, že při aktivaci zálohování (aspoň u těch nejlevnějších variant) se ani nedozvím, kam se to bude zálohovat. Natož abych si mohl připlatit za zálohování do jiné lokality.
Ta informace o různém zálohování je info od Octave Klaba (myslím, že je to z toho videa). Víc k tomu neříkal, ale předpokládám, že hlavně u těch nejlevnějších produktů se to prostě zálohuje tam, kam je to nejlevnější. Teprve když tam není místo, zálohuje se to někam dál.
Ahoj
Zase jsi skenoval Internet ;-)
A kdy jsi dělal ten předchozí sken?
V tomhle případě by se nejspíš hodily záznamy z trace.
Možná by se šlo poptat Shodan.
No, každopádně, pokud neměli zálohy a měli to postavené na redakčních systémech, tedy obsah jen online, v tom případě jim budiž Webarchive milostiv.
Možná je to příležitost pro firmu, která by se specializovala na získávání dat z upečených HDD. (Staré dobré plotny v tomhle nejspíš mají navrch před SSD.)
https://www.dataanalyzers.com/blogs/possible-recover-data-fire-damaged-hard-drive/
Já scanuju pořád ;-)
Původní data jsou nasbírané od začátku prosince do cca půlky ledna z cca 1.5 milionu webů. Z toho jsem si vybral to co bylo v autonomním systému OVH a to opingal. Je tam časový odstup, takže něco určitě zaniklo samospádem, ale něco nového se tam určitě objevilo. Spousty webů také používá proxy typu cloudflare, kdy nezjistím, jestli jsou opravdu u OVH, skutečné číslo tak může být ještě vyšší. Většinou to byly nějaké menší projektíky, ale jelo tam i pár (mě) neznámých mikrohostingů s desítkami až menšími stovkami webů. Ze známějších služeb to postihlo například nástroj semor.cz.
I někteří naši zákazníci tam měli služby, takže jsem se trošku zapotil. Našel jsem i slabinku v disaster recovery. Přestože jsem měl komplet obnoveno za jednotky hodin (ansible!) a nejdéle se čekalo na transfer záloh, tak bylo docela složité najít někoho na změnu DNS - často kvůli spící USA. U jednoho zákazníka se muselo čekat až do 10 do večera, než si vyměnili IP adresu pro VPN...
Nevim jestli tam maji takovy bordel v tom co kde meli. Nebo maji neskutecny bordel v nazvoslovi a datech. Realne VPS zrizene v SBG1. Jeste vcera to u nej ukazovalo SBG1 a zonu os-sbg1. Jenze u nich datacentrum a zona jsou zrejme dve odlisne veci a ve skutecnosti to asi bylo v SBG2. To uz se nejspis nedozvim. Proste prisel email, ze VPS nelze obnovit a at si zridim neco nekde jinde. Mezitim se i zmenili udaje u VPS s tim, ze bylo nekde v SBG (uz bez cisla) a zona os-sbg4. Pride mi, ze ani oni se nevyznaji v tom co kde ve skutecnosti bylo.
Mně to z těch e-mailů připadá, že v SBG1 vůbec nebyly VPS. Ale přesně jak píšete – ve čtvrtek jsem měl lokalitu SBG1 a zónu os-sbg1 cluster 001, o víkendu se lokalita změnila na SBG (bez čísla) a zóna os-sbg-2. Podle mne to dříve ukazovali špatně, měli všude jedničky. Datacentrum a zóna jsou dvě různé věci, výše jsem citoval z e-mailu, kde je uvedeno, které zóny byly v SBG2 a v SBG3.
Ale jak jsem psal, zmatek v označování je u OVH tradice – když jsem tam dříve měl fyzický server, bylo u něj uvedeno číslo racku a sál, ale podle stavu sítě ten rack byl v jiném sále.
Jako jak si to interne znaci by byl byval jejich problem. Ale ta tragedie co predvedli v komunikaci... no mit tam neco duleziteho tak me klepne. Pokud se chce clovek dozvedet informace tak aby je lovil na twitteru. Sledoval zmeny ve FAQ, tasky a co zverejni na webu.
Takze sem si to prosel. Ano v SBG1 zadny VPS nebyli. Informace co mela byt jasne recena uz pred par dny, tak si ji clovek musi dohledat na twitteru (a jeste nekde dole jako odpoved nekomu) https://twitter.com/olesovhcom/status/1371242368549130245
Debordelizace v nazvoslovi a rozdil mezi zonama a datacentrama je informace na docela jednoduchou tabulku. Misto toho clovek byl od 10 do 12 brezna posilan do control panelu, kde byla spatna informace. 13.3 bylo ohlaseno, ze takova tabulka bude behem dne zverejnena ve FAQ. Tam se opravdu dostala, zastrcena nekam dolu aby si toho nahodou nekdo nevsiml https://help.ovhcloud.com/en-gb/faq/strasbourg-incident/datacenter-localisation-vps/
Na nejaky poradny prehled co, kde a jak bylo se dostalo konecne vcera https://www.ovhcloud.com/en/lp/status-services-backup-strasbourg/
Ale vsechno to musi clovek aktivne hledat a sledovat. Protoze emailem nic z toho neprislo...
Mně teda e-mailem přišlo: „Your VPS below can not be put back into service.“ Ve které zóně a datacentru to VPS původně bylo je pak vlastně docela jedno…
Že mají guláš v označování je podle mne dlouhodobá záležitost, a teď se jim to vymstilo. Protože teď to najednou začala být podstatná informace – ale když vám shořelo datacentrum, chtěl byste řešit jiné věci, než opravovat informace o lokalitách.
To označování se jim nepovedlo, ale jinak si myslím, že informují docela dobře. Hned na začátku jasně napsali, že uživatelé mají aktivovat disaster recovery plán, průběžně informují o postupu a zpřesňují informace. Když to porovnám třeba se situací, kdy prší na servery a podpora informuje, že došlo k havárii diskového pole a odstranění problému bude v řádu hodin…
Pátek 19. března večer:
We had the smoke in an unused room in SBG1. We shutdown SBG1+SBG4 & we called the firefighters to identify the root cause. The firefighter stopped the smoke which came from the batteries that we don’t use. The batteries were in unused room, not used, not connected. We didn’t have the fire, but we had lot of smoke. The situation is under control now. Everybody is safe. The unused room with the unused batteries was in SBG1 in front of SBG2. The fire in SBG2 has probably damaged the batteries but the smoke started only 10 days after.
https://twitter.com/olesovhcom/status/1373001710801653767
Možná by to celé mohli prodat hasičům jako tréninkový polygon a datacentrum postavit jinde. :-)
Dobre se ta komedie vyviji. Ono by byvalo stacilo, kdyby se poucili z predchozich problemu a plnili to co si tehdy stanovili. V roce 2017 meli v SBG incident. Slibili jako reseni predelani elektrickych pripojek aby vypadek ty jedinny neschodil cely SBG. A meli byt zlikvidovany ty kontejnerovy datacentra jako zastaraly. No a ten dnesni kour z baterii byl z jednoho s tech kontejneru co tehdy slibili zlikvidovat https://www.ovh.com/ca/en/news/press/cp2555.following_the_two_incidents_on_the_9th_of_november_2017
ČLÁNKY DO MAILU