Vlákno názorů k článku
Výpadek v datacentru Master Internet vyřadil spoustu služeb včetně Root.cz od Heron - Proto nemám servery v ČR. Každá z větví...

Proto nemám servery v ČR. Každá z větví by měla unést celý provoz, na každé by měla být UPS a na každé generátor. Od toho je to DC. S Mastrama jsme řešili výpadky sítí (kdy nás jejich switch prostě odpojil z obou linek, nutno z jejich strany nahodit manuálně), přehřívání "studené" uličky, výpadek napájení už byl taky (naštěstí jen jedné větve). Pokud se nepletu, tak "DC" mají v Praze v podzemních garážích, v Brně zase v nějaké bývalé továrně. Casablanca INT to má pro změnu ve sklepě, kde pro jistotu pršelo (asi 2m od našeho stojanu). O dalších DC by se taky dalo vyprávět (Radiokomunikace to mají v nějakém vysílači).

Masteří DC v Brně má, alespoň u serverů, co tam máme, výbornou historii. Od roku 2016 jsme tam prakticky měli jen jediný problém se sítí a ten rychle vyřešili. Pražské na tom je o poznání hůře. Není to poprvé, co bylo bez proudu. V podzemních garážích ale není, je na úrovni přízemí. Mají tam dvě oddělené větve, dva generátory, dvě sady UPSek, tedy to samé, co mají ta tvoje zahraniční DC. Jak se tedy liší od Masteru? Co tě vede k přesvědčení, že se to tam taky nestane? Master aspoň nevyhořel :-)

Fakt nechápu tu naivitu, že když někdo dá do smlouvy všechny ty hezké parametry a SLA 99.99..., tak se to bere jako vytesané do kamene. Čím tam asi ručí, 5 % slevou na další měsíc? Pokud jede služba v jednom DC, tak je úplně jedno co má DC napsané na webu. Podobné věci se tam dřív nebo později stát mohou a je jen na lidech, kteří tu infrastrukturu spravují, zda s tím počítají a nebo ne. Myslet si, že DC pojede spolehlivě jen proto, že je třeba v Německu, je čistá utopie.

Nemci jsou poradni,hodne procesni a poradnost vyzaduji od svych dodavatelu. U DC ocekavam rizeni a hlavne proskoleni na urovni elektrarny. Ne ze obsluha bude zmatene mackat "cudliky". Mel jsem nekolik takovych kolegu a bylo to na prizabiti pak resit prusery. Duvod? Typicky cesko-slovensko-indicke: Tady to mas a plav. Od chvile co tu sedis je vsechno tvoje chyba. Hodne stesti! Nikdo ho nezaskolil, nevysvetlil navaznosti ani probihajici prace.

Cesi vecne spolehaji na sdelovani a reseni per huba a dobrou vuli servisaku. Pak je tezky dohledat co se vlastne stalo. Jenomze jsme levni a poradnejsi nez indove.

Nemecko ma taky jednu nevyhodu a to je spatna propojenost zapadni a vychodni casti a velky podil nestabilnich OZE.
Nemci maji vyssi sanci na blackout nez CR. Jak dlouho se o navyseni prenosovych kapacit zapad-vychod hovori? Uz 30 let? To se ani slunickove Merklove do kramu nehodilo a Olaf tezko rozplanuje tyto dlouhodobe projekty.

Ale ani nemeckym datacentrum se vypadky proste nevyhybaji... moc si to idealizujete :-)

To sis to hezky zobecnil a podtrhnul nesouvisejícím posledním odstavcem. To je nějaký guideline pro mezinárodní spolupráci ve vašem týmu? Já jen že stojí dost za .. :-)

Nemci jsou poradni,hodne procesni a poradnost vyzaduji od svych dodavatelu. U DC ocekavam rizeni a hlavne proskoleni na urovni elektrarny. Ne ze obsluha bude zmatene mackat "cudliky". Mel jsem nekolik takovych kolegu a bylo to na prizabiti pak resit prusery. Duvod? Typicky cesko-slovensko-indicke: Tady to mas a plav. Od chvile co tu sedis je vsechno tvoje chyba. Hodne stesti! Nikdo ho nezaskolil, nevysvetlil navaznosti ani probihajici prace.

Naprostá pravda, pěkně sepsáno.

Náš korporát také používal DC v Německu s nadprůměrnou spolehlivostí. Pak projel před budovou stroj, co sází vzrostlé stromky, a přesekl napájecí 10 kV kabel. Řidič si ničeho nevšiml (skvělá izolace jeho stroje), datacentrum jelo na záložní kabel. Stroj popojel a přesekl i ten druhý, scénka jak pro Mr Beana. Všechna čest, Němci to datacentum zprovoznili asi za 90 min, zřejmě natáhli prodlužovák.

Masteří DC v Brně má, alespoň u serverů, co tam máme, výbornou historii.

Mě se stačilo podívat už jen na umístění našeho racku. Hala po nějakém průmyslu, 2m od našeho stojanu byl schod apod. DC má být velká prostorná hala s plochou podlahou.

Jak se tedy liší od Masteru?

Už jen vzhledem a přístupem k technologiím.

Fakt nechápu tu naivitu

O ničem takovém nemluvím. Proto máme technologie ve třech DC od různých dodavatelů.

Podobné věci se tam dřív nebo později stát mohou a je jen na lidech, kteří tu infrastrukturu spravují, zda s tím počítají a nebo ne.

Více témat. Ano, stát se to může všude. Jen je otázkou, jak často.

Infrastruktura se navrhuje tak, aby to k tomu nemohlo dojít a je třeba to pravidelně testovat. To, že například v té Casablanca INT pršelo, je dejme tomu technologický problém (i když v dedikovaných prostorech skutečného DC by se tohle prostě stát nemohlo, protože by tam žádné vodovodní trubky ve starém stropě nebyly). To, že jim to vyplavilo diskové pole a vmware cluster je dejme tomu smůla. Ale to, že to neměli realtime replikované, což bylo to, co nám slibovali, a několik dnů to obnovovali, je zkrátka neodpustitelné. (Nakonec jsme to k nim do clusteru nedali, měli jsme to ve stojanu o pár metrů vedle.)

Myslet si, že DC pojede spolehlivě jen proto, že je třeba v Německu, je čistá utopie.

Záleží na pravděpodobnosti (tedy jak často) a na přístupu těch lidí k tomu dílu. Tuto důvěru už v česku dávno nemám, na základě zkušeností na prohlídky několika místních DC.

Já jsem si pročetl tvůj blog a asi se tu setkávají dva světy.

https://www.heronovo.cz/muj-pristup-k-administraci-serveru/#more-5215

Jen výběr:

* Firewall by neměl být potřeba.
* Logy nejsou potřeba
* admin přece neví, co je špatně, pokud nemá monitoring a logy“. Moje odpověď je, že by to prostě poznat měl.

My máme infrastrukturu v Terraformu a Ansiblu, nový stroj nekonfigurujeme přes `apt install` a když něco přestane fungovat, tak o tom víme. Logy sbíráme do centrálního místa a máme na nich navěšené i alerty. Sbíráme doslova všechno, protože potřebujeme vědět, co se na stroji dělo, než se objevil problém. Sbíráme i metriky ze status page datacentra, protože nám pak Grafana řekne, že problém není u nás ale tam.

Když se něco stane, tak nejdeme na server, ale do Grafany, kde čeká masivní množství metrik, ze kterých už není tak těžké zjistit, co bylo příčinou. On totiž server třeba ani nemusí reagovat a to pak "prostě poznat měl" nefunguje.

Funkčně nahradíme fyzický server během několika minut. Bohužel kopírování dat trvá déle, ale ani v jednom z našich procesů nefiguruje manuální volání `apt install` nebo `rsync`. Na tohle máme připravené nástroje, protože představa, že někdo bude během krizovky studovat dokumentaci, ve které je napsané co a jak je zkonfigurované a co kde běží, je nesmysl. Když přijde krize, vezme se papír s instrukcema a podle nich se jede. Manuálních kroků je minimum a zvládne to i člověk, co přišel první den.

Naše přístupy jsou úplně jiné. My to riziko přijímáme jako běžnou součást naší práce a jsme na to připraveni. Je to nepříjemné, ale není to nic, s čím bychom si neporadili. Ty to bereš jako něco, co se nesmí stát a posíláš data někam do tramtárie, protože tam mají rovnější podlahy, i když záruky dávají obě lokace na chlup stejné.

My máme infrastrukturu v Terraformu a Ansiblu, nový stroj nekonfigurujeme přes `apt install` a když něco přestane fungovat, tak o tom víme.

Ten článek vůbec nevylučuje použití Ansible. Ansible používám denně a denně udělám tak 20 virtuálek (pravda, aktuálně pracuju jako prog. takže VMka mám pro svůj devel a už nejsem admin - jen soukromých serverů).

Sbíráme doslova všechno, protože potřebujeme vědět, co se na stroji dělo, než se objevil problém.

O tom se můžeme pobavit třeba po emailech, zajímalo by mne, co to je to všechno a proč to potřebuješ. Za, když to zjednoduším, 12 let x stovky vm (tj kumulativně tisíce let běhu provozovaných vm) těch událostí bylo na prstech ruky a jednak nikdy nebyl problém přijít na to, co se stalo a taky to bylo dost často vlastně jedno. Protože jak píšu v jiném článku, zdravé služby prostě nepadají. (pg, apache apod. mě nikdy nezklamal). Takže u nás nebylo zase toho tolik ke zkoumání.

Ty to bereš jako něco, co se nesmí stát a posíláš data někam do tramtárie, protože tam mají rovnější podlahy, i když záruky dávají obě lokace na chlup stejné.

To je asi nepochopení, ale to teď nevyřešíme, když tam mi prosím napiš email. Na produkci jsme měli vždy několik DC a realtime replikace. Opravdu nespoléhám na to, že nějaké DC nikdy nespadne. Ale i přes to mi přijde vhodnější si vybrat spolehlivější DC s profesionálnějším přístupem.

A ti posledni nejmenovani jsou uprostred lesa a tak hodinu dve jizdy mimo civilizaci :P

a co tím změníš? Jak děláš podporu, to si uděláš zahraniční cestu? Nedávno např. OVH ztratilo celou lokalitu, vyhořela. Neznám DC, které by nemohlo/nemělo občas nějaké problémy, je to přirozené, proto by kritické služby měly být na více lokalitách s co nejméně společnými prvky, zahraničím nic nevyřešíš.

Jistě, že může, ale záleží taky na pravděpodobnosti, že jo. A té pravděpodobnosti nehody se dá pomoci přístupem k věci, jak už tu ostatně bylo popsáno. A o více lokalitách taky.

Vůbec celý tento pohled "může se to stát kdekoliv, takže všude je to stejné" je zvláštní. Je dost rozdíl, jestli se něco stane jednou za sto let nebo jednou za dva roky. A rozhodně dám servery raději k Hetznerovi než kamkoliv do Česka už jen na základě toho, jak je to tam čisté a jak to celkově vypadá. U nás je stále takový ten přístup "to je dobrý, to stačí".

ok, takže ty vybíráš spolehlivé DC podle vzhledu a čistoty? V kolika jsi jich byl, když chceš na správu serverů cestovat přes půl evropy, protože tam jsou čisté sály? No, jednou za sto let, v norimberku měl v colocated sále Hertzner výpadek zrovna letos v lednu na několik hodin, slibují multijazyčnou podporu a pak na tebe mluví jen německy, já nevím, nemám s nimi dobré zkušenosti.

Zrovna v ČR je v DC slušný výběr, ale pro mě za mě, jezdi si kam chceš.

Jsem extremne haklivej na frazi "to je dobry", protoze to rikaji lide kteri ten pruser na konci nemusí uklizet.

4. 6. 2022, 06:42 editováno autorem komentáře

Tohle je fakt smutný. Datacentrum nemůže být špinavé z principu, protože tam proudí hromada vzduchu, jako že fakt hodně vzduchu, a každé nezachycené smítko prachu skončí v serverech. Servery, co nám v Masteru běží, rozhodně nevypadají, jako kdyby do nich proudil prach. Stejnou zkušenost máme z Coolhosingu. I tak člověk, co jinak bere logy jako zbytečnost a debuguje problémy podle zvuku ventilátorů, bude bez důkazů očerňovat česká datacentra a glorifikovat ta německá, jen proto, že z fotek to vypadá, že mají bělejší bílou na zdech. A nic se u něj nezmění, protože když už k němu přijde na pohovor někdo, kdo má potenciál to vyřešit, tak ho buď vyhodí a nebo udělá takovej WTF moment, že by tam šel jen blázen.

Potvrzuji, muj 1U server po 10 letech nonstop provozu v Brnenskem masteru vypadal jako novej po otevreni. Myslim ze tam maj i pravidla jak se do salu smi vstupovat, aby se zamezilo vnaseni bordelu.

a každé nezachycené smítko prachu skončí v serverech
Nebo voda rovnou v serverech. Po ukončení životnosti jsme ze zájmu rozebrali servery z Casablanca INT a ano, byly tam stopy vody. Na provoz to nemělo vliv, ale i tak.

I tak člověk, co jinak bere logy jako zbytečnost
Tak si ten článek přečti pořádně a případně se doptej.

bude bez důkazů očerňovat česká datacentra
Bez důkazů? Netvrdím, že znám všechna DC v Česku, ale to co jsem viděl a obecně přístupy spousty lidí mi bohatě stačí.