Vlákno názorů k článku
O2 měl velký výpadek služeb v celé republice (aktualizováno) od HuHu - Me by zajimalo se skutecne delo. Pripada mi to...

Me by zajimalo se skutecne delo.
Pripada mi to jako moc velka nahoda aby vsichni 3 operatori meli v takhle kratky dobe po sobe "stejny" vypadek.

Mimozemšťani!

Ja bych se nesmal, kosmicke zareni jako pricinu problemu i sitovi vendori obcas uvadi :-)

Ja bych se nesmal, kosmicke zareni jako pricinu problemu i sitovi vendori obcas uvadi :-)

Tak jistě, pořád čekáme až přijde další Carringtonova událost.
https://en.wikipedia.org/wiki/Carrington_Event

Lehčí geomagnetické bouře se dějí častěji, třeba minulý týden
https://www.nesdis.noaa.gov/news/severe-geomagnetic-storm-causes-visible-aurora-north-america

Drobný rozdíl minulosti a současnosti je v tom, že máme o něco víc přepěťových ochran a jištění na rozvodech a data přenášíme častěji optickými kabely než telegrafem, takže by důsledky nemusely být nutně tak katastrofální. Nebo naopak, možná by taková geomagnetická bouře odhalila dosud netušené slabiny :)

Osobne mi z te posloupnosti vypadku vychazi nejaky security update kritickych sitovych infra, ve kterem (v tom updatu) byl nejaky problem... a postupne si tim prosli vsichni 3... ;-)

V tom pripade je ovsem k popukani, ze neco takoveho nasazuji v 8 rano ve vsedni den. Ne ze by to bylo zrovna v jejich pripadech neocekavatelne. Co no, tak proste budou zakosi bez telefonu, ono se to nepotento kdyz se milion nebo dva lidi nikam v praci nedovola.

Od profiku bych totiz cekal, ze jakykoli patchovani cehokoli delaj primarne vnoci (tzn tak 1:00-3:00 o vikedu), tudiz kdyz to nasledne zdechne, vratim to zpet a sotva si nekdo vsimne.

Jenze to by byly priplatky za vikendy, mozna i prescasy ze, ... to by se v tech excelech blbe zduvodnovalo.

Jasne, a kdyz se neco nahodou posere a ani ten rollback se nepovede, tak budete v noci budit pul republiky, aby to objezdili :-) Presneji pak budete druhy den rano zrovnatak nadavat, co je to za nemehla. A nepovest upgrade v produkcnim prostredi - i kdyz mate sebelepsi lab - se proste muze.

Zrovna tyhle "nocni" akce jsou v realu vetsi riziko, roli tam hraje jak unava... tak prave i omezenejsi pocet lidskych zdroju v porovnani s beznou denni dobou.

Mne naopak nasazovani v 8 rano prijde jako logicke. Prijedou vsichni v 7 do prace obeslou si postup a v 8 to spusti. Pak se divaji co nejde a mohou/musi to rovnou spravit. Protoze jsou vsichni v praci.

Přesně tak, noční nasazování jde u malých aplikací, které nemám dostatečně pod kontrolou a nepotřebuji k jejich provozu stovky lidí. U operátorů to nedává smysl, naopak máme zpravidla zákaz nasazovat ke konci pracovní doby.

nekritické věci se dají dělat v noci, ale kritické chceš dělat přes den, abys třeba mohl zajet do DC, mohl sehnat lidi, měl k dispozici tiskové na komunikaci.

Pokud při přípravě updatu čekáš problémy, tak buď uděláš odstávku nebo zajistíš přemostění provozu, dnes opravdu jen málo věcí mají operátoři bez vysoké dostupnosti...

VF si pravidelně vyhazuje napájení ve svém jediném datovém centru. O2 si rádo přesekává vedení. T-mobile si pro jistotu rád shazuje interní databáze, protože je pro jistotu nemá všechny uložiště na záložní lokalitě.

pokud děláš update, máš u toho lidi a nemusíš je schánět na on-callech, to nedává smysl. Příčiny výpadku mají všichni tři operátoři různé, kromě O2 byly vždy lokální, jediné O2 si shodilo vnitřní systémy.

Hned jak jsem to četl, napadlo mě že šlo o útok. Někdo zkouší jestli je dokáže vyřadit.

Nebo byl útok jen k vytvoření okna během kterého jim někdo něco nasadil do systému… každopádně předpokládám že jim to někdo shodil.