Vlákno názorů k článku Výpadek Facebooku způsobila chyba v interním nástroji při rutinním zásahu od Filip Jirsák - Zajímavé je, jak podobný je tenhle výpadek loňskému...

Zajímavé je, jak podobný je tenhle výpadek loňskému výpadku Google.

Ve Facebooku vznikla chyba v nástroji, který má řídit kapacitu v globální síti Facebooku. V Googlu byl problém s nástrojem, který řídí kapacitu jednotlivých služeb (hlídá počty požadavků). V Googlu omylem pro autentizační službu nastavili limit požadavků na nulu; ve Facebooku chtěli zjistit kapacity globální sítě, místo toho se všechna spojení zrušila (dost možná nastavili jejich kapacity na nulu). V obou případech mají nad těmito nástroji audit nebo testování, to ale v obou případech obsahovalo chybu a chybné nastavení/příkaz propustilo. V Googlu se to přímo týkalo autentizační služby, která měla najednou limit na počet požadavků nastaven na nulu, takže se nešlo nikam autentizovat – tudíž ani systémy Googlu a správci se nemohli autentizovat vůči jiným systémům a provádět změny. Zaměstnanci Facebooku se také nemohli dostat k serverům, protože interní síť nefungovala. V obou případech se tedy podařilo problém vyřešit až když se správci dostali fyzicky do datacentra – Googlu stačilo dostat se do jednoho, kde navýšili kapacitu autentizační služby, Facebook se zřejmě potřeboval dostat do více nebo možná do všech datacenter.

Zdá se, že nástroje na hlídání přetížení systému jsou dobrý sluha, ale zlý pán.

Čím komplexnější systém je, tím komplexnější chyby ho sundají, a tím hůř se tyto chyby dají detekovat dopředu a testovat. Existuje teorie systémů, která jestli si vzpomínám tvrdí, že jediným řešením je dělení systémů na co nejvíc izolované subsystémy s jednoznačně definovaným rozhraním. Což jde proti efektivitě údržby i proti efektivitě vývoje, i proti efektivitě provozu.

Nebo na to jít jinak - jednoduché věci se nerozbíjejí, a pokud ano, tak se dají snadno opravit.

Poleno [pod redakčním dohledem]: On to není „tento scénář“ – těch scénářů, kterými mohlo dojít ke stejným důsledkům, jsou tisíce. A není to „stejné řešení“. Jenom se to prostě shodou okolností týkalo podobných věcí. Nebo pokud jste scénářem myslel „nemůžu se dostat do datacentra“, tak evidentně na to obě společnosti nouzový postup mají a fungoval. A asi nemá moc smysl snažit se ten postup urychlit a tím jej učinit méně bezpečným. Spíš se budete snažit, abyste ten postup používal méně často.

Tohle je vzdy balance mezi efektivitou a jednoduchosti. A nema viteze.

Zdeno Sekerák: No hlavně některé věci se prostě jednoduše dělat nedají.

Já si myslím, že dost věcí se dá dělat jednoduše, jen se včas musí říct, že se vymýšlí pí****, a že je lepší jít na to jinak. Zrovna v IT, kde ta komplexita není na první pohled vidět, a kde každý obchodník umí prodat všechno a každý programátor umí všechno naprogramovat a každý architekt všechno navrhnout je tohle extra průser. Věci, které se nedají jednoduše udělat jsou obvykle blbě vymyšlený nebo nedomyšlený.

Některé věci se třeba ani jednoduše dělat nechtějí.