Vlákno názorů k článku Výpadek Facebooku způsobila chyba v interním nástroji při rutinním zásahu od Zdeno Sekerák - Pochopili jste to s tim pristupem do budov?...

Pochopili jste to s tim pristupem do budov? To bylo kvuli BGP?

Pochopili jste to s tim pristupem do budov? To bylo kvuli BGP?
Nepochopil, ale představuji si to tak, že nějaký terminál u vstupu do budovy chtěl verifikovat uživatele služby Facebook a tak se jako vždycky dotázal nějakého Facebookového serveru, jenže na něj se ztratil kontakt.

Zrušili si všechny spoje ve vnitřní síti a DNS. Stačí, aby ten přístupový systém jenom někde přes IP síť (a možná i na základě DNS názvu) ověřoval, zda je dotyčný ještě zaměstnancem nebo má práva k přístupu do dané místnosti. Nejspíš to bude odolné proti výpadku části interní sítě, ale ne když tu interní síť zrušíte celou.

nevím jak to mají přesně v FB, ale mohu říct zkušenost z našich DC v TIER III/IV.

Přístup do sálu a do technické části je chráněn velkými protižárními ocelovými dveřmi, pro jejich otevřením se musím prokázat vstupní kartičkou a případně nějakou biometrií, to se kontroluje po IP síti s IDM provozovatele (pokud jim spadla celá interní síť, nemohli vůbec otevřít dveře). Samotný sál a ani technická část nemá žádná okna, žádné jiné cesty dovnitř, nouzové otevření je možné pouze zevnitř (násilně jen s těžkou technikou, autogenem a sbíječkou - máte někdo zkušenosti jak se to řeší?)

Druhý problém může být zabezpečení samotných serverů/routerů, bez karty (opět ověřena online přes IP síť) se nedostanu do klece/uličky, kde jsou fyzicky umístěny (to se dá vyřešit nůžkami a kladivem). Jakmile jsem fyzicky u serverů, potřebuji se na terminálu přihlásit, tady opět probíhá ověření proti lokálnímu KMS/IDM serveru (nemám běžně žádné heslo na papírku, spojení mohlo být také rozpadlé kvůli zhrození BGP tras).

Facebook díky své globálnosti měl očividně shodnou síť pro interní systémy, pro správu a pro lidi a oddělené to měl pouze SW, jakmile se mu rozpadla IP L2 síť, byl slepý, hluchý a bez rukou. Běžně se tohle řeší přes tzv. OOB (https://en.wikipedia.org/wiki/Out-of-band_management), kdy mám síť pro správu plně oddělenou.

K článku, podle toho co psali na Cloudflare a co jsem viděl na stat.ripe.net, odstranili přes BGP veškeré trasy a ne jen ty pro DNS.

Facebook pise
"Our primary and out-of-band network access was down"
takze asi maju nejaky nefunkcny out-of-band.

Mam skusenosti s velkou firmou a vsade bolo aj nudzove otvaranie zvonka. Chcelo to pristupovy kod ktory malo par ludi a pustilo by to alarm (pri dverach stale strazila ochranka), ale islo by to. Firma hostuje u seba iba svoje servery, takze fyzicky pristup zo salu nepotrebuje nic viac. U tej firmy bolo mozne aj offline prihlasenie a to rovno na roota. Druha vec je, ze by tam musel prist aj niekto, kto by to vedel opravit.