Tohle je nepříjemné a dokážu si představit, jak se teď cítí. Sice jsme si nikdy nevymazali data, ale taky jsme měli problémy se zálohováním, kdy jsme při pokusu o obnovu dat zjistili, že zálohy jsou prázdné a nebo se nedělaly. Většinou to dopadlo dobře, pomohla třeba náhoda, ale pak jsme narazili na situaci, kdy se nám data obnovit nepodařilo. Zákazník si je smazal a my je neměli. A tak jsme to nakonec vyřešili následovně:
* Nestandardní systémy odmítáme zálohovat - custom VPSka
* Infrastruktura je v Ansiblu
* Hodně věcí máme už v Dockeru, takže řešíme opravdu jen data
* Zálohy děláme do Btrfs, kde se po záloze dělá snapshot, tzn. že kopírování dat je jen rsync a historie se drží bez duplikování dat
* Zálohy jsou monitorovány, když nějakej command vrátí něco jiného než nula, hned o tom víme, navíc se posílá ping do monitoringu a když se nepošle, tak o tom taky víme
* Skripty jsou hodně jednoduché, 50 řádek na data a 70 řádek na databáze
* Zálohy jsou kompletních serverů včetně systému + SQL dumpy
Popsaný proces odzálohuje 20 serverů roztroušených po Evropě s celkovým objemem 1.5 TB dat za 5 hodin.
Nemáme nějak moc dat ani nejsme velká firma a stejně nejsme schopni použít k zálohování Glacier nebo C14. Nedokážu si představit, že budeme někam i jednou týdně posílat 1.5 TB dat. I při plné rychlosti gigabitu je to na ~4 hodiny a to ani nemáme na všech serverech takto silné připojené do zahraničí.
Držim palce chlapcům z GitLabu a snad se jim to podaří nějak přežít. Zálohovat není sranda, chyby jsou minimálně nepříjemné a často jsou schované a navíc uživatelé to berou za absolutní samozřejmost a tím pádem sami nezálohují i když to ta služba umožňuje a třeba i doporučuje.
Koli % tech dat se za tyden zmeni? 1? 2? To uz sou jiny cisla na posilani nekam po evrope ... kdyz se posila zaloha po netu, tak se samo v kazdym pricetnym systemu posila prave jen ten rozdil.
Tim netvrdim, ze hromada vsemoznych dodavatelu "reseni" ... nedodava systemy zcela nepricetny. Trebas takovej veam se neda pouzivat ani lokalne.
Byl to jen příklad toho, že zálohování není vůbec snadný aspekt správy čehokoli v IT a že i zjevné nástroje mají mouchy, které nejsou na první pohled vidět.
Ale ja nikde netvrdil ze to je easy ... naopak, prevazne plati, ze zadarmo ani kure nehrabe, a pokud chce nekdo zalohovat, tak holt musi vysolit nejaky ty papirky na drevo. A treba zrovna takovy zalohovani do jiny lokality nedela skorem nikdo ...
Hlavne je treba brat v potaz, ze neexistuje zadnej zalohovaci ubersystem, kterej by neco delal sam ... natoz dobre. Jenze to chce malo kdo slyset ...
Jde o to jaka jsou rizika vztazena ke ztrate dat. Na zaklade toho se udela kalkulace a navrhne se reseni. Nekdy je lepsi i zadnou zalohu nedelat, protoze obrat dat je takovy ze je nekdy levnejsi je nabrat znova. Prikladem budiz napriklad CERN a nebo burzovni statisticka data z forexu. O nejake milony se prijde. Ale zalohovaci reseni vs ztraty ma znacne nevyhodny pomer. Nehlede na to ze nektere veci muze kryt pojistka.
Meli jsme zakose co kvuli drahym cmoudovym zaloham presli na vlastni reseni. Coz zahrnovalo pronajem casti dalsiho datacentra, pronajem barvicek na vlakne za mesto a porizeni nechutne draheho reseni od te firmy co tu ma v Brne svoji chudou pobocku.
BTW: To je zvlastni ze kdyz nekdo neco chce tak se musi zaplatit ze? Vetsina ceskych knedlikovych IT s neexistujicim profesionalnim rizenim musi vzdycky na to prijit po nekolika vyhozenych zamestnancich (kteri maji pravdu) a ztratach dat. Vlastne po tech 25ti letech se nic nezmenilo. Stale jsou cesi barbari z vychodu a jejich prace v IT je neprofesionalni. Ne kvuli znalostem. Ale kvuli chybejicim schopnym IT manazerum. Jak rad nedelam pro cechy...
