Vlákno názorů k článku Borg: odpor je marný, budete zálohováni, komprimováni, šifrováni a odesláni od byCx - Nějaký čas jsme používali na zálohování cca 5x100GB...

Nějaký čas jsme používali na zálohování cca 5x100GB dat s velkým počtem souborů (jednotky milionů) restic a spotřeba paměti byla neúměrná tomu, co na těch serverech běželo. Borg funguje podobně, takže se tam ten problém objeví pravděpodobně taky. Máte někdo zkušenosti jak na tom je?

Zalohuji s borgem 15TB dat, neco pres 40M souboru, stroj na kterem backup bezi ma 128GB RAM, borg z toho vyuziva minimum.

To nezní špatně, díky za info.

Porovnání bylo na https://blog.stickleback.dk/borg-or-restic/ ale bohužel už neběží. Co si pamatuju, restic umí víc storage backendů, ale je pomalejší a náročnější na prostředky (hlavně paměť).

Já mám porovnání s Proxmox Backup Serverem a i tam je Borg výrazně rychlejší (spotřebu paměti nevím).

Backendů má Restic fakt hodně. Umí nastrkat data prakticky do čehokoli. Vysoké nároky na paměť byly způsobené tím, že měl celý index v RAMce. V době, kdy jsme ho používali, na to už existovalo PR, ale netuším, zda to ten člověk dotáhl. Už to jsou dva roky, tak ta situace teď může být úplně jiná.

> Máte někdo zkušenosti jak na tom je?

máme. Někde mi běží backup skrze borg, a jsou tam nižší desítky milionů souborů a nějaký toxický patterny ve využití memory jsem neviděl.., resp.

Jestli chceš nějakou konkrétní metriku, která se umí měřit telegrafem od influxů, tak ti to klidně naměřím a z grafany vyprintscreenuju.

.cache/borg má okolo 15 GB, tj to se v pohodě do ramky vejde...

> spotřeba paměti byla neúměrná

co si pod tím představuješ?

Moc díky za nabídku. Zajímalo by mě maximální využití paměti při zálohování a počet zálohovaných souborů a množství dat. I tak ale myslím, že na tom Borg bude líp než restic. Píše se to i v porovnáních ze současného roku.

Neúměrná mám na mysli, že když aplikacím na serveru stačí 16 GB RAM, tak by zálohování nemělo vyžadovat dalších 8.

> Neúměrná mám na mysli, že když aplikacím na serveru stačí 16 GB RAM, tak by zálohování nemělo vyžadovat dalších 8.

jo, no nižší jednotky GB si to určitě vezme. Mám to na fileserverech na kterých mám kvůli cache nižší stovky GB RAM, takže se mi to v tom úplně ztratí.

Ješě mi běží borg check, což ještě pár dní zabere (remote repo over sshfs) tak pak kouknu jestli ta čísla z grafany budou nějak smysluplná.

8. 12. 2022, 14:01 editováno autorem komentáře

Dneska už taky máme servery se 128+ GB RAM, ale tenkrát jsme jeli v DigitalOcean a tam je každé GB navíc krvavě zaplaceno.

Na čísla jsem zvědav.