Vlákno názorů k článku Vyměnit 200 miliónů certifikátů za den? Let's Encrypt připravuje nejhorší scénář od Uncaught ReferenceError: - o epycám se stádem nvme začínáme také přemýšlet,...
-
o epycám se stádem nvme začínáme také přemýšlet, dají se pak poměrně velké clustery nacpat do jednoho racku.
25GbE ethernet mi prostě osobně nesedí, ale přičuchl jsem k 56GbE infinibandům a jsem z toho nadšený, za srovnatelnou cenu se s tím daleko lépe pracuje.
ZFS je na tohle skvělý systém, bohužel jeho výchozí nastavení je šílené a udělat to správně pro tyhle rychlé systémy je ještě šílenější, škoda.
12. 2. 2021, 00:55 editováno autorem komentáře
-
Je to můj osobní názor, zdroje nemám, čerpám z pár pokusů o využití 25 v posledních letech.
1. cena vs. dostupnost - bavím se o SFP28 (cat-8 v rj-45 neznám) a QSFP14+, zasíťovat 20 serverů s TORem, pcie adaptéry, kabely je pořád v 25 drahé a ani po třech letech se nezlepšila dostupnost, čekací doba i měsíce na dodání, naopak QSFP14+ už mají dnes skoro v Globusu, celkově to vychází levněji
2. upstream a breakout - klasicky mám páteřní infrastrukturu v DC na 10, u QSFP14 použiji breakout kabel a mám 4 x 10, u SFP28 mám buď 1x 10, takže potřebuji 4 porty na TORu nebo koupím šíleně drahý QSFP28 a udělám z něho 4 x 10. Sehnat k tomu pak správný TOR s dostatečnou kapacitou, kompatibilitou a počtem portů je občas oříšek
3. správa - mellanox infiniband poskytuje úplně jinou úroveň a nástroje, je to nezvyk mít přehled o síťové vrstvě. OFED drivery v linuxu nad tím umí i ethernet, takže kompatibilitu aplikací nemusím řešit
4. nabídka - produktů s 25 pořád tolik není, je méně výrobců, samotný standard je takový mezi stav -
Co sa pozdava mne a mam otestovane:
25gb SW (cca 100 000 Kc) https://www.supermicro.com/en/products/accessories/networking/SSE-F3548S.php
alebo 25GB od fs.com
Vyhoda je krasna skalovatelnost 1/10/25 pripadne pri supermicro 6x100GB ako uplnik, alebo ako prepoj kritickych serverov.
Za uvahu stoji mozno upgrade rovno na 100GB od supermicra (cena cca 2x ako za 25GB).
Zapojenie do MLAGu (25GB DAC kable).
Treba si ale na zaciatku stanovi, co chcete od tychto SW aby splnali, kedze mozno niektore speci veci nebudu mat, ale na to tu je ONIE.
Cenovo vyhodnejsie ako cisco/dell/aruba/jupiter.
