o epycám se stádem nvme začínáme také přemýšlet, dají se pak poměrně velké clustery nacpat do jednoho racku.
25GbE ethernet mi prostě osobně nesedí, ale přičuchl jsem k 56GbE infinibandům a jsem z toho nadšený, za srovnatelnou cenu se s tím daleko lépe pracuje.
ZFS je na tohle skvělý systém, bohužel jeho výchozí nastavení je šílené a udělat to správně pro tyhle rychlé systémy je ještě šílenější, škoda.
12. 2. 2021, 00:55 editováno autorem komentáře
Je to můj osobní názor, zdroje nemám, čerpám z pár pokusů o využití 25 v posledních letech.
1. cena vs. dostupnost - bavím se o SFP28 (cat-8 v rj-45 neznám) a QSFP14+, zasíťovat 20 serverů s TORem, pcie adaptéry, kabely je pořád v 25 drahé a ani po třech letech se nezlepšila dostupnost, čekací doba i měsíce na dodání, naopak QSFP14+ už mají dnes skoro v Globusu, celkově to vychází levněji
2. upstream a breakout - klasicky mám páteřní infrastrukturu v DC na 10, u QSFP14 použiji breakout kabel a mám 4 x 10, u SFP28 mám buď 1x 10, takže potřebuji 4 porty na TORu nebo koupím šíleně drahý QSFP28 a udělám z něho 4 x 10. Sehnat k tomu pak správný TOR s dostatečnou kapacitou, kompatibilitou a počtem portů je občas oříšek
3. správa - mellanox infiniband poskytuje úplně jinou úroveň a nástroje, je to nezvyk mít přehled o síťové vrstvě. OFED drivery v linuxu nad tím umí i ethernet, takže kompatibilitu aplikací nemusím řešit
4. nabídka - produktů s 25 pořád tolik není, je méně výrobců, samotný standard je takový mezi stav
Co sa pozdava mne a mam otestovane:
25gb SW (cca 100 000 Kc) https://www.supermicro.com/en/products/accessories/networking/SSE-F3548S.php
alebo 25GB od fs.com
Vyhoda je krasna skalovatelnost 1/10/25 pripadne pri supermicro 6x100GB ako uplnik, alebo ako prepoj kritickych serverov.
Za uvahu stoji mozno upgrade rovno na 100GB od supermicra (cena cca 2x ako za 25GB).
Zapojenie do MLAGu (25GB DAC kable).
Treba si ale na zaciatku stanovi, co chcete od tychto SW aby splnali, kedze mozno niektore speci veci nebudu mat, ale na to tu je ONIE.
Cenovo vyhodnejsie ako cisco/dell/aruba/jupiter.
MariaDB
další detaily o upgrade HW a optimalizacích jsou tady (linky z původního článku)..
upgrade HW a benchmarky:
https://letsencrypt.org/2021/01/21/next-gen-database-servers.html
setup SSD, ZFS, MariaDB:
https://github.com/letsencrypt/openzfs-nvme-databases
Pěkné ale...
Letsům fandím od začátku. Upgrade vypadá pěkně, ale...
Je vhodné takovou klíčovou službu držet centralizovanou?
Nebylo vhodné začít se ohledně free certifikátů zabývat decentralizovanějším modelem? Dovedu si představit spolupráci Letsů s národními NICy, případně i většími a důvěryhodnými registrátory / hostéry.
Decentralizovat, ano. Ale spíše než přesunovat k NIC, tak bych přesun spíše viděl směrem k DNS: DANE https://en.wikipedia.org/wiki/DNS-based_Authentication_of_Named_Entities.
Aby DANE dávalo smysl, je potřeba mít nasazené DNSSEC. To ještě zdaleka není pravidlem. Navíc je pořád dost sítí, ve kterých validace DNSSEC nefunguje – tj. i když se o to pokusí koncové zařízení, místní resolver je rozbitý a nepředá správné záznamy. Dalším argumentem bylo to, že další DNS dotazy zpomalují dobu prvního načtení stránky.
Paradoxně by v tomhle mohlo pomoci DoH, protože tím se obejdou rozbité místní implementace DNS resolverů, je tam i prostor pro urychlení dotazování.