Názory k článku
Linuxový subsystém perf zvedá limit na 4096 CPU jader

Pod odkazem na procesor se nachází
"Scalability: 2S"
Přitom se ve zprávičce píše o 32S systémech; jak to vlastně obecně je, kolik CPU nebo podle čeho se dá nacpat do jednoho systému?

Ten limit socketu je trochu o necem jinem. Neni na svete deska, ktera by mela 32 socketu pro CPU. Jde podle meho nazoru o limit pro systemy, ktere "sdruzuji" fyzicky HW do jednoho logickeho.

Vetsi problem ale vidim uplne jinde. Predstavte si bezne jisteni v mistnostech se servery na 15A (UPS) - 16A (privody + limit aktualne bezneho konektoru pro servery). Pokud v podminkach novych stroju vezme jeden v TDP pri velkem zatizeni na napajeni 1000W, muzete serverovnu rovnou zbourat a poridit si vlastni elektrarnu kdyz to prezenu.

Svet zesilel - kdysi se s posmechem kritizovalo AMD za spotrebu, a misto aby se slo cestou energeticke efektivity proti ktere osobne nejsem, se proste jen navysuje spotreba.

Jste vedle jak ta jedle. Existuji desky pro 4S reseni, a 8S reseni obsahuje dve patra. Alternativne je kazde CPU na vlastni desce. Protoze s poctem cpu socketu roste i pocet pametovych slotu a na 2D planarni desce se to nevejde, takze se to resi v 3D prostoru.

A prakticky to je jedno, i kdyby slo o dva propojene rackove bedny, jako tomu bylo v davnejsi dobe, viz IBM x3850 x5 (mam jeden, tj 4S), tak se to chova ve vysledku jako 8S pocitac (say hello to NUMA).

Bezne jisteni na 15/16A neni zalezitosti serverovny, ale pouze domaci sklepni instalace. V serverovnach, kde bezi takhle vykonne stroje je bezne dostupnych 50-100-200kW na rack, viz treba instalace superpocitacu v radu jednotek az nizsich desitek MW. To je ekvivalent bezneho DC.

Btw ve sve sbirce mam i jeden pocitac (rozumej jednu bednu, 10U) kde je 4x2.1kW zdroj.. 8.4kW je ehm... 35A @ 240V (po 4x C19 konektorech) :D takze jste huste vedle tim jistenim ,)

Tak tak, díky.
Taky jsem viděl 8S vícepatrové řešení, ale nic většího.
A pak jsou samozřejmě bladová chassis, ale to jsou jednotlivé systémy vedle sebe.
Do silové elektřiny nedělám, ale k těm žiletkám vedou hodně tlustě kabely a používají jiné typy zásuvek. A tam se bavíme třeba o 16x2S systému v rámci 10U, spotřeba 32S řešení tedy nebude zásadní problém.

Vy dva jste se taky hledali az jste na sebe zbyli... Psal jsem ze na svete neni deska na 32 slotu. Na to dostanu reakci, ze jsem vedle a ze existuji desky na 4 a 8 slotu ve dvou patrech.

Kolegum v jiste prazske firme rad vyridim, ze jejich sal je podle mistnich odborniku domaci sklepni instalace. :o)

Kdysi bylo slibovano redakci, ze se kultura diskusi vyrazne zvysi zavedenim registraci a schvalovacim systemem prispevku. Ja si bohuzel nemyslim, ze k tomu doslo.

No a jak to s tím sdružování funguje?
Nemyslím si, že typický 8S server můžete rozdělit na dva samostatné 4S (nemyslím lockstep). Navíc mám tušení někde v paměti, že IBM stavěla nějaké mnohoprocesorové systémy.

Nevím moc, jak si představit družení fyzických systémů do logického; očividně mi na tom všem má běžet jedno docela běžné linuxové jádro, takže si to představuju jako jeden NUMA systém, na kterém můžu provozovat úplně to samé, co na běžném počítači, a když to přeženu, místo na osmi vláknech pustit ten ffmpeg na 4096 vláknech bez toho, abych ten výpočet musel nějak distribuovat na více strojů.

Budu rád za jakékoli zdroje k tomu, tyhle věci se blbě shání. Sice mi to asi nikdy k ničemu nebude, už jsem pár let z oboru, ale pořád mě to baví a zajímá.

Tyhle procesory rady 6900 maj max 2S limit - podobne jako Epyc

az budouci, zatim neuvedena serie 6700/6500 serie bude obsahovat modely pro az 8S .. tj. identicke ke vsem soucasnym Xeon Platinum modelum. Sam tedy nevim, kde se 32S limit vzal

Obecne to je dano marketingovym limitem, ktery aplikuje vyrobce, aby se mohl nabalit na vysokohorske prirazce. Prakticky to u Intelu souvisi s poctem UPI portu, typicky 2,3,4 porty odpovidaji 2S/4S/8S konfiguracim. Do 3UPI/4S se jedna o full-mesh topologii, zatimco u 8S je pocet propoju limitovan (cizi slovo pro topologii si dohledejte).

Pokud se nepletu tak second generation scalable je tady od roku 2029 s podporou 8S. Jinak jak koukam tak 8280L dostupna od 2019 podporuje 8S. https://www.intel.com/content/www/us/en/products/sku/192472/intel-xeon-platinum-8280l-processor-38-5m-cache-2-70-ghz/specifications.html

Díky. Tohle jsem tak nějak věděl, zaujal mě právě ten 32S systém.
Je to jedna z mála věcí, kde Intel ještě nemá v AMD konkurenci. Počet procesorů (a tím i jader) v jednom systému, a s tím spojený počet PCI-e linek a maximální množství RAM. Ne že by to hrálo na trhu významnou roli.

A pro zajímavost, Microsoft zjevně používá 4S systémy postavené na Epycu.
https://techcommunity.microsoft.com/blog/azurehighperformancecomputingblog/announcing-azure-hbv5-virtual-machines-a-breakthrough-in-memory-bandwidth-for-hp/4303504

U toho Microsoftu pisou ze to jsou custom cipy, tak treba to nejak Epyc umi, ale prichazi to s nejakym omezenim ktere by se BFU tezko vysvetlovalo (treba z principu, ze s2s propoj u amd je skrze piny kde jsou PCIe linky).

Jinak 32S x86 ... nasel jsem znova Microsoft:
https://www.anandtech.com/show/13522/896-xeon-cores-in-one-pc-microsofts-new-x86-datacenter-class-machines-running-windows

Ale neni jasne, zda to resi skrze QPI, nebo je to obycejny cluster na bazi OPA/IB. Podobne je nejasny jaky fabric maj v Hua wei:

https://www.huawei.com/en/news/2016/3/worlds-first-32-socketx86-mission-critical-server

Nejde dohledat zadny blokovy diagram.

Malou napovedu dava tohle - huawei pouziva E7-8880 v3 a pro nej je v ARK uvedeno "Scalability S8S". A S8S se od S8 lisi pouzitim externiho "node controlleru":

https://www.intel.com/content/www/us/en/support/articles/000038706/processors/intel-xeon-processors.html

- takze pak jde sestavit vice nez "nativnich 8S skrze interni QPI"

Díky moc, to je přesně to, co jsem hledal.