Názory k článku Měření výkonu CPU na scestí: ovlivnit výsledky testů lze mnoha způsoby

Celkovy pocit ze situace mi pripomina autickare... flashnuti ECU, nejake ty spojlery, drahe brzdy ci pneu.. pro par marnych procent rozdilu vuci sousedovi (jednotky az prvni desitka) v specifickem testu, a v realnem provozu bez meritelneho rozdilu, krome pocitu dobre odvedene prace (a hromady utracenych penez).

Nebo naopak - je to prilezitost pro factory tuning? Kde koupim sestavu s deklarovanym CB R23 skorem - je schopen to nekdo dodat?

Jsou nejake sluzby, ktere to delaji u her: pred nakupem PC si naklikas, ktere hry s jakym FPS chces hrat, podle toho ti navrhnou system. Nevim, jak moc to pak validuji.

Taky exisuji e-shopy, ktere prodavaji K(-like) procesory s garantovanym OC na ruzne frekvence.

Bylo by zajimave pravidelne testovat synteticke testy. "Podivejte, tady jsem otestoval 10 ruznych CPU v 10 realnych aplikacich (solidworks, x265, excel, zip, sha256 + 5 her) a rozdil mezi nimi vysel stejny jako v nasem syntetickem testu." Dela to takhle vlastne nekdo?

Zkus 10 stejných CPU za stejných podmínek a u Intelu 7/10 ti to splní, zbytek kousek pod... AMD to má 9/10 díky čipletům, který se omezují a vesměs pak jedou na stejné hodnotě.. Jelikož intel jeden monolit, tak musí pustit i to co je pod garantované hodnoty... Zkus todle vydat v nějakém časopisu/článku tak jsi na černé listině...

Na černé listině koho? Toho českého zastoupení Intelu? Jo, to jsme si s WIFTem zažili poté, co jsme jim znectili Ivy Bridge. Ale dalo se s tím normálně fungovat. Ale je to o konkrétních lidech, nikoli o tom, že by a priori byl špatný celý Intel. Holt jen tehdy měli v cz zastoupení namyšlený hlupáčky co nevydejchávali oprávněnou kritiku. Třeba je to dnes, o 9 let později, jinak.

Phoronix?

Počet vláken.
Ještě jedna důležitá věc tu je. Některý zátěže se nechovají, jak by se očekávalo, při zbyšování počtu vláken může výkon i klesat a to i když jsou tu ještě nevyužitý jádra (a né jenom ty "virtuální od SMT")
Můžeme narazit na limit v paměti, cache, nebo někde jinde. (
Případně zasáhne ten power limit hodně agresivně. Ikdyž to je spíš záležitost hodnějader s nízkym TDP, třeba jako 60W na 16 jader a podobně. To někdy může bejt hodně nepředvídatelný.

m&yslíte Power Limit Alderlake

Alder Lake Allegedly Commands 28% Higher Peak Current Than Rocket Lake

17 hours ago

The peak output for the 125W SKU increased from 34A (408W) to 39A (468W), while the 65W SKU went from 30A (360W) to 38.5A (462W). Even the energy-efficient 35W SKU jumped from 16.5A (198W) up to 20.5A (246W).
https://www.tomshardware.com/news/alder-lake-allegedly-commands-28-higher-peak-current-than-rocket-lake

6. 8. 2021, 13:05 editováno autorem komentáře

Zrovna tyhle kratke 10ms peaky mohli vyresit kondenzatorama na desce.

Co se tyce puvodniho komentare, tak to resi vicemene specifikace spravne, tj. sice mate 16 jader za 80W, ale ty jadra jsou 1.6GHz (BASE) ... tj. do 80W se vlezete pri SMT zatezi, ale pojede to naprd no. Ale kdyz prostredi dovoli, tak to boostuje nekam vejs, hlavne v jednojadrove zatezi... uz nejakou dobu existuje na wikipedii (a jinych strankach o cpu) vypsanej pro kazdy cpu jeho konkretni boost faktory - o kolik 100MHz jednotek to muze boostovat pri zatezi 1,2, 3... az napr. 16 jader.

Viz napr. tabulku zde:
https://en.wikichip.org/wiki/intel/xeon_silver/4208#Frequencies
kde kazde policko splnuje TDP limit 85W.

Bohuzel Intel se k tomu oficialne nepriznava takto jasne skrze ARK databazi, maj tam jen ALL-core nonAVX (BASE) a 1C-MAX.

Tady je vidět, že problematika je tak velká, že opravdové srovnání, které dává význam podle článku jsou schopné dělat velké redakce typu LTT, které testují vždy všechno znovu, nebo hnidopiši typu GN nebo HW Unboxed (vše na youtube).
Ale pokud chci mezigenerační srování nebo porovnat karty/cpu skrz víc modelů tak jdu na techpower up nebo userbenchmark, nesleduji každé procento rozdílu, ale relativní pozici gpu A vůči gpu B, vzlášť userbenchmark se v tomhle dobrý, že je schopný porovnat klidně i 15 let starou grafiku s dnešním high endem, ale člověk musí brát, že je to orientační.
Pokud chci vědět, který výrobce grafických karet, dělá nejlejpší kartu s daným čipem jdu na GPU report cz, který má detailní chování a popis jednotlivých karet, což se na internetu moc často nevidí a myslím, že pokud člověk vybírá grafiku tak tahle stránka je nejlepší na srovnání ruzných výrobců karet.
Pokud chci vidět detailní rozbor spotřeby grafik jdu zas na toms HW.
Jak je vidět, tak neexistuje hw web, který vše dělá nejlépe, proto je potřeba se podívat na více rezencí, které berou produkt každá trošku z jiného úhlu, jedině tak si člověk udělá objektivní obrázek o tom, jak si vlastně daný produkt stojí.
Dobrý je web videocardz, který při zrušení NDA vydá seznam s desítkama recenzí po celém světě.
Taky občas vyhledávám na youtube, konkrétní hru s konkrétním HW kde se vždy najde alespoň částečný shoda.
Bohužel české recenze moc nesleduji, kromě gpu reportu a občas karáše, protože díky zdrojům, které má český recenzent k dispozici, nejsou schopny nabídnou něco navíc oproti velkým zahraničním hw webům/kanálům.

Ako autora testov procesorov a grafickyćh kariet na CZ/SK weboch Cnews.cz (o ktorom bola v článku reč) a HWCooling.net, by ma zaujímalo, v čom konkrétnom naše metodiky zaostávajú za tými zahraničnými? Napríklad za spomínanými Tom's Hardware alebo TechPowerUp, aby sa dalo povedať, že tie testy majú na celkovo lepšej úrovni? Nepopieram, že majú ničo možno navyše, ale takisto im tam veľa, ktorým sa my venujeme, chýba.

Ale to hlavné... keď niekto aspoň pri procesoroch nepoužíva na meranie spotreby prúdové kliešte (a pracuje v lepšom prípade so systémovou spotrebou, niektorí sa totiž uspokoja s reportom z HWiNFO), tak to s tým testovaním príliš vážne nemyslí.

Merať poriadne kompletný odber grafických kariet (tým kompletný myslím aj zo slotu PCI Express) je už zložitejšie, ale aj to sa dá. Na Cnews/HWCooling sme si na tento účel vyrobili vlastný power meter vo forme prídavnej karty medzi slotom a grafickou kartou a nenašiel som teda nikoho, kto by spotrebu meral presnejšie, ani na tom YouTube. Možno budete argumentovať PCATom Nvidie, ktorý používa Hardware Unboxed. Jasné, ten vyzerá "cool", ale je to maximálne nestransparantný merací prístroj, ktorému sa nedá dôverovať ani pri meraní spotreby grafických kariet Nvidia a už vôbec nie AMD. :)

8. 8. 2021, 08:54 editováno autorem komentáře

omlouvám se, ale ty 40ti stránkové elaboráty se mi číst moc nechce
a ještě víc se omlouvám, ale číst slovenštinu moc nedokážu, to radši angličtinu, měl jsem spoustu kolegů nebo šéfa ze slovenska a bavit se s člověkem ze slovenska nemám problém, ale číst tak dlouhé články ve slovenštině je nad moje síly

ale slibuju že kouknu až bude nějaká recenze grafiky :)

Chápem to správne, že ten váš etalón je tak na minútku čítania alebo na dvojminutové pozeranie videa? To potom ale nemôžete komentovať a hodnotiť veci, o ktorých nič neviete. Keby som takto pristupoval k tým testom procesorov a grafickyćh kariet... nič, asi to nemá zmysel dalej rozvádzať. Len som chcel teda prejaviť nesúhlas a poukázať na to, že trochu kecáte. :)

V tom dlhom komentári ste ale predsa len jednu pravdu mali, Pavlova práca na GPUreporte naozaj zaslúži obrovskú pochvalu.

mě jde o to sjet co nejvíce zdrojů a udělat si celkový obrázek a ano jsem ten člověk co se koukne na pár vybraných her co mě zajímá, pak koukne na sumář pokud to autor dělá, kouknu na spotřebu, porovnám to s grafikou co vlastním nebo vlastní moje okolí přečte závěr a jde dál
a etalon minutu dvě pozornosti? to si myslím, že při cenách dnešního HW asi stačí, někdo to popsal jako když si čtu automagazín ve kterém porovnávají lamborgini s ferrari tak se mi jeví dnešní situace s HW a až budu kupovat nový HW tak si dá hodně záležet, abych tomu věnoval víc jak 2 minuty.

tak tak.
ono uz to nie je ako bolo za cias 3D mark a PC mark kde sa opakovanie testu bez zmien HW a ovladacov lisili max o 10 bodov.

ked som skusal cinebench na mojom Intel Pentium G3240 vysledky po restarte sa odlisovali o 3-12%
cim test stratil vypovednu hodnotu

To mě právě na Cinebenchi strašně vadí. Ten test se poslední roky bere jako naprostá modla, nikdo vůbec neřeší, jak výsledky generuje. Prostě z něj vypadne číslo a to je svatou pravdou. Přitom je to blbost.

"Ten test se poslední roky bere jako naprostá modla"

To asi fakt zalezi na tom, jaky bulvar ctes...

Najdi recenzi současných CPU, která neobsahuje Cinebench.

...typicky jako jeden z mnoha a mnoha testu.

CEO Intelu vyzval, abychom nehodnotili podle benchmarků
3. 6. 2020
Současnou dobu bychom měli vnímat jako k příležitost, abychom se jako [IT] průmysl odklonili od benchmarků a zaměřili na benefity a dopady technologií, které vytváříme.
https://diit.cz/clanek/ceo-intelu-vyzval-abychom-prestali-hodnotit-podle-benchmarku

A Cinebench testuje "pocit z technológie"

Tak to je teda zvlášne, to správanie na vašej zostave, to už je fakt veľká odchýlka tých 12 %. Každopádne vyvodzovať závery z jendého merania nemôžete nikdy a na slušnejšiu presnosť je treba každý test zopakovať trikrát a ako výsledok uvádzať priemernú hodnotu týchto meraní.

jeste bych do toho pridal fanouskovstvi, ja davam prednost komponentam od AMD. takze by Intel musel byt o dost lepsi, aby me presvedcil, 3-10% nestaci.

To samozřejmě, však já také nakupoval podle inklinace k dané značce (a upřímně, i podle toho, že na Intelu jedu posledních 12 let a funguje spolehlivě). Ale to nesouvisí s tím, jak vznikají recenze hw produktů na webech. Upřímně, kdybych měl za stejnou cenu co jsem kupoval 10400F od AMD nějaký Ryzen s klidně o 25% vyšším výkonem, stejně by mě to asi nepřesvědčilo.

tak vy jste fanda intelu, ja fanda amd.
co dalsiho byste treba rekl na obranu/pochvalu intelu?

myslite, ze se nekdy ujme poradne intelacke gpu?

On neni fanda Intelu, on je kontrarian. Proste jde "proti proudu". Takze ted se tvari, ze Intel neni katastrofa.

to mi je jedno, at si kazdy dela co chce.

spis chci slyset objektivni i subjektivni nazory proc intel cpu ano i v dnesni dobe?

6. 8. 2021, 09:07 editováno autorem komentáře

Publikovat jakékoliv výsledky bez zveřejnění kompletní sestavy + SW nedává vůbec smysl. RAM má obrovský vliv na výkon, v případě AMD i to, v jakém slotu ta RAM je a kolik je tam modulů. Radši ani nechci mluvit o OS, verzi jádra, verzi knihoven, verze compileru co to všechno zkompiloval, atd...

Řekl bych, že tak 95% různých výsledků na různých webech přesně tímto trpí. Jsou nereprezentativní, není možné ty testy opakovat, a nikdo neví, jestli ten rozdíl ve výsledcích je opravdu výkon CPU, optimalizace compileru, knihoven, jádra, atd...

Tím chci říct, že ty čísla v článku co mají jakoby něco srovat nic neznamenají...

Měření výkonu je problém obecně. Dneska se už toho v PC děje tolik, že je problém nějak spolehlivě měřit výkon i vlastního softwaru.

Firmware. Nikde nepíšou firmware verze komponent.

Ani na jakém mikrokodu cpu běží. To jsou dost podstatne věci. Zejména u Intelu.

Mě vadí nedostatek dostupných informací o daném HW (v tomto případě procesoru). To je základ. Potom si vyberu podle toho, jak to chci používat. Když si vezmu ten příklad s tím bulldozerem, přesně jsem věděl, do čeho jsem v roce 2013 šel a za velmi levný peníz dostal, co jsem potřeboval. Slouží dodnes v FreeBSD, 8 jader, kompilace portů a systému stále ve velmi přijatelném čase. Včetně toho ffmpeg, které během kompilace kodeků testovalo (dneska už to tam nevidím) rychlost kódování s různými volbami kompilace a vybralo tu pro daný stroj nejrychlejší. Stále je to použitelný stroj i na noční kódování do h265. Každopádně ten procesor se chová přesně dle očekávání.

Když si vezmu R7 1700, tak podle testů je "tam" něco 16x a něco 8x. Nebo možná nestíhá dekodér. Při testů výkonu podle počtu procesů to stoupá lineárně do 8 procesů, potom to roste (ale pomaleji) do 16x procesů a potom už jen plochá křivka. SMT přidává 50% výkonu navíc. Jenže nevím, jaký je přesný počet interních jednotek. A nevím to ani dnes před rozhodováním o dalším cpu.

U nových procesorů už tyto informace nejsou. Je hromada čipů včetně interního "scheduleru" pro OS, který se neumí vyrovnat s 32+ procesory. Nevíte, jestli to funguje líp nebo hůř než nativně v os. Nevím, jak je to s propustností pamětí apod. Jsou už jenom marketingové informace.

Benchmarky ovlivněné nejen teplotou jsou až někde nad tím. Nemá smysl řešit lepší chlazení, když CPU stejně nestíhá tahat data po sběrnici. +-1% na chlazení stejně asi nikoho příliš nezajímá.

No neviem... mozno som uz fakt stary, ale pride mi to cele smiesne. V istom bode si poviem, ze OK, chcem novy PC/CPU/GPU, lebo pri tom, na com dany HW pouzivam, mi prestava stacit vykon. Tak idem do najblizsieho eshopu, pozriem najnovsi kompoment v cenovej kategorii, ktoru si mozem/chcem dovolit a kupim to. Je v podstate garantovane, ze nech kupim cokolvek, tak to bude mat vykonnostny narast radovo o desiatky percent oproti povodnemu (ak teda berieme do uvahy, ze takyto upgrade robim raz za 3-4 roky).

To, ci by som za rovnaku cenu mohol mat o 10% vyssi vykon alebo o 10% nizsiu spotrebu mi pride fakt smiesne (bavime sa o beznom pouziti na hry ci programovanie, nie na nejake serverove/ren­derovacie farmy).

Cas sa da travit aj uzitocnejsie nez citanim nekonecnych a super podrobnych recenzii. :)

Doufal jsem, že tu někdo něco takového napíše, takže díky díky díky. Je to přesně jak píšeš. Mě třeba bylo úplně jedno jestli koupím 6core/12HT, 8core/16HT či víc. Doteď jsem jel na 4core bez HT, navíc starší architektur as nižším IPC, takže cokoli nutně muselo být o desítky procent lepší při stejné spotřebě. Tohle Intel s 10400F a cenovkou lehce nad 3500Kč (já dal 3999Kč, abych to měl s nulovým poštovným a druhý den dodané 100m od baráku) naprosto splnil. Kdybych měl Ryzen 5950X, nebyl bych na tom uživatelsky o nic lépe.

Přesně tak.

Tak treba len dúfať, že do počítačov neprídu regulácie ako do automobilového priemyslu, ktoré zaručujú, že v tej istej cenovej kategórii dostanem menej ako mal môj starý model.
Nikým nežiadaný a napriek tomu povinný štart-stop ničiaci batériu, eCall s potenciálom upgradu na špehovací systém, o chvíľu povinný obmedzovač rýchlosti. Tieto povinné "bugs or features" potom zvyšujú náklady a spolu s emisnými normami snažiacimi sa prekonať prírodné zákony, dokonale zabezpečia, že nové auto bude pravdepodobne horšie ako to predchádzajúce a miesto štvorvalca tam bude (ak budem mať šťastie) trojvalec.

6. 8. 2021, 12:08 editováno autorem komentáře

Doporučuji úžasný paper "Producing Wrong Data Without Doing Anything Obviously Wrong!". Výkon softwaru je ovlivněn třeba délkou jména uživatele, který ho spouští, protože jméno je v environmentu, environment je na stacku, a když to blbě vyjde, tak se při volání hot funkce přistupuje přes hranice stránky a rozbije se to. Nebo je to závislé na tom, v jakém pořadí linker načetl knihovny, protože pak jsou v paměti umístěné jinak a může se stát, že se dvě často volané funkce budou navzájem vyhazovat z cache kvůli omezené asociativitě.

Nádherný příklad. Díky za doplnění.

Rovnako ako využívanie spodných 20 bitov logickej adresy na predikcie a tým rôzne mapovanie spôsobí rôzne stavy prediktorov..

Sláva bohu, že jsem to po mnoha letech více méně přestal řešit. Stačí si vybrat cenovou a výkonnostní úroveň, kde pár procent nehraje roli, jako důležitější v praxi vidím spíš výběr výrobce, který člověk vyhovuje a kde je jakás-takás podpora, no a pak vybírat spíš masovější výrobek, kde bude víc ohlasů a případné problémy se budou řešit. Mnohem důležitější než hrubý výkon je spolehlivost, ticho a celkově příjemný pocit, že člověk může dělat a nemusí pořád něco řešit.

Ja CPU porovnávam v databáze cpubenchmark.net nejaký PASSMARK software a podľa toho to vyberám. Ja potrebujem čo najvýkonnejšie CPU zároveň s najnižšou možnou spotrebou plus chcem mať k dispozícii 2x viac vlákien ako je počet jadier procesora. Napríklad Ryzen 7 4700U nemá hyperthreading, avšak Ryzen 7 4800U už má, Ryzen 7 5700U je "ZEN2+" avšak Ryzen 7 5800U už je ZEN3. Teraz čakám, či sa vydá nakoniec ZEN3+. Uvidíme aký bude nárast výkonu. Ak by to malo PCIe. 4.0. a DDR5, tak by som na ZEN4 určite nečakal ďalší rok a pól. Uvidíme, ako to celé dopadne.

K testům ffmpeg/x265: Karášův test obsahuje některé zavádějící informace, na které jsem ho už 2x marně upozorňoval. Zejména tvrzení o využití max. 16 vláken je mylné. Ve skutečnosti může kodek x265 používat díky implicitně zaplému WPP i více vláken, ale záleží na spoustě okolností: Počtu detekovaných jader, počtu řádků videa, obsahu aktuální scény ve videu, způsobu dekódování zdrojového videa, atd. Takže v praxi 1080p video dokáže vytěžovat řekněme 12 až 20 vláken (a jako že se to opravdu v průběhu komprese mění). 2160p video pak v extrémech i víc než 32. Proto onen test na moderních multijádrových CPU s jím zvoleným 1080p videem opravdu nic užitečného neříká.

A přesně jak předpokládáte, x265 kodek (vestavěný v ffmpegu) za poslední roky prošel mnoha drobnými aktualizacemi, ať už laděním výchozích parametrů, či přidáváním dalších rutin, že výsledek je mezi různými verzemi libx265 vzájemně zcela nebenchmarkovatelný .

Ten počet řádků videa hraje velkou roli. Když konvertuji větší množství 720p (H.264 do HEVC) na Ryzenu 3900X nebo 5900X, tak musím pustit dva cykly paralelně, abych procesor vytížil. A pokud si dobře pamatuji, jedna instance nestačila ani na vytížení 2700X.

Ja som zatiaľ spokojný s 2 x Xeon E5-2678 v3 @ 2.5Ghz (2 x 12 cores or 2 x 24 vcores + 2 x 30MB cache) + 64GB RAM :-)

No, tohle na mě právě vyběhlo z cinebenche R23 ... podle toho, co má v sobě za výsledky, tak 12core 2697 dává dnes stejnej výsledek jako aktuální 6core, tedy řekněme 11600. Koukal jsem na to jako blázen, ale ....

Tak tomu bych se nedivil - prepoctem na GHzCory... 12C @ 2.7G = 6C @ 5.4G ... rekneme ze to na te frekvenci asi uplne dnes nebezi a najaky podil ma zvyseni IPC... ale v podstate je to vse o tom, ze dnes je to taktovano vejs (a pripadne topi min v idle).

V Cinebenchi Multi fakt procesory Intelu nejedou na 5.4GHz (na této frekvenci nejede žádné Intel CPU, ani když má zatížené jen 1 jádro a chlazení i napájení jsou naprosto dokonalá), Spíše jste rád za frekvence o 1GHz nižší na všech jádrech.

Vykon CPU pokud jej nepouzivam na velmi specificke operace je uz dnes skoro zbytecne resit a na ty specificke operace by se spise hodil koprocesor. Co je vlastne v dnesni dobe bottleneck?

Kazdy vidi bottleneck jinde, a pro typickou desktop platformu je to u me v malem poctu PCIe linek (nemuzete mit GPU na x16 a dalsi kartu jako 10G ci RAID - protoze to zacne rozkladat linky a zustane 8+8). Tohle resi serverove/wor­kstation cpu, ale to uz je cenove dost jinde.

Druhy bottleneck je podobny - pripojeni PCH je skrze DMI, coz je taky jen pcie - a ma sirku x4 linek. Stejna situace panuje u AMD, kde je to take x4 (at uz desktop, nebo TR), takze jestli na ten SB povesite vicero SATA SSD nebo usb3, je ta roura jiz uzka.

Já mám furt pocit, že notebooků je bottleneck CPU - kdykoli vlezu Firefoxem na nějakou zprasenou stránku (takových je) a nedejbože maximalizuju okno na 4K monitor.

Brutální bottleneck je v dnešní době paměť. Rychlost přístupu do paměti roste výrazně pomaleji, než rychlost procesorů.
Hlavně náhodný přístup je problém. Setkal jsem se už i s pohledem, že přístup do paměti není O(1), ale O(sqrt(N)), kde N je celkové množství paměti využité procesem. Nevím, jestli je to korektní, ale je to výstižné. Čím víc paměti, tím menší šance že je nějaká náhodná adresa v cache nebo dokonce není odswapovaná.
Problém je, že naivní objektový návrh a jazyky, co každý objektík alokují zvlášť na haldě silně vedou k velice špatnému využití paměti. Ale při profilování se žádné úzké hrdlo neobjeví.

Proto se teď víc a víc objevuje data oriented design. Hlavní myšlenka je rozbít objekty na části, které se používají společně a nasypat je do jednoduchého pole. Cílem je sekvenční přístup do paměti kvůli hardwarovému prefetchi a taky vytěžit maximum z každé řádky cache.

Jazyky, co “každý objektík alokují na haldě”, jsou šmejd. Slušný jazyk má mít pořádnou escape analýzu a rychlý alokátor (nebo nějaký ekvivalentní mechanismus, nejvýraznějším příkladem je asi Rust). BTW tiling není žádná nová myšlenka.

Jo jo, i když escape analýza neumí zázraky. A taky ten objektík nesmí utéct. Stačí virtuální volání nebo nějaký podobný mechanismus a překladač ví velké kulové.

Použitie high-endových dosiek v metodikách samozrejme vhodné je. To preto, aby bolo skreslenie v namernej spotrebe zanedbateľné bez ohľadu na to, či sa použije 50W alebo 250W procesor. Čím slabšie a menej efektívne VRM doska má, tým vyššie ono skreslenie je.

Nojo ale pak si někdo přečte recenzi 11900 provedenou na nějaké hiend desce Z590, osadí to doma do H510 a k tomu přidá BOX chladič a hle, je možná i jen na 1/2 až 2/3 výkonu.

Na zistenia, ako sa môže výkonný procesor správať na lacnejšej doske sú predsa testy základných dosiek. Na možný vplyv chladiča zase testy chladičov a podobne. Nepríde mi rozumné ani použiívať príliš pomalé pamate (a skreslovať výkon procesorov týmto spôsobom), keďže limity DDR4-2666 sa netýkajú už ani B čipsetov Intelu.

Výkon chladiča zase až tak procesorový výkon neformuje. RL si aj pri 95 °C s inštrukciami AVX-512 drží all-core boost rovnako ako pri nizšom zahrievaní, na čo poukazujú aj merania v tomto článku: https://www.hwcooling.net/extra-test-rocket-lake-jak-pouzit-avx-512-v-x265-a-pomaha-to/ Samozrejme, že s boxovým chladičom by thermal throttling nastúpil okamžite, ale koľko ľudí bude používať takúto kombináciu (extémna záťaž Core i9 s extémne slabým chladičom)? Tým nechcem tvrdiť, že je ten box chladič zbytočný alebo že ho nikto nepoužije, ale keď ho použije, tak s príkonom zarovnaným podľa PL1.

"případně medián všech měření " - vrtá mi to hlavou. Proč medián? Jaký smysl má použití mediánu místo průměru při měření výkonu CPU?

Lepe to odstrani "ulety". Trebas kdyz se ti pri jednom behu testu z peti spusti nejaka narocnejsi systemova uloha na pozadi a zpomali ho na polovinu, tak to vic zahyba s prumerem nez s medianem.

Hm. No dobrá. Chtěl jsem odpověď autora, ale když už jste to načal....

Průměr je (obvykle) nejlepší odhad náhodné veličiny. Medián ne. V případě rovnoměrného rozdělení hustoty rozdělovací funkce náhodné veličiny průměr a medián mají stejnou hodnotu. Ale je potřeba znát ono rozdělení. Pokud není známo, nelze jen tak od boku průměr a medián zaměňovat.

Popsané "úlety" jsou ale důsledkem vlivu, který chceme v datech potlačit. To se dá řešit dvěma způsoby. První je vyřazení výsledků, o kterých víme že byly ovlivněny. To není vždy jednoduché, a často vede ke špatné volbě dat, které je potřeba vyřadit. A obvykle se to nedá dělat bez rozumně velkého množství pozorování. Druhá možnost je prostě vliv zahrnout do výsledné nejistoty, a nejistotu snížit počtem opakování měření. To také vede k některým dalším typům chyb.

Já chtěl vědět, jestli autor ví co dělá, nebo jen tak zaměňuje průměr a medián, jak se hodí. Protože tohle většina lidí dělá, použijí medián jako způsob odstranění nechtěného vlivu, čímž obvykle dostanou jiný výsledek než chtěli.

A jen tak od boku můžeme zkusit úvahu, jak asi vypadají výsledky měření. Jde o dobu výpočtu nějaké úlohy, která má za optimálních podmínek minimální možný čas výpočtu. Rychleji to prostě procesor nedokáže vypočítat. Tento výsledek je ovlivněn dalšími nechtěnými úlohami, teplotou procesoru atd. Všechny tyto vlivy dobu výpočtu jen zpomalují. Tedy hodnota, kterou tester nejspíš touží získat, je právě minimum ze všech naměřených dat. Jakákoliv větší hodnota je jen více zatížená okolními vlivy. Ale tuhle úvahu berte s nadhledem, testování procesorů jsem ve velkém nezkoušel, nevím jaké jsou vlivy bufferů apod.

Ech, jsem idiot. Samozřejmě v prvním odstavci místo "rovnoměrného" jsem chtěl napsat "normálního" (ala Gaussova). I když ta věta platí shodou okolností pro oba rozdělení.
A taky můžeme vyvodit, že testování CPU nemá normální (nebo rovnoměrně) rozdělení, protože hodnota je zdola omezena, (nemůže být menší než onen ideální čas výpočtu).

Takže ať na to koukám jak chci, použití mediánu místo průměru je bez dalšího šetření nepodložená pitomost.