Vlákno názorů k článku Linux 5.0 je pomalejší než řada 4.x, vyšel digiKam 6.0 od J L - Srovnávat nedodělaný kernel vůči hotovým kernelům je dost...

Phoronix je bohužel takový bulvár Linuxového světa, tak by Vás to nemělo překvapit...

Phoronix nejde do hloubky, to je pravda a o testovacích metodikách se dá jistě polemizovat. Na druhou stranu ale Michael poměrně dobře dokumentuje obecně dění ve FOSS a spoustu zajímavých informací by se čtenář z mého pohledu jinak nedozvěděl, nebo by dalo více práce. Beru to asi jako zprávičky na rootu (které jsou často z Phoronixu opsané).
Na LWN jsou články poměrně zevrubné, ale zase jen k určitým tématům. Opensoure.com případně další občas taky stačí za přečtení, ale jinak moc kvalitních webů, které sledují dění ve FOSS neznám. Třeba byste mohl přihodit nějaké odkazy na nebulvární weby Linuxového světa, které z Vašeho pohledu komentují dění.

Popsal jste to dobře. Styl Phoronixu kopíruje jeho obchodní model, čímž jsem ovšem neříkal, že to máte přestat číst :-). Mně osobně ten styl nevyhovuje, mám raději LWN.net, kde jde poznat, že nemají obchodní model založený na impresích reklamy, a tak nejedou click-bait, ale jsem dalek tomu, abych říkal, že má Phoronix přestat číst. Jen není možné vnímat Phoronix takový jaký je, a pak se divit, že vychází měření tohodle typu...

A k tomu, že by Root nemusel přebírat zprávičky z Phoronixu as-is a bylo by lepší jít k původnímu zdroji nebo více do hloubky, jsem se vyjadřoval již několikrát...

Co konkrétně byste Vy osobně do toho Phoronixového testu dodělal, aby byl do hloubky?

Především tam chybí počáteční zamyšlení nad tím, co vlastně testovat a jak, aby byly výsledky relevantní, aby se ve skutečnosti neměřilo něco úplně jiného, než byl záměr, a aby se neporovnávaly hrušky s jablky (nebo dokonce s velbloudy). To naprosto chybí, většina testů vypadá tak, že se prostě jen pustí nějaký benchmark na různých systémech a výsledky se uspořádají do grafické podoby. To souvisí i s autorovou oblíbenou koncepcí "out-of-the-box" testů, kdy nainstaluje různé distribuce metodou "next-next-next" a pak spustí benchmark, takže na každé vlastně měří něco úplně jiného a porovnávat výsledky nemá nejmenší smysl. Příklad: testuje se doba "nabootování", přestože na každé distribuci se spouští úplně jiná sada služeb.

Druhý zásadní problém je absence jakékoli analýzy výsledků. To, že se napíše, kdo byl "nejrychlejší" a kdo "nejpomalejší", není analýza. Prakticky v každém testu na Phoronixu, který jsem viděl, byl nějaký dílčí výsledek, který už na první pohled byl nesmyslný, ale autor si toho buď vůbec nevšiml nebo to prostě ignoroval. Příklad: v testu propustnosti 10G síťových karet jeden test ukáže hodnoty v rozsahu 600-900 Mb/s, druhý hodnoty desetkrát vyšší a autorovi to nestojí ani za zmínku (pokud si toho vůbec všiml). Tím pádem nemá smysl očekávat ani zamyšlení nad tím, proč některé výsledky vycházejí v rozporu s očekáváním nebo čím mohou být způsobeny rozdíly.

Třetí problém jsou chybějící informace o testech samotných. Autor třeba napíše, že jde on netperf TCP_STREAM test - ale ani slovo o parametrech, se kterými ten netperf spouštěl, natož o podstatných konfiguračních parametrech systému, o tom, jestli byl nastavený paketový filtr a jak (typicky na každé distribuci jinak - viz první odstavec) atd. Takže když se mi nějaké výsledky budou zdát podezřelé a budu si je chtít ověřit, nemám jak. Zato se ovšem u síťového "benchmarku" dozvíme detailně model grafické karty a monitoru.

Autor byl na tyto zásadní nedostatky mnohokrát upozorněn, ale je mu to jedno, protože má svůj fan club věrných, který na něj nedá dopustit a který ho oslavuje. A pro ty on píše, to je jeho publikum. Minulý týden jsem se třeba podíval na diskusi ke zprávičce o chybě CVE-2019-8912 (protože zdejší zprávička uváděla Phoronix jako zdroj) a s hrůzou jsem zjistil, že je tam sice 36 komentářů, ale všechny se věnují jen flamu ohledně sporů mezi Huawei a US vládou, ale chybou samotnou (a tím, že zprávička je z části nepravdivá a z části zavádějící) ani jeden. To bylo pro mne dost nepříjemné zjištění, protože do té doby jsem si myslel, že testy jsou sice otřesné, ale aspoň jako agregátor informací z linuxového světa ten web funguje docela dobře.

Podle mě je tam dost poctivě označeno, že se jedná o 5.0 Git. Autor docela podrobně porovnal hodně verzí jader, 5.0 je jedno z mnoha. Je možné, že i samotným vývojářům jádra takový test pomůže. A že je titulek příliš bulvární, zavádějící? No, ehm, tady na root.cz to taky nezachránili. Až bude 5.0 ostrá verze, budou se tyto články plést mezi finální testy.