Phoronix nejde do hloubky, to je pravda a o testovacích metodikách se dá jistě polemizovat. Na druhou stranu ale Michael poměrně dobře dokumentuje obecně dění ve FOSS a spoustu zajímavých informací by se čtenář z mého pohledu jinak nedozvěděl, nebo by dalo více práce. Beru to asi jako zprávičky na rootu (které jsou často z Phoronixu opsané).
Na LWN jsou články poměrně zevrubné, ale zase jen k určitým tématům. Opensoure.com případně další občas taky stačí za přečtení, ale jinak moc kvalitních webů, které sledují dění ve FOSS neznám. Třeba byste mohl přihodit nějaké odkazy na nebulvární weby Linuxového světa, které z Vašeho pohledu komentují dění.
Popsal jste to dobře. Styl Phoronixu kopíruje jeho obchodní model, čímž jsem ovšem neříkal, že to máte přestat číst :-). Mně osobně ten styl nevyhovuje, mám raději LWN.net, kde jde poznat, že nemají obchodní model založený na impresích reklamy, a tak nejedou click-bait, ale jsem dalek tomu, abych říkal, že má Phoronix přestat číst. Jen není možné vnímat Phoronix takový jaký je, a pak se divit, že vychází měření tohodle typu...
A k tomu, že by Root nemusel přebírat zprávičky z Phoronixu as-is a bylo by lepší jít k původnímu zdroji nebo více do hloubky, jsem se vyjadřoval již několikrát...
Především tam chybí počáteční zamyšlení nad tím, co vlastně testovat a jak, aby byly výsledky relevantní, aby se ve skutečnosti neměřilo něco úplně jiného, než byl záměr, a aby se neporovnávaly hrušky s jablky (nebo dokonce s velbloudy). To naprosto chybí, většina testů vypadá tak, že se prostě jen pustí nějaký benchmark na různých systémech a výsledky se uspořádají do grafické podoby. To souvisí i s autorovou oblíbenou koncepcí "out-of-the-box" testů, kdy nainstaluje různé distribuce metodou "next-next-next" a pak spustí benchmark, takže na každé vlastně měří něco úplně jiného a porovnávat výsledky nemá nejmenší smysl. Příklad: testuje se doba "nabootování", přestože na každé distribuci se spouští úplně jiná sada služeb.
Druhý zásadní problém je absence jakékoli analýzy výsledků. To, že se napíše, kdo byl "nejrychlejší" a kdo "nejpomalejší", není analýza. Prakticky v každém testu na Phoronixu, který jsem viděl, byl nějaký dílčí výsledek, který už na první pohled byl nesmyslný, ale autor si toho buď vůbec nevšiml nebo to prostě ignoroval. Příklad: v testu propustnosti 10G síťových karet jeden test ukáže hodnoty v rozsahu 600-900 Mb/s, druhý hodnoty desetkrát vyšší a autorovi to nestojí ani za zmínku (pokud si toho vůbec všiml). Tím pádem nemá smysl očekávat ani zamyšlení nad tím, proč některé výsledky vycházejí v rozporu s očekáváním nebo čím mohou být způsobeny rozdíly.
Třetí problém jsou chybějící informace o testech samotných. Autor třeba napíše, že jde on netperf TCP_STREAM test - ale ani slovo o parametrech, se kterými ten netperf spouštěl, natož o podstatných konfiguračních parametrech systému, o tom, jestli byl nastavený paketový filtr a jak (typicky na každé distribuci jinak - viz první odstavec) atd. Takže když se mi nějaké výsledky budou zdát podezřelé a budu si je chtít ověřit, nemám jak. Zato se ovšem u síťového "benchmarku" dozvíme detailně model grafické karty a monitoru.
Autor byl na tyto zásadní nedostatky mnohokrát upozorněn, ale je mu to jedno, protože má svůj fan club věrných, který na něj nedá dopustit a který ho oslavuje. A pro ty on píše, to je jeho publikum. Minulý týden jsem se třeba podíval na diskusi ke zprávičce o chybě CVE-2019-8912 (protože zdejší zprávička uváděla Phoronix jako zdroj) a s hrůzou jsem zjistil, že je tam sice 36 komentářů, ale všechny se věnují jen flamu ohledně sporů mezi Huawei a US vládou, ale chybou samotnou (a tím, že zprávička je z části nepravdivá a z části zavádějící) ani jeden. To bylo pro mne dost nepříjemné zjištění, protože do té doby jsem si myslel, že testy jsou sice otřesné, ale aspoň jako agregátor informací z linuxového světa ten web funguje docela dobře.
Podle mě je tam dost poctivě označeno, že se jedná o 5.0 Git. Autor docela podrobně porovnal hodně verzí jader, 5.0 je jedno z mnoha. Je možné, že i samotným vývojářům jádra takový test pomůže. A že je titulek příliš bulvární, zavádějící? No, ehm, tady na root.cz to taky nezachránili. Až bude 5.0 ostrá verze, budou se tyto články plést mezi finální testy.
Tak ono půjčilo i AMD na x86/AMD64 (a VIA či Zhaoxin u nejnovějších CPU asi taky), IBM s POWER, ARM a prakticky všichni implementující tuto ISA a pokud má MIPS něco out of order, tak tam jistě taky bude někde průšvih. Je zarážející, že sice tolik studentů (včetně mě tehdy před lety) má přednášku z počítačové architektury, ale na tyto útoky nepřišli i když koncepčně jsou nasnadě. A ještě více zarážející je, že si toho nevšimli vývojáři operačních systémů již v době, kdy tato optimalizace proplula do produkčních čipů. Ano, někdo chce jen výkon, ale většina lidí nepočítá jen matice a počasí, ale spíše pracuje s poměrně citlivými daty o sobě a především o jiných lidech. Úkolem kernelu a procesoru pro normální uživatele je podle mého především tyto okolnosti brát v potaz a absolutně vždy dodržovat oprávnění přístupu.
Jak trefně poznamenává Rich Hickey [0], ono obecně v IT věci zaplétáme než skládáme dohromady - na úrovni běžného operačního systému a procesoru po zkušenostech roku 2018 všechno aspoň do nějaké míry souvisí se vším. A na univerzitě a ve škole nás učí jen důmyslněji zaplétat, abychom narazili až o mnoho později, kdy už na zamyšlení a krok zpět nebude prostor. V podstatě se dá říct, že většina odborníků v IT (asi i včetně mě) svou prací nejspíš dlouhodobě práci přidělává než odebírá (nějakým absolutním řešením nějakého problému). Považuji to za štěstí, ale i prokletí oboru a důvod k zamyšlení nad našimi metodami a postupy.
Nedomyšlení a vůbec připuštění, že můžou existovat důsledky, o kterých nevíme a tedy jejich vliv musíme přinejmenším omezit nebo zcela eliminovat je běžný bug v IT, který většinou žádný soubor testů plně neošetří - jinak bychom nepotřebovali každý druhý den aplikovat nějaký kritický update.
Nezkoušel už někdo, zda v Digikam 6.0 přidali podporu HEIF/HEIC? Pro uživatele nových iPhonů tohle bylo docela citelné omezení, přitom poslední Gimp už to v Linuxu řeší. Podle popisu na webu to spíš nevypadá, píší sice o lepší podpoře RAW z iPhonu (a dalších telefonů), ale popravdě to tolik nevadilo jako absence HEIC. Odpověď na tuto otázku se mi na webu najít nepodařilo, tak asi bude nutno zkusit...