Hlavní navigace

Názor k článku Linux 5.0 je pomalejší než řada 4.x, vyšel digiKam 6.0 od Michal Kubeček - Především tam chybí počáteční zamyšlení nad tím, co...

  • Článek je starý, nové názory již nelze přidávat.
  • 26. 2. 2019 10:56

    Michal Kubeček

    Především tam chybí počáteční zamyšlení nad tím, co vlastně testovat a jak, aby byly výsledky relevantní, aby se ve skutečnosti neměřilo něco úplně jiného, než byl záměr, a aby se neporovnávaly hrušky s jablky (nebo dokonce s velbloudy). To naprosto chybí, většina testů vypadá tak, že se prostě jen pustí nějaký benchmark na různých systémech a výsledky se uspořádají do grafické podoby. To souvisí i s autorovou oblíbenou koncepcí "out-of-the-box" testů, kdy nainstaluje různé distribuce metodou "next-next-next" a pak spustí benchmark, takže na každé vlastně měří něco úplně jiného a porovnávat výsledky nemá nejmenší smysl. Příklad: testuje se doba "nabootování", přestože na každé distribuci se spouští úplně jiná sada služeb.

    Druhý zásadní problém je absence jakékoli analýzy výsledků. To, že se napíše, kdo byl "nejrychlejší" a kdo "nejpomalejší", není analýza. Prakticky v každém testu na Phoronixu, který jsem viděl, byl nějaký dílčí výsledek, který už na první pohled byl nesmyslný, ale autor si toho buď vůbec nevšiml nebo to prostě ignoroval. Příklad: v testu propustnosti 10G síťových karet jeden test ukáže hodnoty v rozsahu 600-900 Mb/s, druhý hodnoty desetkrát vyšší a autorovi to nestojí ani za zmínku (pokud si toho vůbec všiml). Tím pádem nemá smysl očekávat ani zamyšlení nad tím, proč některé výsledky vycházejí v rozporu s očekáváním nebo čím mohou být způsobeny rozdíly.

    Třetí problém jsou chybějící informace o testech samotných. Autor třeba napíše, že jde on netperf TCP_STREAM test - ale ani slovo o parametrech, se kterými ten netperf spouštěl, natož o podstatných konfiguračních parametrech systému, o tom, jestli byl nastavený paketový filtr a jak (typicky na každé distribuci jinak - viz první odstavec) atd. Takže když se mi nějaké výsledky budou zdát podezřelé a budu si je chtít ověřit, nemám jak. Zato se ovšem u síťového "benchmarku" dozvíme detailně model grafické karty a monitoru.

    Autor byl na tyto zásadní nedostatky mnohokrát upozorněn, ale je mu to jedno, protože má svůj fan club věrných, který na něj nedá dopustit a který ho oslavuje. A pro ty on píše, to je jeho publikum. Minulý týden jsem se třeba podíval na diskusi ke zprávičce o chybě CVE-2019-8912 (protože zdejší zprávička uváděla Phoronix jako zdroj) a s hrůzou jsem zjistil, že je tam sice 36 komentářů, ale všechny se věnují jen flamu ohledně sporů mezi Huawei a US vládou, ale chybou samotnou (a tím, že zprávička je z části nepravdivá a z části zavádějící) ani jeden. To bylo pro mne dost nepříjemné zjištění, protože do té doby jsem si myslel, že testy jsou sice otřesné, ale aspoň jako agregátor informací z linuxového světa ten web funguje docela dobře.