Vlákno názorů k článku JamVM aneb alternativa k HotSpotu (nejenom) pro embedded zařízení, tablety a chytré telefony od Sid - Taketo benchmarky maju vypovednu hodnotu blizku nule. Co...
-
Sid (neregistrovaný)
Plus este by som pridal, ze robit benchmark v jave pri jedinom spusteni je nezmysel sam o sebe
vid napr.
http://www.ibm.com/developerworks/java/library/j-benchmark1/index.html -
Pavel TišnovskýZlatý podporovatelPriznam se, ze presne nechapu kde je problem? Jako ze se cas meri s presnosti "pouze" na 1ms?
-
Pavel TišnovskýZlatý podporovatel
Nee, JIT se pri ConcatTest provede a to diky tomu, ze se funkce pro konstrukci retezce schvalne vola ze smycky. Kdyby tam ta smycka v main() nebyla, tak by se skutecne JIT (kdyz se tedy bavime o HotSpotu) nemusel provest, ale s tou smyckou ano, ostatne staci si nechat vyhodit vypisy prace HotSpotu - ty trosku rozhazou vysledky.
Opakovane spusteni JRE ale class loading nijak neovlivni, maximalne se natahnou knihovny JRE do pameti a zustanou tam viset, coz se udela hned v prvnim behu testu ne? Takze tato fluktuace mozna ovlivni prvni beh, dalsi uz ne.
-
Pavel TišnovskýZlatý podporovatel
Ja mam dokonce hotove vysledky SPECjvm a SPECjbb, ale ty jsou dost nevypovidajici z toho duvodu, ze jejich vysledkem jsou nejake hodnoty syntetizovanych testu, pricemz neni moc jasne, ktere casti virtualniho stroje nebo systemu ten test ovlivnuji (navic se SPECjbb jsou trosku problemy s publikaci vysledku, jsou tam nejaka omezeni).
Snazil jsem se udelat co nejjednodussi testy ktere:
1) ukazi, ze v nekterych pripadech technologicky prakticky dokonaly HotSpoti JIT neprinasi zadny uzitek (ConcatTest)
2) naopak porovnat HotSpot JIT na cistem vypoctu bez I/O operaci, kde se jasne ukaze, ze tady pouziti interpretru je dost problematicke.
-
Pavel TišnovskýZlatý podporovatel
Jinak se samozrejme benchmarkovani pomoci spousteni programu nebranim, zkusim jeste neco vymyslet, protoze si sam pro sebe chci porovnat JamVM, CACAO VM, HotSpot a samozrejme Zero. Treba na tom nakonec pustim cely JBoss :-)
-
Sid (neregistrovaný)
Napr. :-) alebo staci Tomcat a skumat skalovatelnost realnej aplikacie a spotrebu jej zdrojov. Ono sa potom podla mna prejavi kvalita implementacie konkretneho VM. Napr take thready a synchronizacia by som povedal dost zavisia na kvalite implementacie a kolko aplikacii bezi v cisto single-thread mode? Ak neratam cvicenia typu Hello Word tak asi minimum.
Inac zopakujem znova, clanok velmi dobry ale ked uz testovat tak nejako viac do hlbky.
-
Pavel TišnovskýZlatý podporovatel
Mate pravdu, neco velmi podobneho se testuje prave ve SPECjbb (v podstate benchmark multithreadovych business aplikaci). Jeste si budu skutecne muset projit licencni podminky, kde se mluvi o tom, jake vysledky je mozne zverejnit.
Jeste jsem zapomel v clanku zminit, ze JamVM pouziva POSIX thready, coz s sebou nese jak ruzna pozitiva, tak i zapory, zkusim to jeste poradne projet.
-
Zdenek Henek (neregistrovaný)
Podle FAQ chteji jen provest review pred zverejnenim.
http://www.spec.org/jbb2005/docs/FAQ.html#Qannounce
