Souhlasim s predreciky, ze zvolena metodika je dost nanic a vysledky maji zhruba stejnou vypovidaci hodnotu jako kdyby byly z vystupu nahodneho generatoru...
Udelat DOBRE porovnani neni vubec zadna legrace. Uplne nejjednodussi test bych si predstavoval tak, ze bych mel treba jednu tabulku (samozrejme zaindexovanou - pokud se musi casto delat scan tabulky, je to chyba aplikace). Generoval bych pseudonahodne N dotazu za sekundu, z cehoz treba 10% by byly insert, 70% update a 10% delete. Ty dotazy by bylo nutno pridelovat threadum testu, aby se pri zatizeni databaze nesnizil pocet dotazu za sekundu. Zacinalo by se z predem definovaneho stavu, udelalo by se treba 10 tisic dotazu (pro natazeni indexu do caches atp.) a pak by se teprv zacalo merit.
Pocet dotazu za sekundu by se postupne zvysoval a merila by se doba odezvy pri postupne se zvysujicim N.
Takze asi tak. Ale tohle rozhodne neni test na jedno odpoledne a stejne meri jen urcity rezim prace databaze - pro jine rezimy by jeho vypovidaci hodnota byla mala.
Nelze pochopitelne udelat test, ktery by dal vysledek "databaze A je obecne lepsi nez databaze B". Vzdycky udelate test, ktery ma nejake parametry - zpusob pousteni dotazu (konstantni pocet dotazu za sekundu, nebo konstantni pocet threadu), pomery, strukturu DB, velikosti tabulek atp. Pro takovyto konkretni test dostanete odpoved "databaze A je o tolik a tolik lepsi nez databaze B". Kdyz se pak budete v praxi rozhodovat, kterou databazi pouzit, tak musite mit test, ktery se vasi realne situaci co nejvice blizi.
Co chci rict je, ze test pouzity ve clanku neni moc realisticky ve smyslu ze zrejme existuje velmi malo praktickych aplikaci, kterym by byl podobny. To co jsem popsal ja uz je IMHO podobne mnohem vice aplikacim.