IBM DB2 9.7 dosáhla prvenství v TPC-C

Co na to rici nez treba – http://www.c0t0d0s0.org/archives/6846-Arms-race.html

Ty response times jsou irelevantni u tohodle testu ktery byl zameren na co nejmensi cenu za transakci. Navic by ten rozdil cinil jen 10%, coz je pro srovnani s oracle irelevantni, oracle by to projel tak jako tak.
Kdyz se podivame na ten Orakl http://tpc.org/results/individual_results/Sun/Sun_T5440_TPC-C_Cluster_ES_122309_v2.pdf tak vidime ze Orakl podvadel nekolikrat.
1. spatne pocitana cena – licence pronajata jen na 3 roky.
2. vykon db drzel jen po 7,32 sekund, zadny checkpoint. Tedy zhruba jen nez zaplnil db buffery. IBM drzelo vykon po 2 hodiny.

By me zajimalo, kde jste vykalkuloval tech 10%, a znam reakce IBM na puvodni benchmark. Ale jinak neresim, kdo vice „tuningoval“ vysledky nesmyslneho benchmarku, me spise bavi, jak si ted Oracle a IBM vzajemne ukazuji, kdo je „vetsi“ a co vse pro to udelaji :-)
Predpokladam, ze oba vime, ze realna nasazeni jsou stavena trosku jinak :-)

8,95 vs 10,36 z je neco pres 10%.
IBM aby vyhrala TPC-C se nemusi vubec nejak specialne namahat. Vsimnete si ze tenhle system byl staveny tak aby byl levny. Pokud chcete vetsi vykon – tak to neni absolutne zadny problem, proste koupite lepsi zelezo. To jsme porad ale na POWER/AIX/DB2 a to neni u ibm zadna highend platforma, to je bezne zelezo co se pouziva.
Pokud chcete opravdu highend tak vyrazte na i5/OS co ma DB2 v kernelu, ta ma mnohem lepsi vykon per CPU nez ta unixova. A v neposledni rade tu mame System Z a jeho sadu databazi DB2, IMS (vyrazne rychlejsi pro transakcni zpracovani nez DB2} a TPF (vyrazne rychlejsi nez IMS). IMS je pro nektere workloady az 10× rychlejsi nez DB2. Mne treba IMS delalo kdyz jsem to testil asi 90k transakci/sec a na stejnem HW delala db2 neco lehce pres 20k/sec. IMS ale neni rozhodne levny software. Na mainframech se jede IMS pro transakce a DB2 pro data warehouse.
TPC-C je show pro divaky, pouziva se to k podpore prodeje. Kdyz potrebujete nejaky system podporit, vyhrajete s nim TPC-C a mate tak 2–3 roky o objednavky postarano. Proto se taky IBM nesebralo ten vysledek Oraclu okamzite ackoliv mohlo, asi mesic po publikovanem vysledku od Oraclu jsem mel na stole benchmark od IBM kde byli o 30% lepsi kdyz taky pouzili SDD disky. Ale proste nebyla vhodna doba aby s tim sli ven. Jeste tu mam vysledky testu pro DB2 9.8, coz je shared disk cluster edice, to vypada proti Oracle RAC taky velmi zajimave.

Spatne jsem pochopil, co myslite temi 10%. Skoda, ze nemate odvahu diskutovat s Joergem Moellenkampem, docela me prekvapil, kdyz vam to tu okomentoval :-)
Ano, muzeme zvedat vykonost vetsimi stroji. A muzeme si honit vykonost per-CPU. A furt to nerekne nic o tom, ktere nasazeni bude pro danou aplikaci lepsi. Tam jsou to realne testy, realne vypocty.
Jinak vhodna doba bude rozhodne v prubehu OpenWorldu, kde jinde by se IBM melo snazit zastinit Oracle marketing show.

Mate chybu v interpretaci toho dokumentu. Vykon db nedrzel 7.32 sekundy, ale 7320 sekund (oddelovaci carka zde ma jiny vyznam). Takze zhruba tez 2 hodiny.

Sorry … i have to write in English, i just saw this message and translated it with google translate. I ask for you apologize to be not able to answer in your language.
1. The difference in reaction times is significant. When you allow longer response times you put a different load on the system, thus yielding an higher transaction count. Queuing theory mandates this …
2. The , is not the decimal point, it's a thousands seperator … thus we don't talk about 7 seconds, we talk about 7320 seconds, thus 122 minutes, thus a little bit over two hours. That's similar to the measurement interval of the IBM result.

Trosku mi pripada zavadejici uvadet u tehle systemu cenu, do ktere se zakomponuje sleva. Pokud by napochodovalo Oracle a dalo 90% slevu a za * napsalo nejakou nesplnitelnou podminku, tak na cenu urcite vyhraje. Ale to si asi kazdy rozumny clovek domysli:-)
Power7 (treba Ex750), PowerVM, DB2 pro firmu o 500+ zamestnancich? Idealni reseni. Skoda, ze duvtip ceskych IT manageru konci u MS a VMwaru. A ve vysledku to je za stejny prachy :-(

Ta cena je dulezita. Za katalogovou cenu to totiz v realu nekupuje nikdo. Pro stanoveni ceny jsou v TPC regule, musi se ten system dat za ty penize koupit.
IBM dava dobry slevy. Slevu 30% dokonce u i docela malych zakazek. V TPC-C dava slevu 50%, ale v realu u dlouhodobych smluv dava slevu jeste vetsi. Navic nejlepsi strategie jak z ibm vyrazit slevu dlouhodobe byla – nechat si udelat konkurencni nabidku a tu tam faxnout spolecne s objednavkou.
Oracle driv daval taky dobry slevy, ale asi poslednich 5 let je vyrazne snizil a ceny zvysil. Prodavat Oracle je ale lepsi kseft nez prodavat DB2 a tak mi tu DB2 zakaznikum necpeme pokud si o ni vylozene nereknou, coz nedelaji pokud DB2 uz nekde nemaji a nemaji moznost si to v produkci s oraclem srovnat. Oracle je dobry kseft, je to drahy a pomaly takze se proda vic drasich CPU licenci.
U DB2 je zase vynikajici kseft nakupovat pouzite licence, ty se daji koupit za rekneme desetinu puvodni ceny. To u Oraclu nejde. Nekdy se da k licencim db2 dostat tak, ze si koupite pouzity HW i s licencema a HW rovnou poslete sesrotovat. Bezne se to dela s z890 nebo POWER4.

Sakra, na tohle si vzpomenu, az zas nekdo nekde bude kafrat o neviditelne ruce trhu, ktera resi vsechny problemy a zakaznikovi zajistuje vzdy to, co je pro nej nejlepsi.

K tomu aby ta „neviditelná ruka trhu“ fungovala musí zákazník něco udělat – každý dodavatel se totiž zcela přirozeně chová tak absplnil požadavky ke spokojenosti zákazníka ale přitom co nejvíce vydělal. Pokud zákazník neosloví víc dodavatelů, nelze se divit že nedostane z nějakého pohledu nejlepší řešení.
Neviditelná ruka trhu funguje, ale nikoliv zcela automaticky.
Každopádně zákazníci kteří už nějaký DB systém provozují vesměs nemají chuť kupovat si další, protože jejich IT / vývojáři už se naučili žít s tou konkrétní databází a byly by to další provozní náklady.
Navíc benchmarky jsou fajn, ale je to hodně technický pohled na věc – zákazník jednoduše neřeší dilema „Koupím si produkt A který je o 2× rychlejší než produkt B?“ ale „Stačí mi rychlost levnějšího produktu B?“

Přiznávám se že teď úplně nerozumím. Finta je v tom že když oslovíte více dodavatelů tak každý bude „optimalizovat“ ve dvou dimenzích:
(1) Dodavatel musí předložit nabídku která bude výhodnější než nabídky ostatních oslovených dodavatelů (přičemž výhodnější nemusí nutně znamenat nejlevnější).
(2) Dodavatel se snaží předložit nabídku která bude co nejvýhodnější pro něj, za podmínky že bude splňovat (1).
A o to zákazníkovi jde – aby se dodavatelé pokud možno pobili mezi sebou, že ;-) A to nemluvím o takových taškařicích jako jsou např. reverzní aukce …
Prostě co si zákazník vybojuje, to má. Zapomeňte na to že by vám některá firma sama od sebe dala nejlepší možné podmínky – takhle to nefunguje. To si někdo mohl myslet v opojení roku 1989, ale o 20 let později už touhle iluzí asi nikdo netrpí.

No, to by asi bylo na dlouhou diskusi a s původní Leninovou zprávičkou to vůbec nesouvisí …
Je pravda že spousta zákazníků nedokáže detailně specifikovat technické parametry, což je dáno tím že se soustředí na svůj business a IT je pro ně jenom prostředek (což je OK). Otázka je jestli to vůbec mají umět, nebo jestli by měli umět specifikovat funkční požadavky (co to ve výsledku má umět), přípaně nějaká základní technická omezení (např. jestli to má běžet na platformě kterou už provozují), no a následně posoudit která nabídka je nejlepší.
S tím že by se zákazník musel obrátit na jednu firmu která umí „všechno“ nesouhlasím – ostatně už dřív jsem napsal že to není cesta jak se dobrat nejlepší nabídky (viz. jeden z mých předchozích postů). Stačí když se obrátí na několik firem a každá bude umět dobře svůj „kousek.“ Jenom tak se mezi dodavateli nastartuje soutěž.
Ale máte pravdu že na straně zákazníka musí fungovat alespoň jeden člověk který ví co firma potřebuje, dokáže to dostatečně popsat a následně vyhodnotit která z nabídek je nejlepší. A je celkem jedno jestli to je přímo zaměstnanec firmy nebo externí konzultant najatý jen na ten konkrétní úkol.

Duvtip ceskych manazeru casto konci tam, kde konci limity dostupnych lidskych zdroju. Aspon si to na zaklade sve osobni zkusenosti myslim.

To je presny. Kdyz jsem tady lidem nabizel praci u nas tak ti co se ozvali nebyli uplne nekompetentni lide ale meli jednu spolecnou vlastnost odmitali se cokoliv naucit aby nam lepe vyhovovali. Jejich postoj byl – tadyto jsou moj dovednosti budto ber nebo nech lezet a dal snili svuj sen o 100k/mesic, coz by u nas meli ja jim nabizel $6k/mesic kdyz s nima budeme spokojeni.

A chces stale novy lidi?

Nevim. pres prazdniny se tu prakticky nedela. Tenhle tejden jsme byli v disneyparku s detmi misto prace. Minulej jsme byli strilet a predtim na mecounech. Mecouni byli jako kazdy rok super. Taky jsem nahnal programatory na farmu sbirat brambory aby si protahli tela. Docela se jim to libilo, nejvic je tam zaujala skrabka na brambory co vypadala jako zdimacka.
To disney nestalo za nic, jedna holka tam dostala poprve mesicky a rvala i celou cestu letadlem zpet, ze ma zkazenej vylet. Sel jsem ji koupit podprsenku, ale ta ji nezaujala natolik aby ztichla tak jsem se ji snazil nacpat zmrzlinou a to nezabralo taky. Matka ji porad cpala vlozku kterou ona nechtela ze tak ponizujici vec nosit nebude a ze to maji kluci lepsi a ze ten svet neni spravedlivy. Nakonec jsem dostal dobry napad, zeptal jsem se ji a chces videt vlozku pro kluky? To teda chtela a hodne. Tak jsem ji dal prezervativ a to ji zaujalo natolik ze drzela z letiste domu zobak. Porad kroutila hlavou proc se delaj gumovy kdyz to prece nesaje. A prisla taky na to proc jsou na ty vlozky pro kluky automaty na ulicich – to je jasny kluci ti nenosi kabelky.
Vlozka pro kluky zaujala nejen divenku ale i zbytek ktery si ze mne delal srandu i dalsi den v praci. Tak jsem vyhlasil ze kdo pipne o vlozce pro kluky tak ten na minutu leti. Odskakala to sekretarka jako prvni kterou jsem pristihl jak si o vlozce pro kluky telefonuje s kamoskou, pak to sliznul jeden sitar. To stacilo a zbytek uz ani nepipnul.
Shrnuto, zeptejte se v pulce rijna.

Chcete pro mne delat? Mrknete se sem https://www.ibm.com/developerworks/downloads/sandboxmatrix.html neco testnete a pak napiste zda jste na ten System Z od prirody tvrdej nebo ze by to slo. Zkuste si tam IMS, CICS a DB2.

To je super odkaz! Zrovna nedávno jsem potřeboval něco odzkoušet a hledal jsem nějaký sandbox nebo virtuální prostředí – bohužel neúspěšně, ale tohle vypadá fajn.

6k za mesic neni zas tak moc, i kdyz v jaky oblasti?

Takovy lidi rovnou vyhazuju. Jeste nenakodili ani radku a uz pindaj ze se jim nelibi nastupni plat.
Chcete vetsi plat? Vydelejte si na nej. Je to pro vas neprijatelne ze musite ukazat ze za neco stojite? Jdete proste delat jinam. Ze jste mel vic ve vasem predchozim zamestnani? Vase blbost ze jste tam nezustal.

Nehraj sa tu na manazerika. K takemu egoistovi a internetovemu kecalkovi by som nenastupil ani za 60 tis. $.

A to ja zas mam rad lidi, co maji konzistentni, byt vyhraneny, nazor.

Přesně tak – sice s ním v mnoha věcech nesouhlasím, ale je vidět že má na danou problematiku vlastní názor, byť vyhraněný. A to je fajn, protože kdyby si tu všichni pěkně notovali tak by se tu ve výsledku nikdo nedozvěděl nic zajímavého.

za $60k se tu ani nedela. Kdyz chcete kvalitni lidi musite nabidnout vic.

Dotyčný chtěl IMHO říct „ani za $60k měsíčně“ … a za to už se u vás myslím učitě dělá ;-)

nejak nemuzu najit, co je tpmC? transactions per minute Ceho? A proc „per“? Soustava Si „per“ nezna, takze zadne kmph, ale km/h, atd.

Mezi SI jednotkami není ani palec (inch) a desítky dalších. Přesto má právo na existenci. Jakou si zvolíte metriku a jednotku je na vás. Důležité je, zda se s ní v dané oblasti domluvíte.

, ale pochopil jsem to správně, že automatickým vítězem by v tomto případě byly OS DB, jejichž pořizovací cena může být nulová? Chápu porovnávání například energetické spotřeby, nepo počet transakcí za sek., ale trumfovat se v ceně za transakci, či co to je za ukazatel mi příjde divný.

Oni velke DB maji take sve freeware verze, ktere protoze pouzivaji stejny engine by taky nedali spatne vysledky, rozhodne by byli lepsi nez OSS databaze.
Ale proste neni zajem je v TPC-C testovat. Stoji to cas a penize a neodrazi se to v sales protoze jsou davany zadarmo.
Krome toho v tomto svete neni nic zadarmo. Vse potrebuje udrzbu. Nulova porizovaci cena neznamena nulove naklady. Kocku sice dostanete od sousedu zadarmo, ale musite ji pak krmit, uklizet po ni a kocoura po navratu z vyletu odvest k doktorovi aby ho zasil kdyz ho cizi kocouri zmasti.

V životě bych to neřekl, ale se všemi příspěvky Lenina u téhle zprávičky zatím víceméně sosuhlasím … možná se dvěmi výjimkami:
1) V porovnávání komerčních a OSS databází bych byl asi opatrnější. To na čem ve výsledku záleží je celková cena za pořízení a provoz, a jestli to splňuje požadavky. Jestli to v nějakém umělém TPC-C běží o 100% rychleji – who cares?
Jediný „oficiální“ benchmark PostgreSQL o kterém vím je SPECjAppServer®2004 Result:
http://www.spec.org/jAppServer2004/results/res2007q3/jAppServer2004-20070606-00065.html
což už samozřejmě není nejnovější (rok 2007). Testovalo se to na hw za $65k USD, Oracle na hw za $74k získal score 874, což myslím srovnání se score 778 snese srovnání. Ale je to samozřejmě něco úplně jiného než TPC-C.
Každopádně OSS databáze se nebenchmarkují ze stejných důvodů jako free varianty komerčních databází – stojí to peníze s mizivým účinkem (musely by to zaplatit firmy které na OSS postavily svůj business – např. EnterpriseDB).
2) Naše kocoury jsme nikdy zašívat nemuseli. To sousedi jo ;-)