Porovnával ty výsledky někdo? Podle porovnání by se dalo odhadnout, kolik je tam ještě neodhalených chyb.
Současně byly zveřejněny výsledky dvou auditů programu OpenVPN. Jeden provedl Matthew Green na objednávku poskytovatele VPN Private Internet Access, druhý a rozsáhlejší společnost QuarksLab na objednávku organizace OSTIF.
A na OSTIF webe klikni hned na prvy odkaz OpenVPN1.2final.pdf a zistis ze presli snad vsetko co sa dalo...
Nerozumím, jak váš komentář odpovídá na mou otázku. Ano, vím, že je problém, že ty dva audity nebyly srovnatelné.
Kdybyste měl dva a více na sobě nezávislých srovnatelných auditů, dokážete podle toho, kterou chybu našlo kolik auditů, dopočítat, kolik tam asi tak bude chyb celkově. Kdyby jeden audit našel 10 chyb, druhý také 10 a z toho 8 nalezených chyb by bylo stejných, můžete odhadnout, že je tam celkem 10*10/8≈12–13 chyb. Audity, které nejsou srovnatelné, mají jinou pravděpodobnost nalezení chyby, ale pořád je možné ten celkový počet odhadnout, když dokážeme porovnat tu pravděpodobnost nalezení chyby (nejspíš podle objemu kontrolovaného kódu).
Samozřejmě se tím spočítá jen počet chyb, které by daný typ auditu dokázal odhalit. Je to jako kdybych zadával stejný typ auditu pořád dokola tak dlouho, dokud každý další audit ještě najde chyby, které žádný z předchozích auditů neodhalil. Jasně, nezjistím tak přesný počet chyb, ale měl šlo spíš o to odhadnout – když už máme dva audity – jestli těch chyb může být v kódu ještě mnohem víc, nebo jestli se dá očekávat, že už by tam vlastně nic zásadního (co by mohl odhalit další audit) být nemělo.
Jenže těch neznámých je tam daleko více - např. ne každou chybu je stejně pravděpodobné najít. Představ si, že každý našel deset chyb, z toho jednu jinou. Podle vzorce by tam mělo být chyb celkem jedenáct.
Ve skutečnosti tam ovšem bylo 1009 chyb: 9 zjevných a pak tisíc s pravděpodobností nalezení u daných auditorů 1/1000.....