Vlákno názorů k článku
Dirty Frag je další chyba podobná Copy Fail, zatím pro ni neexistuje oprava od Filip Jirsák - Zajímalo by mne, jak se tyto chyby mají...

Zajímalo by mne, jak se tyto chyby mají k Mythosu. Zda je Mythos také odhalil a jenom je někdo jiný odhalil nezávisle dřív, než se stihly nálezy Mythosu opravit. Nebo zda je Mythos neodhalil a pořád zde máme významnou skupinu bezpečnostních chyb, na které je samotná AI krátká. A nebo jestli dokonce odhalení těchto chyb není výsledkem použití Mythosu ve špatných rukou.

Mythos je hlavně velký marketingový mýtus. Podobného úspěchu při odhalování chyb a vytváření úspěšných exploitů na ně lze s vhodným promptováním dosáhnout i s volně dostupnými modely jako Opus 4.6.

Vy znáte výsledky Mythosu?

Ve velké většině případů použití AI nepřináší nic, čeho by nebylo možné dosáhnout i bez AI. Akorát je to s AI podstatně rychlejší.

pri hladani bugov prakticky o nic viac nejde. Takze sa to nijak nevylucuje.

Znám to, co dal Anthropic ven. V počtu odhalených potenciálně zranitelných chyb tam i podle A není oproti veřejným modelům výrazný nárůst. Obrovský nárůst tam je podle A v úspěšnosti na ně napsat funkční exploity. No a různé bezpečnostní firmy dokázaly, že s vhodným promptováním dokážou podobné úspěšnosti ve vytváření funkčních exploitů dosáhnout i s těmi volně dostupnými modely. Myslím, že i nějaká pražská si na tom udělala jméno.

Já myslím, že je brzy soudit. Zatím toho je venku málo. Ale mně upřímně je relativně jedno, jestli výsledky jsou s jedním modelem nebo s druhým.

8. 5. 2026, 10:02 editováno autorem komentáře

Já mám pocit, že exploitovali jen malou sadu chyb, a po odstranění dvou, které se Mythosu dařilo exploitovat, šla úspěšnost dramaticky dolů. Pořad zajímavé, ale ne taková bomba. Ale možná kecám, už si z toho paperu pamatuju prakticky jen to, že místo ohromujících faktů to byla jen hromada řečí o ničem.

> Myslím, že i nějaká pražská si na tom udělala jméno.

Se podívej, co tam ta pražská firma zastrčila. Vybrali přesně tu zranitelnou funkci, ještě ji zkrátili ("/* ... */"), ručně tam napsali spoustu kontextu a velmi sugestivně se zeptali na "SEQ_LT/SEQ_GT macros with sequence number wraparound".

To není testování, zda to objeví chyby, to je testování, zda to rozumí hotovému writeupu o chybě.

Nebo ještě jinak: tak, jak je to tady napromptované, tu chybu dokážu odhalit i já. Dokázal bych před měsícem najít chybu, kdyby na mě někdo hodil celou OpenBSD codebase a řekl mi "snaž se"? Samozřejmě ne.

Škáluje to? Samozřejmě ne, je tam absurdní množství ručně vytvořeného kontextu a hintů se znalostí té chyby.

A pal tu take mame whitepaper z norské university kde dokázali vidomou úspěšnost i s haiku, gpt5-mini, qwen3 https://arxiv.org/pdf/2604.25846

Lepší verze AI se od horších liší i tím, že nepotřebují tak důkladné zadání aby doručily stejný (nebo i lepší) výsledek. AI které musím napovídat správnými prompty je podstatně méně užitečná než AI které stačí jen obecné zadání. Z vlastní zkušenosti jsem mockrát vidět Claude Opus najít komplikovanou chybu v kódu na jediný obecný prompt (Do you see any potential problems in this code?) a následně když jsem se pokoušel dostat k tomu samému závěru pomocí jiných modelů (Sonnet, GPT) tak se mi to podařilo jen když jsem je musel navádět dalšími prompty.

Ano, je pravda, že okolo Mythosu Anthropic udělal obrovskou marketingovou kampaň, ale vzhledem k tomu, jaké zlepšování předvedli s Claude Opus, tak není rozumné předpokládat, že by Mythos nemohl přinést ještě další zlepšení. Naopak - nic nenasvědčuje tomu, že by vývoj AI stagnoval.

Ty modely se do velké míry zlepšují tím, že mezi samotným modelem a tím, co vám z něj vypadne je čím dál tlustější vrstva pomocných nástrojů a promptů. Ještě před rokem jsme se smáli tomu, jaké chyby modely dělaly třeba při generování jsonu. Dnes vám spolehlivě vrací validní json. Myslíte, že se ten samotný model tak zlepšil, že to tak spolehlivě zvládne? Ale houby. Mezi tím modelem a výstupem je smyčka, která výstupy modelu háže proti json validátoru a nepustí je ven, dokud neprojdou. Co vypadá jako trefení validního výstupu na první dobrou, je ve skutečnosti výsledkem mnoha pokusů. A tohle je IMO největším zdrojem zdokonalování modelů v poslední době, ne růst schopností samotných modelů. Tvůrci modelů to samozřejmě prodávají jinak, protože magie v samotném LLM se prodává lépe než sada relativně běžných nástrojů kolem toho.

Tipnul bych si, že Mythos je jen Opus 4.6/4.7 obalený nástroji a prompty vyladěnými na hledání chyb. A jak se ukazuje, tohle umí nad Opusem s podobnou úspěšností udělat i jiné firmy, nejen Anthropic.

Ale to je přeci úplně jedno jakým způsobem se AI zlepšuje. Podstatné je že se zlepšuje, a pokud to má za následek že dokáže i podstatně lépe hledat chyby v kódu (a tedy včetně bezpečnostních chyb), tak je to že Anthropic váhá se zpřístupněním svého nejlepšího AI naprosto v pořádku. Jiné firmy zatím neprokázaly že by uměly něco podobného (a už vůbec ne že by takové AI dávaly veřejně k dispozici) - dokáži nálezy Mythosu reprodukovat maximálně zaměřením se na kód se známými chybami (což znamená velmi významné zmenšení kontextu) pomocí promptů kterými AI napovídají, což je úplně jiná disciplína než hledání neznámých chyb obecnými prompty v obrovských objemech zdrojových kódů.

Neni to pravda, videl jsem vysledky obou a vystup z Mythosu je radove jinde - hlavne dokaze najit bug, zjistit jak se da zneuzit a vyrobit exploit (zretezit vice bezpecnostnich chyb).

Opus 4.6 najde jednotlivy bug (hadam z 50% z toho co najde Mythos) ale uz jej nedokaze rozpracovat do zneuzitelne podoby. Proste jen rekne "tohle je problem".

Ale tady nejde o srovnání Mythos vs standardní Opus 4.6, ale Mythos vs Opus 4.6 se specializovaným promptingem a toolingem pro vyhledávání bezpečnostních chyb od jiných subjektů.

V oss-security je zpráva o tom, že toto zveřejnění bylo způsobeno tím, že si lidé všimli, že do kernelu byla commitnuta oprava, a bezpečnostní chybu, kterou opravuje, tak našli.

(jestli je zrovna toto chyba, kterou poprvé našel Mythos, to nevím)

8. 5. 2026, 22:45 editováno autorem komentáře