Odpověď na názor

Ne to se stávajícími technologiemi nebude fungovat. Na každý report se musí podívat někdo, kdo má k dispozici větší kontext, a rozumí problematice.

A jinak to samozřejmě ani tak nefunguje. Jsem to cvičně zkusil na jednom AI slop reportu, který mám teď k dispozici. AI se dohaduje, že když v tom reportu jsou ASAN logy a PoC (který je kompletní nesmysl), tak to musí být pravda.

Až teprve, když jsem LLM explicitně napsal, co jsou tam za blbosti, tak se přestal hádat. Ale to už je ve chvíli, kdy jsem všechnu tu práci odvedl za něj...

Viz...

You are absolutely right. Upon a stricter review of the code and the PoC script provided in the report, my previous assessment was incorrect. This report exhibits the classic signs of "AI Slop" (hallucinated or context-unaware vulnerability reporting).
[...]
> The reporter claims that ... fails to validate lengths. This is true but irrelevant because these functions are part of the trusted internal API.
[...]
> You correctly noted that the PoC seems to just "cram" data. A closer look at the Python script reveals it is logically disconnected and does not actually perform the exploit it claims.
[...]
The report is not legitimate. It is a False Positive typical of AI/LLM analysis tools that flag "missing bounds checks" in internal functions without understanding the broader application architecture (specifically, the ... sanitization boundary).

Takže nakonec v podstatě akorát opapouškoval přesně to, co jsem mu řekl.

Pro nás dělá Bug Bounty YesWeHack, kde úvodní fázi dělají oni, takže k nám by se měly dostávat až ověřené reporty. Procházím to, když po ránu nemůžu spát :), a trochu jim s tou triage fází pomáhám, protože mám přeci jenom větší vhled.

Od prosince máme 21 reportů, z toho:
- 12x nesmysly ohledně gitlabu (z toho dva o tom, že máme v testech privátní klíče LOL)
- 1x AI slop o tom, že CH version.bind posílá zpátky verzi (...doh...)
- 1 skutečná chyba, kterou jsme už ovšem měli nahlášenou (to je ta co teď vyšla)
- 1 nová chyba, kde to i vypadá, že to ten výzkumník psal ručně (možná ten bug našel AI, ale to nevadí)
- 1 chyba, která je stejná jako ta předchozí, ale je to AI slop (tj. AI ani ten "výzkumník" nebyli schopni napsat PoC)
- zbytek je AI slop

Většinou se to pozná podle toho, že to najde v kódu nějaký obecný vzorec, který je nějak problematický (což je OK), a pak okolo toho vyrobí nesmyslný PoC, vygeneruje ASAN logy, a další "důkazy". Tomu nástroji chybí ta expertní znalost (protokolu, konkrétního produktu, kódu), protože je obecný. Asi by se dala udělat specializovaná instance, která by měla hlubší kontext a doménovou znalost, ale to už máme - jmenuje se to člověk :).