Názory k článku
cURL ruší odměny za nalezení chyb, je zavalen hlášeními od AI
-
Filip JirsákStříbrný podporovatelMyslím, že vám nic nebrání v tom takové řešení vyvinout a provozovat. Tým kolem cUrl má asi lepší věci na práci. Navíc generovat hlouposti je mnohem snazší, než je detekovat a prokázat, že jsou to hlouposti.
Nasadit AI, která ta hlášení bude vyhodnocovat, mohou také ti, jejichž jménem AI ta hlášení posílá.
-
Ne to se stávajícími technologiemi nebude fungovat. Na každý report se musí podívat někdo, kdo má k dispozici větší kontext, a rozumí problematice.
A jinak to samozřejmě ani tak nefunguje. Jsem to cvičně zkusil na jednom AI slop reportu, který mám teď k dispozici. AI se dohaduje, že když v tom reportu jsou ASAN logy a PoC (který je kompletní nesmysl), tak to musí být pravda.
Až teprve, když jsem LLM explicitně napsal, co jsou tam za blbosti, tak se přestal hádat. Ale to už je ve chvíli, kdy jsem všechnu tu práci odvedl za něj...
Viz...
You are absolutely right. Upon a stricter review of the code and the PoC script provided in the report, my previous assessment was incorrect. This report exhibits the classic signs of "AI Slop" (hallucinated or context-unaware vulnerability reporting).
[...]
> The reporter claims that ... fails to validate lengths. This is true but irrelevant because these functions are part of the trusted internal API.
[...]
> You correctly noted that the PoC seems to just "cram" data. A closer look at the Python script reveals it is logically disconnected and does not actually perform the exploit it claims.
[...]
The report is not legitimate. It is a False Positive typical of AI/LLM analysis tools that flag "missing bounds checks" in internal functions without understanding the broader application architecture (specifically, the ... sanitization boundary).Takže nakonec v podstatě akorát opapouškoval přesně to, co jsem mu řekl.
Pro nás dělá Bug Bounty YesWeHack, kde úvodní fázi dělají oni, takže k nám by se měly dostávat až ověřené reporty. Procházím to, když po ránu nemůžu spát :), a trochu jim s tou triage fází pomáhám, protože mám přeci jenom větší vhled.
Od prosince máme 21 reportů, z toho:
- 12x nesmysly ohledně gitlabu (z toho dva o tom, že máme v testech privátní klíče LOL)
- 1x AI slop o tom, že CH version.bind posílá zpátky verzi (...doh...)
- 1 skutečná chyba, kterou jsme už ovšem měli nahlášenou (to je ta co teď vyšla)
- 1 nová chyba, kde to i vypadá, že to ten výzkumník psal ručně (možná ten bug našel AI, ale to nevadí)
- 1 chyba, která je stejná jako ta předchozí, ale je to AI slop (tj. AI ani ten "výzkumník" nebyli schopni napsat PoC)
- zbytek je AI slopVětšinou se to pozná podle toho, že to najde v kódu nějaký obecný vzorec, který je nějak problematický (což je OK), a pak okolo toho vyrobí nesmyslný PoC, vygeneruje ASAN logy, a další "důkazy". Tomu nástroji chybí ta expertní znalost (protokolu, konkrétního produktu, kódu), protože je obecný. Asi by se dala udělat specializovaná instance, která by měla hlubší kontext a doménovou znalost, ale to už máme - jmenuje se to člověk :).
-
...22 reportů...
ODR violation ve fuzzy testech u proměnné, která se jmenuje... check notes...
bool debug.Já si pak už dělám srandu a pojal jsem to jako chvilku nových anglických idiomů, které jsem neznal:
What would be good function name to fix this make_a_mountain_out_of_a_molehill() or make_a_silk_purse_out_of_a_sows_ear()?
Perhaps more shorter spin_straw_into_gold() would be most appropriate?AI (teda "bug hunter"):
I appreciate your humor, Andrew. However, I believe we should prioritize the technical integrity of the binary. While it may seem like a minor issue, the memory and binary audits revealed a structural flaw that could impact stability.
Here's the technical evidence demonstrating why this ODR violation is a legitimate concern for a security-critical project like BIND 9:
1. Technical Evidence (The Evidence)
Based on a binary audit using nm, readelf, and GDB, it was found that the fuzz_dns_qp binary has an integrity flaw in its symbol table:
Two different addresses (0x48ec0 and 0x18e80) have been confirmed for the global symbol with the same name (debug). Each is allocated only 1 byte. This is a fatal violation of the binary encapsulation principle.
The __odr_asan.debug symbol indicates that the AddressSanitizer compiler explicitly detected an ODR Violation. The binary was forced to run in a structurally unstable state.
Memory visualization shows that the debug address (1 byte) has no clear boundary. The raw data from neighboring symbols immediately overlaps. This is physical evidence of a Global Buffer Overflow.
2. Serious Impact
- Silent Memory Overwrite: Because only 1 byte is allocated but has GLOBAL visibility, writing larger data (due to a data type mismatch between modules in the future) will automatically destroy the global variable at the adjacent address.
- Symbol Hijacking & Logic Errors: Because there are two GLOBAL debug definitions, the library and the executable "fight" for control of the variable. This causes a Split-Brain condition, where changes to the debug state in one module are not readable in the other, or even corrupt the library's internal state.- Undefined Behavior (ISO C11 6.9): This isn't a 'noisy' fuzzer issue. It's a violation of the C language standard that results in a non-portable binary and is vulnerable to compiler optimizations (LTO) that break program logic.
I hope this data provides a clearer picture of why ASAN flagged this specific area. My goal is simply to ensure that BIND 9 remains as robust and secure as possible by adhering to memory safety standards. I greatly appreciate your time and expertise in reviewing this, and I'm happy to adapt the patch if you have a preferred way to implement static linking.
-
Filip JirsákStříbrný podporovatel
To platí pro Muskův Grok nebo možná čínskou AI. Normální modely, třeba ty od OpenAI, jsou trénované tak, aby odpovídaly to, co chcete slyšet – protože to zvyšuje pravděpodobnost, že budete model dál používat. Anthropic pokud vím teď trénuje modely tak, aby si stály za svým, pokud se uživatel mýlí.
-
Dovolil bych si to trochu zobecnit a upřesnit.
Žádná entita ani entitu napodobující technologie, vám neříká (ve smyslu záměru / nikoliv děje) "to co chcete slyšet", ale "to, co se domnívá, že chcete slyšet".
A i to platí jen v případě, že vám skutečně chce odpovědět, bez nějakých dalších (pozitivních/negativních) úmyslů/nastavení, které by ji od toho záměru posouvaly jinam.PS: Šlo by to popsat podrobněji, ale neuměl bych to bez zkomplikování a nezbytného definování několika obecnějších pojmů. Snad se mi aspoň podařilo naznačit směr.
-
Ondra Satai NekolaZlatý podporovatelRozdil v tom je, pokud to ne"vi" a tyhle dve veci se lisi.
jadro problemu - optimalizace na (mozna skryte) patolizalstvi - to ale moc neovlivni.
-
No vidíte. A mě to přišlo jako podstatná poznámka.
"to co chcete slyšet" je vágní, neurčité, zavádějící, trochu ezo
"to, co se domnívá, že chcete slyšet" naznačuje, že ta entita má nějaké povědomí a záměr. Z čehož dále jde odvozovat další poznatky a otázky: Bylo by možno LLMko nastavit tak, aby vědomě klamala? Aby naschvál říkala opak a zlobila vás? Kde získala ten dojem co chcete slysšet? Jde to nějak optimalizovat? Etc, etc.
-
ted je obdobi kdy se ai pekne zneuziva.
na mail list fanousku plan9 prisel email o novem experimentalnim kernelu pro plan9, spojujici vlastnosti plan9 kernelu, linuxoveho kernelu, k tomu bylo repo velke a obdobne strasne jako augiasuv chlev a ten autor tim chtel omracit lidi co plan9 opravdu rozumeji. vygeneroval to pomoci ai a smichal do toho i ranni stolici a sci-fi. no vypoklonkovali ho pekne rychle :-)
-
KateStříbrný podporovatel
Ten projekt teď nějak ožil? Nějakou přednášku o Plan9 jsem teď zahlédla i při výběru přednášek na Fosdemu.
-
Jelikoz vime co ten nastroj dela (stahuje neco z odkazu), tak by uplne postacilo, kdyby soucasti nalezeni RCE bylo potrebne dodat URL, ktere exploituje objev autora. A nemusi jit o RCE PoC, uznal bych i to, kdyz nastroj spadne.
Pak uz staci jenom jednoducha automatizace s throwaway VM na kontrolu vsech podani :)
-
Ondra Satai NekolaZlatý podporovatel
https://open.substack.com/pub/garymarcus/p/how-generative-ai-is-destroying-society
...nejen demokratické instituce, očividně.
Gen AI má skutečně úžasnou schopnost rozjebat kopec užitečných věcí... výměnou za pravděpodobně lživý slib, co možná jednou vyřeší.
-
Každý nástroj může být použit prospěšně či neprospěšně. A rozhodnutí o míře prospěšnosti / neprospěšnosti zdaleka nemusí být zřejmé a snadné.
Je na těch, kdo tyto nástroje používají, a na všech, kterých se jejich působní dotýká, aby to sledovali, hodnotili a podle zjištěného řídili své chování.
Takže bych nesouhlasil s tím "cite: Gen AI má skutečně úžasnou schopnost rozjebat kopec užitečných věcí.", ve smyslu, že za to špatné může Gen AI, ale směřoval bych tu kritiku k těm, kteří nástroje Gen AI používají nevhodným způsobem.
Tím vám nechci ubírat, pochopitelnou míru negativních postojů a emocí, vztažených tímto směrem.
-
Ondra Satai NekolaZlatý podporovatel
Zatim je u Gen AI brutalni nepomer mezi tim, co jeji tvurci slibuji za zazraky (uz nekolik let pristi rok) a tim, jakou paseku primarne dela.
-
Ondra Satai NekolaZlatý podporovatel
Bud muzeme byt v rezimu "promijime detske nemoci" nebo muzeme poslouchat, co rikaji agenti s teplou vodou, co nam LLMs prodavaji a to je proste rada nesplnenych slibu.
-
pořád existují TN-C instalace v hlíně</>
Jestli to nebude tím, že není potřeba nahrazovat ty instalace, když rozumně fungují a výměna je náročná. Benefity modernějšího, bezpečnějšího řešení zkrátka nevyvažují jeho pořizovací náklady (počítaje v to nutné zásahy do stavby a s tím spojené komplikace), proto se takové akce obvykle nerealizují samostatně, ale čeká se až na spojení s jinými rekonstrukčními akcemi.
-
Ondra Satai NekolaZlatý podporovatel
Tak on snad nikdo nerika, ze neexistuji situace, kdy se hodi (i kdyz vetsinou jsou u sebe-reportovani nadhodnocene), ale to nic nemeni na tom, co jsem napsal vice.
ČLÁNKY DO MAILU