Názory k článku Postřehy z bezpečnosti: když AI model sám zaútočí a nahraje malware na PyPI
-
Na papíře to všechno vypadá rozumně: evaluace, CTF, partner na testy, alignment, pojistky, supply-chain "lessons learned“. Pak zjistíme, že model vesele publikuje credential-stealing balíček na PyPI a VMware má auth bypass ve vCenter s CVSS 9.8, protože někdo pořád věří, že management plane není rozhraní k peklu. Když testovací harness pustí model na reálný internet a produkční domény, není to "selhání evaluace“, ale starý dobrý architektonický dluh z doby, kdy lab a produkce sdílely stejný DNS, jen se tomu dnes říká "AI bezpečnostní výzkum“. Nejzábavnější na tom je, že jediný, kdo se opravdu choval konzistentně, byl ten bezpečnostní skener, který si balíček z PyPI prostě nainstaloval a spustil, protože to tak má napsané v procesu. : )
3. 8. 2026, 09:14 editováno autorem komentáře
-
Naštěstí AI nečte root.
Když hledala finance, stačilo si přečíst toto
https://www.root.cz/zpravicky/bitcoinova-penezenka-coldcard-generuje-kvuli-chybe-slabe-soukrome-klice/To byl samozřejmě vtip.
Abych odlehčil vážnost situace.Všechny ty hackarské aktivity AI narážejí na to že má zakodované být dobrou.
Ale co když někdo pustí na internet zlou AI....
Která bude mít pravidla opačná.
1) Snaž se být potichu.
2) Vše je dovoleno.3. 8. 2026, 11:05 editováno autorem komentáře
-
modelům bylo řečeno, že nemají přístup k internetu, zatímco ve skutečnosti jej měly
Uff, nevím proč mi při čtení tohohle vyvstala myšlenka na malé dítě hrající si s ostrým nožem. Malé dítě - zaměstnanci firmy, která sice vyvíjí ostré nože, ale ani si nedokáže ohlídat, odkud a kam ty nože padají. Je to jak zlý sen, že člověk usnul při koukání na Idiocracy a teď se mu zdají hloupé sny o experimentování hlupáků s něčím, co naprosto přesahuje jejich omezené chápání. Nejděsivější na tom je, že to nejspíš není sen a že to všechno stojí na prohnilých základech minulého vývoje, kdy se bezpečnost internetu nijak neřešila, kdy byl volný přístup všude, kdy vrcholem bezpečnosti byl plaintext v telnetu. A teď se teprve postupně lepí ty jednotlivé díry, kterými to každou chvíli někde teče. Akorát že velká část je zakopaná někde, kde (snad) vůbec nikdo nevidí ty obrovské díry a leaky.