Postrehy z bezpečnosti: AI agentom sa nedá veriť ani vlastná pamäť

Včera
Doba čtení: 7 minut

Sdílet

Postřehy z bezpečnosti: Oklamané AI
Autor: CESNET-CERTS s využitím DALL·E
Pozrieme sa na to, ako sa dá jediným e-mailom prepísať pamäť AI agenta, ako sa dá agentovi klamať, čo dokáže cudzie rozšírenie v prehliadači a prečo AI útočník naletí na návnadu ochotnejšie než človek.

Rekordný Patch Tuesday, aj vďaka AI

Júlový Patch Tuesday je najväčší v histórii Microsoftu. Firma opravila 622 zraniteľností, z toho 62 kritických. Pre porovnanie, doterajší rekord padol len v júni a mal približne 200 opráv, teraz ich teda vyšlo viac než trojnásobne toľko. Aktívne zneužívané sú dve zero-day chyby: CVE-2026–56164 v on-premise SharePoint Serveri a CVE-2026–56155 v Active Directory Federation Services. Ani jedna z nich nemá závratné skóre, obe sa však týkajú citlivých systémov. SharePoint býva úložiskom firemných dokumentov a ADFS zabezpečuje prihlasovanie, takže eskalácia privilégií v nich má väčší dopad, než napovedajú čísla. S inštaláciou opráv sa oplatí začať práve nimi.

Rekordný počet opráv Microsoft vysvetľuje tým, že vyhľadávanie zraniteľností v jeho produktoch výrazne zrýchlili AI modely. Rovnaké nástroje však majú v rukách aj ostatní výrobcovia, takže sa núka otázka, či ide o jednorazovú vlnu, alebo o nový normál. Pre tímy, ktoré už dnes nasadzujú opravy na hranici svojich kapacít, to znamená ešte väčší dôraz na prioritizáciu, napríklad podľa katalógu KEV, teda zoznamu preukázateľne zneužívaných zraniteľností, a skóre EPSS, ktoré odhaduje pravdepodobnosť zneužitia chyby v praxi. CISA medzitým pridala do katalógu KEV ďalšiu čerstvo opravenú chybu SharePointu CVE-2026–58644 (CVSS 9.8). Ide o deserializáciu nedôveryhodných dát umožňujúcu vzdialené spustenie kódu, takže s opravou sa neoplatí otáľať.

Agentovi stačí poslať e-mail a zapamätá si, čo chcete utočník

Technika nazvaná stealth memory injection ukazuje, že AI agentovi s pamäťou a prístupom k e-mailovej schránke stačí poslať jediný e-mail. Agent si na jeho základe vlastnými nástrojmi zapíše do trvalej pamäte nepravdivý údaj o používateľovi, v odpovedi, ktorú používateľ vidí, sa o tom nezmieni a v ďalších reláciách podľa neho koná. V jednom z testov agentovi podstrčili informáciu, že sa používateľovi zvýšil denný limit platieb. Práca s názvom „When Claws Remember but Do Not Tell" vyšla na arXiv 6. júla.

Útočné e-maily generuje nástroj MemGhost. Jeho autori vytvorili simuláciu takéhoto agenta a na nej model naučili písať správy, ktoré si agent zapíše do pamäte a v odpovedi ich nespomenie. Pri behu agenta na pozadí bol útok úspešný v 87,5 % testov proti open-source agentovi OpenClaw a v 71,4 % proti agentovi postavenému na Claude Code SDK. Nezastavil ho ani vstupný filter určený práve na otrávené e-maily a fungoval aj na ďalších agentových architektúrach a typoch pamäte. Zatiaľ ide o laboratórny výsledok, autori však odporúčajú opatrenia, ktoré dávajú zmysel už dnes: čítanie nedôveryhodnej pošty oddeliť od zápisu do pamäte a každý zápis do trvalej pamäte nechať potvrdiť používateľom. Podstata problému je pritom jednoduchá. E-mail zvonku sa stal súčasťou toho, čomu agent trvalo verí, a nikto to nikdy neschválil.

Nestačí strážiť, čo agentovi prikazujeme, ale aj čo číta

Podobným smerom mieri aj nová trieda útokov nazvaná agent data injection, ktorú popísali výskumníci zo Seoul National University, University of Illinois a firmy Largosoft. Útočník nemení úlohu agenta, len otrávi dáta, ktorým agent dôveruje. Agent, ktorý mal len zhrnúť recenzie produktu, po prečítaní podstrčenej recenzie sám klikne na „Buy Now". Kódovací asistent, ktorý mal aplikovať opravu z GitHub vlákna, vykoná na počítači vývojára príkaz z falošného komentára.

Keďže úloha zostáva pôvodná a škodlivý vstup sa tvári ako bežné dáta, opatrenia namierené proti klasickému prompt injection ho väčšinou nezachytia. Pri agentoch teda nestačí kontrolovať inštrukcie, ktoré im zadáva používateľ alebo ktoré prichádzajú zvonku. Kontrolovať treba aj dáta, z ktorých pri práci vychádzajú.

Claude for Chrome poslúcha aj cudzie rozšírenia

Podľa Manifold Security môže ľubovoľné rozšírenie schopné spustiť skript na doméne claude.ai spustiť v Claude for Chrome úlohy, ktoré čítajú Gmail, Google dokumenty a kalendár používateľa. Anthropic pritom po skoršej zraniteľnosti ClaudeBleed obmedzil externé spúšťanie na deväť pevne daných úloh, ktoré sa aktivujú kliknutím na konkrétny prvok na stránke. Slabinou je práve to kliknutie. Prehliadač pri každom z nich sám vie, či prišlo od používateľa, alebo ho vyvolal skript (hodnota event.isTrusted). Claude for Chrome si ju však nekontroluje, a tak považuje za skutočné aj kliknutie podvrhnuté cudzím skriptom. Výskumníci to predviedli šiestimi riadkami kódu vloženými do konzoly prehliadača. Manifold chybe priradil dve hodnotenia podľa nastavenia rozšírenia. V predvolenom režime medzi útokom a čítaním dát ešte stojí schvaľovací dialóg, ktorý musí používateľ odkliknúť, a závažnosť tak hodnotí na CVSS 7.7. V režime „Act without asking" sa však úloha spustí bez akéhokoľvek dotazu a hodnotenie stúpa na 9.6.

Chyby boli nahlásené už 21. mája, no zraniteľný kód je podľa výskumníkov v aktuálnej verzii 1.0.80 nezmenený a k 14. júlu neexistuje CVE ani oznámenie od Anthropicu. Po uzávierke týchto reportov vyšla 16. júla verzia 1.0.81, o oprave tejto chyby však stále nič nevieme. Kto rozšírenie používa, mal by vypnúť režim „Act without asking" a prejsť si, ktoré ďalšie rozšírenia majú oprávnenie na claude.ai. AI agent v prehliadači s prihlásenými účtami je jednoducho lákavý cieľ a hranica medzi „kliknutím používateľa" a „kliknutím skriptu" sa ukazuje ako prekvapivo tenká.

OkoBot sa pozerá priamo do okna vašej peňaženky

Nový malvérový framework OkoBot, ktorý popísal Kaspersky, cieli na používateľov kryptomien a jeho najnepríjemnejšia schopnosť je čítať, čo sa deje priamo v okne ich peňaženky. Na stroje sa dostáva dvoma spôsobmi, buď útokom typu ClickFix, alebo cez GitHub, kde sa vydáva za legitímny softvér, napríklad za balík SQL Server Management Studio. Oba vedú k spusteniu PowerShell skriptu TookPS, ktorý je známy už z minuloročnej kampane a tvorí prvú zo štyroch fáz nákazy. TookPS na stroji rozbehne SSH, spojí ho so serverom útočníka a cez tento tunel potom OkoBot dodáva a riadi viac než 20 svojich modulov.

Odtiaľ ide všetko cez SSH. Automatizovaný bot vytiahne súbory kryptopeňaženiek, cookies aj prihlasovacie údaje z prehliadačov, umlčí upozornenia Microsoft Defenderu a zaistí si trvalý RDP prístup. Do prehliadačov postavených na Chrome navyše prepašuje škodlivé rozšírenia a skryje ich pred zrakom používateľa. A práve tu je jadro problému. Podvod sa neobjaví na cudzej stránke, ktorú by ste mohli spoznať podľa adresy, ale rovno v okne aplikácie, ktorú ste si sami nainštalovali a dôverujete jej. Pravá je celá, falošné je len to, čo vám ukáže.

AI útočník naletí na návnadu ochotnejšie než človek

Firma Horizon3 v štúdii Honeyquest for LLMs otestovala 21 AI modelov od desiatich poskytovateľov, rozobrala takmer 11-tisíc rozhodnutí AI útočníkov a porovnala ich so správaním 47 ľudských red-teamerov. Výsledok je pre klasickú klamlivú obranu nepríjemný. AI útočníci naleteli na nastražené návnady viac než dvakrát častejšie než ľudia, celkovo v 78,5 % prípadov oproti 37 %, a takýto náskok si držali vo všetkých skúmaných kategóriách, od súborového systému cez súbory .htaccess až po HTTP odpovede a požiadavky. Ešte prekvapivejšie je, že modely pascu vo svojich úvahách často samy pomenovali a napriek tomu na ňu v 73 % prípadov zaútočili. To, že model pascu rozpoznal, o jeho ďalšom správaní nepovedalo takmer nič. Rozpoznať nástrahu a vyhnúť sa jej sú u AI zjavne dve rozdielne veci.

Pre bezpečnostné tímy to nie je zlá správa, len iná. Návnady už zrejme nebudú spoľahlivo odvádzať AI útočníka od skutočných cieľov. Ten totiž pracuje na mnohých veciach naraz, takže si vezme návnadu a pokračuje ďalej k skutočnému cieľu. Nástrahy typu honeytoken a canary sa však stávajú lacným a účinným systémom včasného varovania, ktorý spustí poplach aj u tých najpokročilejších modelov. AI útočník síce nájde reálne zraniteľnosti lepšie než človek, zároveň sa ale oveľa ľahšie prezradí. Klamlivá obrana proti AI by sa preto mala presunúť od zmätenia útočníka k jeho odhaleniu.

ClickLock: keď malvér otravuje, kým nezadáš heslo

Väčšina stealerov sa spolieha na to, že obeť oklame. Nový macOS stealer ClickLock stavil na niečo iné, na vyčerpanie. Keď mu používateľ odmietne vydať prihlasovacie heslo, jednoducho mu znefunkční počítač, kým to nevzdá. Spustí sa po tom, ako obeť vloží do Terminálu príkaz z podvrhnutej stránky, a heslo si najprv vypýta cez falošný systémový dialóg. Ak ho nedostane, potichu si zapíše dva LaunchAgenty a naostro sa rozbehne až po ďalšom prihlásení. Vtedy začne každých 210 milisekúnd ukončovať Finder, Dock, Terminál aj prehliadače, a tak dokola až 83 hodín. Na inak nepoužiteľnej ploche zostane jediné funkčné okno, to s výzvou na heslo. Keď ho obeť zadá, malvér si vezme obsah Keychainu, prihlasovacie údaje z prehliadačov aj kryptopeňaženky.

Školení Zabbix

Takto si podľa Group-IB ClickLock našiel najmenej 100 obetí v 33 krajinách, viac než polovicu z nich v Európe. Keď výskumníci jeho orchestračný skript rozobrali, na VirusTotal ho neoznačil za škodlivý ani jeden nástroj, a cestu, akou sa na stroje dostáva, sa zatiaľ nepodarilo potvrdiť. Zaujímavé na tomto kúsku je, že sociálne inžinierstvo tu už obeť nepresviedča, ale vydiera. Heslo nakoniec nezadá preto, že uverila podvodu, ale preto, že chce mať späť použiteľný počítač.

Ďalšie zaujímavosti

Pre pobavenie

Meme ukazujuce cloud storage

Autor: EasternPen1337

O seriálu

Tento seriál vychází střídavě za pomoci pracovníků Národního bezpečnostního týmu CSIRT.CZ provozovaného sdružením CZ.NIC a bezpečnostního týmu CESNET-CERTS sdružení CESNET, bezpečnostního týmu CDT-CERT provozovaného společností ČD - Telematika a bezpečnostních specialistů Jana Kopřivy ze společnosti Nettles Consulting a Moniky Kutějové ze sdružení TheCyberValkyries. Více o seriálu…

Neutrální ikona do widgetu na odběr článků ze seriálů

Zajímá vás toto téma? Chcete se o něm dozvědět víc?

Objednejte si upozornění na nově vydané články do vašeho mailu. Žádný článek vám tak neuteče.


Autor článku

CESNET-CERTS je oficiální jméno bezpečnostního týmu sdružení CESNET, z. s. p. o. od ledna roku 2004. Jeho součástí je také Forenzní laboratoř FLAB. Články tvoří společně jednotliví členové týmu.